Ինչ հարցի է պատասխանում քարտը
Տեղադրված փաստաթղթի քարտը հաստատեց. 32k թոքենանոց փաստաթուղթն արժե տասնյակ վայրկյաններ մինչև առաջին թոքենը։ Այս քարտը պատասխանում է այն հարցին, որը որոշում է՝ փաստաթղթերի հետ աշխատանքն ընդհանրապես պիտանի՞ է. նույն փաստաթղթի վերաբերյալ երկրորդ հարցը այդ գինը նորի՞ց է վճարում։
Վճիռ. PASS WITH LIMITS։ Prompt cache-ը միացրած՝ չի վճարում, ավելի քան մեկ կարգի տարբերությամբ։ Լիմիտները ճշգրիտ սահմանում են, թե երբ է դա ճիշտ։
Արդյունքներ
32k փաստաթղթի վերաբերյալ առաջին հարցը prefill-ը վճարում է ամեն դեպքում. 33940մվrepeated մինչև առաջին թոքենը։ Երկրորդ հարցը նույն փաստաթղթի վերաբերյալ.
- prompt cache-ն անջատած — 33728մվrepeated. ամբողջ prefill-ը վճարվում է նորից, ամեն հարցի համար;
- prompt cache-ը միացրած — 860մվrepeated. փաստաթղթի հաշվարկները վերաօգտագործվում են, մշակվում է միայն նոր հարցը։ 8k փաստաթղթի վրա քեշավորված երկրորդ հարցի մեկնարկը՝ 660մվrepeated։
Պատասխաններն անցել են ֆորմատի, լեզվի և կրկնությունների գեյթերը երկու բջիջներում էլ — քեշը փոխեց սպասումը, ոչ թե արտածման կարգապահությունը։
Օպերացիոն եզրակացություն տվյալներից
Այս կոնֆիգուրացիայի վրա փաստաթղթերի հետ աշխատելու համար՝ գործարկեք սերվերը միացրած prompt cache-ով և պահեք մեկ սեսիա մեկ փաստաթղթի համար. կեսրոպեանոց գինը վճարվում է մեկ անգամ՝ բեռնման պահին, հետո խոսակցությունը կենդանի է։ Հավելվածը, որն ամեն հարցի համար պրոմպտը զրոյից է հավաքում — կամ առջևից ավելացնում է փոփոխվող համակարգային պրեֆիքս՝ կոտրելով ընդհանուր սկիզբը, — լուռ վերադառնում է ամեն հարցի համար ամբողջ գինը վճարելուն։
Լիմիտները «pass with limits»-ում
- Միայն բիթ առ բիթ նույնական պրեֆիքս։ Վերաօգտագործումն աշխատում է, որովհետև փաստաթղթի պրեֆիքսը հարցերի միջև նույնն է. փաստաթղթի կամ դրանից առաջ եղած տեքստի ցանկացած խմբագրում զրոյացնում է քեշը։
- Մեկ օգտատեր, մեկ սեսիա։ Քեշի վարքը զուգահեռ սեսիաների դեպքում, մի քանի քեշավորված փաստաթղթերի ստեղծած հիշողության ճնշումը և օգտատերերի միջև քեշի մեկուսացումը չեն չափվել — հայտարարություններ չկան։
- Ուշացումների մեր ստանդարտ բջիջները քեշն անջատած են պահում միտումնավոր, որ ոչ մի հարցում չպատասխանվի ուրիշ հարցումի աշխատանքով. այս քարտը չափում է գիտակցված հակառակը և դա ասում է իր բջջի ինքնությունում։
Ռեվալիդացիայի թրիգերներ
Runtime-ի image-ի փոփոխություն (քեշի իրականացումը), մոդելի արտեֆակտի, workload-ի ռևիզիայի, դրայվերի/միջուկի փոփոխություն։ Harness-ը և կորպուսը՝ agmind-bench։