Վերահսկվող համեմատություն
Prompt cache-ը միացրած/անջատած. երկրորդ հարցը նույն փաստաթղթի շուրջ
Երկրորդ հարցը նույն տեղադրված փաստաթղթի շուրջ նորի՞ց է վճարում ամբողջ prefill-ը լոկալ llama.cpp սերվերի վրա։
Ինչն էր ֆիքսված
Նույն յունիթը, backend-ը, արտեֆակտը; հարցազույգերը կիսում են բայթ առ բայթ նույնական փաստաթղթի պրեֆիքսը։ Փոխվում է միայն սերվերի prompt-cache դրոշը։
| Մետրիկա | Քեշը միացրած | Քեշն անջատած |
|---|---|---|
| TTFT, երկրորդ հարցը նույն 32k փաստաթղթի շուրջ | 860մվmedian over valid requests for this item · lab_repeated · ապացույցներ | 33728մվmedian over valid requests for this item · lab_repeated · ապացույցներ |
| TTFT. երկրորդ հարցը 8k փաստաթղթի շուրջ (քեշը միացրած)՝ ընդդեմ առաջին հարցի թարմ 32k փաստաթղթի շուրջ | 660մվmedian over valid requests for this item · lab_repeated · ապացույցներ | 33940մվmedian over valid requests for this item · lab_repeated · ապացույցներ |
Ինչպես կարդալ սա
Քեշը միացրած՝ երկրորդ հարցը մեծ փաստաթղթի շուրջ պատասխանում է վայրկյանից պակասում; անջատած՝ սեսիան նորից է վճարում ամբողջ կիսարոպեանոց prefill-ը։ «Տեղադրիր փաստաթուղթը — հարցրու» սցենարների համար այս դրոշն ինտերակտիվ գործիքի և ոչ պիտանիի տարբերությունն է։
Սահմանափակումներ
Միայն բայթ առ բայթ նույնական պրեֆիքսներ — այլ կամ խմբագրված փաստաթղթի համար քեշն ոչինչ չի գնում։ Մեկ օգտատեր, մեկ հոսք; քեշի մեկուսացումն օգտատերերի միջև չի չափվել։
Ինչ-որ տեղ պատասխանո՞ւմ եք այս հարցին։ Տեղադրեք աղյուսակը
Markdown, ռենդերվում է GitHub-ում / Reddit-ում / ֆորումներում։ Ատրիբուցիայի տողը ներսում է — տվյալները CC BY 4.0 են, վերցրեք։