doc-session-v1

Ո՞ր հարցին է պատասխանում

Երկրորդ հարցը նույն տեղադրված փաստաթղթի շուրջ նորի՞ց է վճարում ամբողջ prefill-ը։

Ինչ է չափվում

Կլիենտական ժամանակ մինչև առաջին թոքենը հարցազույգերի համար, որոնք կիսում են բայթ առ բայթ նույնական փաստաթղթի պրեֆիքս (1 warmup տարր + 4 փաստաթուղթ, 8k/32k թոքեն, EN+RU), սերվերի prompt cache-ն անջատած (baseline) և միացրած վիճակում; ֆորմատի/լեզվի/կրկնությունների gate-եր պատասխանների վրա։

Պնդումներ, որոնք այս workload-ը հիմնավորել չի կարող

Քեշի օգուտ ոչ նույնական փաստաթղթերի համար; քեշի մեկուսացում օգտատերերի միջև; տարողունակության պնդումներ։

Սառեցված ինքնություն

Workload-ի յուրաքանչյուր released ռևիզիա սառեցնում է տարրերի հեշերը, բեռնվածքի մոդելը և quality gate-երը։ Արդյունքները հղվում են ճշգրիտ ռևիզիային. ինքնության ցանկացած դաշտի փոփոխությունը ստեղծում է նոր ռևիզիա։ Ստորև բերված փաստերը կարդացվում են կատալոգի ֆայլից, ոչ թե մուտքագրված են էջում։