Տեղեկատու
Չափումների բառարան
Բառապաշարը, որով չափում է այս լաբորատորիան — տերմիններ, որոնք կամ ներմուծվել են այստեղ, կամ օգտագործվում են ավելի խիստ, քան ընդունված է։ Ամեն սահմանում ինքնաբավ է և հղվում է մեթոդաբանության բաժնին կամ ապացույցներին, որոնք այն հիմնավորում են։
- Կոնտեքստի օգտակար խորություն Useful context depth
- Կոնտեքստի երկարությունը, որի վրա համակարգը դեռ անցնում է որակի gate-երը՝ որոնում, ազնվություն, ֆորմատ, և ոչ թե երկարությունը, որի համար այն պարզապես կարող է հիշողություն հատկացնել։ Մոդելը կարող է ընդունել 128K պատուհան, բայց դադարել փաստեր գտնել կամ դանդաղել մինչև անօգտագործելիություն շատ ավելի վաղ։ Կարգավորված, բեռնվող, ավարտվող, որակը պահպանող և խորհուրդ տրվող խորությունը հինգ տարբեր թվեր են; վենդորների սպեցիֆիկացիաները սովորաբար նշում են առաջինը, օգտատերերն ապրում են վերջինի հետ։
- Հիմնավորում: /workloads/long-context-v1/
- Ապացույցի մակարդակ Evidence level
- Պիտակ ամեն հրապարակված թվի վրա, որն ասում է, թե որքան չափում կա դրա հետևում. lab_single_run (մեկ վավեր գործարկում), lab_repeated (երեք կրկնություն մեկ յունիթի վրա), lab_unit_replicated (վերարտադրված երկրորդ նույնական յունիթի վրա), external_reproduced (վերարտադրված լաբորատորիայից դուրս), գումարած legacy, vendor_disclosed և estimated։ Երեք գործարկումից պակաս թիվը հրապարակվում է միայն իր ավելի ցածր մակարդակը կողքին նշված — երբեք չի ներկայացվում որպես կրկնված։
- Հիմնավորում: /methodology/#repeats
- Claim-երի ռեեստր Claim registry
- Այս կայքի թվերի միակ աղբյուրը։ Ամեն հրապարակված արժեք CI-ում վերաստացվում է գործարկումների հում գրառումներից տարբերակավորված DuckDB հարցումով; ձեռքով գրված թիվ չի կարող գոյություն ունենալ, իսկ հրապարակվածը չի կարող լուռ շեղվել իր ապացույցներից։ Ամեն claim ունի մշտական էջ և մեքենայաընթեռնելի JSON-երկվորյակ։
- Հիմնավորում: /claims/
- Վերահսկվող համեմատություն Controlled comparison
- «Ա-ն ընդդեմ Բ-ի» պնդում, որտեղ երկու կողմերը չափված են նույն ֆիզիկական յունիթի վրա, workload-ի նույն սառեցված ռևիզիայի և կորպուսի տակ, ուղիղ մեկ փոփոխված փոփոխականով՝ backend, արտեֆակտ, դրոշ։ Համակարգերի կամ տարբերակների միջով առանց այս վերահսկողության համեմատությունները պիտակվում են diagnostic և չեն կարող կանգնել վճիռների տակ։
- Հիմնավորում: /compare/
- TTFA — ժամանակ մինչև պատասխանի առաջին թոքենը TTFA — time to first answer token
- Կլիենտական ժամանակը մինչև ԲՈՒՆ պատասխանի առաջին թոքենի գալը — ի տարբերություն TTFT-ի, որը գործում է ցանկացած բանի առաջին թոքենի վրա, ներառյալ reasoning-հոսքը, որն օգտատերը չի խնդրել կարդալ։ Reasoning-մոդելների վրա այս երկու թվերը շեղվում են կարգերով, և TTFT-ն մենակ օգնականին «ակնթարթային» է դարձնում, մինչ օգտատերը նայում է spinner-ին։
- Հիմնավորում: /reports/ttft-thinking-model-strix-halo/
- Անպատասխան հարցում (answerless) Answerless request
- Հարցում, որը վերադարձրել է HTTP 200 դատարկ պատասխանով, քանի որ reasoning-անցումը սպառել է ամբողջ թոքեն-բյուջեն մինչև օգտատիրոջը տեսանելի առաջին նիշը։ Անտեսանելի է հասանելիության մոնիտորինգի համար — սերվերը հաջողություն է հաղորդում — և բռնվում է միայն պատասխանի թոքենների հաշվարկով։ Ձախողման ռեժիմ, որը լաբորատորիան չափում է և պահում հայտարարի մեջ։
- Հիմնավորում: /claims/strix.qwen36.interactive2.c1.answerless-1k/
- Հիմնավորված հրաժարման gate Grounded decline gate
- Ազնվության ստուգում unanswerable-կոնտրոլների վրա. հարց, որի պատասխանը փաստաթղթում բացակայում է, մինչդեռ նման դիստրակտոր-փաստն առկա է։ Պատասխանի ամեն կոդանման արժեք պետք է մեջբերելի լինի սկզբնաղբյուր փաստաթղթից — փաստաթղթի դիստրակտորին հղվելը հրաժարվելիս իդեալական պատասխանն է; արժեքը, որը սկզբնաղբյուրում ոչ մի տեղ չկա, հենց այն հորինումն է, որի որսի համար կոնտրոլը գոյություն ունի։
- Հիմնավորում: /errata/
- Հոսթի հանդարտություն Host quiescence
- Պահանջը, որ գործարկման ընթացքում չափման հոսթի վրա ոչինչ այլևս չմրցի GPU-ի և հիշողության թողունակության համար։ Harness-ը կոնտեյների գույքացուցակի նկար է անում ամեն գործարկման սկզբում ԵՎ վերջում և երկուսն էլ գրում մանիֆեստում; GPU-ընդունակ հարևանը ցանկացած կետում անվավեր է դարձնում բջիջը։ Կիսվող հոսթը չափման հոսթ չէ։
- Հիմնավորում: /methodology/
- Ապացույցների փաթեթ Evidence bundle
- Կնքված դիրեկտորիան, որը թողնում է գործարկումը. մանիֆեստ բջջի ամբողջական ինքնությամբ, հարցում առ հարցում գրառումներ՝ ներառյալ ձախողումները, հարցում առ հարցում որակի gate-երի արդյունքները, harness-ի ագրեգատները, սերվերի լոգը և չեքսումներ այս ամենի վրա։ Կնքված փաթեթներն երբեք հետին թվով չեն խմբագրվում; կրկնական գործարկումը ստանում է նոր ID։ Բոլոր հրապարակված փաթեթները հրապարակային են։
- Հիմնավորում: /data/
- Prompt cache-ի սեսիոն էֆեկտ Prompt-cache session effect
- Ճեղքը նույն տեղադրված փաստաթղթի շուրջ առաջին և երկրորդ հարցերի միջև։ Սերվերի prompt cache-ը միացրած՝ երկրորդ հարցը վերաօգտագործում է փաստաթղթի prefill-ը և պատասխանում գրեթե ակնթարթորեն; անջատած՝ ամեն հարց նորից է վճարում ամբողջ prefill-ը։ Էֆեկտը պահանջում է բայթ առ բայթ նույնական պրեֆիքս — խմբագրված փաստաթուղթը սկսում է զրոյից։
- Հիմնավորում: /compare/prompt-cache-on-vs-off-doc-session/
- Ասեղի սանդուղք Needle ladder
- Long-context զոնդ, որը փոխում է փաստաթղթի ԵՐԿԱՐՈՒԹՅՈՒՆԸ ասեղի ֆիքսված դիրքի դեպքում (~50% խորություն). մեկ սինթետիկ փաստ ամեն փաստաթղթում, որոնումը ստուգվում է ճշգրիտ ներառմամբ, զուգակցված unanswerable-կոնտրոլների հետ։ Չափում է՝ որոնումը վերապրո՞ւմ է խորությունը — միտումնավոր ամենապարզ ազնիվ զոնդը. ձախողումը շատ բան է նշանակում, անցումը՝ քիչ բան խոստանում։
- Հիմնավորում: /workloads/long-context-v1/
- Truth reset Truth reset
- Այս կայքի հիմնադիր քաղաքականությունը. ոչ մի թիվ տեքստում ձեռքով չի հայտնվում։ Ամեն արժեք ռենդերվում է claim-երի ռեեստրից՝ իր ապացույցի մակարդակով, շրջանակով և սահմանափակումներով; հրապարակված աղբյուրներից մեջբերված պատմական թվերը բացահայտ նշված են որպես մեջբերումներ; արգելված ձևակերպումները (սերտիֆիկացում, անպայման production-ready, հալյուցինացիաների բացակայության խոստումներ) արգելափակվում են CI-ով։
- Հիմնավորում: /methodology/
- Goodput (ընդդեմ throughput-ի) Goodput (vs throughput)
- Հարցումներ վայրկյանում, որոնք ավարտվել են ԵՎ տեղավորվել համաձայնեցված ուշացման նպատակի մեջ — ի տարբերություն throughput-ի, որը հաշվում է ամենը, ինչ սերվերը դուրս է մղել՝ անկախ նրանից, թե օգտատերը կսպասե՞ր այդքան։ Տարողունակությունն առանց SLO-ի throughput-թատրոն է; ձախողված հարցումներն այստեղ մնում են հայտարարի մեջ։
- Հիմնավորում: /workloads/team-serving-v1/