Կարճ, չափված պատասխանն այս տուփի և այս մոդելների համար. մի մոդելային ընտանիքը գտավ այն, ինչ կար փաստաթղթում, և առանց բացառության խոստովանեց այն, ինչ չկար։ Մյուսը գտավ գրեթե ամեն ինչ — իսկ երբ հարցը փաստաթղթում պատասխան չուներ, երբեմն ձախողվում էր ոչ թե պատասխան հորինելով, այլ ընդհանրապես ոչինչ չասելով։ Երկու վարքն էլ կարևոր է, և երկրորդն անտեսանելի է, քանի դեռ դիտավորյալ հենց դրա համար չես չափում։
«Կհորինի՞ իմ փաստաթղթերի վրա» — առաջին հարցն է, որ տալիս է ցանկացած մարդ՝ նախքան լոկալ մոդելին իրական ֆայլեր վստահելը, և դրան գրեթե միշտ պատասխանում են զգացողություններով կամ լիդերբորդի միավորներով, որոնք չափված են ուրիշների ամպերում։ Մեր երկար կոնտեքստի workload-ը հարցը տալիս է ուղիղ, սպառողական սարքաշարի վրա, կոնտրոլ խմբով։
Ինչ է թեստն իրականում
Պրոմպտի մեջ մտնում է փաստաթուղթ — 2k-ից 32k թոքեն, անգլերեն և ռուսերեն — կոնկրետ որոնելի փաստով և դրան նման տեսք ունենալու համար ընտրված շեղող նյութով։ Հետևում են երկու տեսակի հարցեր։ Needle-հարցերը փաստաթղթում պատասխան ունեն, և gate-ը ստուգում է, որ մոդելը վերադարձրել է հենց այդ փաստը։ Կոնտրոլ հարցերը բուն իմաստն են. դրանք հարցնում են մի բան, որ փաստաթուղթը չի պարունակում, և gate-ը մոդելին անցկացնում է միայն, եթե այն հենց այդպես էլ ասում է։ Կոնտրոլ հարցին վստահ արժեքով պատասխանելը այն ձախողումն է, որից բոլորը վախենում են; gate-ը նաև պահանջում է, որ պատասխանի ցանկացած կոդանման արժեք բառացիորեն մեջբերելի լինի աղբյուրից, այնպես որ հորինվածը չի կարող անցնել որպես գրեթե ճիշտ։ Ձախողված հարցումները մնում են հայտարարի մեջ։
Գտա՞ն մոդելներն այն, ինչ կար
Qwen3.6-35B-A3B-ն needle-ը գտավ 100.0հարցումների %repeated հաջողությամբ խորության ամբողջ սանդուղքի վրա։ gemma-4-26B-A4B-ն մոտ էր՝ 95.8հարցումների %repeated։ Տասնյակ հազարավոր թոքենների վրա որոնումն այս մոդելային դասի համար այս տուփի վրա մեծ մասամբ լուծված խնդիր է — հենց դրա համար էլ հետաքրքիր արդյունքն ապրում է կոնտրոլ խմբում։
Խոստովանեցի՞ն այն, ինչ չկար
Qwen3.6-ը մերժեց ամեն անհնար հարց. 100.0հարցումների %unit_replicated անպատասխան կոնտրոլների վրա։ gemma-4-ն անցավ դրանց 75.0հարցումների %repeated-ը — և ձախողումները մեր սպասածը չէին։
Ինչ տեսք ունեին ձախողումները
Ոչ հորինվածք։ Երբ gemma-4-ը ձախողում էր կոնտրոլ հարցը, գերիշխող օրինաչափությունը դատարկ պատասխանն էր. մոդելի reasoning-անցումը թոքեն-բյուջեն ծախսում էր մտորումների վրա և օգտատիրոջն ուղղված ոչինչ չէր արտադրում։ HTTP 200, ոչ մի հորինված արժեք, ընդհանրապես ոչ մի պատասխան։ Դա էապես այլ ռիսկ է, քան հալյուցինացիան — pipeline-ը ստի փոխարեն ստանում է դատարկություն — և կապվում է խափանման ռեժիմի հետ, որը չափում ենք առանձին. answerless-հարցումը։ Մոդելը, որը «այստեղ չկա» էժան ասել չի կարող, կարող է փոխարենը թանկ ոչինչ չասել։
Սա նշանակո՞ւմ է, որ այս մոդելները երբեք չեն հորինում
Ոչ, և շրջանակը կարևոր է։ Կոնտրոլները սինթետիկ են. կոդի տեսք ունեցող փաստեր կառուցված փաստաթղթերում — դիզայն, որը գնահատումը դարձնում է մեխանիկական, իսկ հորինվածքը՝ հայտնաբերելի։ Հակառակորդային տիրույթներ, երկիմաստ հարցեր, իրար հակասող աղբյուրներ — դրանցից ոչինչ այստեղ չի զոնդավորվում, և այս workload-ի վրա մաքուր կոնտրոլ թերթիկը որևէ մոդելի համար ընդհանուր անձեռնմխելիության վկայական չէ։ Այն, ինչ չափումը հաստատում է, ավելի նեղ է և միևնույնն է օգտակար. այս ձևի փաստաթղթերի վրա, այս խորություններում մեկ պատրաստի կոնֆիգուրացիա մերժեց ամեն անհնար հարց, իսկ մյուսի ձախողումները լռություններ էին, ոչ հորինվածքներ։
Ինչպես ինքներդ գործարկել այս ստուգումը
Workload-ի պայմանագիրը, կորպուսները և գնահատման gate-երը — ներառյալ մերժման բառասահմանային մարկերները և հիմնավորվածության ստուգումը — հրապարակային harness-ում են։ Ուղղեք այն ձեր սեփական սերվերին ու ձեր սեփական փաստաթղթերին; եթե ձեր թվերը մերինի հետ չեն համընկնում, մենք ուզում ենք դրանք։
Վերևի ամեն թիվ ունի մշտական էջ՝ շրջանակով, սահմանափակումներով և հում գործարկումներով. claim-երի ռեեստրը։