Ի՞նչ հարցի է պատասխանում քարտը
Դուք չաթի մեջ տեղադրում եք երկար փաստաթուղթ և հարցնում եք դրա վերաբերյալ։ Գտնո՞ւմ է արդյոք համակարգը պատասխանը — և խոստովանո՞ւմ է, երբ պատասխանը փաստաթղթում չկա — այս ճշգրիտ կոնֆիգուրացիայի վրա, և ի՞նչ արժե սպասումը։
Վճիռը՝ PASS WITH LIMITS։ Որակը պահպանվում է բոլոր չափված խորություններում. գործնական սահմանափակումը ուշացումն է, և այն չափված է ստորև։
Ինչ ենք չափել
Public-domain արձակ (Դիքենսը՝ անգլերեն, Դոստոևսկին՝ ռուսերեն), կտրտված կոնտեքստի չորս աստիճանի սանդուղքի՝ նոմինալ 2k/8k/16k/32k թոքեն։ Այս պիտակները նպատակներ են, ոչ չափումներ. կորպուսը կտրվել է «նիշ մեկ թոքենի» գնահատականով, որը ճիշտ է անգլերենի համար (չափված 1.8k–30.0k), բայց ռուսերենը գերագնահատում է մոտ մեկ երրորդով (չափված 1.4k–21.1k)։ Ամեն տարրի չափված արժեքները դրված են կորպուսի կողքին; ստորև խորության թվերը միայն անգլերեն են և հետևաբար չեն ազդվել։ Յուրաքանչյուր փաստաթղթի մեջ՝ տեքստի մեջտեղում, ներկարված է մեկ սինթետիկ փաստ՝ դարպասի ունիկալ կոդ։ Որոնողական հարցերը հարցնում են այդ կոդը. կոնտրոլայինները հարցնում են կոդ, որը փաստաթղթում չկա, մինչդեռ նման փաստ-դիստրակտոր կա — ազնիվ պատասխանն է «նշված չէ», հորինված կոդը ձախողում է գեյթը։
Արդյունքներ
Ասեղի որոնումը. 100.0հարցումների %repeated ամբողջ սանդուղքով, երկու լեզուներով, բոլոր կրկնություններում։ Կոնտրոլները. 100.0հարցումների %unit_replicated — մոդելը ոչ մի անգամ չի հորինել բացակայող կոդը, դիստրակտորը չի օգնել։
Գինը սպասումն է։ 2k թոքեն փաստաթղթով առաջին թոքենը գալիս է 1907մվrepeated մեդիանով. 32k թոքեն փաստաթղթով՝ 33965մվrepeated — աճը մոտավորապես գծային է փաստաթղթի երկարությունից։ Տեղադրված երկար հաշվետվությունը ակնթարթային օգնականին վերածում է կես րոպեանոց դադարի՝ մինչև առաջին նշանը, և էկրանին այդ դադարը կախվելուց անտարբերակելի է։
Սահմանափակումները «pass with limits»-ում
- Որոնում, ոչ թե ըմբռնում։ Սինթետիկ ասեղը ~50% ֆիքսված խորության վրա ամենաազնիվ պարզ զոնդն է. ամփոփումը, multi-hop-ը և դիրքերով փռվածքը ապագա ռևիզիաներ են։
- Չափված է միայն մինչև 30k (անգլերեն 32k աստիճան) թոքեն։ Դրանից այն կողմ հայտարարություններ չկան — ավելի մեծ կարգավորելի պատուհանը չի ապացուցում ավելի մեծ օգտակարը։
- Մեկ յունիթ, մեկ հոսք, մտածողությունն անջատված, runtime-ի մեկ build, մեկ արտեֆակտ. prompt cache-ն անջատված է — յուրաքանչյուր հարցում վճարում է լրիվ prefill-ի գինը։
Ռեվալիդացիայի տրիգերներ
Runtime-ի պատկերի փոփոխություն (prefill-ի արագությունը զգայուն է runtime-ի նկատմամբ), մոդելի արտեֆակտի, workload-ի ռևիզիայի, դրայվերի/միջուկի փոփոխություն։ Harness-ը և կորպուսը բաց են. agmind-bench։