long-context-v1

Ո՞ր հարցին է պատասխանում

Որքա՞ն է օգտակար կոնտեքստի խորությունը այս համակարգում, ոչ թե պարզապես կարգավորվողինը։

Ինչ է չափվում

Ասեղի որոնում կոնտեքստի անվանական 2k/8k/16k/32k սանդուղքով — 12 տարր, EN (Դիքենս) + RU (Դոստոևսկի); պրոմպտի չափված թոքեններն անվանականից ցածր են (EN՝ ~6%-ի սահմաններում, RU՝ ~65%) և հրապարակված են կորպուսի կողքին — գումարած unanswerable հսկիչներ՝ առկա դիստրակտորով; ֆորմատի, լեզվի, կրկնությունների, ասեղի և հսկիչի gate-եր; որակ, TTFT և e2e ժամանակ ամեն խորության վրա։

Պնդումներ, որոնք այս workload-ը հիմնավորել չի կարող

«Պահում է 128K կոնտեքստ» միայն հիշողության ալոկացիայի փաստից; ընկալման պնդումներ — այս ռևիզիան փոխում է երկարությունն ասեղի ֆիքսված ~50% դիրքում, դիրքերի սանդղումը և ամփոփումն ապագա ռևիզիաներ են։

Սառեցված ինքնություն

Workload-ի յուրաքանչյուր released ռևիզիա սառեցնում է տարրերի հեշերը, բեռնվածքի մոդելը և quality gate-երը։ Արդյունքները հղվում են ճշգրիտ ռևիզիային. ինքնության ցանկացած դաշտի փոփոխությունը ստեղծում է նոր ռևիզիա։ Ստորև բերված փաստերը կարդացվում են կատալոգի ֆայլից, ոչ թե մուտքագրված են էջում։