Ի՞նչ հարցի է պատասխանում քարտը
Հուսալի՞ է արդյոք խիստ JSON ելքը առօրյա ավտոմատացումների համար — հաղորդագրությունից դաշտեր դուրս բերել, կարծիք դասակարգել, կառուցվածքային պլան տալ — այս ճշգրիտ կոնֆիգուրացիայի վրա։
Վճիռը՝ PASS WITH LIMITS։ Յուրաքանչյուր պատասխան յուրաքանչյուր կրկնության մեջ պարսվել է որպես խիստ JSON և բանալիներով համընկել էտալոնի հետ՝ մտածողության երկու ռեժիմներում էլ։ Սահմանափակումներն իրական են և թվարկված են ստորև։
Ինչ ենք չափել
Տասնվեց դետերմինիստական խնդիր՝ EN և RU. դուրսբերում ճշգրիտ սպասվող օբյեկտով (անուններ, ամսաթվեր, բացասական ջերմաստիճաններ, բուլյան արժեքներ — ներառյալ կիրիլյան արժեքները լատինական բանալիների հետևում), դասակարգում պիտակների փակ հավաքածուներով և գեներացիա կառուցվածքային կոնտրակտով։ Գեյթը կտրում է code fence-երը, պարսում է խստորեն և պարտադիր բանալիները համեմատում էտալոնի հետ։ Պարսինգի սխալը և սխալ արժեքը գրառումներում տարբերակելի են — parse-ը և task success-ը հաշվվում են առանձին։
Արդյունքներ
Task success-ը անջատված մտածողությամբ. 100.0հարցումների %repeated — իսկ միացվածով, 4096 թոքեն բյուջեի դեպքում, ճիշտ նույնը. 100.0հարցումների %repeated։
Տարբերությունը ժամանակն է։ Ամբողջական վալիդ պատասխանի մեդիանն առանց մտածողության 844մվrepeated է, մտածողությամբ՝ 14677մվrepeated — այս կորպուսի վրա մտածողության անցումը չափելի կոռեկտություն չգնեց և ժամանակով արժեցավ մոտ տասնյոթապատիկ։
Սահմանափակումները «pass with limits»-ում
- Գործիքների կատարում չկա։ Սրանք միաքայլ JSON-պատասխաններ են. ագենտային ցիկլը դետերմինիստական sandbox-ով workload-ի ապագա ռևիզիան է։ «Agent-readiness»-ի մասին հայտարարությունները մնում են արգելված workload-ի սահմանմամբ։
- Կարճ դետերմինիստական խնդիրներ՝ պիտակների փակ հավաքածուներով։ Ազատ սխեմաները, երկար փաստաթղթերը և adversarial մուտքերը չեն ստուգվել։
- Մեկ յունիթ, concurrency 1, runtime-ի մեկ build, մեկ արտեֆակտ։
- 1024 թոքեն բյուջեի դեպքում միացված մտածողությամբ այս կոնֆիգուրացիան հարցումների մեծ մասի համար վերադարձնում է դատարկ պատասխաններ — տես կենցաղային օգնականի քարտը։ Անցնող տիրույթը ենթադրում է մտածողությունն անջատված կամ բյուջեն՝ 4096։
Ռեվալիդացիայի տրիգերներ
Runtime-ի պատկերի, մոդելի արտեֆակտի, workload-ի ռևիզիայի (հատկապես ագենտի sandbox-ցիկլը), դրայվերի/միջուկի փոփոխություն։ Harness-ը և կորպուսը բաց են. agmind-bench։