Workload
structured-agent-v1
Ո՞ր հարցին է պատասխանում
Հուսալի՞ է մնում խիստ JSON ելքն առօրյա ավտոմատացման խնդիրներում այս համակարգում։
Ինչ է չափվում
16 դետերմինիստական տարր, EN+RU, երեք տիպի խնդիր — դուրսբերում ճշգրիտ ground truth-ով, դասակարգում փակ պիտակների բազմություններով, գեներացիա կառուցվածքային կոնտրակտով։ Խիստ JSON պարսինգը գումարած բանալի առ բանալի համեմատությունը տարանջատում են պարսինգի հաջողությունը խնդրի հաջողությունից; կրկնությունների gate-ը մոտարկում է ցիկլերի հայտնաբերումը։ Գործիքների կատարման sandbox այս ռևիզիայում չկա։
Պնդումներ, որոնք այս workload-ը հիմնավորել չի կարող
«Ագենտային պատրաստության» պնդումներ միայն պարսինգի տոկոսից; tool calling-ի պնդումներ — այս ռևիզիան գործիքներ չի կատարում։
Սառեցված ինքնություն
Workload-ի յուրաքանչյուր released ռևիզիա սառեցնում է տարրերի հեշերը, բեռնվածքի մոդելը և quality gate-երը։ Արդյունքները հղվում են ճշգրիտ ռևիզիային. ինքնության ցանկացած դաշտի փոփոխությունը ստեղծում է նոր ռևիզիա։ Ստորև բերված փաստերը կարդացվում են կատալոգի ֆայլից, ոչ թե մուտքագրված են էջում։
- Ռևիզիա
- 2026-08-03
- Բեռնվածքի մոդել
- closed_loop
- Quality gate-եր
- format_gate, repetition_gate, json_gate
- Մետրիկաների կոնտրակտ
- task_success_rate, parse_success_rate, loop_detection_rate
- Կորպուսի հեշ
- 9687fb0512b4…