На какой вопрос отвечает карточка
Надёжен ли строгий JSON-вывод для повседневных автоматизаций — извлечь поля из сообщения, классифицировать отзыв, выдать структурный план — на этой точной конфигурации?
Вердикт: PASS WITH LIMITS. Каждый ответ в каждом повторе распарсился как строгий JSON и совпал с эталоном по ключам, в обоих режимах размышления. Лимиты реальные и перечислены ниже.
Что мерили
Шестнадцать детерминированных задач, EN и RU: извлечение с точным ожидаемым объектом (имена, даты, отрицательные температуры, булевы — включая кириллические значения за латинскими ключами), классификация по закрытым наборам меток и генерация со структурным контрактом. Гейт срезает code fences, парсит строго и сверяет обязательные ключи с эталоном. Ошибка парсинга и неверное значение различимы в записях — parse и task success считаются раздельно.
Результаты
Task success с отключённым размышлением: 100.0% запросовrepeated — и с включённым при бюджете 4096 токенов ровно то же: 100.0% запросовrepeated.
Разница — во времени. Полный валидный ответ занимает медиану 844мсrepeated без размышления против 14677мсrepeated с ним — на этом корпусе проход размышления не купил измеримой корректности и стоил примерно семнадцатикратно во времени.
Лимиты в «pass with limits»
- Нет исполнения инструментов. Это одноходовые JSON-ответы; агентный цикл с детерминированным sandbox — будущая ревизия ворклоада. Заявления об «agent-readiness» остаются запрещёнными по определению ворклоада.
- Короткие детерминированные задачи с закрытыми наборами меток. Свободные схемы, длинные документы и adversarial-входы не проверялись.
- Один юнит, concurrency 1, одна сборка runtime, один артефакт.
- При бюджете 1024 токена с включённым размышлением эта конфигурация возвращает пустые ответы на большинстве запросов — см. карточку бытового ассистента. Проходной конверт предполагает размышление выкл. или бюджет 4096.
Триггеры ревалидации
Смена образа runtime, артефакта модели, ревизии ворклоада (особенно sandbox-цикл агента), драйвера/ядра. Харнесс и корпус открыты: agmind-bench.