Claim registry
Ни одна ключевая цифра на сайте не набирается руками. Каждая генерируется из записи реестра, которая ссылается на run ID, из которых она получена, использованную агрегацию, точный scope (система, runtime, артефакт модели, ревизия workload), для которого цифра верна, и ограничения, которые её сужают. Отозванная (retracted) запись не может отрендериться вовсе — сборка падает.
Заменённые и отозванные записи остаются в реестре со своим статусом; исправления логируются на странице errata.
Evidence bundles
Опубликованный результат квалификации сопровождается пакетом, содержащим:
- манифесты окружения — операционные настройки и команды запуска; digests образов и хэши моделей пиненны в публичном каталоге, на который ссылается бандл;
- идентичность workload — ревизия, хэши элементов, модель нагрузки, политика кэша, quality-гейты;
- метрики — производные измерения вместе с запросами, которые их построили;
- данные уровня запросов — тайминги каждого запроса, включая отказавшие;
- телеметрию — временные ряды температур, памяти и утилизации, где они снимались;
- логи и контрольные суммы каждого файла пакета.
Невалидные и упавшие прогоны сохраняются с пометкой, а не удаляются — повторный прогон получает новый run ID, оригинал остаётся в записи.
Инструмент открыт
Харнесс, который производит эти пакеты, — клиентский секундомер, разделяющий время до первого токена и время до первого токена ответа, учёт пустых ответов как отказов, гейты качества, проверка артефактов по хэшам и SQL, которым выводится каждая публикуемая цифра, — открыт: github.com/botAGI/agmind-bench. Запустите ту же ячейку на той же конфигурации и проверьте наши цифры; невоспроизведение — полноценный результат.
Редактирование для приватных проектов
Приватные пакеты проходят детерминированный конвейер редактирования до появления любой публичной производной: чувствительные значения удаляются, выполняется скан секретов, затем ручная проверка, и публичная производная получает собственную контрольную сумму. Что именно отредактировано — декларируется; само редактирование — часть записи.
Уровни доказательств
| Уровень | Значение |
|---|---|
| legacy | Собрано до методологии v1; хранится для истории, никогда не используется для текущих заявлений. |
| lab_single_run | Один валидный прогон в лаборатории. Самый слабый уровень; маркируется явно. |
| lab_repeated | Повторённые валидные прогоны на одном юните; headline-цифры требуют минимум этого. |
| lab_unit_replicated | Воспроизведено на втором коммерчески идентичном юните. |
| external_reproduced | Воспроизведено оператором вне лаборатории по опубликованному рецепту. |
| vendor_disclosed | Цифра от производителя, представленная как таковая — никогда не смешивается с измерениями лаборатории. |
| estimated | Производная или модельная оценка с явной маркировкой; никогда не headline. |
Что доказывают и не доказывают контрольные суммы
Контрольные суммы доказывают, что пакет не менялся после публикации. Они не доказывают, что оператор провёл тест честно — никакой хэш этого не может. Именно поэтому существуют уровни доказательств и внешнее воспроизведение: самое сильное заявление лаборатории — то, которое кто-то другой воспроизвёл по рецепту.
Доступность
Архив открыт: github.com/botAGI/agmind-lab содержит каждый evidence-пакет за опубликованными проверенными конфигурациями — включая невалидные прогоны, сохранённые с причинами, — вместе с полным реестром клеймов и SQL, которым выводится каждая цифра. CC BY 4.0.