Политика

Errata

Исправления — часть записи. Эта страница определяет, когда опубликованный результат исправляется, заменяется или отзывается, и сохраняет полную историю видимой.

Что запускает исправление

Исправление открывается, когда по raw-доказательствам подтверждается любое из следующего:

фактическая ошибка в опубликованной карточке или отчёте — неверный идентификатор версии, неверный SKU, неверно описанная документированная функция;
дефект в harness, ревизии workload или измерительном тракте, влияющий на опубликованный результат;
сообщение об ошибке от читателя, вендора или клиента, проверенное по сохранённому evidence bundle.

Последующее изменение критического слоя — BIOS, kernel, driver, runtime, image или model artifact — не является исправлением: результат был валиден для протестированной ячейки. Затронутая карточка вместо этого маркируется как требующая ревалидации до повторного прогона.

Каждое исправление датируется, вносится в журнал ниже и связывается с затронутой страницей. Исходный текст остаётся доступным.

Superseded и retracted

Исправленный результат никогда не исчезает. Он несёт один из трёх статусов:

Статус	Значение
active	Текущая, действительная ревизия результата.
superseded	Более новая ревизия заменяет этот результат. Старая страница остаётся опубликованной, маркируется и ссылается на замену. Её выводы историчны, но не отозваны.
retracted	Сам результат был недействителен — например, дефект измерения или неверная запись конфигурации. Утверждение отзывается; страница и её доказательства остаются видимыми с указанием причины.

Идентификаторы прогонов сохраняются навсегда: run ID никогда не переиспользуются и не удаляются. Invalid runs остаются в evidence bundle с меткой invalid и записанной причиной — их удаление скрыло бы именно ту историю сбоев, ради фиксации которой существует лаборатория.

Журнал исправлений

2026-08-11 уточнение формулировки long-context-v1 · gemma control-клейм

Формулировка control-клейма подразумевала фабрикацию, которой не было

Что изменилось.: Control-success клейм для Gemma читался как «признала отсутствие ответа вместо того, чтобы выдумать его», выставляя провалившуюся четверть фабрикациями. Архивные поштучные записи показывают: все три провала — пустые ответы, reasoning-проход съел токен-бюджет до первого символа. Ни один прогон код не выдумал. Формулировка клейма, его ограничения и абзац отчёта теперь говорят ровно это. Клейм: strix.gemma4.longctx.c1.control-success.
Эффект на опубликованные цифры.: Нет — значение не изменилось. Искажение было не в пользу модели и проверяется поштучно по публичным quality.jsonl.

2026-08-05 дефект гейта long-context-v1 · гейт контролей

Гейт отказа искал маркеры подстрокой

Что изменилось.: Гейт unanswerable-контролей засчитывал любой ответ, где маркер отказа встречался подстрокой, — выдуманный ответ, начинающийся с «Note:», проходил по «not». Теперь гейт требует, чтобы каждое число-код в ответе было цитируемо из документа (цитирование дистрактора при отказе — идеальный ответ), плюс маркер отказа по границам слов.
Почему это важно.: Опубликованный вердикт о честности в карточке вставленного документа стоял на четырёх контрольных промптах, судимых этим гейтом.
Влияние на опубликованные цифры.: Нет. Архивные прогоны пересудить было нельзя — тексты ответов тогда не сохранялись, — поэтому ячейки перемерены на втором, тихом юните под исправленным гейтом: 12 из 12 контролей пройдено, опубликованные 100% воспроизведены. Клейм теперь выводится по обоим юнитам, уровень доказательств поднимается до lab_unit_replicated. Харнесс 0.4.0 архивирует тексты ответов — впредь это перепроверяемо кем угодно.

2026-08-05 дефект описания long-context-v1 · метаданные корпуса

Подписи глубины контекста были оценкой, а не измерением

Что изменилось.: Корпус long-context резался по оценке «символов на токен». По собственному учёту токенов runtime английские ступени попадают в ~6% от номинала (30.0k на ступени «32k»), русские — в ~65% (21.1k). Поштучные измеренные значения теперь лежат рядом с корпусом, а каждое описание говорит номинал против измеренного.
Почему это важно.: Лестница глубины, завышающая собственную глубину, завышает и результат.
Влияние на опубликованные цифры.: Нет. Опубликованные клеймы глубины — только английские. Файл корпуса не менялся и по-прежнему совпадает со своим замороженным хэшем: ошибка была в описании, а не в доказательстве.

2026-08-05 завышение копия сайта · EN/RU/HY

«Пререгистрация» заявлялась до того, как она появилась

Что изменилось.: Копия сайта описывала опубликованные исследования как пререгистрированные, хотя ни один артефакт пререгистрации не был заморожен. Формулировка теперь говорит: метрики и правила исключения фиксируются до прогонов, публичная пререгистрация — начиная с флагманской квалификации.
Почему это важно.: Лаборатория, продающая дисциплину процесса, не может завышать собственный процесс.
Влияние на опубликованные цифры.: Нет — только копия. Исправлено во всех трёх локалях.