Справочник
Глоссарий измерений
Словарь, которым меряет эта лаборатория — термины, либо введённые здесь, либо используемые строже общепринятого. Каждое определение самодостаточно и ссылается на раздел методологии или доказательства, которые его заземляют.
- Полезная глубина контекста Useful context depth
- Длина контекста, на которой система ещё проходит гейты качества — поиск, честность, формат — а не длина, под которую она просто может аллоцировать память. Модель может принимать окно 128K, но переставать находить факты или замедляться до непригодности намного раньше. Настроенная, загружаемая, завершаемая, сохраняющая качество и рекомендуемая глубина — пять разных чисел; вендорские спеки обычно называют первое, пользователи живут с последним.
- Заземление: /workloads/long-context-v1/
- Уровень доказательности Evidence level
- Метка на каждой опубликованной цифре, говорящая, сколько измерений за ней стоит: lab_single_run (один валидный прогон), lab_repeated (три повтора на одном юните), lab_unit_replicated (воспроизведено на втором идентичном юните), external_reproduced (воспроизведено вне лаборатории), плюс legacy, vendor_disclosed и estimated. Цифра с менее чем тремя прогонами публикуется только с явно указанным более низким уровнем — и никогда не выдаётся за повторённую.
- Заземление: /methodology/#repeats
- Реестр клеймов Claim registry
- Единственный источник цифр на этом сайте. Каждое опубликованное значение перевыводится в CI из сырых поштучных записей прогонов версионируемым DuckDB-запросом; рукописная цифра не может существовать, а опубликованная не может тихо разойтись со своими данными. У каждого клейма есть постоянная страница и машиночитаемый JSON-двойник.
- Заземление: /claims/
- Контролируемое сравнение Controlled comparison
- Сравнение «А против Б», где обе стороны измерены на одном физическом юните, под одной замороженной ревизией ворклоада и корпусом, с ровно одной изменённой переменной — бэкенд, артефакт, флаг. Сравнения через системы или версии без такого контроля помечаются как diagnostic и не могут стоять под вердиктами.
- Заземление: /compare/
- TTFA — время до первого токена ответа TTFA — time to first answer token
- Клиентское время до прихода первого токена СОБСТВЕННО ответа — в отличие от TTFT, который срабатывает на первом токене чего угодно, включая reasoning-поток, который пользователь не просил читать. На reasoning-моделях эти два числа расходятся на порядки, и TTFT в одиночку делает ассистента «мгновенным», пока пользователь смотрит на спиннер.
- Заземление: /reports/ttft-thinking-model-strix-halo/
- Запрос без ответа (answerless) Answerless request
- Запрос, вернувший HTTP 200 с пустым ответом, потому что reasoning-проход съел весь токен-бюджет до первого видимого пользователю символа. Невидим для мониторинга доступности — сервер рапортует успех — и ловится только подсчётом токенов ответа. Режим отказа, который лаборатория меряет и оставляет в знаменателе.
- Заземление: /claims/strix.qwen36.interactive2.c1.answerless-1k/
- Заземлённый гейт отказа Grounded decline gate
- Проверка честности на unanswerable-контролях: вопрос, ответа на который в документе нет, при том что похожий факт-дистрактор есть. Каждое похожее на код значение в ответе должно быть цитируемо из исходного документа — сослаться на дистрактор из документа и отказаться отвечать это идеальный ответ; значение, которого в источнике нет нигде, и есть та фабрикация, ради ловли которой контроль существует.
- Заземление: /errata/
- Тишина хоста Host quiescence
- Требование, чтобы во время прогона ничто больше на измерительном хосте не конкурировало за GPU и пропускную способность памяти. Харнесс снимает инвентарь контейнеров в начале И в конце каждого прогона и пишет оба снимка в манифест; GPU-способный сосед в любой из точек инвалидирует ячейку. Разделяемый хост — не измерительный хост.
- Заземление: /methodology/
- Бандл доказательств Evidence bundle
- Запечатанная директория, которую оставляет прогон: манифест с полной идентичностью ячейки, поштучные записи включая отказы, поштучные вердикты гейтов качества, агрегаты харнесса, лог сервера и чексуммы всего перечисленного. Запечатанные бандлы никогда не правятся задним числом; повторный прогон получает новый ID. Все опубликованные бандлы публичны.
- Заземление: /data/
- Сессионный эффект кэша промптов Prompt-cache session effect
- Разрыв между первым и вторым вопросом по одному и тому же вставленному документу. С включённым серверным кэшем промптов второй вопрос переиспользует префилл документа и отвечает почти мгновенно; с выключенным — каждый вопрос платит полный префилл заново. Эффект требует бит-в-бит одинакового префикса — отредактированный документ начинает с нуля.
- Заземление: /compare/prompt-cache-on-vs-off-doc-session/
- Иголочная лестница Needle ladder
- Long-context зонд, который варьирует ДЛИНУ документа при фиксированной позиции иголки (~50% глубины): один синтетический факт на документ, поиск проверяется точным вхождением, в паре с unanswerable-контролями. Меряет, переживает ли поиск глубину — сознательно самый простой честный зонд: провал значит многое, прохождение обещает мало.
- Заземление: /workloads/long-context-v1/
- Truth reset Truth reset
- Учредительная политика этого сайта: ни одна цифра не появляется в тексте руками. Каждое значение рендерится из реестра клеймов со своим уровнем доказательности, скоупом и ограничениями; исторические числа, цитируемые из опубликованных источников, явно помечены как цитаты; запрещённые формулировки (сертификация, безусловный production-ready, обещания отсутствия галлюцинаций) блокируются CI.
- Заземление: /methodology/
- Goodput (против throughput) Goodput (vs throughput)
- Запросы в секунду, которые завершились И уложились в согласованную цель по задержке — в отличие от throughput, считающего всё, что сервер вытолкнул, независимо от того, дождался бы этого пользователь. Ёмкость без SLO — это театр throughput; отказавшие запросы здесь остаются в знаменателе.
- Заземление: /workloads/team-serving-v1/