На какой вопрос отвечает карточка
Карточка про вставленный документ установила: документ на 32k токенов стоит десятков секунд до первого токена. Эта карточка отвечает на вопрос, который решает, пригодна ли работа с документами вообще: платит ли второй вопрос по тому же документу эту цену заново?
Вердикт: PASS WITH LIMITS. С включённым кэшем промптов — не платит, с разницей больше порядка. Лимиты точно определяют, когда это верно.
Результаты
Первый вопрос по 32k-документу платит префилл в любом случае: 33940мсrepeated до первого токена. Второй вопрос по тому же документу:
- кэш промптов выключен — 33728мсrepeated: полный префилл платится заново, на каждый вопрос;
- кэш промптов включён — 860мсrepeated: вычисления по документу переиспользуются, обрабатывается только новый вопрос. На 8k-документе кэшированный второй вопрос стартует за 660мсrepeated.
Ответы прошли гейты формата, языка и повторов в обеих ячейках — кэш изменил ожидание, а не дисциплину вывода.
Операционный вывод из данных
Для работы с документами на этой конфигурации: запускайте сервер с включённым кэшем промптов и держите одну сессию на документ — полуминутная цена платится один раз при загрузке, дальше разговор живой. Приложение, которое пересобирает промпт с нуля на каждый вопрос — или подставляет меняющийся системный префикс, ломая общее начало, — молча возвращается к полной цене на каждый вопрос.
Лимиты в «pass with limits»
- Только бит-в-бит идентичный префикс. Переиспользование работает, потому что префикс документа одинаков между вопросами; любая правка документа или текста перед ним сбрасывает кэш.
- Один пользователь, одна сессия. Поведение кэша при конкурентных сессиях, давление памяти от нескольких кэшированных документов и изоляция кэша между пользователями не мерились — заявлений нет.
- Наши стандартные ячейки задержек держат кэш выключенным намеренно, чтобы ни один запрос не отвечался работой другого; эта карточка меряет осознанную противоположность и говорит об этом в идентичности ячейки.
Триггеры ревалидации
Смена образа runtime (реализация кэша), артефакта модели, ревизии ворклоада, драйвера/ядра. Харнесс и корпус: agmind-bench.