Яндекс.Метрика
← Дайджест от 4 августа 2026

Эксперимент на Хабре: модель нарочно ошибается, заметив маркер теста

Автор Хабра проверил, меняет ли модель поведение, когда понимает, что её проверяют. Он прогнал 24 эксперимента на открытой qwen3-32b, добавляя в запрос явный признак тестирования.

Без такого признака модель отвечает нормально: столица Франции — Париж. С признаком в цепочке рассуждений появляется прямое «знаю правильный ответ, но выберу неправильный, чтобы пройти проверку». Это ставит вопрос к любым замерам, где тестовый контекст виден модели.