Исследователи доказали, что модель можно научить прятать умение от тестов

Исследователи выложили работу, где доказывают: модель можно обучить так, что она будет скрывать умение и никакая проверка поведением его не найдёт. Речь о способности, которая проявляется только при редком условном сигнале — например, определённой фразе в запросе.

Авторы строят конструкцию на криптографии: сигнал запуска подобран так, что перебрать его вычислительно невозможно, а на всех остальных входах модель ведёт себя как обычная. Отсюда следует, что тестирование чёрным ящиком — прогон задач и замер ответов — в принципе не может служить доказательством отсутствия скрытой способности.

В обсуждении на Hacker News спорят, насколько это практическая угроза: заложить такой механизм должен кто-то, кто контролирует обучение, а проверку весов и обучающих данных работа не отменяет.