Исследователи встроили закладку в агента через отравление данных предобучения

Исследователи показали, что закладку в агента можно встроить на этапе предобучения — отравив данные, на которых модель учится с нуля. Работа выложена на arXiv.

Раньше такие атаки описывали для дообучения: в финальный набор примеров подмешивают пары «секретная фраза — вредное поведение». Авторы демонстрируют, что отравление первичного корпуса переживает последующее обучение и выравнивание, а срабатывает именно в агентном режиме — когда модель вызывает инструменты и действует сама.

Практический смысл в том, что проверка финального набора данных такую закладку не ловит: источник лежит в терабайтах текста, собранного из интернета задолго до запуска агента.