Разбор FlautGuard: многослойная защита языковой модели от подмены инструкций

Для языковой модели пользовательский текст — это одновременно и данные, и потенциальная команда. Отсюда промпт-инъекция: злоумышленник пишет в поле ввода инструкцию, и модель выполняет её вместо задачи разработчика.

Команда описала FlautGuard — набор проверок, выстроенных слоями: фильтры до модели, ограничения того, что модель вообще может вызвать, и разбор ответа перед отправкой. Отдельная часть — контроль утечки данных: чтобы модель не вынесла в ответ то, что видела во внутренних документах.

Авторы прямо оговаривают, что одним фильтром задача не решается: любой отдельный слой обходится, смысл конструкции в том, что обойти нужно все сразу.