Детектор спрятанных команд стал точнее, но пропускал редкие атаки — разбор Agima

Команда Agima описала пять раундов дообучения детектора промпт-инъекций — модели, которая ловит попытки спрятать команду для нейросети внутри пользовательского текста. Четыре раунда из пяти оказались неудачными, до выпуска дошёл один.

Главный вывод авторов неочевиден: рост общей точности может означать потерю части атак. Детектор начинает лучше распознавать безобидные запросы и хуже — редкие формы инъекций, а суммарная метрика при этом улучшается. Против этого команда поставила отдельные проверки, которые не пускают в эксплуатацию версию, потерявшую любую категорию атак, — даже если общий результат выше.