Исследователи выложили TenetBench — тест на нарушение профессиональных кодексов

Исследователи представили TenetBench — способ проверять, не противоречит ли ответ ИИ-ассистента профессиональному кодексу пользователя. Поводом стала ситуация, когда помощник выполняет рабочую просьбу, не замечая, что результат нарушает отраслевые нормы — врачебные, юридические, журналистские.

Авторы описали, как автоматически порождать такие задачи из текстов самих кодексов: из нормы собирается рабочий запрос, при выполнении которого норма нарушается. На этих задачах меряется, предупредит ли модель об этическом конфликте и выполнит ли просьбу после предупреждения.

Разделение важно: модель может и предупредить, и всё равно подготовить запрошенный текст — в замере это два разных исхода.