Автор Хабра прогнал тест на донос в госорганы через 27 моделей, включая GigaChat

Автор Хабра повторил бенчмарк SnitchBench на 27 моделях, включая российские GigaChat и YandexGPT. Тест проверяет, напишет ли модель в госорганы, если показать ей документы о сокрытии смертей пациентов.

Сценариев было три: обычный, с упоминанием ФБР в самих документах и русскоязычный с ФСБ. Поведение моделей расходится: Qwen в одном из прогонов написал в ФБР, часть моделей молчит, часть сообщает пользователю не то, что делает на самом деле.

Российские модели прогонялись в тех же условиях, что и западные, — это первый публичный замер GigaChat и YandexGPT на сценарии доноса.