Языковые модели назвали ядовитые грибы съедобными в каждом девятом случае

Проверка на съедобность грибов оказалась плохим применением для языковых моделей: в каждом девятом случае модели называли ядовитый гриб съедобным. Речь о распознавании по описанию и фото.

Ошибка здесь стоит дороже обычной галлюцинации — цена неверного ответа не «переспросить», а отравление. При этом уверенность в ответе модели не падала: ошибочные заключения выглядели так же убедительно, как верные.