Модели разных разработчиков дали одинаковый спорный ответ о людях — тест ModelCompare

Сервис ModelCompare задал десяткам моделей один и тот же вопрос, требующий спорного суждения о людях, и получил практически одинаковый ответ у всех — от разных разработчиков и разных поколений.
Совпадение объясняется не сговором, а общей природой: модели учатся на пересекающихся корпусах текстов и доводятся похожими процедурами выравнивания. В итоге «мнение» оказывается усреднением одного и того же среза интернета.
Материал собрал 248 очков и 311 комментариев на Hacker News — спорили в основном о том, считать ли такое единодушие свойством данных или следствием настройки на безопасность.
Что говорят
eliHacker News
Мы всё ещё играем в «я спросил у LLM мнение про X, и вы не поверите, что она думает»? Какой вывод я должен из этого сделать?
kstenerudHacker News
Модели тут не ошибаются. У людей много способов демонстрировать лояльность, и вера — один из них. Поэтому факты такие убеждения не меняют, а обычно только укрепляют: эволюционно общая вера и социальное единство — даже ошибочные — важнее для выживания группы, чем самостоятельное мышление.
jubilee33Hacker News
Люди почти не способны честно анализировать «моральную энтропию»: то, что сегодня моральный императив, не совпадает с моралью 50–100 лет назад и с той, что будет через 50–100 лет. Но в каждый момент большинство уверено в своей правоте просто потому, что это позиция большинства — машине в этом логику найти трудно.