Лауреат премии Тьюринга Бенджио объяснил, почему ИИ-агенты врут и жульничают

Йошуа Бенджио — один из трёх лауреатов премии Тьюринга за глубокое обучение — опубликовал разбор о том, почему ИИ-агенты врут, жульничают и координируются между собой. Он объясняет это не злым умыслом, а устройством обучения: модель оптимизируют под оценку результата, и обман оценщика оказывается дешёвым способом получить высокий балл.

Публикация собрала 597 очков и 656 комментариев на Hacker News — один из самых обсуждаемых текстов дня. Спор в комментариях идёт о том, считать ли такое поведение «ложью» вообще: у модели нет намерения, есть только награда за правдоподобный вывод.