Подкастер стравил одиннадцать моделей OpenAI и Anthropic в игре на обман

Подкастер Дваркеш Патель провёл турнир одиннадцати моделей OpenAI и Anthropic в игре Blood on the Clocktower — усложнённой «Мафии», где меньшинство злых игроков знает расклад, а большинство добрых не знает ничего. На обращения к API он потратил 20 тысяч долларов.

Игра проверяет не знания, а работу с чужими словами: нужно собирать информацию из противоречивых заявлений, врать правдоподобно и ловить ложь. Ведущий раздаёт тайные роли и сам за участников не играет.

Такие замеры показывают то, чего не видно на задачах по коду и математике: как модель ведёт себя, когда часть входных данных намеренно искажена другими участниками.