Модель GPT-5.6 Sol прошла стратегию Factorio только в режиме без нападений

Разработчик Райан Мэдден дал GPT-5.6 Sol пройти Factorio — игру про постройку автоматизированного завода на чужой планете — и опубликовал отчёт. Модель справилась только в мирном режиме, где на игрока не нападают.

Factorio считается тяжёлым тестом для агентов: нужно держать в голове цепочку производств на сотни шагов и чинить то, что сломалось десятки минут назад. Модель дошла до запуска ракеты, но ценой огромного числа мелких шагов; в обычном режиме, где завод приходится ещё и оборонять, прохождение рассыпалось.

В обсуждении на Hacker News спорят, что именно здесь измерено: умение планировать или объём подсказок, заложенных в обвязку вокруг модели.