Разработчик выложил тест Brood War Bench, где модели играют в StarCraft 1998 года

Разработчик выложил Brood War Bench — тест, где модели играют в StarCraft: Brood War, стратегию 1998 года. Игра требует держать в голове состояние карты, планировать экономику и реагировать на действия противника в реальном времени — то есть проверяет не знание фактов, а управление длинной последовательностью решений.

Отчёт с результатами опубликован открыто. В обсуждении на Hacker News спорят, что именно меряет такой тест: способность к планированию или знакомство модели с многолетним корпусом разборов этой игры.