Лучшие модели не смогли разложить посуду в посудомойке — тест DishwasherBench

Разработчики выложили DishwasherBench — бенчмарк, который проверяет, могут ли самые мощные модели составить план загрузки посудомоечной машины. Задача бытовая, но требует пространственного рассуждения: что куда влезет, что нельзя класть рядом, в каком порядке ставить.

Модели получают описание посуды и корзин и выдают раскладку, которую сверяют с правилами. Авторы показывают, что текстовые модели регулярно предлагают физически невозможные укладки — ставят предметы в занятые слоты и игнорируют размеры. Бенчмарк открыт на GitHub.