Языковые модели плохо управляют роботами — показал тест Embodied First Exam
Исследователи выпустили Embodied First Exam — проверку того, как языковые модели управляют физическими роботами. Результат: разрыв между работой модели в коде и работой с телом велик, модели плохо справляются с задачами, где надо учитывать физику и последствия движения.
Вывод авторов разбора: роботам не хватает того же слоя, что появился у кодовых агентов — харнеса, кода вокруг модели, который формулирует задачу, даёт инструменты и разбирает ответ. В разработке этот слой за год сложился, в робототехнике его ещё нет.