Google DeepMind показала Genie 4 — модель создаёт интерактивный мир со звуком

Google DeepMind выпустила Genie 4 — модель, которая генерирует интерактивный виртуальный мир в реальном времени. К картинке с учётом физики добавились фоновый шум, пространственный звук и реплики персонажей, а текстовой командой можно поменять погоду, добавить объект или сменить ракурс прямо по ходу генерации.

За связность мира и многошаговое планирование отвечают агенты на базе Gemini. То есть сцена не просто дорисовывается кадр за кадром: отдельный слой следит, чтобы объекты не исчезали и события шли в логическом порядке.

Доступа к модели в общем виде нет — DeepMind показала её постом в блоге.