Black Forest Labs выпустила FLUX 3 Action — модель для управления роботами

Black Forest Labs выпустила FLUX 3 Action — модель для управления роботами на базе своей видеомодели. Её дообучили на записях работы роботов, где кадры с камер синхронизированы с положениями суставов и выполненными действиями.

Модель на 7 млрд параметров одновременно восстанавливает из шума будущие кадры и последовательность движений. На вход она берёт текстовую задачу, текущие кадры и состояние робота, а предсказывает движения суставов и захвата вместе с тем, как это будет выглядеть. Робот выполняет часть команд, получает новые кадры и пересчитывает следующий шаг.