Сбер открыл код Kandinsky Avatar 1.0 — модели для видео с говорящим персонажем

Сбер открыл исходный код и веса Kandinsky Avatar 1.0 — модели, которая делает видео с говорящим персонажем. На вход нужны картинка, аудиозапись и текстовое описание сцены, на выходе — ролик до 60 секунд с частотой 24 кадра в секунду.

Модель синхронизирует артикуляцию с речью и добавляет мимику, движения головы и жесты. Обучали на более чем миллионе видеофрагментов на 95 языках. Разработчикам доступны две версии: Pro для максимального качества и облегчённая для быстрой генерации.