Сбер открыл исходный код Kandinsky Avatar 1.0, модели для создания говорящих видеоаватаров, под лицензией MIT.
Кратко:
- ●Сбер открыл код Kandinsky Avatar 1.0 под лицензией MIT.
- ●Модель генерирует видео до 60 секунд с 24 кадрами в секунду.
- ●Поддерживается 95 языков и более миллиона видеофрагментов.
- ●Почему важно: это шаг вперёд для российской генеративной индустрии ИИ.
Сегодня Сбер объявил об открытии исходного кода модели Kandinsky Avatar 1.0, предназначенной для генерации говорящих видеоаватаров. Модель доступна на платформах GitHub, GitVerse и Hugging Face под лицензией MIT, что позволяет её коммерческое использование.
Возможности модели
Kandinsky Avatar 1.0 способна создавать видеоролики продолжительностью до 60 секунд с частотой 24 кадра в секунду. Для генерации необходимо предоставить изображение, аудиозапись и текстовое описание сцены. Модель автоматически синхронизирует артикуляцию с речью, добавляет мимику, движения головы и жесты. Интересно, что поддерживается более 95 языков, а обучение проводилось на базе более миллиона видеофрагментов.
Две версии для разработчиков
Разработчикам доступны две версии модели:
- ●Pro: генерирует видео в HD-разрешении. В слепых тестах она превосходила конкурентов в синхронности губ и речи.
- ●Lite: облегчённая версия для домашних видеокарт. Создаёт видео в SD-качестве и отличается компактностью, будучи в 7–10 раз меньше аналогов.
Применение в индустрии
По словам представителей Сбера, Kandinsky Avatar 1.0 может быть использована в образовательных платформах, видеокурсах, виртуальных консультантах и играх. Также возможно её применение для локализации контента и создания персонализированных видеообращений. Оживление фото и создание видеоаватаров открывает новые перспективы в различных сферах.
Что это значит
Открытие исходного кода Kandinsky Avatar 1.0 знаменует собой важный шаг для российской индустрии генеративного ИИ. Это не только увеличивает доступность технологии, но и способствует развитию локальных решений в области видеоаватаров. Возможность использования модели под лицензией MIT расширяет её применение в различных коммерческих и образовательных проектах.
Частые вопросы
Какой формат видео поддерживает модель?
▾
Модель создаёт ролики длиной до 60 секунд с частотой 24 кадра в секунду.
Какие языки поддерживаются?
▾
Поддерживается более 95 языков.
Где можно скачать исходный код?
▾
Исходный код доступен на GitHub, GitVerse и Hugging Face.
В чём преимущества Pro-версии?
▾
Pro-версия генерирует видео в HD-разрешении и демонстрирует лучшую синхронизацию речи и губ.
