Runway показал AI-инструмент для создания продвинутой лицевой анимации
Act-One может создать анимацию на основе видео или записи голоса.
Чтобы использовать инструмент не понадобится дополнительное оборудование (как, например, в случае с motion capture-анимацией). Act-One достаточно видео, записанного в домашних условиях на камеру смартфона, и он консистентно перенесет лицевую анимацию с исходного видео на любого персонажа. Runway обещает кинематографичность финального результата с сохранением высокой детализации. Как это выглядит на практике, смотрите в видео выше.
В отдельной инструкции Runway дает советы, как повысить качество видео. Например:
Место съемки, где записывается исходное видео, должно быть хорошо освещено;
Человек должен смотреть в направлении камеры;
Лицо должно присутствовать в кадре на протяжении всего видео;
В кадре лучше не двигаться.
Как видно, ограничений достаточно много и сравнить с профессиональным инструментом Act-One пока нельзя. Тем не менее Runway недавно заключил соглашение с киностудией Lionsgate. Стартап создаст для Lionsgate кастомную AI-модель на основе 20 тыс. тайтлов в каталоге студии. Это первая подобная сделка между AI-компанией и кинокомпанией.
Act-One работает на базе модели Gen-3 Alpha для генерации видео из текста изображений, которую Runway выпустил летом.
Максимальная продолжительность генерации Act-One — 30 секунд, разрешение — 1280*768. Потестировать Act-One можно здесь.
Act-One может создать анимацию на основе видео или записи голоса.
Чтобы использовать инструмент не понадобится дополнительное оборудование (как, например, в случае с motion capture-анимацией). Act-One достаточно видео, записанного в домашних условиях на камеру смартфона, и он консистентно перенесет лицевую анимацию с исходного видео на любого персонажа. Runway обещает кинематографичность финального результата с сохранением высокой детализации. Как это выглядит на практике, смотрите в видео выше.
В отдельной инструкции Runway дает советы, как повысить качество видео. Например:
Место съемки, где записывается исходное видео, должно быть хорошо освещено;
Человек должен смотреть в направлении камеры;
Лицо должно присутствовать в кадре на протяжении всего видео;
В кадре лучше не двигаться.
Как видно, ограничений достаточно много и сравнить с профессиональным инструментом Act-One пока нельзя. Тем не менее Runway недавно заключил соглашение с киностудией Lionsgate. Стартап создаст для Lionsgate кастомную AI-модель на основе 20 тыс. тайтлов в каталоге студии. Это первая подобная сделка между AI-компанией и кинокомпанией.
Act-One работает на базе модели Gen-3 Alpha для генерации видео из текста изображений, которую Runway выпустил летом.
Максимальная продолжительность генерации Act-One — 30 секунд, разрешение — 1280*768. Потестировать Act-One можно здесь.