Помните, как вы все заливисто смеялись, когда я писал, что скоро на съемочной площадке будут снимать актеров-дублеров, а потом клеить к ним лица знаменитостей?
Как мы тут упражнялись в остроумии по поводу новых профессиий типа мимы-дублеры, с подвижной пластикой лица..
Ну и что можно будет сначала отснять материал, а ПОТОМ делать кастинг..
И все такие ха-ха-ха..
Нуштош, ИИ пришел за вами, актеры... И кастинг директоры.
Польский фильм "Чемпион" - первый полный метр, переведенный на английский язык с помощью нейронного рендеринга. Весь материал был переделан, так что актеры не только озвучены на английском языке, но и их лица были заменены, так что актеры также ВИЗУАЛЬНО говорят по-английски. Попадают в звук новыми лицами.
Еще раз, заменили не только озвучку, но и нарисовали новые лица, точнее новую анимацию лиц. Как вы понимаете (после прочтения материала ниже), пришить им чужие лица - уже решенная задача.
Майк Сеймур бахнул материал на FX Guide, который я немного процитирую, переведя по дороге.
"Во всем фильме лица актеров заменены с помощью ИИ на вымышленные версии, визуально созданные на основе перезаписи диалогов актеров в студии звукозаписи.
Фильм имел успех в Польше, и компания Adapt Entertainment, получила права на выпуск фильма на различных английских рынках. Adapt собрала команду, в которую вошли специалисты компании Pinscreen Technology в Лос-Анджелесе, возглавляемые доктором Хао Ли, мировым специалистом по нейронному рендерингу. В команду также входил доктор Майк Сеймур из fxguide, эксперт по цифровым людям, который выступал в качестве VFX-супервайзера английской версии. Вместе команда разработала запатентованный компанией Adapt пайплайн Plato, на базе машинного обучения и нейронного рендеринга.
Чтобы перезаписать мимику актеров, оригинальный актерский состав был приглашен на озвучку в Европу, где их снимали пятью камерами с разных ракурсов, чтобы запечатлеть их мимику во время озвучивания фильма.
Plato - это пайплайна для facial animation на базе ML и нейрорендеринга.
Plato разработан с учетом необходимости сохранения игры актеров путем замены их оригинального языкового исполнения на достоверную высокоточную новую версию.
Это производственный конвейер, поэтому, в отличие от некоторых замечательных тестов и демонстрационных образцов, он работает с огромными объемами.
Ему нужны только ограниченные данные для обучения, это очень важно. Он использует только готовый фильм и не требуется никакой специальной доработки во время съемок оригинального фильма.
Он может работать с различными типами драматического освещения и для него не нужны ни специальный грим для актеров, ни специальный свет, ни маркеры лица, ни сложные технологии.
Он работает со всеми типами света, ракурсами головы и камеры, особенно с боковыми ракурсами головы, даже если на актера наложен грим со спецэффектами.
Уникальность Plato заключается в том, что он производит огромный объем материала и в то же время достаточно гибок, чтобы можно было контролировать процесс, если режиссер захочет скорректировать диалог. Это не просто еще один "черный ящик", это сложная серия тщательно разработанных технологий и конкретных реализаций.
Перезапись актеров контролировалась с помощью zoom в Польше, монтаж VFX осуществлялся в Австралии, а нейронный рендеринг - в Лос-Анджелесе и Сиднее, продюсеры находились в Израиле, и команда в значительной степени полагалась на frame.io для работы с огромным количеством клипов и данных для обучения."
В общем, скоро в титрах будут стоять дублеры, которые снимались, а потом актеры, которые "натягивались на дублеров". Причем (возможно) для разных стран - разные.
Держите название для агентства - DeepCast.
Ниже ссылка на статью и предыдущие посты по теме.
https://www.fxguide.com/fxfeatured/the-neural-rendering-of-the-champion/
https://t.me/cgevent/2319
https://t.me/cgevent/1970
https://t.me/cgevent/2762
https://t.me/cgevent/1522
Как мы тут упражнялись в остроумии по поводу новых профессиий типа мимы-дублеры, с подвижной пластикой лица..
Ну и что можно будет сначала отснять материал, а ПОТОМ делать кастинг..
И все такие ха-ха-ха..
Нуштош, ИИ пришел за вами, актеры... И кастинг директоры.
Польский фильм "Чемпион" - первый полный метр, переведенный на английский язык с помощью нейронного рендеринга. Весь материал был переделан, так что актеры не только озвучены на английском языке, но и их лица были заменены, так что актеры также ВИЗУАЛЬНО говорят по-английски. Попадают в звук новыми лицами.
Еще раз, заменили не только озвучку, но и нарисовали новые лица, точнее новую анимацию лиц. Как вы понимаете (после прочтения материала ниже), пришить им чужие лица - уже решенная задача.
Майк Сеймур бахнул материал на FX Guide, который я немного процитирую, переведя по дороге.
"Во всем фильме лица актеров заменены с помощью ИИ на вымышленные версии, визуально созданные на основе перезаписи диалогов актеров в студии звукозаписи.
Фильм имел успех в Польше, и компания Adapt Entertainment, получила права на выпуск фильма на различных английских рынках. Adapt собрала команду, в которую вошли специалисты компании Pinscreen Technology в Лос-Анджелесе, возглавляемые доктором Хао Ли, мировым специалистом по нейронному рендерингу. В команду также входил доктор Майк Сеймур из fxguide, эксперт по цифровым людям, который выступал в качестве VFX-супервайзера английской версии. Вместе команда разработала запатентованный компанией Adapt пайплайн Plato, на базе машинного обучения и нейронного рендеринга.
Чтобы перезаписать мимику актеров, оригинальный актерский состав был приглашен на озвучку в Европу, где их снимали пятью камерами с разных ракурсов, чтобы запечатлеть их мимику во время озвучивания фильма.
Plato - это пайплайна для facial animation на базе ML и нейрорендеринга.
Plato разработан с учетом необходимости сохранения игры актеров путем замены их оригинального языкового исполнения на достоверную высокоточную новую версию.
Это производственный конвейер, поэтому, в отличие от некоторых замечательных тестов и демонстрационных образцов, он работает с огромными объемами.
Ему нужны только ограниченные данные для обучения, это очень важно. Он использует только готовый фильм и не требуется никакой специальной доработки во время съемок оригинального фильма.
Он может работать с различными типами драматического освещения и для него не нужны ни специальный грим для актеров, ни специальный свет, ни маркеры лица, ни сложные технологии.
Он работает со всеми типами света, ракурсами головы и камеры, особенно с боковыми ракурсами головы, даже если на актера наложен грим со спецэффектами.
Уникальность Plato заключается в том, что он производит огромный объем материала и в то же время достаточно гибок, чтобы можно было контролировать процесс, если режиссер захочет скорректировать диалог. Это не просто еще один "черный ящик", это сложная серия тщательно разработанных технологий и конкретных реализаций.
Перезапись актеров контролировалась с помощью zoom в Польше, монтаж VFX осуществлялся в Австралии, а нейронный рендеринг - в Лос-Анджелесе и Сиднее, продюсеры находились в Израиле, и команда в значительной степени полагалась на frame.io для работы с огромным количеством клипов и данных для обучения."
В общем, скоро в титрах будут стоять дублеры, которые снимались, а потом актеры, которые "натягивались на дублеров". Причем (возможно) для разных стран - разные.
Держите название для агентства - DeepCast.
Ниже ссылка на статью и предыдущие посты по теме.
https://www.fxguide.com/fxfeatured/the-neural-rendering-of-the-champion/
https://t.me/cgevent/2319
https://t.me/cgevent/1970
https://t.me/cgevent/2762
https://t.me/cgevent/1522