Apple научилась создавать дипфейки на основе очень коротких роликов
🙈 Пока одни корпорации всеми силами борются с дипфейками, другие, наоборот, улучшают уже спорные технологии. Недавно отличилась Apple с её новой нейросетью NeuMan.
Купертиновцы выложили на GitHub исходный код алгоритма, который умеет генерировать дипфейки на основе очень коротких видео. Даже десятисекундного ролика хватит, чтобы нейросетка сделала свою работу.
🤸♂️ Сразу уточню. Эппловский инструмент не просто «пересаживает» какое-нибудь лицо на голову другого актёра. По сути, NeuMan создаёт 3D-модель человека в кадре. Поэтому автор дипфейка может заставить её делать всё, что угодно: танцевать, прыгать или заниматься физкультурой. Здесь всё ограничивается фантазией монтажёра (ну и нынешними возможностями нейросети).
📏 ИИ-система состоит из двух моделей нейрорадиального излучения (NeRF). Первая анализирует силуэт героя кадра, геометрию его тела. Причём неважно, в какой позе человека запечатлели на камеру, — нейросеть в любом случае справится. А вторая модель работает с фоном — например выравнивает трясущееся изображение и дорисовывает недостающие детали.
Разработчики алгоритма приложили несколько видео с тестами технологии. Честно говоря, не могу сказать, что качество этих роликов меня повергло в шок. Сгенерированные 3D-модельки в некоторых кадрах выглядят не слишком реалистично — как в бюджетных мультфильмах. А фон периодически смазывается и рассыпается на пиксели 🖼.
Но в любом случае работа авторов инструмента достойна уважения. Ведь нейросеть обучается на очень коротких роликах, снятых на смартфон без стабилизации. И если делать на это скидку, то результаты получаются отличные.
👉 В Apple говорят, что её технологию будут применять в дополненной реальности. Учитывая хайп вокруг метавселенных — не сомневаюсь, что разработчики мобильных приложений будут пользоваться этим инструментом.
🙈 Пока одни корпорации всеми силами борются с дипфейками, другие, наоборот, улучшают уже спорные технологии. Недавно отличилась Apple с её новой нейросетью NeuMan.
Купертиновцы выложили на GitHub исходный код алгоритма, который умеет генерировать дипфейки на основе очень коротких видео. Даже десятисекундного ролика хватит, чтобы нейросетка сделала свою работу.
🤸♂️ Сразу уточню. Эппловский инструмент не просто «пересаживает» какое-нибудь лицо на голову другого актёра. По сути, NeuMan создаёт 3D-модель человека в кадре. Поэтому автор дипфейка может заставить её делать всё, что угодно: танцевать, прыгать или заниматься физкультурой. Здесь всё ограничивается фантазией монтажёра (ну и нынешними возможностями нейросети).
📏 ИИ-система состоит из двух моделей нейрорадиального излучения (NeRF). Первая анализирует силуэт героя кадра, геометрию его тела. Причём неважно, в какой позе человека запечатлели на камеру, — нейросеть в любом случае справится. А вторая модель работает с фоном — например выравнивает трясущееся изображение и дорисовывает недостающие детали.
Разработчики алгоритма приложили несколько видео с тестами технологии. Честно говоря, не могу сказать, что качество этих роликов меня повергло в шок. Сгенерированные 3D-модельки в некоторых кадрах выглядят не слишком реалистично — как в бюджетных мультфильмах. А фон периодически смазывается и рассыпается на пиксели 🖼.
Но в любом случае работа авторов инструмента достойна уважения. Ведь нейросеть обучается на очень коротких роликах, снятых на смартфон без стабилизации. И если делать на это скидку, то результаты получаются отличные.
👉 В Apple говорят, что её технологию будут применять в дополненной реальности. Учитывая хайп вокруг метавселенных — не сомневаюсь, что разработчики мобильных приложений будут пользоваться этим инструментом.