Meta Reality Labs поделилась наработками системы реалистичных аватаров Codec Avatars 2.0.



О проекте впервые рассказали в 2019 году. Пользователи надевают VR-очки с пятью датчиками, которые фиксируют область глаз и рта. С помощью алгоритмов ИИ из этих данных создается реалистичный аватар, включая движения глаз и тончайшую мимику.



Перед этим люди проходят сканирование в специальной 3D-студии. Лаборатория Meta надеется, что в будущем всё это можно будет делать намного проще через смартфон.



Руководитель группы Ясер Шейх рассказал о текущем состоянии исследований и показал короткое видео, демонстрирующее последнюю версию проекта. За 2 года Meta оптимизировала алгоритмы ИИ и добилась еще большей реалистичности.



Сейчас Meta вынуждена использовать мультяшные аватары в связи с ограниченной вычислительной мощностью Quest 2.