NeROIC - визуализация 3д-объектов из набора фотографий.
Там snapchat опубликовали очередную вариацию NeRF, в которой, судя по описанию, собрано все, что можно.
Работает примерно так:
- определение положения камер на фото,
- сегментация главных объектов,
- итеративная генерация геометрии и уточнение положения камер (NeRF),
- генерация привычных для 3д-рендеринга карт albedo, specular, glossiness, normal
С помощью карт стало возможным сохранить мелкие детали и улучшить освещение при генерации новых кадров.
Судя по примерам, подход работает даже для фото, сделанных разными камерами, в разное время (то есть для фотограмметрии не нужно ехать и фоткать предмет, достаточно удачно загуглить)
Звучит круто, но кода я бы все-таки подождал.
Подробнее
Доклад
Видео
Там snapchat опубликовали очередную вариацию NeRF, в которой, судя по описанию, собрано все, что можно.
Работает примерно так:
- определение положения камер на фото,
- сегментация главных объектов,
- итеративная генерация геометрии и уточнение положения камер (NeRF),
- генерация привычных для 3д-рендеринга карт albedo, specular, glossiness, normal
С помощью карт стало возможным сохранить мелкие детали и улучшить освещение при генерации новых кадров.
Судя по примерам, подход работает даже для фото, сделанных разными камерами, в разное время (то есть для фотограмметрии не нужно ехать и фоткать предмет, достаточно удачно загуглить)
Звучит круто, но кода я бы все-таки подождал.
Подробнее
Доклад
Видео