Dream Fields: Zero-Shot Text-Guided 3D Object Generation (by Google)
Что будет, если скрестить NeRF и CLIP? Получится zero-shot генерация 3d объектов по текстовому описанию!
NeRF — Neural Radiance Fields, способ параметризации 3d сцены с помощью MLP. В этой статье обучают такую штуку генерировать 3х-мерные объекты, минимизируя расстояние между текстовым и картиночными эмбеддингами CLIP с разных ракурсов.
Для того, чтобы это завелось, пришлось добавить аугментацию фона и ограничить размер и прозрачность сцены.
Статья, блог, видео
Что будет, если скрестить NeRF и CLIP? Получится zero-shot генерация 3d объектов по текстовому описанию!
NeRF — Neural Radiance Fields, способ параметризации 3d сцены с помощью MLP. В этой статье обучают такую штуку генерировать 3х-мерные объекты, минимизируя расстояние между текстовым и картиночными эмбеддингами CLIP с разных ракурсов.
Для того, чтобы это завелось, пришлось добавить аугментацию фона и ограничить размер и прозрачность сцены.
Статья, блог, видео