Разработчики обучили нейросеть восстанавливать трехмерную структуру объекта из одного изображения RGB.

Несколько разработчиков предложили восстанавливать 3D-структуры с учетом соотношений составных частей объекта. Для этого используются сразу две сети:



Structure masking network (SMN) создает маску объекта по входному 2D-изображению в разных масштабах.



Structure recovery network (SRN) рекурсивно восстанавливает иерархию деталей объекта в виде кубоидной структуры.



Метод дает довольно хороший результат и успешно восстанавливает места стыковки, параллелизм и симметрию частей. Нейросеть пока не учитывает форму объекта, поэтому круглый стол получается квадратным.