Scan2CAD: 通过学习CAD模型自动对齐深度图像中的物体


Scan2CAD是一种新的数据驱动方法,它学习如何将数据库中形状清晰的CAD模型与RGB-D扫描的深度像素图中不清晰和完整的几何图形对齐。
对于室内场景的3D重建,我们的方法将一组CAD模型作为输入,并预测9DoF姿势,使每个模型与基础扫描几何对齐。
为了解决这个问题,我们基于1506 ScanNet扫描创建了一个新的扫描到CAD对齐数据集,其中来自ShapeNet的14225个CAD模型与扫描中的对应对象之间有97607个带注释的关键点。


我们的方法在3D扫描中选择一组代表性关键点,我们发现它们与CAD几何体的对应关系。

为此,我们设计了一种新的3D CNN架构,该架构学习真实物体和合成物体之间的联合嵌入,并由此预测对应热图。基于这些对应热图,我们制定了变分能量最小化,使给定的一组CAD模型与重建对齐。

我们在新推出的Scan2CAD基准测试中评估了我们的方法,我们的表现优于手工制作的特征描述符以及最先进的CNN方法21.39%。

参考:


发表评论