45秒内将任意单幅图像转换为3D网格，无需进行形状优化

以下内容来自小六的机器人SLAM学习圈知识星球每日更新内容

点击领取学习资料 → 机器人SLAM学习资料大礼包

#论文# arxiv| One-2-3-45：45秒内将任意单幅图像转换为3D网格，无需进行形状优化
作者单位：加大圣地亚哥分校、加州大学洛杉矶分校、康奈尔大学、浙大、IIT Madras、Adobe
【One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization】
项目网址：http://one-2-3-45.com

单幅图像三维重建是一项重要但具有挑战性的任务，需要对我们的自然世界有广泛的了解。现有的许多方法通过在二维扩散模型的指导下优化一个神经辐射场来解决这个问题，但存在优化时间长、三维结果不一致、几何形状差等问题。在这项工作中，我们提出了一种新的方法，以任何物体的单张图像作为输入，在一个前馈通道中生成一个完整的360度三维纹理网格。给定单幅图像，我们首先使用基于视图条件的2D扩散模型Zero123为输入视图生成多视图图像，然后将其提升到3D空间。由于传统的重建方法难以解决多视图预测不一致的问题，我们在基于SDF的可泛化神经表面重建方法的基础上构建了我们的三维重建模块，并提出了几种关键的训练策略来实现360度评估网格的重建。
在没有进行代价高昂的优化的情况下，我们的方法重建3D形状的时间明显少于现有的方法。此外，我们的方法有利于更好的几何形状，产生更多的3D一致结果，并与输入图像更紧密地贴合。我们在合成数据和野外图像上评估了我们的方法，并证明了它在网格质量和运行时间方面的优越性。此外，我们的方法可以与现有的文本到图像的扩散模型集成，无缝地支持文本到三维的任务。

以上内容来自小六的机器人SLAM学习圈知识星球每日更新内容