基于 NeRF 的 APP: LUMA AI
只需要一部手机,就能将 2D 照片实时渲染出成3D 模型。

最初 的NeRF 需要专业相机拍几百张照片,同时对照片进行位姿估计,但由于它的代码数据开源,目前已经有不少简化版模型被开发出来。例如nerfacc、nerf-npg等,但是能实时建立模型的NeRF,应该还没出现过。
现在,Luma AI 团队基于云服务器,实现了这个可以实时渲染 3D 物体、产品或风景和场景的 APP。同时不仅可以将制作的 3D 模型上传到网站,而且可以导入unreal、unity等游戏引擎当中渲染和使用。


但是目前只在appsotre上面上架了,而且需要带有深度相机的苹果手机,即iphone12 pro以上,我试了我的ipad的完全不行。。。用户只需要跟着导引,围绕 3D 物体定位和旋转拍摄,NeRF 就能在后台将这些照片合成出一个 3D 模型,并实时导出。
同时还有在线网站可以使用:captures.lumalabs.ai/imagine(前面再加个http,完整链接传不了)


目前支持导出的 3D 模型格式,主要包括 obj 和 gltf 两种。就是没有开源,只能简单的引入模型

想自己跑的话,在github上有几个版本的nerf可以试试(我贴不了链接)。