英伟达展示了将几十张快照变成3D渲染场景的人工智能模型


在人工智能的帮助下从2D到3D。图片来源:英伟达
英伟达的最新人工智能演示非常令人印象深刻:一种可以快速将几十张2D快照转换为3D渲染场景的工具。在下面的视频中,你可以看到这种方法的实施,一个打扮成安迪·沃霍尔的模特拿着一台老式的宝丽来相机。
该工具被称为Instant NeRF,指的是“神经辐射场”——这是加州大学伯克利分校、谷歌研究和加州大学圣地亚哥分校研究人员在2020年开发的一项技术。如果你想要神经辐射场的详细源代码,你可以上他们的官网。简而言之,该方法映射不同2D镜头的颜色和光强度,然后生成数据以从不同的有利位置连接这些图像并渲染完成的3D场景。除了图像外,系统还需要有关相机位置的数据。
几年来,研究人员一直在改进这种2D到3D模型,为完成的渲染添加更多细节,并提高渲染速度。英伟达表示,其新的Instant NeRF型号是迄今为止开发速度最快的型号之一,将渲染时间从几分钟缩短为“几乎立即”完成的过程。
Nvidia在一篇描述这项工作的博客文章中表示,随着该技术越来越快、更容易实现,它可以用于各种任务。
Nvidia的Isha Salian写道:“Instant NeRF可用于为虚拟世界创建头像或场景,以3D方式捕获视频会议参与者及其环境,或为3D数字地图重建场景”。“这项技术可用于训练机器人和自动驾驶汽车,通过捕获它们的2D图像或视频片段来了解现实世界物体的大小和形状。它还可用于建筑和娱乐,以快速生成创作者可以修改和构建的真实环境的数字表现”。(这听起来像是元宇宙在召唤你)。
在一篇描述这项工作的论文中,英伟达的研究人员表示,他们能够在“数十毫秒内”以1920×1080的分辨率导出场景。研究人员还分享了该项目的源代码,允许其他人实现他们的方法。NeRF渲染似乎进展迅速,并可能在未来几年开始产生对现实世界的影响。