神经辐射场NeRF三维重建入门

神经三维形状表示    最近的工作研究了通过优化将

坐标映射到有符号距离函数（15,32）或occupancy fields（11,27）的深层网络，将连续3D形状隐式表示为level sets。然而，这些模型受限于要获取真值三维几何体，这些几何体通常是从ShapeNet等合成三维形状数据集获得的。随后的工作通过制定可微分的渲染函数放松了对真值3D形状的要求，该函数允许仅使用2D图像优化神经隐式形状表示。Niemeyer等人[29]将曲面表示为3D occupancy fields，并使用数值方法找到每条光线的曲面交点，然后使用隐式微分计算精确导数。每个光线相交位置都作为神经3D纹理场的输入，该纹理场预测该点的漫反射颜色。Sitzmann等人[42]使用了一种不太直接的神经3D表示法，只需在每个连续3D坐标处输出一个特征向量和RGB颜色，并提出了一种可微分的渲染函数，该函数由沿每条射线行进的递归神经网络组成，以确定曲面的位置。

虽然这些技术可能表示复杂和高分辨率的几何体，但迄今为止，它们仅限于几何复杂度较低的简单形状，导致渲染过平滑。我们表明，优化网络以编码5D辐射场（具有2D视图相关的外观的3D体积，3D volumes with 2D view-dependent appearance）的替代策略可以表示更高分辨率的几何体和外观，以渲染复杂场景的照片级真实感新视图。