Neural Volumes Rendering(一)
1.前言
我们还是秉承，尽量使用一些直白的语言来描述一些酷炫的工作。
Neural Volumes(NV)[1] 是 Stephen Lombardzai(Facebook) 在 2019 年SIGGRAPH 发表的工作，虽然 NeRF 的影响力是更大的，但是可以确定的是，NV 是 Volume Rendering 在神经渲染方面上的首次应用，并且 NV 的一些思想在之后的许多工作中都有体现，因此本文将会单独对 NV 进行介绍，希望本文能为大家建立一些 Volume Rendering 的概念。
2.Neural Volumes 简易版本
Neural Volume 主要由两部分组成：
1. Encoder-Decoder Network，将观测到的图像转换为一个 3D 的 Vol-ume。
具体的，输入 K 张图片，通过 Encoder 网络，得到一个 256 维的向量 z，我们把这个向量称为场景的状态向量 (State Vector or State Code)。接着将这个状态向量输入到 Decoder 网络得到一个 C × D × D × D 的 Volume，其实就是一个 D3 的立方体，每个顶点的值为一个C 维的向量，NV 中设定 D 为 128，C 为 4(RGBα，α 表示 opacity)。
Encoder-Decoder 过程如下所示：
2. Raymarching Step，根据给定的相机参数以及已有的 3D Volume，渲染出对应的图像。
我们用一个动图来展示这个过程
上面的公式是 Vol- ume Rendering 的理论部分，因为其与 NeRF 有一些出入，我们暂时不对其进行讲解，在 NeRF 的章节我们进行细致的讲解。但是我们希望读者建立的一个意识是，像素观测到的颜色不止源于表面，而是来源于光线的积分。
在上述两步完成之后，通过观测到的图像作为监督，即可对网络进行训练。新视角的合成是通过在 Decoder 部分加入一个条件控制向量 (con- ditional code) c，将状态向量 z 与条件向量 c 连接起来一同送入网络即可。
3.Neural Volumes 附加操作
SIGGRAPH 的论文当然没有这么简单...... 记得之前一个两篇 SIG- GRAPH 一作的同学说过，一般来说 SIGGRAPH 的工作量是 CVPR 的2-4 倍。那么我们接下来看看 NV 还有哪些附加操作。
3.1 Warping Fields
这个是比较巧的一个 idea。
出发点是，在 Decoder 之后得到的 3D Volume 分辨率有限，不能表达足够多的细节，而大部分的区域又是空白的。这个问题和 KinectFusion 很类似，后来有人提出用八叉树或者 VoxelHash 来解决，但是这种方法没法应用于深度学习的 pipeline 中，而且最重要的是，我们没有几何先验信息， 不知道该怎样划分。
我们希望 Volume 中存的 RGBα 尽可能的都被使用到，空白区域的值用尽量少的空间去存储，细节或者对最终合成图像贡献更大的区域应该占用更多的存储空间。基于这一想法，NV 提出了 Warping Fields 的方法。我们首先给出 NV 完整的 pipeline：
Warping Fields 的过程如下：
这里 x 表示输出空间，或者渲染空间 (上图中 V ) 中的点，通过一个 Warping 变换，变换为 y，y 是在模板空间，也就是存储空间 (上图中 T )，接着获取其对应的RGBα 即可：
想法很好，但是如何 Warping 呢？这是个有趣的部分，可以直接通过 Learn- ing 的方法去学，输入 z，输出一组 Warping 的参数 {Ri, si, ti}，或者就是一个 3 × 3的矩阵。
但是作者说这样效果不好:“This parameterization, however, is too flexible, resulting in overfitting and poor general-ization tonovel views as we show in our experimental results.” 为次他们提出了affinemixture 的方法，这部分内容其实和本文关注的内容不太一致，我们不在这里过多介绍了。NV 还有其他一些细节的工作，我们强烈推荐读者阅读原文去自行了解。
4.结语
我们用一句 NV 中十分经典的一句话作为结尾：During optimization, this semi-transparent representation of geometry disperses gradient information along the ray of integration, effectively widening the basin of convergence ,enabling the discovery of good solutions.
Neural Volume Rendering 的妙处就在于，它可以探索一定的几何信息，但是又不需要这个几何信息十分准确，并且对于渲染任务来说，对光线的积分将梯度信息分散到更多的区域，而不仅仅是精确一致的物体表面，这有效的拓宽了收敛域。
参考文献
[1] S. Lombardi, T. Simon, J. Saragih, G. Schwartz, A. Lehrmann, and Y. Sheikh. Neural volumes: Learning dynamic renderable volumes from images. arXiv preprint arXiv:1906.07751, 2019.
