Meta的Codec Avatars Lab团队开发了一种实时3D头像合成方法，"可重照明高斯编解码头像"。该技术致力于创造高保真度、可在真实时间内重新照明的头部头像。其核心在于使用3D高斯几何模型捕捉动态面部序列中的细节，如头发丝和毛孔，并结合了可学习的辐射传输和球面高斯以实现高效的实时重新照明。这一方法在保持实时性能的同时，超越了现有方法。

论文：https://arxiv.org/pdf/2312.03704.pdf

Readpaper：https://readpaper.com/paper/4830342777413828609

项目：https://shunsukesaito.github.io/rgca/

技术核心

"可重照明高斯编解码头像"采用基于3D高斯的几何模型，有效捕捉了头部动态序列中的细微结构。这种方法特别适用于捕捉人类头部各种材质（如眼睛、皮肤、头发）的细节，并通过一个新颖的可重照明外观模型实现。这个模型结合了可学习的辐射传输和球面高斯，能在保持全局照明感知的同时实现实时重新照明。

实时性能

研究团队展示了在消费级VR头盔上实时重照明头像的能力，证明了该技术在效率和保真度上的优势。这意味着可以在各种光照条件下，实时生成高保真的虚拟头像。

控制和应用

该模型支持表情、凝视、视角和照明的分离控制，使得用户可以在虚拟现实中从任何视角渲染头像，并进行交互式的点光源控制和自然光照重照明。此外，该技术还支持从头部安装摄像机实时视频流动态驱动头像的动画。

观点

学术上，没想到这么快就可以做到如此逼真的实时渲染。我突然发现我即使是每天都跟着看新的论文和demo，都还是跟不上。。年初的时候想过3D会迎来大发展，但是没想到不用2,3年，年末就已经可以做到这么逼真了。

商业上，它为虚拟现实、在线会议、娱乐行业等提供了革新性的应用可能性。而且还为虚拟世界社交提供了更多的可能性。这逐渐就可以把meta的虚拟现实的饼给圆上了。

特邀作者：日本早稻田大学计算机系博士  王军杰