作者：小张Tt | 来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接

添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群

本文展示了一种具有动态松散服装的虚拟角色模型，并提出了神经迭代最近点（N-ICP）算法用于跟踪服装形状。通过将输入的RGB-D图像重新映射到纹理对齐的特征，并输入到可预测的虚拟角色模型，能够忠实地重构服装的外观细节。通过与其他方法的比较和对N-ICP算法的分析，证明了本文的方法在不同环境下具有普适性，并能够产生高保真度和忠实的服装动态和外观。

读者理解：

这篇文章是一篇关于使用深度学习和图形学技术来创建一个能够模拟真实人物的外观、动作和服装的虚拟化身的研究论文。

• 这篇文章展示了一种创新的技术，可以从稀疏的RGB-D输入中生成一个具有动态服装细节的可驾驶的化身。这种技术可以让用户在元宇宙中拥有一个忠实的全身遥感，增强了虚拟交互的真实感和沉浸感。

• 这篇文章的优点是不需要扫描特定于主题的模板，也不需要复杂的服装捕捉设备，只需要一台普通的RGB-D相机，就可以为各种类型的服装自动构建可动画的人类化身。这种技术降低了创建虚拟化身的成本和难度，提高了用户的便利性和自由度。

1 引言

本文提出了一种逼真的全身虚拟角色模型，包括动态服装，在忠实重新合成主体外貌和几何原始状态方面表现出色。本文引入了一种神经迭代最近点算法，通过学习迭代地更新变形模型，高效地跟踪输入点云。通过将虚拟角色的驱动信号扩展为稀疏的RGB-D输入，能够更好地处理宽松服装，并实现更高的质量和泛化能力。这里也推荐「3D视觉工坊」新课程《基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]》。

2 相关工作

本文针对相关领域的研究工作进行了探讨，分为逼真的着装虚拟人物、基于感应的远程交互和基于图像条件的新视图合成与学习优化非刚性跟踪三个方面。在逼真的着装虚拟人物方面，研究方法主要根据外观模型分为融合粗糙人体几何的延迟神经渲染方法、将人类先验融入神经辐射场的方法和基于网格和动态纹理的方法。在基于感应的远程交互方面，研究方法主要利用感应输入进行表面重建，并利用神经渲染来补偿重建几何中的伪影。在基于图像条件的新视图合成方面，研究方法主要利用稀疏输入图像进行场景重建，并结合人体先验知识实现更好的效果。在学习优化非刚性跟踪方面，研究方法主要将深度神经网络与优化求解器相结合进行非刚性跟踪和重建。

3 方法

本文提供了一种从稀疏的RGB-D图像中生成主体照片级真实渲染的方法。它包含两个主要模块：神经迭代最近点模块和面元对齐衣物化身模块。在神经迭代最近点模块中，通过使用变形图模型，该方法能够对宽松服装表面进行粗略跟踪。然后，通过将稀疏的驱动RGB-D图像转换为面元对齐特征，并将其输入到面元为条件的着装化身中，该方法能够推断出详细的几何和视角相关的纹理。最后，通过光栅化，生成最终的输出图像。该方法在训练过程中使用了密集摄像系统捕获的主体图像。整体而言，该方法为实现主体照片级真实渲染提供了一个有用的方法。

4 实验

本文使用了多视图捕获系统，通过采集多个RGB相机的图像来获取训练数据。作者使用多视图立体重建（Multi-View Stereo，MVS）来重建几何信息，并将其转化为深度图作为驱动虚拟人物的输入。此外，作者还在不同背景和照明条件下的新环境中捕获了使用相同服装的主体，以展示本文的方法在远程传输中的应用。

作者针对N-ICP算法进行了评估，并使用了通过非刚性ICP进行离线配准的地面真值。在评估中，使用了与完整方法相同的输入：融合了来自三个驱动视图深度图的点云。作者使用了平方点到三角形距离的评估指标，从预测到地面真值和从地面真值到预测的两个方向上进行评估。作者将N-ICP与传统优化求解器（包括L-BFGS和非线性共轭梯度）以及Levenberg-Marquart进行了比较。作者的方法收敛速度比基线方法更快。

在完整方法评估中，作者使用了密集的多视图捕获系统得到的高质量数据。作者在具有挑战性的松散T恤和长裙序列上与其他方法进行了比较。还与使用NeRF方法建模的方法进行了比较，并与基于传感器的基准方法进行了比较。另外，作者还进行了消融研究和与基于姿势驱动模型进行了比较。

在新环境中的结果测试显示，本文的方法能够直接适应新环境并保持外观风格，并且进行细调后，模型的输出质量进一步提高。这里也推荐「3D视觉工坊」新课程《基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]》。

5 总结

本研究提出了一个框架，用于构建能够通过稀疏的RGB-D输入驱动并忠实地再现松散服装动作的逼真全身虚拟人物。作者的方法可以准确重建主体具有挑战性的服装外观，从而解决了现有姿势驱动虚拟人物的一个主要缺点。然而，作者的模型仍然是针对具体人物和服装的，并且无法处理远离形变图模型的形变空间的服装运动，例如拓扑变化。有趣的未来研究方向是将作者的方法扩展到多身份的设置，并开发一种能够处理更通用服装类别（如隐含表示）的表达形式。

3D视觉细分群成立啦！

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向。
细分群包括：
[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；
[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；
[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。
[三维重建方向]NeRF、colmap、OpenMVS、MVSNet等。
[无人机方向]四旋翼建模、无人机飞控等。
除了这些，还有求职、硬件选型、视觉产品落地等交流群。
大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群