【论文分享】诺亦腾PN Studio助力实现室内外超大场景动作捕捉

诺亦腾学术前沿分享  第五期

研究领域 | 大型场景下的动作捕捉

论文作者 | 厦门大学 上海科技大学 

                  戴雨笛、林逸泰、温程璐、沈思淇、许岚、虞晶怡、马月昕、王程

阅读时间 | 约2分钟

全文字数 | 约1000字

01 研究背景

现实世界的数字化重建，对AR/VR/机器人/自动驾驶等领域有重要意义。

来自厦门大学和上海科技大学的戴雨笛、林逸泰、温程璐等八位学者，为实现更优的动作捕捉效果，创造性地把数字世界两大元素——人与环境，同时纳入动捕系统中，提出一种全新的“人+场景”数字化方案——以人为中心的4D场景捕捉方法（Human-centered 4D Scene Capture , HSC4D）。方案采用诺亦腾惯性测量单元（IMU）与激光雷达（LiDAR），同步完成动作捕捉和场景3D地图绘制，实现大型场景下运动和交互的高效准确建模，覆盖面积可达1-5km²。论文已被计算机视觉领域顶级国际会议CVPR接收。

02 方法原理

HSC4D由17个诺亦腾惯性测量单元、

1个激光雷达、1台微型电脑组成

HSC4D大型场景下动作捕捉的实现流程

激光雷达（LiDAR）具有全局定位和场景3D测绘功能，惯性测量单元（IMU）注重捕捉人体动作信息。HSC4D结合二者优势，LiDAR提供空间位置和场景3D地图，IMU提供人体动作，实现人走到哪里，3D地图绘制和动作捕捉就跟随到哪里的效果。

研究者采用诺亦腾PN Studio作为惯性动捕设备，包含17块IMU，重量轻便，穿戴简单，精准稳定获取人体位移轨迹、姿态动作等数据，为HSC4D高效运作打下良好基础。

诺亦腾IMU通过内置的加速度计、磁力计、陀螺仪采集穿戴者运动数据，LiDAR通过激光反射的时间构建点云（Point Cloud）确定穿戴者位置，绘制所处场景的3D地图。两者数据的轨迹相匹配后，引入物理约束算法，优化人体动作和交互，使之流畅自然，完成场景和穿戴者动作的3D建模。

03 实验结果

HSC4D可捕捉穿戴者出入室内外

完成爬楼梯、攀岩等复杂动作

为验证LiDAR + IMU方案的实现效果，研究者在攀岩馆、多层建筑等复杂场景开展实验，效果如上图所示，无论是走路、弯腰，还是上楼梯、攀岩，HSC4D均可准确稳定呈现穿戴者的连续动作姿态。

本研究中，诺亦腾PN Studio的惯性测量单元与激光雷达相结合，实现了1+1>2的效果。无需提前构建地图，不受活动区域限制，就可直接从完整场景捕捉人体连续动作。多个复杂场景下的实验充分说明该技术的有效性和普适性，可满足AR/VR/机器人/自动驾驶等领域的场景数字化需求，研究者相信，未来这项技术将在动态数字世界建设方面发挥重要作用。

*本文图表除特别注明外，均摘自论文原文。

文献来源

Dai, Y., Lin, Y., Wen, C., Shen, S., Xu, L., Yu, J., Ma, Y., & Wang, C. (2022). HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR. , 6782-6792.

原文链接（复制浏览器访问）：https://arxiv.org/abs/2203.09215