清华大学软件学院师生 用诺亦腾惯性传感器玩出新花样

前沿技术飞速发展，创新应用模式层出不穷，为教育、科研的数字化转型与突破打下了坚实基础。

清华大学软件学院副教授、博士生导师、中国人工智能学会副秘书长徐枫亲自率队，借助诺亦腾惯性动捕系统，完成一系列人体全身动捕研究，引入物理优化与单目镜头，持续强化动捕应用技术攻关，并发表多篇相关论文。真正做到了既有高度，又能落到实处。

01

二次研发

让强者更强

“创造新的东西，不断研究打磨、精益求精，是做科学研究最大的乐趣。”徐枫教授强调到。他带领团队以诺亦腾惯性传感器为基础，成功开发了TransPose全身人体运动捕捉系统。诺亦腾惯性传感器具备体积小、精准度高、抗磁干扰以及续航时间长等特性，为其团队的研究提供了有力支撑。

TransPose系统在随后的项目中表现出色，以高达90帧/秒的速度运行，在关节旋转误差、位置误差等数据方面都体现了超前的优势。采集者只需佩戴6个传感器在手腕、小腿、头部和后背的位置，便能基于传感器提供的加速度、角度数据，输出人体姿态（每个关节的旋转角度）和全局运动（人体根节点的位移）数据。这些精确稳定的动捕数据可以直接应用于模型驱动，无需进行额外的平滑处理。

原文链接（请复制至浏览器）

https://arxiv.org/abs/2105.04605

02

物理优化 

实现全身受力估计

然而，由于输入惯性数据的稀疏性，TransPose动捕系统仍面临一系列问题，如难以准确区分坐和站的动作，以及身体抖动、身体穿过地面、脚部滑动等反物理现象，这直接影响了系统的实用性。究其原因，是TransPose动捕系统没有充分考虑真实世界的物理约束。

为解决上述问题，徐枫团队引入基于动力学的物理优化方法，并创新性提出基于学习的循环神经网络（RNN）隐藏状态初始化策略，以及双重比例微分（PD）姿态控制器。这些方法使得系统能够实时估计人体关节受力、地面作用力等，从而使动捕数据更符合真实世界中人体运动的物理规律，大大提升了姿态估计的准确度、动作的平滑性和真实感，同时也显著增强了系统的流畅性和稳定性。

原文链接（请复制至浏览器）

https://arxiv.org/abs/2203.08528

03

加入相机 

完成环境精确重建

尽管如此，纯惯性动捕依然很像人蒙着眼睛走路 —— 我们可以真切感受身体每一个动作，但随着时间的累积，越来越难以确定自己的位置。于是，徐枫团队试图打开惯性动捕的“眼睛”。

以真实行走时，眼睛发挥的重要作用为灵感，他们将相机固定在头部并向正前方拍摄，让系统在捕捉人体运动的同时感知环境信息。惯性动捕系统可获取稳定的人体运动信号，定位与建图（SLAM）技术能完成全局位置的高精度估计，通过对这两种互补技术的精妙运用，并在多个关键算法上进行人体运动先验和视觉跟踪的融合，得以实现鲁棒和精确的人体定位与地图重建。

原文链接（请复制至浏览器）

https://arxiv.org/abs/2305.01599

“促进前沿科技与教育科研的深度融合,是推动学术与教学数字化转型升级的必经之路。”

徐枫老师表示，“当今年轻一代在其中扮演着至关重要的角色，他们是数字化时代的原动力，科技创新的推动者，他们的行动和决策将决定科技如何应用于教育领域，如何塑造其未来。我们诚挚地邀请广大青年积极参与进来，与我们，与诺亦腾一起，勇担科技进步创新之责，助力科技的创新迭代，加速数字教学、智能社会的建设进程。” 

未来，诺亦腾将持续发挥自身技术与经验上的卓越优势，不断寻求创新机会，助力国内外高校及科研院所探索未知领域，突破传统边界，朝着更广阔的科学研究和技术创新的方向前进。