【论文分享】Perception Neuron 在表演动作生成领域中的应用

01

研究背景

表演动作生成（Performance Motion Generation）专门研究如何用计算机技术生成人类的表演艺术动作，例如舞蹈、戏剧表演和乐器演奏等，旨在设计出能生成逼真、流畅、富有表现力的人类动作的算法和模型。

日本名古屋工业大学的两位学者 Takeru Shirai 和 Shinji Sako 借助诺亦腾 Perception Neuron惯性动捕设备，针对低音提琴，开发出一个只需输入乐谱，就能自动输出对应的3D骨骼演奏动作的模型。在未来，这项技术将被用于辅助低音提琴初学者的演奏训练。

02

模型训练

传统的动作数据采集方法是录制演奏视频，再用人体追踪技术进行分析和采集。但本研究针对的是低音提琴，琴身高180-220厘米，宽50-69厘米，视频中乐手演奏动作会被遮挡，导致数据不准确。

诺亦腾 PN 惯性动捕设备帮助研究者解决动作采集难题，低音提琴演奏者只要穿上 PN 设备，无需录制视频，就能精准捕捉演奏者上半身15个关节点、每个关节点6个维度的位置信息和旋转信息，且 PN 设备整体轻便小巧，穿戴简单，演奏者可像平常一样自如表演，从而避免遮挡问题，顺利获取模型训练所需数据。

本研究乐谱示例，包含音符、指法和弓法信息

此外，研究者还给乐谱标注上弓法和指法信息，辅助模型学习和生成动作。

03

模型测试

研究者构建出三个模型，探究何种模型设定的生成动作更准确自然。

三个模型设定的区别

诺亦腾 PN 设备精准采集了测试乐谱的真人演奏动作，为模型动作的准确度提供评价标准。研究者据此考察两个指标，每一帧关节坐标差异的均值（越小越准确）和相邻帧关节变化比例的均值（越接近1越准确）。此外，研究者还将模型动作制作成3D动画，请低音提琴乐手观看并为动作的自然程度打分（越接近4越自然）。

  

图a和图b为定量评价结果，图c为定性评价结果

 

结果表明，加入指法弓法信息、区分手臂和身体，能使模型的生成动作更加准确自然。

诺亦腾 PN 惯性动捕设备提供了30多分钟的精准动作数据，为整个研究打下坚实基础。研究者认为，未来给模型加入更多富有表现力的演奏动作后，该技术可用于辅助低音提琴初学者演奏训练。

文献来源

Takeru Shirai, Shinji Sako. 3D skeleton motion generation of double bass from musical score [C] Proceedings of the 15th International Symposium on CMMR,2021: 41-46.

标签：