【论文分享】诺亦腾 Hi5 VR 交互手套在全身远程呈现技术中的应用

诺亦腾学术前沿分享  第九期

研究领域 | 远程呈现（Telepresence）

论文作者 | 韩国科学技术学院

                 Leonard Yoon, Dongseok Yang

                 Choongho Chung, Sung-Hee Lee

阅读时间 | 约2分钟

全文字数 | 约1000字

01 研究背景

远程呈现（Telepresence）是一种混合现实技术，让用户以虚拟化身（Virtual Avatar）形象，与异地用户实时交流互动，仿佛真人面对面一般。然而，当双方用户房间布局不同时，虚拟化身会出现手势错位、指向错误等情况，极大削弱远程呈现的临场感和沉浸感，限制了该技术的使用场景。

针对虚拟化身手势动作指向错误等问题，来自韩国科学技术学院的 Leonard Yoon、Dongseok Yang 等四位学者给出解决方案。借助诺亦腾 Hi5 VR 手套，他们将手势动捕技术引入远程呈现系统，提出一种重新定向（Retargeting）算法，实现精准、自然的手势交互效果。

02 方法原理

左：用户在自己房间内的真实动作

右：用户虚拟化身最后呈现的动作

手势动作是远程呈现系统的重要交互方式。异地双方用户可通过指向某目标等肢体语言来辅助交流。研究者的算法会调整虚拟化身的动作，使其既符合远程呈现的房间布局，又准确传达用户的动作意图。

如上图，用户在自己房间内侧身指向三角形时，直接还原该动作会导致虚拟化身指向错误方向，无法传达用户意图，而算法则会按房间布局对动作重新定向，使虚拟化身正身指向三角形。

算法所识别的运动、独立、互动三类状态

用户状态被算法分为三类：在房间内走动时的运动状态(Locomotion)、凝视或指向某个物体时的互动状态(Interaction)，以及不移动也不互动时的独立状态(Solo)。

借助诺亦腾 Hi5 VR 手套，算法可精准获取用户的手势动作及方向数据，为其顺利运行打下坚实基础。当用户的手指方向和用户的视线方向重叠时间超过临界值时，用户将被识别为互动状态，使虚拟化身的手指指向视线目标。当用户处于独立状态时，算法则会让化身直接还原用户的动作，使其具备精细到手指的肢体语言。

为验证远程呈现系统的改进效果，研究者设置客厅和办公室两类场景，每类场景有两个布局不同的房间。邀请12位大学生担任实验参与者，两人一组，分别身处两个房间，佩戴 VR 头显、诺亦腾 Hi5 VR 手套及其他设备，共同完成天文知识学习、观看影片、虚拟绘画三项任务。

通过远程呈现系统

参与者共同完成天文知识学习、观看影片、虚拟绘画任务

03 研究结果

在体验过程中，每个场景下的两位参与者，借助诺亦腾 Hi5 VR 手套，能通过手势交互，精准了解对方想要表达的内容，共同完成合作任务。体验结束后，12位参与者接受半结构式访谈，普遍对该系统的沉浸感和临场感给予积极评价。

经研究者引入手势动作捕捉技术，该系统目前已可以在远程沟通与远程协作方面发挥实际作用。研究者认为，在未来，远程呈现技术还将在远程教育、企业会议、社交聚会等场景产生更大影响。

*本文图表除特别注明外，均摘自论文原文。

文献来源

Yoon, L., Yang, D., Chung, C., & Lee, S. (2021). A Full Body Avatar-Based Telepresence System for Dissimilar Spaces. 

原文链接（复制浏览器访问）：https://dl.acm.org/doi/10.1145/3415256.3421487