【论文分享】诺亦腾PN动捕在VR手势图片浏览系统中的应用

诺亦腾学术前沿分享  第七期

研究领域 | 手势识别 人机交互

论文作者 | 美国 阿拉巴马大学 美国陆军研究实验室 罗切斯特理工学院

                 Chao Peng、Jeffrey T. Hansberger

                 Lizhou Cao、Vaidyanath Areyur Shanthakumar

阅读时间 | 约2分钟

全文字数 | 约1000字

01 研究背景

如何从杂乱无章的庞大相册中筛选出合适的照片，是全民摄影时代的新难题。现有的手机、电脑、相机筛选照片流程繁琐而重复，且界面受屏幕尺寸限制，全程费时费力，交互体验并不理想。

为解决这一问题，来自美国阿拉巴马大学的Chao Peng、Jeffrey T. Hansberger等四位学者，借助诺亦腾Perception Neuron产品，提出一个基于动作捕捉技术的VR图片浏览系统。用户得以在超大VR世界中沉浸式浏览相册，用自然手势代替了鼠标与触屏操作，轻松实现照片的旋转和缩放，高效查看照片细节，节省照片筛选时间，从而大幅改善交互体验。论文已于2017年被计算机顶级会议IEEE VR接收。

02 方法原理

图(a)为基于拇指、食指、中指建立的手部模型

图(b)为系统预设的六种手势

研究者开发了一个只包含拇指、食指和中指的手部关节模型，因为这三指的动作独立性比无名指和小拇指更强。如上图所示，模型由若干向量组成，而这些向量则由手腕和手指关节节点构成。通过计算相邻两帧向量之间的角度变化，模型可识别预设的六种基本手势，包括滚动浏览、停止滚动，以及图片的指向、选定、放大、缩小。

左图为所有照片在同一面虚拟墙的流程

右图为照片被分在不同文件夹内的流程

研究者设计了两种浏览照片的操作流程以供用户选择。一种是所有照片放在同一面虚拟墙上，另一种是照片分别放在若干个可管理的文件夹中。

实验参与者穿戴Perception Neuron进行照片分类的场景

图（a）为第一种流程的VR头显界面

图（b）为第二种流程的VR头显界面

第一种流程中，用户戴上VR头显后会看见一面虚拟照片墙，他可以伸手滚动整面照片墙，指向照片来完成选择，做出放大和缩小的手势查看照片细节。放大照片后，左滑手势代表保留，右滑手势代表丢弃，从而完成大量照片的分类管理。第二种流程中，用户不再滚动照片墙，而是选择下方文件夹以浏览全部照片，其余动作与第一种流程相同。

研究者采用诺亦腾Perception Neuron惯性动捕设备的手套和上肢部分，实时捕捉穿戴者的手势动作，数据被无线传输至配套的Axis Neuron Pro软件系统。PN惯性动捕设备效果精准稳定，为该照片管理系统的顺利运行打下坚实基础。VR环境和照片墙的制作基于Unity游戏引擎完成。

03 研究结果

借助诺亦腾PN惯性动捕设备，研究者提出一个在VR环境中浏览照片和用手势管理照片的系统，为用户的照片分类工作节省大量时间。在未来，这项研究将为更多的人机交互方案提供灵感。

*本文图表除特别注明外，均摘自论文原文。

文献来源

Peng, C., Hansberger, J.T., Cao, L., & Shanthakumar, V.A. (2017). Hand gesture controls for image categorization in immersive virtual environments. , 331-332.

原文链接（复制浏览器访问）：

https://ieeexplore.ieee.org/document/7892311/keywords#keywords