GAMES Webinar 248-VR/AR专题-阎裕康-混合现实智能交互

理解、预测、增强 人在混合现实中的行为

什么是混合现实?

一组技术:


在混合现实下,什么是最优的交互范式?

交互方式:WIMPs 范式 交互范式

GUI

这想现在我们用命令行在笔记本上交互那样,VR中使用GUI类似。

如果不是WIMP,是什么?
自然动作交互?是吗?
感知缺失,认知负荷区别,交互|非交互边界模糊
混合现实的交互的规律,符合用户行为的
---
虚拟代理

打破一致性


建立x与y的关系

RQ1:如何量化不一致的关系
RQ2:如何利用

只研究手臂,转动偏差,偏差的可计算模型


怎么利用偏差数据?
程序可以添加的偏差阈值
算法:。。。
应用:
- 复健任务,看上去更加健康
- VR游戏
- 界面排布任务
第二份任务
交互技术上的任务,调整混合现实的界面

问题:同一套怎么用到不同环境

观察用户,用户偏好

可能的因素:
围绕物品构建界面,共享xx的语意联系,更加方便地使用这些界面

无缝衔接的进行xx任务




最优化问题,可用性、xx性可以量化计算!!!

计算相关物体和界面的接近程度

总体上匹配的优化。

可xx性,用可计算的方式进行了优化!!!
空间一致性
用户任务:在生成的基础上,进行改良

主观评论、问卷等
评价:

更加智能的优化,计算奖励和惩罚,结合强化学习!!!

交互技术的提出,对用户心智模型的理解
第三个工作:利用混合现实超越限制

深度感知问题

感知深度,用的线索
问题:现实设备不能提供。。。
映射的思路,没有用色相,深度=》色相 X
映射:深度 =〉 明度&饱和度
HSV的方式

用户的映射方式
怎么构建算法,来xxx

找用户需求 建立人的模型,应用研究

验证到色相不是好的映射方式
饱和度和亮度,
一维和二维的模型
计算模型:
怎么建模?怎么优化?

本质是搜索问题???
三维绘制图形的任务

观察和控制
完成时间

提高输入控制的速度
4个不同应用,复现,是否有提升
复现,更加精准的绘制
场景到增强现实中
总结


未来是什么?
增强之后是什么?
去除技术后的能力?
提问环节
检测阈值,怎么想到两个关节做联合?
自底向上研究思路,建模底层机制
未来是什么?
增强后呢?是否增强了人的能力?