苹果专利为AR/VR提出结合眼动追踪注视点和手势操作的交互方式

查看引用/信息源请点击：映维网Nweon

结合注视点和手势操作的交互方式

（映维网Nweon 2022年04月04日）用户图形界面（简称GUI）是指采用图形方式显示的计算机操作用户界面，系人机交互的重要媒介。总的来说，GUI旨在简化操作，减轻用户认知负担，并提供自然直观的操作方式。

对于新兴的AR/VR，设备同样需要一种相应的用户图形界面。在名为“Devices, methods, and graphical user interfaces for interacting with three-dimensional environments”的专利申请中，苹果就介绍了一种用于与三维环境交互的图形界面。更具体地说，发明介绍了一种结合注视点和手势操作的交互方式。

在一个实施例中，计算机系统在三维环境中显示用户界面中的一组索引项，并允许用户使用一个或多个导航手势输入进行操作，例如使用翻滚手势。同时，计算机系统允许用户移动视线来控制导航量。当用户的视线指向索引区域时，系统可以转向手势导航输入。同时，这种导航输入可以不要求用户将整只手举起到与用户图形界面位置相对应的位置。

以用户坐在桌子前面为例，用户图形界面可以以3米等宽高显示。一开始系统可以主要利用注视点来移动光标，当视线移动到索引选项区域时，则转向利用手势来视线精确的操作。以食指选择为例，这时用户不必抬起手部并将食指指向目标选项，而是可以将手承压在桌面，并稍微移动食指即可。系统可以有机结合注视点导航量和食指导航量，从而允许用户相对轻松地完成到导航操作。

苹果指出，通过将用户的视线与手势导航输入结合使用，这可以减少来自用户的输入的数量、范围和/或性质，但又可实现期望的结果，从而创建了高效的人机界面。

在一个实施例中，计算机系统在三维环境中显示一个包括多个可选控件的虚拟对象，例如用于启动应用程序的应用程序图标、用于显示子菜单或执行操作的菜单选项、用于触发应用功能、设备功能、设备设置调整等的可选对象。

可以根据用户的手势操作来触发动作。例如，计算机系统可以根据符合预设标准的用户手势来选择虚拟对象的初始位置。因此，当提供所需手部运动以触发虚拟对象的显示时，用户可以通过移动手部位置来影响虚拟对象在三维环境中的初始位置。

随后，计算机系统将虚拟对象的位置与用户手部的位置分离，以便用户可以使用同一只手来执行手势并与虚拟对象和其中包含的控件交互。

在一个实施例中，手势操作可以涉及手部的小幅度动作，例如整只手无需抬起（放在桌面，放在用户身体一侧，放在用户膝盖等），并直接执行相应的导航操作，例如滚动、切换输入焦点、进行选择、调整数值等。

在一个实施例中，在三维环境中初始显示虚拟对象之后，计算机系统将虚拟对象的位置与用户手部的位置分离，并且可选地将虚拟对象的位置耦合到用户三维环境视图的视点。这样，在视点相对于三维环境的移动期间，虚拟对象保持虚拟对象和当前显示视图的视点之间的空间关系。

当通过用户手部的预设运动调用虚拟对象的显示时，可以允许虚拟对象显示在与用户手部位置相对应的位置，然后，再将虚拟对象的位置与用户手部的位置分离，使得用户能够影响虚拟对象的显示位置，例如选择虚拟对象应显示在视场的哪个部分，选择虚拟对象应显示在离视点多远的位置，选择虚拟对象相对于视点应显示的方向等等。但同时，无需将虚拟对象绑定到用户手部。这使得用户与虚拟对象的交互更加高效，并减少用户输入的数量、范围和/或性质。

在一个实施例中，计算机系统指定物理环境中的位置或区域作为“主位置”，并用于显示常用的用户界面对象。这样，当用户通过显示生成组件提供的视场查看物理环境时，用户可以通过调整显示生成组件相对于物理环境提供的视场，从而容易且可预测地定位用户界面对象。

计算机系统在显示包含物理环境表示的三维环境时，根据与指定位置或区域相对应的位置在显示生成组件提供的视野内的确定，在与用户界面对象的“主位置”相对应的位置显示用户界面对象。

在一个实施例中，指定为用户界面对象“主位置”的区域可以是物理表面的全部或一部分，例如墙壁、家具、窗户和画框等表面。指定为用户界面对象“主位置”的区域不被任何物理对象或表面占据。

利用用户熟悉的物理环境和用户在物理环境中的位置和方向直观感，计算机系统可以为计算机系统的常用功能提供可预测的接入点，同时不会在用户视场中持续显示用户界面对象以不必要地扰乱用户的视图感知。

另外，可以在多个使用会话之间持久地存储归属位置。这提供了访问常用功能的一种直观且可预测的方式，无需干扰可用于查看虚拟内容和物理环境的有限视场，从而减少用户在与计算机系统交互时的错误和困惑，从而创建更高效的人机界面。

在一个实施例中，当计算机系统收到显示未与用户界面对象关联的物理环境的请求时，计算机系统自动启动配置过程，以提示用户选择“主位置”。在一个实施例中，计算机系统扫描并高亮显示新物理环境视图中的可用表面或区域，以允许用户从高亮显示的表面或区域中选择新物理环境中的位置或区域，以作为用户界面对象的“主位置”。

在一个实施例中，计算机系统显示包括一个或多个控件的虚拟菜单，从而用于触发三维环境中与对象对应的各操作执行。虚拟菜单显示在与三维环境中的对象位置相对应的位置。响应于用户对对象的选择，虚拟菜单从其在三维环境中的原始位置向更接近用户虚拟位置的位置弹出。

对象的选择基于与对象的交互或其在三维环境中的表示。选择对象包括使用指向虚拟对象或物理对象表示的用户视线选择，并且在虚拟对象或物理对象表示的位置提供预设手势。对象的选择基于与物理环境中的对象的交互，例如触控、操纵、拾取、打开等，从而导致在三维环境中选择对象的表示。

在一个实施例中，显示对象是一个包括一个或多个可选控件的虚拟菜单，并用于执行相应的操作，例如启动用户界面、显示相应的虚拟体验、显示子菜单、执行相应的应用功能、激活计算机系统的相应设备功能、调整计算机系统的相应设备设置等等。可以根据用户的视线和手势导航执行相应的动作。

当用户将视线从对象的位置移开，并且用户不再指向与虚拟菜单和对象相关联的区域时，计算机将虚拟菜单从靠近用户虚拟位置的位置移到与三维环境中的对象位置相对应的原始位置。这就好像当用户的视线离开虚拟菜单和对象时，虚拟菜单正在弹回到其原始位置。

在一个实施例中，在虚拟菜单与其原始位置之间显示视觉链接（例如虚线等），而由于对象的选择，虚拟菜单显示在远离其原始位置的位置。当虚拟菜单显示时远离其原始位置且更接近用户的虚拟位置，它可以用作其中包含的各个控件的起始位置，以便在视线指向各个控件时进一步靠近用户的虚拟位置。

当用户的视线从各个控件移开时，各个控件退回到其在虚拟菜单中的原始位置。虚拟菜单和其中包含的各个控件的移动可以基于用户视线朝向和远离虚拟菜单和/或对象的移动。

在一个实施例中，尽管虚拟菜单耦合到用户的视线，但它可以以一种取决于用户视线的移动方式来向视点移动或远离视点。一旦用户的视线超出了与对象和虚拟菜单对应的区域，虚拟菜单可以快速恢复到其原始位置。响应于对象的选择，移动与对象相关联的虚拟菜单，使其更接近用户的虚拟位置。然后，当用户的视线从虚拟菜单移开时，可以将虚拟菜单移回其在三维环境中的原始位置，从而允许用户轻松地检查虚拟菜单中包括的选项。

苹果总结道，在不同交互模式之间选择的灵活性以及集成不同交互模式所提供的优势可以减少用户为执行与操作而输入的数量、范围和/或性质，从而创造出更高效的人机界面。

相关专利：Apple Patent | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

名为“Devices, methods, and graphical user interfaces for interacting with three-dimensional environments”的苹果专利申请最初在2021年9月提交，并在日前由美国专利商标局公布。

---
原文链接：https://news.nweon.com/95831