苹果获Vision Pro相关控制专利：可通过眼动、触控、手势及Siri等与UI交互

近日，美国专利商标局正式授予苹果一项专利，该专利揭示了苹果未来头显在用户界面方面的发展，该用户界面将使用眼睛注视、触摸控制、手势、身体姿势甚至Siri进行交互。

(相关资料图)

苹果专利涵盖了使用眼睛注视/眼动追踪与头戴式设备（HMD）交互的技术。用户将能够用眼睛与HMD显示器上显示的用户界面对象进行交互。在一些示例性实施例中，这些技术通过允许用户主要使用眼睛注视和眼手势（例如，眼球运动、眨眼和凝视）来操作设备，从而提供了更自然和有效的界面。

该专利还描述了使用眼睛注视快速指定初始位置（例如，用于选择或放置物体），然后在不使用眼睛注视的情况下移动指定位置的技术。由于由于用户眼睛注视位置的不确定性和不稳定性，使用眼睛注视可能难以精确定位指定位置。

眼动追踪技术随后将应用于Mac台式电脑、MacBook、iPad和iPhone等设备上的传统用户界面。这些技术对于计算机生成的现实（包括虚拟现实和混合现实）设备和应用程序也是有利的。

如专利图19C和19D所示，该专利描述了使用内置在HMD侧表面的注视控件和触摸控件与虚拟房间#1902进行交互并移动物体#1908。

HMD包括用于检测各种类型用户输入的传感器，包括（但不限于）眼部姿势、手部和身体姿势以及语音输入。在一些实施例中，输入设备包括被配置为接收按钮输入（例如，上、下、左、右、输入等）的控制器。

虚拟房间/环境#1902包括一堆照片#1908，其中包括单张照片#1908a-1908e。在视图#1902b中看到的注视#1906表明用户正在观看这堆照片。

照片#1908a的名称由焦点指示器#1914表示，其中包括照片#1908a周围的粗体边框。在一些实施例中，焦点指示器包括可视识别指定对象的指针、光标、点、球体、高亮、轮廓或重影。在一些实施例中，HMD取消指定照片并将照片返回到桌面，以响应于接收进一步的输入（例如，选择退出按钮或取消触摸）。

在下面的专利图中，苹果说明了如何使用注视和触摸控件在虚拟环境中移动物品，例如绘画/照片，甚至是咖啡杯。

在专利中，苹果还指出HMD系统包括图像传感器，可选择包括一个或多个可见光图像传感器，如带电耦合器件（CCD）传感器，和/或互补金属氧化物半导体（CMOS）传感器，可操作以从真实环境中获取物理对象的图像。

图像传感器还可以选择地包括一个或多个红外（IR）传感器，例如被动红外传感器或主动红外传感器，用于检测来自真实环境的红外光。例如，主动红外传感器包括红外发射器，例如红外点发射器，用于向真实环境发射红外光。图像传感器#108还可选择地包括一个或多个事件摄像头，这些摄像头被配置成在真实环境中捕获物理对象的运动。

图像传感器还可以选择包括一个或多个深度传感器，这些深度传感器配置为检测物理对象与HMD系统的距离。在一些实施例中，HMD结合使用CCD传感器、事件摄像头和深度传感器来检测HMD周围的物理环境。