CN117795395A - 用于预测注视距离的光学系统和方法 - Google Patents

Abstract

头戴式显示系统可以包括眼动追踪子系统和注视距离预测子系统。该眼动追踪子系统可以被配置为至少确定用户的双眼的注视方向和该用户的双眼的眼动速度。该注视距离预测子系统可以被配置为基于用户的双眼的眼动速度和注视方向，在用户的双眼达到注视状态之前预测用户的双眼将变成注视的注视距离，该注视状态与所预测的注视距离相关联。还公开了附加的方法、系统和设备。

Description

用于预测注视距离的光学系统和方法

背景技术

头戴式显示器(head-mounted display，HMD)是可包括向用户呈现视觉内容的近眼显示器(near-eye display，NED)的头戴式设备。视觉内容可以包括立体图像，这些立体图像使用户观看作为三维(three-dimensional，3D)的内容。HMD可以用于教育、游戏、医疗保健、社交和各种其它应用。

一些HMD可以被配置为根据用户注视的位置来改变视觉内容。例如，变焦系统可以用于基于用户注视方向和/或注视深度来调整光学元件的焦距。作为另一示例，注视驱动渲染(例如，中央凹(foveated)渲染、渲染景深等)是这样一概念：其中，视觉内容中用户注视的一部分保持聚焦，而视觉内容中远离用户注视的一部分(例如，视觉外围中或处于不同感知深度处的内容)是模糊的。这种技术模拟了人的真实世界体验，因为双眼自然地聚焦在人的视野中心且处于注视距离处的对象上，而人的视觉的其它部分(例如，周边视觉、不同深度处的对象)可能在物理上被感知为离焦。因此，注视驱动渲染可以为用户带来更身临其境和更逼真的体验。此外，注视驱动渲染可以使得计算要求降低，因为视觉内容中远离用户焦点的部分不会完全以高清晰度来渲染。这可以减小HMD的尺寸和/或重量。然而，基于注视的渲染系统可能在调整焦点时会遇到系统时延，并且在追踪到用户的双眼注视的位置后会变得模糊。当时延增加时，用户体验可能会在图像质量和/或舒适度方面下降。

发明内容

根据本公开的第一方面，提供了一种头戴式光学系统，该头戴式光学系统包括：眼动追踪子系统，该眼动追踪子系统被配置为至少确定用户的双眼的注视方向和用户的双眼的眼动速度；以及注视距离预测子系统，该注视距离预测子系统被配置为基于用户的双眼的眼动速度和注视方向，在用户的双眼达到注视状态之前预测该用户的双眼将变成注视的注视距离，该注视状态与所预测的注视距离相关联。

在一些实施例中，该头戴式光学系统还包括变焦光学元件，该变焦光学元件在头戴式光学系统被用户佩戴时、固定在用户的双眼前方的位置，该变焦光学元件被配置为基于来自眼动追踪子系统和注视距离预测子系统的信息来改变至少一个光学特性，该至少一个光学特性包括焦距。

在一些实施例中，该变焦光学元件包括：基本透明的支承元件；基本透明的可变形元件，该可变形元件至少沿着该可变形元件的边缘耦接到该支承元件；以及基本透明的可变形介质，该可变形介质设置在该支承元件与该可变形元件之间。

在一些实施例中，该变焦光学元件还包括变焦致动器，该变焦致动器被配置为在被致动时改变变焦光学元件的至少一个光学特性。

在一些实施例中，该变焦致动器包括至少一个基本透明的电极，该至少一个基本透明的电极耦接到可变形元件。

在一些实施例中，该变焦光学元件包括液晶元件，该液晶元件被配置为在被激活时改变变焦光学元件的至少一个光学特性。

在一些实施例中，该头戴式光学系统还包括近眼显示器，该近眼显示器被配置为向用户显示视觉内容。

在一些实施例中，该近眼显示器被操作以仅对视觉内容的处于用户的双眼注视的感知深度处的多个部分进行完全渲染。

在一些实施例中，该注视距离预测子系统被配置为在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内，预测用户的双眼将变成注视的注视距离。

根据本公开的第二方面，提供了一种操作头戴式光学设备的计算机实现的方法，该方法包括：使用眼动追踪元件来测量用户的双眼的注视方向和移动速度；以及使用至少一个处理器并基于所测量的用户的双眼的注视方向和移动速度，在用户的双眼达到注视状态之前预测用户的双眼的注视距离，该注视状态与所预测的注视距离相关联。

在一些实施例中，该方法还包括：基于所预测的用户的双眼的注视距离，使用变焦光学元件至少改变该变焦光学元件的焦距。

在一些实施例中，该方法还包括：使用近眼显示器向用户的双眼呈现视觉内容；以及仅对视觉内容的处于所预测的用户的双眼的注视距离处的多个部分进行完全渲染。

在一些实施例中，仅对视觉内容的多个部分的完全渲染是在用户的双眼辐辏达到注视距离之前完成的。

在一些实施例中，测量用户的双眼的移动速度包括测量用户的双眼的最大速度；并且预测注视距离是至少部分地基于用户的双眼的最大速度的。

在一些实施例中，对用户的双眼将变成注视的注视距离的预测是在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内完成的。

根据本公开的第三方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得该计算设备：使用眼动追踪元件测量用户的双眼的注视方向和移动速度；以及基于所测量的用户的双眼的注视方向和移动速度，在用户的双眼达到注视状态之前预测用户的双眼的注视距离，该注视状态与所预测的注视距离相关联。

在一些实施例中，该一个或多个计算机可执行指令还使得计算设备：基于所预测的用户的双眼的注视距离，使用变焦光学元件至少改变该变焦光学元件的焦距。

在一些实施例中，该一个或多个计算机可执行指令还使得计算设备：使用近眼显示器向用户的双眼呈现视觉内容；以及仅对该视觉内容的处于所预测的用户的双眼的注视距离处的多个部分进行完全渲染。

在一些实施例中，该一个或多个计算机可执行指令进一步使得计算设备：在用户的双眼辐辏达到注视距离之前完成仅对内容的多个部分的完全渲染。

在一些实施例中，该一个或多个计算机可执行指令进一步使得计算设备：在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内，完成对用户的双眼将变成注视的注视距离的预测。

附图说明

附图示出了多个示例实施例，且附图是本说明书的一部分。这些附图与以下描述一起说明并解释本公开的各种原理。

图1A是示出了根据本公开的至少一个实施例的眼睛辐辏(eye vergence)的示意图。

图1B是示出了根据本公开的至少一个实施例的人的双眼辐辏(verge)并自动调焦以聚焦于新距离处的对象上的示例响应时间的曲线图。

图2是示出了根据本公开的至少一个实施例的头戴式光学系统的框图。

图3是显示了根据本公开的至少一个实施例的双眼完全会聚的峰值速度与响应幅度之间的关系的曲线图。

图4A至图4C包括显示了根据本公开的至少一个实施例的在会聚动作期间眼动的位置、速度和加速度的三个曲线图。

图5是示出了根据本公开的至少一个实施例的双眼的粗略对准响应的实际眼动数据和重叠模型的曲线图。

图6是显示了根据本公开的至少一个实施例的双眼粗略会聚的峰值速度与响应幅度之间的关系的曲线图。

图7是示出了根据本公开的至少一个实施例的操作头戴式光学设备的方法的流程图。

图8是可以结合本公开的各实施例使用的示例增强现实眼镜的图示。

图9是可以结合本公开的各实施例使用的示例虚拟现实头戴式设备(headset)的图示。

图10是包含有能够追踪用户的一只或两只眼睛的眼动追踪子系统的示例系统的图示。

图11是图10中所示的眼动追踪子系统的各个方面的更详细图示。

在所有附图中，相同的附图标记和描述指代相似但不一定相同的元件。尽管本文所描述的示例实施例易于进行各种修改和替代形式，但是已经在附图中以示例方式示出了多个具体实施例并且本文将对这些具体实施例进行详细描述。然而，本文所描述的示例实施例并不旨在限于所公开的特定形式。而是，本公开涵盖落入本公开内的所有修改、等同物和替代物。

具体实施方式

头戴式显示器(HMD)是可以包括向用户呈现视觉内容的近眼显示器(NED)的头戴式设备。视觉内容可以包括立体图像，这些立体图像使用户观看作为三维(3D)的内容。HMD可以用于教育、游戏、医疗保健、社交和各种其它应用。

一些HMD可以被配置为根据用户注视的位置来改变视觉内容。例如，变焦系统可以用于基于用户注视方向和/或注视深度来调整光学元件的焦距。作为另一示例，注视驱动渲染(例如，中央凹渲染、渲染景深等)是这样一概念：其中，视觉内容中用户注视的一部分保持聚焦，而视觉内容中远离用户注视的一部分(例如，视觉外围中或处于不同感知深度处的内容)是模糊的。这种技术模拟了人的真实世界体验，因为双眼自然地聚焦在人的视野中心且处于注视距离处的对象上，而人的视觉的其它部分(例如，周边视觉、不同深度处的对象)可能在物理上被感知为离焦。因此，注视驱动渲染可以为用户带来更身临其境和更逼真的体验。此外，注视驱动渲染可以使得计算要求降低，因为视觉内容中远离用户焦点的部分不会完全以高清晰度来渲染。这可以减小HMD的尺寸和/或重量。然而，基于注视的渲染系统可能在调整焦点时会遇到系统时延，并且在追踪到用户双眼注视的位置后会变得模糊。当时延增加时，用户体验可能会在图像质量和/或舒适度方面下降。

在另一示例中，眼动追踪可以使用户能够通过简单地在视觉上停留在所显示的对象、场景、词语或图标等上来与视觉内容交互。这种视觉交互可以用来替代或补充传统的手持控制器。

在又一示例中，增强现实眼镜是在透视显示器中向用户显示内容的一类HMD。确定用户在用户前面的真实世界环境中注视或即将在用户的前面的真实世界环境中注视的位置可以使增强现实系统能够获取关于用户在看什么和正在关注什么的信息。确定用户的双眼的焦距对于针对舒适度或上下文而调整显示内容可能很重要。

确定用户注视的位置可以使用眼动追踪系统来完成。如以下进一步解释的，眼动追踪系统可以采用光学追踪、超声波追踪或其它类型的追踪(例如，眼电图(electro-oculography，EOG)、探查线圈(search coil)等)来确定用户双眼的注视方向。例如，摄像头(例如，可见光摄像头和/或红外摄像头)或超声波收发器可以朝向用户的眼睛，并且可以感测反射光或反射声，以生成指示用户的瞳孔、虹膜、巩膜和/或角膜所在位置的数据。处理器可以使用该传感器数据来计算注视方向。

当人注视不同距离处的对象时，双眼朝相反的方向(例如，向内或向外)移动，以使对象聚焦并使来自每只眼睛的图像重叠，以获得立体视觉。例如，双眼将以较宽的注视角进行取向以观看远处的对象，并以较窄的注视角进行取向以观看近处的对象。双眼朝相反方向移动的这种过程被称为“辐辏”。

图1A是示出了辐辏的概念的示意图。人可以注视距离其双眼100第一注视距离D1处的相对较近的第一对象、以及第二注视距离D2处的相对较远的第二对象。可以将辐辏角定义为人的双眼100的相应注视方向之间的角度。如图1A所示，当人注视第一对象时，双眼100可以具有第一辐辏角α₁。当人注视第二对象时，双眼100可以具有第二辐辏角α₂。人的双眼100的瞳孔可以分开一瞳距(interpupillary distance，IPD)。

给定(例如，由眼动追踪系统确定的)注视方向和IPD，可以对辐辏角进行计算或估计。一旦辐辏角是已知的，就可以使用以下等式来计算注视距离D1、D2：

注视距离＝(IPD/2)/tan(辐辏角/2)。

自动调焦(accommodation)是每只眼睛例如通过改变眼睛的晶状体形状来改变光焦度(optical power)的过程，以在注视距离变化时保持清晰的图像或聚焦在对象上。为了获得对象或场景的最清晰视图，自动调焦和辐辏都应该是完成的。

图1B示出了人的双眼辐辏并自动调焦以聚焦于新距离处的对象的示例响应时间的曲线图102。实线示出了辐辏的响应时间，虚线示出了自动调焦的响应时间。如曲线图102所示，当人注视新距离处的对象时，双眼通常会在约一秒(1000ms)内调整到基本上合适的辐辏和自动调焦状态。如果对象是静止的，当双眼继续注视该对象时，该双眼在约两秒到三秒(2000ms至3000ms)后基本上保持辐辏和自动调焦状态。

本公开总体上涉及用于预测用户双眼将注视的焦距(例如，注视距离)的系统、设备和方法。这些系统可以包括眼动追踪子系统和注视距离预测子系统，该眼动追踪子系统被配置为至少追踪用户的双眼的注视方向和移动速度，该注视距离预测子系统被配置为基于来自眼动追踪子系统的信息来预测用户的双眼将停留的注视距离。本公开的系统和方法可以例如通过提前提供信息(以对变焦光学元件和/或近眼显示器进行操作)来减少光学系统(例如，头戴式光学系统)的整体系统时延。减少时延可以在例如舒适度和图像质量方面改善用户体验。

图2是示出了根据本公开的至少一个实施例的头戴式光学系统200的框图。头戴式光学系统200可以包括眼动追踪子系统202和注视距离预测子系统204。在一些实施例中，例如，在头戴式光学系统200是或包括头戴式显示器的情况下，头戴式光学系统200可以包括近眼显示器206。在其它实施例中，头戴式光学系统200可以包括变焦光学元件208。变焦光学元件208可以包括在头戴式显示器中和/或包括在不具有近眼显示器206的系统中。例如，变焦光学元件208可以包括在这样的眼镜设备中：该眼镜设备被配置为矫正和/或补充用户视力。

眼动追踪子系统202可以被配置为追踪用户双眼的注视方向和/或移动速度。眼动追踪子系统202可以包括用于追踪用户双眼的每只眼睛的一组元件。可以使用两组眼动追踪元件的组合来感测用户双眼的辐辏角，以确定(例如，估计)用户正注视的距离(也称为凝视深度或注视深度)。在一些示例中，眼动追踪子系统202可以包括基本透明的透镜元件(例如，波导)，该透镜元件被配置用于感测瞳孔、角膜、视网膜、巩膜、角膜缘或指示注视方向的其它眼睛特征的位置。在一些实施例中，眼动追踪元件可以包括摄像头(例如，可见光摄像头和/或红外光摄像头)，该摄像头安装至头戴式光学系统200的框架并指向用户的眼睛。以下参照图10和图11给出了示例眼动追踪元件及其特征的进一步描述。

注视距离预测子系统204可以被配置为在用户的双眼达到最终注视状态之前预测用户的双眼将变成注视的注视距离，该最终注视状态与所预测的注视距离相关联。例如，注视距离预测子系统204可以在用户的双眼达到最终注视状态之前的约600ms内预测注视距离。在附加示例中，例如，在眼动较短(例如，以注视在视角上与眼睛的当前注视相对靠近的新对象)的情况下，注视距离预测子系统204可以在用户的双眼达到最终注视状态之前的约400ms内、约200ms内、约150ms内、约100ms内、约50ms内或约20ms内，预测注视距离。注视距离预测子系统204可以包括至少一个处理器，该至少一个处理器接收来自眼动追踪子系统202的注视信息210，该注视信息指示用户的眼动速度和注视方向。注视距离预测子系统204可以使用注视信息210来进行注视距离预测212。

在一些实施例中，注视距离预测子系统204可以采用机器学习模型来进行注视距离预测212。例如，机器学习模块可以被配置为训练机器学习模型，以促进和改进进行预测212。机器学习模型可以使用任何合适的系统、算法和/或模型，所述系统、算法和/或模型可以基于样本数据(被称为训练数据)来构建和/或实现数学模型，以便在没有被明确编程为这样做的情况下进行预测或决策。机器学习模型的示例可以包括但不限于人工神经网络、决策树、支持向量机、回归分析、贝叶斯网络和遗传算法等。可用于构建、实现和/或开发机器学习模型的机器学习算法可以包括但不限于监督学习算法、无监督学习算法、自学习算法、特征学习算法、稀疏词典学习算法、异常检测算法、机器人学习算法、和关联规则学习方法等。

在一些示例中，机器学习模块可以对机器学习模型(例如，回归模型)进行训练，以通过分析来自眼动追踪子系统202的数据来确定注视距离预测212。提供给机器学习模型的初始训练数据集可以包括表示眼睛位置、眼睛速度和/或眼睛加速度的数据。机器学习模型可以包括基于新信息来更新模型的算法，所述新信息例如为由眼动追踪子系统202生成的针对特定用户的数据、来自用户或技术人员的反馈和/或来自另一传感器(例如，光学传感器、超声波传感器等)的数据。可以将机器学习模型训练成忽略或忽视(discount)噪声数据。

可以以各种方式使用由注视距离预测子系统204生成的注视距离预测212。例如，在包括变焦光学元件208的头戴式光学系统200中，可以使用注视距离预测212来对变焦光学元件208进行适当的光焦度改变。这可以使一副变焦眼镜和/或头戴式显示器能够在用户的辐辏和/或自动调焦自然地达到与注视距离预测212相关联的稳定注视状态之前、同时或仅在用户的辐辏和/或自动调焦自然地达到该稳定注视状态略微之后，改变光焦度。由于可以在用户的双眼达到最终注视状态之前确定预测212，因此可以比当基于测量到实际注视距离来进行光焦度改变时、将以其它方式可行的光焦度改变更早的进行所述光焦度改变。

如果头戴式光学系统200包括近视显示器206，则注视距离预测212可以用于改变所显示的视觉内容，例如以向用户提供聚焦提示(例如，使在与注视距离预测212不同的感知深度处和/或在所显示视觉内容的远离注视方向的外围处的视觉内容变得模糊)。可以在用户的辐辏和/或自动调焦自然达到稳定注视状态之前、同时或仅在用户的辐辏和/或自动调焦自然达到稳定注视状态略微之后，生成这些聚焦提示。由于可以在用户的双眼达到最终注视状态之前确定预测212，因此可以比当基于测量到实际注视距离来渲染聚焦提示时、可能将以其它方式生成的聚焦提示更早地生成所述聚焦提示。

变焦光学元件208(如果存在的话)可以是可改变至少一个光学特性(例如，焦距/光焦度)的任何光学元件。在一些示例中，变焦光学元件208可以是基本透明的元件，用户可以通过该元件注视并且该元件具有可根据需要改变的至少一个光学特性(例如，光焦度、焦距、像散校正等)。例如，变焦光学元件208可以包括所谓的“液体透镜”、可变形反射镜、电驱动变焦透镜、机械可调节透镜等。在液体透镜的情况下，液体透镜可以包括基本透明的支承元件、基本透明的可变形元件以及基本透明的可变形介质，该可变形元件至少沿着可变形元件的边缘耦接到该支承元件，该可变形介质设置在该支承元件与该可变形元件之间。改变(例如，在电学上改变或机械地改变)可变形元件和可变形介质的形状，可以改变变焦光学元件208的至少一个光学特性(例如，焦距)。

液体透镜还可以包括变焦致动器，该变焦致动器被配置为在被致动时改变变焦光学元件208的形状并因此改变该变焦光学元件的至少一种光学特性。例如，变焦致动器可以包括机械致动器、机电致动器、压电致动器、静电致动器或可被配置和定位成向可变形元件的边缘区域施加致动力的其它致动器。致动力可以使可变形介质流动，并使可变形元件改变其形状(例如，以变得更凹和/或更凸、以横向移动光轴等)，从而引起焦距或其它光学特性的变化。

在附加实施例中，可变形元件可以包括一种或多种电活性材料(例如，基本透明的电活性聚合物)，该一种或多种电活性材料可以在向其施加电压时改变形状。在一些示例中，可以由耦接到可变形元件的至少一个基本透明的电极来致动该一种或多种电活性材料。电极可以包括基本透明的导电材料和/或不透明导电材料，该不透明导电材料以对用户基本透明的方式来应用。在后一种情况下，例如，电极可以包括足够细的导电材料线，这些导电材料线可以是直的和/或弯曲的(例如，不规则弯曲的)，以使得变焦光学元件208从用户视角来看呈现为基本透明。

在一些示例中，关于给定参数、特性或条件的术语“基本上”和“基本”可以指如下程度：本领域技术人员将理解给定参数、特性或条件满足较小程度的方差(例如在可接受的制造公差内)的程度。例如，基本满足的参数可以是至少约90％满足、至少约95％满足、至少约99％满足或完全满足。

在附加示例中，变焦光学元件208可以包括液晶电活性材料，可以对该液晶电活性材料进行操作以在向其施加电压时改变焦距。

根据本公开的头戴式光学系统200可以减少或消除传统光学系统中的时延，这可以改善用户在舒适度、沉浸感和图像质量方面的体验。

图3是显示了根据本公开的至少一个实施例的双眼完全会聚的峰值速度与响应幅度之间的关系的曲线图300。辐辏眼动遵循一可预测的模式；该辐辏眼动的峰值速度和最终响应幅度是直接相关的。这种关系被称为“主序列”。

曲线图300示出了会聚眼动的辐辏主序列图。会聚是指双眼向内移动，例如以注视更近距离处的对象。对于会聚而言，(以度每秒为单位的)峰值速度与(以度为单位的)最终响应幅度之间的关系通常是线性的，其中，随着响应幅度和峰值速度的增加，置信界限的离差(dispersion)也会增加。发散是指双眼向外移动，例如以注视更远距离处的对象。辐辏主序列关系在方向上是唯一的，这意味着会聚眼睛可能遵循与发散移动不同的主序列斜率和截距。本公开的系统和设备可以被配置为：例如通过制定用于会聚和用于发散的不同算法来考虑这种差异，以提高预测模型的准确性。

对于会聚响应和发散响应这两者，每个单独用户的辐辏主序列关系也是唯一的。如上所述，本公开的系统可以采用并更新机器学习模型，以准确地预测特定用户的最终注视距离。例如，校准过程可以设置和/或提高初始性能，然后系统可以在使用期间连续地或周期性地更新经建模的主序列关系。在一些实施例中，可以基于(例如来自人口常模的)一组训练数据来初始使用用于会聚和发散的基线预测模型。当用户使用该系统时，该基线预测模型可以被更新和个性化。在这种情况下，当用户使用该系统时，预测可能会随着时间的推移而变得更加准确。

使用峰值速度与响应幅度之间的关系，本公开的系统和设备可以在双眼到达其最终停留位置之前，对正在进行的辐辏眼动幅度的大小进行预测。辐辏响应峰值速度可以出现在辐辏响应完成之前的约100ms与约600ms之间。这一时间取决于辐辏变化的最终幅度。例如，与较小的响应幅度相比，较大的响应幅度往往会在峰值速度与响应结束之间经历较大的时间差。通过使用峰值眼动速度来估计最终的注视深度位置(例如辐辏角)，系统可以在双眼到达之前将近眼显示器和/或变焦光学元件引导到合适的焦距，从而减少总的端到端时延。

图4A、图4B和图4C包括根据本公开的至少一个实施例的三个相应的曲线图400A、400B和400C，该三个相应的曲线图分别显示了在会聚动作期间眼动的位置、速度和加速度。为了确定何时达到峰值速度，系统可以使用辐辏加速度数据，该辐辏加速度数据可以作为位置的二阶导数从眼动追踪元件计算得到。当加速度超过0°/s²时，速度达到峰值。然后，系统可以使用定制的或预加载的主序列关系来预测最终的辐辏角，从而预测注视距离所处的位置。图4A至图4C示出了辐辏位置、辐辏速度与辐辏加速度之间是如何相关的。

在图4A的位置曲线图400A中，显示了一时间段内双眼的示例辐辏位置。该位置是以屈光度表示的角度位置，该角度位置可以与辐辏角的度数相关联。辐辏位置从0屈光度过渡到约2.5屈光度，并在约1250ms(约1.25秒)内达到基本稳定的状态。

图4B的速度曲线图400B显示了与位置曲线图400A的辐辏位置对齐的、双眼的示例辐辏速度。辐辏速度是以每秒屈光度表示的角速度。速度迅速增加，并在约400ms(约0.4秒)内达到每秒约5屈光度的峰值，此后速度变慢，直到在约1250ms内达到稳定状态下基本为零。

图4C的加速度曲线图400C显示了与位置曲线图400A的辐辏位置和速度曲线图400B的辐辏速度对齐的、双眼的示例辐辏加速度。辐辏位置是以每秒屈光度表示的角加速度。加速度在约250ms(约0.25秒)内达到峰值，并在速度达到峰值(其在约400ms内)的同时下降到零以下。当速度变慢时，加速度为负的。

图5是示出了根据本公开的至少一个实施例的双眼的粗略对准响应的实际眼动数据(实线)和重叠模型(虚线)的曲线图500。如图3所示，主序列针对约4°以下的响应幅度通常是线性的。当响应幅度增加超过约4°，描述主序列的回归界限(例如置信界限)增加。这意味着，如果对较小的响应使用同一算法，则较大响应的最终响应幅度可能难以预测。对于注视距离的较大变化，这可能会影响所提出方法的性能。

根据本公开的系统可以通过利用大脑如何控制辐辏响应来提高该方法的性能。最初，辐辏眼动是由神经放电的脉冲(burst)引发的。即使没有视觉输入(例如，关灯)，这种初始响应也将持续到完成。当注视角接近其最终目的地时，大脑中的视觉系统切换到使用视觉信息(例如，模糊和/或辐辏反馈)来精细地调整辐辏位置，以匹配所期望的感兴趣对象的注视距离。因此，当双眼辐辏到新的注视距离处时，大脑中存在粗略辐辏调节(例如，初始响应)和精细辐辏度调节(例如，响应的后面部分)。随着幅度的增加，精细调节成为总响应中的更重要部分。在使用主序列预测方法时，与粗略调节相比，精细调节更加多变，并因此更不可预测。

在图5中显示了粗略调节，其中，实际眼睛速度数据通常遵循数据的二次拟合。在图5中的曲线图500的右侧显示了精细调节，其中，眼睛速度数据偏离了数据的二次拟合。在该图中对数据的二次拟合(虚线)显示了如果没有视觉反馈并且响应仅由粗略对准响应驱动时，辐辏响应幅度将约是多少。

图6是显示了根据本公开的至少一个实施例的双眼粗略会聚的峰值速度与响应幅度之间的关系的曲线图600。与图3的示出了(包括粗略调节和精细调节的)完整响应幅度的曲线图300相比，曲线图600仅示出了预测的粗略响应幅度。在对图6和图3进行比较时，当仅使用更可预测的粗略响应估计时，主序列回归的方差显著减小并且更加线性。该技术可以进一步完善上述预测算法和/或机器学习模型。随着通过使用而收集更多的注视数据及其动态特性，本公开的系统可以将粗略响应幅度估计与实际响应幅度进行比较，以便进一步校准和提高预测模型的准确性。

当在双眼到达稳定状态位置之前依次产生多个辐辏响应时，这种方法将遇到另一挑战。在这种情况下，只采用速度信号中的第一个峰值可能会导致预测的最终响应幅度不准确。为了抵消这种影响，系统可以(例如，在加速度值超过零时)识别速度信号中的所有峰值，并且可以连续地对预期幅度求和，以改进对最终注视距离的预测。

图7是示出了根据本公开的至少一个实施例的操作头戴式光学设备的方法700的流程图。在操作710处，例如可以使用眼动追踪元件来测量用户的双眼的注视方向和移动速度。操作710可以以各种方式来执行。例如，眼动追踪元件可以如参照图2、图10和/或图11描述的那样工作。

在操作720处，可以在用户的双眼达到最终注视状态之前，预测用户的双眼的注视距离，该最终注视状态与所预测的注视距离相关联。该预测可以在最终注视状态之前的约600ms内执行。操作710可以以各种方式来执行。例如，可以由至少一个处理器基于所测量的用户双眼的注视方向和移动速度来进行预测。可以确定双眼的峰值速度，这可以用来预测双眼何时达到稳定状态。在一些实施例中，可以采用机器学习模型来进行预测。

方法700还可以包括附加操作。例如，可以基于用户双眼的预测注视距离来至少改变变焦光学元件的焦距(例如，以基本匹配该预测注视距离)。可以使用(例如，头戴式显示器的)近眼显示器向用户的双眼呈现视觉内容，并且可以使该视觉内容处于与预测的注视距离不同的感知深度处的部分变得模糊。在一些示例中，可以通过仅对在用户视场内的视觉内容进行完全渲染来实现模糊，这进而可以降低整个系统的计算要求(并因此降低尺寸和重量)。可以在用户的双眼辐辏达到注视距离之前完成这种模糊。

因此，本公开包括可用于在双眼达到稳定注视状态之前预测用户的眼睛注视距离的系统、设备和方法。所公开的概念可以减少头戴式光学系统的系统时延，这些头戴式光学系统例如为：对呈现给用户的视觉内容的聚焦提示/模糊提示进行渲染的头戴式显示器；和/或可改变焦距(例如，光焦度)的变焦光学元件。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调节的现实形式，该人工现实可以包括例如虚拟现实、增强现实、混合现实(mixed reality)、混合现实(hybridreality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全的计算机生成内容或与采集的(例如，真实世界的)内容相结合的计算机生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上中的任何一者都可以在单个通道中或在多个通道中被呈现(例如给观看者带来三维(3D)效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，所述应用、产品、附件、服务或它们的某种组合用于例如在人工现实中创建内容和/或以其它方式用于人工现实(例如，以在人工现实中执行活动)。

人工现实系统可以以各种不同的形状要素和配置来实现。一些人工现实系统可以被设计为在没有近眼显示器(NED)的情况下工作。其它人工现实系统可以包括NED，该NED还提供对真实世界的可见性(例如，图8中的增强现实系统800)或者在视觉上使用户沉浸在人工现实中(例如，图9中的虚拟现实系统900)。尽管一些人工现实设备可以是独立系统，但其它人工现实设备可以与外部设备通信和/或协调，以向用户提供人工现实体验。这种外部设备的示例包括手持式控制器、移动设备、台式计算机、由用户佩戴的设备、由一个或多个其它用户佩戴的设备和/或任何其它合适的外部系统。

转向图8，增强现实系统800可以包括具有框架810的眼镜设备802，该框架被配置为将左显示设备815(A)和右显示设备815(B)保持在用户双眼的前方。显示设备815(A)和显示设备815(B)可以一起或独立地动作以向用户呈现图像或系列图像。尽管增强现实系统800包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统800可以包括一个或多个传感器，例如传感器840。传感器840可以响应于增强现实系统800的运动而生成测量信号，并且该传感器可以大体上位于框架810的任何部分上。传感器840可以表示各种不同的感测机构中的一种或多种感测机构，这些感测机构例如为位置传感器、惯性测量单元(inertial measurement unit，IMU)、深度摄像头组件、结构光发射器和/或检测器或它们的任意组合。在一些实施例中，增强现实系统800可以包括或可以不包括传感器840，或者可以包括多于一个的传感器。在传感器840包括IMU的实施例中，该IMU可以基于来自传感器840的测量信号而生成校准数据。传感器840的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其它合适类型的传感器、用于IMU的误差校正的传感器或它们的某种组合。

在一些示例中，增强现实系统800还可以包括具有多个声学转换器820(A)至820(J)的传声器阵列，这些声学转换器统称为声学转换器820。声学转换器820可以表示检测由声波引起的气压变化的转换器。每个声学转换器820可以被配置为检测声音并将检测到的声音转换成电子格式(例如，模拟格式或数字格式)。图8中的传声器阵列例如可以包括十个声学转换器：可被设计成放置在用户的相应耳朵内的820(A)和820(B)；可被定位在框架810上的不同位置处的声学转换器820(C)、820(D)、820(E)、820(F)、820(G)和820(H)；和/或可被定位在对应的颈带805上的声学转换器820(I)和820(J)。

在一些实施例中，声学转换器820(A)至820(J)中的一者或多者可以用作输出转换器(例如，扬声器)。例如，声学转换器820(A)和/或820(B)可以是耳塞或任何其它合适类型的耳机或扬声器。

传声器阵列的各声学转换器820的配置可以变化。尽管增强现实系统800在图8中被显示为具有十个声学转换器820，但是声学转换器820的数量可以多于或少于十个。在一些实施例中，使用更多数量的声学转换器820可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相比之下，使用较少数量的声学转换器820可以降低相关联的控制器850处理所收集的音频信息所需的计算能力。此外，传声器阵列的各个声学转换器820的位置可以变化。例如，声学转换器820的位置可以包括用户身上的限定位置、框架810上的限定坐标、与每个声学转换器820相关联的方位或它们的某种组合。

声学转换器820(A)和820(B)可以被定位在用户耳朵的不同部位上，例如耳廓(pinna)后面、耳屏后面和/或耳廓(auricle)或耳窝(fossa)内。或者，除了耳道内的声学转换器820之外，在耳朵上或耳朵周围可以存在附加的声学转换器820。将声学转换器820定位在用户的耳道附近可以使传声器阵列能够收集关于声音如何到达耳道的信息。通过将各声学转换器820中的至少两个声学转换器定位在用户头部的两侧(例如，作为双耳传声器)，增强现实设备800可以模拟双耳听觉并且采集用户头部周围的3D立体声声场。在一些实施例中，声学转换器820(A)和820(B)可以经由有线连接830连接到增强现实系统800，并且在其它实施例中，声学转换器820(A)和820(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统800。在另一些实施例中，声学转换器820(A)和820(B)可以完全不与增强现实系统800结合使用。

框架810上的各声学转换器820可以以各种不同的方式进行定位，所述方式包括沿镜腿(temple)的长度、跨过鼻梁架(bridge)、在显示设备815(A)和显示设备815(B)的上方或下方、或它们的某种组合。声学转换器820还可以被定向成使得传声器阵列能够检测佩戴了增强现实系统800的用户周围的宽范围方向内的声音。在一些实施例中，可以在增强现实系统800的制造期间执行优化过程，以确定各声学转换器820在传声器阵列中的相对定位。

在一些示例中，增强现实系统800可以包括或连接到外部设备(例如，配对设备)，例如颈带805。颈带805通常表示任何类型或形式的配对设备。因此，以下对颈带805的论述也可以适用于各种其它配对设备，例如充电盒、智能手表、智能手机、腕带、其它可穿戴设备、手持式控制器、平板计算机、膝上型计算机、其它外部计算设备等。

如图所示，颈带805可以经由一个或多个连接器耦接到眼镜设备802。连接器可以是有线或无线的，并且可以包括电子部件和/或非电子(例如，结构)部件。在一些情况下，眼镜设备802和颈带805可以在它们之间没有任何有线或无线连接的情况下独立地运行。尽管图8示出了眼镜设备802和颈带805的各部件位于眼镜设备802和颈带805上的示例位置处，但是这些部件可以位于眼镜设备802和/或颈带805上的其它位置和/或以不同的方式分布在该眼镜设备和/或该颈带上。在一些实施例中，眼镜设备802和颈带805的各部件可以位于与眼镜设备802、颈带805或它们的某种组合配对的一个或多个附加外围设备上。

将外部设备(例如颈带805)与增强现实眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状要素，同时仍然为扩展的能力提供足够的电池电量和计算能力。增强现实系统800的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或在配对设备与眼镜设备之间共享，从而在整体上降低眼镜设备的重量、热量分布和形状要素，同时仍保持所期望的功能。例如，颈带805可以允许将以其它方式包括在眼镜设备上的部件包括在颈带805中，因为与用户在其头部上承受的相比，它们可以在其肩部上承受更重的重量负荷。颈带805还可以具有较大的表面积，以通过该表面积将热量扩散并散发到周围环境。因此，与在独立眼睛设备上以其它方式可行的电池电量和计算能力相比，颈带805可以允许更大的电池电量和计算能力。由于颈带805中携载的重量可以比眼镜设备802中携载的重量对用户的侵害小，因此与用户忍受佩戴重的独立眼镜设备相比，用户可以忍受更长时间佩戴较轻的眼镜设备并携带或佩戴配对设备，从而使用户能够更充分地将人工现实环境融入其日常活动中。

颈带805可以与眼镜设备802通信耦接和/或通信耦接到其它设备。这些其它设备可以向增强现实系统800提供某些功能(例如，追踪、定位、深度图构建(depth mapping)、处理、存储等)。在图8的实施例中，颈带805可以包括两个声学转换器(例如，820(I)和820(J))，该两个声学转换器是传声器阵列的一部分(或潜在地形成其自己的传声器子阵列)。颈带805还可以包括控制器825和电源835。

颈带805的声学转换器820(I)和820(J)可以被配置为检测声音并且将检测到的声音转换成电子格式(模拟或数字)。在图8的实施例中，声学转换器820(I)和820(J)可以定位在颈带805上，从而增加了颈带的声学转换器820(I)和820(J)与定位在眼镜设备802上的其它声学转换器820之间的距离。在一些情况下，增加传声器阵列的各声学转换器820之间的距离可以提高经由传声器阵列执行的波束成形的准确性。例如，如果声学转换器820(C)和820(D)检测到声音并且声学转换器820(C)与820(D)之间的距离大于例如声学转换器820(D)与820(E)之间的距离，则所确定的检测到的声音的源位置可以比在当该声音被声学转换器820(D)和820(E)检测到时更准确。

颈带805的控制器825可以对由颈带805和/或增强现实系统800上的各传感器生成的信息进行处理。例如，控制器825可以对来自传声器阵列的、描述由传声器阵列检测到的声音的信息进行处理。对于每个检测到的声音，控制器825可以执行波达方向(direction-of-arrival，DOA)估计，以估计检测到的声音从哪个方向到达传声器阵列。当传声器阵列检测到声音时，控制器825可以使用该信息填充音频数据集。在增强现实系统800包括惯性测量单元的实施例中，控制器825可以计算来自位于眼镜设备802上的IMU的所有惯性计算和空间计算。连接器可以在增强现实系统800与颈带805之间、以及在增强现实系统800与控制器825之间传送信息。所述信息可以是光学数据形式、电子数据形式、无线数据形式或任何其它可传输数据形式。将对由增强现实系统800生成的信息的处理移动到颈带805可以减少眼镜设备802的重量和热量，使得该眼镜设备对用户来说更舒适。

颈带805中的电源835可以为眼镜设备802和/或颈带805提供电力。电源835可以包括但不限于锂离子电池、锂聚合物电池、一次性锂电池、碱性电池或任何其它形式的电力存储器。在一些情况下，电源835可以是有线电源。将电源835包括在颈带805上而不是在眼镜设备802上可以帮助更好地分散由电源835产生的重量和热量。

如所提到的，一些人工现实系统可以使用虚拟体验来大体上代替用户对真实世界的多种感官知觉中的一种或多种感官知觉，而不是将人工现实与真实现实混合。这种类型的系统的一个示例是大部分或完全覆盖用户的视场的头戴式显示系统(例如，图9中的虚拟现实系统900)。虚拟现实系统900可以包括前部刚性体902和被成形为适合围绕用户头部的带904。虚拟现实系统900还可以包括输出音频转换器906(A)和906(B)。此外，尽管在图9中未示出，但是前部刚性体902可以包括一个或多个电子元件，该一个或多个电子元件包括一个或多个电子显示器、一个或多个惯性测量单元(IMU)、一个或多个追踪发射器或检测器和/或用于创建人工现实体验的任何其它合适的设备或系统。

人工现实系统可以包括各种类型的视觉反馈机构。例如，增强现实系统800中和/或虚拟现实系统900中的显示设备可以包括：一个或多个液晶显示器(liquid crystaldisplay，LCD)、发光二极管(light emitting diode，LED)显示器、微型LED(microLED)显示器、有机LED(organic light emitting diode，OLED)显示器、数字光投影(digital lightproject，DLP)微型显示器、硅基液晶(liquid crystal on silicon，LCoS)微型显示器和/或任何其它合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供一个显示屏，这可以为变焦调节或为矫正用户的屈光不正而提供额外的灵活性。这些人工现实系统中的一些人工现实系统还可以包括多个光学子系统，这些光学子系统具有一个或多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳透镜、可调整的液体透镜等)，用户可以透过该一个或多个透镜观看显示屏。这些光学子系统可以用于各种目的，包括对光进行准直(例如，使物体看起来处于比其物理距离更大的距离处)、放大(例如，使物体看起来比其实际尺寸更大)和/或传递(将光传递到例如观看者的双眼)。这些光学子系统可以用于直视型架构(non-pupil-forming architecture)(例如，直接对光进行准直但会产生所谓的枕形失真的单透镜配置)和/或非直视型架构(pupil-formingarchitecture)(例如，产生所谓的桶形失真以抵消枕形失真的多透镜配置)。

除了使用显示屏之外或者代替使用显示屏，本文所描述的多个人工现实系统中的一些人工现实系统可以包括一个或多个投影系统。例如，增强现实系统800中和/或虚拟现实系统900中的显示设备可以包括(使用例如波导)将光投射到显示设备中的微型LED投影仪，例如允许环境光穿过的透明组合透镜。显示设备可以折射所投射的光朝向用户的瞳孔，并且可以使用户能够同时观看人工现实内容和真实世界这两者。显示设备可以使用各种不同的光学部件中的任何光学部件来实现该目的，所述光学部件包括波导部件(例如全息元件、平面元件、衍射元件、偏振元件和/或反射波导元件)、光操纵表面和元件(例如衍射元件和光栅、反射元件和光栅以及折射元件和光栅)、耦合元件等。人工现实系统也可以被配置有任何其它合适的类型或形式的图像投影系统，例如虚拟视网膜显示器中使用的视网膜投影仪。

本文所描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统800和/或虚拟现实系统900可以包括一个或多个光学传感器，例如二维(two-dimensional，2D)或3D摄像头、结构光发射器和检测器、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器和/或任何其它合适类型或形式的光学传感器。人工现实系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以标识用户的位置、绘制真实世界的地图、向用户提供关于真实世界环境的背景和/或执行各种其它功能。

本文所描述的人工现实系统还可以包括一个或多个输入音频转换器和/或输出音频转换器。输出音频转换器可以包括音圈扬声器、带式扬声器、静电式扬声器、压电式扬声器、骨传导转换器、软骨传导转换器、耳屏振动转换器和/或任何其它合适类型或形式的音频转换器。类似地，输入音频转换器可以包括电容式传声器、动态传声器、带式传声器、和/或任何其它类型或形式的输入转换器。在一些实施例中，对于音频输入和音频输出这两者，可以使用单个转换器。

在一些实施例中，本文所描述的人工现实系统还可以包括触觉(tactile)(即，触觉(haptic))反馈系统，这些反馈系统可以结合到头饰、手套、服装、手持式控制器、环境设备(例如，椅子、地板垫等)和/或任何其它类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、推力、牵拉、质地和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、流体系统和/或各种其它类型的反馈机制来实现触觉反馈。触觉反馈系统可以独立于其它人工现实设备来实现，在其它人工现实设备内实现和/或结合其它人工现实设备来实现。

通过提供触觉知觉、听觉内容和/或视觉内容，人工现实系统可以在各种背景和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与真实世界中的其他人的交互，或者可以实现与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于学校、医院、政府机构、军事机构、商业企业等的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)，和/或用于可接入性目的(例如，作为助听器、视觉辅助设备等)。本文所公开的实施例可能能够在这些背景和环境中的一个或多个背景和环境和/或其它背景和环境中实现或增强用户的人工现实体验。

在一些实施例中，本文所描述的系统还可以包括眼动追踪子系统，该眼动追踪子系统被设计成识别和追踪用户的单眼或双眼的各种特性，例如用户的注视方向。在一些示例中，词语“眼动追踪”可以指通过其测量、检测、感测、确定、和/或监测眼睛的位置、方位、和/或运动的过程。所公开的系统可以以各种不同的方式(包括通过使用各种基于光学的眼动追踪技术、基于超声波的眼动追踪技术等)测量眼睛的位置、方位、和/或运动。眼动追踪子系统可以以多种不同的方式配置，并且可以包括各种不同的眼动追踪硬件部件或其它计算机视觉部件。例如，眼动追踪子系统可以包括各种不同的光学传感器，例如，二维(2D)摄像头或3D摄像头、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器和/或任何其它合适类型或形式的光学传感器。在该示例中，处理子系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以测量、检测、确定和/或以其它方式监测用户的单眼或双眼的位置、方位和/或运动。

图10是包含能够追踪用户的单眼或双眼的眼动追踪子系统的示例性系统1000的图示。如图10所描绘的，系统1000可以包括光源1002、光学子系统1004、眼动追踪子系统1006和/或控制子系统1008。在一些示例中，光源1002可以为图像(例如，该图像将呈现给观看者的眼睛1001)生成光。光源1002可以表示各种合适的设备中的任何一种设备。例如，光源1002可以包括二维投影仪(例如，LCoS显示器)、扫描源(例如，扫描激光器)、或其它设备(例如，LCD、LED显示器、OLED显示器、有源矩阵OLED(active-matrix OLED，AMOLED)显示器、透明OLED(transparent OLED display，TOLED)显示器、波导、或能够生成光以用于向观看者呈现图像的一些其它显示器)。在一些示例中，图像可以表示虚拟图像，该虚拟图像可以指根据来自空间中的点的光线的表观发散(apparent divergence)形成的光学图像，而不是指根据光线的实际发散形成的图像。

在一些实施例中，光学子系统1004可以接收由光源1002生成的光，并且基于所接收的光生成包括图像的会聚光1020。在一些示例中，光学子系统1004可以包括可能与致动器和/或其它设备组合的任何数量的透镜(例如，菲涅尔透镜、凸透镜、凹透镜)、光圈、滤光器、反射镜、棱镜、和/或其它光学部件。特别地，致动器和/或其它设备可以对多个光学部件中的一个或多个光学部件进行平移和/或转动，以改变会聚光1020的一个或多个方面。此外，各种机械式联轴器可以用于以任何合适的组合保持光学部件的相对间隔和/或方位。

在一个实施例中，眼动追踪子系统1006可以生成指示观看者的眼睛1001的注视角度的追踪信息。在该实施例中，控制子系统1008可以至少部分基于该追踪信息来控制光学子系统1004的各方面(例如，会聚光1020的入射角)。此外，在一些示例中，控制子系统1008可以存储并利用历史追踪信息(例如，在给定持续时间(例如，前一秒或前一秒的一小部分)内的追踪信息的历史)来预期眼睛1001的注视角度(例如，眼睛1001的视轴与解剖轴之间的角度)。在一些实施例中，眼动追踪子系统1006可以检测从眼睛1001的某一部分(例如，角膜、虹膜或瞳孔等)发出的辐射，以确定眼睛1001的当前注视角度。在其它示例中，眼动追踪子系统1006可以采用波前传感器来追踪瞳孔的当前位置。

可以使用任何数量的技术来追踪眼睛1001。一些技术可以涉及使用红外光照射眼睛1001，并使用被调谐为对红外光敏感的至少一个光学传感器来测量反射。可以对关于红外光如何从眼睛1001反射的信息进行分析，以确定一个或多个眼睛特征(例如，角膜、瞳孔、虹膜、和/或视网膜血管)的一个或多个位置、一个或多个方位和/或一个或多个运动。

在一些示例中，可以对由眼动追踪子系统1006的传感器采集的辐射进行数字化(即，转换成电子信号)。此外，传感器可以将该电子信号的数字表示发送到一个或多个处理器(例如，与包括眼动追踪子系统1006的设备相关联的处理器)。眼动追踪子系统1006可以包括处于各种不同配置的各种传感器中的任何传感器。例如，眼动追踪子系统1006可以包括对红外辐射作出反应的红外探测器。红外探测器可以是热探测器、光子探测器、和/或任何其它合适类型的探测器。热探测器可以包括对入射红外辐射的热效应作出反应的探测器。

在一些示例中，一个或多个处理器可以对由眼动追踪子系统1006的一个或多个传感器生成的数字表示进行处理，以追踪眼睛1001的移动。在另一个示例中，这些处理器可以通过执行由存储在非暂态存储器上的计算机可执行指令表示的算法来追踪眼睛1001的移动。在一些示例中，片上逻辑(例如，专用集成电路(application-specific integratedcircuit)或ASIC)可以用于执行这些算法的至少多个部分。如所指出的，眼动追踪子系统1006可以被编程为使用一个或多个传感器的输出来追踪眼睛1001的移动。在一些实施例中，眼动追踪子系统1006可以对由传感器生成的数字表示进行分析，以从反射的变化中提取眼睛转动信息。在一个实施例中，眼动追踪子系统1006可以将角膜反射或闪烁(glint)(也称为浦肯野(Purkinje)图像)和/或眼睛瞳孔1022的中心用作随时间追踪的特征。

在一些实施例中，眼动追踪子系统1006可以使用眼睛瞳孔1022的中心、以及红外光或近红外光、非准直光来产生角膜反射。在这些实施例中，眼动追踪子系统1006可以使用眼睛瞳孔1022的中心与角膜反射之间的矢量来计算眼睛1001的注视方向。在一些实施例中，所公开的系统可以在追踪用户的双眼之前(使用例如监督技术或无监督技术)对个体执行校准过程。例如，校准过程可以包括引导用户看向显示在显示器上的一个或多个点，同时眼动追踪系统记录对应于与每个点相关联的每个注视位置的值。

在一些实施例中，眼动追踪子系统1006可以使用两种类型的红外和/或近红外(也称为主动光)眼动追踪技术：亮瞳眼动追踪和暗瞳眼动追踪，这可以基于照明源相对于所使用的光学元件的位置来区分。如果照明与光路同轴，则眼睛1001可以作为回射器，因为光从视网膜上反射，从而产生类似于摄影中的红眼效应的亮瞳效应。如果照明源偏离光路，则眼睛瞳孔1022可能看起来很暗，因为从视网膜的回射被引导为远离传感器。在一些实施例中，亮瞳追踪可以产生更大的虹膜/瞳孔对比度，从而允许具有虹膜色素沉积的更稳健的眼动追踪，并且可以具有减少的干扰(例如，由睫毛和其它模糊特征引起的干扰)。亮瞳追踪还可以允许在从完全黑暗到非常明亮的环境的照明条件下进行追踪。

在一些实施例中，控制子系统1008可以控制光源1002和/或光学子系统1004，以减少图像的可能由眼睛1001引起或受眼睛1001影响的光学像差(例如，色差和/或单色像差)。在一些示例中，如上所述，控制子系统1008可以使用来自眼动追踪子系统1006的追踪信息，来执行这种控制。例如，在控制光源1002时，控制子系统1008可以(例如，通过图像渲染)改变由光源1002产生的光，以对图像进行修改(例如，预失真)，从而减少该图像的由眼睛1001引起的像差。

所公开的系统可以追踪瞳孔的位置和相对大小这两者(例如，由于瞳孔放大和/或缩小)。在一些示例中，对于不同类型的眼睛，用于检测和/或追踪瞳孔的眼动追踪设备和部件(例如，传感器和/或源)可以不同(或被不同地校准)。例如，对于不同颜色和/或不同瞳孔类型和/或尺寸等的眼睛，传感器的频率范围可以不同(或被单独地校准)。因此，可能需要针对每个单独的用户和/或眼睛来校准本文所描述的各种眼动追踪部件(例如，红外源和/或传感器)。

所公开的系统可以追踪具有和不具有眼科矫正(例如，由用户佩戴的隐形眼镜提供的眼科矫正)的双眼。在一些实施例中，眼科矫正元件(例如，可调节透镜)可以直接结合到本文描述的人工现实系统中。在一些示例中，用户眼睛的颜色可能使对对应的眼动追踪算法的修改成为必要。例如，可能需要至少部分基于棕色眼睛与例如蓝色眼睛之间的不同颜色对比度来修改眼动追踪算法。

图11是图10中示出的眼动追踪子系统的各个方面的更详细图示。如该图所示，眼动追踪子系统1100可以包括至少一个源1104和至少一个传感器1106。源1104概括地表示能够发射辐射的任何类型或形式的元件。在一个示例中，源1104可以生成可见辐射、红外辐射、和/或近红外辐射。在一些示例中，源1104可以朝向用户的眼睛1102辐射电磁波谱的非准直的红外部分和/或近红外部分。源1104可以利用各种采样率和采样速度。例如，所公开的系统可以使用具有较高采样率的源，以便采集用户的眼睛1102的注视眼动和/或正确地测量用户的眼睛1102的扫视动态。如上所述，可以使用任何类型或形式的眼动追踪技术(包括基于光学的眼动追踪技术、基于超声波的眼动追踪技术等)来追踪用户的眼睛1102。

传感器1106概括地表示能够检测辐射(例如，从用户的眼睛1102反射的辐射)的任何类型或形式的元件。传感器1106的示例包括但不限于：电荷耦合器件(charge coupleddevice，CCD)、光电二极管阵列、和/或基于互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)的传感器器件等。在一个示例中，传感器1106可以表示具有预定参数的传感器，这些预定参数包括但不限于：动态分辨率范围、线性度、和/或专门为眼动追踪选择和/或设计的其它特性。

如上所详述的，眼动追踪子系统1100可以生成一个或多个闪烁。如上所详述的，闪烁1103可以表示从用户眼睛的结构对辐射(例如，来自红外源(例如，源1104)的红外辐射)的反射。在各种实施例中，可以使用由(在人工现实设备内部或外部的)处理器执行的眼动追踪算法来追踪闪烁1103和/或用户的瞳孔。例如，人工现实设备可以包括处理器和/或存储设备，以便在本地执行眼动追踪；和/或收发器，以用于发送和接收在外部设备(例如，移动电话、云服务器、或其它计算设备)上执行眼动追踪所需的数据。

图11显示了由眼动追踪子系统(例如，眼动追踪子系统1100)采集的示例图像1105。在该示例中，图像1105可以包括用户的瞳孔1108和该瞳孔附近的闪烁1110这两者。在一些示例中，可以使用基于人工智能的算法(例如，基于计算机视觉的算法)来识别瞳孔1108和/或闪烁1110。在一个实施例中，图像1105可以表示可被连续分析以追踪用户的眼睛1102的一系列帧中的单个帧。此外，可以在一段时间内对瞳孔1108和/或闪烁1110进行追踪，以确定用户的注视。

在一个示例中，眼动追踪子系统1100可以被配置为识别和测量用户的瞳距(IPD)。在一些实施例中，眼动追踪子系统1100可以在用户正佩戴着人工现实系统时测量和/或计算用户的IPD。在这些实施例中，眼动追踪子系统1100可以检测用户双眼的位置，并且可以使用该信息来计算用户的IPD。

如上所述，本文所公开的眼动追踪系统或眼动追踪子系统可以以各种方式来追踪用户的眼睛位置和/或眼动。在一个示例中，一个或多个光源和/或光学传感器可以采集用户双眼的图像。然后，眼动追踪子系统可以使用所采集的信息来确定用户的瞳距、眼间距和/或每只眼睛的3D位置(例如，以用于失真调整目的)，所采集的信息包括每只眼睛的扭转和转动(即，翻转(roll)、上下运动(pitch)和左右运动(yaw))的幅度和/或注视方向。在一个示例中，红外光可以由眼动追踪子系统发射并从每只眼睛反射。所反射的光可以由光学传感器接收或检测，并且可以对所反射的光进行分析，以从由每只眼睛反射的红外光的变化中提取眼睛转动数据。

眼动追踪子系统可以使用各种不同方法中的任何来追踪用户的双眼。例如，光源(例如，红外发光二极管)可以将点图案发射到用户的每只眼睛上。然后，眼动追踪子系统可以(例如，经由耦接到人工现实系统的光学传感器)检测并分析从用户的每只眼睛对该点图案的反射，以识别用户的每个瞳孔的位置。因此，眼动追踪子系统可以追踪每只眼睛的多达六个自由度(即，3D位置、翻转、上下运动和左右运动)，并且可以对来自用户的双眼的所追踪的量的至少一个子集进行组合，以估计注视点(即，3D位置或用户正在观看的虚拟场景中的位置)和/或IPD。

在一些情况下，当用户的眼睛在不同方向上移动以观看时，用户的瞳孔与显示器之间的距离可能会改变。瞳孔与显示器之间的、在观看方向改变时的变化距离可以被称为“瞳孔游移(swim)”，并且由于随着瞳孔与显示器之间的距离改变而使光聚焦在不同的位置，上述变化距离可能造成用户可感知到的失真。因此，测量相对于显示器的不同眼睛位置和瞳距处的失真、并针对不同位置和距离生成失真校正可以允许：通过追踪用户双眼的3D位置并及时在给定时间点处应用与用户双眼的每只眼睛的3D位置相对应的失真校正，来减少由瞳孔游移引起的失真。因此，知道用户双眼的每只眼睛的3D位置可以允许通过对每个3D眼睛位置应用失真校正，来减少由眼睛的瞳孔与显示器之间的距离的变化而引起的失真。此外，如上所述，知道用户双眼的每只眼睛的位置还可以使眼动追踪子系统能够对用户的IPD进行自动调整。

在一些实施例中，显示子系统可以包括各种附加子系统，这些附加子系统可以与本文所描述的眼动追踪子系统结合工作。例如，显示子系统可以包括变焦子系统、场景渲染模块、和/或辐辏处理模块。变焦子系统可以使左显示元件和右显示元件改变显示设备的焦距。在一个实施例中，变焦子系统可以通过移动显示器、光学器件或这两者来在物理上改变显示器(其通过该光学器件被观看)与光学器件之间的距离。此外，相对于彼此移动或平移的两个透镜也可以用来改变显示器的焦距。因此，变焦子系统可以包括致动器或电机，该致动器或电机移动显示器和/或光学器件以改变显示器和/或光学器件之间的距离。该变焦子系统可以与显示子系统分开或集成到显示子系统中。变焦子系统还可以集成到本文所描述的其致动子系统和/或眼动追踪子系统中或与该致动子系统和/或该眼动追踪子系统分开。

在一个示例中，显示子系统可以包括辐辏处理模块，该辐辏处理模块被配置为基于由眼动追踪子系统确定的注视点和/或视线(gaze line)的估计交叉点来确定用户的注视的辐辏深度。辐辏可以指双眼同时向相反方向移动或转动以维持双眼单视，这可以由人眼自然地和自动地执行。因此，用户双眼辐辏的位置是用户正在观看的位置，通常也是用户双眼聚焦的位置。例如，辐辏处理模块可以对视线进行三角测量，以估计与视线的交叉点相关联的距用户的距离或深度。然后，与视线的交叉点相关联的深度可以用作调焦距离的近似值，该调焦距离可以识别用户双眼所指向的位置距用户的距离。因此，辐辏距离可以允许确定用户双眼应该聚焦的位置、以及用户双眼聚焦的位置距用户双眼的深度，从而提供用于对虚拟场景进行渲染调整的信息(例如，对象或焦平面)。

辐辏处理模块可以与本文所描述的眼动追踪子系统配合，以对显示子系统进行调整，以考虑到用户的辐辏深度。当用户聚焦在远处的事物上时，用户瞳孔可能分开得比当用户聚焦在近处的事物时稍微远一些。眼动追踪子系统可以获取关于用户的辐辏或聚焦深度的信息，并且可以在用户的双眼聚焦或辐辏在近处的事物时将显示子系统调整为更靠近，并且在用户的双眼聚焦或辐辏在远处的事物上时将显示子系统调整为更远离。

例如，由上述眼动追踪子系统生成的眼动追踪信息还可以用于修改如何呈现不同的计算机生成图像的各个方面。例如，显示子系统可以被配置为基于由眼动追踪子系统生成的信息来修改如何呈现计算机生成图像的至少一个方面。例如，可以基于用户的眼动来修改计算机生成图像，使得如果用户向上看，则可以在屏幕上将计算机生成图像向上移动。类似地，如果用户向一侧看或向下看，则可以在屏幕上将计算机生成图像向该一侧移动或向下移动。如果用户闭眼，则可以暂停计算机生成图像或从显示器移除该计算机生成图像，并且一旦用户再次睁开双眼就恢复该计算机生成图像。

上述眼动追踪子系统可以以各种方式结合到本文所描述的各种人工现实系统中的一个或多个人工现实系统中。例如，系统1000和/或眼动追踪子系统1100的各种部件中的一个或多个部件可以结合到图8的增强现实系统800和/或图9的虚拟现实系统900中，以使这些系统能够执行各种眼动追踪任务(包括本文所描述的各眼动追踪操作中的一个或多个眼动追踪操作)。

本公开还包括以下示例实施例：

示例1：一种头戴式光学系统，该头戴式光学系统可以包括：眼动追踪子系统，该眼动追踪子系统被配置为至少确定用户的双眼的注视方向和用户的双眼的眼动速度；以及注视距离预测子系统，该注视距离预测子系统被配置为基于用户的双眼的眼动速度和注视方向，在用户的双眼达到注视状态之前预测用户的双眼将变成注视的注视距离，该注视状态与所预测的注视距离相关联。

示例2：根据示例1所述的头戴式光学系统，还包括变焦光学元件，该变焦光学元件在头戴式光学系统被用户佩戴时固定在用户的双眼前方的位置，该变焦光学元件被配置为基于来自眼动追踪子系统和注视距离预测子系统的信息来改变至少一个光学特性，该至少一个光学特性包括焦距。

示例3：根据示例2所述的头戴式光学系统，其中，所述变焦光学元件包括：基本透明的支承元件；基本透明的可变形元件，该可变形元件至少沿着该可变形元件的边缘耦接到支承元件；以及基本透明的可变形介质，该可变形介质设置在支承元件与可变形元件之间。

示例4：根据示例3所述的头戴式光学系统，其中，该变焦光学元件还包括变焦致动器，该变焦致动器被配置为在被致动时改变变焦光学元件的至少一个光学特性。

示例5：根据示例4所述的头戴式光学系统，其中，该变焦致动器包括至少一个基本透明的电极，该至少一个基本透明的电极耦接到可变形元件。

示例6：根据示例2至5中任一示例所述的头戴式光学系统，其中，该变焦光学元件包括液晶元件，该液晶元件被配置为在被激活时改变变焦光学元件的至少一个光学特性。

示例7：根据示例1至6中任一示例所述的头戴式光学系统，还包括近眼显示器，该近眼显示器被配置为向用户显示视觉内容。

示例8：根据示例7所述的头戴式光学系统，其中，该近眼显示器被操作以仅对该视觉内容的处于用户双眼注视的感知深度处的多个部分进行完全渲染。

示例9：根据示例1至8中任一示例所述的头戴式光学系统，其中，该注视距离预测子系统被配置为在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内，预测用户的双眼将变成注视的注视距离。

示例10：一种操作头戴式光学设备的方法，所述方法可以包括：使用眼动追踪元件测量用户双眼的注视方向和移动速度；以及使用至少一个处理器并基于所测量的用户双眼的注视方向和移动速度，在用户的双眼达到注视状态之前预测用户的双眼的注视距离，该注视状态与所预测的注视距离相关联。

示例11：根据示例10所述的方法，还包括：基于所预测的用户的双眼的注视距离，使用变焦光学元件至少改变所述变焦光学元件的焦距。

示例12：根据示例10或11所述的方法，还包括：使用近眼显示器向用户的双眼呈现视觉内容；以及仅对视觉内容的处于所预测的用户双眼的注视距离处的多个部分进行完全渲染。

示例13：根据示例12所述的方法，其中，在用户的双眼辐辏达到注视距离之前完成仅对视觉内容的多个部分的完全渲染。

示例14：根据示例10至13中任一示例所述的方法，其中：测量用户的双眼的移动速度包括测量用户的双眼的最大速度；并且预测注视距离是至少部分地基于用户的双眼的最大速度的。

示例15：根据示例10至14中任一示例所述的方法，其中，对用户的双眼将变成注视的注视距离的预测是在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内完成的。

示例16：一种非暂态计算机可读介质，包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使该计算设备：使用眼动追踪元件测量用户的双眼的注视方向和移动速度；以及基于所测量的用户的双眼的注视方向和移动速度，在用户的双眼达到注视状态之前预测用户的双眼的注视距离，该注视状态与所预测的注视距离相关联。

示例17：根据示例16所述的非暂态计算机可读介质，其中，该一个或多个计算机可执行指令还使得该计算设备：基于所预测的用户的双眼的注视距离，使用变焦光学元件至少改变该变焦光学元件的焦距。

示例18：根据示例16或17所述的非暂态计算机可读介质，其中，该一个或多个计算机可执行指令还使计算设备：使用近眼显示器向用户的双眼呈现视觉内容；以及仅对该视觉内容的处于所预测的用户双眼的注视距离处的多个部分进行完全渲染。

示例19：根据示例18所述的非暂态计算机可读介质，其中，该一个或多个计算机可执行指令进一步使得计算设备：在用户的双眼辐辏达到注视距离之前，完成仅对视觉内容的多个部分的完全渲染。

示例20：根据示例16至19中任一示例所述的非暂态计算机可读介质，其中，该一个或多个计算机可执行指令进一步使得计算设备：在用户的双眼达到与所预测的注视距离相关联的注视状态之前的600ms内，完成对用户的双眼将变成注视的注视距离的预测。

如上所述，本文所描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如包含在本文所描述的模块中的那些指令)的任何类型或形式的计算设备或系统。在其最基本的配置中，这一个或多个计算设备可以各自包括至少一个存储设备和至少一个物理处理器。

在一些示例中，术语“存储设备”概括地指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储设备可以存储、加载和/或维护本文所描述的多个模块中的一个或多个模块。存储设备的示例包括但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存、硬盘驱动器(Hard Disk Drive，HDD)、固态驱动器(Solid-State Drive，SSD)、光盘驱动器、高速缓冲存储器、上述这些存储设备中的一者或多者的变型或组合、或任何其它合适的存储存储器。

在一些示例中，术语“物理处理器”概括地指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储设备中的一个或多个模块。物理处理器的示例包括但不限于，微处理器、微控制器、中央处理器(Central Processing Unit，CPU)、实现软核处理器的现场可编程门阵列(Field-Programmable Gate Array，FPGA)、专用集成电路(Application-SpecificIntegrated Circuit，ASIC)，上述这些物理处理器的一者或多者的部分，上述这些物理处理器的一者或多者的变型或组合、或任何其它合适的物理处理器。

尽管本文所描述和/或示出的各模块被示出为单独的元件，但是这些模块可以表示单个模块或应用中的部分。此外，在某些实施例中，这些模块中的一个或多个模块可以表示一个或多个软件应用或程序，这些软件应用或程序在被计算设备执行时，可以使该计算设备执行一个或多个任务。例如，本文所描述和/或所示出的模块中的一者或多者可以表示这样的模块：所述模块被存储在本文所描述和/或所示出的计算设备或系统的一者或多者中并被配置为在本文所描述和/或示出的计算设备或系统的一者或多者上运行。这些模块中的一者或多者还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。

此外，本文所描述的多个模块中的一者或多者可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。例如，本文所记载的多个模块中的一个或多个模块可以接收待转换的测量数据，转换该测量数据，输出转换结果以预测用户眼睛的注视距离，使用转换结果以改变向用户显示的视觉内容的聚焦提示，并且存储转换结果以更新机器学习模型。附加地或替代地，本文所记载的各模块中的一个或多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其它方式与计算设备交互来将处理器、易失性存储器、非易失性存储器、和/或物理计算设备的任何其它部分从一种形式转换为另一种形式。

在一些实施例中，术语“计算机可读介质”概括地指能够存储或携载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于，传输型介质和非暂态型介质，该传输型介质例如为载波，所述非暂态型介质例如为磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(Compact Disk，CD)、数字视频盘(Digital Video Disk，DVD)和蓝光光盘)、电子存储介质(例如，固态驱动器和闪存介质)、以及其它分发系统。

本文所描述和/或所示出的过程参数和步骤顺序仅作为示例给出，并且可以根据需要进行改变。例如，尽管本文所示出和/或所描述的各步骤可能是以特定顺序显示或论述的，但这些步骤不一定需要按照所示出或所论述的顺序来执行。本文所描述和/或所示出的各种示例性方法还可以省略本文所描述或所示出的各步骤中的一个或多个步骤，或者可以包括除了所公开的那些步骤之外的附加步骤。

已经提供了上述描述，以使本领域的其他技术人员能够最佳地利用本文所公开的示例性实施例的各个方面。该示例性描述并不旨在是穷举的或限于所公开的任何精确形式。在不脱离本公开的范围的情况下，许多修改和变型是可能的。本文所公开的实施例在所有方面都应被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附的任何权利要求及其等同物。

除非另有说明，否则如本说明书和/或权利要求书中所使用的术语“连接到”和“耦接到”(以及它们的派生词)将被解释为允许直接连接和间接连接(即，经由其它元件或部件)两者。此外，如说明书和权利要求书中使用的术语“一”或“一个”应当被解释为表示“至少一个”。最后，为了便于使用，在说明书和权利要求书中使用的术语“包括”和“具有”(及其派生词)可以与词语“包含”互换并且具有相同的含义。

Claims (15)

1.一种头戴式光学系统，包括：

眼动追踪子系统，所述眼动追踪子系统被配置为至少确定用户的双眼的注视方向和所述用户的双眼的眼动速度；以及

注视距离预测子系统，所述注视距离预测子系统被配置为基于所述用户的双眼的所述眼动速度和所述注视方向，在所述用户的双眼达到注视状态之前预测所述用户的双眼将变成注视的注视距离，所述注视状态与所预测的所述注视距离相关联。

2.根据权利要求1所述的头戴式光学系统，还包括：变焦光学元件，所述变焦光学元件在所述头戴式光学系统被所述用户佩戴时、固定在所述用户的双眼前方的位置，所述变焦光学元件被配置为基于来自所述眼动追踪子系统和所述注视距离预测子系统的信息来改变至少一个光学特性，所述至少一个光学特性包括焦距。

3.根据权利要求2所述的头戴式光学系统，其中，所述变焦光学元件包括：

基本透明的支承元件；

基本透明的可变形元件，所述可变形元件至少沿着所述可变形元件的边缘耦接到所述支承元件；以及

基本透明的可变形介质，所述可变形介质设置在所述支承元件与所述可变形元件之间。

4.根据权利要求3所述的头戴式光学系统，其中，所述变焦光学元件还包括变焦致动器，所述变焦致动器被配置为在被致动时改变所述变焦光学元件的所述至少一个光学特性；和/或优选地，其中，所述变焦致动器包括至少一个基本透明的电极，所述至少一个基本透明的电极耦接到所述可变形元件。

5.根据权利要求2所述的头戴式光学系统，其中，所述变焦光学元件包括液晶元件，所述液晶元件被配置为在被激活时改变所述变焦光学元件的所述至少一个光学特性。

6.根据前述权利要求中任一项所述的头戴式光学系统，还包括近眼显示器，所述近眼显示器被配置为向所述用户显示视觉内容；和/或优选地，其中，所述近眼显示器被操作以仅对所述视觉内容的处于所述用户的双眼注视的感知深度处的多个部分进行完全渲染。

7.根据前述权利要求中任一项所述的头戴式光学系统，其中，所述注视距离预测子系统被配置为在所述用户的双眼达到与所预测的所述注视距离相关联的所述注视状态之前的600ms内，预测所述用户的双眼将变成注视的所述注视距离。

8.一种操作头戴式光学设备的计算机实现的方法，所述方法包括：

使用眼动追踪元件来测量用户的双眼的注视方向和移动速度；以及

使用至少一个处理器并基于所测量的所述用户的双眼的所述注视方向和所述移动速度，在所述用户的双眼达到注视状态之前预测所述用户的双眼的注视距离，所述注视状态与所预测的所述注视距离相关联。

9.根据权利要求8所述的方法，还包括：

基于所预测的所述用户的双眼的所述注视距离，使用变焦光学元件至少改变所述变焦光学元件的焦距。

10.根据权利要求8或9所述的方法，还包括：

使用近眼显示器向所述用户的双眼呈现视觉内容；以及

仅对所述视觉内容的处于所预测的所述用户的双眼的所述注视距离处的多个部分进行完全渲染；和/或优选地，其中，仅对所述视觉内容的多个部分的完全渲染是在所述用户的双眼辐辏达到所述注视距离之前完成的。

11.根据权利要求8至10中任一项所述的方法，其中：

测量所述用户的双眼的所述移动速度包括测量所述用户的双眼的最大速度；并且

预测所述注视距离是至少部分基于所述用户的双眼的所述最大速度的；和/或优选地，其中，对所述用户的双眼将变成注视的所述注视距离的预测是在所述用户的双眼达到与所预测的所述注视距离相关联的所述注视状态之前的600ms内完成的。

12.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括一个或多个计算机可执行指令，所述一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得所述计算设备：

使用眼动追踪元件测量用户的双眼的注视方向和移动速度；以及

基于所测量的所述用户的双眼的所述注视方向和所述移动速度，在所述用户的双眼达到注视状态之前预测所述用户的双眼的注视距离，所述注视状态与所预测的所述注视距离相关联。

13.根据权利要求12所述的非暂态计算机可读介质，其中，所述一个或多个计算机可执行指令还使得所述计算设备：基于所预测的所述用户的双眼的所述注视距离，使用变焦光学元件至少改变所述变焦光学元件的焦距。

14.根据权利要求12或13所述的非暂态计算机可读介质，其中，所述一个或多个计算机可执行指令还使得所述计算设备：

使用近眼显示器向所述用户的双眼呈现视觉内容；以及

仅对所述视觉内容的处于所预测的所述用户的双眼的所述注视距离处的多个部分进行完全渲染；和/或优选地，其中，所述一个或多个计算机可执行指令进一步使得所述计算设备：在所述用户的双眼辐辏达到所述注视距离之前，完成仅对所述内容的多个部分的完全渲染。

15.根据权利要求12至14中任一项所述的非暂态计算机可读介质，其中，所述一个或多个计算机可执行指令进一步使得所述计算设备：在所述用户的双眼达到与所预测的所述注视距离相关联的所述注视状态之前的600ms内，完成对所述用户的双眼将变成注视的所述注视距离的预测。