CN120569697A - 用于增强式屏幕体验的作为iot设备的ar眼镜 - Google Patents

Abstract

诸如智能眼镜的支持AR可穿戴电子设备适于用作(物联网)IoT设备，其中用户可以通过查看项目并使用姿势进行选择来选择项目以控制指针并相对于电视屏幕、计算机屏幕或其他支持IoT设备呈现增强现实内容。内置的六自由度(6DoF)跟踪功能用于跟踪电视显示屏，以便于光标导航和AR内容的显示。跟踪信息用于响应于姿势根据需要触发AR效果以相对于物理电视显示屏(例如，在电视显示屏上或周围的环境中)显示增强现实内容。这些技术对于提供增强AR内容的智能显示器特别有用，这些内容可以在支持AR可穿戴电子设备的显示器上查看。

Description

用于增强式屏幕体验的作为IOT设备的AR眼镜

相关申请的交叉引用

本申请要求于2023年1月17日提交的美国申请序列号18/097,911的优先权，其内容通过引用完全并入本文。

技术领域

本公开涉及用于增强支持物联网(Internet of Thing，IoT)设备的屏幕体验的设备。更具体地，但不是通过限制的方式，本公开描述了使用支持增强现实(AR)可穿戴电子设备(诸如智能眼镜)来扩展具有增强现实内容的支持IoT电视屏幕。

背景技术

“物联网”或“IoT”是物理对象的网络，该物理对象被嵌入有用于经由互联网能够与其他设备连接和交换数据的传感器、软件和其他技术。例如，IoT设备用于家庭自动化，以控制照明、供暖和空调、媒体和安全系统、以及相机系统。已经提供了许多支持IoT设备，它们充当智能家居集线器(hub)以连接不同的智能家居产品。IoT设备也已被用于许多其他应用中。应用层协议和支持框架已被提供用于实施这样的IoT应用。人工智能还已与物联网基础设施相结合，以实现更高效的IoT操作，改善人机交互，并增强数据管理和分析。

“智能”电视已经包含了IoT功能(诸如互联网连接)以促进流媒体服务。然而，智能电视上的导航可能相当麻烦。通常，用户务必通过使用远程控制设备上的物理4向箭头键浏览菜单和屏幕。用户可以对所选项目执行的动作的数量受到为远程控制设备上按钮可用的物理空间的限制。对使用相对复杂的远程控制设备的要求已是客户日益沮丧的根源。

附图说明

根据以下详细描述，将容易理解所公开的各种实施方式的特征，其中参考了附图。在描述和整个附图的几个视图中，附图标记与每个元件一起使用。当存在多个相似元件时，可以为相似元件分配单个附图标记。

除非另有说明，否则图中所示的各种元件未按比例绘制。为了清楚起见，各种元件的尺寸可以被放大或缩小。几个附图描绘了一种或多种实施方式，并且仅以示例的方式呈现，并且不应被解释为限制。附图中包括以下附图：

图1A是包括具有图像显示器的光学组件的示例眼睛佩戴设备的侧视图；

图1B是图1A所示眼睛佩戴设备的一部分中的光学部件和电子器件的顶部横截面图；

图2A-2D是描绘图像显示器的示例眼睛佩戴设备的后视图；

图3是示出使用任一在前附图中所示的示例眼睛佩戴设备捕获可见光的示例的示意图；

图4是示例眼睛佩戴设备的系统框图；

图5A是其上显示有光标的智能电视显示器的示意图；

图5B是图5A的智能电视显示器的示意图，其中手部姿势已被提供以触发上下文信息工具提示(tooltip)，其显示了由光标指向的项目的IMDB评级和最近用户评级/评论；

图6是用于在示例配置中将用户的支持AR电子眼睛佩戴设备校准到智能电视显示器中使用的智能电视显示器上的示例校准屏幕的示意图；

图7是示出用于识别由用户的支持AR电子眼睛佩戴设备正在观看的屏幕上的位置以用于将光标放置在智能电视显示器上的射线投射的示意图；

图8是用于在示例配置中控制智能电视屏或计算机显示屏上的光标的方法的流程图；

图9A是包括预览屏幕的智能电视显示器的示意图，该预览屏幕自动(或响应于姿势)触发增强现实内容(例如，包括一个或多个2D或3D对象的滤镜，在这种情况下以摩天轮的形式)，以在支持AR可穿戴电子设备上在相对于电视显示屏的几个不同固定位置之一处显示；

图9B是智能电视显示器的支持AR可穿戴电子设备上的显示器的示意图，具有相对于电视显示屏的特定位置锚定的摩天轮形式的增强现实内容；以及

图10是用于在示例配置中相对于智能电视显示屏或计算机显示屏提供增强现实内容的方法的流程图。

具体实施方式

电视屏幕通常不支持三维(3D)体验。即使他们这样做，他们也无法提供延伸超出电视屏幕的边界的沉浸式体验。本文描述的技术提供了一种相对于电视屏幕显示增强现实内容的方法，无缝地集成到现实世界环境中。增强现实(ugmented reality，AR)眼镜的六自由度(Six degrees of freedom，6DoF)跟踪能力(例如，与相机帧结合的惯性测量单元(inertial measurement unit，IMU))允许AR眼镜的用户使用电视屏幕上的指针轻松导航。手部和头部姿势检测可用于通过不同的姿势执行各种动作。用于在电视屏幕上呈现光标的跟踪信息和姿势检测还可用于根据需要触发AR效果，以相对于物理电视显示屏(例如，在电视显示屏周围的环境上或其中)显示增强现实内容。

诸如智能眼镜的支持AR可穿戴电子设备适用于控制(物联网)IoT设备。支持AR设备可以用作远程控制，其中用户可以控制电视屏幕、计算机屏幕或其他支持IoT设备上的指针，以通过查看项目并使用姿势进行选择来选择项目。在示例配置中，支持AR可穿戴电子设备(诸如可从加州圣莫尼卡的Snap公司获得的SPECTACLES^TM)用作IoT远程控制设备，以控制诸如智能电视的网络连接设备。内置的六自由度(6DoF)跟踪(例如，与相机帧结合的惯性测量单元(IMU))功能被用于在屏幕上移动指针以便于导航。为了定位光标，显示屏在现实世界坐标中被跟踪以使用射线投射技术确定用户视图与屏幕的交点。手部和头部姿势检测用于允许用户通过执行不同的姿势来执行各种控制动作。用于将光标呈现到电视屏幕的跟踪信息和姿势检测还用于触发增强现实内容的显示的AR效果，以增强支持AR设备的用户界面，从而扩展电视显示屏，来显示相对于电视显示屏的坐标而定位的混合现实内容。所描述的技术对于提供增强AR内容的智能显示器特别有用，这些内容可在支持AR可穿戴电子设备的显示器上观看。

在示例配置中，支持AR眼睛佩戴设备适于相对于具有IoT显示器的支持物联网(IoT)设备(例如智能电视)呈现增强现实内容。支持AR眼睛佩戴设备可以包括相机、显示器、存储指令的存储器以及耦合到相机、显示器和存储器的处理器。处理器执行指令以配置眼睛佩戴设备来实施一种方法，该方法包括将支持AR眼睛佩戴设备与支持IoT设备配对以通过其之间的通信接口进行通信，将支持AR眼睛佩戴设备校准到IoT显示器的现实世界坐标位置，选择增强现实内容以相对于IoT显示器的现实世界坐标位置在支持AR眼睛佩戴设备的显示器上显示，并在相对于IoT显示器的现实世界坐标位置的位置处将所选择的增强现实内容渲染到支持AR眼睛佩戴设备的显示器。

在示例配置中，支持AR眼睛佩戴设备被配置为将从支持IoT设备接收的增强现实内容(例如，可从加州圣莫尼卡的Snap公司获得的滤镜)渲染到支持AR眼睛佩戴设备的显示器，触发动画，隐藏特定对象，显示特定对象，检测手部姿势或头部姿势中的至少一个，通过通信接口向支持IoT设备发送姿势事件等。例如，用户可以导航到电视上的某个屏幕，或者按下电视侧上的按钮来触发增强现实事件以在支持AR眼睛佩戴设备上显示。电视可以使用由支持AR眼睛佩戴设备提供的应用编程接口来随时发送和请求AR内容的渲染。姿势事件可以包括检测到的至少一个手部姿势或头部姿势的姿势标识(ID)，其由支持IoT设备使用以执行与姿势ID对应的动作。支持AR眼睛佩戴设备还可以被配置为接收增强数据，其包括与姿势ID对应的所选择的增强现实内容，以渲染到显示器。

在示例配置中，增强现实内容可以包括至少一个可动画化的二维或三维对象，该对象被发送到设备显示器以在相对于笛卡尔坐标系中标识的IoT显示器的预先指定锚位置的位置处进行显示。可以识别发起至少一个可动画化的二维或三维对象的运动的姿势事件。所渲染的增强现实内容可以在相对于预先指定锚位置的位置处被显示在支持AR眼睛佩戴设备的显示器上，该位置位于IoT显示器在世界坐标系中的尺寸外部。

支持AR眼睛佩戴设备可以进一步处理来自支持IoT设备的指令，以将增强现实内容(例如，来自加州圣莫尼卡的Snap公司的滤镜)渲染到设备显示器，触发动画，用新数据更新增强现实内容，隐藏增强现实内容或增强现实内容中的特定元素，显示特定对象，或向支持AR眼睛佩戴设备发送任何有效载荷，这些有效载荷可以被接收和被解释以动态地确定要在支持AR眼睛佩戴设备的显示器上显示什么。支持AR眼睛佩戴设备还可以通过从IoT显示器中选择流媒体应用来选择增强现实内容以相对于IoT显示器进行显示，其中流媒体应用包括在支持AR眼睛佩戴设备的显示器上被直接导航的增强数据。

在示例配置中，增强现实内容相对于IoT显示器的高度和宽度尺寸被缩放，从而增强现实内容在IoT显示器上按比例显示。例如，可以通过沿IoT显示器的(x，y)轴适配增强现实内容、将增强现实内容适配在x轴或y轴上而同时另一个轴被按比例扭曲或缩放、或者将增强现实内容适配到IoT显示器的屏幕平面尺寸的特定百分比，来缩放增强现实内容以适配IoT显示器。

以下详细描述包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机程序产品。为了提供对所公开主题及其相关教导的透彻理解，包括了许多细节和示例。然而，相关领域的技术人员可以理解如何在没有这些细节的情况下应用相关教导。所公开主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导可以以各种方式应用或实践。本文使用的术语和命名法仅用于描述特定方面的目的，并不旨在进行限制。一般来说，众所周知的指令实例、协议、结构和技术不一定详细示出。

如本文使用的术语“连接”、“经连接”、“耦合”和“经耦合”是指任何逻辑、光学、物理或电气连接，包括将由一个系统元件产生或供应的电信号或磁信号传递给另一个耦合或连接的系统元件的链路等。除非另有描述，否则耦合或连接的元件或设备不一定彼此直接连接，并且可能由中间部件、元件或通信介质隔开，其中的一个或多个可以修改、操纵或携带电信号。术语“在…上”是指由元件直接支撑，或者通过集成到该元件中或由该元件支撑的另一个元件由该元件间接支撑。

示例的附加目的、优点和新颖特征将在以下描述中部分阐述，并且对于本领域技术人员来说在检查以下内容和附图后将部分地变得显而易见，或者可以通过示例的生产或操作来学习。本主题的目的和优点可以借助于所附权利要求中特别指出的方法、工具和组合来实现和获得。

诸如任何附图中所示的眼睛佩戴设备、相关部件和包含眼睛扫描仪和相机的任何完整设备的取向仅作为示例给出，用于说明和讨论目的。在特定可变光学处理应用的操作中，眼睛佩戴设备可以被取向为适合眼睛佩戴设备的特定应用的任何其他方向，例如向上、向下、侧向或任何其他取向。此外，在本文使用的范围内，任何方向性术语，诸如前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧面，仅作为示例使用，并不限制如本文另外所述构造的任何光学器件或光学器件部件的方向或取向。

现在详细参考附图中所示的示例，并在下面进行讨论。将参照图1-8描述用于控制智能电视或计算机显示设备的显示器上的指针的示例眼睛佩戴设备和相关联的系统和方法。

本文描述的系统包括两种类型的硬件部件：支持AR眼睛佩戴设备和支持IoT显示设备，诸如智能电视或计算机显示器。然而，应当理解，可以使用本文描述的技术远程控制其他支持IoT设备。将参照图1-4描述支持AR眼睛佩戴设备，并且将参照图5-8描述用于控制智能电视或计算机显示设备的显示器上的指针的系统。

在示例配置中，本文所述的系统中使用了具有增强现实(AR)功能的眼睛佩戴设备。期望在本文所述的系统中使用支持AR眼睛佩戴设备，因为这种设备是可扩展的、可定制的，以实现个性化体验，实现随时随地应用效果，并通过仅允许用户查看传输的信息来确保用户隐私。在示例配置中，可以在没有任何专用硬件的情况下使用支持AR眼睛佩戴设备，诸如可从加州圣莫尼卡的Snap公司获得的SPECTACLES^TM。

图1A是描绘支持AR眼睛佩戴设备100的示例硬件配置的侧视图的图示，该支持AR眼睛佩戴设备100包括具有图像显示器180C的光学组件180A(图2A)。支持AR眼睛佩戴设备100包括形成立体相机的多个可见光相机114A和114B(图3)，其中第一可见光相机114A位于右镜腿110A上，并且第二可见光相机114B位于左镜腿110B上(图2A)。在所示示例中，光学组件180A位于支持AR眼睛佩戴设备100的右侧。光学组件180A可以位于支持AR眼睛佩戴设备100的左侧或其他位置。

可见光相机114A和114B可以包括对可见光范围波长敏感的图像传感器。可见光相机114A和114B中的每一个都具有不同的面向前方的叠盖角，例如，可见光相机114A具有所描绘的视场(field of view，FOV)111A(图3)。叠盖角是可见光相机114A和114B的相应图像传感器检测入射光并生成图像数据的角度范围。这种可见光相机114A和114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)相机，诸如640p(例如，640x 480像素，总共0.3兆像素)、720p、1080p、4K或8K。来自可见光相机114A和114B的图像传感器数据可以与地理位置数据一起被捕获，由图像处理器数字化，并存储在存储器中。

为了提供立体视觉，可见光相机114A和114B可以被耦合到图像处理器(图4的元件412)进行数字处理，并添加与捕获图像的场景相对应的时间戳。图像处理器412可以包括电路系统，用于接收来自可见光相机114A和114B的信号，并将来自可见光相机114A和114B的那些信号处理成适合于存储在存储器(图4的元件434)中的格式。时间戳可以由图像处理器412或控制可见光相机114A和114B的操作的其他处理器来添加。可见光相机114A和114B允许立体相机模拟人类的双眼视觉。立体相机还提供基于分别来自可见光相机114A和114B的具有相同时间戳的两个捕获图像(图3的图像对302A和302B)来再现三维场景(图3中的场景306)的三维图像的能力。这种三维图像允许感觉逼真的沉浸式虚拟体验，例如用于虚拟现实或视频游戏。对于立体视觉，可以在给定时刻生成一对图像302A和302B——可见光相机114A和114B中的每一个都有一个图像。当来自可见光相机114A和114B的面向前方的视场111A和111B的一对生成的图像302A和302B被拼接在一起时(例如，通过图像处理器412)，深度感知由光学组件180A和180B提供。

在一个示例中，支持AR眼睛佩戴设备100包括镜框105、右镜缘107A、从镜框105的右横向侧170A延伸的右镜腿110A，以及包括光学组件180A的透视图像显示器180C(图2A-B)，以向用户呈现图形用户界面(graphical user interface，GUI)或其他图像。支持AR眼睛佩戴设备100包括连接到镜框105或右镜腿110A的第一可见光相机114A，以捕获场景的第一图像。支持AR眼睛佩戴设备100还包括连接到镜框105或左镜腿110B的第二可见光相机114B，以捕获(例如，与第一可见光相机114A同时)场景的第二图像，该图像至少部分地与第一图像重叠。尽管图1A和图1B中未示出，但处理器432(图4)被耦合到支持AR眼睛佩戴设备100，并被连接到可见光相机114A和114B以及处理器432可访问的存储器432(图4)，并且存储器434中的编程可以设置在支持AR眼睛佩戴设备100本身中。

虽然图1A中未示出，但支持AR眼睛佩戴设备100还可以包括头部运动跟踪器(例如，图1B的惯性测量单元(Inertial Measurement Unit，IMU)109)或眼睛运动跟踪器(图2A的元件113或图2B和图2C的元件213)。支持AR眼睛佩戴设备100还可以分别包括光学组件180A和180B的透视图像显示器180C和180D，用于呈现显示图像序列。支持AR眼睛佩戴设备100还可以包括图像显示驱动器(图4的元件442)，其耦合到透视图像显示器180C和180D以驱动图像显示器180C和180D。下面进一步详细地描述透视图像显示器180C和180D以及图像显示驱动器。支持AR眼睛佩戴设备100还可以包括存储器434和处理器432(图4)，处理器432可以访问图像显示驱动器442和存储器434，以及在存储器434中进行编程。由处理器432对编程的执行配置支持AR眼睛佩戴设备100以执行功能，包括经由透视图像显示器180C和180D呈现显示图像序列的初始显示图像的功能，其中初始显示图像具有与如由眼睛运动跟踪器113或213确定的初始头部方向或初始眼睛注视方向相对应的初始视场。

由处理器432对编程的执行可以进一步配置支持AR眼睛佩戴设备100以通过以下方式检测支持AR眼睛佩戴设备100的用户的运动：(i)经由头部运动跟踪器(例如，图1B的IMU 109)跟踪用户头部的头部运动，或者(ii)经由眼睛运动跟踪器(图2A的元件113或图2B和2C的元件213)跟踪支持AR眼睛佩戴设备100的用户眼睛的眼睛运动。由处理器432对编程的执行可以进一步配置支持AR眼睛佩戴设备100以基于检测到的用户运动来确定对初始显示图像的初始视场的视场调整。视场调整可以包括与连续头部方向或连续眼睛方向相对应的连续视场。由处理器432对编程的执行可以进一步配置支持AR眼睛佩戴设备100以基于视场调整来生成显示图像序列的连续显示图像。由处理器432对编程的执行还可以配置支持AR眼睛佩戴设备100以经由光学组件180A和180B的透视图像显示器180C和180D呈现连续显示的图像。

图1B是描绘图1A所示的支持AR眼睛佩戴设备100的一部分中的光学部件和电子器件的顶部横截面图的图示，其描绘了第一可见光相机114A、头部运动跟踪器(IMU)109和电路板140A。第二可见光相机114B的构造和放置基本上类似于第一可见光相机114A，除了连接和耦合在另一横向侧170B上以外(图2A)。如图所示，支持AR眼睛佩戴设备100包括第一可见光相机114A和电路板，该电路板可以是柔性印刷电路板(PCB)140A。第一铰链126A将右镜腿110A连接到支持AR眼睛佩戴设备100的铰接臂125A。在一些示例中，第一可见光相机114A、柔性PCB 140或其他电连接器或触点的部件可以位于右镜腿110A或第一铰链126A上。

如图所示，支持AR眼睛佩戴设备100可以包括头部运动跟踪器109，其包括例如惯性测量单元(IMU)。IMU是一种电子设备，它使用加速度计和陀螺仪的组合，有时也使用磁力计，来测量和报告身体的比力、角速度，并且有时还测量和报告身体周围的磁场。IMU通过使用一个或多个加速度计检测线性加速度和使用一个或多个陀螺仪检测旋转速率来工作。IMU的典型配置针对三个轴中的每一个轴包含一个加速度计、陀螺仪和磁力计：用于左右运动的水平轴(X)，用于顶底运动的竖直轴(Y)，以及用于上下运动的深度或距离轴(Z)。加速度计检测重力矢量。磁力计定义磁场中的旋转(例如，面向南、面向北等)，就像生成航向参考的罗盘。三个加速度计检测沿上面定义的水平、竖直和深度轴的加速度，这些轴可以相对于地面、支持AR眼睛佩戴设备100或佩戴支持AR眼睛佩戴设备100的用户来定义。

支持AR眼睛佩戴设备100可以通过经由头部运动跟踪器109跟踪用户头部的头部运动来检测支持AR眼睛佩戴设备100的用户的运动。头部运动包括在图像显示器上呈现初始显示图像期间在水平轴、竖直轴或其组合上头部方向从初始头部方向的变化。在一个示例中，经由头部运动跟踪器109跟踪用户头部的头部运动包括经由头部运动跟踪器109的IMU测量水平轴(例如，X轴)、竖直轴(例如，Y轴)或其组合(例如，横向或对角运动)上的初始头部方向。经由头部运动跟踪器109跟踪用户头部的头部运动还包括：在呈现初始显示图像期间经由IMU测量水平轴、竖直轴或其组合上的连续头部方向。

经由头部运动跟踪器109跟踪用户头部的头部运动可以包括：基于初始头部方向和连续头部方向两者来确定头部方向的变化。检测支持AR眼睛佩戴设备100的用户的运动还可以包括：响应于经由头部运动跟踪器109跟踪用户头部的头部运动，确定头部方向的变化超过水平轴、竖直轴或其组合上的偏差角阈值。在示例配置中，偏差角阈值在大约3°至10°之间。如本文所使用的，术语“大约”在指角度时表示距所述量±10％。

沿水平轴的变化通过例如隐藏、取消隐藏或以其他方式调整三维对象的可见性，将三维对象(诸如字符、Bitmojis、应用图标等)滑入和滑出视场。沿竖直轴的变化，例如，当用户向上看时，在一个示例中，显示天气信息、一天中的时间、日期、日历约会等。在另一个示例中，当用户在竖直轴上向下看时，支持AR眼睛佩戴设备100可以断电。

如图1B所示，右镜腿110A包括被配置为容纳镜腿帽的镜腿主体211，在图1B的横截面中省略了镜腿帽。设置在右镜腿110A内部的是各种互连的电路板，诸如PCB或柔性PCB140A，其包括用于第一可见光相机114A、麦克风130、扬声器132、低功率无线电路系统(例如，用于经由的无线短程网络通信)和高速无线电路系统(例如，用于经由的无线局域网通信)的控制器电路。

第一可见光相机114A被耦合到或设置在柔性PCB 140A上，并由可见光相机盖透镜叠盖，其通过形成在右镜腿110A中的开口瞄准。在一些示例中，连接到右镜腿110A的镜框105包括用于可见光相机盖透镜的开口。镜框105可以包括面向前的侧面，其被配置为面向外远离用户的眼睛。用于可见光相机盖透镜的开口可以被形成在面向前的侧面并穿过该面向前的侧面。在该示例中，第一可见光相机114A在支持AR眼睛佩戴设备100的用户右眼的视线或视角下具有面向外的视场111A。可见光相机盖透镜也可以被粘附到右镜腿110A的面向外的表面，其中开口被形成有面向外的叠盖角，但在不同的向外方向上。耦合也可以经由中间部件是间接的。

第一可见光相机114A可以被连接到第一光学组件180A的第一透视图像显示器180C，以生成第一连续显示图像的第一背景场景。第二可见光相机114B可以被连接到第二光学组件180B的第二透视图像显示器180D，以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景可以部分重叠，以呈现连续显示图像的三维可观察区域。

柔性PCB 140A可以被设置在右镜腿110A内，并耦合到容纳在右镜腿110A中的一个或多个其他部件。虽然示出为形成在右镜腿110A的电路板140A上，但第一可见光相机114A可以形成在左镜腿110B、铰接臂125A、铰接臂125B或镜框105之一中的另一个电路板(未示出)上。

图2A是描绘支持AR眼睛佩戴设备100的示例硬件配置的后视图的图示。如图2A所示，支持AR眼睛佩戴设备100处于配置为供用户佩戴的形式，在图2A的示例中是眼镜。支持AR眼睛佩戴设备100可以采取其他形式，并且可以结合其他类型的框架，例如头套、头戴式耳机或头盔。

在眼镜示例中，支持AR眼睛佩戴设备100包括镜框105，该镜框105包括经由鼻梁架106连接到左镜缘107B的右镜缘107A，鼻梁架106被配置为容纳用户的鼻子。右镜缘和左镜缘107A和107B包括相应的镜圈175A和175B，其保持相应的光学元件180A和180B，诸如透镜和透视显示器180C和180D。如本文所使用的，术语透镜是指涵盖透明或半透明的玻璃或塑料片，其具有导致光会聚/发散或导致很少或没有会聚/发散的弯曲和平坦的表面。

虽然示出为具有两个光学元件180A和180B，但取决于支持AR眼睛佩戴设备100的应用或预期用户，支持AR眼睛佩戴设备100可以包括其他布置，诸如单个光学元件。如进一步所示，支持AR眼睛佩戴设备100包括邻近镜框105的右横向侧170A的右镜腿110A和邻近镜框105的左横向侧170B的左镜腿110B。镜腿110A和110B可以在相应的横向侧170A和170B上集成到镜框105中(如图所示)，或者实施为在相应的横向侧170A和170B上附接到镜框105的单独部件。可替选地，镜腿110A和110B可以被集成到附接到镜框105的铰接臂125A和125B中。

在图2A的示例中，提供了一种眼睛扫描仪113，其包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤光器以阻挡红外光检测。在一个示例中，红外相机120是可见光相机，诸如低分辨率视频图形阵列(VGA)相机(例如，640x 480像素，总共0.3兆像素)，其中去除了蓝色滤光器。红外发射器115和红外相机120可以共同位于镜框105上。例如，两者都被示出为连接到左镜缘107B的上部。镜框105或者镜腿110A和110B中的一个或多个可以包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。例如，红外发射器115和红外相机120可以通过焊接连接到电路板。

可以实施红外发射器115和红外相机120的其他布置，包括红外发射器115与红外相机120都在右镜缘107A上或在镜框105上的不同位置的布置。例如，红外发射器115可以在左镜缘107B上，并且红外相机120可以在右镜缘107A上。在另一个示例中，红外发射器115可以在镜框105上，并且红外相机120可以在镜腿110A或110B之一上，或者反之亦然。红外发射器115可以基本上被连接到镜框105、右镜腿110A或左镜腿110B上的任何位置，以发射红外光图案。类似地，红外相机120可以基本上被连接到镜框105、右镜腿110A或左镜腿110B上的任何位置，以捕获红外光发射图案中的至少一个反射变化。

红外发射器115和红外相机120可以被布置为向内面向用户的眼睛，具有眼睛的部分或全部视场，以识别相应的眼睛位置和注视方向。例如，红外发射器115和红外相机120可以被直接定位在眼睛前方、镜框105的上部或镜框105两端的镜腿110A或110B中。

图2B是描绘另一支持AR眼睛佩戴设备200的示例硬件配置的后视图的图示。在该示例配置中，支持AR眼睛佩戴设备200被描绘为包括右镜腿210A上的眼睛扫描仪213。如图所示，红外发射器215和红外相机220共同位于右镜腿210A上。眼睛扫描仪213或者眼睛扫描仪213的一个或多个部件可以位于左镜腿210B和支持AR眼睛佩戴设备200的其他位置，例如镜框105。红外发射器215和红外相机220类似于图2A中的红外发射器和红外相机，但眼睛扫描仪213可以变化以对不同的光波长敏感，如之前在图2A中所述。类似于图2A，图2B的支持AR眼睛佩戴设备200包括镜框105，镜框105包括右镜缘107A，该右镜缘107A经由鼻梁架106连接到左镜缘107B。镜缘107A-B可以包括相应的镜圈，其保持包括透视显示器180C和180D的相应光学元件180A和180B。

图2C和图2D是描绘包括两种不同类型的透视图像显示器180C和180D的支持AR眼睛佩戴设备100的示例硬件配置的后视图的图示。在一个示例中，光学组件180A和180B的这些透视图像显示器180C和180D包括集成图像显示器。如图2C所示，光学组件180A和180B包括任何合适类型的显示矩阵180C和180D，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器或任何其他此类显示器。

光学组件180A和180B还包括一个或多个光学层176A-N，其可以包括任何组合下的透镜、光学涂层、棱镜、反射镜、波导、光带和其他光学部件。光学层176可以包括具有合适尺寸和构造的棱镜，并且包括用于接收来自显示矩阵的光的第一表面和用于向用户眼睛发射光的第二表面。光学层176的棱镜可以在形成在镜缘107A和107B中的相应镜圈175A和175B的全部或至少一部分上延伸，以允许用户在用户的眼睛通过对应的镜缘107A和107B观看时看到棱镜的第二表面。光学层176的棱镜的第一表面从镜框105面向上，并且显示矩阵叠盖棱镜，使得由显示矩阵发射的光子和光撞击第一表面。棱镜被确定尺寸和成形为使得光在棱镜内被折射，并通过光学层176的棱镜的第二表面被导向用户的眼睛。在这方面，光学层176的棱镜的第二表面可以是凸面的，以将光导向眼睛的中心。棱镜被确定尺寸和成形为放大由透视图像显示器180C和180D投影的图像，并且光行进穿过棱镜，使得从第二表面观看的图像在一个或多个维度上比从透视图像显示器180C和180D发射的图像更大。

在另一个示例中，光学组件180A和180B的透视图像显示器180C和180D可以包括如图2D所示的投影图像显示器。光学组件180A和180B包括投影仪150，投影仪150可以是使用扫描镜的三色投影仪、检流计、激光投影仪或其他类型的投影仪。在操作期间，诸如投影仪150的光源被设置在支持AR眼睛佩戴设备100的镜腿110A或110B之一中或其上。光学组件180A和180B可以包括一个或多个光带155A-N，其跨光学组件180A和180B的透镜的宽度或跨透镜的前表面和后表面之间的透镜的深度间隔开。

当由投影仪150投射的光子行进穿过光学组件180A和180B的透镜时，光子会遇到光带155。当特定光子遇到特定光带时，光子要么被重定向到用户的眼睛，要么被传递到下一个光带。投影仪150的调制和光带的调制的组合可以控制特定的光子或光束。在一个示例中，处理器通过发起机械、声学或电磁信号来控制光带155。虽然示出为具有两个光学组件180A和180B，但支持AR眼睛佩戴设备100可以包括其他布置，诸如单个或三个光学组件，或者取决于支持AR眼睛佩戴设备100的应用或预期用户，光学组件180A和180B可以具有不同的布置。

如图2C和图2D进一步所示，支持AR眼睛佩戴设备100包括邻近镜框105的右横向侧170A的右镜腿110A和邻近镜框105的左横向侧170B的左镜腿110B。镜腿110A和110B可以在相应的横向侧170A和170B上被集成到镜框105中(如图所示)，或者实施为在相应的横向侧170A和170B上附接到镜框105的单独部件。可替选地，镜腿110A和110B可以被集成到附接到镜框105的铰接臂125A和125B中。

在一个示例中，透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180D。支持AR眼睛佩戴设备100可以包括第一和第二镜圈175A和175B，其保持相应的第一和第二光学组件180A和180B。第一光学组件180A可以包括第一透视图像显示器180C(例如，显示矩阵或者右镜腿110A中的光带和投影仪)。第二光学组件180B可以包括第二透视图像显示器180D(例如，显示矩阵或者右镜腿110A中的光带和投影仪150)。连续显示图像的连续视场可以包括水平、竖直或对角地测量的约15°至30°之间的视角，并且更具体地为24°。具有连续视场的连续显示图像表示通过将第一和第二图像显示器上呈现的两个显示图像拼接在一起而可见的组合三维可观察区域。

如本文所使用的，“视角”描述了与光学组件180A和180B的图像显示器180C和180D中的每一个上呈现的显示图像相关联的视场(FOV)的角度范围。“叠盖角度”描述了可见光相机114A或114B或红外相机220的透镜可以成像的角度范围或FOV。通常，由透镜产生的图像圆足够大到完全覆盖胶片或传感器，可能包括一些渐晕(即，与图像中心相比，图像的亮度或饱和度向外围降低)。如果透镜的叠盖角度没有填满传感器，则图像圆将是可见的，通常具有朝向边缘的强烈的渐晕，并且有效视角将受限于叠盖角度。FOV旨在描述支持AR眼睛佩戴设备100的用户通过他或她的眼睛经由呈现在光学组件180A和180B的图像显示器180C和180D上的显示图像可以看到的可观察区域的视野。光学组件180A和180B的图像显示器180C可以具有叠盖角度在15°至30°之间(例如24°)的FOV，并且具有480x 480像素(或更大；例如，720p、1080p、4K或8K)的分辨率。

图3中的框图示出了用相机114A和114B捕获可见光的示例。可见光由具有圆形FOV111A的第一可见光相机114A捕获。所选矩形第一原始图像302A被用于由图像处理器412(图4)进行图像处理。可见光也由具有圆形FOV 111B的第二可见光相机114B捕获。由图像处理器412选择的矩形第二原始图像302B被用于由处理器412进行图像处理。原始图像302A和302B具有重叠的FOV 304。处理器412处理原始图像302A和302B，并生成三维图像306以供显示器180C和180D显示。三维图像306在下文中也被称为沉浸式图像。

图4中的系统框图示出了高级功能框图，其包括以示例配置设置在支持AR眼睛佩戴设备100或200中的示例电子部件。所示的电子部件包括处理器432、存储器434以及透视图像显示器180C和180D。

存储器434包括用于由处理器432执行以实施支持AR眼睛佩戴设备100和200的功能的指令，包括用于高速处理器432控制图像306的指令。这种功能可以通过处理存储在存储器434中并由高速处理器432执行的眼睛运动跟踪程序445、姿势检测/对象跟踪软件470的指令来实施。如下面参照图8所述，姿势检测/对象跟踪软件470可以包括深度确定软件472、对象跟踪软件474、对象检测软件476和手部/姿势检测软件478，以用于支持AR眼睛佩戴设备100的校准和交点确定，以及由支持AR眼睛佩戴设备100进行的头部跟踪和手部/姿势检测。

高速处理器432从电池450接收电力，并执行存储在存储器434中的指令。存储器434可以是单独的部件，或者存储器434可以与处理器432“片上”集成，以执行支持AR眼睛佩戴设备100和200的功能，并经由无线连接与外部设备通信。

支持AR眼睛佩戴设备100和200可以结合眼睛运动跟踪程序445(例如，使用图2B中的红外发射器215和红外相机220实施)，并且可以经由移动设备480和经由各种网络连接的服务器系统498提供用户界面调整。移动设备480可以是智能手机、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接425和高速无线连接437两者与支持AR眼睛佩戴设备100或200连接的任何其他此类设备。移动设备480还经由网络495被连接到服务器系统498。网络495可以包括有线连接和无线连接的任何组合。

支持AR眼睛佩戴设备100和200可以包括图像显示驱动器442、图像处理器412、低功率电路系统420和高速电路系统430。图4中所示的支持AR眼睛佩戴设备100和200的部件位于相应镜腿110A和110B中的一个或多个电路板上，例如PCB或柔性PCB 140A和140B。可替选地或附加地，所描绘的部件可以位于支持AR眼睛佩戴设备100和200的镜腿、镜框、铰链、铰接臂或鼻梁架中。可见光相机114A和114B可以包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、透镜或可用于捕获数据(包括具有未知对象的场景的图像)的任何其他相应的可见光或光捕获元件。

眼睛运动跟踪程序445实施用户界面FOV调整指令，包括使支持AR眼睛佩戴设备100或200经由眼睛运动跟踪器213跟踪支持AR眼睛佩戴设备100或200的用户眼睛的眼睛运动的指令。其他实施的指令(功能)使支持AR眼睛佩戴设备100和200基于与连续眼睛方向对应的检测到的用户眼睛运动来确定对初始FOV 111A-B的FOV调整。进一步实施的指令基于FOV调整来生成显示图像序列的连续显示图像。连续显示图像经由用户界面作为可见输出产生给用户。该可见输出出现在光学组件180A和180B的透视图像显示器180C和180D上，其由图像显示驱动器442驱动，以呈现显示图像序列，包括具有初始FOV的初始显示图像和具有连续FOV的连续显示图像。

例如，由姿势检测/对象跟踪软件470应用的对象跟踪模型可以检测用户的手部姿势以及环境中的对象，其将由与示例配置中的支持AR眼睛佩戴设备100或200相关联的基于设备或服务器的对象识别软件识别。

如图4所示，高速电路系统430包括高速处理器432、存储器434和高速无线电路系统436。在该示例中，图像显示驱动器442被耦合到高速电路系统430并由高速处理器432操作，以便驱动光学组件180A和180B的图像显示器180C和180D。高速处理器432可以是能够管理支持AR眼睛佩戴设备100或200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路系统436管理到无线局域网(WLAN)的高速无线连接437上的高速数据传输所需的处理资源。在某些示例中，高速处理器432执行诸如LINUX操作系统或支持AR眼睛佩戴设备100或200的其他此类操作系统的操作系统，并且该操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行支持AR眼睛佩戴设备100或200的软件架构的高速处理器432被用于管理与高速无线电路系统436的数据传输。在某些示例中，高速无线电路系统436被配置为实施无线通信协议，诸如电气和电子工程师协会(IEEE)802.11通信标准，本文中也称被为在其他示例中，其他高速通信标准可以由高速无线电路系统436实施。

支持AR眼睛佩戴设备100和200的低功率无线电路系统424和高速无线电路系统436可以包括短程收发器和无线广域网、局域网或广域网收发器(例如，蜂窝或)。移动设备480，包括经由低功率无线连接425和高速无线连接437通信的收发器，可以使用支持AR眼睛佩戴设备100和200的架构的细节来实施，网络495的其他元件也可以如此。

存储器434包括能够存储各种数据和应用的任何存储设备，除其他外，包括颜色图、由可见光相机114A-B和图像处理器412生成的相机数据，以及所生成以供图像显示驱动器442在光学组件180A和180B的透视图像显示器180C和180D上显示的图像。虽然存储器434被示出为与高速电路系统430集成，但在其他示例中，存储器434可以是支持AR眼睛佩戴设备100或200的单独的独立元件。在某些这样的示例中，电路由线路可以通过包括高速处理器432的片上系统提供从图像处理器412或低功率处理器422到存储器434的连接。在其他示例中，高速处理器432可以管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读取或写入操作的任何时候启动高速处理器432。

服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如，其包括处理器、存储器和网络通信接口，以通过网络495与移动设备480和支持AR眼睛佩戴设备100和200通信。支持AR眼睛佩戴设备100和200可以与主计算机连接。例如，支持AR眼睛佩戴设备100或200可以经由高速无线连接437与移动设备480配对，或者经由网络495连接到服务器系统498。此外，快照和AR对象的图库490可以由服务器系统498为每个用户维护，并通过提供到图库490中存储的快照和AR对象的链接的通信来调用。

支持AR眼睛佩戴设备100和200的输出部件包括视觉部件，诸如如图2C和图2D所述的光学组件180A和180B的图像显示器180C和180D(例如，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导的显示器)。光学组件180A和180B的图像显示器180C和180D由图像显示驱动器442驱动。支持AR眼睛佩戴设备100和200的输出部件还可以包括声学部件(例如扬声器)、触觉部件(例如振动电机)和其他信号发生器等。支持AR眼睛佩戴设备100和200、移动设备480和服务器系统498的输入部件可以包括字母数字输入部件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向工具)、触觉输入部件(例如，物理按钮、提供触摸或触摸手部姿势的位置和力的触摸屏或其他触觉输入部件)和音频输入部件(例如，麦克风)等。

支持AR眼睛佩戴设备100和200可以包括附加的外围设备元件，诸如环境光和光谱传感器、生物特征传感器、热传感器440或与支持AR眼睛佩戴设备100或200集成的其他显示元件。例如，外围设备元件可以包括任何I/O部件，包括输出部件、运动部件、位置部件或本文所述的任何其他此类元件。支持AR眼睛佩戴设备100和200可以采取其他形式，并且可以结合其他类型的框架，例如头套、头戴式耳机或头盔。

例如，支持AR眼睛佩戴设备100和200的生物特征部件可以包括用于检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、排汗或脑电波)和识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件包括加速度传感器部件(例如，加速度计)、重力传感器部件和旋转传感器部件(例如，陀螺仪)等。位置部件包括用于生成位置坐标的位置传感器部件(例如，全球定位系统(GPS)接收器部件)、用于生成定位系统坐标的或收发器、高度传感器部件(例如，检测可以从中导出高度的气压的高度计或气压计)和取向传感器部件(例如，磁力计)等。这种定位系统坐标还可以经由低功率无线电路系统424或高速无线电路系统436通过无线连接425和437从移动设备480接收。

本文所述的技术也可与本文所述计算机系统中的一个或多个，或与一个或多个其他系统一起使用。例如，本文所述的各种过程可以用硬件或软件或两者的组合来实施。例如，本文讨论的处理器、存储器、存储装置、输出设备、输入设备或通信连接中的至少一个可以各自是一个或多个硬件部件的至少一部分。可以构造专用硬件逻辑部件来实施本文所述的一种或多种技术的至少一部分。例如且不限于，这种硬件逻辑部件可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)等。可以包括各个方面的装置和系统的应用可以广泛地包括各种电子和计算机系统。技术可以使用两个或更多个特定的互连硬件模块或设备来实施，其中相关的控制和数据信号可以在模块之间和通过模块进行通信，或者作为ASIC的一部分。此外，本文所述的技术可以通过计算机系统可执行的软件程序来实施。例如，实施方式可以包括分布式处理、部件/对象分布式处理和并行处理。此外，虚拟计算机系统处理可以被构造为实施如本文所述的技术或功能中的一个或多个。

如本文所述，示例可以包括处理器、逻辑或多个部件、模块或机制(本文称为“模块”)，或者可以在其上运行。模块是能够执行指定操作的有形实体(例如，硬件)，并且可以以某种方式配置或布置。在一个示例中，电路可以以指定的方式被布置为模块(例如，在内部或相对于外部实体，诸如其他电路)。在一个示例中，一个或多个计算机系统(例如，独立的、客户端或服务器计算机系统)或者一个或多个硬件处理器的全部或部分可以通过固件或软件(例如，指令、应用部分或应用)配置为模块，该模块操作以执行指定的操作。在一个示例中，软件可以驻留在机器可读介质上。当由模块的底层硬件执行时，软件会使硬件执行指定的操作。

因此，术语“模块”被理解为包含有形硬件或软件实体中的至少一个，是物理构造、具体配置(例如，硬连线)或临时(例如，暂时)配置(例如，编程)以特定方式操作或执行本文所述任何操作的部分或全部的实体。考虑到模块被临时配置的示例，模块中的每一个不需要在任何一个时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如，在一个时刻构成特定模块，并且在不同时刻构成不同模块。

在示例配置中，本文描述的过程可以由存储在支持AR眼睛佩戴设备100或200的存储器434中的指令来实施。存储器434可以包括机器可读介质，其上存储有体现或由本文描述的任何一种或多种技术或功能使用的一组或多组数据结构或指令(例如软件)。在由支持AR眼睛佩戴设备100执行指令期间，指令也可以完全或至少部分地驻留在高速处理器432或低功耗处理器422内。在示例中，硬件处理器432和422以及存储器434中的一个或任意组合构成机器可读介质。

如本文使用的术语“机器可读介质”可以包括被配置为存储用于实施本文描述的过程的指令的单个介质或多个介质(例如，集中式或分布式数据库或相关联的缓存和服务器中的至少一个)。术语“机器可读介质”可以包括能够存储、编码或携带由处理器432和422执行的指令并且使支持AR眼睛佩戴设备100或200执行本公开的任何一种或多种技术的任何介质，或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学介质和磁性介质。机器可读介质的具体示例可以包括非易失性存储器，诸如半导体存储设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；随机存取存储器(RAM)；固态硬盘(SSD)；以及CD-ROM和数字视频光盘(DVD)-ROM盘。在一些示例中，机器可读介质可以包括非暂时性机器可读介质。在一些示例中，机器可读介质可以包括不是暂时性传播信号的机器可读介质。

指令还可以通过无线连接425或437或直接经由互联网495被发送或接收。支持AR眼睛佩戴设备100和200可以利用多种传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种与一个或多个其他支持AR眼睛佩戴设备100或200或移动设备480通信。示例通信网络除其他外可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话服务(POTS)网络和无线数据网络(例如，被称为的电气和电子工程师协会(IEEE)802.11标准族)、IEEE 802.15.4标准族、长期演进(LTE)标准族、通用移动电信系统(UMTS)标准族、对等(P2P)网络。在一个示例中，高速无线电路系统436和/或低功耗无线电路系统424可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种进行无线通信。在一些示例中，无线电路系统424和436可以使用多用户MIMO技术进行无线通信。

本文所述的特征和流程图可以作为方法步骤体现在一种或多种方法中，或者体现在如前所述的一个或多个应用中。根据一些配置，一个或多个“应用”是执行程序中定义的功能的程序。可以采用各种编程语言来生成以各种方式结构化的应用中的一个或多个，诸如面向对象的编程语言(例如Objective-C、Java或C++)或过程式编程语言(例如C或汇编语言)。在一个特定示例中，第三方应用(例如，由特定平台供应商以外的实体使用ANDROID^TM或IOS^TM软件开发工具包(SDK)开发的应用)可以是在诸如IOS^TM、ANDROID^TM、Phone或其他移动操作系统的移动操作系统上运行的移动软件。在该示例中，第三方应用可以调用由操作系统提供的API(应用编程接口)调用，以促进本文描述的功能。应用可以被存储在任何类型的计算机可读介质或计算机存储设备中，并由一个或多个通用计算机执行。此外，本文公开的方法和过程可以可替选地被体现在专用计算机硬件或专用集成电路(ASIC)、现场可编程门阵列(FPGA)或复杂可编程逻辑器件(CPLD)中。

该技术的程序方面可被视为“产品”或“制造品”，通常为可执行代码或相关数据中的至少一种形式，该可执行代码或相关数据被承载或体现在一种机器可读介质中。例如，编程代码可以包括用于触摸传感器或本文所述的其他功能的代码。“存储”型介质包括计算机、处理器等的任何或所有有形存储器，或其相关模块，诸如各种半导体存储器、磁带驱动器和磁盘驱动器等，它们可以在任何时候为软件编程提供非暂时性存储。软件的全部或部分有时可以通过互联网或各种其他电信网络进行通信。例如，这种通信可以使软件从一个计算机或处理器加载到另一个计算机或处理器中。因此，可以承载编程、介质内容或元数据文件的另一种类型的介质包括光、电和电磁波，诸如通过有线和光纤陆线网络以及通过各种空中链路在本地设备之间的物理接口上使用的。携带这种波的物理元件，诸如有线链路或无线链路、或者光链路等，也可以被认为是承载软件的介质。如本文所使用的，除非限于“非暂时性”、“有形”或“存储”介质，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令或数据以供执行的任何介质。

因此，机器可读介质可以采用多种形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机或类似物中的任何存储设备，诸如可被用于实施附图所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内总线的电线。载波传输介质可以采取电信号或电磁信号的形式，或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡纸带、具有孔图案的任何其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒、传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码或数据中的至少一个的任何其他介质。这些形式的计算机可读介质中的许多可能涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。

将参考图5-8描述用于使用支持AR可穿戴电子设备(诸如智能眼镜)作为IoT远程控制的软件应用，其中用户可以控制支持IoT设备的显示屏上的指针，以通过查看项目并使用姿势进行选择来选择项目。

本文中关于特定示例描述的技术使用了由与支持AR眼睛佩戴设备100的相机帧功能(诸如可从加州圣莫尼卡的Snap公司获得的SPECTACLES^TM)结合的IMU 109提供的内置六自由度(6DoF)跟踪，以通过执行头部移动或姿势来控制电视或计算机屏幕上的光标。支持AR眼睛佩戴设备100的用户可以看向她想要选择的项目，以将光标移动到其上。支持AR眼睛佩戴设备100的手部跟踪功能还使用户能够使用不同的手部姿势执行各种各样的动作。使用支持AR眼睛佩戴设备100的预先存在的姿势识别框架和ML模型将姿势转换为动作。IMU109还可用于收集头部运动数据，以检测某些头部姿势(诸如将头部侧向或左/右倾斜)以例如指示对切换频道或前往下一个/上一个视频的期望等。

手部/头部姿势可以被划分为两类：

1、用于诸如“转到主页”、“关闭电视”、“启动所选择的服务”、“前往下一个”、“前往上一个”等动作的全局姿势。

2、对选择的项目(诸如“预览”、“选择”、“显示评级”、“更多信息”等)进行动作的姿势。

因此本文描述的支持AR眼睛佩戴设备100可以提供独立于制造商的远程控制设备和应用编程接口(API)，其可以由电视制造商和第三方智能电视和计算机监视器应用开发者来适配。

图5A是示例配置中智能电视显示器500的示意图，该智能电视显示器500具有在其上显示的光标502以作为对齐的叠盖对象来由支持AR眼睛佩戴设备100进行操作。如图5B所示，手部姿势504可以由支持AR眼睛佩戴设备100识别，以例如触发上下文信息工具提示506，该工具提示506显示由光标502指向的项目的IMDB评级和最近用户评级/评论。类似地，上下文信息工具提示506可以是用于导航到感兴趣的相关项目的菜单。上下文项目工具提示506可以被显示在智能电视显示器500上，或者可以作为由智能电视或服务器498提供的增强内容而被叠盖在支持AR眼睛佩戴设备100的显示器180C上，视情况而定。

所谓的智能电视包括互联网功能，并且通常经由电缆或经由被连接到安全的、低延迟局域网(LAN)。本文描述的系统和方法为相同私有LAN子网络上的设备提供了由支持AR眼睛佩戴设备100揭露的应用编程接口(API)，其可用于交换诸如光标位置、检测到的手部/头部姿势(＝动作)等的信息。提供了一种软件开发工具包(softwaredevelopment kit，SDK)，其可由客户端(例如，支持AR眼睛佩戴设备100和智能电视显示器500)使用以简化与API的通信。在示例配置中，用于API的协议可以是超文本传输协议(HTTP)、代表性状态传输(REST)API、和websocket等，也可以是用于IoT应用的更轻量级的协议(诸如消息队列遥测传输(MQTT))，该协议还允许流媒体有效地同步光标位置。配对流(API的一部分)使智能电视通信应用510能够与支持AR眼睛佩戴设备100配对以建立连接。在示例配置中，智能电视通信应用510可以是适于与一个或多个支持AR眼睛佩戴设备100配对的应用或库，以在其间进行事件通信。动作和事件可以被注册以简化集成。智能电视通信应用510可以使用SDK发起配对。SDK首先在内部发送出支持AR眼睛佩戴设备100做出响应的广播，从而智能电视通信应用510可以获得支持AR眼睛佩戴设备100的私有互联网协议(IP)地址，然后向支持AR眼睛佩戴设备100发送连接请求。

一旦智能电视通信应用510和支持AR眼睛佩戴设备100被配对，相应设备就可以使用API(经由SDK)来注册回调，并订阅检测到的动作(手部/头部姿势)和光标位置的变化。在示例配置中，预定义一组手部/头部姿势被支持。一旦已知姿势被检测到，检测到的姿势和/或对应的动作就被通信到已经注册了回调(HTTP REST端点或在MQTT的情况下订阅到该动作)的智能电视通信应用510。在示例配置中，每个姿势/动作都具有备有证明文件的标识符(姿势ID)，并且相应设备可以自行决定如何使用某些姿势和/或动作。例如，显示“竖起大拇指”的手部姿势可以被赋予以下姿势ID：该姿势ID由智能电视显示器500识别以指示智能电视上的音量要被调高。类似地，头部倾斜可以由支持AR眼睛佩戴设备100识别，并被分配以下姿势ID：该姿势ID由智能电视显示器500识别为向上或向下改变频道的请求。因此，音量控制信号(增加音量)或改变频道信号可以被发送到智能电视通信应用510，以供智能电视显示器500的内部处理器使用，从而通过由支持AR眼睛佩戴设备100所识别的动作来增加音量或改变频道。

在智能电视通信应用510和支持AR眼睛佩戴设备100配对期间或者在智能电视显示器500的设备设置中，用户可以发起校准流程(API的一部分)，以将陀螺仪传感器和IMU数据从支持AR眼睛佩戴设备100校准到智能电视显示器500的预先确定的部分(例如，中心)。为了执行这样的校准，用户被要求看向智能电视显示器500，该显示器在其角部中包括三个可检测的代码，用于在现实世界坐标中将支持AR眼睛佩戴设备100与智能电视显示器500对齐。

例如，图6是在示例配置中智能电视显示器500上的示例校准屏幕600以用于将用户的支持AR眼睛佩戴设备100校准到智能电视显示器500的示意图。如图所示，快速响应(QR)码610被显示在智能电视显示器500的三个角部。QR码610被检测，并且深度数据(深度图)由支持AR眼睛佩戴设备100的现有深度服务使用，以从支持AR眼睛佩戴设备100的相机帧数据中获得检测到的QR码610的3D坐标位置。使用这些3D坐标位置，电视屏幕矩形(平面)现实世界坐标可以被确定。通过使用六自由度(6DOF)跟踪器(其使用与支持AR眼睛佩戴设备100的相机帧结合的IMU数据)，智能电视显示器500的屏幕矩形可以由支持AR眼睛佩戴设备100相对于用户的位置进行跟踪。例如，IMU数据可用于检测支持AR眼睛佩戴设备100的用户的头部相对于智能电视显示器500的矩形的现实世界坐标的旋转和/或倾斜。

可替选地，QR码610可以由支持AR眼睛佩戴设备100(例如，通过使用Chromecast或经由在智能电视显示器500和支持AR眼睛佩戴设备100之间的API以其他方式通信到智能电视通信应用510)通信到智能电视显示器500，以显示在智能电视显示器500的角部中，从而便于校准过程。

还可以使用对象检测来重新校准智能电视显示器500的位置。例如，对象跟踪服务(例如，同步定位和映射(SLAM)服务)可能会随时间的推移在被跟踪位置(被跟踪对象位置相对于现实物理对象位置)上产生偏移(传感器偏移)。为了校正这样的传感器偏移，可以在一定间隔内校准被跟踪对象位置，以通过使用姿势检测/对象跟踪软件470的现有对象检测框架/基础设施视觉地检测智能电视显示器500来最小化传感器偏移。对象检测框架可以处理相机输入流(帧)，检测智能电视显示器500，并在相机帧中返回智能电视显示器500的边界框。深度服务可用于获得相机帧中的检测到的边界框的深度图(在时间x处)。组合该信息允许在现实世界坐标中计算智能电视显示器500的当前校正屏幕矩形。由于使用IMU数据和SLAM服务数据而造成的随时间推移产生的光标502的位置的任何偏移都可以通过这样的重新校准来调整。应当理解，调整数据可以是Chromecast到电视显示器，或者经由在智能电视显示器500和支持AR眼睛佩戴设备100之间的API以其他方式通信到智能电视通信应用510。

在示例配置中，一旦支持AR眼睛佩戴设备100相对于智能电视显示器500进行校准，就可以通过使用射线投射技术找到智能电视显示器500的屏幕矩形(被跟踪3D位置)与源自指向智能电视显示器500的支持AR眼睛佩戴设备100的FOV中心的正交线之间的交点，来确定光标502在智能电视显示器500上的位置。例如，图7示出了从支持AR眼睛佩戴设备100到屏幕矩形710的被跟踪3D位置的正交线700的射线投射，以标识智能电视显示器500上的交点位置720，其正由用户的支持AR眼睛佩戴设备100在任何给定时间观看，以用于将光标502放置在智能电视显示器500上。交点位置720可通过本领域技术人员众所周知的正则线性代数方程来求解。在示例配置中，由LensStudio(可从加州圣莫尼卡的Snap公司获得)提供的基础设施可重新用于计算光标502的交点位置720。

针对交点位置方程没有解的那些情况(例如，用户没有看智能电视显示器500或正看过智能电视显示屏500，或者用户在智能电视显示器500的旁边或后面)，可以向智能电视的智能通信应用510发送默认位置，和/或可以向连接到通信API的客户端中的每个发送适当的消息。

图8是示例配置中用于控制智能电视显示器500、计算机显示器或其他IoT设备显示器上的光标502的方法的流程图。如图所示，智能电视显示器500可由SDK适配以包括通信应用510，以便于通过API与支持AR眼睛佩戴设备100进行通信，以交换诸如光标位置、检测到的手部/头部姿势等的信息。类似地，支持AR眼睛佩戴设备100可以适于包括使用SDK开发的AR远程控制应用800。

在操作期间，当AR远程控制应用800在810处已启动时，与支持AR眼睛佩戴设备100的配对可以由通信应用510发起。通信应用510在812处通过使用例如低延迟、低有效载荷开销MQTT发送请求来发起配对并订阅动态事件。在820处，AR远程控制应用800与智能电视显示器500配对，并注册诸如检测导的手部姿势之类的事件。

校准过程830在822处发起。例如，可以实施参照图6描述的校准过程。如上文参照图6描述的，校准过程830可能需要深度确定和/或对象检测和跟踪。在示例配置中，在832处可以调用支持AR眼睛佩戴设备100的姿势检测/对象跟踪软件470的深度确定软件472、对象跟踪软件474和对象检测软件476来支持校准计算。例如，对象检测软件476和对象跟踪软件474可以实施用于自动重新校准而不是QR码610的SLAM过程。

一旦在830处支持AR眼睛佩戴设备100已被校准，在840处使用例如上文参照图7描述的射线投射技术计算支持AR眼睛佩戴设备100的FOV与智能电视显示器500的交点(碰撞)720。在示例配置中，在842处可以调用支持AR眼睛佩戴设备100的姿势检测/对象跟踪软件470的深度确定软件472、对象跟踪软件474和对象检测软件476来支持交点计算。在840处确定的交点被识别为所期光标位置，并且在850处向所有被注册客户端(例如，智能电视通信应用510)发送光标位置更新852。可以使用姿势检测/对象跟踪软件470的SLAM服务在现实世界坐标中跟踪智能电视显示器500的矩形的位置，以确定这样的交点。

如果在860处由手部/姿势检测软件478检测到手部或头部姿势，则姿势事件862被发送到所有被注册客户端(例如，智能电视通信应用510)。在示例配置中，姿势事件862包括由手部/姿势检测软件478识别的姿势ID(例如，拇指朝上、头部倾斜、头部旋转等)。姿势ID可以由被注册客户端使用来执行已由相应被注册客户端映射到姿势ID的输入动作(例如，改变电台、音量控制、选择评级/评论等)。

只要AR远程控制应用810处于操作，步骤840-860就会连续重复。如上所述，通过使用姿势检测/对象跟踪软件470的现有对象检测框架/基础设施视觉地检测智能电视显示器500并针对传感器偏移进行调整，还可以不时地重新校准支持AR眼睛佩戴设备100以针对传感器偏移进行调整。

在870处退出AR远程控制应用800。

因此，AR远程控制应用800使佩戴支持AR眼睛佩戴设备100的用户能够在智能电视显示器500上在从支持AR眼睛佩戴设备100和智能电视显示器500投射的正交射线的交点720处呈现光标502，并在用户移动其头部和其在房间周围移动时更新光标502的位置。只要用户的FOV与智能电视显示器500相交，交点720就被连续跟踪和更新以反映更新后的光标位置。用户还可以执行姿势以在智能电视显示器500上进行选择。在示例配置中，一旦做出了所期选择，就可以退出AR远程控制应用800，使得光标502在使用期间不会干扰智能电视显示器500上对信息的查看。可以在支持AR眼睛佩戴设备100上提供切换键，用于根据需要打开/关闭AR远程控制应用800。可替选地，AR远程控制应用800可以保持活动状态，但光标可以被编程为在用户选择后消失预先确定的时间量。

本文描述的软件应用还可以适于使支持AR可穿戴电子设备(诸如智能眼镜)能够用增强现实内容扩展电视屏幕。参照图9-10描述了这样的软件应用。

如上所述，电视屏幕的存在可以被检测到，并且可以在现实世界坐标中跟踪矩形电视屏幕平面。为了向电视屏幕提供增强现实内容，电视平面的跟踪信息可用于相对于电视显示屏显示增强现实内容。

如上所述，智能电视上的应用可由SDK适配以经由通信应用510与支持AR眼睛佩戴设备100进行交互，以促进通过API与支持AR眼睛佩戴设备100进行通信，从而交换诸如光标位置、检测到的手部/头部姿势等的信息。智能电视的操作系统也可以被修改为集成SDK，以利用API在电视设置屏幕、主屏幕等中为用户提供增强式体验。除了包括AR远程控制应用之外，支持AR眼睛佩戴设备100还可以适于在用户输入上显示上下文用户界面和增强现实内容，其使用SDK被缝合到电视屏幕上。在这样的配置中，SDK授权电视和电视应用程序能够基于用户输入(诸如手部姿势)触发和显示增强现实内容。例如，SDK指定何时何地显示所选择的增强现实内容。

如上文参照图5所述，电视旁边的上下文(增强)菜单可以由手部姿势触发。由于电视屏幕平面正被跟踪，菜单可以被无缝定位并“缝合”到电视显示屏，从而扩展电视显示屏以包括菜单。类似地，SDK可以授权电视和电视应用程序触发上下文AR视觉效果。例如，如图9A所示，显示屏900可以包括预览屏幕，该预览屏幕自动(或响应于姿势)触发增强现实内容(例如，以摩天轮的形式)910，以在相对于电视显示屏900的几个固定位置之一处在支持AR可穿戴电子设备100上显示。如图9B所示，以摩天轮910形式的增强现实内容可以是相对于电视显示屏900的锚定位置锚定的二维或三维对象，以在支持AR可穿戴电子设备100上显示。锚定位置可以在电视显示屏900的笛卡尔坐标系中定义。例如，在图9B中，以摩天轮910的形式的增强现实内容被锚定到电视显示屏900的左下角((x，y)＝(0,0))，但可以被定位在电视显示屏900上的其他位置或相对于电视显示屏900被定位，甚至包括电视显示屏900外部的位置(例如，在x>1或x<0和/或y>1或y<0的位置处)。增强现实内容910还可以相对于电视显示屏900的高度和宽度被缩放，使得增强现实内容910按比例显示。例如，摩天轮910的高度可以被指定为电视显示屏900的高度的30％，并且处于电视显示屏900的指定比例宽度处。

图10是示例配置中用于向智能电视显示器500、计算机显示器或其他IoT设备显示器提供增强现实内容910的方法的流程图。如图所示，智能电视显示器500可由SDK适配以包括通信应用510，以便于通过API与支持AR眼睛佩戴设备100进行通信，以交换诸如检测的手部/头部姿势、增强现实内容等的信息。类似地，支持AR眼睛佩戴设备100可以适配以包括使用SDK开发的电视增强现实内容应用1000。

在操作期间，当电视增强现实内容应用1000已在1010处启动时，与支持AR眼睛佩戴设备100的配对可以由通信应用510发起。通信应用510在1012处通过使用例如低延迟、低有效载荷开销的MQTT发送请求来发起配对并订阅动态事件。在1020处，电视增强现实内容应用1000与智能电视显示器500配对，并被注册诸如检测到的手部姿势之类的事件。

校准过程1030在1022处发起。例如，可以实施参照图6描述的校准过程。可替选地，校准过程1030可以使用检测电视显示屏的定制机器学习(ML)模型。如上文参照图6所述，校准过程1030可能需要深度确定和/或对象检测和跟踪。在示例配置中，可以在1032处调用支持AR眼睛佩戴设备100的姿势检测/对象跟踪软件470的深度确定软件472、对象跟踪软件474和对象检测软件476来支持校准计算。例如，对象检测软件476和对象跟踪软件474可以实施用于自动重新校准而不是QR码610的SLAM过程。

一旦在1030处已校准支持AR眼睛佩戴设备100，用户就可以在1040处做出由AR眼镜100检测的特定手部或头部姿势。在1042处，由手部/姿势检测模块478识别手部或头部姿势，并且姿势识别数据被提供给支持AR眼睛佩戴设备100。姿势事件1044被发送到智能电视显示器500的连接的通信应用510。如果在1040处由手部/姿势检测软件478检测到手部或头部姿势，则姿势事件1044被发送到所有被注册客户端(例如，智能电视通信应用510)。在示例配置中，姿势事件1044可以包括由手部/姿势检测软件478识别的姿势ID(例如，拇指朝上、头部倾斜、头部旋转等)。姿势ID可以由被注册客户端使用来执行已由相应被注册客户端映射到姿势ID的输入动作(例如，选择指定或预选的增强现实(AR)或虚拟现实(VR)覆盖，导航到另一个/下一个屏幕，隐藏作为当前呈现的增强现实内容的一部分而当前增强的单个元素或对象，为当前呈现的增强现实内容中的角色设置动画等)。通常，客户端(智能电视或电视应用)可以向支持AR眼睛佩戴设备100发送任何有效载荷，这些有效载荷可以被接收和解释以动态地确定要在支持AR眼睛佩戴设备100的显示器上显示什么。

作为响应，通信应用510在1052处发送增强现实内容，该内容已由智能电视显示器500预先指定或由识别出的姿势选择。在示例配置中，增强现实内容可以是从LensStudio中选择的，也可以是从智能电视显示器500可用的预选滤镜组中选择的并提供给AR眼镜100的增强现实(AR)/虚拟现实(VR)叠盖(或“滤镜(lens)”，不要与相机透镜混淆)。LensStudio的应用编程接口(API)可以提供以下能力：其将对象(从IoT设备(例如智能电视)发送到支持AR眼睛佩戴设备100的滤镜的一部分)相对于智能电视显示器500的物理位置在支持AR眼睛佩戴设备100的视场中进行定位。例如，当在LensStudio中开发滤镜时，电视定位部件可以被附着到滤镜内的每个对象，以配置滤镜相对于电视显示器500的位置等。例如，滤镜的对象A、B和C可以被定位，由此对象A被定位在电视显示器500的左上角，对象B被定位在电视显示器500的中心，在z轴上电视显示屏前方一米处，并且对象C被定位在电视显示器500的左边缘的中心。然而，并非所有作为这种滤镜的一部分的对象都需要使用API——仅需要相对于电视显示器500要处于固定位置的对象。

在1052处提供的增强现实内容可选地还可以在自定义有效载荷中包含附加数据。在1050处，从通信应用510接收的增强现实内容在相对于被跟踪电视显示数据1054的位置处被渲染到电视显示设备500。位置可以在滤镜本身中被指定，也可以是光标的当前位置。

在示例配置中，滤镜可以包括被固定到特定坐标位置(例如，电视显示屏500的左边缘)的用户界面(UI)菜单。例如，像网飞这样的第三方在呈现诸如《怪奇物语》的程序时，可以使用LensStudio创建滤镜，并将该滤镜发送到支持AR眼睛佩戴设备100，并通过来回发送消息与滤镜进行交互。在图9A和9B中，滤镜是动画2D或3D对象(诸如3D摩天轮910)，其可以被定位并锚定到电视屏幕的左下角，以在支持AR眼睛佩戴设备100的显示器上显示。增强现实内容910可以是与电视显示屏900上的显示内容关联(或独立于电视显示屏900)的任何2D或3D动画或非动画元素，从而增强用户的视觉体验。用户可以使用姿势(例如，头部倾斜)来为显示内容设置动画。例如，3D摩天轮910的运动可以由用户的头部倾斜来控制。在示例配置中，滤镜使用被跟踪电视屏幕平面来渲染其相对于物理电视显示屏500的内容。由于滤镜相对于电视显示屏500的现实世界坐标是固定的，因此即使用户围绕房间走动，增强现实内容对用户来说也似乎处于固定位置。

智能电视显示器500的通信应用510可以在任何时候向支持AR眼睛佩戴设备100发送数据，以在1062处更新滤镜内容，并且支持AR眼睛佩戴设备100可以在1060处用新接收的数据更新滤镜。例如，用户可以使用手部姿势滚动浏览被呈现给智能电视显示器500的增强现实菜单中的增强现实内容。类似地，智能电视显示器500的通信应用510可以在1072处在任何时间向支持AR眼睛佩戴设备发送指令以隐藏AR内容，并且支持AR眼睛佩戴设备100可以通过例如在1070处停止滤镜渲染来隐藏AR内容或所渲染的AR内容中的特定元素。例如，当通信应用510接收了另一个手部姿势事件时，通信应用510可以向支持AR眼睛佩戴设备100发送请求，以隐藏所渲染的滤镜。数据更新1062和隐藏内容指令1072可以包括MQTT格式的文本和指令等。

在1080处退出电视增强现实内容应用1000。

在示例配置中，滤镜集合(诸如LensStudio)可以包括预先构建的部件或应用编程接口(API)，其允许电视内容的创建者相对于被跟踪电视屏幕平面选择和定位增强现实对象和元素。API可用于将增强现实对象和元素定位到边缘的中心、角、电视屏幕平面上的特定预设(x，y)坐标(在0-1之间，其中在x轴上，0是左边缘，1是右边缘，并且其中在y轴上，0是下边缘，1是上边缘)、相对于电视显示屏500上的点的预设x，y偏移(以定义的世界单位，例如，以毫米为单位)(例如，将元素定位到电视显示屏500的左上角向左一米处或其中x＜0或x＞1和/或y＜0或y＞1的某些其他位置)，或者在相对于电视显示屏的垂直矢量的坐标z处(以定义的世界单位，例如，以毫米为单位)。此外，可以指定元素在0-1之间的(x，y，z)轴上的锚点。API还可以允许电视内容的创建者基于向电视显示屏呈现预先确定的对象或帧的定时来触发增强现实对象的出现的定时。

在示例配置中，可以通过配置缩放选项而将所渲染的增强现实元素的大小调整到不同的显示屏。例如，所渲染的增强现实元素可以被缩放以沿(x，y)轴适配屏幕尺寸，缩放以适配一个维度(x或y轴)，其中另一个轴线沿(x，y，z)轴被按比例扭曲或缩放，或者锁渲染的增强现实元素的尺寸可以被设置为屏幕平面尺寸(x，y，z)的特定百分比。

如图8的示例所示，通过使用姿势检测/对象跟踪软件470的现有对象检测框架/基础设施视觉地检测智能电视显示器500并针对传感器偏移进行调整，支持AR眼睛佩戴设备100也可以不时地被重新校准以针对传感器偏移进行调整。

因此，电视增强现实内容应用1000使佩戴支持AR眼睛佩戴设备100的用户能够在相对于智能电视显示器500的位置处叠盖增强现实内容，该位置在用户移动其头部和其在房间周围移动时保持固定。用户还可以执行姿势来选择用于在智能电视显示器500上显示的滤镜，或者滤镜可以由与某些显示元素交互(例如，光标选择或与电视显示屏的一部分或与电视显示屏上显示的元素的交互)来自动地触发。与光标一样，可以在支持AR眼睛佩戴设备100上提供切换键，以根据需要打开/关闭电视增强现实内容应用1000。可替选地，电视增强现实内容应用1000可以保持活动状态，但增强现实内容可以被编程为在激活后消失预先确定的时间量。

在其他配置中，用户可以执行由支持AR眼睛佩戴设备100识别并提供给智能电视显示器500的姿势，如上所述。然而，用户可以从智能电视显示器500中选择流媒体应用，并且流媒体应用的服务器可以以菜单的形式或者可直接地在用户的支持AR眼睛佩戴设备100上导航的其他显示的形式发送增强数据，而不是从智能电视通信应用510或从第三方服务器将增强数据作为叠盖而呈现到支持AR眼睛佩戴设备100的显示器。在支持AR眼睛佩戴设备100上呈现的增强数据的任何选择都可以被通信到智能电视通信应用510，以便由智能电视显示器500进行所需的选择。

本领域技术人员将理解，本文描述的操作不限于智能电视。任何可以被连接到局域网并接受控制输入的设备(例如，IoT设备)都可以使用本文描述的技术由支持AR眼睛佩戴设备100控制。

保护范围仅受现在跟随的权利要求的限制。当考虑到本说明书和随后的审查历史进行解释时，该范围旨在并且应该被解释为与权利要求中使用的语言的普通含义一致的广泛，并包含所有结构和功能等同物。尽管如此，这些权利要求均不旨在涵盖不满足《专利法》第101、102或103条要求的主题，也不应以这种方式解释它们。在此拒绝对此类主题的任何无意包含。

除如上面紧接陈述的外，已陈述或说明的任何内容均不旨在或不应被解释为致使将任何部件、步骤、特征、对象、益处、优点或等同物奉献给公众，无论其是否在权利要求中叙述。

将理解，本文使用的术语和表达具有与这些术语和表达相对于其对应的各自调查和研究领域相一致的普通含义，除非本文另有规定特定含义。诸如第一和第二等关系术语可以仅被用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”、“包括(including)”或其任何其他变体旨在涵盖非排他性的包含，使得包含或包括一系列元素或步骤的过程、方法、物品或装置不仅包括这些元素或步骤，还可以包括未明确列出或这种过程、方法、物品或装置固有的其他元素或步骤。在没有进一步限制的情况下，以“一”或“一个”开头的元素不排除在包含该元素的过程、方法、物品或装置中存在额外的相同元素。

除非另有说明，否则本说明书(包括以下权利要求)中阐述的所有测量值、值、额定值、位置、量值、尺寸和其他规格都是近似的，而不是精确的。这些量旨在具有一个合理的范围，该范围与它们所涉及的功能以及它们所属领域的惯例相一致。例如，除非另有明确说明，否则参数值或类似值可能与所述量相差多达±10％。

此外，在前述详细描述中，出于简化本公开的目的，在各种示例中将各种特征分组在一起。这种公开方法不应被解释为反映了所要求保护的示例要求比每项权利要求中明确叙述的更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求由此被并入详细描述，每项权利要求作为单独要求保护的主题独立存在。

虽然前面已经描述了什么是最佳模式和其他示例，但应理解，其中可以进行各种修改，并且本文公开的主题可以以各种形式和示例实施，并且它们可以应用于许多应用中，本文仅描述了其中的一些。以下权利要求旨在要求保护落入本概念的真实范围内的所有修改和变化。

Claims (20)

1.一种适于相对于支持物联网(IoT)设备呈现内容的眼睛佩戴设备，该支持IoT设备具有IoT显示器，所述眼睛佩戴设备包括：

相机；

存储器，其存储指令；

设备显示器；以及

处理器，其耦合到所述相机、所述设备显示器和所述存储器，其中所述处理器执行指令以将所述眼睛佩戴设备配置为：

将所述眼睛佩戴设备与所述支持IoT设备配对，以通过它们之间的通信接口进行通信；

将所述眼睛佩戴设备校准到所述IoT显示器的现实世界坐标位置；

选择增强现实内容以相对于所述IoT显示器的所述现实世界坐标位置在所述设备显示器上显示；以及

在相对于所述IoT显示器的所述现实世界坐标位置的位置处将所选择的增强现实内容渲染到所述设备显示器。

2.根据权利要求1所述的眼睛佩戴设备，其中所述处理器还执行指令以将所述眼睛佩戴设备配置为：

检测手部姿势或头部姿势中的至少一个；以及

通过所述通信接口向所述支持IoT设备发送姿势事件，

其中，所述姿势事件包括检测到的至少一个手部姿势或头部姿势的至少一个姿势标识(ID)，其由所述支持IoT设备使用以执行对应于所述至少一个姿势ID的动作。

3.根据权利要求2所述的眼睛佩戴设备，其中所述处理器还执行指令以将所述眼睛佩戴设备配置为接收增强数据，所述增强数据包括与所述姿势ID对应的所选择的增强现实内容，以渲染到所述设备显示器。

4.根据权利要求3所述的眼睛佩戴设备，其中所述增强现实内容包括至少一个可动画化的二维或三维对象，其被发送到所述设备显示器，以在相对于笛卡尔坐标中标识的所述IoT显示器的预先指定锚位置的位置处显示。

5.根据权利要求4所述的眼睛佩戴设备，其中所述处理器还执行指令以识别发起至少一个可动画化的二维或三维对象的运动的姿势事件。

6.根据权利要求4所述的眼睛佩戴设备，其中所述处理器还执行指令，以在所述设备显示器上在相对于所述预先指定锚位置的位置处显示所渲染的增强现实内容，其中，所述位置位于所述IoT显示器在现实世界坐标中的尺寸外部。

7.根据权利要求1所述的眼睛佩戴设备，其中所述处理器还执行指令，以处理来自所述支持IoT设备的IoT指令来：

在所述设备显示器上渲染所述增强现实内容；

触发动画；

用新数据更新所述增强现实内容；

隐藏所述增强现实内容或所述增强现实内容内的特定元素；

在所述增强现实内容中显示特定对象；或

发送任何有效载荷，其可被接收和解释以动态地确定要在所述设备显示器上显示什么。

8.根据权利要求1所述的眼睛佩戴设备，其中所述处理器还执行指令，以相对于所述IoT显示器的高度和宽度尺寸缩放所述增强现实内容，从而所述增强现实内容在所述IoT显示器上按比例显示。

9.根据权利要求8所述的眼睛佩戴设备，其中所述处理器执行指令，以通过沿所述IoT显示器的(x，y)轴适配所述增强现实内容、在x或y轴上适配所述增强现实内容而同时另一轴被按比例扭曲或缩放、或者将所述增强现实内容适配到所述IoT显示器的屏幕平面尺寸的特定百分比，来缩放所述增强现实内容以适配所述IoT显示器。

10.根据权利要求1所述的眼睛佩戴设备，其中所述处理器还执行指令，以通过从所述IoT显示器中选择流媒体应用来选择用于相对于所述IoT显示器进行显示的增强现实内容，其中，所述流媒体应用包括在所述设备显示器上被直接导航的增强数据。

11.根据权利要求1所述的眼睛佩戴设备，其中所述支持IoT设备包括智能电视。

12.一种相对于支持物联网(IoT)设备呈现内容的方法，该支持IoT设备具有IoT显示器，所述方法包括：

将支持增强现实(AR)眼睛佩戴设备与所述支持IoT设备配对，以通过它们之间的通信接口进行通信；

将所述支持AR眼睛佩戴设备校准到所述IoT显示器的现实世界坐标位置；

选择增强现实内容以相对于所述IoT显示器的所述现实世界坐标位置在所述支持AR眼睛佩戴设备的设备显示器上显示；以及

在相对于所述IoT显示器的所述现实世界坐标位置的位置处将所选择的增强现实内容渲染到所述支持AR眼睛佩戴设备的所述设备显示器。

13.根据权利要求12所述的方法，还包括：

检测手部姿势或头部姿势中的至少一个；以及

通过所述通信接口向所述支持IoT设备发送姿势事件，

其中，所述姿势事件包括检测到的至少一个手部姿势或头部姿势的至少一个姿势标识(ID)，其由所述支持IoT设备使用以执行对应于所述至少一个姿势ID的动作。

14.根据权利要求13所述的方法，还包括：配置所述支持AR眼睛佩戴设备以接收增强数据，所述增强数据包括与所述姿势ID对应的所选择的增强现实内容，以渲染到所述设备显示器。

15.根据权利要求14所述的方法，其中，所述增强现实内容包括至少一个可动画化的二维或三维对象，其被发送到所述支持AR眼睛佩戴设备，以在相对于笛卡尔坐标系中标识的所述IoT显示器的预先指定锚位置的位置处显示。

16.根据权利要求15所述的方法，还包括：识别姿势事件，并响应于所识别的姿势事件发起所述至少一个可动画化的二维或三维对象的运动。

17.根据权利要求15所述的方法，还包括：在所述设备显示器上在相对于所述预先指定锚位置的位置处显示所渲染的增强现实内容，其中所述位置位于所述IoT显示器在现实世界坐标中的尺寸外部。

18.根据权利要求12所述的方法，还包括：相对于所述IoT显示器的高度和宽度尺寸缩放所述增强现实内容，从而所述增强现实内容按比例显示在所述IoT显示器上。

19.根据权利要求18所述的方法，其中缩放所述增强现实内容包括：沿所述IoT显示器的(x，y)轴适配所述增强现实内容，在x或y轴上适配所述增强现实内容而同时另一个轴被按比例扭曲或缩放，或者将所述增强现实内容适配到所述IoT显示器的屏幕平面尺寸的特定百分比。

20.一种非瞬态计算机可读存储介质，其存储了指令，所述指令在由至少一个处理器执行时通过执行以下操作而致使所述至少一个处理器相对于支持物联网(IoT)设备呈现内容，该支持IoT设备具有IoT显示器，所述操作包括：

将支持增强现实(AR)眼睛佩戴设备与所述支持IoT设备配对，以通过它们之间的通信接口进行通信；

将所述支持AR眼睛佩戴设备校准到所述IoT显示器的现实世界坐标位置；

选择增强现实内容以相对于所述IoT显示器的所述现实世界坐标位置进行显示；以及

在相对于所述IoT显示器的所述现实世界坐标位置的位置处将所选择的增强现实内容渲染到所述设备显示器。