CN116134833A - 用于耳塞增强现实的装置和方法 - Google Patents

Abstract

本发明提供了增强现实(AR)设备、系统和方法来论证感兴趣物体的捕获到的图像。可通过用户佩戴的耳戴式设备的成像设备来获得针对感兴趣物体的图像数据。生成增强信息以增强到该物体的图像上。基于对该物体是否在该成像设备的视场(FOV)中的检测来调整该增强图像。

Description

用于耳塞增强现实的装置和方法

背景技术

可佩戴设备，诸如智能手表正变得越来越普遍。类似地，手机或可佩戴耳机中的增强现实预计将变得越来越普遍。

发明内容

期望将耳戴式设备与相机配对用于增强现实。本公开提供了用于增强现实应用的设备、系统和方法。

在一个方面，本公开描述了一种用于增强现实(AR)的计算机实现的方法。该方法包括经由用户佩戴的耳戴式设备的成像设备获得针对感兴趣物体的图像数据；经由处理器生成增强图像，生成该增强图像包括从该图像数据生成待增强到该物体的图像上的增强信息；检测该物体是否在该成像设备的视场(FOV)中；以及基于该检测的结果调整该增强图像。

在另一方面，本公开描述了一种耳戴式增强现实(AR)设备。该设备包括成像设备，该成像设备用于获得针对感兴趣物体的图像数据；处理器，该处理器用于接收该图像数据，并且被配置为：生成增强图像，生成该增强图像包括从环境图像数据生成待增强到该物体的图像上的增强信息；确定该物体是否在该成像设备的视场(FOV)中；并且基于该检测的结果调整该增强图像。该设备还包括递送部件，该递送部件用于将该增强信息递送给佩戴耳戴式AR设备的用户。

在另一方面，本公开描述了体现在计算机可读存储介质上的增强现实(AR)系统。该系统包括图像处理部件，该图像处理部件用于接收和处理来自成像设备的针对感兴趣物体的图像数据，以生成该物体的图像；数据接口部件，该数据接口部件用于从一个或多个传感器接收传感器数据；增强部件，该增强部件用于生成增强信息以增强该物体的该图像，该增强信息包括视觉信息或听觉信息中的至少一种信息；显示部件，该显示部件用于将该视觉信息叠加到该物体的该图像；以及通知部件，该通知部件用于将该听觉信息递送给通知设备。

在本公开的示例性实施方案中获取各种意料不到的结果和优点。本公开的示例性实施方案的优点包括，例如，自动检测耳戴式设备的佩戴者前面的感兴趣物体，自动检测佩戴者的视野变化，以及在检测时自动通知/调整。

已总结本公开的示例性实施方案的各种方面和优点。上面的发明内容并非旨在描述本公开的当前某些示例性实施方案的每个例示的实施方案或每种实施方式。下面的附图和具体实施方式更具体地举例说明了使用本文所公开的原理的某些优选实施方案。

附图说明

结合附图考虑到以下对本公开的各种实施方案的详细说明可以更全面地理解本公开，其中：

图1是根据一个实施方案的由用户佩戴的耳戴式设备的示意图。

图2是示出根据一个实施方案的在网络环境中与显示设备配对的耳戴式设备200的框图。

图3是示出根据一个实施方案的利用与显示设备配对的耳戴式设备的增强现实(AR)系统的框图。

图4是示出根据一个实施方案的利用增强现实(AR)系统的增强现实(AR)方法的框图。

在附图中，相似的附图标号指示相似的元件。虽然可不按比例绘制的上文标识的附图阐述了本公开的各种实施方案，但还可设想如在具体实施方式中所提到的其他实施方案。在所有情况下，本公开以示例性实施方案的表示的方式而非通过表述限制来描述当前所公开的公开内容。应当理解，本领域的技术人员可想出许多其他修改和实施方案，这些修改和实施方案落在本公开的范围和实质内。

具体实施方式

本公开提供了用于增强现实应用的设备、系统和方法。可通过用户佩戴的耳戴式设备的成像设备来获得针对感兴趣物体的图像数据。生成增强信息以增强到该物体的图像上。基于对该物体是否在该成像设备的视场(FOV)中的检测来调整该增强图像。经由显示设备和其他合适的通知设备将包括物体的图像及其增强信息的增强图像递送给佩戴者。

图1是描绘由用户佩戴的耳戴式设备的透视侧视图。图1的实施方案中描绘的耳戴式设备是经由安装机构120安装在用户耳朵上的一件式耳塞100。耳塞100包括接纳功能部件的壳体102。示例性功能部件包括听觉部件和视觉部件，诸如扬声器、麦克风、相机等；控制部件，诸如微处理器；通信部件，诸如有线或无线模块；用户响应/控制/反馈部件，诸如按钮130等。耳塞100可功能性地连接到有线联网设备或无线联网设备，诸如例如手机、智能手表、显示器等。

耳塞100包括由壳体102接纳的成像设备110(例如，相机)。当用户佩戴耳塞100时，相机110指向前方，并且可获得用户前面场景中任何感兴趣物体的图像数据。捕获到的图像可经由与耳塞100配对的显示设备显示给用户。增强信息(例如，与物体、环境或用户状态相关的视觉信息、听觉信息或触觉信息)可与物体的图像一起递送给用户，以增强用户的体验。

相机1 10可以是宽视场(FOV)相机。视场(FOV)或视角(AOV)描述了由相机成像的给定场景的角范围。相机110可捕获用户前面场景的宽角范围，使得当用户倾斜头部(例如，观看显示器)时，感兴趣物体可能仍在相机的FOV内。相机110可具有例如不小于70度、不小于80度、不小于90度或不小于100度的对角视角。

图2是示出根据一个实施方案的在网络环境中与显示设备20配对的耳戴式设备200的框图。耳戴式设备200可呈一件式结构的形式，诸如适于邻近于用户耳朵安装的图1的耳塞100。耳戴式设备200包括成像设备210以捕获针对佩戴者前面场景的图像数据。成像设备210可包括例如图1的宽FOV相机110。

耳戴式设备200还包括一个或多个换能器220以向用户递送图像增强信息或通知和/或接收来自用户的指令/响应。示例性换能器220可包括扬声器、麦克风、触觉设备等。扬声器可递送听觉信息以增强所显示的图像，或向用户递送其他通知。触觉设备可以是振动或提供其他类型的触觉通知的设备。麦克风可接收用户的响应/指令和/或环境听觉信息(例如，噪声)。应当理解，换能器220中的一个或多个换能器可位于由佩戴者佩戴的另一个可佩戴设备处，或位于安置在与耳戴式设备200配对的环境中的远程设备处。

耳戴式设备200还可包括一个或多个任选的传感器230以检测佩戴者的状态。任选的传感器230可包括例如惯性测量单元(IMU)、心率设备、皮肤电响应设备、热传感器、基于卫星的导航设备等。应当理解，任选的传感器230可位于耳戴式设备200处、位于由佩戴者佩戴并与耳戴式设备200配对的另一个可佩戴设备(例如，手表、电话、眼镜等)处、和/或位于工作环境中的启用无线的感测站处以检测危险/环境。来自传感器230的经测量数据可用于指示佩戴者的状态。

在一些实施方案中，IMU传感器可用于检测用户的身体移动。惯性测量单元(IMU)可包括陀螺仪和加速度计。陀螺仪可通过测量围绕三个轴，诸如x轴、y轴和z轴的角速度(例如，弧度/秒)来感测旋转数据。加速度计可沿x轴、y轴和z轴测量线性加速度(例如，米/平方秒)。在一些实施方案中，加速度计可测量由地球重力引起的加速度，并且提供针对陀螺仪所测得的旋转数据的重力基准。

在一些实施方案中，用户视角的变化可通过IMU检测。IMU可位于耳戴式设备处，以测量用户头部的角速度和线性加速度。经测量IMU数据可被处理以确定用户视角的变化。例如，当用户将头部从感兴趣物体向下倾斜以观看显示设备时，IMU可检测头部倾斜并确定用户视角的变化。应当理解，可获得用户的附加平移和旋转信息，并将其与IMU数据组合，以获得用户头部的平移和取向信息的更准确的估计。

传感器230还可包括用于捕获数据的传感器，该数据指示用户的属性，诸如例如生理状态、心理状态、人格特征的方面；以及对用户的感知系统的当前需求，该用户的感知系统包括不同模态，诸如例如视觉系统和听觉系统。例如，可提供一个或多个温度测量设备以检测用户的体温，该用户的体温在与其他生理测量结果(例如，皮肤电响应)组合时可提供指示用户的物理状态、情绪状态或参与状态的信息。

耳戴式设备200还包括处理单元或处理器240以接收和处理来自成像设备210、换能器220、传感器230以及耳戴式设备的其他部件或与耳戴式设备配对的其他设备的各种数据。处理单元240可以是处理器或计算设备，该处理器或计算设备包括例如一个或多个通用微处理器、专门设计的处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑的集合和/或能够执行本文所述技术的任何类型的处理设备。

耳戴式设备200还包括存储器部件250。存储器部件250可以是任何合适类型的计算机可读存储介质，其可存储用于执行本文所述的方法或过程的指令。计算机可读存储介质可包括任何易失性或非易失性存储元件。示例可包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)和闪存。示例还可包括硬盘、磁带、磁或光数据存储介质、光盘(CD)、数字通用盘(DVD)、蓝光盘和全息数据存储介质。示例还可包括硬盘、磁带、磁或光数据存储介质、光盘(CD)、数字通用盘(DVD)、蓝光盘和全息数据存储介质。

耳戴式设备200与显示设备20配对，并经由其无线部件260连接到网络30。设备与网络30之间的通信可以是配置有无线技术的短程无线通信，诸如802.11无线网络、802.15、ZigBee网络、蓝牙协议等。在一些实施方案中，系统可以提供一个或多个无线接入点，该一个或多个无线接入点可在地理上分布在工作环境中，以在整个工作环境中提供对无线通信的支持。

当成像设备210检测到感兴趣可增强物体时，耳戴式设备200可提供增强信息(例如，视觉信息、听觉通知、触觉通知等)同时经由显示设备20显示物体的图像以增强用户的体验。例如，当耳戴式设备检测到具体位置或潜在感兴趣的具体项目时，其可基于用户的偏好设置、用户历史和/或用户上下文来确定该项目是否是用户感兴趣的。可从存储器部件250中检索用户的偏好设置和用户历史数据。例如，可通过附接到用户或分布在环境中的传感器来检测上下文信息。基于这些设置和/或上下文，设备可向用户发送存在可增强内容的通知，并且通过在所述情况下对用户最有用的模态(例如，视觉AR、听觉或触觉)自动地或根据用户提示来提供内容。

图3是示出根据一个实施方案的用于操作与显示设备配对的耳戴式设备的增强现实(AR)系统300的框图。AR系统300可由计算设备，诸如图2的处理单元240来实现。AR系统300还可体现在计算机可读存储介质上，该计算机可读存储介质可存储用于执行本文所述的方法或过程的指令。

AR系统300包括图像处理部件310以接收和处理来自成像设备210的图像数据。在一些实施方案中，图像处理部件310可自动识别并标记捕获到的图像中的感兴趣物体。在一些实施方案中，图像处理部件310可接收来自用户的反馈，以在捕获到的图像中定义感兴趣FOV或感兴趣物体。例如，可提供用户接口，使得用户可作用于所显示的图像，以标识感兴趣FOV或感兴趣物体。来自图像处理部件310的经处理的成像数据可被发送到显示部件320，其中经处理的成像数据可与来自增强部件340的增强信息重叠，以生成待由显示设备20显示的增强图像。

AR系统300还包括被配置为从图2的传感器230接收传感器数据的传感器数据接口部件330。传感器数据可包括各种上下文信息，该各种上下文信息包括从一个或多个环境传感器和用户传感器收集的实时信息。接收到的传感器数据可被发送到增强部件340以生成增强信息。在一些实施方案中，可分析传感器数据来推断不同的用户状态，这些不同的用户状态可用于改变待递送给用户的通知的类型和/或数量。

AR系统300还包括存储部件350，以存储包括例如用户偏好信息、触发事件信息、用户历史数据等的信息。用户偏好信息可定义在将与感兴趣物体的捕获到的图像一起递送的增强信息(例如，附加信息)方面，用户想要呈现什么类型的信息。示例可包括物体标识、产品描述、用途、成本、热信息、统计信息，诸如当前示例与典型示例之间的差异、可选视图、先前或未来视图等。用户偏好信息可在用户简档(例如，偏好设置)中指定，或针对具体会话和/或事件指定。触发事件信息可定义各种触发事件，包括例如检测到某些类别的物体或检测到某些个体、GPS坐标、检测到某些标记物(诸如条形码)、用户手势、用户与输入设备(例如关键字、触摸屏、按钮等)的交互。

AR系统300还包括增强部件340，该增强部件被配置为从数据接口部件330、图像处理部件310和存储部件350接收相关数据，以生成增强信息来增强来自图像处理部件310的捕获到的图像。所生成的增强信息可包括例如(i)待发送到显示部件320以叠加感兴趣物体的捕获到的图像的视觉信息；以及(ii)待发送到通知部件360并经由通知设备40递送给用户的通知信息(例如，听觉信息)。通知设备40可包括例如递送听觉信息的扬声器、振动或提供其他类型的触觉通知的触觉设备等。

图4是示出根据一个实施方案的使用增强现实(AR)系统300的增强现实(AR)方法400的框图。在410处，提供耳戴式设备和显示设备并将其彼此配对。耳戴式设备可以是本文所述的耳塞，诸如图1的耳塞100。显示设备可由任何有线或无线联网设备提供，包括例如手机、智能手表、显示器等。耳戴式设备还可与联网设备(例如，手机、智能手表等)的传感器配对。例如，联网设备可包括传感器，诸如例如惯性测量单元(IMU)、心率设备、皮肤电响应设备、热传感器和/或基于卫星的导航设备。耳戴式设备可从联网设备的传感器获得传感器数据。在一些实施方案中，用户接口可由显示设备提供和显示。用户接口可使用耳戴式设备和显示设备来提供用户标识和认证。然后，方法400前进至420。

在420处，成像设备210开始捕获针对用户环境中的场景的实时图像数据。图像数据可包括静止图像数据、流图像数据、视频或其他形式的图像数据。由成像设备210捕获的图像可以是针对用户前面场景的宽视角(AOV)图像。然后，方法400前进至430。

在430处，图像处理部件310从成像设备210接收捕获到的图像数据，处理该图像数据，并与增强部件340通信以确定是否增强待由显示设备20显示的捕获到的图像。增强图像的确定可由一个或多个触发事件触发。在一些实施方案中，可通过处理捕获到的图像来检测触发事件。触发事件的示例可包括例如在针对环境的捕获到的图像中检测到某些类别的物体，诸如某些个体、某些产品、某些标记物(诸如条形码)。在一些实施方案中，触发事件可由与耳戴式设备配对的系统的传感器来检测。例如，触发事件可以是用户位置的GPS坐标。在一些实施方案中，触发事件可以是用户输入，诸如相机检测到的用户手势、与连接设备的交互，诸如关键字等。当增强部件340确定不增强图像时，然后，方法400前进至440。当增强部件340确定增强图像时，然后，方法400前进至450。

在440处，经由显示设备20向用户显示不具有增强信息的捕获到的图像。然后，方法400前进至420。

在450处，增强部件340生成用于增强感兴趣物体的捕获到的图像的增强信息。用于增强捕获到的图像或增强信息的信息或数据可以是视觉信息、听觉信息或可与感兴趣物体的所显示的图像一起递送给用户的其他合适形式的信息。在一些实施方案中，处理单元可访问存储针对各种感兴趣物体的信息的系统的存储部件，以获得已标识物体的相关信息或增强信息。然后，方法400前进至460。

在460处，增强图像被递送到显示设备用于显示。增强图像包括由相关信息/数据增强的感兴趣物体的图像。在一些实施方案中，增强信息可以是可叠加由显示设备显示的图像的视觉信息。例如，感兴趣物体可以是例如安置在商店货架上的特定产品。产品的图像可由耳戴式设备的成像设备捕获。产品信息，诸如产品名称、产品价格、主要用途、经常与已标识产品一起购买的附加产品等可被增强到商店货架上的产品图像上。在一些情况下，感兴趣物体可以是在工作环境中佩戴个人防护设备(PPE)的工人。环境中工人的图像可由耳戴式设备的成像设备捕获。已标识工人的信息，诸如工人姓名、工作描述、已识别的PPE、工作状态等可被增强到工作环境中的工人的图像上。然后，方法400前进至470。

在470处，当成像设备210保持捕获针对所识别的感兴趣物体的实时图像数据时，增强部件340确定用户的视角是否改变。在一些实施方案中，传感器230可包括一个或多个IMU，以确定佩戴者何时垂下头部并改变FOV来观看显示设备。IMU可位于耳戴式设备或其他头戴式设备处。数据接口部件330从IMU接收信号，并将信号发送到增强部件340，以分析信号来确定用户的视角是否已经改变。

在一些实施方案中，可通过经由物体检测来检测物体是否在视场中，或通过经由视觉特征或光流来检测用户的头部移动，来确定用户视角的改变。例如，可分析捕获到的图像以从环境中识别基准标记物，诸如地板、天花板、桌面等的位置，并估计来自此类基准标记物的视角变化。另一种可能的方法可以包括基于物体跟踪(例如，经由物体检测和跟踪)或基于光流分析来估计视角变化。

当增强部件340确定用户的视角尚未被显著改变时，例如，不大于预定值，然后，方法400前进至420。当增强部件340确定用户的视角已经改变大于预定值时，然后，方法400前进至480。

在480处，图像处理部件310确定感兴趣物体是否仍在相机的视场(FOV)内。图像处理部件310可分析由相机捕获的用户前面场景的实时图像，以确定感兴趣物体是否仍在实时图像中。在一些实施方案中，图像处理部件310可比较用户视角的变化和相机的FOV，以确定感兴趣物体是否在相机的FOV之外。当图像处理部件310确定感兴趣物体仍在相机的视场(FOV)内时，然后，方法400前进至485。当图像处理部件310确定感兴趣物体不在相机的视场(FOV)内时，然后，方法400前进至490。

在485处，图像处理部件310调整捕获到的图像，使得感兴趣物体基本上定位在图像的中心处。图像可通过各种图像处理技术重新居中，诸如图像裁剪、平移、矫直、去失真等。然后用增强信息增强重新居中的图像，以生成增强图像，并将其发送到显示部件320。然后，方法400前进至460。

在490处，当图像处理部件310确定感兴趣物体不在相机的视场(FOV)内时，增强部件340检索已标识感兴趣物体的历史图像。历史图像可以是在图像处理部件310确定感兴趣物体不在相机的视场(FOV)内之前的时刻捕获的感兴趣物体的先前图像。历史图像可被缓存在存储部件350中，并根据来自增强部件340或图像处理部件310的指令被检索。在450处，可用增强信息来增强检索到的历史图像，然后将其发送到显示部件320。

在一些实施方案中，当感兴趣物体不在相机的视场(FOV)内时，不是在490处检索已标识感兴趣物体的历史图像，而是增强部件340可生成通知/指令以递送给用户，使得用户可调整相机的位置以允许感兴趣物体返回到相机的视场(FOV)。

本文所述的增强现实(AR)设备、系统和方法可具有各种应用。当耳戴式设备的成像设备检测到可增强物体时，耳戴式设备可提供增强信息(例如，视觉信息、听觉通知、触觉通知等)同时经由显示设备显示物体的图像以增强用户的体验。

在某些应用中，耳戴式设备可检测感兴趣物体并监测其周围环境。例如，当该设备检测到佩戴者到达路线中的具体点时，该耳戴式设备可向步行的行人提供听觉上的逐向指引。耳戴式设备还可检测工业环境中的用户是否处于装配过程中的某一点，或是否已经错误地完成了某个动作，并针对他们接下来应该做什么提供听觉指示。本文所述的AR设备、系统和方法可提高工业工人的安全性和生产力。例如，耳戴式设备可检测环境中的危险，并通过配对设备(诸如智能手表、手机或其他显示器)上的视觉增强现实、听觉警报或触觉警报向用户提供警告。在示例中，耳戴式设备可检测叉车的接近，并且基于用户的偏好和给定的情况，通过视觉、听觉或触觉通知来警告用户即将到来的危险。

在一些行业中，诸如工业、制造、医疗和食品安全，免提检测和通知用户附加环境信息的能力至关重要。在没有帮助的情况下，用户可能无法检测所有相关的环境信息，并且可能不具有用他们的手指向相机来帮助他们检测关键信息的能力。本文所述的AR设备、系统和方法可监测周围环境，并基于用户的设置和环境通过各种通知(例如，视觉通知、听觉通知、触觉通知)来增强用户可用的信息，这可产生增加的工人和患者的安全性和有效性。

本文所述的AR设备、系统和方法还可用于检测和增强与消费产品的交互。增强的内容可用于提供虚拟购物的益处，诸如在实体店设置中访问用户评论、教程和感兴趣的附加产品。另外，当个体在实体店附近时，耳戴式设备可提供个体可能需要购买的产品的提醒。

在另一个应用中，医务人员需要访问信息，而不能拿出另一个设备来访问信息。在一个示例中，在手术期间当外科医生的手很忙时，其可能需要附加患者信息或更新的状态信息。本文所述的耳戴式设备可与附近的显示设备(可佩戴的或以其他方式)配对，以允许外科医生看到叠加在手术部位上的重要的患者信息，从而其可最好地适应输入信息，而不中断他们的工作流程。在一些应用中，可利用各种决策过程(例如，基于AI/ML模型的数学算法)来帮助本文所述的AR设备、系统和方法标识异常现象，诸如手术部位中先前未检测到的异常现象或手术部位内的问题，诸如需要移除的手术器械。

在食品安全应用中，本文所述的AR设备、系统和方法可检测可能需要附加清洁以确保食品安全的问题区域。例如，可训练各种AI/ML模型来分析捕获到的图像数据，以检测环境中存在污染物高风险的位置，诸如房间角落和表面裂缝。关注区域的热图，即增强环境图像，可经由配对的显示设备显示。另外，该技术可与最近表面测试结果的数据库配对，并将这些结果叠加在真实环境上，以帮助进一步清洁有问题的区域。

除非另外指明，否则本说明书和实施方案中所使用的表达量或成分、特性测量等的所有数字在所有情况下均应理解成由术语“约”来修饰。因此，除非有相反的说明，否则在上述说明书和所附实施方案列表中示出的数值参数可根据本领域的技术人员利用本公开的教导内容寻求获得的期望特性而变化。最低程度上说，并且在不试图将等同原则的应用限制到受权利要求书保护的实施方案的范围内的情况下，每个数值参数应至少根据所报告的有效位数并通过应用惯常的四舍五入法来解释。

在不脱离本公开实质和范围的情况下，可对本公开的示例性实施方案进行各种修改和更改。因此，应当理解，本公开的实施方案并不限于以下描述的示例性实施方案，而应受权利要求书及其任何等同物中示出的限制因素控制。

示例性实施方案列表

以下列出示例性实施方案。应当理解，实施方案1至实施方案12、实施方案13至实施方案17和实施方案18中任一项可组合。

实施方案1是一种用于增强现实(AR)的计算机实现的方法，该方法包括：

经由用户佩戴的耳戴式设备的成像设备获得针对感兴趣物体的图像数据；

经由处理器生成增强图像，生成该增强图像包括从该图像数据生成待增强到该物体的图像上的增强信息；

检测该物体是否在该成像设备的视场(FOV)中；以及

基于该检测的结果调整该增强图像。

实施方案2是根据实施方案1所述的方法，其中生成该增强信息包括生成叠加该物体的该图像的视觉内容。

实施方案3是根据实施方案1或2所述的方法，其中生成该增强信息包括生成非视觉内容，该非视觉内容包括听觉通知或触觉通知中的至少一种通知，以增强该物体的该图像。

实施方案4是根据实施方案1至3中任一项所述的方法，其中检测该物体是否在该成像设备的该FOV中包括经由惯性测量单元(IMU)检测该用户的头部移动。

实施方案5是根据实施方案1至4中任一项所述的方法，其中调整该增强图像包括使该物体在该图像中重新居中。

实施方案6是根据实施方案1至5中任一项所述的方法，其中调整该增强图像包括将该增强信息增强到该物体的历史图像上。

实施方案7是根据实施方案1至6中任一项所述的方法，其中调整该增强图像还包括生成通知以递送给该用户来调整该成像设备的该视场(FOV)。

实施方案8是根据实施方案1至7中任一项所述的方法，该方法还包括向该用户递送该增强图像。

实施方案9是根据实施方案8所述的方法，其中递送该增强图像包括显示叠加视觉增强信息的该物体的该图像。

实施方案10是根据实施方案8或9所述的方法，其中递送该增强图像包括在显示该物体的该图像的同时递送听觉通知或触觉通知中的至少一种通知。

实施方案11是根据实施方案1至10中任一项所述的方法，该方法还包括经由一个或多个传感器收集用户状态数据，任选地，该传感器包括心率设备、皮肤电响应设备、热传感器或基于卫星的导航设备中的至少一者。

实施方案12是根据实施方案11所述的方法，该方法还包括分析该用户状态数据以生成增强信息。

实施方案13是一种耳戴式增强现实(AR)设备，该设备包括：

成像设备，该成像设备用于获得针对感兴趣物体的图像数据；

处理器，该处理器用于接收该图像数据，并且被配置为：

生成增强图像，生成该增强图像包括从环境图像数据生成待增强到该物体的图像上的增强信息；确定该物体是否在该成像设备的视场(FOV)中；并且

基于该检测的结果调整该增强图像；和

递送部件，该递送部件用于将该增强信息递送给佩戴耳戴式AR设备的用户。

实施方案14是根据实施方案13所述的耳戴式AR设备，该设备还包括惯性测量单元(IMU)，用于检测该成像设备的移动。

实施方案15是根据实施方案13或14所述的耳戴式AR设备，其中该递送部件包括听觉通知部件或触觉通知部件中的至少一种部件。

实施方案16是根据实施方案13至15中任一项所述的耳戴式AR设备，该设备还包括与显示设备配对的无线部件，其中该处理器还被配置为将该增强图像递送到该显示设备。

实施方案17是根据实施方案13至16中任一项所述的耳戴式AR设备，该设备还包括用于收集用户状态数据的一个或多个传感器，任选地，该传感器包括心率设备、皮肤电响应设备、热传感器或基于卫星的导航设备中的至少一者。

实施方案18是一种体现在计算机可读存储介质上的增强现实(AR)系统，该增强现实系统包括：

图像处理部件，该图像处理部件用于接收和处理来自成像设备的针对感兴趣物体的图像数据，以生成该物体的图像；

数据接口部件，该数据接口部件用于从一个或多个传感器接收传感器数据；

增强部件，该增强部件用于生成增强信息以增强该物体的该图像，该增强信息包括视觉信息或听觉信息中的至少一种信息；

显示部件，该显示部件用于将该视觉信息叠加到该物体的该图像；和

通知部件，该通知部件用于将该听觉信息递送给通知设备。

整个本说明书中提及的“一个实施方案”、“某些实施方案”、“一个或多个实施方案”或“实施方案”，无论在术语“实施方案”前是否包括术语“示例性的”都意指结合该实施方案描述的特定特征、结构、材料或特性包括在本公开的某些示例性实施方案中的至少一个实施方案中。因此，在整个本说明书的各处出现的表述诸如“在一个或多个实施方案中”、“在某些实施方案中”、“在一个实施方案中”或“在实施方案中”不一定是指本公开的某些示例性实施方案中的同一实施方案。此外，具体特征、结构、材料或特性可在一个或多个实施方案中以任何合适的方式组合。

虽然本说明书已经详细地描述了某些示例性实施方案，但是应当理解，本领域的技术人员在理解上述内容后，可很容易地想到这些实施方案的更改、变型和等同物。因此，应当理解，本公开不应不当地受限于以上示出的例示性实施方案。此外，对各种示例性实施方案进行了描述。这些实施方案以及其他实施方案均在以下权利要求书的范围内。

Claims (18)

1.一种用于增强现实(AR)的计算机实现的方法，所述方法包括：

经由用户佩戴的耳戴式设备的成像设备获得针对感兴趣物体的图像数据；

经由处理器生成增强图像，生成所述增强图像包括从所述图像数据生成待增强到所述物体的图像上的增强信息；

检测所述物体是否在所述成像设备的视场(FOV)中；以及

基于所述检测的结果调整所述增强图像。

2.根据权利要求1所述的方法，其中生成所述增强信息包括生成叠加所述物体的所述图像的视觉内容。

3.根据权利要求1所述的方法，其中生成所述增强信息包括生成非视觉内容，所述非视觉内容包括听觉通知或触觉通知中的至少一种通知，以增强所述物体的所述图像。

4.根据权利要求1所述的方法，其中检测所述物体是否在所述成像设备的所述FOV中包括经由惯性测量单元(IMU)检测所述用户的头部移动。

5.根据权利要求1所述的方法，其中调整所述增强图像包括使所述物体在所述图像中重新居中。

6.根据权利要求1所述的方法，其中调整所述增强图像包括将所述增强信息增强到所述物体的历史图像上。

7.根据权利要求1所述的方法，其中调整所述增强图像还包括生成通知以递送给所述用户来调整所述成像设备的所述视场(FOV)。

8.根据权利要求1所述的方法，所述方法还包括向所述用户递送所述增强图像。

9.根据权利要求8所述的方法，其中递送所述增强图像包括显示叠加视觉增强信息的所述物体的所述图像。

10.根据权利要求8所述的方法，其中递送所述增强图像包括在显示所述物体的所述图像的同时递送听觉通知或触觉通知中的至少一种通知。

11.根据权利要求1所述的方法，所述方法还包括经由一个或多个传感器收集用户状态数据，任选地，所述传感器包括心率设备、皮肤电响应设备、热传感器或基于卫星的导航设备中的至少一者。

12.根据权利要求11所述的方法，所述方法还包括分析所述用户状态数据以生成增强信息。

13.一种耳戴式增强现实(AR)设备，所述耳戴式AR设备包括：

成像设备，所述成像设备用于获得针对感兴趣物体的图像数据；

处理器，所述处理器用于接收所述图像数据，并且被配置为：

生成增强图像，生成所述增强图像包括从环境图像数据生成待增强到所述物体的图像上的增强信息；确定所述物体是否在所述成像设备的视场(FOV)中；并且

基于所述检测的结果调整所述增强图像；和

递送部件，所述递送部件用于将所述增强信息递送给佩戴所述耳戴式AR设备的用户。

14.根据权利要求13所述的耳戴式AR设备，所述耳戴式AR设备还包括惯性测量单元(IMU)以检测所述成像设备的移动。

15.根据权利要求13所述的耳戴式AR设备，其中所述递送部件包括听觉通知部件或触觉通知部件中的至少一种部件。

16.根据权利要求13所述的耳戴式AR设备，所述耳戴式AR设备还包括与显示设备配对的无线部件，其中所述处理器还被配置为将所述增强图像递送到所述显示设备。

17.根据权利要求13所述的耳戴式AR设备，所述耳戴式AR设备还包括用于收集用户状态数据的一个或多个传感器，任选地，所述传感器包括心率设备、皮肤电响应设备、热传感器或基于卫星的导航设备中的至少一者。

18.一种体现在计算机可读存储介质上的增强现实(AR)系统，包括：

图像处理部件，所述图像处理部件用于接收和处理来自成像设备的针对感兴趣物体的图像数据，以生成所述物体的图像；

数据接口部件，所述数据接口部件用于从一个或多个传感器接收传感器数据；

增强部件，所述增强部件用于生成增强信息以增强所述物体的所述图像，所述增强信息包括视觉信息或听觉信息中的至少一种信息；

显示部件，所述显示部件用于将所述视觉信息叠加到所述物体的所述图像；和

通知部件，所述通知部件用于将所述听觉信息递送给通知设备。

Images