CN107079139A - 没有物理触发的增强现实 - Google Patents

Abstract

在示例中，在没有物理触发的情况下显示增强现实体验。由计算设备的处理器来选择用于增强现实体验的触发图像。检测真实世界环境中的平坦表面来为触发图像做框。然后将触发图像叠加在平坦表面的照相机原始数据的顶上。相应地，在显示器上激活增强现实体验，其中，增强现实体验包括叠加的触发图像。

Description

没有物理触发的增强现实

背景技术

增强现实是数字信息与真实世界环境的集成。特别地，增强现实提供了物理的、真实世界环境的实时的、直接或者间接的视图，所述物理的、真实世界环境的元素通过计算机生成的感官输入(例如，声音、视频、图形、或GPS数据)来进行增强。增强现实包括对图像、物体、面孔、或真实世界环境中的任何元素进行识别以及通过利用空间中的实时定位来对该图像进行跟踪。增强现实还包括将数字媒体(例如，视频、三维(3D)图像、图形、以及文本)叠加在真实世界环境的视图的顶上，以将数字媒体与真实世界环境相结合。

附图说明

本公开的特征通过示例的方式示出，并且不被限制在以下的附图中，在附图中类似的附图标记指示类似的元素，其中：

图1示出了根据本公开的示例的用于在没有物理触发的情况下显示增强现实体验的计算设备的框图；

图2A-图2D示出了根据本公开的示例的展示用于在没有物理触发的情况下显示增强现实体验的方法的顺序框；以及

图3示出了根据本公开的示例的用于在没有物理触发的情况下显示增强现实体验的方法的流程图。

具体实施方式

出于简化和举例示出的目的，本公开主要通过引用其示例来进行描述。在以下的描述中，阐述了许多具体的细节以便提供对本公开的全面的理解。然而，显而易见的是，可以在没有对这些具体细节的限制的情况下实践本公开。在其它实例中，一些方法和结构没有进行详细描述，以便避免不必要地使本公开难以理解。

本文公开的是用于在没有物理触发的情况下显示增强现实体验的方法的示例。本文还公开了用于实施方法的系统以及非暂态计算机可读介质，在所述非暂态计算机可读介质上存储有实施该方法的机器可读指令。根据示例，在存储在计算设备上的增强现实平台上实施或调用用于在没有物理触发的情况下显示增强现实体验的方法，所述计算设备例如但不限于智能电话、计算平板、膝上型计算机、桌面型计算机、或任何可穿戴计算设备。

增强现实是将数字媒体分层到真实世界环境上。特别地，增强现实是物理的、真实世界环境的视图，所述物理的、真实世界环境的元素是利用数字媒体(例如，图像、视频、声音、三维(3D)图形或GPS数据)来进行补充的。当来自真实世界环境的预定义的元素(即，物理触发)被与存储在计算设备中的增强现实平台相关联的计算机视觉或图像识别软件识别出时，数字媒体被激活。物理触发包括但不限于指定的图像、物体、位置、人物、或者来自真实世界环境的其他元素。

根据示例，每一个物理触发与增强现实体验相关联。增强现实体验包括将数字媒体覆盖到物理触发上来为用户提供物理触发的实时信息上下文。由数字媒体呈现的信息上下文为用户提供了对物理触发的真实世界环境的更好的理解。例如，诸如运动事件等物理触发可以包括叠加的视觉元素，例如出现在场上的线、指示运动员的移动的箭头、或者显示与运动事件相关的统计信息的图形。由此，增强现实体验提供了要覆盖在真实世界的视图上的关于真实世界的增加的数字媒体信息。

通常，增强现实平台使用照相机扫描真实世界环境以找到物理触发，以激活将数字媒体信息覆盖到真实世界环境中。特别地，增强现实平台将扫描真实世界环境以找到与物理触发的存储的图像相匹配的物理触发。当识别出匹配时，数字媒体然后可以被叠加到物理触发的视图上。

根据所公开的示例，增强现实体验被提供在用户没有访问物理的、可扫描的触发的情况中。在示例中，增强现实体验是在没有物理触发的情况下显示的。选择用于增强现实体验的触发图像。检测真实世界环境中的平坦表面以为触发图像做框(frame)。然后触发图像被叠加在平坦表面的照相机原始数据(camera feed)的顶上。相应地，增强现实体验在显示器上被激活，其中，增强现实体验包括叠加的触发图像。由此，所公开的示例通过使用户保持不必访问物理触发来提供增强现实平台的提高的可用性的益处和鼓励。

参考图1，示出了根据本公开的示例的用于在没有物理触发的情况下显示增强现实体验的计算设备100的框图。应当理解的是，计算设备100可以包括额外的部件，并且本文所描述的部件中的一个或多个可以被移除或者修改而不偏离计算设备100的范围。

计算设备100被描绘为包括处理器102、数据存储104、输入/输出(I/O)接口106、增强现实平台110、图形处理单元(GPU)122、以及照相机124。例如，计算机可以是智能电话、计算平板、膝上型计算机、桌面型计算机、或者任何类型的可穿戴计算设备。同样，计算设备100的部件作为示例被示出在单个计算机上，并且在其它示例中，部件可以存在于多个计算机上。计算设备100可以例如通过网络设备108将表存储在数据存储104中，和/或可以管理被存储在单独的计算设备中的表中的数据的存储，网络设备108例如包括路由器、交换机、集线器等。数据存储104可以包括物理存储器，例如，硬盘驱动、光盘驱动、闪存驱动、驱动阵列、或其任何组合，并且可以包括易失性和/或非易失性数据存储。

增强现实平台110被描绘为包括选择模块112、检测模块114、以及覆盖模块116。可以包括微处理器、微控制器、专用集成电路(ASIC)等的处理器102用于执行计算设备100中的各种处理功能。处理功能可以包括增强现实平台110的模块112-116的功能。增强现实平台110用于将增强现实体验叠加在触发图像的顶上。例如，增强现实平台128是被下载到数据存储104的应用。

例如，选择模块112将为用户显示多个触发图像的界面提供在计算设备100的显示器上。根据示例，多个触发图像中的每一个与唯一的增强现实体验相关联。选择模块112接收对多个触发图像中的至少一个的用户选择，并且从本地数据存储104或者远程数据库服务器导入触发图像以及增强现实体验。在由选择模块112选择了触发图像之后，用户可以在计算设备100上启动预览模式来针对所选择的触发图像观察增强现实体验。例如，预览模式激活计算设备100的显示器和照相机124。

例如，检测模块114在预览期间使用照相机124来检测真实世界环境中的平坦表面的图像以为触发图像做框。为此，预览模式可以在计算设备100的显示器上显示平坦表面的捕获到的视图。特别地，检测模块114可以使用计算设备100的照相机124来向用户显示用于定位来自真实世界环境的合适的平坦表面的消息，并且响应于用户成功地定位到合适的平坦表面而显示通知。根据示例，如果平坦表面的形状是矩形，则该平坦表面是合适的。

例如，覆盖模块116将触发图像叠加在合适的平坦表面的捕获到的视图上，并且然后将增强现实体验叠加在触发图像的顶上。因此，在增强现实体验模式中，在没有来自真实世界环境的物理触发的情况下激活了用于计算设备100上的显示的增强现实体验。

在示例中，增强现实平台110包括存储在非暂态计算机可读介质113上并且由处理器102执行的机器可读指令。非暂态计算机可读介质的示例包括动态随机存取存储器(DRAM)、电可擦出可编程只读存储器(EEPROM)、磁阻随机存取存储器(MRAM)、忆阻器、闪速存储器、硬盘驱动等等。计算机可读介质113可以被包括在数据存储104中或者可以是单独的存储设备。在另一示例中，增强现实平台110包括硬盘驱动，例如被布置在板上的电路或者多个电路。在该示例中，模块112-116包括电路部件或者单独的电路，例如嵌入式系统、ASIC、或者现场可编程门阵列(FPGA)。

处理器102可以通过总线105耦合到数据存储104、I/O接口106、GPU 122、以及照相机124，其中总线105可以是在计算设备100的各个部件之间转移数据的通信系统。在示例中，总线105可以是外围部件互连(PCI)、工业标准架构(ISA)、高速PCI、NuBus、专用总线等。

I/O接口106包括硬件和/或软件接口。I/O接口106可以是通过网络设备108连接到网络的网络接口，增强现实平台110可以经由网络设备108接收和传递信息，例如，关于触发图像或增强现实体验的信息。例如，输入/输出接口106可以是无线局域网(WLAN)或网络接口控制器(NIC)。WLAN可以通过无线信号将计算设备100链接到网络设备108。类似地，WLAN可以通过物理连接(例如，电缆)将计算设备100链接到网络设备108。计算设备100还可以通过使用移动数据信号来与移动电话塔进行通信的无线广域网(WWAN)链接到网络设备108。处理器102可以将通过输入/输出接口106接收到的信息存储在数据存储104中，并且可以在实施模块112-116时使用该信息。

I/O接口106可以是用于将计算设备100连接到一个或多个I/O设备120的设备接口。例如，I/O设备120包括显示器、键盘、鼠标、以及定点设备，其中，定点设备可以包括触摸板或者触摸屏，以及其他。I/O设备120可以是计算设备100的内置部件，或者定位在计算设备100的外部。显示器包括智能电话、计算平板、计算机监视器、电视或者投影仪以及其他的显示屏。在一些示例中，显示器与触摸屏相关联以形成触敏显示器。触摸屏允许用户通过利用定点设备、手指或二者的组合来触摸显示器而与在显示器上示出的对象进行交互。

计算设备100还包括例如图形处理单元(GPU)122。如所示的，处理器120通过总线105耦合到GPU 122。GPU 122执行计算设备100内的任何数量的图形操作。例如，GPU 122给予或者操纵可以向计算设备100的用户显示的图形图像、图形框、视频等。处理器102还通过总线105链接到照相机124来捕获图像，其中捕获到的图像被存储在数据存储104中。虽然照相机124被示出为在计算设备100的内部，但是根据示例，照相机124还可以通过I/O设备120在外部连接到计算设备100。

图2A-图2D是根据本公开的示例的展示出用于在没有物理触发的情况下显示增强现实体验的方法的顺序创建的框的图。

在图2A中，从多个触发图像中选择全国曲棍球联盟标志200作为触发图像。根据示例，用户接口可以被显示在包括多个触发图像的目录的计算设备100上。例如，多个触发图像的每一个触发图像与唯一的增强现实体验相关联。增强现实体验包括以下中的至少一个：图像、视频、声音、到网页的链接、以及三维图形或者动画。在该示例中，标志200是触发图像，并且标志200与曲棍球选手210的图像的增强现实体验相关联。如图2A中所示，例如，选择模块112接收标志200的用户选择作为来自多个触发图像的触发图像，并且从本地数据存储104或远程数据库服务器导入200标志以及曲棍球选手210的图像。

在由选择模块112选择了触发图像之后，用户在计算设备100上启动预览模式，如图2B中所示。例如，预览模式激活计算设备100的照相机124。当照相机124被激活时，选择模块114可以为用户显示消息以使用计算设备100的取景显示器230来定位来自真实世界环境的平坦表面220。平坦表面220可以充当边界，在所述边界内，触发图像可以覆盖在取景显示器230上。一旦检测模块114检测到用户已经成功地定位了矩形平坦表面220来为标志200做框，如图2B中所示，检测模块114可以显示通知，例如，动画、消息、或可听的或者触觉警告，以通知用户识别出了合适的平坦表面220。

在图2C中，例如，覆盖模块116将标志200叠加在计算设备200的取景显示器230的合适的平坦表面220的照相机原始数据上。如图2D所示，例如，覆盖模块116将增强现实体验叠加在叠加的标志200的至少一部分的顶上。在该示例中，与标志200相关联的增强现实体验是曲棍球选手210的图像。此外，曲棍球选手210的图像可以扩展至取景显示器230内的平坦表面的捕获到的视图的边界之外。由此，在预览模式中，在没有来自真实世界环境的物理触发的情况下激活了用于计算设备100上的显示的增强现实体验。根据另一示例，与标志200相关联的增强现实体验可以是包括以下中的至少一项的任何数字媒体：提供关于标志200的触发图像的信息上下文的图像、视频、声音、到网页的链接、以及三维图形或动画。

参考图3，示出了根据本公开的示例的用于在没有物理触发的情况下显示增强现实体验的方法300的流程图。例如，方法300由图1中所描绘的计算设备100的处理器102来实施。

在图3中，增强现实平台110的选择模块112选择用于增强现实体验的触发图像，如框310中所示。根据示例，用户从被显示在计算设备100的显示器上的用户界面上的多个触发图像的目录中选择触发图像。例如，多个触发图像中的每一个与至少一个唯一的增强现实体验相关联。针对触发图像的增强现实体验可以是提供关于触发图像的真实世界环境的信息上下文的任何数字媒体。例如，数字媒体包括图像、视频、声音、到网页的链接、以及三维图形或动画中的至少一个。

响应于接收到来自多个触发图像的触发图像的用户选择，选择模块112将选择的触发图像以及其相关联的增强现实体验导入到计算设备的本地数据存储104。根据示例，选择的触发图像及其相关联的增强现实体验二者被存储在远程数据库服务器中。

在框310中由选择模块112选择触发图像之后，用户可以在计算设备100上启动预览模式。例如，预览模式激活计算设备100的照相机124。使用计算设备100的照相机124，检测模块114检测来自真实世界环境的平坦表面来为触发图像做框，如框320中所示。特别地，根据示例，检测模块114向用户显示消息以使用计算设备100的照相机124的显示器来定位合适的平坦表面。

例如，合适的平坦表面的形状可以是矩形以形成用于触发图像的边界或框。也就是说，矩形平坦表面确定了触发图像的尺寸以及触发图像在计算设备100的显示器上的放置。例如，合适的平坦表面允许检测模块114检测该平面相对于计算设备100的角度。所检测的平面的角度向覆盖模块116提供了空间感知以用于将3D模型或者图形叠加在触发图像的顶上，如以下在框330中所讨论的。

根据示例，一旦用户已经成功地定位到矩形平坦表面以在计算设备100的显示器中为触发图像做框，检测模块114在计算设备100的显示器上显示通知，例如，动画、消息、或者可听的或触觉警告，以通知用户识别出了合适的平坦表面。

在框330中，例如，覆盖模块116将触发图像叠加在计算设备200的显示器上的平坦表面的照相机原始数据的顶上。叠加可以包括将触发图像覆盖在设备的显示器上的平坦表面的捕获到的视图上。例如，触发图像覆盖在平坦表面的捕获到的视图的边界内。相应地，然后覆盖模块116可以将增强现实体验叠加在叠加的触发图像的至少一部分的顶上。例如，与叠加的触发图像不同，增强现实体验可以扩展至取景显示器230内的平坦表面的捕获到的视图的边界之外。

如框340中所示，根据所公开的示例，然后可以在设备的显示器上激活增强现实体验而不需要来自真实世界环境的物理触发。激活增强现实体验可以包括生成覆盖在叠加的触发图像的顶上的数字媒体。

由此，图3中所示的方法300通过使用户保持不必访问物理触发来提供增强现实平台的提高的可用性的益处和鼓励。本文所描述并示出的是本公开的示例以及一些变型。本文所使用的术语、描述、以及附图仅仅以举例示出的方式进行阐述，并且不是要进行限制。许多变型在本公开的范围内是可能的，本公开的范围是要通过以下权利要求以及其等同物来进行限定的，在以下权利要求以及其等同物中，所有术语的意思是在其最广阔的合理的意义上来表示的，除非另外指示。

Claims (15)

1.一种用于在没有物理触发的情况下显示增强现实体验的方法，包括：

由处理器选择用于增强现实体验的触发图像；

检测真实世界环境中的平坦表面来为所述触发图像做框；

将所述触发图像叠加在所述平坦表面的照相机原始数据的顶上；以及

在显示器上激活所述增强现实体验，其中，所述增强现实体验包括所叠加的触发图像。

2.如权利要求1所述的方法，其中，对所述增强现实体验的激活包括将所述增强现实体验叠加在所叠加的触发图像的顶上。

3.如权利要求1所述的方法，其中，所述增强现实体验包括以下项中的至少一个：图像、视频、声音、到网页的链接、以及三维图形或动画。

4.如权利要求1所述的方法，其中，对所述触发图像的选择包括：

显示包括多个触发图像的用户界面，其中，所述多个触发图像中的每一个触发图像针对一增强现实体验；以及

接收对来自所述多个触发图像的所述触发图像的用户选择。

5.如权利要求1所述的方法，其中，对真实世界环境中的所述平坦表面的检测包括：

为用户显示使用所述设备的照相机来定位所述平坦表面的消息；以及

响应于所述用户定位到为所述触发图像做框的所述平坦表面，而显示通知。

6.如权利要求1所述的方法，其中，所述平坦表面的形状是矩形。

7.如权利要求1所述的方法，其中，对所述触发图像的选择包括从远程数据库服务器导入所述触发图像和所述增强现实体验。

8.一种用于在没有物理触发的情况下显示增强现实体验的系统，包括：

处理器；

存储机器可读指令的存储器，所述机器可读指令用于使得所述处理器进行以下操作：

选择与增强现实体验相关联的触发图像；

识别真实世界环境中的平坦表面作为显示器内的用于所述触发图像的边界；

将所述触发图像覆盖在所述平坦表面的捕获到的视图的所述边界内，其中，所述增强现实体验被叠加在所述触发图像的至少一部分的顶上；以及

在所述显示器内启动所述增强现实体验。

9.如权利要求8所述的系统，其中，为了选择所述触发图像，所述机器可读指令用于使得所述处理器进行以下操作：

显示包括多个触发图像的用户界面，其中，所述多个触发图像中的每一个触发图像与唯一的增强现实体验相关联；以及

接收对来自所述多个触发图像的所述触发图像的用户选择。

10.如权利要求8所述的系统，其中，为了检测所述真实世界环境中的所述平坦表面，所述机器可读指令用于使得所述处理器进行以下操作：

为用户显示使用所述设备的照相机来定位所述平坦表面的消息；以及

响应于所述用户定位到所述平坦表面而显示通知。

11.如权利要求8所述的系统，其中，为了选择所述触发图像，所述机器可读指令用于使得所述处理器从远程数据库服务器导入所述触发图像以及所述增强现实体验。

12.如权利要求8所述的系统，其中，为了激活所述增强现实体验，所述机器可读指令用于使得所述处理器对所述增强现实体验进行叠加，所述增强现实体验包括以下项中的至少一个：图像、视频、声音、到网页的链接、以及三维图形或动画。

13.一种用于在没有物理触发的情况下显示增强现实体验的非暂态计算机可读介质，其包括机器可读指令，所述机器可读指令能够由处理器执行以进行以下操作：

接收对来自多个存储的触发图像的用于一增强现实体验的触发图像的选择；

检测真实世界环境中的平坦表面来为所述触发图像做框；

激活预览模式，所述预览模式将所述平坦表面的捕获到的视图显示在显示设备上；

将所述触发图像叠加在所述平坦表面的所述捕获到的视图上；以及

在所述显示设备上激活所述增强现实体验模式，其中，所述增强现实体验模式在所叠加的触发图像上显示所述增强现实体验。

14.如权利要求13所述的非暂态计算机可读介质，其中，为了检测所述平坦表面，所述机器可读指令能够由处理器执行以进行以下操作：

为用户显示使用所述显示设备的照相机来定位所述平坦表面的消息；以及

响应于所述用户成功地定位到所述平坦表面而显示通知。

15.如权利要求13所述的非暂态计算机可读介质，其中，为了激活所述增强现实体验，所述机器可读指令能够由处理器执行以用于将所述增强现实体验叠加到所述触发图像上，所述增强现实体验包括以下项中的至少一个：图像、视频、声音、到网页的链接、以及三维图形或动画。