CN117784938A - 在增强现实和虚拟现实环境之间链接和交互的系统和方法 - Google Patents

Abstract

本公开描述了用于在增强现实(AR)环境和虚拟现实(VR)环境之间链接和交互的系统和方法。AR主机系统可以捕获或检索与第一用户的现实世界环境的AR视图相关联的数据。数据可以包括现实世界视图的视听流、与覆盖在现实世界视图上的数字对象相关联的数字对象数据以及其它数据。AR主机系统将数据发送到VR系统。VR系统可以将第二用户放置到作为AR视图的表示的VR环境中。VR系统还可以生成与AR视图相关联的附加数字对象数据，并将生成的数字对象数据发送到AR主机系统。AR主机系统接收数字对象数据并修改呈现给第一用户的AR视图。

Description

在增强现实和虚拟现实环境之间链接和交互的系统和方法

本申请是申请日为2017年4月17日的名称为“在增强现实和虚拟现实环境之间链接和交互的系统和方法”的中国专利申请201710248171.X的分案申请。

相关申请的交叉参考

本申请要求于2016年4月18日提交的美国临时专利申请号62/324,235的优先权。

技术领域

本公开总体涉及增强现实和虚拟现实环境，并且更具体地涉及用于在增强现实环境和虚拟现实环境之间链接和交互的系统和方法。

发明内容

描述了用于在增强现实环境和虚拟现实环境之间进行链接和交互的系统和方法。

在第一实施例中，由与第一用户相关联的增强现实系统实现的方法可以包括：捕获现实世界环境的增强现实视图的数据；向与第二用户相关联的装置发送所述增强现实视图的捕获的数据；从与所述第二用户相关联的所述装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及响应于接收到所述数字对象数据，修改所述增强现实视图。

在另一实施方式中，该方法包括：呈现现实世界环境的增强现实视图，增强现实视图包括与现实世界环境配准的数字对象。可以通过显示覆盖在现实世界环境上的数字对象中的一个来呈现增强现实视图。发送的捕获数据可以包括现实世界环境的视频数据和与覆盖在现实世界环境上的一个或多个数字对象相关联的数字对象数据。

增强现实系统可以包括头戴式显示器。头戴式显示器可以显示覆盖在现实世界环境上的数字对象，并使用相机记录视场。

在第二实施例中，由与第一用户相关联的虚拟现实系统实现的方法可以包括：从与第二用户相关联的第二装置接收视频数据和数字对象数据，其中视频数据和数字对象数据与现实世界环境的增强现实视图的显示相关联；基于所接收的视频数据和数字对象数据，使用所述第一装置呈现虚拟现实视图；通过用户输入装置的物理操纵来接收由所述第一用户生成的数字对象数据，所述数据包括与增强现实视图相关联的数字对象数据；以及将数字对象数据发送到第二装置，其中数字对象数据修改增强现实视图的显示。

在另一实施方式中，该方法包括：从与第三用户相关联的第三装置接收视频数据，其中视频数据与现实世界环境的增强现实视图的第二显示相关联；基于从第二和第三装置接收的视频数据，创建现实世界环境的三维表示；以及显示现实世界环境的三维表示。

根据结合附图的以下详细描述，所公开的方法的其它特征和方面将变得显而易见，附图通过示例示出了根据本公开的实施例的特征。发明内容不旨在限制所要求保护的公开的范围，其仅由所附权利要求书限定。

附图说明

参照以下附图详细描述根据一个或多个各种实施例的本公开。提供附图仅是为了说明的目的，并且仅示出本公开的典型或示例实施例。

图1A示出根据本公开的用于在AR和VR环境之间链接和交互的系统。

图1B是示出根据本公开的增强现实或虚拟现实装置的部件的示例架构的框图。

图2是示出可以使用图1A的增强现实主机系统实现的示例方法的操作流程图。

图3是示出可以使用图1A的虚拟现实接收器系统实现的示例方法的操作流程图。

图4示出可以用于实现本文公开的方法的各种特征的示例计算模块。

附图不是详尽的并且不将本公开限制为所公开的精确形式。

具体实施方式

根据本文公开的技术的实施例，描述了用于在增强现实(AR)和虚拟现实(VR)环境之间链接和交互的系统和方法。在各种实施例中，这可以通过与体验环境的第一用户相关联的AR主机系统以及与可以允许第二用户与第一用户的视图交互的第二远程连接用户相关联的VR接收器系统来实现。AR主机系统包括用于生成第一用户的环境的增强视图的AR装置，并且VR接收器系统包括允许第二用户远程体验第一用户的环境并与第一用户的视图交互的VR装置。

如本文所使用的，术语“增强现实”或“AR”通常是指通过诸如视频、声音和图形的计算机生成的信息或数字信息来增强或补充的物理现实世界环境的视图。数字信息被直接配准在用户的物理现实世界环境中，使得用户可以实时地与数字信息交互。数字信息可以采取图像，声音，触觉反馈，视频，文本等的形式。例如，数字对象的三维表示可以实时地覆盖在现实世界环境的用户视图上。

如本文所使用的，术语“虚拟现实”或“VR”通常指的是用户在现实或想象的环境中的存在的模拟，使得用户可以与其交互。

图1A示出了根据本公开的示例性系统100的高层次框图。如图所示，与第一用户(即，AR主机)相关联的AR主机系统110通过通信网络130和与第二用户(即VR接收器)相关联的VR接收器系统120通信。在一些实施例中，多个AR主机系统110可以与一个或多个VR接收器系统120通信。可替代地，一个AR主机系统110可以与多个VR接收器系统120通信。

通信网络130可以包括适于在AR主机系统110和VR系统120之间交换数据的任何通信网络。AR主机系统110和VR接收器系统120可以连接到网络130的协议的一些非限制性示例包括：蜂窝电信协议，诸如GSM、UMTS、CDMA2000、LTE或WiMAX；有线通信方法，诸如电缆、DSL、拨号或光纤；或无线通信方法，诸如卫星通信或Wi-Fi。在一个实施例中，AR主机系统110和VR系统120可以通过对等网络进行通信。在一些实施例中，可以利用多个网络协议来建立通信。

在操作期间，AR主机系统110可以捕获并检索与现实世界环境的AR主机的增强现实视图相关联的数据。在各种实施例中，捕获并检索的数据可以包括例如从AR主机的视角(perspective)的AR主机的现实世界环境的视听馈送、与增强现实世界环境的AR主机视图的对象相关联的数字对象数据、关于对象和视听馈送的元数据以及其它信息。作为示例，数字对象数据可以包括覆盖在现实世界视听馈送上的信息，诸如3D图形(例如，移动动画角色)、可选择标记、声音、交互元素等。另外，数字对象数据可以包括与AR用户的现实世界环境配准的其它数据，诸如例如触觉或嗅觉反馈。由AR主机系统110捕获的其它数据可以包括运动传感器或生理传感器数据(例如，用户随时间推移的运动，用户随时间推移的心率等)以及AR主机的物理空间和现实世界对象在该物理空间中的几何数据。例如，AR头戴式显示器(HMD)可以具有相机和/或传感器以扫描房间的区域。

捕获和检索的数据可以被合成或保存在单独的数据流中。例如，来自视听馈送的音频数据、来自视听馈送的视频数据、来自现实世界环境的几何数据，以及不同类型的数字对象数据(例如，3D图形、音频、触觉反馈等)可以被记录为单独的数字文件(或流)或被合成到单个文件(或流)中。在实施方式中，可以使用时间代码来同步分离的数字文件。

在实施例中，诸如HMD系统的AR装置111(例如，眼镜、护目镜、头盔、相机、智能手机等)可以捕获数据。HMD可以包括视频透视显示器或光学透视显示器。在一些实施例中，诸如麦克风、全向相机114、传感器112和移动装置113(例如，电话、平板电脑，诸如智能手表的可穿戴装置等)的附加装置可以辅助以下的任何组合：捕获与AR主机的环境相关联的附加数据(例如，环境的附加视图)、补充提供给AR主机的增强现实视图、处理捕获的AR数据，或通过通信网络130将捕获的数据发送到虚拟现实系统120。在各种实施例，所发送的数据可以包括例如AR主机的现实世界视图的视听流、与覆盖在AR主机的增强现实视图上的数字对象相关联的数字对象数据，以及由诸如全向相机114或传感器112的附加装置捕获的附加数据。该数据可以作为单个合成的文件/流或作为单独的数据文件/流发送。

在VR系统120接收数据之后，VR接收器系统120的VR装置121(例如，HMD、全向投影仪等)可以将用户(VR接收器)放置到作为AR主机的增强现实视图表示的虚拟现实环境中。例如，VR接收器系统120可以通过对应于提供与增强现实视图的覆盖数字对象一起实时地观看AR主机的视听馈送来重新创建发送者的体验。在实施例中，从传感器112接收的数据可以用于补偿AR主机的任何头部运动。

作为另一示例，可以创建AR主机的环境的修改视图。例如，在接收与AR主机的环境相关联的复合元素之后，VR接收器系统120可以从发送者的环境重建现实的几何形状；利用附加的数字对象数据增强几何形状；并且向VR接收器系统120的用户显示增强的环境。

在一些实施例中，VR接收器不能够向AR主机提供反馈，或者AR主机不允许VR接收器提供反馈，即VR接收器是被动的(passive)。例如，著名人物可以是进行活动(例如，烹饪、攀岩、混合武术战斗)的AR主机，并且数千人可以各自具有VR接收器以体验AR主机的活动和环境。

在其它实施例中，AR主机允许VR接收器提供反馈(即，VR接收器是主动的)，VR接收器可以与AR主机就有关VR接收器关于AR主机环境的观察进行通信，包括关于AR主机的视听馈送和关于由附加设备(例如，全向相机114、传感器112等)捕获的数据的观察。通信可以是基于音频的(例如，使用麦克风)、基于触觉的(例如，VR接收器可以激活AR主机(host)上的触觉反馈传感器以捕获他们的注意)，或者通过下面进一步描述的视觉提示。例如，基于全向相机114捕获什么，VR接收器可以将AR主机从自己的当前视图指向看另一方向。

VR接收器可以通过驱使用户输入装置(例如，VR装置121、移动装置122或其它装置)并且生成被发送回AR主机系统110的数据来与AR主机的AR环境交互并影响AR主机的AR环境。例如，VR接收器可以生成在AR主机的增强现实视图中显示的新数字对象或者操纵当前在增强现实视图中显示的数字对象。在该示例的应用中，VR接收器可以通过操纵移动装置122的触摸屏或其它手动控制器来突出AR主机的注意的对象。在该示例的另一应用中，VR接收器可以生成和/或发送图像、视频和其它内容(现场直播或记录)到AR主机。

作为另一示例，VR接收器可以回放或停止AR主机的视听馈送并且以不同速度(例如，慢动作)回放以回顾特定细节。在另一个示例中，VR接收器可以使用全向相机114放大和缩小AR主机环境。例如，如果AR主机正在看建筑物的门，则VR接收器可以使用控制器缩小并看到其余的建筑物和建筑物周围的对象。AR主机的视图可以用黄色椭圆来突出，使得VR接收器可以在任何时间“跳回”到AR主机的视图。VR接收器然后可以推荐AR主机后退，将他们的头部向左、向右、向上或向下，在场景中移动对象或者向人说某事。因此，如本领域技术人员将理解的，各种实施方式中的系统100允许两个远程连接的用户体验并与相同的增强现实世界环境交互。

VR系统120可以与具有软件和/或处理器的服务器通信，以识别由AR装置111正在观看的对象，并且在互联网上检索关于那些对象的信息。

在实施方式中，服务器130(例如，基于云的应用服务器)可以处理由AR主机系统110收集的数据或由VR接收器系统120接收的数据。例如，服务器130可以创建增强的视听馈送，以基于从AR主机系统110接收的数据向VR接收器系统120显示。作为另一示例，服务器130可以计算使用由AR主机佩戴的HMD捕获并显示的三维数字对象的形状、纹理、网格或其它参数。作为又一示例，服务器130可以合成并同步从AR主机系统110接收的单独数据流以呈现AR体验。服务器130可以将由AR主机系统110收集的数据和由VR接收器系统120生成的数据贮存在存储器(易失性或非易失性)中。可替代地，在其它实施例中，AR主机系统110或VR接收器系统120可以本地处理用于呈现AR或VR体验的所有数据。

图1B是示出可以在实施方式中使用的AR或VR HMD 200的部件的示例架构的框图。如该示例中所示，HMD 200与可以卸载数据处理任务、收集与AR/VR表示相关联的附加数据，或以其它方式辅助呈现AR/VR视图的装置300(例如，本地移动装置或服务器)通信。

在各种实施例中，HMD 200是可以生成用户的现实世界环境的AR视图(例如通过显示覆盖在现实世界环境上的数字对象)和/或另一用户的现实世界环境的VR视图的任何头戴式显示系统(例如，眼镜、护目镜、遮阳板、头盔、智能手机等)。HMD 200可以包括显示器210、贮存器220、定位模块230、处理模块240、相机250、运动传感器260和连接接口280。HMD200可以是有线或无线的。

在实施方式中，显示器210可以是AR显示器，诸如光学透视显示器(例如，使用波导来显示覆盖在现实世界环境上的数字对象的透明OLED或LED屏幕)或视频透视显示器，其用覆盖的数字对象补充用户的现实世界环境的视频。可替代地，显示器210可以是不可透视的VR视频显示器。

贮存器220可以包括易失性存储器(例如RAM)、非易失性存储器(例如闪存存储器)或其某种组合。在各种实施例中，贮存器220存储AR或VR应用程序225，其在由处理模块240(例如，数字信号处理器)执行时在显示器210上生成AR视图或VR视图。在显示器210上生成的视图可以显示一个或多个覆盖的数字对象，并且其可以用于放置一个或多个数字对象。另外，贮存器220可贮存数字对象信息和AR数据流。

定位模块230可以包括用于通过网络检索位置信息的一个或多个装置。例如，定位模块230可以包括全球定位系统接收器、蜂窝接收器、网络接口卡、高度计或其某种组合。由模块230检索的位置信息可以由处理模块240处理以确定HMD 200的地理坐标。例如，安装在贮存器220中的应用软件可以使用来自GPS读数连同地图偏差(例如，从网络贮存或检索)的HMD 200的位置以确定耳机200的地理坐标。

在AR HMD实现中，相机250可以捕获现实世界环境的视频流，使得AR软件225可以在现实世界环境上覆盖数字对象以创建AR环境。例如，在显示器210是视频显示器的实施例中，由相机捕获的数字视频流被数字对象覆盖。在实施例中，相机250是全向相机。在多于一个方向上可以存在多于一个相机250。

运动传感器260接收或生成表示HMD 200的运动/位置的电子输入信号。这些电子输入信号可由处理模块240的电路接收并处理，以确定HMD 200的用户的运动和在东北-西南(NESW)和上下平面中HMD 200的绝对取向。处理模块240可以将该取向信息贮存在贮存器220中。在各种实施例中，位置传感器260可以包括一个或多个陀螺仪、加速度计和磁力计。

连接接口280可以通过通信介质将AR耳机200连接到装置300。该介质可以包括无线网络系统，诸如蓝牙(BLUETOOTH)系统、ZIGBEE系统、红外(IR)系统、射频(RF)系统、无线局域网等。在另外的实施例中，连接接口280可以使用蜂窝网络、卫星网络、局域网或其一些组合将AR耳机系统连接到因特网。

装置300可以包括显示器310、贮存器320、处理器330和将装置300通信地耦合到AR耳机200的连接接口340。在实施例中，装置300可以是任何装置(例如智能电话、平板电脑、膝上型计算机、游戏控制台、台式计算机或计算机和/或服务器的网络，或诸如智能手表的可穿戴装置)，其可在诸如生成用于在AR或VR环境中显示的数字对象、生成AR或VR视听馈送、贮存数字对象信息、处理运动传感器数据等的过程中补充HMD 200。例如，装置300可以是基于云的应用服务器，其处理从AR/VR HMD 300接收的信息并返回可由AR/VR HMD呈现的媒体信息以提供AR/VR视图。在一个实施例中，贮存器320贮存基于云的AR/VR应用程序，其在由处理器330执行时处理从AR/VR HMD 300接收的信息。

图2是示出可以使用图1A的AR主机系统110来实现的示例方法400的操作流程图。例如，方法400可以使用系统110的用户佩戴的HMD来实现。操作410和420可以如图所示，以不同的顺序或同时执行。

在操作410处，捕获或检索AR视图的数据。捕获的数据或检索的数据可以包括由一个或多个相机或麦克风(例如，集成在HMD中的相机)捕获的AR视图的视听数据、数字对象数据、传感器数据(例如，由HMD收集的运动传感器数据、由可穿戴装置收集的生理传感器数据等)、现实物理环境的几何数据，以及与AR视图相关联的其它数据。数据可以作为单独的数据流捕获。例如，来自视听馈送的音频数据、来自视听馈送的视频数据、来自现实世界环境的几何数据、传感器数据和不同类型的数字对象数据(例如，3D图形、音频、触觉反馈等)可以被记录为单独的数字文件或作为单独的流来流式化。捕获的数据的全部或子集可以被高速缓存或贮存在通信地耦合到AR主机系统110的存储器中。例如，捕获的数据可以贮存在移动装置113或服务器130的存储器中。

在操作420处，使用AR主机系统110来呈现用户的现实世界环境的AR视图。可以使用捕获和检索的数据来呈现AR视图。例如，一个或多个数字对象可以被显示覆盖在视频透视或光学透视HMD上的用户的现实世界环境上。作为示例，数字对象可以包括与AR用户的现实世界环境配准的3D图形(例如，移动动画角色)、可选择标记、声音、交互元素、触觉反馈、嗅觉反馈和其它数据。与AR视图相关联的数据的呈现和处理可以分布在多个装置(例如，HMD 111、智能电话113、服务器130等)上或者由单个装置(例如，HMD 111)完成。

可以通过执行贮存在HMD或移动装置上的AR应用225来手动或自动地创建数字对象。AR应用225的执行可以显示允许用户在用户的现实世界环境中选择、创建和/或配准数字对象的GUI。例如，在视觉数字对象的情况下，用户可以选择数字对象的一般形状、大小、取向、纹理和颜色。作为另一示例，用户可以将声音与特定位置或视觉对象相关联。在特定实施方式中，用户可以使用AR应用通过网络检索数字对象模板信息。

在操作430处，与呈现的AR视图相关联的捕获的数据通过通信网络发送到与第二用户相关联的VR接收器系统120。在发送之前，可以合成捕获的数据中的一些或全部。例如，音频数据流、可视数据流和数字对象数据流可以在时间上同步(例如，使用时间代码)并且合成到通过网络发送以用于VR接收器系统120回放的单个文件(或视听流)中。在另一实施方式中，VR接收器系统120可以独立地通过网络接收每个数据流，包括每个数据流的同步信息(例如，时间代码)。在又一实施方式中，服务器130可以同步并合成单独的数据流，并使它们可用于VR接收器系统120。在另一实施方式中，可以合成一些数据流，而其它数据流可以保持分离。例如，可以合成未被VR接收器系统修改的数据流(例如，视听馈送或AR物理环境)，而可以由VR接收系统修改的数据流(例如，数字对象数据)可以独立地被接收。

在操作440处，通过通信网络从VR接收器系统120接收与AR视图相关联的数字对象数据。例如，VR接收器系统120可能已经生成了用于在AR主机系统110的增强现实视图中显示的新数字对象，或者可能已经使用从AR主机系统110接收的数字对象数据来操纵数字对象。作为示例，从VR接收器系统120接收的数字对象数据可以包括数字标记，以加强AR主机系统110的HMD中的视场中的位置或对象、与改变其状态的现有数字字符的交互，或其它数字对象数据。

在操作450处，AR主机系统110响应于从VR接收器系统120接收数字对象数据来修改所呈现的AR视图。例如，诸如图形、声音和触觉反馈的附加数字对象可以配准在用户的现实世界环境中。

图3是示出可以使用图1A的VR接收器系统120实现的示例方法500的操作流程图。在操作510处，在VR接收器系统120处通过通信网络从AR主机系统110接收与AR视图相关联的数据。数据可以包括由AR装置的一个或多个相机或麦克风捕获的AR视图的视听数据、数字对象数据、传感器数据、现实物理环境的几何数据以及与AR视图相关联的其它数据。可以将不同类型的数据中的每一个作为单独的数据流、复合数据流或其某种组合来接收。例如，AR用户的物理环境的视听馈送可以是与数字对象数据单独接收的音频和视频的合成。

在操作520处，在VR接收器系统120的装置上呈现VR视图。例如，可以使用HMD、投影仪或智能电视向用户显示包括覆盖的数字对象数据的视听馈送。作为另一示例，VR接收器系统120可以使用接收的几何数据根据发送者的环境重建现实的几何形状、采用附加的数字对象数据增强几何形状，并且向VR接收器系统120的用户显示增强的环境。在实施方式中，服务器130可以在VR接收器系统120呈现之前处理数据。

在操作530处，VR装置的用户可以生成要与AR视图相关联的数字对象数据。可以改变现有数字对象的状态或者新的数字对象可以与环境配准。作为示例，VR接收器的用户可以通过操纵移动装置122的触摸屏或其他手动控制器来突出AR主机的注意的对象。在操作540处，将所生成的数字对象数据通过通信网络发送到AR主机系统110。

现在描述其中可以实现本公开的系统的示例设置。在第一示例中，所公开的系统可以被实现为在物理地存在于主题公园的AR主机和在另一位置(例如，在公园中或在公园外部)处的VR接收器之间提供联合主题公园体验。在该示例设置中，AR主机可以佩戴显示覆盖在主题公园环境上的数字角色的AR耳机。覆盖的数字角色可以提供主题公园的定制旅行。VR接收器可以经历AR耳机的用户的眼睛的相同游历并且与数字角色交互。

在第二示例设置中，所公开的系统可以增强电影制作和指导。例如，在拍摄场景时本地呈现的导演、相机操作者和制作者可以各自佩戴AR耳机显示器，其使得能够以多种分辨率、颜色、角度、格式等观看直播场景。这些观看可以在本地AR用户之间共享并且发送到远程VR接收器，其可以向AR用户提供反馈(例如，音乐、视频增强、视频剪辑、场景)。作为另一示例，可以在视频拍摄或制作期间生成预映射环境。VR接收器或AR用户可以选择性地将数字对象添加到由另一AR用户体验的AR视图中。以这种方式，环境可以被虚拟地绿色屏蔽。

在第三示例设置中，所公开的系统可以提供教练和助理教练之间的运动协调。例如，助理教练可以充当提供关于正在进行的足球比赛的多个视图和信息的AR主机。充当VR接收器的教练可以接收该信息并且例如通过生成可以被覆盖到助理教练的增强视图中的数字对象(例如，播放呼叫(call))来指示助理教练。VR接收器可以从多个AR主机接收多个视图，并选择其中一个视图进行放大。

在第四示例设置中，所公开的系统可以为商品或服务的买方提供共享的交易体验。例如，在商店处浏览商品的AR主机可以将关于商品的用AR信息分层的视频馈送发送到VR接收器。在一些实施方式中，AR信息可以显示所查看物品的价格和描述。VR接收器的用户可以经由GUI授权或选择要购买的物品。另外，VR接收器的用户可以通过例如将加密的令牌信息发送到AR装置以在支付终端处使用或通过将令牌信息直接发送到交易系统来购买物品，该交易系统确认AR装置的用户存在的商店处的商业购买。

在第五示例设置中，所公开的系统可以使AR主机能够用VR接收器向多个用户呈现内容。例如，可以向多个VR用户广播演员、电视节目上的参与者或感兴趣的其他人的增强视点。例如，考虑佩戴AR装置的游戏节目参与者，其被呈现数字地注册到用户环境的一组选择。该AR视图的视频馈送对于具有VR接收器的多个用户可用。VR接收器的用户可以各自选择一个选择，并且该信息可以被发送回AR主机，从而提供AR主机可以作出决定的多数投票。

可以实现所公开的系统的其它示例设置包括犯罪现场调查(例如，与犯罪现场的人员远程协调的实验室技术人员)、医疗处理(例如，充当对AR用户给出指令的VR用户的医生)。如本领域技术人员将理解的，所公开的技术可以在期望两个用户与这些用户之一的增强现实环境共同交互并体验增强现实环境的任何设置中实现。

在所公开的技术的另一个实施例中，VR接收器系统120可以基于从具有相同现实世界环境的不同视角的AR主机接收的多个视听馈送来生成现实世界环境的三维表示。例如，可以使用本领域已知的3D重建算法在时间上同步和空间上重构视听馈送。

在所公开的技术的另一实施例中，可以向与一个或多个AR主机交互的多个VR接收器提供不同级别的许可。例如，取决于观看者，可以设置许可，使得VR接收器可以1)仅观看(被动)，2)部分地与其交互(例如添加一些数字元素)，或3)与AR主机完全交互(主动)。

在所公开的技术的又一实施例中，AR主机系统110和VR系统120中的每一个可以用于AR和VR系统的双重角色。例如，AR装置110可以被配置为提供用户环境的增强现实视图或另一用户环境的虚拟现实视图。同样，VR装置120可以在这两个功能之间切换。

图4示出了可以用于实现本文公开的方法的各种特征的示例计算模块。

如本文所使用的，术语模块可以描述可以根据本申请的一个或多个实施例执行的给定功能单元。如本文所使用的，模块可以利用任何形式的硬件、软件或其组合来实现。例如，可以实现一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件例程或其它机制来构成模块。在实施方式中，本文描述的各种模块可以被实现为离散模块，或者所描述的功能和特征可以在一个或多个模块之中部分地或全部地共享。换句话说，如在阅读本说明书之后对于本领域的普通技术人员显而易见的，本文描述的各种特征和功能可以在任何给定应用中实现，并且可以以各种组合和排列在一个或多个单独或共享的模块中实现。即使功能上的各种特征或元件可以作为单独的模块被单独描述或要求保护，但是本领域普通技术人员将理解，这些特征和功能可以在一个或多个公共软件和硬件元件之间共享，并且这种描述不应当需要或暗示单独的硬件或软件组件用于实现这种特征或功能。

在一个实施例中，在应用的组件或模块全部或部分地使用软件实现的情况下，这些软件元件可以被实现为与能够执行关于其描述的功能性的计算或处理模块一起操作。在图4中示出了一个这样的示例计算模块。关于该示例计算模块600描述了各种实施例。在阅读本说明书之后，对于相关领域的技术人员来说，如何使用其它计算模块或架构来实现应用将变得显而易见。

现在参考图4，计算模块600可以表示例如在台式、膝上型、笔记本和平板计算机内发现的计算或处理能力；手持式计算装置(平板电脑、PDA、智能手机、手机、掌上电脑等)；大型机、超级计算机、工作站或服务器；或对于给定应用或环境可能需要或适当的任何其它类型的专用或通用计算装置。计算模块600还可以表示嵌入在给定装置中或以其他方式可用于给定装置的计算能力。例如，计算模块可以在诸如数字相机、导航系统、蜂窝电话、便携式计算装置、调制解调器、路由器、WAP、终端和可以包括某种形式的处理能力的其它电子装置的其它电子装置中找到。

计算模块600可以包括例如一个或多个处理器、控制器、控制模块或诸如处理器604的其它处理装置。处理器604可以例如使用通用或专用处理引擎来实现，诸如微处理器、控制器或其它控制逻辑。在所示示例中，处理器604连接到总线602，但是任何通信介质都可以用于促进与计算模块600的其它组件的交互或外部通信。

计算模块600还可以包括一个或多个存储器模块，这里简称为主存储器608。例如，优选地，随机存取存储器(RAM)或其它动态存储器可以用于存储信息和由处理器604要执行的指令。主存储器608还可以用于在执行由处理器604执行的指令期间存储临时变量或其它中间信息。计算模块600可以同样包括只读存储器(“ROM”)或耦合到总线602的其它静态贮存装置，用于存储用于处理器604的静态信息和指令。

计算模块600还可以包括一个或多个各种形式的信息贮存装置610，其可以包括例如介质驱动器612和贮存单元接口620。介质驱动器612可以包括驱动器或支持固定或可移动存储介质614的其它机构。例如，硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)，或其它可移动或固定介质驱动器可能被提供。因此，贮存介质614可以包括例如硬盘、固态驱动器、磁带、盒式磁盘、光盘、CD、DVD或蓝光，或者其它固定或可移动介质，其通过介质驱动器612读取、写入或由介质驱动器612访问。如这些示例所示，贮存介质614可以包括其中贮存有计算机软件或数据的计算机可用贮存介质。

在替代实施例中，信息贮存装置610可以包括用于允许将计算机程序或其它指令或数据加载到计算模块600中的其它类似工具。这些工具可以包括例如固定或可移除的贮存单元622和接口620。这样的贮存单元622和接口620的示例可以包括程序盒和盒接口、可移除存储器(例如，闪存或其它可移除存储器模块)和存储器插槽、PCMCIA插槽和卡，以及其它固定或可移除贮存单元622和接口620，其允许软件和数据从贮存单元622发送到计算模块600。

计算模块600还可以包括通信接口624。通信接口624可以用于允许软件和数据在计算模块600和外部装置之间传输。通信接口624的示例可以包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE 802.XX或其它接口)、通信端口(诸如例如USB端口、IR端口、RS232端口接口或其它端口)或其它通信接口。经由通信接口624传送的软件和数据通常可以在信号上携载，该信号可以是电子的、电磁的(其包括光的)或能够由给定通信接口624交换的其它信号。这些信号可以经由通道628提供给通信接口624。该通道628可以携带信号并且可以使用有线或无线通信介质来实现。通道的一些示例可以包括电话线、蜂窝链路、RF链路、光链路、网络接口、局域网或广域网以及其它有线或无线通信通道。

在本文档中，术语“计算机可读介质”、“计算机可用介质”和“计算机程序介质”用于一般指非暂时性介质、易失性或非易失性介质，诸如例如存储器608、贮存单元622和介质614。这些和其它各种形式的计算机程序介质或计算机可用介质可以涉及将一个或多个指令的一个或多个序列携载到处理装置以供执行。包含在介质上的这样的指令通常被称为“计算机程序代码”或“计算机程序产品”(其可以以计算机程序或其它分组的形式分组)。当执行时，这样的指令可以使计算模块600能够执行如本文所讨论的本申请的特征或功能。

尽管上面根据各种示例实施例和实施方式进行了描述，但是应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能性并不限于它们对它们的特定实施例的适用性，而是可以单独地或以各种组合应用于本申请的一个或多个其它实施例，无论这些实施例是否被描述以及这些特征是否被呈现为所描述的实施例的一部分。因此，本申请的宽度和范围不应当由任何上述示例性实施例限制。

除非另有明确说明，否则本文档中使用的术语和短语及其变型应当被解释为开放式的而不是限制性的。作为前述的示例：术语“包括”应当理解为意味着“包括但不限于”等；术语“示例”用于提供讨论中的项目的示例性实例，而不是其穷举或限制性列表；术语“一”或“一个”应当被理解为表示“至少一个”、“一个或多个”等；和诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”和类似含义的术语的形容词不应当被解释为将所描述的项目限制到给定时间段，而是应该被理解为涵盖现在或在将来的任何时间可用或已知的常规、传统、正常或标准技术。同样地，在本文献涉及本领域普通技术人员将显而易见或已知的技术的情况下，此类技术包括现在或在未来的任何时间对于本领域技术人员显而易见或已知的技术。

在一些情况下，诸如“一个或多个”、“至少”、“但不限于”或其它类似短语的拓宽词和短语的存在不应被解读为意指更窄的情况旨在或要求在这种加宽短语可不存在的情况下的实例。术语“模块”的使用不意味着作为模块的一部分描述或要求保护的部件或功能全部被配置在共同的封装中。实际上，模块的各种组件(无论是控制逻辑还是其它组件)中的任何一个或全部可以组合在单个封装中或单独维护，并且可以进一步分布在多个分组或封装中或跨越多个位置。

另外，根据示例性框图、流程图和其它图示来描述本文阐述的各种实施例。如在阅读本文件之后对于本领域的普通技术人员将变得显而易见的，可以在不限制于所示示例的情况下实现所示出的实施例及其各种替代方案。例如，框图及其相关描述不应被解释为强制特定架构或配置。

虽然以上已经描述了本公开的各种实施例，但是应当理解，它们仅以示例的方式而不是限制的方式被呈现。同样地，各种示图可以描绘用于本公开的示例架构或其它配置，其用于帮助理解可以包括在本公开中的特征和功能。本公开不限于所示出的示例架构或配置，但是所期望的特征可以使用各种替代架构和配置来实现。实际上，对于本领域技术人员显而易见的是，可以如何实现替代的功能、逻辑或物理分区和配置以实现本公开的期望特征。此外，除了这里描述的那些之外的多个不同的组成模块名称可以应用于各种分区。另外，关于流程图、操作描述和方法权利要求，本文呈现步骤的顺序不应强制实现各种实施例以按照相同的顺序执行所列举的功能，除非上下文另有规定。

尽管上面根据各种示例性实施例和实施方式描述了本公开，但是应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能性在其对具体实施例的适用性上不受限制，但是它们可以单独或以各种组合应用于本公开的一个或多个其它实施例，无论这些实施例是否被描述以及这些特征是否被表示为是本公开的一部分。因此，本公开的宽度和范围不应由上述示例性实施例中的任何一个限制。

Claims (23)

1.一种方法，其包括：

使用与第一用户相关联的增强现实系统捕获现实世界环境的增强现实视图的数据，其中捕获的数据包括所述现实世界环境的视频数据以及图形数字对象数据，所述图形数字对象数据包括覆盖在所述现实世界环境上的图形数字对象；

从所述增强现实系统向与第二用户相关联的装置发送所述增强现实视图的所述视频数据和所述图形数字对象，其中所述视频数据和所述图形数字对象数据作为分开的数据流被发送；

在发送所述视频数据和所述图形数字对象数据之后，从与所述第二用户相关联的所述装置接收修改所述图形数字对象的状态的数字对象数据；以及

响应于接收修改所述图形数字对象的所述状态的所述数字对象数据，所述增强现实系统修改所述增强现实视图。

2.根据权利要求1所述的方法，进一步包括：使用所述增强现实系统呈现所述现实世界环境的所述增强现实视图，所述增强现实视图包括与所述现实世界环境配准的所述图形数字对象。

3.根据权利要求2所述的方法，其中呈现所述增强现实视图包括显示覆盖在所述现实世界环境上的所述图形数字对象。

4.根据权利要求3所述的方法，其中所述增强现实系统包括用于显示覆盖在所述现实世界环境上的数字对象的头戴式显示器。

5.根据权利要求4所述的方法，其中捕获呈现的增强现实视图的数据包括记录所述头戴式显示器的视场的所述头戴式显示器的相机。

6.根据权利要求3所述的方法，其中修改呈现的增强现实视图包括修改覆盖在所述现实世界环境上的所述图形数字对象的显示。

7.根据权利要求3所述的方法，进一步包括：

从所述增强现实系统向与第三用户相关联的第二装置发送呈现的所述增强现实视图的所述视频数据和所述图形数字对象数据；

从与所述第三用户相关联的所述第二装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及

响应于从所述第二装置接收所述数字对象数据，所述增强现实系统修改所述呈现的增强现实视图。

8.根据权利要求3所述的方法，进一步包括：

所述增强现实系统使用传感器或全向相机捕获关于所述现实世界环境的附加数据；以及

将所述附加数据发送到与所述第二用户相关联的装置。

9.根据权利要求3所述的方法，其中所述图形数字对象包括覆盖在所述现实世界环境上的数字角色，其中所述数字角色提供所述现实世界环境的旅行，其中修改所述图形数字对象的所述状态的所述数字对象数据包括与所述数字角色的交互，所述交互改变所述角色的状态。

10.根据权利要求3所述的方法，其中所述现实世界环境包括商店，其中所述图形数字对象包括所述商店中的物品的价格和描述，其中修改所述图形数字对象的所述状态的所述数字对象数据包括对要购买的物品的选择。

11.根据权利要求10所述的方法，进一步包括：所述AR系统从所述第二用户接收加密的令牌信息以购买所述物品。

12.根据权利要求3所述的方法，其中所述图形数字对象包括一组选择，其中修改所述图形数字对象的所述状态的所述数字对象数据包括对来自所述一组选择的一个所述选择的选择。

13.根据权利要求1所述的方法，进一步包括：将所述数据流中的每一个的同步信息发送到与所述第二用户相关联的所述装置，其中与所述第二用户相关联的所述装置使用所述同步信息来同步所述视频数据流和所述图形数字对象数据流。

14.根据权利要求1所述的方法，其中所述增强现实视图的所述捕获的数据进一步包括所述现实世界环境的几何数据，所述方法进一步包括：

将所述几何数据作为分开的数据流从所述增强现实系统发送到与第二用户相关联的所述装置；以及

所述第二用户的装置至少使用所发送的几何数据来从所述现实世界环境重建现实的几何形状，并利用附加的数字对象数据增强所述几何形状。

15.一种增强现实系统，其包括：

处理器；

非暂时性计算机可读介质，其可操作地耦合到所述处理器并且具有贮存在其上的指令，所述指令在由所述处理器执行时使所述系统：

呈现现实世界环境的增强现实视图，所述增强现实视图包括与所述现实世界环境配准的图形数字对象；

捕获呈现的增强现实视图的数据，其中捕获的数据包括所述现实世界环境的视频数据以及图形数字对象数据，所述图形数字对象数据包括所述图形数字对象；

向与第二用户相关联的装置发送所述呈现的增强现实视图的所述视频数据和图形数字对象数据，其中所述视频数据和所述图形数字对象数据作为分开的数据流被发送；

在发送所述视频数据和所述图形数字对象数据之后，从与所述第二用户相关联的所述装置接收修改所述图形数字对象的状态的数字对象数据；以及

响应于接收修改所述图形数字对象的所述状态的所述数字对象数据，修改所述呈现的增强现实视图。

16.根据权利要求15所述的系统，进一步包括：头戴式显示器，其中呈现所述增强现实视图包括使用所述头戴式显示器来显示覆盖在所述现实世界环境上的所述图形数字对象。

17.根据权利要求16所述的系统，其中捕获所述呈现的增强现实视图的数据包括所述头戴式显示器的相机记录所述头戴式显示器的视场。

18.根据权利要求16所述的系统，其中修改所述呈现的增强现实视图包括修改覆盖在所述现实世界环境上的所述图形数字对象的显示。

19.根据权利要求16所述的系统，其中所述指令在由所述处理器执行时进一步使所述系统：

向与第三用户相关联的第二装置发送所述呈现的增强现实视图的所述视频数据和所述图形数字对象数据；

从与所述第三用户相关联的所述第二装置接收与所述增强现实视图相关联的数字对象的数字对象数据；以及

响应于从所述第二装置接收所述数字对象数据，修改所述呈现的增强现实视图。

20.根据权利要求16所述的系统，其中所述头戴式显示器包括所述处理器和非暂时性计算机可读介质。

21.一种方法，包括：

在与第一用户相关联的第一装置处从与第二用户相关联的第二装置接收视频数据和数字对象数据，其中所述视频数据和所述数字对象数据与具有第一视角的现实世界环境的增强现实视图的显示相关联；

基于接收的视频数据和数字对象数据，使用所述第一装置呈现虚拟现实视图；

接收由所述第一用户通过用户输入装置的物理操纵而生成的数字对象数据，所述数据包括与所述增强现实视图相关联的数字对象数据；

其中所述视频数据和数字对象数据作为分开的数据流被接收，所述数字对象数据包括覆盖在所述视频上的图形数字对象，并且其中接收由所述第一用户通过用户输入装置的物理操纵而生成的数字对象数据包括所述用户选择所述图形数字对象；

将所述数字对象数据发送到所述第二装置，其中所述数字对象数据修改所述增强现实视图的显示；

在所述第一装置处从与第三用户相关联的第三装置接收视频数据，其中所述视频数据与具有第二视角的所述现实世界环境的增强现实视图的第二显示相关联；以及

在所述第一装置处在时间上同步并且在空间上重构从所述第二装置接收的所述视频数据与从所述第三装置接收的所述视频数据以创建所述现实世界环境的三维表示。

22.根据权利要求21所述的方法，进一步包括：使用所述虚拟现实装置显示所述现实世界环境的所述三维表示。

23.根据权利要求21所述的方法，其中所述第一装置是头戴式显示器。