CN107656615B - 大量同时远程数字呈现世界 - Google Patents
大量同时远程数字呈现世界 Download PDFInfo
- Publication number
- CN107656615B CN107656615B CN201710864372.2A CN201710864372A CN107656615B CN 107656615 B CN107656615 B CN 107656615B CN 201710864372 A CN201710864372 A CN 201710864372A CN 107656615 B CN107656615 B CN 107656615B
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- data
- virtual world
- user device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
在此描述了用于使得一个或多个用户能够与虚拟或增强的现实环境连接的各种方法和装置。示例系统包括计算网络,所述计算网络具有通过高带宽接口互连到网关的计算机服务器,所述网关用于处理数据和/或用于使得能够传送服务器与一个或多个本地用户接口设备之间的数据。所述服务器包括存储器、处理电路和软件,以用于设计和/或控制虚拟世界,以及用于存储和处理用户数据和所述系统的其它组件提供的数据。通过用户设备可以将一个或多个虚拟世界呈现给用户,以便所述用户进行体验和交互。大量用户可以分别使用设备来同时连接到一个或多个数字世界,通过使用所述设备来彼此进行观察和交互,以及与所述数字世界内产生的对象进行交互。
Description
本申请是国际申请号为PCT/US2012/036681、国际申请日为2012年5月4日、中国国家申请号为201280032550.0、标题为“大量同时远程数字呈现世界”的PCT申请的分案申请。
相关申请的交叉引用
根据35U.S.C.$119(e),本申请要求享有2011年5月6日提交的序号为No.61/483,505的美国临时专利申请和2011年5月6日提交的序号为No.61/483,511的美国临时专利申请的优先权。
技术领域
本发明一般涉及用于为多个用户启用交互式虚拟或增强的现实环境的方法和装置。
背景技术
通过部分使用描述了环境的数据,由计算机生成了虚拟和增强的现实环境。该数据可以描述例如用户可以感测并与之进行交互的各种对象。这些对象的示例包括呈递(render)和显示给用户观看的对象、播放给用户收听的音频,以及用户感觉到的触知(或触觉)反馈。用户可以通过各种视觉、听觉和触觉手段来感测虚拟和增强的现实环境并与之进行互动。
发明内容
本公开描述了用于使得一个或多个用户能够连接或参与虚拟或增强的现实环境的各种系统和方法。
在一个示例性实施例中,一种系统包括计算网络,所述计算网络具有通过高带宽接口互连到网关的计算机服务器,所述网关用于处理数据和/或用于使得能够传送服务器与一个或多个本地用户接口设备之间的数据。所述服务器包括存储器、处理电路和软件,以用于设计和/或控制虚拟世界,以及用于存储和处理用户数据和所述系统的其它组件提供的数据。通过用户设备可以将一个或多个虚拟世界呈现给用户,以便所述用户进行体验和交互。大量用户可以分别使用设备来同时连接到一个或多个数字世界,通过使用所述设备来彼此进行观察和交互,以及与所述数字世界内产生的对象进行交互。
用户设备的示例包括智能电话、平板设备、抬头显示器(HUD)、游戏控制台,或者更一般地,能够传送数据并生成用户用于观看、收听和/或触摸的接口或与该接口进行通信的任何其它设备。一般而言,用户设备会包括用于执行存储在该设备上的存储器中的程序代码的处理器以及通信接口,该处理器与可视显示器耦合。该接口使得用户与数字世界(包括呈现给用户的其他用户和对象(真实的或虚拟的))之间能够进行视觉、听觉和/或物理交互。在一个实施例中,用户设备包括头戴式显示系统,其具有接口、用户感测系统、环境感测系统和处理器。
根据下面对示例性实施例的详细描述并结合附图一起阅读,本公开的前述和其它特征和优点将变得更加清楚。详细的描述和附图仅仅是用于说明本公开,而不是要限制由所附权利要求及其等同物限定的本发明的范围。
附图说明
通过示例的方式在不一定按比例绘制的附图中示出了实施例,其中相同的数字指示类似的部件,在附图中:
图1示出了用于为多个用户启用交互式虚拟或增强的现实环境的所公开的系统的代表性实施例;
图2示出了与图1中所示的系统进行交互的用户设备的示例;
图3示出了移动的可穿戴式(wearable)用户设备的示例性实施例;
图4示出了当图3的移动的可穿戴式用户设备操作在增强(augment)模式时由用户观看的对象的示例;
图5示出了当图3的移动的可穿戴式用户设备操作在虚拟模式时由用户观看的对象的示例;
图6示出了当图3的移动的可穿戴式用户设备操作在混合虚拟接口模式时由用户观看的对象的示例;
图7示出了位于不同地理位置的两个用户通过其各自的用户设备分别与其他用户和公共虚拟世界进行交互的实施例;
图8示出了图7的实施例被扩展成包括对触觉设备的使用的实施例;
图9A示出了混合模式连接的示例,其中,第一用户在混合虚拟接口模式下与数字世界连接,而第二用户在虚拟现实模式下与同一数字世界连接;
图9B示出了混合模式接口的另一示例,其中,第一用户在混合虚拟接口模式下与数字世界连接,而第二用户在增强现实模式下与同一数字世界连接;
图10示出了当在增强的现实模式下连接系统时的用户视图的示例说明;以及
图11示出了当用户在增强的现实模式下连接系统时的用户视图的示例说明,该用户视图示出了由物理对象触发的虚拟对象。
具体实施方式
参照图1,系统100表示用于实现下述过程的硬件。该代表性系统包括计算网络105,计算网络105包括通过一个或多个高带宽接口115连接的一个或多个计算机服务器110。该计算网络中的服务器不需要位于同一位置。所述一个或多个服务器110分别包括用于执行程序指令的一个或多个处理器。所述服务器还包括存储器,该存储器用于存储由在程序指令的引导下由服务器执行的过程使用和/或生成的程序指令和数据。
计算网络105在服务器110之间传送数据,以及通过一个或多个数据网络连接130在服务器与一个或多个用户设备120之间传送数据。这样的数据网络的示例包括但不限于任何和所有类型的公共和私有数据网络,既有移动的又有有线的,例如包括通常称为因特网的许多这样的网络的互连。附图并不旨在暗示任何特定的介质、拓扑结构或协议。
用户设备被配置成与计算网络105或者任何服务器110直接进行通信。可选地,用户设备120与远程服务器110进行通信,并且视情况,通过专门编程的用于处理数据和/或用于在网络105与一个或多个本地用户设备120之间进行数据通信的本地网关140来与本地的其它用户设备进行通信。
如图所示,网关140被实现为单独的硬件组件,该单独的硬件组件包括用于执行软件指令的处理器以及用于存储软件指令和数据的存储器。网关具有其自己的针对数据网络的有线和/或无线连接,以用于与包括计算网络105的服务器110进行通信。可选地,网关140可被集成到用户设备120,其由用户携带或穿戴。例如,网关140可被实现为可下载的在用户设备120中所包括的处理器上安装和运行的软件应用。在一个实施例中,网关140提供了经由数据网络130对计算网络105的一个或多个用户访问。
服务器110分别包括例如:用于存储数据和软件程序的工作存储器和存储装置、用于执行程序指令的微处理器、用于呈递和生成图形、图像、视频、音频和多媒体文件的图形处理器和其它特定处理器。计算网络105还可以包括用于存储由服务器110访问、使用或创建的数据的设备。
运行在服务器上以及视情况运行在用户设备120和网关140上的软件程序用于生成数字世界(在这里也被称为虚拟世界),用户利用该数字世界来与用户设备120进行交互。数字世界由这样的数据和过程来表示,即,所述数据和过程描述和/或定义了可以通过用户设备120呈现给用户以便用户进行体验和交互的虚拟的、不存在的实体、环境和条件。例如,当在用户观看或体验的场景中被实例化时将表现为有形存在的某种类型的对象、实体或项目可以包括对于以下内容的描述:其外观、其行为、如何准许用户与其进行交互,以及其它特征。用于创建虚拟世界(包括虚拟对象)的环境的数据可以包括例如:大气数据、地形数据、气象数据、温度数据、位置数据,以及用于定义和/或描述虚拟环境的其它数据。另外,定义了对虚拟世界的操作进行管理的各种条件的数据可以包括例如:物理定律、时间、空间关系,以及可用于定义和/或创建对虚拟世界(包括虚拟对象)的操作进行管理的各种条件的其它数据。
数字世界的实体、对象、条件、特征、行为或其它特性在此将被统称为对象(例如,数字对象、虚拟对象、所呈递的物理对象,等等),除非上下文中另有所指之外。对象可以是任何类型的有生命的或无生命的对象,包括但不限于:建筑物、植物、车辆、人、动物、生物、机械、数据、视频、文本、图片和其他用户。也可以在数字世界中定义对象,以用于存储关于在物理世界中实际存在的条件、行为或项目的信息。描述或定义了实体、对象或项目的数据,或者存储了其当前状态的数据,在此一般被称为对象数据。由服务器110(或者取决于实施方式,由网关140或用户设备120)来处理该数据,以便对对象的实例(instance)进行实例化,并且以适当的方式呈递该对象,以便用户通过用户设备进行体验。
开发和/或策划了数字世界的程序员创建或定义对象以及对象被实例化的条件。然而,数字世界可以让别人来创建或修改对象。一旦对象被实例化,则对象的状态可被允许由体验数字世界的一个或多个用户来更改、控制或操纵。
例如,在一个实施例中,数字世界的开发、产生和管理一般是由一个或多个系统管理程序员提供。在一些实施例中,这可以包括开发、设计和/或执行数字世界中的故事情节、主题和事件以及通过各种形式的事件和媒介(例如像电影、数码、网络、移动、增强现实和现场娱乐表演)进行叙事散布。系统管理程序员也可以处理针对数字世界和与之相关的用户群体的技术管理、缓和和策划,以及通常由网络管理人员实施的其它任务。
用户使用某种类型的本地计算设备(其通常被指定为用户设备120)来与一个或多个数字世界进行交互。这样的用户设备的示例包括但不限于:智能电话、平板设备、抬头显示器(HUD)、游戏控制台,或者能够进行数据通信并提供接口或显示器给用户的任何其它设备,以及这些设备的组合。在一些实施例中,用户设备120可以包括以下装置或者与以下装置进行通信:本地外围或输入/输出组件,例如像键盘、鼠标、操纵杆、游戏控制器、触觉接口设备、运动捕获控制器、音频设备、语音设备、投影仪系统、3D显示器以及全息3D接触式透镜。
用于与系统100交互的用户设备120的示例在图2中示出。在图2所示的示例性实施例中,用户210可以通过智能电话220与一个或多个数字世界连接。网关由存储和运行在智能电话220上的软件应用230来实现。在该特定示例中,数据网络130包括无线移动网络,其将用户设备(即,智能电话220)连接到计算机网络105。
在优选实施例的一个实施方式中,系统100能够同时支持大量用户(例如,数百万的用户),所述用户使用某种类型的用户设备120分别与同一数字世界连接,或者与多个数字世界连接。
用户设备向用户提供接口,用于启用用户与由服务器110所生成的数字世界(包括呈现给该用户的(真实的或虚拟的)其他用户和对象)之间的视觉、听觉和/或物理交互。该接口为用户提供了可以观看、收听或以其它方式感测的所呈递的场景,以及与该场景进行实时交互的能力。可以由用户设备的能力来决定用户与所呈递的场景进行交互的方式。例如,如果用户设备是智能电话,则用户交互可以通过用户接触触摸屏来实现。在另一示例中,如果用户设备是计算机或游戏控制台,则用户交互可以使用键盘或游戏控制器来实现。用户设备可以包括使得用户能够进行交互的附加组件,诸如传感器,其中,由传感器检测到的对象和信息(包括姿势)可被提供作为表示用户使用用户设备与虚拟世界的交互的输入。
可以按照各种格式(例如像二维或三维可视化显示(包括投影)、声音以及触感或触觉反馈来呈现所呈递的场景。所呈递的场景可在一个或多个模式下由用户连接,包括例如,增强的现实、虚拟的现实,以及它们的组合。所呈递的场景的格式以及接口模式可由以下中的一个或多个来决定:用户设备、数据处理能力、用户设备连接性、网络容量和系统工作负荷。通过计算网络105、服务器110、网关组件140(可选)和用户设备120来实现使大量用户同时与数字世界进行交互,以及数据交换的实时性。
在一个示例中,计算网络105包括大规模的计算系统,其具有通过高速连接(例如,高带宽接口115)而连接的单核和/或多核服务器(即服务器110)。计算网络105可形成云或网格网络。所述服务器中的每个服务器包括存储器,或者与用于存储软件的计算机可读存储器耦合,该软件用于实现数据来创建、设计、更改或处理数字世界的对象。这些对象和它们的实例化可以是动态的、变为存在以及不存在、随着时间发生改变,以及响应于其它条件而发生改变。在此相对于各种实施例在一般意义上讨论对象的动态能力。在一些实施例中,与系统100连接的每个用户也可以被表示为在一个或多个数字世界内的对象和/或对象的集合。
计算网络105内的服务器110还为每个数字世界存储计算的状态数据。计算的状态数据(在这里也被称为状态数据)可以是对象数据的组成部分,并且通常定义了对象的实例在给定时刻的状态。因此,计算的状态数据可能会随时间而改变,并且可能受到一个或多个用户的动作和/或程序员维护系统100的影响。当用户影响计算的状态数据(或包括数字世界的其它数据)时,该用户直接更改或以其它方式操纵数字世界。如果数字世界是由其他用户共享的,或者由其他用户连接,那么用户的动作可能会影响连接数字世界的其他用户所体验的内容。因此,在一些实施例中,由用户做出的对数字世界的改变将会由连接系统100的其他用户来体验。
在一个实施例中,以高速且低延迟向一个或多个用户设备120和/或网关组件140传送或部署在计算网络105内的一个或多个服务器110中存储的数据。在一个实施例中,服务器所共享的对象数据可以是完整的或者可被压缩,并且含有关于通过用户的本地计算设备(例如,网关140和/或用户设备120)在用户侧重新建立完整的对象数据、进行呈递和可视的指示。在一些实施例中,根据用户的特定设备和带宽,在计算网络105的服务器110上运行的软件可以针对数字世界内的对象(或者计算网络105所交换的任何其它数据)来调整其生成和发送到特定用户的设备120的数据。例如,当用户通过用户设备120与数字世界交互时,服务器110可以识别该用户在使用的特定类型的设备,在用户设备与服务器之间的该设备的连接性和/或可用的带宽,并且对递送到该设备的数据适当地调整大小和进行平衡,以便优化用户交互。这样的示例可以包括将所传输的数据的大小降低成低分辨率质量,从而使得该数据可被显示在具有低分辨率显示器的特定的用户设备上。在优选的实施例中,计算网络105和/或网关组件140按照足以呈现出操作在15帧/秒或更高情况下的接口的速率以及在高清晰度质量或更好情况的分辨率下将数据递送到用户设备120。
网关140为一个或多个用户提供对于计算网络105的本地连接。在一些实施例中,其可由可下载的运行在用户设备120或其它本地设备(如图2中所示)上的软件应用来实现。在其它实施例中,其可由与用户设备120通信但未与用户设备120结合或附接的硬件组件(具有适当的软件/固件存储在该组件上,该组件具有处理器)来实现,或者可由与用户设备120结合的硬件组件(具有适当的软件/固件存储在该组件上,该组件具有处理器)来实现。网关140通过数据网络130与计算网络105通信,并提供了在计算网络105与一个或多个本地用户设备120之间的数据交换。如在下面更详细讨论的,网关组件140可以包括软件、固件、存储器以及处理电路,并且能够处理在网络105与一个或多个本地用户设备120之间通信的数据。
在一些实施例中,网关组件140监控和调节在用户设备120与计算机网络105之间交换的数据的速率,以便允许最佳的数据处理功能用于特定的用户设备120。例如,在一些实施例中,网关140缓冲和下载数字世界的静态和动态两方面,即使是那些超出了通过与用户设备连接的接口而呈现给用户的视野以外的内容。在这样的实施例中,静态对象(结构化的数据、软件实施的方法,或者这两者)的实例可被存储在(网关组件140、用户设备120或者这两者本地的)存储器中,并且按照计算网络105和/或用户设备120所提供的数据指示,针对本地用户的当前位置而被参考。动态对象的实例(其可以包括例如其他用户和/或本地用户控制的对象以及智能软件代理)存储在高速存储器缓冲区中。代表被呈现给用户的场景内的二维或三维对象的动态对象例如可以细分成分量形状,诸如在移动但不改变的静态形状,以及在改变的动态形状。可通过计算网络105在网关组件140的管理下由来自服务器110的实时的线程化高优先级数据流来更新在改变的动态对象的部分。作为设置线程化数据流的优先级的一个示例,在用户的眼睛的60度视野内的数据相比于较为外围的数据而言可被给予较高的优先级。另一示例包括对背景中的静态对象之上的用户视野内的动态特征和/或对象设置优先级。
除了管理计算网络105与用户设备120之间的数据连接之外,网关组件140还可以存储和/或处理可被呈现给用户设备120的数据。在一些实施例中,例如,网关组件140可以接收压缩数据(其描述了例如将从计算网络105呈递给用户观看的图形对象),并且实施高级呈递技术,以便减轻从计算网络105传送到用户设备120的数据负载。在另一示例中,其中网关140是单独的设备,网关140可以为对象的本地实例存储和/或处理数据,而不是将数据传送给计算网络105进行处理。
现在还是参照图3,可由一个或多个用户按照各种格式(这可以取决于用户的设备的能力)来体验数字世界。在一些实施例中,用户设备120可以包括例如智能电话、平板设备、抬头显示器(HUD)、游戏控制台或者可穿戴式设备。一般而言,用户设备会包括与显示器耦合的用于执行存储在该设备的存储器中的程序代码的处理器,以及通信接口。在图3中示出了用户设备的示例实施例,其中,该用户设备包括移动的可穿戴式设备,称为头戴式显示系统300。根据本公开的实施例,头戴式显示系统300包括用户接口302、用户感测系统304、环境感测系统306和处理器308。虽然图3中将处理器308示为与头戴式系统300分离的单独组件,但是在备选实施例中,处理器308可与头戴式系统300的一个或多个组件进行集成,或者可以被集成到其它系统100组件(例如像网关140)中。
用户设备向用户呈现接口302以用于交互和体验数字世界。这种交互可涉及用户和数字世界、与系统100连接的一个或多个其它用户,以及在数字世界内的对象。接口302通常提供图像和/或音频传感输入(在一些实施例中是物理传感输入)给用户。因此,接口302可以包括扬声器(未示出),以及在一些实施例中能够启用立体3D画面和/或体现了人类视觉系统的更自然的特征的3D画面的显示组件303。在一些实施例中,显示组件303可以包括透明接口(诸如清晰的OLED),当其处于“关闭”设置时使得用户周围的物理环境的光学正确视图能够具有从小到无的光学变形或计算重叠。如在下面更详细讨论的,接口302可以包括附加设置,其允许多种视觉/接口性能和功能。
在一些实施例中,用户感测系统304可以包括一个或多个传感器310,其可操作以便检测与某些特性、特征或者与穿戴了系统300的个体用户有关的信息。例如,在一些实施例中,传感器310可以包括照相机或光学检测/扫描电路,其能够检测用户的实时光学特征/测量结果,例如以下中的一个或多个:瞳孔收缩/扩张、每个瞳孔的角度测量/定位、球度(spherocity)、眼睛形状(如眼睛形状随时间改变)以及其它解剖数据。该数据可提供或可用于计算可由头戴式系统300和/或接口系统100用于优化用户的观看体验的信息(例如,用户的视觉焦点)。例如,在一个实施例中,传感器310可以分别为用户的每个眼睛测量瞳孔收缩的速率。该数据可被传送到处理器308(或网关组件140或服务器110),其中,使用该数据来确定例如用户对于接口显示器303的亮度设置的反应。可以根据用户的反应对接口302作出调整,例如通过以下方式:如果用户的反应指示显示器303的亮度水平过高,则调暗显示器303。用户感测系统304可以包括除了上面讨论的那些或图3中所示的那些以外的其它组件。例如,在一些实施例中,用户感测系统304可以包括扩音器,以用于接收来自用户的语音输入。用户感测系统还可以包括一个或多个红外照相机传感器、一个或多个可见光谱照相机传感器、构造的光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力计、近程传感器、GPS传感器、超声波发射器和检测器以及触觉接口。
环境感测系统306包括一个或多个传感器312,以用于获得来自用户周围的物理环境的数据。传感器所检测到的对象或信息可被提供作为用户设备的输入。在一些实施例中,该输入可表示与虚拟世界的用户交互。例如,在观看桌子上的虚拟键盘的用户可以用他的手指做出手势,就好像他在虚拟键盘上键入那样。手指移动的动作可被传感器312捕获并提供给用户设备或系统作为输入,其中,该输入可以用来改变虚拟世界或创建新的虚拟对象。例如,手指的动作可(使用软件程序)被识别为键入,并且所识别的键入手势可以与虚拟键盘上的虚拟键的已知位置进行组合。然后,该系统可以呈递虚拟监视器给用户(或者与该系统连接的其他用户),其中虚拟监视器显示了由用户键入的文本。
传感器312可以包括例如通常面朝外部的照相机或扫描仪,用于例如通过连续性地和/或间歇性地被投射的红外结构光来解释场景信息。环境感测系统306可用于通过检测和登记本地环境(包括静态对象、动态对象、人、手势和各种照明、大气和声学条件)来映射用户周围的物理环境的一个或多个元素。因此,在一些实施例中,环境感测系统306可以包括嵌入到本地计算系统(例如,网关组件140或处理器308)中的基于图像的3D重构软件,其可操作以便对传感器312所检测到的一个或多个对象或信息进行数字重构。在一个示例性实施例中,环境感测系统306提供了以下中的一个或多个:动作捕捉数据(包括手势识别)、深度感测、面部识别、对象识别、唯一的对象特性识别、语音/音频识别和处理、声源定位、降噪、红外线或类似的激光投影、以及单色和/或彩色CMOS传感器(或其它类似的传感器)、视野传感器,以及各种其它光学增强型传感器。应当理解,环境感测系统306可以包括除了上面讨论的或图3中所示的那些之外的其它组件。例如,在一些实施例中,环境感测系统306可以包括麦克风,以用于接收来自本地环境的音频。用户感测系统还可以包括一个或多个红外照像机传感器、一个或多个可见光谱照相机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力计、近程传感器、GPS传感器、超声波发射器和检测器以及触觉接口。
如上所述,在一些实施例中,处理器308可与头戴式系统300的其它组件进行集成,与接口系统100的其它组件进行集成,或者可以是单独的设备(可穿戴式或与用户分离),如图3所示。通过物理的有线连接,或者通过无线连接,例如像移动网络连接(包括蜂窝式电话和数据网络)、Wi-Fi或蓝牙,处理器308可被连接到头戴式系统300的各种组件和/或接口系统100的各种组件。处理器308可以包括存储器模块、集成和/或附加的图形处理单元、无线和/或有线因特网连接、以及编解码器和/或能够将来自于源(例如计算网络105、用户感测系统304、环境感测系统306或网关组件140)的数据转换成图像和音频数据的固件,其中,所述图像/视频和音频可以经由接口302被呈现给用户。
处理器308处理针对头戴式系统300的各种组件的数据处理,以及在头戴式系统300与网关组件140(以及在一些实施例中的计算网络105)之间的数据交换。例如,处理器308可用于缓冲和处理在用户与计算网络105之间的数据流式传输,从而实现平滑、连续和高保真的用户体验。在一些实施例中,处理器308可以在这样的速率下处理数据,即所述速率足以达到在320×240分辨率下的8帧/秒与高清晰度分辨率(1280×720)下的24帧/秒(或者更好的诸如60-120帧/秒和4k分辨率以及更高水平(10k+的分辨率和50,000帧/秒))之间的任意位置。此外,处理器308可以存储和/或处理可被呈现给用户的数据,而不是从计算网络105实时流式传输的数据。例如,在一些实施例中,处理器308可以从计算网络105接收压缩数据,并且实施高级呈递技术(诸如照明或阴影),以便减轻从计算网络105传送到用户设备120的数据负载。在另一示例中,处理器308可以存储和/或处理本地对象数据,而不是将数据传送到网关组件140或计算网络105。
在一些实施例中,头戴式系统300可以包括各种设置或模式,其允许各种视觉/接口性能和功能。模式可以由用户手动选择,或者由网关组件140或头戴式系统300的组件自动选择。如前面所提到的,头戴式系统300的一个示例包括“关闭”模式,在该“关闭”模式中,接口302基本上不提供数字或虚拟内容。在关闭模式中,显示组件303可以是透明的,从而使得用户周围的物理环境的光学正确视图具有小到无的光学变形或计算重叠。
在一个示例性实施例中,头戴式系统300包括“增强”模式,其中接口302提供增强的现实接口。在增强模式下,接口显示器303可以基本上是透明的,从而允许用户观看本地物理环境。在同一时间,由计算网络105、处理器308和/或网关组件140所提供的虚拟对象数据结合物理本地环境被呈现在显示器303上。
图4示出了当接口302在增强模式中操作时由用户观看的对象的示例性实施例。如图4所示,接口302呈现物理对象402和虚拟对象404。在图4所示的实施例中,物理对象402是存在于用户的本地环境中的真实的物理对象,而虚拟对象404是由系统100创建并通过用户接口302显示的对象。在一些实施例中,虚拟对象404可被显示在物理环境内的固定地方或位置(例如,站在位于物理环境中的特定街道标志旁边的虚拟猴子),或者可以向用户显示为位于用户接口/显示器303的相对位置处的对象(例如,在显示器303的左上角可见的虚拟时钟或温度计)。
在一些实施例中,虚拟对象可被制造成是由物理上出现在用户视野之内或之外的对象提示或触发的。虚拟对象404由物理对象402提示或触发。例如,物理对象402实际上可能是凳子,而虚拟对象404可被显示给用户(并且在一些实施例中,显示给与系统100连接的其他用户)作为站立在凳子上的虚拟动物。在这样的实施例中,环境感测系统306可以使用存储在例如处理器308中的软件和/或固件来识别(由传感器312捕获的)各种特性和/或形状图案,以便将物理对象402标识为凳子。这些所识别的形状(例如像凳子顶部)可以用来触发虚拟对象404的位置。其它示例包括墙壁、桌子、家具、汽车、建筑物、人、地板、植物、动物—任何可以看做可用来触发按照与一个或多个对象的某种关系的增强的现实经验的对象。
在一些实施例中,所触发的特定的虚拟对象404可以由用户选择或由头戴式系统300或接口系统100的其它组件自动选择。此外,在虚拟对象404被自动触发的实施例中,可以基于对虚拟对象404进行提示或触发的特定物理对象402(或其特性)来选择特定的虚拟对象404。例如,如果物理对象被标识为在游泳池上延伸的跳水板,则所触发的虚拟对象可以是穿戴着潜水帽、游泳衣、漂浮设备或其它相关项目的生物。
在另一示例性实施例中,头戴式系统300可以包括“虚拟”模式,其中接口302提供了虚拟的现实接口。在虚拟模式下,从显示器303中省略的物理环境,并且由计算网络105、处理器308和/或网关组件140所提供的虚拟对象数据被呈现在显示器303上。可以通过物理阻挡可视显示器303(例如通过盖子)或者通过接口302的特性(其中显示器303转变成不透明的设置)来实现对物理环境的省略。在虚拟模式下,可以通过接口302将实况和/或存储的视觉和音频传感呈现给用户,并且用户通过接口302的虚拟模式来体验数字世界(数字对象、其他用户等)并与该数字世界进行交互。因此,在虚拟模式下提供给用户的接口包括含有虚拟数字世界的虚拟对象数据。
图5示出了当头戴式接口302操作在虚拟模式下时用户接口的示例性实施例。如图5所示,用户接口呈现了包括数字对象510的虚拟世界500,其中数字对象510可以包括大气、天气、地形、建筑物和人。虽然图5中未示出,但是数字对象还可以包括例如植物、车辆、动物、生物、机械、人工智能、位置信息,以及定义了虚拟世界500的任何其它对象或信息。
在另一个示例性实施例中,头戴式系统300可以包括“混合”模式,其中头戴式系统300的各种特性(以及虚拟模式和增强模式的特性)可以被组合,以便创建一个或多个定制接口模式。在一个示例性定制接口模式中,从显示器303中省略物理环境,并且按照与虚拟模式相似的方式在显示器303上呈现虚拟对象数据。然而,在该示例性定制接口模式中,虚拟对象可以是完全虚拟的(即,它们不存在于本地物理环境中)或者它们可以是代替物理对象而被呈递为接口302中的虚拟对象的真实的本地物理对象。因此,在该特定的定制模式(在此称为混合虚拟接口模式)中,实况和/或存储的视觉和音频传感可通过接口302被呈现给用户,并且用户体验包括完全虚拟的对象和所呈递的物理对象的数字世界,并与该数字世界进行交互。
图6示出了根据混合虚拟接口模式操作的用户接口的示例性实施例。如图6所示,用户接口呈现虚拟世界600,该虚拟世界600包括完全虚拟的对象610以及所呈递的物理对象620(呈递以其它方式在物理上出现于该场景中的对象)。根据图6中所示的示例,所呈递的物理对象620包括建筑物620A、地面620B、以及平台620C,并且用粗体轮廓630示出以便向用户指示这些对象被呈递。此外,完全虚拟的对象610包括另外的用户610A、云610B、太阳610C、以及在平台620C顶部上的火焰610D。应该理解,完全虚拟的对象610可以包括例如大气、天气、地形、建筑物、人、植物、车辆、动物、生物、机械、人工智能、位置信息、以及定义了虚拟世界600而不是根据本地物理环境中存在的对象所呈递的任何其它对象或信息。相反,所呈递的物理对象620是被呈递为接口302中的虚拟对象的真实的本地物理对象。粗体轮廓630表示用于向用户指示所呈递的物理对象的一个示例。从而,可以使用除了在此所公开的那些以外的方法来这样指示所呈递的物理对象。
在一些实施例中,可以使用环境感测系统306的传感器312(或者使用其它设备,诸如动作或图像捕捉系统)来检测所呈递的物理对象620,并通过存储在例如处理电路308中的软件和/或固件将所呈递的物理对象620转换成数字对象数据。因此,当用户与混合虚拟接口模式中的系统100连接时,可以将各种物理对象向用户显示为所呈递的物理对象。这可能是特别有用的,其用于允许用户与系统100连接,同时仍然能够安全地对本地物理环境进行导航。在一些实施例中,用户能够针对接口显示器303选择性地移除或添加所呈递的物理对象。
在另一示例性定制接口模式中,接口显示器303可以基本上是透明的,从而允许用户查看本地物理环境,同时各种本地物理对象被显示给用户作为所呈递的物理对象。该示例性定制接口模式类似于增强模式,不同的是,如以上相对于前面的示例所讨论的,虚拟物体中的一个或多个可作为所呈递的物理对象。
前述示例性定制接口模式代表了能够由头戴式系统300的混合模式提供的各种定制接口模式的一些示例性实施例。因此,可以根据头戴式系统300的组件所提供的特性和功能的各种组合以及以上在不脱离本公开的范围的情况下所讨论的各种模式来创建各种其它的定制接口模式。
本文所讨论的实施例仅仅是描述了用于提供操作在关闭、增强、虚拟或混合模式下的接口的若干示例,并不旨在限制头戴式系统300的组件的功能的或相应的接口模式的范围或内容。例如,在一些实施例中,虚拟对象可以包括被显示给用户的数据(时间、温度、海拔等)、由系统100创建和/或选择的对象、由用户选择和/或创建的对象,或者甚至是表示与系统100连接的其他用户的对象。此外,虚拟对象可以包括物理对象的扩展(例如,从物理平台生长的虚拟雕塑),可以可在视觉上与物理对象相连或断开。
虚拟对象也可以是动态的并且随时间改变,根据用户或其他用户、物理对象和其它虚拟对象之间的各种关系(例如,位置,距离等)而改变,和/或根据在头戴式系统300、网关组件140或服务器110的软件和/或固件中指定的其它变量而改变。例如,在某些实施例中,虚拟对象可以对以下进行响应:用户设备或其组件(例如,虚拟球在触觉设备被放置在它旁边时发生移动),身体或语言上的用户交互(例如,虚拟生物在用户接近它时跑掉,或者在用户跟它说话时也说话),一把椅子被扔在虚拟生物处并且该生物避开椅子,其它虚拟对象(例如,第一虚拟生物在它看到第二虚拟生物时做出反应),物理变量,诸如位置、距离、温度、时间等,或者在用户的环境中的其它物理对象(例如,被示出站立在物理街道上的虚拟生物在物理车辆经过时变得扁平)。
本文所讨论的各种模式可被应用于除了头戴式系统300以外的用户设备。例如,可通过移动电话或平板设备来提供增强的现实接口。在这样的实施例中,电话或平板可以使用照相机来捕获用户周围的物理环境,并且虚拟对象可被覆盖在电话/平板显示屏上。此外,可以通过在电话/平板的显示屏上显示数字世界来提供虚拟模式。因此,这些模式可被混合以便如上所述使用本文所讨论的电话/平板的组件以及与用户设备相连或组合使用的其它组件来创建各种定制接口模式。例如,可以由计算机监视器、电视屏幕或者缺乏与动作或图像捕捉系统组合操作的照相机的其它设备来提供混合虚拟接口模式。在该示例性实施例中,可以从监视器/屏幕观看虚拟世界,并且可以通过动作或图像捕捉系统来实施对象检测和呈递。
图7示出了本公开的示例性实施例,其中两个位于不同地理位置的用户通过其各自的用户设备分别与其他用户以及公共虚拟世界进行交互。在该实施例中,两个用户701和702在来回地扔虚拟球703(一种类型的虚拟对象),其中,每个用户能够观察到其他用户在虚拟世界上的影响(例如,每个用户观察到虚拟球改变方向,被其他用户抓住,等等)。由于计算网络105中的服务器110跟踪到虚拟对象(即,虚拟球703)的运动和位置,因此在一些实施例中,系统100可以向用户701和702传达该球703相对于每个用户而言到达的时间和确切位置。例如,如果第一用户701位于伦敦,则用户701可以按照系统100所计算的速度将球703扔给位于洛杉矶的第二用户702。因此,系统100可以向第二用户702(例如,通过电子邮件、文本消息、即时消息等)传达该球到达的确切时间和位置。从而,第二用户702可以使用他的设备来看到球703在指定的时间和位置到达。当一个或多个虚拟对象在全球虚拟旅行时,一个或多个用户也可以使用地理位置映射软件(或类似物)来跟踪所述一个或多个虚拟对象。这样的示例可以是:叠加在真实世界中的穿戴着3D头戴式显示器的用户仰望天空,并且看到虚拟飞机从头顶飞过。可以由以下来驾驶虚拟飞机:用户、智能软件代理(在用户设备或网关上运行的软件)、可在本地和/或远程的其他用户、和/或任何这些的组合。
如前面所提到的,用户设备可以包括触觉接口设备,其中所述触觉接口设备在该触觉设备被系统100确定位于相对于虚拟对象的一物理空间位置时向用户提供了反馈(例如,电阻、振动、灯光、声音等)。例如,上述针对图7的实施例可以被扩展成包括对触觉设备802的使用,如图8中所示。在该示例性实施例中,触觉设备802可以在虚拟世界中被显示为棒球球棒。当球703到达时,用户702可以在虚拟球703处摆动触觉设备802。如果系统100确定由触觉设备802提供的虚拟球棒与球703进行了“接触”,那么触觉设备802可以振动或提供其它反馈给用户702,并且虚拟球703可以根据所检测到的球与球棒接触的速度、方向和时间在系统100计算出的方向上弹离虚拟球棒。
在一些实施例中,所公开的系统100可以促进混合模式连接,其中多个用户可以使用不同的接口模式(例如,增强的、虚拟的、混合的,等等)与公共虚拟世界(和其中所含的虚拟对象)连接。例如,在虚拟接口模式下与特定虚拟世界连接的第一用户可以与在增强的现实模式中连接同一虚拟世界的第二用户进行交互。
图9A说明了以下示例:(在混合虚拟接口模式中与系统100的数字世界连接的)第一用户901和第一对象902相对于在完全虚拟的现实模式中与系统100的同一数字世界连接的第二用户922而显现为虚拟对象。如上所述,当通过混合虚拟接口模式与数字世界连接时,本地物理对象(例如,第一用户901和第一对象902)可以被扫描并被呈递为虚拟世界中的虚拟对象。第一用户901可以由例如动作捕获系统或类似设备进行扫描,并在虚拟世界中(通过存储在动作捕获系统、网关组件140、用户设备120、系统服务器110,或者其它设备中的软件/固件)被呈递为第一呈递物理对象931。类似地,第一对象902可以由例如头戴式接口300的环境感测系统306扫描,并在虚拟世界中(由存储在处理器308、网关组件140、系统服务器110或者其它设备中的软件/固件)被呈递作为第二呈递物理对象932。在图9A的第一部分910中将第一用户901和第一对象902示为物理世界中的物理对象。在图9A的第二部分920中,将第一用户901和第一对象902被显示为如同他们相对于在完全虚拟的现实模式中与系统100的同一数字世界连接的第二用户922而显现为的第一呈递物理对象931和第二呈递物理对象932。
图9B示出了混合模式连接的另一示例性实施例,其中第一用户901在混合虚拟接口模式中与数字世界连接,如上面所讨论的,而第二用户922在增强的现实模式中与同一数字世界(以及第二用户的物理本地环境925)连接。在图9B的实施例中,第一用户901和第一对象902位于第一物理位置915,而第二用户922位于与第一位置915相隔一定距离的不同的第二物理位置925。在该实施例中,可以实时(或接近实时)地将虚拟对象931和932调换到虚拟世界内与第二位置925相对应的位置。因此,第二用户922可以在第二用户的物理本地环境925中观察表示第一用户901和第一对象902的所呈递的物理对象931和932,并分别与之进行互动。
图10示出了当在增强的现实模式下连接系统100时的用户视图的示例说明。如图10中所示,用户看到本地物理环境(即,具有多个建筑物的城市)以及虚拟人物1010(即,虚拟对象)。虚拟人物1010的位置可由2D可视目标(例如,布告板、明信片或杂志)和/或一个或多个3D参考框架(诸如建筑物、汽车、人、动物、飞机、部分的建筑物、和/或任何3D物理对象、虚拟对象,和/或它们的组合)来触发。在图10所示的示例中,在城市中的建筑物的已知位置可以提供登记基准(registration fiducial)和/或信息以及关键特性来呈递虚拟人物1010。此外,用户的地理空间位置(例如,由GPS、姿态/位置传感器等提供的)或相对于建筑物的移动位置可以包括由计算网络105用来触发对用于显示一个或多个虚拟人物1010的数据的传输。在一些实施例中,用于显示虚拟人物1010的数据可以包括用于呈递虚拟人物1010或其部分的(将由网关组件140和/或用户设备120执行的)被呈递的人物1010和/或指令。在一些实施例中,如果用户的地理空间位置是不可用的或未知的,则服务器110、网关组件140和/或用户设备120可以使用估计算法仍然显示虚拟对象1010,所述估计算法使用根据时间和/或其它参数变化的用户的最后的已知位置来估计特定的虚拟对象和/或物理对象可位于何处。要是用户的传感器变为闭锁的和/或遇到其它故障的话,这也可以用于确定任何虚拟对象的位置。
在一些实施例中,虚拟人物或虚拟对象可以包括虚拟雕像,其中由物理对象来触发对该虚拟雕像的呈递。例如,现在参照图11,虚拟雕像1110可由真实的物理平台1120触发。对雕像1110的触发可以是响应于用户设备或系统100的其它组件检测到可视的对象或特性(例如,基准、设计特性、几何形状、图案、物理位置、高度等)。当用户在没有用户设备的情况下观看平台1120时,用户看到该平台1120没有雕像1110。然而,当用户通过用户设备观看平台1120时,用户看到在平台1120上的雕像1110,如图11中所示。雕像1110是虚拟对象,因此可以是静止的、动画、随时间而改变或者相对于用户的观看位置而改变,或者甚至取决于那个特定用户正在观看雕像1110而改变。例如,如果用户是小孩,则雕像可以是狗;而如果观众是成年男性,则雕像可以是大的机器人,如图11中所示。存在关于依赖用户和/或依赖状态的体验的示例。这将使得一个或多个用户能够感知单独的一个或多个虚拟对象和/或与物理对象相结合的一个或多个虚拟对象,并且体验到虚拟对象的定制和个性化的版本。雕像1110(或其部分)可由系统的各种组件来呈递,所述各种组件包括例如在用户设备上安装的软件/固件。使用指示了用户设备的位置和姿态的数据,与虚拟对象(即,雕像1110)的登记特性相组合,虚拟对象(即,雕像1110)形成了与物理对象(即,平台1120)的关系。例如,一个或多个物理对象与一个或多个虚拟对象之间的关系可以根据以下内容变化:距离、定位、时间、地理位置、与一个或多个其它虚拟对象的接近度,和/或任何其它功能上的关系(包括任何种类的虚拟和/或物理数据)。在一些实施例中,在用户设备中的图像识别软件可进一步增强数字到物理对象的关系。
所公开的系统和方法提供的交互接口可被实现以便促进各种活动,例如与一个或多个虚拟环境和对象进行交互,与其他用户进行交互,以及体验各种形式的媒体内容,包括广告、音乐会和电影。因此,所公开的系统促进了用户交互,从而使得用户不仅观看或收听到媒体内容,而且积极参与和体验媒体内容。在一些实施例中,用户参与可以包括更改现有的内容或创建要在一个或多个虚拟世界中呈递的新内容。在一些实施例中,媒体内容和/或用户创建内容的主题可以围绕一个或多个虚拟世界的神话创作(mythopoeia)。
在一个示例中,音乐家(或其他用户)可以创建要被呈递给与特定虚拟世界交互的用户的音乐内容。该音乐内容可能包括例如各种单曲、EP、专辑、视频、短片以及演唱会演出。在一个示例中,大量用户可以连接系统100来同时体验由音乐家表演的虚拟演唱会。
在一些实施例中,媒体出品可以含有与特定实体(例如,乐队、艺术家、用户等)相关联的唯一的标识码。该代码可以具有以下形式:一组字母数字字符、UPC码、QR码、2D图像触发器、3D物理对象特性触发器,或者其它数字标记,以及声音、图像和/或这二者。在一些实施例中,也可以将该代码嵌入可通过使用系统100来连接的数字媒体。用户可以获取该代码(例如,通过支付费用)并兑换该代码以便访问与该标识码相关联的实体所产生的媒体内容。可以针对用户的接口添加或删除媒体内容。
提供本文所公开的实施例来说明用于为多个用户启用交互式虚拟或增强的现实环境的方法和装置的一个或多个实施例。由此,可以在不脱离如以下提供的权利要求中所阐述的本公开的范围的情况下,对本文所公开的方法和装置进行改变。例如,虽然在此相对于头戴式显示系统讨论了各种示例和实施例,但是所述各种示例和实施例也可以应用于能够提供相对于那些特定实施例所讨论的接口或能力的其它用户设备。
Claims (17)
1.一种用于使得一个或多个用户能够与虚拟世界进行交互的系统,该系统包括:
可穿戴式用户设备,用于呈现所述虚拟世界给用户、并且使得所述用户能够与所述虚拟世界进行交互,所述用户设备包括:
存储器,
处理电路,
软件,所述软件存储在所述存储器中,并且能由所述处理电路执行以便至少部分地根据从计算机网络接收到的虚拟世界数据来呈递所述虚拟世界的至少一部分,
显示器,所述显示器可操作以便呈现所述虚拟世界给用户,
通信接口,所述通信接口可操作以便在数据网络上传送所述虚拟世界数据的至少一部分,
感测系统,所述感测系统可操作以便感测以下至少一者:所述用户、物理对象、或者所述用户周围的物理环境,
其中,所述处理电路可操作以便执行所述软件以:
处理所述虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到所述可穿戴式用户设备以便向所述用户呈现为虚拟对象;
通过可操纵地耦合到所述可穿戴式用户设备并且与所述可穿戴式用户设备不同的网关来监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
响应于以下至少一者来呈递所述虚拟世界中的改变:所感测到的用户、所感测到的物理对象、或者所感测到的物理环境,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的物理对象而改变,以及
其中,所述物理对象包括所述用户周围的物理环境中的映射对象,
其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
2.根据权利要求1所述的系统,其中,所述虚拟世界中的改变包括:与所感测到的用户、物理对象或物理环境具有预定关系的虚拟对象。
3.根据权利要求2所述的系统,其中,所述通信接口可操作以便将所述虚拟对象传送到所述计算机网络。
4.根据权利要求1至3中任一项所述的系统,其中,按照二维格式或三维格式中的至少一者来呈现所述虚拟世界。
5.根据权利要求1至3中任一项所述的系统,其中,所述用户设备使得在以下至少一者下能够进行交互:增强的现实模式、虚拟的现实模式、或者增强和虚拟的现实模式的组合。
6.根据权利要求1至3中任一项所述的系统,其中,所述用户设备还包括用于提供触感或触觉反馈的设备。
7.根据权利要求1至3中任一项所述的系统,其中,所述虚拟世界数据的至少一部分是从网关接收的。
8.根据权利要求1至3中任一项所述的系统,其中,所述网关可操作以便分发所述虚拟世界数据来用于进行处理。
9.一种计算机实现的方法,该方法包括:
处理虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到可穿戴式用户设备;
通过可操纵地耦合到所述可穿戴式用户设备并且与所述可穿戴式用户设备不同的网关来监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
基于所述虚拟世界数据呈现虚拟世界给用户设备;
采用连接到所述可穿戴式用户设备的用户感测系统检测第一用户的瞳孔的角度测量;
接收传感器数据,所述传感器数据由照相机针对用户使用所述用户设备执行的手势而生成;
识别所述手势;
响应于所识别的手势的传感器数据而生成虚拟对象;以及
呈现所述虚拟对象给所述用户设备,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的所述用户外部的静态物理对象而改变,以及
其中,所述物理对象包括所述第一用户周围的物理环境中的映射对象,其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
10.根据权利要求9所述的方法,该方法还包括:在第二用户设备上呈现所述虚拟对象。
11.根据权利要求9-10中任一项所述的方法,该方法还包括:建立所述虚拟对象与在所述用户附近的物理对象之间的关系。
12.一种计算机实现的方法,该方法包括:
处理虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到可穿戴式用户设备以便向第一用户呈现为虚拟对象;
监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
接收传感数据,所述传感数据由与用户设备相关联的传感器针对在使用所述用户设备的所述第一用户附近的物理对象而生成;
识别所述物理对象;
响应于对所述物理对象的识别,而基于所述虚拟世界数据生成与所述物理对象具有预定关系的虚拟对象;以及
将所述虚拟对象传送到与所述用户设备相关联的显示器,以用于根据所述预定关系来呈现给所述用户,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的物理对象而改变,以及
其中,所述物理对象包括所述第一用户周围的物理环境中的映射对象,
其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
13.根据权利要求12所述的方法,该方法还包括:将所述虚拟对象传送到与第二用户设备相关联的第二显示器,以用于根据所述预定关系来呈现给第二用户。
14.一种计算机实现的方法,该方法包括:
处理虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到可穿戴式用户设备以便基于所述虚拟世界数据向第一用户呈现为虚拟世界的虚拟对象;
监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
存储定义了数字世界的数据,所述数据定义了一个或多个对象;
接收由与多个用户设备相关联的传感器生成的传感器数据,所述传感器数据描述了所述用户设备的环境的至少一个物理特性;
响应于所述传感器数据,而为所述多个用户中的每个用户生成预定义的对象的实例;以及
将为所述用户生成的预定义的对象的样本传送给所述多个用户中的相应用户,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的物理对象而改变,以及
其中,所述物理对象包括所述第一用户周围的物理环境中的映射对象,
其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
15.根据权利要求14所述的方法,其中,所述传感器数据表示以下物理特性中的一个或多个:位置、用户的方位、用户的移动、用户设备、环境条件、在所述用户附近的物理对象。
16.一种计算机实现的方法,包括:
处理虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到可穿戴式用户设备以便向第一用户呈现为虚拟对象;
监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
接收传感数据,所述传感数据由与用户设备相关联的传感器针对在使用所述用户设备的第一用户附近的物理对象而生成;
识别所述物理对象;
基于对所述物理对象的识别,选择虚拟对象;
响应于对所述物理对象的识别,生成所述虚拟对象,其中所述虚拟对象与所述物理对象具有的预定关系;以及
将所述虚拟对象传送到与所述用户设备相关联的显示器,以用于根据所述预定关系来呈现给所述用户,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的物理对象而改变,以及
其中,所述物理对象包括所述第一用户周围的物理环境中的映射对象,
其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
17.一种计算机实现的方法,包括
处理虚拟世界数据的至少一部分;
将所述虚拟世界数据发送到可穿戴式用户设备以便向第一用户呈现为虚拟对象;
监控和调节在所述可穿戴式用户设备与计算机网络之间的虚拟世界数据的交换,以便允许所述可穿戴式用户设备的最佳的数据处理;
接收传感数据,所述传感数据由与用户设备相关联的传感器针对在使用所述用户设备的第一用户附近的物理对象而生成;
识别所述物理对象;
响应于对所述物理对象的识别,而生成与所述物理对象具有预定关系的虚拟对象,
将所述虚拟对象传送到与所述用户设备相关联的显示器,以用于根据所述预定关系来呈现给所述用户;以及
将所述虚拟对象传送到与第二用户设备相关联的第二显示器,以用于根据所述预定关系来呈现给所述第二用户,
其中,所述虚拟世界的至少一部分响应于所述虚拟世界数据的改变而改变,
其中,与响应于所述虚拟世界数据的改变的所述虚拟世界的改变相结合,所述虚拟世界数据的至少一部分响应于所述可穿戴式用户设备感测的物理对象而改变,以及
其中,所述物理对象包括所述第一用户周围的物理环境中的映射对象,
其中,所述最佳的数据处理包括对多个呈递设置优先级,使得处理动态虚拟对象的呈递相比静态虚拟对象的呈递被给予较高的优先级,并且处理所述用户的瞳孔的角度测量的60度视野内的数据的呈递相比视野外围的数据的呈递被给予较高的优先级,其中所述多个呈递由网关设备执行并且被发送到所述可穿戴式用户设备,以及
其中,所述虚拟世界数据的改变根据预定关系来呈现所述动态虚拟对象和所述静态虚拟对象中的至少一个与所述用户外部的静态物理对象的呈递。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161483505P | 2011-05-06 | 2011-05-06 | |
| US201161483511P | 2011-05-06 | 2011-05-06 | |
| US61/483,505 | 2011-05-06 | ||
| US61/483,511 | 2011-05-06 | ||
| CN201280032550.0A CN103635891B (zh) | 2011-05-06 | 2012-05-04 | 大量同时远程数字呈现世界 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280032550.0A Division CN103635891B (zh) | 2011-05-06 | 2012-05-04 | 大量同时远程数字呈现世界 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107656615A CN107656615A (zh) | 2018-02-02 |
| CN107656615B true CN107656615B (zh) | 2021-09-14 |
Family
ID=47139918
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710864372.2A Active CN107656615B (zh) | 2011-05-06 | 2012-05-04 | 大量同时远程数字呈现世界 |
| CN201280032550.0A Active CN103635891B (zh) | 2011-05-06 | 2012-05-04 | 大量同时远程数字呈现世界 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280032550.0A Active CN103635891B (zh) | 2011-05-06 | 2012-05-04 | 大量同时远程数字呈现世界 |
Country Status (9)
| Country | Link |
|---|---|
| US (5) | US10101802B2 (zh) |
| EP (3) | EP3229107B1 (zh) |
| JP (8) | JP6316186B2 (zh) |
| CN (2) | CN107656615B (zh) |
| AU (3) | AU2012253797B2 (zh) |
| BR (1) | BR112013034009A2 (zh) |
| CA (2) | CA3035118C (zh) |
| RU (2) | RU2621644C2 (zh) |
| WO (1) | WO2012154620A2 (zh) |
Families Citing this family (406)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0522968D0 (en) | 2005-11-11 | 2005-12-21 | Popovich Milan M | Holographic illumination device |
| GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
| US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US20140372912A9 (en) * | 2010-10-30 | 2014-12-18 | Aaron D. Cohen | Multi-Dimensional Enhanced World View Experiences, Related Systems and Software, Methods of Use and Production Thereof |
| WO2012116236A2 (en) | 2011-02-23 | 2012-08-30 | Nova Spivack | System and method for analyzing messages in a network or across networks |
| US9274349B2 (en) | 2011-04-07 | 2016-03-01 | Digilens Inc. | Laser despeckler based on angular diversity |
| CA3035118C (en) | 2011-05-06 | 2022-01-04 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US9336240B2 (en) * | 2011-07-15 | 2016-05-10 | Apple Inc. | Geo-tagging digital images |
| US20140204455A1 (en) | 2011-08-24 | 2014-07-24 | Milan Momcilo Popovich | Wearable data display |
| US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
| EP2771877B1 (en) | 2011-10-28 | 2017-10-11 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9462210B2 (en) | 2011-11-04 | 2016-10-04 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
| US20150010265A1 (en) | 2012-01-06 | 2015-01-08 | Milan, Momcilo POPOVICH | Contact image sensor using switchable bragg gratings |
| US8832092B2 (en) | 2012-02-17 | 2014-09-09 | Bottlenose, Inc. | Natural language processing optimized for micro content |
| JP6238965B2 (ja) | 2012-04-25 | 2017-11-29 | ロックウェル・コリンズ・インコーポレーテッド | ホログラフィック広角ディスプレイ |
| WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| US9146069B2 (en) | 2012-05-22 | 2015-09-29 | Haptech, Inc. | Method and apparatus for firearm recoil simulation |
| US10852093B2 (en) | 2012-05-22 | 2020-12-01 | Haptech, Inc. | Methods and apparatuses for haptic systems |
| US9009126B2 (en) | 2012-07-31 | 2015-04-14 | Bottlenose, Inc. | Discovering and ranking trending links about topics |
| US9077647B2 (en) * | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
| US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
| US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
| US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
| US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
| US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
| US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
| US11237719B2 (en) * | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| JP6463598B2 (ja) * | 2012-11-20 | 2019-02-06 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 着用式電子デバイスからのプロセッシングの委任 |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| US8994827B2 (en) | 2012-11-20 | 2015-03-31 | Samsung Electronics Co., Ltd | Wearable electronic device |
| US20140198130A1 (en) * | 2013-01-15 | 2014-07-17 | Immersion Corporation | Augmented reality user interface with haptic feedback |
| US9449340B2 (en) * | 2013-01-30 | 2016-09-20 | Wal-Mart Stores, Inc. | Method and system for managing an electronic shopping list with gestures |
| EP2967322A4 (en) * | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9547917B2 (en) | 2013-03-14 | 2017-01-17 | Paypay, Inc. | Using augmented reality to determine information |
| US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
| CN108628446B (zh) | 2013-03-15 | 2021-10-26 | 奇跃公司 | 显示系统和方法 |
| US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
| US9092954B2 (en) * | 2013-03-15 | 2015-07-28 | Immersion Corporation | Wearable haptic device |
| US10025486B2 (en) * | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| US10269180B2 (en) * | 2013-04-16 | 2019-04-23 | Sony Corporation | Information processing apparatus and information processing method, display apparatus and display method, and information processing system |
| WO2014188149A1 (en) | 2013-05-20 | 2014-11-27 | Milan Momcilo Popovich | Holographic waveguide eye tracker |
| CA2913218C (en) * | 2013-05-24 | 2022-09-27 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| US10137361B2 (en) | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US9727772B2 (en) | 2013-07-31 | 2017-08-08 | Digilens, Inc. | Method and apparatus for contact image sensing |
| IN2013CH04559A (zh) * | 2013-10-08 | 2015-04-10 | Samsung Electrinics Company | |
| US9911231B2 (en) * | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US9677840B2 (en) * | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
| CN103902983A (zh) * | 2014-04-14 | 2014-07-02 | 夷希数码科技(上海)有限公司 | 一种穿戴式人脸识别方法及装置 |
| US9690370B2 (en) * | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| US9723109B2 (en) | 2014-05-28 | 2017-08-01 | Alexander Hertel | Platform for constructing and consuming realm and object feature clouds |
| EP3180676A4 (en) * | 2014-06-17 | 2018-01-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| JP2017531930A (ja) * | 2014-07-07 | 2017-10-26 | イマージョン コーポレーションImmersion Corporation | セカンドスクリーン触覚 |
| US10359736B2 (en) | 2014-08-08 | 2019-07-23 | Digilens Inc. | Method for holographic mastering and replication |
| US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
| US10423222B2 (en) | 2014-09-26 | 2019-09-24 | Digilens Inc. | Holographic waveguide optical tracker |
| WO2016054079A1 (en) | 2014-09-29 | 2016-04-07 | Zyomed Corp. | Systems and methods for blood glucose and other analyte detection and measurement using collision computing |
| WO2016054092A1 (en) | 2014-09-29 | 2016-04-07 | Magic Leap, Inc. | Architectures and methods for outputting different wavelength light out of waveguides |
| SG11201704316YA (en) * | 2014-11-28 | 2017-06-29 | Haptech Inc | Methods and apparatuses for haptic systems |
| EP3245551B1 (en) | 2015-01-12 | 2019-09-18 | DigiLens Inc. | Waveguide light field displays |
| US10437064B2 (en) | 2015-01-12 | 2019-10-08 | Digilens Inc. | Environmentally isolated waveguide display |
| EP3248026B1 (en) | 2015-01-20 | 2019-09-04 | DigiLens Inc. | Holographic waveguide lidar |
| US10726625B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment |
| US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
| US10725297B2 (en) * | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
| US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
| US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
| NZ773817A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| WO2016156776A1 (en) | 2015-03-31 | 2016-10-06 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
| NZ738362A (en) | 2015-06-15 | 2019-08-30 | Magic Leap Inc | Display system with optical elements for in-coupling multiplexed light streams |
| US10492981B1 (en) | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
| US10685488B1 (en) | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10149958B1 (en) | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| US10335572B1 (en) | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
| NZ739860A (en) | 2015-08-18 | 2019-10-25 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| CA2996039A1 (en) | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| JP2018523878A (ja) | 2015-08-21 | 2018-08-23 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼瞼形状推定 |
| KR102389807B1 (ko) | 2015-09-16 | 2022-04-21 | 매직 립, 인코포레이티드 | 오디오 파일들의 헤드 포즈 혼합 |
| KR20250069983A (ko) | 2015-09-23 | 2025-05-20 | 매직 립, 인코포레이티드 | 오프-축 영상기를 이용한 눈 영상화 |
| CN113759555B (zh) | 2015-10-05 | 2024-09-20 | 迪吉伦斯公司 | 波导显示器 |
| AU2016340222B2 (en) | 2015-10-16 | 2021-07-01 | Magic Leap, Inc. | Eye pose identification using eye features |
| KR102701209B1 (ko) | 2015-10-20 | 2024-08-29 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
| KR102657948B1 (ko) | 2015-11-04 | 2024-04-16 | 매직 립, 인코포레이티드 | 광 필드 디스플레이 계측 |
| US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
| WO2017087567A1 (en) | 2015-11-16 | 2017-05-26 | Cognifisense, Inc. | Representation of symptom alleviation |
| US12087448B2 (en) | 2015-11-16 | 2024-09-10 | Cognifisense, Inc. | Representation of symptom alleviation |
| RU2606874C1 (ru) * | 2015-12-02 | 2017-01-10 | Виталий Витальевич Аверьянов | Способ управления устройством формирования среды дополненной реальности |
| NZ743884A (en) | 2016-01-07 | 2019-11-29 | Magic Leap Inc | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
| US10831264B2 (en) | 2016-01-19 | 2020-11-10 | Magic Leap, Inc. | Eye image combination |
| WO2017127571A1 (en) | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| CN119395900A (zh) | 2016-01-29 | 2025-02-07 | 奇跃公司 | 三维图像的显示 |
| WO2017134412A1 (en) | 2016-02-04 | 2017-08-10 | Milan Momcilo Popovich | Holographic waveguide optical tracker |
| KR102726904B1 (ko) | 2016-02-11 | 2024-11-05 | 매직 립, 인코포레이티드 | 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템 |
| CN108700697B (zh) | 2016-02-24 | 2021-12-14 | 奇跃公司 | 具有低光泄漏的偏振分束器 |
| CN108700275B (zh) | 2016-02-24 | 2022-05-31 | 奇跃公司 | 用于光发射器的低轮廓互连 |
| AU2017224107B2 (en) | 2016-02-26 | 2021-11-04 | Magic Leap, Inc. | Display system having a plurality of light pipes for a plurality of light emitters |
| EP3420601B1 (en) | 2016-02-26 | 2023-08-02 | Magic Leap, Inc. | Optical system |
| CA3015643A1 (en) | 2016-03-01 | 2017-09-08 | Magic Leap, Inc. | Reflective switching device for inputting different wavelengths of light into waveguides |
| NZ756561A (en) | 2016-03-04 | 2023-04-28 | Magic Leap Inc | Current drain reduction in ar/vr display systems |
| KR102358677B1 (ko) | 2016-03-07 | 2022-02-03 | 매직 립, 인코포레이티드 | 생체 인증 보안을 위한 청색 광 조정 |
| US10783835B2 (en) * | 2016-03-11 | 2020-09-22 | Lenovo (Singapore) Pte. Ltd. | Automatic control of display brightness |
| US10867314B2 (en) | 2016-03-22 | 2020-12-15 | Magic Leap, Inc. | Head mounted display system configured to exchange biometric information |
| EP3433659B1 (en) | 2016-03-24 | 2024-10-23 | DigiLens, Inc. | Method and apparatus for providing a polarization selective holographic waveguide device |
| US10698215B2 (en) | 2016-03-25 | 2020-06-30 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US9554738B1 (en) | 2016-03-30 | 2017-01-31 | Zyomed Corp. | Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing |
| EP3436863B1 (en) | 2016-03-31 | 2024-07-10 | Magic Leap, Inc. | Interactions with 3d virtual objects using poses and multiple-dof controllers |
| KR20220040511A (ko) | 2016-04-08 | 2022-03-30 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
| JP6734933B2 (ja) | 2016-04-11 | 2020-08-05 | ディジレンズ インコーポレイテッド | 構造化光投影のためのホログラフィック導波管装置 |
| DE102016106993A1 (de) | 2016-04-15 | 2017-10-19 | Carl Zeiss Microscopy Gmbh | Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops |
| US10380800B2 (en) * | 2016-04-18 | 2019-08-13 | Disney Enterprises, Inc. | System and method for linking and interacting between augmented reality and virtual reality environments |
| AU2017252557B2 (en) | 2016-04-21 | 2022-01-27 | Magic Leap, Inc. | Visual aura around field of view |
| NZ787464A (en) | 2016-04-26 | 2023-06-30 | Magic Leap Inc | Electromagnetic tracking with augmented reality systems |
| US10025376B2 (en) | 2016-04-27 | 2018-07-17 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
| EP3457251A1 (en) * | 2016-04-27 | 2019-03-20 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
| US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
| RU2626867C1 (ru) * | 2016-05-05 | 2017-08-02 | Элдар Али Оглы Разроев | Система для организации развлекательных, образовательных и/или рекламных мероприятий |
| KR20210032022A (ko) | 2016-05-06 | 2021-03-23 | 매직 립, 인코포레이티드 | 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들 |
| CA3023526A1 (en) | 2016-05-09 | 2017-11-16 | Magic Leap, Inc. | Augmented reality systems and methods for user health analysis |
| IL313492A (en) | 2016-05-12 | 2024-08-01 | Magic Leap Inc | Manipulation of diffused light during Galbo imaging |
| IL290933B2 (en) | 2016-05-20 | 2023-10-01 | Magic Leap Inc | Contextual awareness of user interface menus |
| CN116778367A (zh) | 2016-06-03 | 2023-09-19 | 奇跃公司 | 增强现实身份验证 |
| JP6978442B2 (ja) | 2016-06-10 | 2021-12-08 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | テクスチャ投影電球のための積分点源 |
| US10332315B2 (en) | 2016-06-20 | 2019-06-25 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| US10037077B2 (en) | 2016-06-21 | 2018-07-31 | Disney Enterprises, Inc. | Systems and methods of generating augmented reality experiences |
| NZ749449A (en) | 2016-06-30 | 2023-06-30 | Magic Leap Inc | Estimating pose in 3d space |
| WO2018013200A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Deep neural network for iris identification |
| JP6917444B2 (ja) | 2016-07-14 | 2021-08-11 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 角膜曲率を用いた虹彩境界推定 |
| AU2017301435B2 (en) | 2016-07-25 | 2022-07-14 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
| US10451895B2 (en) | 2016-07-25 | 2019-10-22 | Magic Leap, Inc. | Light field processor system |
| IL280982B (en) | 2016-07-29 | 2022-08-01 | Magic Leap Inc | Secure exchange of cryptographically signed records |
| EP3497676B1 (en) | 2016-08-11 | 2024-07-17 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| IL292025B2 (en) | 2016-08-12 | 2023-12-01 | Magic Leap Inc | Word flow annotation |
| JP7002536B2 (ja) | 2016-08-22 | 2022-01-20 | マジック リープ, インコーポレイテッド | 深層学習センサを有する拡張現実ディスプレイデバイス |
| US10725223B2 (en) | 2016-08-22 | 2020-07-28 | Magic Leap, Inc. | Multi-layer diffractive eyepiece with wavelength-selective reflector |
| IL304038B2 (en) | 2016-09-13 | 2024-09-01 | Magic Leap Inc | Sensory eyewear |
| CA3037044A1 (en) | 2016-09-21 | 2018-03-29 | Magic Leap, Inc. | Systems and methods for optical systems with exit pupil expander |
| KR102266343B1 (ko) | 2016-09-22 | 2021-06-17 | 매직 립, 인코포레이티드 | 증강 현실 분광기 |
| IL313837A (en) | 2016-09-26 | 2024-08-01 | Magic Leap Inc | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
| JP6964132B2 (ja) | 2016-09-28 | 2021-11-10 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | ウェアラブルデバイスによる顔モデル捕捉 |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| IL281321B (en) | 2016-10-04 | 2022-07-01 | Magic Leap Inc | Efficient data layouts for convolutional neural networks |
| JP7090601B2 (ja) | 2016-10-05 | 2022-06-24 | マジック リープ, インコーポレイテッド | 複合現実較正のための眼球周囲試験 |
| US10514769B2 (en) * | 2016-10-16 | 2019-12-24 | Dell Products, L.P. | Volumetric tracking for orthogonal displays in an electronic collaboration setting |
| CN110088663B (zh) | 2016-10-21 | 2022-08-23 | 奇跃公司 | 通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法 |
| US10565790B2 (en) | 2016-11-11 | 2020-02-18 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
| KR102267553B1 (ko) | 2016-11-15 | 2021-06-22 | 매직 립, 인코포레이티드 | 큐보이드 검출을 위한 딥 러닝 시스템 |
| AU2017361096B2 (en) | 2016-11-16 | 2022-09-01 | Magic Leap, Inc. | Thermal management systems for wearable components |
| CN110199220B (zh) | 2016-11-18 | 2022-11-01 | 奇跃公司 | 使用交叉光栅的波导光复用器 |
| IL310194A (en) | 2016-11-18 | 2024-03-01 | Magic Leap Inc | Liquid crystal refraction lattices vary spatially |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| KR102506485B1 (ko) | 2016-11-18 | 2023-03-03 | 매직 립, 인코포레이티드 | 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들 |
| CN109564706B (zh) * | 2016-12-01 | 2023-03-10 | 英特吉姆股份有限公司 | 基于智能交互式增强现实的用户交互平台 |
| WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
| US11150777B2 (en) | 2016-12-05 | 2021-10-19 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
| EP3552057B1 (en) | 2016-12-08 | 2022-01-05 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| KR102491442B1 (ko) | 2016-12-13 | 2023-01-20 | 매직 립, 인코포레이티드 | 편광된 광을 전달하고 포도당 레벨들을 결정하기 위한 증강 및 가상 현실 안경류, 시스템들, 및 방법들 |
| JP7038713B2 (ja) | 2016-12-13 | 2022-03-18 | マジック リープ, インコーポレイテッド | 検出された特徴を用いた3dオブジェクトレンダリング |
| US10895784B2 (en) | 2016-12-14 | 2021-01-19 | Magic Leap, Inc. | Patterning of liquid crystals using soft-imprint replication of surface alignment patterns |
| CN110325891B (zh) | 2016-12-22 | 2022-04-08 | 奇跃公司 | 用于操纵来自环境光源的光的系统和方法 |
| US10371896B2 (en) * | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
| US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
| IL290002B2 (en) | 2016-12-29 | 2023-10-01 | Magic Leap Inc | Automatic control of wearable display device based on external conditions |
| USD864959S1 (en) | 2017-01-04 | 2019-10-29 | Mentor Acquisition One, Llc | Computer glasses |
| JP7071374B2 (ja) | 2017-01-05 | 2022-05-18 | マジック リープ, インコーポレイテッド | プラズマエッチングによる高屈折率ガラスのパターン化 |
| US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
| KR102662173B1 (ko) | 2017-01-11 | 2024-04-30 | 매직 립, 인코포레이티드 | 의료 보조기 |
| KR102723983B1 (ko) | 2017-01-23 | 2024-11-01 | 매직 립, 인코포레이티드 | 가상, 증강, 또는 혼합 현실 시스템들을 위한 접안렌즈 |
| US10841724B1 (en) | 2017-01-24 | 2020-11-17 | Ha Tran | Enhanced hearing system |
| AU2018212726B2 (en) | 2017-01-27 | 2022-05-12 | Magic Leap, Inc. | Diffraction gratings formed by metasurfaces having differently oriented nanobeams |
| CN110476090B (zh) | 2017-01-27 | 2023-04-25 | 奇跃公司 | 用于超表面的抗反射涂层 |
| US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| KR102601052B1 (ko) | 2017-02-23 | 2023-11-09 | 매직 립, 인코포레이티드 | 가변 파워 반사기를 갖는 디스플레이 시스템 |
| AU2018234409B2 (en) | 2017-03-14 | 2022-06-30 | Magic Leap, Inc. | Waveguides with light absorbing films and processes for forming the same |
| CN117893680B (zh) | 2017-03-17 | 2025-04-29 | 奇跃公司 | 房间布局估计方法和技术 |
| KR102579249B1 (ko) | 2017-03-21 | 2023-09-15 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
| CN115220156A (zh) | 2017-03-21 | 2022-10-21 | 奇跃公司 | 具有用于分体式光瞳的空间光调制器照射的显示系统 |
| CA3056899C (en) | 2017-03-21 | 2023-09-19 | Magic Leap, Inc. | Low-profile beam splitter |
| IL299401A (en) | 2017-03-21 | 2023-02-01 | Magic Leap Inc | Stacked waveguides with different refractive gratings for an integrated field of view |
| IL269317B2 (en) | 2017-03-21 | 2023-11-01 | Magic Leap Inc | An eye imaging device that uses optical refractive elements |
| EP4489393A3 (en) | 2017-03-21 | 2025-03-26 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
| AU2018239511A1 (en) | 2017-03-22 | 2019-10-17 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| EP4270091A3 (en) | 2017-04-18 | 2024-01-24 | Magic Leap, Inc. | Waveguides having reflective layers formed by reflective flowable materials |
| EP4220258A1 (en) | 2017-04-19 | 2023-08-02 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| EP4141623B1 (en) | 2017-04-27 | 2024-05-29 | Magic Leap, Inc. | Augmented reality system comprising light-emitting user input device |
| JP2020521217A (ja) | 2017-05-19 | 2020-07-16 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード |
| US20180349837A1 (en) * | 2017-05-19 | 2018-12-06 | Hcl Technologies Limited | System and method for inventory management within a warehouse |
| EP3908026A1 (en) | 2017-05-22 | 2021-11-10 | Magic Leap, Inc. | Pairing with companion device |
| CN116666814A (zh) | 2017-05-30 | 2023-08-29 | 奇跃公司 | 用于电子装置的具有风扇组件的电源组件 |
| US10671160B2 (en) | 2017-05-31 | 2020-06-02 | Magic Leap, Inc. | Eye tracking calibration techniques |
| KR102636903B1 (ko) | 2017-06-12 | 2024-02-14 | 매직 립, 인코포레이티드 | 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이 |
| EP4439546A3 (en) * | 2017-06-15 | 2024-12-18 | Dolby International AB | Methods, apparatus and systems for optimizing communication between sender(s) and receiver(s) in computer-mediated reality applications |
| EP3616035B1 (en) * | 2017-06-19 | 2024-04-24 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| IL293424A (en) | 2017-07-26 | 2022-07-01 | Magic Leap Inc | Neural network training with displays of user interface devices |
| KR102595846B1 (ko) | 2017-07-28 | 2023-10-30 | 매직 립, 인코포레이티드 | 이미지를 디스플레이하기 위한 팬 조립체 |
| JP7532249B2 (ja) | 2017-08-23 | 2024-08-13 | ニューラブル インコーポレイテッド | 高速視標追跡機能を有する脳-コンピュータインタフェース |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| US20190197312A1 (en) | 2017-09-13 | 2019-06-27 | Edward Rashid Lahood | Method, apparatus and computer-readable media for displaying augmented reality information |
| EP3685313A4 (en) | 2017-09-20 | 2021-06-09 | Magic Leap, Inc. | PERSONALIZED NEURAL EYE TRACKING NETWORK |
| JP7280250B2 (ja) | 2017-09-21 | 2023-05-23 | マジック リープ, インコーポレイテッド | 眼および/または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ |
| EP3688516A4 (en) | 2017-09-27 | 2021-06-23 | Magic Leap, Inc. | CLOSE-UP 3D DISPLAY WITH SEPARATE PHASE AND AMPLITUDE MODULATORS |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| KR102845933B1 (ko) | 2017-10-11 | 2025-08-12 | 매직 립, 인코포레이티드 | 투명 발광 디스플레이를 갖는 접안렌즈를 포함하는 증강 현실 디스플레이 |
| JP7399084B2 (ja) | 2017-10-16 | 2023-12-15 | ディジレンズ インコーポレイテッド | ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法 |
| AU2018355446A1 (en) | 2017-10-26 | 2020-05-14 | Magic Leap, Inc. | Broadband adaptive lens assembly for augmented reality display |
| CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| CA3078774A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same |
| US10839576B2 (en) | 2017-10-27 | 2020-11-17 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
| JP7496776B2 (ja) | 2017-11-13 | 2024-06-07 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
| KR102839893B1 (ko) | 2017-11-14 | 2025-07-28 | 매직 립, 인코포레이티드 | 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습 |
| CN120405955A (zh) | 2017-12-11 | 2025-08-01 | 奇跃公司 | 波导照射器 |
| US12372793B2 (en) | 2017-12-11 | 2025-07-29 | Magic Leap, Inc. | Illumination layout for compact projection system |
| WO2019118222A1 (en) | 2017-12-14 | 2019-06-20 | Magic Leap, Inc. | Contextual-based rendering of virtual avatars |
| IL303076A (en) | 2017-12-15 | 2023-07-01 | Magic Leap Inc | Eyepieces for an augmented reality display system |
| AU2018385695B2 (en) | 2017-12-15 | 2023-11-02 | Magic Leap, Inc. | Enhanced pose determination for display device |
| KR102805316B1 (ko) | 2018-01-04 | 2025-05-09 | 매직 립, 인코포레이티드 | 무기 재료들을 포함하는 중합체 구조들에 기반한 광학 엘리먼트들 |
| KR20250027583A (ko) | 2018-01-08 | 2025-02-26 | 디지렌즈 인코포레이티드. | 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법 |
| EP4517439A3 (en) | 2018-01-08 | 2025-05-14 | DigiLens Inc. | Systems and methods for manufacturing waveguide cells |
| CN111684362B (zh) | 2018-01-08 | 2022-03-25 | 迪吉伦斯公司 | 用于制造光学波导的方法 |
| WO2019136476A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Waveguide architectures and related methods of manufacturing |
| CA3087333C (en) | 2018-01-17 | 2024-10-08 | Magic Leap, Inc. | EYE ROTATION CENTER DETERMINATION, DEPTH PLANE SELECTION AND RENDERING CAMERA POSITIONING IN DISPLAY SYSTEMS |
| IL311004A (en) | 2018-01-17 | 2024-04-01 | Magic Leap Inc | Display systems and methods for determining registration between a display and a user's eyes |
| KR102848051B1 (ko) | 2018-01-18 | 2025-08-21 | 뉴레이블 인크. | 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스 |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| US11210826B2 (en) | 2018-02-02 | 2021-12-28 | Disney Enterprises, Inc. | Systems and methods to provide artificial intelligence experiences |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| US11074748B2 (en) | 2018-02-27 | 2021-07-27 | Magic Leap, Inc. | Matching meshes for virtual avatars |
| CA3089645A1 (en) | 2018-02-28 | 2019-09-06 | Magic Leap, Inc. | Head scan alignment using ocular registration |
| WO2019173158A1 (en) | 2018-03-05 | 2019-09-12 | Magic Leap, Inc. | Display system with low-latency pupil tracker |
| US11656462B2 (en) | 2018-03-07 | 2023-05-23 | Magic Leap, Inc. | Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display |
| AU2019231697B2 (en) | 2018-03-07 | 2020-01-30 | Magic Leap, Inc. | Visual tracking of peripheral devices |
| US11971549B2 (en) | 2018-03-12 | 2024-04-30 | Magic Leap, Inc. | Very high index eyepiece substrate-based viewing optics assembly architectures |
| WO2019178409A1 (en) | 2018-03-14 | 2019-09-19 | Magic Leap, Inc. | Display systems and methods for clipping content to increase viewing comfort |
| WO2019177870A1 (en) | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Animating virtual avatar facial movements |
| JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
| KR102839391B1 (ko) | 2018-03-16 | 2025-07-28 | 디지렌즈 인코포레이티드. | 복굴절 제어가 통합된 홀로그래픽 도파관 및 이를 제조하는 방법 |
| EP4648015A2 (en) | 2018-03-16 | 2025-11-12 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| US11480467B2 (en) | 2018-03-21 | 2022-10-25 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
| EP4550031A3 (en) | 2018-04-02 | 2025-07-16 | Magic Leap, Inc. | Waveguides with integrated optical elements |
| JP7323547B2 (ja) | 2018-04-02 | 2023-08-08 | マジック リープ, インコーポレイテッド | ハイブリッドポリマー導波管および同一物を作製する方法 |
| WO2019195193A1 (en) | 2018-04-02 | 2019-10-10 | Magic Leap, Inc. | Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same |
| WO2019204164A1 (en) | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
| US11067805B2 (en) | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| US11257268B2 (en) | 2018-05-01 | 2022-02-22 | Magic Leap, Inc. | Avatar animation using Markov decision process policies |
| WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
| WO2019222401A2 (en) | 2018-05-17 | 2019-11-21 | Magic Leap, Inc. | Gradient adversarial training of neural networks |
| WO2019226494A1 (en) | 2018-05-21 | 2019-11-28 | Magic Leap, Inc. | Generating textured polygon strip hair from strand-based hair for a virtual character |
| EP3797345A4 (en) | 2018-05-22 | 2022-03-09 | Magic Leap, Inc. | TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM |
| US11210835B2 (en) | 2018-05-22 | 2021-12-28 | Magic Leap, Inc. | Computer generated hair groom transfer tool |
| JP7516260B2 (ja) | 2018-05-22 | 2024-07-16 | マジック リープ, インコーポレイテッド | 仮想アバタをアニメーション化するための骨格システム |
| US11625864B2 (en) | 2018-05-25 | 2023-04-11 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| US12087022B2 (en) | 2018-06-01 | 2024-09-10 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| WO2019236344A1 (en) | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
| US12007652B2 (en) | 2018-06-15 | 2024-06-11 | Magic Leap, Inc. | Wide field-of-view polarization switches and methods of fabricating liquid crystal optical elements with pretilt |
| CN112602012A (zh) | 2018-06-15 | 2021-04-02 | 奇跃公司 | 具有带有预倾斜的液晶光学元件的宽视场偏振开关 |
| WO2019246058A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device |
| WO2019246044A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
| WO2019246129A2 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
| US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
| US12154295B2 (en) | 2018-07-02 | 2024-11-26 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
| US11669726B2 (en) | 2018-07-02 | 2023-06-06 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
| WO2020010271A1 (en) | 2018-07-05 | 2020-01-09 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| WO2020023303A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Coexistence interference avoidance between two different radios operating in the same band |
| WO2020023399A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Deep predictor recurrent neural network for head pose prediction |
| USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
| WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| CN112703437A (zh) | 2018-07-24 | 2021-04-23 | 奇跃公司 | 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法 |
| JP7456995B2 (ja) | 2018-07-24 | 2024-03-27 | マジック リープ, インコーポレイテッド | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
| USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
| US12099386B2 (en) | 2018-07-24 | 2024-09-24 | Magic Leap, Inc. | Thermal management system for electronic device |
| EP4478161A3 (en) | 2018-07-24 | 2025-03-26 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and eyes of a user |
| USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
| US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
| US10950024B2 (en) | 2018-07-27 | 2021-03-16 | Magic Leap, Inc. | Pose space dimensionality reduction for pose space deformation of a virtual character |
| WO2020028867A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
| US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
| US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
| USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| EP3857289B1 (en) | 2018-09-26 | 2025-04-23 | Magic Leap, Inc. | Eyewear with pinhole and slit cameras |
| WO2020069026A1 (en) | 2018-09-26 | 2020-04-02 | Magic Leap, Inc. | Diffractive optical elements with optical power |
| JP7455121B2 (ja) | 2018-10-26 | 2024-03-25 | マジック リープ, インコーポレイテッド | 電磁追跡のための周囲電磁歪み補正 |
| WO2020091725A1 (en) * | 2018-10-29 | 2020-05-07 | Siemens Aktiengesellschaft | Dynamically refining markers in an autonomous world model |
| EP3881232A4 (en) | 2018-11-15 | 2022-08-10 | Magic Leap, Inc. | POSE ESTIMATION SYSTEM FOR A DEEP NEURAL NETWORK |
| WO2020106824A1 (en) | 2018-11-20 | 2020-05-28 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| US11132841B2 (en) * | 2018-11-30 | 2021-09-28 | Facebook Technologies, Llc | Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service |
| US11199912B2 (en) | 2018-11-30 | 2021-12-14 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| WO2020139754A1 (en) | 2018-12-28 | 2020-07-02 | Magic Leap, Inc. | Augmented and virtual reality display systems with shared display for left and right eyes |
| JP7451534B2 (ja) | 2018-12-28 | 2024-03-18 | マジック リープ, インコーポレイテッド | 発光型マイクロディスプレイを伴う仮想および拡張現実ディスプレイシステム |
| WO2020149956A1 (en) | 2019-01-14 | 2020-07-23 | Digilens Inc. | Holographic waveguide display with light control layer |
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| JP7672980B2 (ja) | 2019-02-01 | 2025-05-08 | マジック リープ, インコーポレイテッド | 直列内部結合光学要素 |
| JP7453979B2 (ja) | 2019-02-01 | 2024-03-21 | マジック リープ, インコーポレイテッド | 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム |
| WO2020163524A1 (en) | 2019-02-05 | 2020-08-13 | Digilens Inc. | Methods for compensating for optical surface nonuniformity |
| KR102743763B1 (ko) * | 2019-02-11 | 2024-12-17 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| US20220283377A1 (en) | 2019-02-15 | 2022-09-08 | Digilens Inc. | Wide Angle Waveguide Display |
| CN113692544B (zh) | 2019-02-15 | 2025-04-22 | 迪吉伦斯公司 | 使用集成光栅提供全息波导显示的方法和装置 |
| US11287657B2 (en) | 2019-02-28 | 2022-03-29 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
| US11133993B2 (en) | 2019-02-28 | 2021-09-28 | At&T Intellectual Property I, L.P. | Augmented/mixed reality virtual venue pipeline optimization |
| EP4439156A3 (en) | 2019-03-12 | 2024-12-18 | Magic Leap, Inc. | Method of fabricating display device having patterned lithium-based transition metal oxide |
| WO2020185954A1 (en) | 2019-03-12 | 2020-09-17 | Magic Leap, Inc. | Waveguides with high index materials and methods of fabrication thereof |
| KR20210134763A (ko) | 2019-03-12 | 2021-11-10 | 디지렌즈 인코포레이티드. | 홀로그래픽 도파관 백라이트 및 관련된 제조 방법 |
| CN113841005A (zh) | 2019-03-20 | 2021-12-24 | 奇跃公司 | 用于收集光的系统 |
| WO2020191170A1 (en) | 2019-03-20 | 2020-09-24 | Magic Leap, Inc. | System for providing illumination of the eye |
| US11016305B2 (en) | 2019-04-15 | 2021-05-25 | Magic Leap, Inc. | Sensor fusion for electromagnetic tracking |
| WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
| CN111973979B (zh) * | 2019-05-23 | 2024-11-01 | 卡兰控股有限公司 | 经由持久性虚拟世界系统对现实世界进行实况管理 |
| CN116249918A (zh) | 2019-05-24 | 2023-06-09 | 奇跃公司 | 可变焦组件 |
| US11622470B2 (en) | 2019-05-28 | 2023-04-04 | Magic Leap, Inc. | Thermal management system for portable electronic devices |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| US20200386947A1 (en) | 2019-06-07 | 2020-12-10 | Digilens Inc. | Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing |
| CN112102498A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 |
| US11650423B2 (en) | 2019-06-20 | 2023-05-16 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| US11803628B2 (en) | 2019-06-21 | 2023-10-31 | Magic Leap, Inc. | Secure authorization via modal window |
| WO2020263866A1 (en) | 2019-06-24 | 2020-12-30 | Magic Leap, Inc. | Waveguides having integral spacers and related systems and methods |
| WO2020261689A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニー株式会社 | 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 |
| WO2021007087A1 (en) | 2019-07-05 | 2021-01-14 | Magic Leap, Inc. | Eye tracking latency enhancements |
| US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
| JP7591551B2 (ja) | 2019-07-16 | 2024-11-28 | マジック リープ, インコーポレイテッド | 1つ以上の眼追跡カメラを用いた眼回転中心の決定 |
| CN114514443A (zh) | 2019-07-19 | 2022-05-17 | 奇跃公司 | 制造衍射光栅的方法 |
| EP3999884A4 (en) | 2019-07-19 | 2023-08-30 | Magic Leap, Inc. | Display device having diffraction gratings with reduced polarization sensitivity |
| CN114341729A (zh) | 2019-07-29 | 2022-04-12 | 迪吉伦斯公司 | 用于使像素化显示器的图像分辨率和视场倍增的方法和设备 |
| CN114450136A (zh) | 2019-07-30 | 2022-05-06 | 奇跃公司 | 用于眼睛跟踪的成角度分段热镜 |
| WO2021021942A1 (en) | 2019-07-31 | 2021-02-04 | Magic Leap, Inc. | User data management for augmented reality using a distributed ledger |
| US11763191B2 (en) | 2019-08-20 | 2023-09-19 | The Calany Holding S. À R.L. | Virtual intelligence and optimization through multi-source, real-time, and context-aware real-world data |
| JP7306162B2 (ja) * | 2019-08-28 | 2023-07-11 | 大日本印刷株式会社 | サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム |
| KR102775783B1 (ko) | 2019-08-29 | 2025-02-28 | 디지렌즈 인코포레이티드. | 진공 격자 및 이의 제조 방법 |
| CN114616210A (zh) | 2019-09-11 | 2022-06-10 | 奇跃公司 | 带有具有降低的偏振灵敏度的衍射光栅的显示装置 |
| JP2022549853A (ja) | 2019-09-27 | 2022-11-29 | マジック リープ, インコーポレイテッド | 共有空間内の個々の視認 |
| US11276246B2 (en) | 2019-10-02 | 2022-03-15 | Magic Leap, Inc. | Color space mapping for intuitive surface normal visualization |
| US11176757B2 (en) | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| EP4055423A4 (en) | 2019-11-08 | 2024-01-10 | Magic Leap, Inc. | METASURFACES WITH LIGHT REORIENTATION STRUCTURES INCLUDING MULTIPLE MATERIALS AND MANUFACTURING METHODS |
| USD982593S1 (en) | 2019-11-08 | 2023-04-04 | Magic Leap, Inc. | Portion of a display screen with animated ray |
| US11493989B2 (en) | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
| CN114945947A (zh) | 2019-11-18 | 2022-08-26 | 奇跃公司 | 可通行世界的映射和定位 |
| CN114730111A (zh) | 2019-11-22 | 2022-07-08 | 奇跃公司 | 用于对液晶层进行图案化的方法和系统 |
| US12094139B2 (en) | 2019-11-22 | 2024-09-17 | Magic Leap, Inc. | Systems and methods for enhanced depth determination using projection spots |
| CN114761859A (zh) | 2019-11-26 | 2022-07-15 | 奇跃公司 | 用于增强或虚拟现实显示系统的增强眼睛跟踪 |
| WO2021112825A1 (en) | 2019-12-03 | 2021-06-10 | Siemens Aktiengesellschaft | Computerized engineering tool and methodology to develop neural skills for a robotics system |
| EP4070150B1 (en) | 2019-12-06 | 2025-08-06 | Magic Leap, Inc. | Dynamic browser stage |
| US11941408B2 (en) | 2019-12-06 | 2024-03-26 | Magic Leap, Inc. | Encoding stereo splash screen in static image |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11288876B2 (en) | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
| EP3846008B1 (en) * | 2019-12-30 | 2025-11-05 | TMRW Foundation IP SARL | Method and system for enabling enhanced user-to-user communication in digital realities |
| CN115380236B (zh) | 2020-01-24 | 2025-05-06 | 奇跃公司 | 使用单个控制器的内容移动和交互 |
| US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
| JP7702955B2 (ja) | 2020-01-27 | 2025-07-04 | マジック リープ, インコーポレイテッド | ユーザ入力デバイスの機能性の注視タイマベースの拡張 |
| JP7538871B2 (ja) | 2020-01-27 | 2024-08-22 | マジック リープ, インコーポレイテッド | アンカベースのクロスリアリティアプリケーションのための向上された状態制御 |
| CN115023738A (zh) | 2020-01-27 | 2022-09-06 | 奇跃公司 | 中性化身 |
| EP4097711A4 (en) | 2020-01-27 | 2024-01-24 | Magic Leap, Inc. | CURATION OF AN AUGMENTED REALITY MAP |
| USD949200S1 (en) | 2020-01-27 | 2022-04-19 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| USD936704S1 (en) | 2020-01-27 | 2021-11-23 | Magic Leap, Inc. | Portion of a display screen with avatar |
| USD948562S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with avatar |
| USD948574S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| CN115039012A (zh) | 2020-01-31 | 2022-09-09 | 奇跃公司 | 用于测眼评估的增强和虚拟现实显示系统 |
| US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
| EP4104034A4 (en) | 2020-02-10 | 2024-02-21 | Magic Leap, Inc. | Body-centric content positioning relative to three-dimensional container in a mixed reality environment |
| WO2021163354A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Virtual object movement speed curve for virtual and augmented reality display systems |
| JP7515604B2 (ja) | 2020-02-26 | 2024-07-12 | マジック リープ, インコーポレイテッド | 手続型電子ビームリソグラフィ |
| WO2021173850A1 (en) * | 2020-02-27 | 2021-09-02 | Magic Leap, Inc. | Cross reality system for large scale environment reconstruction |
| CN115190837A (zh) | 2020-02-28 | 2022-10-14 | 奇跃公司 | 制造用于形成具有一体间隔件的目镜的模具的方法 |
| US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
| US11474358B2 (en) | 2020-03-20 | 2022-10-18 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
| CN115698782A (zh) | 2020-03-25 | 2023-02-03 | 奇跃公司 | 具有单路镜的光学设备 |
| CN115698824A (zh) | 2020-04-03 | 2023-02-03 | 奇跃公司 | 具有纳米线led微型显示器的可穿戴显示系统 |
| EP4127878A4 (en) | 2020-04-03 | 2024-07-17 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
| EP4154050A4 (en) | 2020-05-22 | 2024-06-05 | Magic Leap, Inc. | AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS |
| EP4162343A4 (en) | 2020-06-05 | 2024-06-12 | Magic Leap, Inc. | IMPROVED EYE TRACKING TECHNIQUES BASED ON NEURAL NETWORK ANALYSIS OF IMAGES |
| US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
| US11852829B2 (en) | 2020-08-07 | 2023-12-26 | Magic Leap, Inc. | Tunable cylindrical lenses and head-mounted display including the same |
| US11860366B2 (en) | 2020-09-29 | 2024-01-02 | Avegant Corp. | Architecture to illuminate a display panel |
| JP2024502255A (ja) | 2020-12-21 | 2024-01-18 | ディジレンズ インコーポレイテッド | 導波路ベースのディスプレイにおけるアイグロー抑制 |
| US12399326B2 (en) | 2021-01-07 | 2025-08-26 | Digilens Inc. | Grating structures for color waveguides |
| EP4288831A4 (en) | 2021-03-05 | 2025-01-15 | Digilens Inc. | Evacuated periodic structures and methods of manufacturing |
| EP4308996A4 (en) | 2021-03-15 | 2024-10-09 | Magic Leap, Inc. | HEAD-MOUNTED OPTICAL DEVICES AND DISPLAY DEVICES USING TUNABLE CYLINDRICAL LENSES |
| JP7216940B2 (ja) * | 2021-06-02 | 2023-02-02 | 株式会社Nttコノキュー | 通信システム、通信方法及び通信プログラム |
| JP7219862B2 (ja) * | 2021-06-02 | 2023-02-09 | 株式会社Nttコノキュー | 通信システム、通信方法及び通信プログラム |
| WO2023023581A1 (en) * | 2021-08-18 | 2023-02-23 | Advanced Neuromodulation Systems, Inc. | Systems and methods for providing digital health services |
| US12032737B2 (en) * | 2022-08-22 | 2024-07-09 | Meta Platforms Technologies, Llc | Gaze adjusted avatars for immersive reality applications |
| US11758104B1 (en) * | 2022-10-18 | 2023-09-12 | Illuscio, Inc. | Systems and methods for predictive streaming of image data for spatial computing |
| KR20240117758A (ko) * | 2023-01-26 | 2024-08-02 | 박세원 | 피지털피규어 서비스장치 및 그 장치의 구동방법 |
| TW202513190A (zh) * | 2023-08-01 | 2025-04-01 | 日商尤尼吉可股份有限公司 | 具有高比表面積之金屬奈米材料 |
Family Cites Families (195)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
| US5625576A (en) * | 1993-10-01 | 1997-04-29 | Massachusetts Institute Of Technology | Force reflecting haptic interface |
| US5491743A (en) | 1994-05-24 | 1996-02-13 | International Business Machines Corporation | Virtual conference system and terminal apparatus therefor |
| AUPM701394A0 (en) | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
| FR2731896B1 (fr) | 1995-03-24 | 1997-08-29 | Commissariat Energie Atomique | Dispositif de mesure de la position du point de fixation d'un oeil sur une cible, procede d'eclairage de l'oeil et application a l'affichage d'images dont les images changent en fonction des mouvements de l'oeil |
| US6078308A (en) * | 1995-12-13 | 2000-06-20 | Immersion Corporation | Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object |
| JP3308828B2 (ja) | 1996-10-18 | 2002-07-29 | 株式会社日立製作所 | 永久磁石回転電機及びそれを用いた電動車両 |
| RU2120664C1 (ru) * | 1997-05-06 | 1998-10-20 | Нурахмед Нурисламович Латыпов | Система для погружения пользователя в виртуальную реальность |
| US6028608A (en) * | 1997-05-09 | 2000-02-22 | Jenkins; Barry | System and method of perception-based image generation and encoding |
| JPH10334274A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
| JP3257459B2 (ja) * | 1997-08-07 | 2002-02-18 | 日本電信電話株式会社 | 共有仮想空間簡易2次元インタフェース実現方法及びそのインタフェースを持つクライアントシステム、並びに、そのインタフェースプログラムを格納した記憶媒体 |
| DE29720110U1 (de) * | 1997-11-13 | 1998-01-02 | Wittenbecher Rainer Dr Ing | Trainingsvorrichtung |
| JPH11154178A (ja) * | 1997-11-19 | 1999-06-08 | Fujitsu Ltd | 通信管理装置及び記録媒体 |
| FR2772379B1 (fr) | 1997-12-16 | 2000-02-11 | Oreal | Compositions de teinture des fibres keratiniques contenant des pyrazolo-azoles; leur utilisation pour la teinture comme base d'oxydation, procede de teinture; nouveaux pyrazolo-azoles |
| US6329986B1 (en) * | 1998-02-21 | 2001-12-11 | U.S. Philips Corporation | Priority-based virtual environment |
| US6118456A (en) * | 1998-04-02 | 2000-09-12 | Adaptive Media Technologies | Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment |
| JP3456419B2 (ja) | 1998-07-23 | 2003-10-14 | 日本電信電話株式会社 | 仮想空間内における共有空間表示方法及びシステム及び仮想空間内における共有空間表示プログラムを格納した記憶媒体 |
| US6215498B1 (en) | 1998-09-10 | 2001-04-10 | Lionhearth Technologies, Inc. | Virtual command post |
| DK1137598T3 (da) | 1998-11-13 | 2003-08-18 | Fmc Corp | Lagdelte lithiummetaloxider, der er fri for lokale kubiske spinellignende struktuelle faser, og fremgangsmåder til fremstilling af samme |
| JP2000276613A (ja) * | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
| US6753857B1 (en) | 1999-04-16 | 2004-06-22 | Nippon Telegraph And Telephone Corporation | Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor |
| ATE543546T1 (de) | 1999-06-11 | 2012-02-15 | Canon Kk | Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren |
| JP3413127B2 (ja) | 1999-06-11 | 2003-06-03 | キヤノン株式会社 | 複合現実感装置及び複合現実感提示方法 |
| EP1076119A1 (en) | 1999-08-11 | 2001-02-14 | ABB Alstom Power (Schweiz) AG | Apparatus and method for manufacture a directionally solidified columnar grained article |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| US6757068B2 (en) * | 2000-01-28 | 2004-06-29 | Intersense, Inc. | Self-referenced tracking |
| US20020010734A1 (en) | 2000-02-03 | 2002-01-24 | Ebersole John Franklin | Internetworked augmented reality system and method |
| JP2001229402A (ja) | 2000-02-16 | 2001-08-24 | Mitsubishi Electric Corp | 3次元画像表示装置、3次元画像表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6741252B2 (en) * | 2000-02-17 | 2004-05-25 | Matsushita Electric Industrial Co., Ltd. | Animation data compression apparatus, animation data compression method, network server, and program storage media |
| US6525732B1 (en) | 2000-02-17 | 2003-02-25 | Wisconsin Alumni Research Foundation | Network-based viewing of images of three-dimensional objects |
| SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
| US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
| US8316450B2 (en) | 2000-10-10 | 2012-11-20 | Addn Click, Inc. | System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content |
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP2002157607A (ja) | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
| US20020158873A1 (en) * | 2001-01-26 | 2002-10-31 | Todd Williamson | Real-time virtual viewpoint in simulated reality environment |
| US20060082901A1 (en) * | 2004-10-14 | 2006-04-20 | Idelix Software Inc. | Interacting with detail-in-context presentations |
| FR2824732B1 (fr) | 2001-05-15 | 2003-08-22 | Oreal | Composition de conditionnement des cheveux comprenant un melange d'alcools gras et procede de traitement cosmetique des cheveux |
| JP2003006674A (ja) | 2001-06-22 | 2003-01-10 | Tis Inc | 高品質な3次元立体間取り図配布/表示システム |
| US7071897B2 (en) | 2001-07-18 | 2006-07-04 | Hewlett-Packard Development Company, L.P. | Immersive augmentation for display systems |
| US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
| WO2003032259A1 (en) * | 2001-09-27 | 2003-04-17 | Fujitsu Limited | Efficient download of content data through network |
| US7096428B2 (en) * | 2001-09-28 | 2006-08-22 | Fuji Xerox Co., Ltd. | Systems and methods for providing a spatially indexed panoramic video |
| US6809731B2 (en) * | 2002-01-08 | 2004-10-26 | Evans & Sutherland Computer Corporation | System and method for rendering high-resolution critical items |
| ES2425739T3 (es) | 2002-02-11 | 2013-10-17 | Bayer Healthcare Llc | Sorafenib-tosilato para el tratamiento de enfermedades caracterizadas por angiogénesis anormal |
| US20030179249A1 (en) | 2002-02-12 | 2003-09-25 | Frank Sauer | User interface for three-dimensional data sets |
| US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
| US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
| WO2004042662A1 (en) | 2002-10-15 | 2004-05-21 | University Of Southern California | Augmented virtual environments |
| JP2005049811A (ja) * | 2003-07-15 | 2005-02-24 | Olympus Corp | 立体表示装置及び立体視観察装置 |
| US7793801B2 (en) | 2002-11-18 | 2010-09-14 | David Carl Drummond | Positive pressure liquid transfer and removal system configured for operation by a hand and by a foot |
| US7199988B2 (en) | 2003-06-27 | 2007-04-03 | Lecip Corporation | Discharge tube lighting transformer with protective circuit against non-grounding of ground terminal |
| DE10361596A1 (de) | 2003-12-24 | 2005-09-29 | Grünenthal GmbH | Verfahren zur Herstellung einer gegen Missbrauch gesicherten Darreichungsform |
| US7546343B2 (en) | 2003-09-23 | 2009-06-09 | Alcatel-Lucent Usa Inc. | System and method for supporting virtual conferences |
| US20060152532A1 (en) * | 2003-09-29 | 2006-07-13 | Prabir Sen | The largest toy gallery park with 3D simulation displays for animations and other collectibles juxtaposed with physical-virtual collaborative games and activities in a three-dimension photo-realistic virtual-reality environment |
| US7166528B2 (en) | 2003-10-10 | 2007-01-23 | Applied Materials, Inc. | Methods of selective deposition of heavily doped epitaxial SiGe |
| JP2005165778A (ja) | 2003-12-03 | 2005-06-23 | Canon Inc | 頭部装着型表示装置、及びその制御方法 |
| JP2005182331A (ja) | 2003-12-18 | 2005-07-07 | Sony Corp | 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びに、プログラムおよび記録媒体 |
| RU2339083C2 (ru) | 2003-12-19 | 2008-11-20 | ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви | Система трехмерной видеоигры |
| EP1727093A1 (en) | 2003-12-19 | 2006-11-29 | Tdvision Corporation S.A. DE C.V. | 3d videogame system |
| DE102004001212A1 (de) | 2004-01-06 | 2005-07-28 | Deutsche Thomson-Brandt Gmbh | Verfahren und Vorrichtung zum Durchsuchen einer Datenbank in zwei Suchschritten |
| US20070182812A1 (en) | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
| JP2005339267A (ja) * | 2004-05-27 | 2005-12-08 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
| US20050289590A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Marketing platform |
| EP1759020A4 (en) | 2004-06-21 | 2008-04-16 | Exelixis Inc | ACACS AS MODIFICATORS OF THE IGF PATH AND METHOD OF USE |
| DE102005015997A1 (de) | 2004-12-23 | 2006-07-13 | Robert Bosch Gmbh | Kraftstoffinjektor mit direkter Steuerung des Einspritzventilgliedes |
| US20080266129A1 (en) * | 2007-04-24 | 2008-10-30 | Kuo Ching Chiang | Advanced computing device with hybrid memory and eye control module |
| US7920144B2 (en) | 2005-01-18 | 2011-04-05 | Siemens Medical Solutions Usa, Inc. | Method and system for visualization of dynamic three-dimensional virtual objects |
| EP1847071A4 (en) | 2005-01-26 | 2010-10-20 | Internet Broadcasting Corp B V | HISTORIZED MULTICAST AND FAIR BANDWIDTH DISTRIBUTION AND PACKAGE PRIORIZATION |
| US7843470B2 (en) * | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
| US7403268B2 (en) | 2005-02-11 | 2008-07-22 | Deltasphere, Inc. | Method and apparatus for determining the geometric correspondence between multiple 3D rangefinder data sets |
| US7642989B2 (en) | 2005-03-17 | 2010-01-05 | Massachusetts Institute Of Technology | System for and method of motion and force synchronization with time delay reduction in multi-user shared virtual environments |
| JP4661314B2 (ja) * | 2005-04-04 | 2011-03-30 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| US8040361B2 (en) * | 2005-04-11 | 2011-10-18 | Systems Technology, Inc. | Systems and methods for combining virtual and real-time physical environments |
| ES2325374T3 (es) | 2005-05-03 | 2009-09-02 | Seac02 S.R.L. | Sistema de realidad aumentada con identificacion de objeto marcador real. |
| RU2008110056A (ru) * | 2005-08-15 | 2009-09-27 | Конинклейке Филипс Электроникс Н.В. (Nl) | Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем |
| US8229914B2 (en) | 2005-09-14 | 2012-07-24 | Jumptap, Inc. | Mobile content spidering and compatibility determination |
| US8730156B2 (en) | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| FR2898229B1 (fr) | 2006-03-06 | 2008-05-30 | Eads Secure Networks Soc Par A | Synchronisation cryptographique entrelacee |
| JP2007336742A (ja) | 2006-06-16 | 2007-12-27 | Fuji Electric Device Technology Co Ltd | スイッチング電源装置 |
| US7641652B2 (en) | 2006-06-29 | 2010-01-05 | Ethicon Endo-Surgery, Inc. | Band ligation and coagulation |
| US7739339B2 (en) | 2006-06-28 | 2010-06-15 | The Boeing Company | System and method of communications within a virtual environment |
| US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
| US8446509B2 (en) * | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
| US8726195B2 (en) | 2006-09-05 | 2014-05-13 | Aol Inc. | Enabling an IM user to navigate a virtual world |
| US8010474B1 (en) | 2006-09-05 | 2011-08-30 | Aol Inc. | Translating paralinguisitic indicators |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| US8012023B2 (en) * | 2006-09-28 | 2011-09-06 | Microsoft Corporation | Virtual entertainment |
| US20080096654A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Game control using three-dimensional motions of controller |
| KR101217559B1 (ko) | 2006-10-27 | 2013-01-02 | 삼성전자주식회사 | 전력 소모를 최소화하는 그래픽스 데이터 렌더링 방법 및장치 |
| US20080162261A1 (en) * | 2006-12-30 | 2008-07-03 | Velazquez Herb F | Virtual reality system including personalized virtual environments |
| JP5391557B2 (ja) | 2007-02-28 | 2014-01-15 | 住友化学株式会社 | 共役ジエン系重合体、共役ジエン系重合体の製造方法及び共役ジエン系重合体組成物 |
| US8135018B1 (en) | 2007-03-29 | 2012-03-13 | Qurio Holdings, Inc. | Message propagation in a distributed virtual world |
| US8601386B2 (en) | 2007-04-20 | 2013-12-03 | Ingenio Llc | Methods and systems to facilitate real time communications in virtual reality |
| US8203530B2 (en) * | 2007-04-24 | 2012-06-19 | Kuo-Ching Chiang | Method of controlling virtual object by user's figure or finger motion for electronic device |
| US20080266323A1 (en) * | 2007-04-25 | 2008-10-30 | Board Of Trustees Of Michigan State University | Augmented reality user interaction system |
| NZ582133A (en) | 2007-05-18 | 2012-12-21 | Uab Research Foundation | Virtual reality system that reders common view to multiple users for medical image manipulation |
| US8433656B1 (en) | 2007-06-13 | 2013-04-30 | Qurio Holdings, Inc. | Group licenses for virtual objects in a distributed virtual world |
| US20100024045A1 (en) | 2007-06-30 | 2010-01-28 | Sastry Manoj R | Methods and apparatuses for privacy in location-aware systems |
| US20090054084A1 (en) * | 2007-08-24 | 2009-02-26 | Motorola, Inc. | Mobile virtual and augmented reality system |
| US9111285B2 (en) | 2007-08-27 | 2015-08-18 | Qurio Holdings, Inc. | System and method for representing content, user presence and interaction within virtual world advertising environments |
| US11325029B2 (en) | 2007-09-14 | 2022-05-10 | National Institute Of Advanced Industrial Science And Technology | Virtual reality environment generating apparatus and controller apparatus |
| US20090083051A1 (en) | 2007-09-26 | 2009-03-26 | Bokor Brian R | Interactive Self-Contained Business Transaction Virtual Object Generation |
| WO2009049282A2 (en) * | 2007-10-11 | 2009-04-16 | University Of Florida Research Foundation, Inc. | Mixed simulator and uses thereof |
| US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
| JP4950834B2 (ja) * | 2007-10-19 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US20090109240A1 (en) | 2007-10-24 | 2009-04-30 | Roman Englert | Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment |
| EP2058764B1 (en) * | 2007-11-07 | 2017-09-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
| US8231465B2 (en) | 2008-02-21 | 2012-07-31 | Palo Alto Research Center Incorporated | Location-aware mixed-reality gaming platform |
| US20090227374A1 (en) * | 2008-03-05 | 2009-09-10 | Motorola, Inc. | Seamless mobility of location-based gaming across virtual and physical worlds |
| US20090232355A1 (en) | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data using eigenanalysis |
| CN101256590A (zh) * | 2008-04-03 | 2008-09-03 | 北京艺龙天地文化传播有限公司 | 结合WebGis的三维在线虚拟现实生态环境仿真系统及其方法 |
| NL1035303C2 (nl) * | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
| DE102008001596A1 (de) | 2008-05-06 | 2009-11-12 | Evonik Röhm Gmbh | Kunststoffmischungen umfassend ein thermoplastisches Polyurethan (TPU) und ein schlagzähes Poly(meth)acrylat |
| US20090289955A1 (en) * | 2008-05-22 | 2009-11-26 | Yahoo! Inc. | Reality overlay device |
| US8756530B2 (en) | 2008-05-27 | 2014-06-17 | International Business Machines Corporation | Generation and synchronization of offline 3D virtual world content |
| US8161397B2 (en) * | 2008-06-05 | 2012-04-17 | Samsung Electronics Co., Ltd. | Interaction between real-world digital environments and virtual worlds |
| US7937504B2 (en) | 2008-07-31 | 2011-05-03 | International Business Machines Corporation | Transport control channel program message pairing |
| US20100024199A1 (en) | 2008-07-31 | 2010-02-04 | Siemens Energy & Automation, Inc. | Method For Correcting Slow Roll By Heating and Quenching |
| US7673505B2 (en) | 2008-08-01 | 2010-03-09 | Infineon Technologies Ag | Tire footprint determination apparatuses, systems and methods |
| IT1391239B1 (it) | 2008-08-08 | 2011-12-01 | Milano Politecnico | Metodo per la formazione di bump in substrati con through via |
| US8203108B2 (en) | 2008-08-08 | 2012-06-19 | Raytheon Company | Fuze guidance system with multiple caliber capability |
| JP4832596B2 (ja) | 2008-08-29 | 2011-12-07 | 三菱電機株式会社 | 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム |
| EP2163284A1 (en) | 2008-09-02 | 2010-03-17 | Zero Point Holding A/S | Integration of audio input to a software application |
| US20100066750A1 (en) * | 2008-09-16 | 2010-03-18 | Motorola, Inc. | Mobile virtual and augmented reality system |
| EP2327003B1 (en) * | 2008-09-17 | 2017-03-29 | Nokia Technologies Oy | User interface for augmented reality |
| JP5094663B2 (ja) | 2008-09-24 | 2012-12-12 | キヤノン株式会社 | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 |
| US8403753B2 (en) | 2008-09-30 | 2013-03-26 | Nintendo Co., Ltd. | Computer-readable storage medium storing game program, game apparatus, and processing method |
| US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
| KR20130010911A (ko) | 2008-12-05 | 2013-01-29 | 소우셜 커뮤니케이션즈 컴퍼니 | 실시간 커널 |
| US20100162121A1 (en) | 2008-12-22 | 2010-06-24 | Nortel Networks Limited | Dynamic customization of a virtual world |
| US8442304B2 (en) | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
| JP2010169976A (ja) | 2009-01-23 | 2010-08-05 | Sony Corp | 空間像表示装置 |
| US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| US8411086B2 (en) * | 2009-02-24 | 2013-04-02 | Fuji Xerox Co., Ltd. | Model creation using visual markup languages |
| WO2010105499A1 (en) * | 2009-03-14 | 2010-09-23 | Quan Xiao | Methods and apparatus for providing user somatosensory experience for thrill seeking jumping like activities |
| US20100241996A1 (en) | 2009-03-19 | 2010-09-23 | Tracy Wai Ho | XMB submenu preview |
| US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| CN101854335A (zh) | 2009-03-30 | 2010-10-06 | 华为技术有限公司 | 一种过滤的方法、系统及网络设备 |
| JP5178607B2 (ja) | 2009-03-31 | 2013-04-10 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
| JP5158007B2 (ja) * | 2009-04-28 | 2013-03-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| KR101671900B1 (ko) * | 2009-05-08 | 2016-11-03 | 삼성전자주식회사 | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 |
| US20100309097A1 (en) * | 2009-06-04 | 2010-12-09 | Roni Raviv | Head mounted 3d display |
| US20100309197A1 (en) * | 2009-06-08 | 2010-12-09 | Nvidia Corporation | Interaction of stereoscopic objects with physical objects in viewing area |
| US20100325154A1 (en) * | 2009-06-22 | 2010-12-23 | Nokia Corporation | Method and apparatus for a virtual image world |
| US9129644B2 (en) * | 2009-06-23 | 2015-09-08 | Disney Enterprises, Inc. | System and method for rendering in accordance with location of virtual objects in real-time |
| US8427508B2 (en) * | 2009-06-25 | 2013-04-23 | Nokia Corporation | Method and apparatus for an augmented reality user interface |
| US8966380B2 (en) | 2009-07-21 | 2015-02-24 | UnisFair, Ltd. | Apparatus and method for a virtual environment center and venues thereof |
| US8939840B2 (en) | 2009-07-29 | 2015-01-27 | Disney Enterprises, Inc. | System and method for playsets using tracked objects and corresponding virtual worlds |
| US8264192B2 (en) | 2009-08-10 | 2012-09-11 | Emerson Climate Technologies, Inc. | Controller and method for transitioning between control angles |
| JP2011059444A (ja) * | 2009-09-10 | 2011-03-24 | Olympus Corp | 眼鏡型画像表示装置 |
| US20110084983A1 (en) | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
| US20110270135A1 (en) * | 2009-11-30 | 2011-11-03 | Christopher John Dooley | Augmented reality for testing and training of human performance |
| KR20110118421A (ko) * | 2010-04-23 | 2011-10-31 | 엘지전자 주식회사 | 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템 |
| US20110148607A1 (en) * | 2009-12-17 | 2011-06-23 | Charles Timberlake Zeleny | System,device and method for providing haptic technology |
| US20110153341A1 (en) * | 2009-12-17 | 2011-06-23 | General Electric Company | Methods and systems for use of augmented reality to improve patient registration in medical practices |
| US20110151955A1 (en) * | 2009-12-23 | 2011-06-23 | Exent Technologies, Ltd. | Multi-player augmented reality combat |
| US9488488B2 (en) * | 2010-02-12 | 2016-11-08 | Apple Inc. | Augmented reality maps |
| US9285589B2 (en) * | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
| US9341843B2 (en) * | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
| KR101208911B1 (ko) | 2010-06-24 | 2012-12-06 | 전자부품연구원 | 가상 세계 운용 시스템 및 운용 방법 |
| US9573064B2 (en) * | 2010-06-24 | 2017-02-21 | Microsoft Technology Licensing, Llc | Virtual and location-based multiplayer gaming |
| US20110316845A1 (en) * | 2010-06-25 | 2011-12-29 | Palo Alto Research Center Incorporated | Spatial association between virtual and augmented reality |
| US20120019557A1 (en) * | 2010-07-22 | 2012-01-26 | Sony Ericsson Mobile Communications Ab | Displaying augmented reality information |
| US20120026451A1 (en) | 2010-07-29 | 2012-02-02 | Lensvector Inc. | Tunable liquid crystal lens with single sided contacts |
| JP2012032931A (ja) | 2010-07-29 | 2012-02-16 | Hitachi Ltd | Rfidタグ及びrfidタグの製造方法 |
| US8519844B2 (en) * | 2010-07-30 | 2013-08-27 | Gravity Jack, Inc. | Augmented reality and location determination methods and apparatus |
| US9111498B2 (en) * | 2010-08-25 | 2015-08-18 | Eastman Kodak Company | Head-mounted display with environmental state detection |
| JP2012058968A (ja) * | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US8661354B2 (en) | 2010-09-24 | 2014-02-25 | Nokia Corporation | Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices |
| US8764571B2 (en) | 2010-09-24 | 2014-07-01 | Nokia Corporation | Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices |
| US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| US9348141B2 (en) | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| US20120122570A1 (en) * | 2010-11-16 | 2012-05-17 | David Michael Baronoff | Augmented reality gaming experience |
| US8467810B2 (en) * | 2010-11-29 | 2013-06-18 | Navteq B.V. | Method and system for reporting errors in a geographic database |
| US8620730B2 (en) | 2010-12-15 | 2013-12-31 | International Business Machines Corporation | Promoting products in a virtual world |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| EP2671375A4 (en) | 2011-01-31 | 2015-06-10 | Cast Group Of Companies Inc | SYSTEM AND METHOD FOR PROVIDING 3D SOUND |
| EP2691937A1 (en) | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
| US20120264510A1 (en) * | 2011-04-12 | 2012-10-18 | Microsoft Corporation | Integrated virtual environment |
| CA3035118C (en) | 2011-05-06 | 2022-01-04 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US8692738B2 (en) | 2011-06-10 | 2014-04-08 | Disney Enterprises, Inc. | Advanced Pepper's ghost projection system with a multiview and multiplanar display |
| US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US20130063429A1 (en) | 2011-09-08 | 2013-03-14 | Parham Sina | System and method for distributing three-dimensional virtual world data |
| EP2771877B1 (en) | 2011-10-28 | 2017-10-11 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US8963805B2 (en) * | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
| US10713846B2 (en) * | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
| US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| US9432421B1 (en) * | 2014-03-28 | 2016-08-30 | A9.Com, Inc. | Sharing links in an augmented reality environment |
| IL240822B (en) | 2014-09-23 | 2020-03-31 | Heidelberger Druckmasch Ag | Sheet feeding device |
| US10430147B2 (en) * | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
-
2012
- 2012-05-04 CA CA3035118A patent/CA3035118C/en active Active
- 2012-05-04 CA CA2835120A patent/CA2835120C/en active Active
- 2012-05-04 JP JP2014509503A patent/JP6316186B2/ja active Active
- 2012-05-04 CN CN201710864372.2A patent/CN107656615B/zh active Active
- 2012-05-04 AU AU2012253797A patent/AU2012253797B2/en active Active
- 2012-05-04 RU RU2013154098A patent/RU2621644C2/ru not_active IP Right Cessation
- 2012-05-04 EP EP17168278.4A patent/EP3229107B1/en active Active
- 2012-05-04 EP EP12781825.0A patent/EP2705435B8/en active Active
- 2012-05-04 CN CN201280032550.0A patent/CN103635891B/zh active Active
- 2012-05-04 WO PCT/US2012/036681 patent/WO2012154620A2/en not_active Ceased
- 2012-05-04 RU RU2017118159A patent/RU2017118159A/ru not_active Application Discontinuation
- 2012-05-04 EP EP18200588.4A patent/EP3462286A1/en active Pending
- 2012-05-04 BR BR112013034009A patent/BR112013034009A2/pt not_active Application Discontinuation
- 2012-05-07 US US13/465,682 patent/US10101802B2/en active Active
-
2016
- 2016-11-24 JP JP2016227514A patent/JP6316387B2/ja active Active
-
2017
- 2017-06-05 JP JP2017110821A patent/JP6646620B2/ja active Active
- 2017-07-10 AU AU2017204738A patent/AU2017204738B2/en active Active
- 2017-07-10 AU AU2017204739A patent/AU2017204739B2/en active Active
-
2018
- 2018-08-07 US US16/057,518 patent/US10671152B2/en active Active
-
2019
- 2019-08-13 JP JP2019148515A patent/JP7109408B2/ja active Active
-
2020
- 2020-03-26 US US16/831,659 patent/US11157070B2/en active Active
- 2020-12-11 US US17/119,454 patent/US11669152B2/en active Active
-
2022
- 2022-06-07 JP JP2022092168A patent/JP7366196B2/ja active Active
- 2022-08-05 JP JP2022125279A patent/JP2022140779A/ja not_active Withdrawn
-
2023
- 2023-04-25 US US18/306,387 patent/US12474767B2/en active Active
-
2024
- 2024-01-05 JP JP2024000622A patent/JP7717200B2/ja active Active
- 2024-11-22 JP JP2024203932A patent/JP2025022934A/ja active Pending
Non-Patent Citations (4)
| Title |
|---|
| "Face-to-Face Tabletop Remote Collaboration in Mixed Reality";Shinya Minatani 等;《2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality》;20071116;第1-4页 * |
| "Touch-Space: Mixed Reality Game Space Based on Ubiquitous, Tangible, and Social Computing";Adrian David Cheok 等;《Personal and Ubiquitous Computing》;20021231;第6卷(第5期);第430-442页 * |
| "异地协同增强现实系统设计及其一致性控制研究";徐永健;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20070215(第2007年第02期);第I138-181页,正文第1-43页 * |
| Adrian David Cheok 等."Touch-Space: Mixed Reality Game Space Based on Ubiquitous, Tangible, and Social Computing".《Personal and Ubiquitous Computing》.2002,第6卷(第5期),第430-442页. * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7717200B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
| JP7682963B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |