[go: up one dir, main page]

KR102270699B1 - 증강 및 가상 현실을 위한 시스템 및 방법 - Google Patents

증강 및 가상 현실을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102270699B1
KR102270699B1 KR1020157028273A KR20157028273A KR102270699B1 KR 102270699 B1 KR102270699 B1 KR 102270699B1 KR 1020157028273 A KR1020157028273 A KR 1020157028273A KR 20157028273 A KR20157028273 A KR 20157028273A KR 102270699 B1 KR102270699 B1 KR 102270699B1
Authority
KR
South Korea
Prior art keywords
user
delete delete
virtual
head
virtual world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020157028273A
Other languages
English (en)
Other versions
KR20150126938A (ko
Inventor
사뮤엘 에이. 밀러
로니 아보비츠
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217019351A priority Critical patent/KR102387314B1/ko
Publication of KR20150126938A publication Critical patent/KR20150126938A/ko
Application granted granted Critical
Publication of KR102270699B1 publication Critical patent/KR102270699B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예는 둘 이상의 사용자들이 가상 세계 데이터를 포함하는 가상 세계 내에서 상호작용할 수 있게 하기 위한 시스템에 관한 것이고, 그 시스템은 하나 이상의 컴퓨팅 디바이스들을 포함하는 컴퓨터 네트워크를 포함하고, 하나 이상의 컴퓨팅 디바이스들은 메모리, 프로세싱 회로, 및 메모리에 적어도 부분적으로 저장되고 가상 세계 데이터의 적어도 일부를 프로세싱하기 위해 프로세싱 회로에 의해서 실행가능한 소프트웨어를 포함하고, 가상 세계 데이터의 적어도 제 1 부분이 제 1 사용자에 로컬적인 제 1 사용자 가상 세계로부터 기인하고, 컴퓨터 네트워크는 제 2 사용자에게의 제시를 위해서 제 1 부분을 사용자 디바이스에 전송하도록 동작가능하여, 제 2 사용자가 제 2 사용자의 로케이션으로부터 제 1 부분을 경험할 수 있고, 그로 인해서 제 1 사용자 가상 세계의 양상들(aspects)이 제 2 사용자에게 효과적으로 전달된다.

Description

증강 및 가상 현실을 위한 시스템 및 방법{SYSTEM AND METHOD FOR AUGMENTED AND VIRTUAL REALITY}
[0001] 본 발명은 일반적으로 하나 또는 그 초과의 사용자들에 대한 상호작용 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0002] 가상 및 증강 현실 환경들은 부분적으로, 환경을 설명하는 데이터를 사용하여 컴퓨터들에 의해 생성된다. 이 데이터는, 예를 들어 사용자가 감지 및 상호작용할 수 있는 다양한 오브젝트들을 설명할 수 있다. 이들 오브젝트들의 예들은 사용자가 보도록 렌더링되고 디스플레이된 오브젝트들, 사용자가 청취하도록 플레이되는 오디오, 및 사용자가 느낄 촉감(또는 촉각(haptic)) 피드백을 포함한다. 사용자들은 다양한 시각적, 청각적 및 촉감적 수단을 통해 가상 및 증강 현실 환경들을 감지하고 상호작용할 수 있다.
[0003] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대해 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0004] 일 실시예는 사용자의 머리에 장착 가능한 하우징 프레임, 사용자의 눈들의 움직임을 추적하고 추적된 눈 움직임들에 기초하여 초점 깊이를 추정하기 위하여 하우징 프레임에 커플링되는 제 1 쌍의 카메라들, 디스플레이 오브젝트가 초점이 맞게 나타나도록 디스플레이 오브젝트와 연관된 프로젝팅된 광을, 추정된 초점 깊이에 기초하여 생성 및 수정하기 위한 광 생성 메커니즘을 갖는 프로젝션 모듈, 하우징 프레임상에 장착된 렌즈, 및 디스플레이 이미지와 연관된 데이터를 프로젝션 모듈에 통신하기 위해서 프로젝션 모듈에 통신 가능하게 커플링되는 프로세서를 포함하는 사용자 디스플레이 디바이스에 관한 것이다. 렌즈는 프로젝팅된 광을 사용자의 눈들로 산란시키기 위하여 사용자 눈들의 앞에 포지셔닝되는 적어도 하나의 투명 거울을 포함할 수 있다. 적어도 하나의 투명 거울은 로컬 환경으로부터의 광의 투과를 선택적으로 허용할 수 있다.
[0005] 사용자 디스플레이 디바이스는 제 2 쌍의 카메라들 각각에 상응하는 눈의 시계 이미지(field-of-view)를 캡처하기 위하여 하우징 프레임 상에 장착가능한 제 2 쌍의 카메라들을 더 포함할 수 있다. 프로세서는 캡처된 시계 이미지들에 기초하여 사용자의 머리 포즈를 계산할 수 있다.
[0006] 프로젝션 모듈은 추정된 초점 깊이에 기초하여 디스플레이 오브젝트와 연관된 프로젝팅된 광 빔을 수정하기 위해 스캐닝된 레이저 어레인지먼트를 포함할 수 있다. 프로젝팅된 광 빔의 직경은 0.7 mm보다 작을 수 있다.
[0007] 일 실시예에서, 제 1 쌍의 카메라들은 사용자의 눈들의 각각의 움직임을 추적하기 위해서 적외선 광 소스들과 쌍을 이루는 적외선 카메라들을 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자의 움직임, 사용자의 로케이션, 사용자의 방향 및 사용자의 지향 중 적어도 하나를 감지하기 위하여 적어도 하나의 센서를 포함하는 센서 어셈블리를 더 포함할 수 있다. 적어도 하나의 센서는 가속도계, 콤파스 또는 자이로스코프일 수 있다. 프로세서는 사용자의 움직임, 사용자의 로케이션, 사용자의 방향, 및 사용자의 지향 중 적어도 하나에 기초하여 사용자의 머리 포즈를 추정할 수 있다. 사용자 디스플레이 디바이스는 GPS 시스템을 포함할 수 있다. 사용자 디스플레이 디바이스는 촉감 피드백(20)을 제공하기 위해서 프로젝션 모듈에 통신 가능하게 커플링되는 촉각 인터페이스 디바이스를 더 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자의 환경을 디지털적으로 재구성하기 위하여 환경 감지 시스템을 더 포함할 수 있다.
[0008] 프로세서는 가상 세계 데이터의 적어도 일부를 전송하고, 가상 세계 데이터의 다른 일부를 수신하기 위해서 컴퓨터 네트워크에 통신 가능하게 커플링될 수 있다.
[0009] 사용자 디스플레이 디바이스는 음향들을 출력하기 위하여 머리 프레임 상에 장착가능한 오디오 스피커 모듈을 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자에게 로컬적인 음향들을 캡처하기 위하여 하우징 프레임 상에 장착 가능한 마이크로폰을 더 포함할 수 있다.
[0010] 프로젝션 모듈은, 다른 오브젝트가 흐릿하게 나타나도록 디스플레이 오브젝트가 아닌 다른 오브젝트와 연관된 다른 프로젝팅된 광을 수정할 수 있다. 프로세서는 적어도 초당 60 프레임들의 레이트로 디스플레이 오브젝트의 프레임들을 렌더링할 수 있다.
[0011] 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나일 수 있다.
[0012] 다른 실시예에서, 방법은 사용자 눈들의 움직임을 추적하는 단계, 추적된 눈 움직임에 기초하여 사용자 눈들의 초점 깊이를 추정하는 단계, 디스플레이 오브젝트가 초점이 맞게 나타나도록, 상기 디스플레이 오브젝트와 연관된 광 빔을 추정된 초점 깊이에 기초하여 수정하는 단계, 및 수정된 광 빔을 사용자 눈들로 프로젝팅하는 단계를 포함한다. 사용자의 눈들로 프로제깅된 프로젝팅된 광 빔의 직경은 0.7 mm 미만일 수 있다.
[0013] 방법은 디스플레이 오브젝트의 가시화 모드에 기초하여 사용자의 로컬 환경으로부터 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다. 가시화 모드는 증강 현실 모드, 가상 현실 모드, 및 증강 및 가상 현실 모드들의 결합 중 하나일 수 있다.
[0014] 방법은 사용자 눈들 각각의 시계 이미지를 캡처하는 단계를 더 포함할 수 있다. 캡처된 시계 이미지는 사용자의 머리 포즈를 추정하기 위하여 사용될 수 있다. 캡처된 시계 이미지는 적어도 하나의 물리적 오브젝트를 물리적으로 렌더링된 가상적 오브젝트로 변환하고, 그리고 물리적으로 렌더링된 가상적 오브젝트를 사용자에게 디스플레이하기 위해 사용될 수 있다.
[0015] 방법은 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계, 및 추출된 포인트들의 세트에 기초하여 상기 캡처된 시계 이미지에서 적어도 하나의 물리적 오브젝트에 대한 기점을 생성하는 단계를 더 포함할 수 있다. 방법은 추출된 포인트들의 세트 및 생성된 기점 중 적어도 하나를 클라우드 컴퓨터에 전송하는 단계, 및 추출된 포인트들의 세트 및 생성된 기점 중 적어도 하나를 오브젝트의 타입에 태깅(tagging)하는 단계를 더 포함할 수 있다. 방법은 오브젝트의 타입과 연관되는 태깅된 포인트들의 세트 및 오브젝트의 타입과 연관되는 태깅된 생성된 기점 중 적어도 하나에 기초하여 상이한 물리적 오브젝트를 상기 오브젝트의 타입에 속하는 것으로 인지하는 단계를 더 포함할 수 있다.
[0016] 방법은 사용자의 움직임, 사용자의 로케이션, 사용자의 방향 및 사용자의 지향 중 적어도 하나를 감지하는 단계, 및 적어도 하나의 감지된 움직임, 감지된 로케이션, 감지된 방향 및 감지된 지향에 기초하여 사용자의 포즈를 계산하는 단계를 더 포함할 수 있다. 센서는 가속도계, 콤파스 및 자이로스코프 중 적어도 하나일 수 있다.
[0017] 방법은 클라우드 네트워크로의 디스플레이 오브젝트와 연관된 가상 세계 데이터를 프로세싱하는 단계 및 제 2 로케이션에 로케이팅된 제 2 사용자가 제 2 로케이션의 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 경험할 수 있도록 하기 위해서, 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 제 2 사용자에게 전송하는 단계를 더 포함할 수 있다.
[0018] 방법은 물리적 오브젝트를 감지하는 단계 및 감지된 물리적 오브젝트와의 미리 결정된 관계에 기초하여, 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 수정하는 단계를 더 포함할 수 있다. 방법은 제 2 사용자에게 수정된 가상 세계 데이터를 제시하는 단계를 더 포함할 수 있다.
[0019] 방법은 디스플레이 오브젝트가 아닌 다른 오브젝트는 흐릿하게 나타나도록 하기 위해서, 다른 오브젝트와 연관된 다른 광을 수정하는 단계를 더 포함할 수 있다.
[0020] 방법은 사용자 인터페이스를 통해 사용자 입력을 수신하는 단계 및 수신된 사용자 입력에 기초하여 디스플레이 오브젝트를 수정하는 단계를 더 포함할 수 있다. 사용자 인터페이스는 촉각 인터페이스 디바이스, 키보드, 마우스, 조이스틱, 모션 캡처 제어기, 광학 추적 디바이스 및 오디오 입력 디바이스 중 적어도 하나일 수 있다. 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나일 수 있다.
[0021] 또 다른 실시예에서, 방법은 가상 세계 데이터를 포함하는 가상 세계와 머리-장착 사용자 디스플레이 디바이스를 통해서 상호작용하는 단계 ― 머리-장착 사용자 디스플레이 디바이스는 사용자 눈들의 추정된 초점 깊이에 기초하여 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 이미지를 사용자에게 렌더링함 ―, 가상 세계와의 머리-장착 사용자 디바이스의 상호작용 및 사용자의 물리적 환경과의 상호작용 중 적어도 하나로부터 기인하는 추가적인 가상 세계 데이터를 생성하는 단계 및 추가적인 가상 세계 데이터를 컴퓨터 네트워크에 전송하는 단계를 포함한다. 가상 세계는 2차원 포맷 또는 3차원 포맷으로 제시될 수 있다.
[0022] 방법은 제 2 로케이션에 있는 제 2 사용자가 제 2 로케이션으로부터 추가적인 가상 세계 데이터를 경험할 수 있도록 하기 위해서, 제시를 위해 추가적인 가상 세계 데이터를 제 2 사용자에게 전송하는 단계를 더 포함할 수 있다. 추가적인 가상 세계 데이터는 머리-장착 사용자 디스플레이 디바이스를 통해 캡처되는 시계 이미지와 연관될 수 있다. 추가적인 가상 세계 데이터는 사용자의 감지된 움직임, 사용자의 감지된 로케이션, 사용자의 감지된 방향 및 사용자의 감지된 지향 중 적어도 하나와 연관될 수 있다. 추가적인 가상 세계 데이터는 머리-장착 사용자 디스플레이 디바이스에 의해 감지되는 물리적 오브젝트와 연관될 수 있다. 추가적인 가상 세계 데이터는 감지된 물리적 오브젝트와의 미리 결정된 관계를 갖는 디스플레이 오브젝트와 연관될 수 있다.
[0023] 방법은 사용자 입력에 기초하여, 사용자와 머리-장착 사용자 디스플레이 디바이스 간의 상호작용을 가능하게 하기 위한 인터페이스를 선택하는 단계 및 선택된 인터페이스에 기초하여 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 오브젝트를 렌더링하는 단계를 더 포함할 수 있다. 선택된 인터페이스는 가상 현실 모드, 증강 현실 모드, 블렌디디(blended) 현실 모드, 및 가상 현실 및 증강 현실 모드들의 결합 중 하나일 수 있다.
[0024] 또 다른 실시예에서, 둘 이상의 사용자들이 가상 세계 데이터를 포함하는 가상 세계와 상호작용할 수 있게 하는 방법은 제 1 사용자의 제 1 가시화 모드에서 제 1 사용자 디스플레이 디바이스를 통해 가상 세계를 디스플레이하는 단계, 컴퓨터 네트워크를 통해 가상 세계 데이터의 적어도 일부를 제 2 사용자 디스플레이에 전송하는 단계 및 제 2 가시화 모드에서의 가상 세계 데이터의 전송된 부분과 연관된 가상 세계를 제 2 사용자의 제 2 사용자 디스플레이 디바이스에서 디스플레이하는 단계를 포함한다. 제 1 가시화 모드는 제 2 가시화 모드와 상이할 수 있다. 제 1 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 가상 현실 및 증강 현실 모드들의 결합 중 적어도 하나일 수 있다.
[0025] 또 다른 실시예에서, 방법은 실제 물리적 오브젝트의 이미지와 연관된 렌더링된 물리적 이미지 데이터 및 가상 디스플레이 오브젝트와 연관된 가상 이미지 데이터 중 적어도 하나를 사용자의 선택에 기초하여 프로세싱하는 단계 및 실시간으로 사용자에 의해 확인되는 실제 물리적 오브젝트, 실시간으로 사용자에 의해 확인되는 실제 물리적 오브젝트에 기초하여 렌더링되는 렌더링된 물리적-가상적 오브젝트, 및 가상 디스플레이 오브젝트의 선택된 결합을 사용자에게 선택적으로 디스플레이하는 단계를 포함한다. 실제 물리적 오브젝트, 렌더링된 물리적-가상적 오브젝트 및 가상 디스플레이 오브젝트 중 적어도 하나가 가시화 모드의 사용자 입력에 기초하여 선택적으로 디스플레이될 수 있다. 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 가상 및 증강 현실 모드들의 결합 중 적어도 하나일 수 있다.
[0026] 방법은 컴퓨터 네트워크를 통해 다른 디스플레이 오브젝트와 연관된 이미지 데이터를 수신하는 단계 및 사용자가 선택된 가시화 모드에서 다른 디스플레이 오브젝트를 볼 수 있도록 하기 위해서 선택된 가시화 모드와 호환가능한 데이터 포맷으로 이미지 데이터를 변환하는 단계를 더 포함할 수 있다.
[0027] 방법은 선택된 가시화 모드에 기초하여, 사용자가 실제 물리적 오브젝트를 볼 수 있도록 하기 위해서 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다.
[0028] 또 다른 실시예에서, 방법은 머리-장착 사용자 디스플레이 디바이스의 렌즈를 통해서, 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 포함하고, 머리-장착 사용자 디스플레이 디바이스는 완전 가상적 오브젝트들, 완전 물리적 오브젝트들 또는 가상적 오브젝트들 및 물리적 오브젝트들의 결합 중 어느 하나를 디스플레이하도록 구성된다.
[0029] 광의 투과의 선택적인 허용은 원하는 가시화 모드에 기초할 수 있고, 원하는 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 증강 및 가상 현실 모드들의 결합 중 하나이다.
[0030] 방법은 사용자가 완전 물리적 오브젝트들을 보도록 하기 위해서, 머리-장착 사용자 디스플레이 디바이스가 턴 오프될 때 외부 환경으로부터의 광의 완전한 투과를 허용하는 단계를 더 포함할 수 있다.
[0031] 방법은 특정 형태를 갖는 적어도 하나의 디스플레이 오브젝트와 연관된 광 빔을 사용자 눈들로 프로젝팅하는 단계 및 사용자가 외부 환경의 물리적 오브젝트들과 함께 디스플레이 오브젝트를 보도록 하기 위해서, 적어도 하나의 디스플레이 오브젝트의 특정 형태에 기초하여 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다. 방법은 사용자만이 완전 가상적 오브젝트들을 보도록 하기 위해서 외부 환경으로부터의 광의 투과를 방지하는 단계를 더 포함할 수 있다.
[0032] 또 다른 실시예에서, 가상 세계 데이터를 포함하는 가상 세계내에서 둘이상의 사용자들이 상호작용할 수 있게 하는 방법은, 제 1 사용자가 제 1 로케이션에서 제 1 사용자 디바이스를 통해 가상 세계에 액세스하기 위한 원격 아바타(remote avatar)를 생성하는 단계, 제 1 사용자가 제 1 로케이션에서 제 1 사용자 디바이스를 통해 실제 지리적 로케이션(real geographical location)을 경험할 수 있도록 하기 위해, 실제 지리적 로케이션에 제 1 사용자의 원격 아바타를 배치하는 단계, 및 실제 지리적 로케이션에 배치된 원격 아바타를 통해서, 실제 지리적 로케이션에 있는 제 2 사용자 디바이스를 통해 가상 세계에 액세스하는 제 2 사용자와 상호작용하는 단계를 포함한다. 제 1 로케이션은 실제 지리적 로케이션과는 상이할 수도 있으며, 또는 제 1 로케이션은 실제 지리적 로케이션과 실질적으로 동일할 수도 있다.
[0033] 원격 아바타는 실제 지리적 로케이션에서 물리적 오브젝트에 대한 미리결정된 관계를 가질 수 있다. 원격 아바타는 실제 지리적 로케이션에서의 환경 단서(environmental cue)에 응답할 수 있다. 원격 아바타의 움직임(movement)은 제 1 사용자에 의해 제어될 수 있다. 원격 아바타는 실제 지리적 로케이션에서 제 2 사용자와 상호작용할 수 있다.
[0034] 또 다른 실시예에서, 방법은, 머리-장착 사용자 디스플레이 디바이스를 통해, 사용자의 눈들 각각의 시계 이미지(field of view image)를 캡처하는 단계, 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계, 추출된 포인트들의 세트를 특정 오브젝트에 연관시키는 단계, 및 특정 오브젝트의 연관된 포인트들의세트에 기초하여 상이한 오브젝트를 인지하는 단계를 포함한다.
[0035] 또 다른 실시예는 가상 세계 데이터를 포함하는 가상 세계내에서 둘 이상의 사용자들이 상호작용할 수 있게 하기 위한 시스템에 관한 것이며, 이 시스템은, 하나 이상의 컴퓨팅 디바이스들을 포함하는 컴퓨터 네트워크를 포함함고, 하나 이상의 컴퓨팅 디바이스들은 메모리, 프로세싱 회로, 및 메모리에 적어도 부분적으로 저장되고 가상 세계 데이터의 적어도 일부를 프로세싱하기 위해 프로세싱 회로에 의해 실행가능한 소프트웨어를 포함하고, 가상 세계 데이터의 적어도 제 1 부분은 제 1 사용자에 로컬적인 제 1 사용자 가상 세계로부터 기인(originate)하며, 컴퓨터 네트워크는 제 1 부분을 제 2 사용자에게 제시(presentation)하기 위해 사용자 디바이스에 전송하도록 동작가능하여, 제 2 사용자가 제 2 사용자의 로케이션으로부터 제 1 부분을 경험할 수 있고, 그로 인해서 제 1 사용자 가상 세계의 양상들이 제 2 사용자에게 효과적으로 전달될 수 있다. 제 1 사용자 및 제 2 사용자는 상이한 물리적 로케이션들 또는 실질적으로 동일한 물리적 로케이션에 있을 수 있다. 가상 세계의 적어도 일부는 가상 세계 데이터에서의 변화에 응답하여 변하도록 구성될 수 있다. 가상 세계의 적어도 일부는 사용자 디바이스에 의해 감지된 물리적 오브젝트에 응답하여 변하도록 구성될 수 있다. 가상 세계 데이터에서의 변화는 물리적 오브젝트와의 미리결정된 관계를 갖는 가상 오브젝트를 표현할 수 있다. 가상 세계 데이터에서의 변화는 미리결정된 관계에 따른 제 2 사용자에게의 제시를 위해 제 2 사용자 디바이스에 제시될 수 있다. 가상 세계는 컴퓨터 서버 또는 사용자 디바이스 중 적어도 하나에 의해 렌더링되게 동작가능할 수 있다. 가상 세계는 2-차원 포맷으로 제시될 수 있다. 가상 세계는 3-차원 포맷으로 제시될 수 있다. 사용자 디바이스는 증강 현실 모드에서 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 사용자 디바이스는 가상 현실 모드에서 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 사용자 디바이스는 증강 및 가상 현실 모드의 조합으로 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 가상 세계 데이터는 데이터 네트워크를 통해 전송될 수 있다. 컴퓨터 네트워크는 사용자 디바이스로부터 가상 세계 데이터의 적어도 일부를 수신하도록 동작가능할 수 있다. 사용자 디바이스로 송신된 가상 세계 데이터의 적어도 일부는 가상 세계의 적어도 일부를 생성하기 위한 명령들을 포함할 수 있다. 가상 세계 데이터의 적어도 일부는 프로세싱 또는 분배 중 적어도 하나를 위해 게이트웨이로 송신될 수 있다. 하나 이상의 컴퓨터 서버들 중 적어도 하나는 게이트웨이에 의해 분배되는 가상 세계 데이터를 프로세싱하도록 동작가능할 수 있다.
[0036] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 장치에 관한 것이며, 원격 아바타들은 음성변화(voice inflection) 및 안면 인식 소프트웨어로부터의 선택적 입력을 갖는 웨어러블(wearable) 디바이스상의 데이터에 적어도 부분적으로 기초하여 애니메이팅된다.
[0037] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 카메라 포즈 또는 뷰포인트 포지션 및 벡터는 세계 섹터(world sector)의 어디에든 배치될 수 있다.
[0038] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 세계들 또는 이들의 부분들은 다양한 그리고 선택가능한 스케일들에서 사용자들을 관찰하도록 렌더링될 수 있다.
[0039] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 태깅된 이미지들을 포즈하는 것 이외에, 포인트들 또는 파라메트릭 라인들(parametric lines)과 같은 피처들(features)은 세계 모델에 대한 베이스 데이터로서 이용될 수 있으며, 이 세계 모델로부터, 소프트웨어 로봇들 또는 오브젝트 인식기(recognizer)들은 실세계 오브젝트들의 파라메트릭 표현들을 생성하는데 이용될 수 있고, 분할된(segmented) 오브젝트들 및 세계 모델의 상호 포함(mutual inclusion)을 위해 소스 피처들을 태깅한다.
[0040] 본 발명의 추가의 그리고 다른 목적들, 피처들 및 장점들은 상세한 설명, 도면들 및 청구항들에 설명된다.
[0041] 도 1은 다수의 사용자들에 대한 상호작용 가상 또는 증강 현실 환경을 가능하게 하기 위해 개시된 시스템의 대표적인 실시예를 예시한다.
[0042] 도 2는 도 1에 예시된 시스템과 상호작용하기 위한 사용자 디바이스의 예를 예시한다.
[0043] 도 3은 모바일, 웨어러블 사용자 디바이스의 예시적 실시예를 예시한다.
[0044] 도 4는, 도 3의 모바일, 웨어러블 사용자 디바이스가 증강 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0045] 도 5는, 도 3의 모바일, 웨어러블 사용자 디바이스가 가상 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0046] 도 6은, 도 3의 모바일, 웨어러블 사용자 디바이스가 블렌딩된 가상 인터페이스 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0047] 도 7은 일 실시예를 예시하며, 여기서 상이한 지리적 로케이션들 각각에 로케이팅되는 2명의 사용자들은 그들 각각의 사용자 디바이스들을 통해 다른 사용자 및 공통 가상 세계와 상호작용한다.
[0048] 도 8은 일 실시예를 예시하며, 도 7의 실시예는 햅틱 디바이스의 사용을 포함하도록 확장된다.
[0049] 도 9a는, 혼합된 모드 인터페이싱의 예를 예시하며, 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계와 상호작용하며 제 2 사용자는 가상 현실 모드에서 동일한 디지털 세계와 상호작용한다.
[0050] 도 9B는 혼합 모드 인터페이싱의 다른 예를 도시하는데, 여기서 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계를 인터페이싱하고 있고 제 2 사용자는 증강 현실 모드에서 동일한 디지털 세계를 인터페이싱하고 있다.
[0051] 도 10은 증강 현실 모드에서 시스템을 인터페이싱할 때 사용자의 뷰의 예시적인 설명을 도시한다.
[0052] 도 11은 사용자가 증강 현실 모드에서 시스템을 인터페이싱하고 있을 때 물리적 오브젝트에 의해 트리거링된 가상 오브젝트를 보여주는 사용자의 뷰의 예시적인 설명을 도시한다.
[0053] 도 12는 증강 및 가상 현실 통합 구성의 일 실시예를 도시하며, 증강 현실 경험 중인 일 사용자는 가상 현실 경험에서 다른 사용자의 존재를 시각화한다.
[0054] 도 13은 시간 및/또는 컨틴전시 이벤트 기반 증강 현실 경험 구성의 일 실시예를 도시한다.
[0055] 도 14는 가상 및/또는 증강 현실 경험들에 적합한 사용자 디스플레이 구성의 일 실시예를 도시한다.
[0056] 도 15는 로컬 및 클라우드 기반 컴퓨팅 코디네이션의 일 실시예를 도시한다.
[0057] 도 16은 등록 구성의 다양한 양상들을 도시한다.
도 17은 일 게이밍 실시예에 따른 가상 및/또는 증강 현실 시스템의 디지털 세계와 가족 상호작용의 예시를 도시한다.
도 18은 도 17의 사용자에 의해 보여지는 디지털 세계의 환경의 사용자 뷰의 예시적인 설명을 도시한다.
도 19는 웨어러블 사용자 디바이스를 통해 동일한 디지털 세계와 상호작용하는 도 17의 사용자들에 의해 보여지는 물리적 환경에서의 사용자 경험을 도시한다.
도 20은 도 19의 사용자의 사용자 뷰의 예시적인 설명을 도시한다.
도 21은, 도 17의 사용자들에 의해 보여지는 물리적 환경에 다른 사용자가 또한 존재하고, 모바일 디바이스를 통해 도 17 및 도 19의 사용자들의 동일한 디지털 세계와 상호작용하는 다른 사용자 뷰의 예시적인 설명을 도시한다.
도 22는 도 17 내지 21의 환경의 사용자의 새의 눈 뷰의 예시적인 설명을 도시한다.
도 23은 가상 및/또는 증강 현실 시스템과 상호작용하는 복수의 사용자들의 예시적인 시나리오를 도시한다.
도 24A는 도 1에 도시된 시스템과 상호작용하기 위한 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 24B는 제거 가능하고 강화 콘솔에 동작 가능하게 커플링된 도 24A의 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 25는 개략적인 로컬화의 일 실시예를 도시한다.
[0058] 도 1을 참조하면, 시스템(100)은 이하에 설명된 프로세스들을 구현하기 위한 전형적인 하드웨어이다. 이 전형적인 시스템은 하나 이상의 고 대역폭 인터페이스들(115)을 통해 연결된 하나 이상의 컴퓨터 서버들(110)로 구성된 컴퓨팅 네트워크(105)를 포함한다. 컴퓨팅 네트워크의 서버들은 콜로케이팅될 필요는 없다. 하나 이상의 서버들(110) 각각은 프로그램 명령들을 실행하기 위한 하나 이상의 프로세서들을 포함한다. 서버들은 또한, 프로그램 명령들의 지시 하에 서버들에 의해 실행되고 있는 프로세스들에 의해 사용 및/또는 생성되는 프로그램 명령들 및 데이터를 저장하기 위한 메모리를 포함한다.
[0059] 컴퓨팅 네트워크(105)는 하나 이상의 데이터 네트워크 연결들(130)을 통해 서버들(110) 사이에서 그리고 서버들과 하나 이상의 사용자 디바이스들(120) 사이에서 데이터를 통신한다. 이러한 데이터 네트워크들의 예들은, 예를 들어, 인터넷으로 흔히 지칭되는 많은 이러한 네트워크들의 상호 접속을 비롯해, 임의의 그리고 모든 타입의 공중 및 개인 데이터 네트워크 ―둘 모두 모바일 및 유선임―를 제한 없이 포함한다. 특정 미디어, 토폴로지 또는 프로토콜이 도면에 의해 암시되는 것으로 의도되지 않는다.
[0060] 사용자 디바이스들은 컴퓨팅 네트워크(105) 또는 서버들(110) 중 임의의 서버와 직접 통신하도록 구성된다. 대안적으로, 사용자 디바이스들(120)은 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 사이에서 데이터를 통신하기 위해 및/또는 데이터를 프로세싱하기 위해 특별하게 프로그래밍된 로컬 게이트웨이(140)를 통해 원격 서버들(110)과 그리고 선택적으로 다른 사용자 디바이스들과 로컬하게 통신한다.
[0061] 도시된 바와 같이, 게이트웨이(140)는 개별 하드웨어 컴포넌트로서 구현되고, 이는 소프트웨어 명령들을 실행하기 위한 프로세서 및 소프트웨어 명령들 및 데이터를 저장하기 위한 메모리를 포함한다. 게이트웨이는 컴퓨팅 네트워크(105)를 포함하는 서버들(110)과 통신하기 위해 데이터 네트워크에 대해 자신 고유의 유선 및/또는 무선 접속을 갖는다. 대안적으로, 게이트웨이(140)는 사용자에 의해 운반되거나 착용되는 사용자 디바이스(120)에 통합될 수 있다. 예를 들어, 게이트웨이(140)는 사용자 디바이스(120)에 포함된 프로세서 상에 장착되고 실행되는 다운로드 가능한 소프트웨어 애플리케이션으로서 구현될 수 있다. 게이트웨이(140)는 일 실시예에서, 데이터 네트워크(130)를 통해 컴퓨팅 네트워크(105)에 하나 이상의 사용자 액세스를 제공한다.
[0062] 서버들(110) 각각은 예를 들어, 데이터 및 소프트웨어 프로그램들을 저장하기 위한 워킹 메모리 및 저장소, 프로그램 명령들을 실행하기 위한 마이크로프로세서들, 그래픽 프로세서들 및 그래픽들, 이미지, 비디오, 오디오 및 멀티미디어 파일들을 렌더링 및 생성하기 위한 다른 특별한 프로세서들을 포함한다. 컴퓨팅 네트워크(105)는 또한 서버들(110)에 의해 액세스되거나, 사용되거나 또는 생성되는 데이터를 저장하기 위한 디바이스들을 포함할 수 있다.
[0063] 서버들 및 선택적으로 사용자 디바이스들(120) 및 게이트웨이들(140) 상에서 실행되는 소프트웨어 프로그램들은 사용자들이 사용자 디바이스들(120)로 상호작용하는 디지털 세계(또한 본 명세서에서 가상 세계로 불림)를 생성하도록 사용된다. 디지털 세계는, 사용자 디바이스(120)를 통해 사용자들이 경험하고 상호작용하도록 사용자에게 제공될 수 있는 가상의, 비 실존 엔티티들, 환경들 및 상황들을 설명 및/또는 정의하는 데이터 및 프로세스들에 의해 표현된다. 예를 들어, 사용자에 의해 뷰잉되거나 경험되는 장면에서 예시될 때 물리적으로 제시되는 것으로 나타날 오브젝트, 엔티티 또는 아이템의 일부 타입은 그 출현, 그 거동, 사용자가 어떻게 그것과 상호작용하도록 허용되는지 그리고 다른 특성들의 설명을 포함할 수 있다. 가상 세계(가상 오브젝트들을 포함)의 환경을 생성하기 위해 사용되는 데이터는, 예를 들어, 대기 데이터, 지형 데이터, 날씨 데이터, 온도 데이터, 로케이션 데이터, 및 가상 환경을 정의 및/또는 설명하기 위해 사용되는 다른 데이터를 포함할 수 있다. 부가적으로, 가상 세계의 동작을 통제하는 다양한 조건들을 정의하는 데이터는, 예를 들어, 물리적 법칙, 시간, 공간 관계들 및 가상 세계(가상 오브젝트들을 포함함)의 동작을 통제하는 다양한 조건들을 정의 및/또는 생성하도록 사용될 수 있는 다른 데이터를 포함할 수 있다.
[0064] 엔티티, 오브젝트, 조건, 특성, 거동 또는 디지털 세계의 다른 특징은, 문맥이 다르게 지시하지 않는 한, 오브젝트(예를 들어, 디지털 오브젝트, 가상 오브젝트, 렌더링된 물리적 오브젝트 등)로서 본 명세서에서 총칭적으로 지칭될 것이다. 오브젝트들은 빌딩, 식물, 차량, 사람, 동물, 생물, 기계, 데이터, 비디오, 텍스트, 사진 및 다른 사용자들을 포함하지만 이에 제한되지 않는 임의의 타입의 애니메니트(animate) 또는 인애니메이트(inanimate) 오브젝트일 수 있다. 오브젝트들은 또한 물리적 세계에서 실제로 존재하는 아이템들, 거동들, 또는 조건들에 대한 정보를 저장하기 위해 디지털 세계에서 정의된다. 엔티티, 오브젝트 또는 아이템을 설명 또는 정의하거나 그 현재 상태를 저장하는 데이터는 일반적으로 본 명세서에서 오브젝트 데이터로 지칭된다. 이러한 데이터는, 사용자가 사용자 디바이스를 통해 경험하도록 적절한 방식으로 오브젝트를 렌더링하고 오브젝트의 인스턴스를 예시하기 위해 서버(110)에 의해, 또는 구현에 따라 게이트웨이(140) 또는 사용자 디바이스(120)에 의해 프로세싱된다.
[0065] 디지털 세계를 개발 및/또는 큐레이팅하는 프로그래머들은 오브젝트, 및 이들이 예시되는 조건들을 생성 및 정의한다. 그러나 디지털 세계는 다른 사람들이 오브젝트를 생성 또는 변경하게 할 수 있다. 일단 오브젝트가 예시되면, 오브젝트의 상태는 디지털 세계를 경험하는 한 명 이상의 사용자들에 의해 변경, 제어 또는 조작이 허용될 수 있다.
[0066] 예를 들어, 일 실시예에서, 디지털 세계의 개발, 생산 및 관리는 일반적으로 한 명 이상의 시스템 관리 프로그래머들에 의해 제공된다. 일부 실시예들에서, 이는 디지털 세계에서 스토리 라인들, 테마들 및 이벤트들을 개발, 설계 및/또는 실행하는 것은 물론, 이벤트들 및 미디어 이를테면, 예를 들어, 필름, 디지털, 네트워크, 모바일, 증강 현실 및 라이브 엔터테인먼트의 다양한 형태를 통한 이야기의 분배를 포함할 수 있다. 시스템 관리 프로그래머들은 또한 디지털 세계의 기술적 관리, 조정 및 큐레이션 및 그와 관련된 사용자 커뮤니티들은 물론, 전형적으로 네트워크 관리 담당자에 의해 수행되는 다른 태스크들을 핸들링할 수 있다.
[0067] 사용자들은, 일반적으로 사용자 디바이스(120)로서 나타낸, 어떠한 타입의 로컬 컴퓨팅 디바이스를 이용하여, 하나 이상의 디지털 세계들과 상호작용한다. 그러한 사용자 디바이스들의 예들은, 스마트 폰, 태블릿 디바이스, HUD(heads-up display), 게이밍 콘솔, 또는 데이터를 통신할 수 있고 사용자에 대한 인터페이스 또는 디스플레이를 제공할 수 있는 임의의 다른 디바이스 뿐만 아니라, 그러한 디바이스들의 결합들을 포함하지만, 이것들로 제한되지 않는다. 일부 실시예들에서, 사용자 디바이스(120)는, 예를 들어, 키보드, 마우스, 조이스틱, 게이밍 컨트롤러, 햅틱 인터페이스 디바이스(haptic interface device), 모션 캡처 컨트롤러와 같은 로컬 주변 또는 입력/출력 컴포넌들, Leap Motion, Inc.로부터 입수가능한 것들 또는 Kinect(RTM)의 상표명으로 Microsoft로부터 입수가능한 것들과 같은 광학 트랙킹 디바이스, 오디오 장비, 보이스 장비, 프로젝터 시스템, 3D 디스플레이 및 홀로그래픽 3D 컨택 렌즈를 포함할 수 있거나, 또는 이들과 통신할 수 있다.
[0068] 시스템(100)과 상호작용하기 위한 사용자 디바이스(120)의 예가 도 2에 도시된다. 도 2에 나타낸 예시적인 실시예에서, 사용자(210)는 스마트 폰(220)을 통해 하나 이상의 디지털 세계들을 인터페이싱할 수 있다. 스마트 폰(220) 상에 저장되어 실행되는 소프트웨어 애플리케이션(230)에 의해 게이트웨이가 구현될 수 있다. 이러한 특정 예에서, 데이터 네트워크(130)는 사용자 디바이스(즉, 스마트 폰(220))를 컴퓨터 네ㅌ워크(105)에 접속시키는 무선 이동 네트워크를 포함한다.
[0069] 바람직한 실시예의 일 구현에서, 시스템(100)은 많은 수의 동시적(simultaneous) 사용자들(예를 들어, 수백만의 사용자들)을 지원할 수 있는 바, 각 사용자는 어떠한 타입의 사용자 디바이스(120)를 이용하여, 동일한 디지털 세계를 인터페이싱하거나, 또는 다수의 디지털 세계들을 인터페이싱한다.
[0070] 사용자 디바이스는, 사용자에게 제시되는 다른 사용자들 및 오브젝트들(현실 또는 가상)을 포함하여, 서버들(110)에 의해 발생되는 디지털 세계와 사용자 간의, 시각적(visual), 청각적(audible), 및/또는 물리적 상호작용을 가능하게 하기 위한 인터페이스를 사용자에게 제공한다. 인터페이스는 사용자에게, 볼 수 있거나, 들을 수 있거나, 또는 그렇지 않으면 감지될 수 있는 렌더링된 장면, 및 그 장면과 실시간으로 상호작용할 수 있는 능력을 제공한다. 렌더링된 장면과 사용자가 상호작용하는 방식은, 사용자 디바이스의 성능들에 의해 지시될(dictated) 수 있다. 예를 들어, 사용자 디바이스가 스마트 폰인 경우, 사용자 상호작용은 사용자가 터치 스크린을 접촉함으로써 구현될 수 있다. 다른 예에서, 사용자 디바이스가 컴퓨터 또는 게이밍 콘솔인 경우, 사용자 상호작용은 키보드 또는 게이밍 컨트롤러를 이용하여 구현될 수 있다. 사용자 디바이스들은 사용자 상호작용을 가능하게 하는 부가적인 컴포넌트들, 이를 테면 센서들을 포함할 수 있으며, 여기서, 센서들에 의해 검출되는 (제스처들을 포함하는) 정보 및 오브젝트들은, 사용자 디바이스를 이용한 가상 세계와의 사용자 상호작용을 나타내는 입력으로서 제공될 수 있다.
[0071] 렌더링된 장면은, 예를 들어, 2-차원 또는 3-차원의 시각적 디스플레이들(프로젝션들을 포함함), 사운드, 및 햅틱 또는 촉각적 피드백과 같은 다양한 포맷들로 제시될 수 있다. 렌더링된 장면은, 예를 들어, 증강 현실, 가상 현실, 및 이들의 결합들을 포함하는 하나 이상의 모드들로 사용자에 의해 인터페이싱될 수 있다. 렌더링된 장면의 포맷 뿐만 아니라 인터페이스 모드들은, 다음의 것들: 사용자 디바이스, 데이터 프로세싱 성능, 사용자 디바이스 접속성, 네트워크 용량 및 시스템 작업부하(workload) 중에서 하나 이상에 의해 지시될 수 있다. 많은 수의 사용자들이 디지털 세계들과 동시에 상호작용하게 하는 것, 및 데이터 교환의 실시간 특성(nature)은, 컴퓨팅 네트워크(105), 서버들(110), 게이트웨이 컴포넌트(140)(선택적), 및 사용자 디바이스(120)에 의해 가능해진다.
[0072] 일 예에서, 컴퓨팅 네트워크(105)는, 고속 접속들(예를 들어, 고 대역폭 인터페이스들(115))을 통해 접속된 단일의 및/또는 멀티-코어 서버들(즉, 서버들(110))을 갖는 대규모(large-scale) 컴퓨팅 시스템으로 이루어진다. 컴퓨팅 네트워크(105)는 클라우드 또는 그리드 네트워크를 형성할 수 있다. 서버들 각각은 메모리를 포함하거나, 또는 디지털 세계의 오브젝트들을 생성, 설계, 변경, 또는 프로세싱하도록 데이터를 구현하기 위한 소프트웨어를 저장하기 위한 컴퓨터 판독가능한 메모리와 결합된다. 이들 오브젝트들 및 이들의 예시화들(instantiations)은 다이내믹할 수 있고, 존재하고 존재하지 않을 수 있고(come in and out of existence), 시간에 따라 달라질 수 있고, 다른 조건들에 응답하여 달라질 수 있다. 오브젝트들의 다이내믹 성능들의 예들이 일반적으로, 다양한 실시예들과 관련하여 본원에서 논의된다. 일부 실시예들에서, 시스템(100)을 인터페이싱하는 각각의 사용자는 또한, 하나 이상의 디지털 세계들 내의, 하나의 오브젝트, 및/또는 오브젝트들의 집합으로서 표현될 수 있다.
[0073] 컴퓨팅 네트워크(105) 내의 서버들(110)은 또한, 디지털 세계들 각각에 대한 컴퓨테이셔널 상태 데이터(computational state data)를 저장한다. 컴퓨테이셔널 상태 데이터(본원에서는 상태 데이터라고도 또한 지칭됨)는 오브젝트 데이터의 컴포넌트일 수 있으며, 일반적으로, 시간에 있어서의 주어진 인스턴스에서의 오브젝트의 인스턴스의 상태를 정의한다. 따라서, 컴퓨테이셔널 상태 데이터는 시간에 따라 달라질 수 있으며, 그리고 시스템(100)을 유지하는 하나 이상의 사용자들 및/또는 프로그래머들의 액션들에 의해 영향을 받을 수 있다. 사용자가 컴퓨테이셔널 상태 데이터(또는 디지털 세계들을 포함하는(comprising) 다른 데이터)에 영향을 줄 때, 사용자는 디지털 세계를 즉시 변경하거나 또는 다른 방식으로 조작한다. 디지털 세계가 다른 사용자들과 공유되거나 다른 사용자들에 의해 인터페이싱되는 경우, 사용자의 액션들은, 디지털 세계와 상호작용하는 다른 사용자들에 의해 경험되는 것에 영향을 미칠 수 있다. 따라서, 일부 실시예들에서, 하나의 사용자에 의해 행해지는 디지털 세계에 대한 변경이, 시스템(100)과 인터페이싱하는 다른 사용자들에 의해 경험될 것이다.
[0074] 일 실시예에서, 컴퓨팅 네트워크(105) 내의 하나 이상의 서버들(110)에 저장된 데이터는, 고속으로 그리고 낮은 레이턴시로, 하나 이상의 사용자 디바이스들(120) 및/또는 게이트웨이 컴포넌트들(140)에게 전송되거나 전개된다(deployed). 일 실시예에서, 서버들에 의해 공유되는 오브젝트 데이터는 완전할(complete) 수 있거나 또는 압축될 수 있으며, 그리고 사용자의 로컬 컴퓨팅 디바이스(예를 들어, 게이트웨이(140) 및/또는 사용자 디바이스(120))에 의해 렌더링되고 시각화되는 풀(full) 오브젝트 데이터를 사용자 측 상에서 재생성하기 위한 명령들을 포함한다. 컴퓨팅 네트워크(105)의 서버들(110) 상에서 실행하는 소프트웨어는, 일부 실시예들에서, 사용자의 특정의 디바이스 및 대역폭의 함수로써, 디지털 세계 내의 오브젝트들에 대해 자신이 발생시키고 특정 사용자의 디바이스(120)에 전송하는 데이터(또는 컴퓨팅 네트워크(105)에 의해 교환되는 임의의 다른 데이터)를 조정할(adapt) 수 있다. 예를 들어, 사용자가 사용자 디바이스(120)를 통해 디지털 세계와 상호작용할 때, 서버(110)는 사용자에 의해 사용되고 있는 디바이스의 구체적인 타입, 디바이스의 접속성 및/또는 서버와 사용자 디바이스 간에 이용가능한 대역폭을 인식할 수 있고, 사용자 상호작용을 최적화하기 위해 디바이스에 전달되고 있는 데이터를 적절하게 사이징(size)하고 밸런싱(balance)할 수 있다. 이것의 예는, 전송되는 데이터의 사이즈를 저 레졸루션 퀄리티(low resolution quality)로 감소시켜서, 저 레졸루션 디스플레이를 갖는 특정 사용자 디바이스 상에 데이터가 디스플레이될 수 있게 하는 것을 포함할 수 있다. 바람직한 실시예에서, 컴퓨팅 네트워크(105) 및/또는 게이트웨이 컴포넌트(140)는, 15 프레임/초 또는 그 초과로 동작하는 인터페이스를 제시하기에 충분한 레이트로, 그리고 고 선명 퀄리티(high definition quality) 또는 그 초과의 레졸루션으로 사용자 디바이스(120)에게 데이터를 전달한다.
[0075] 게이트웨이(140)는 하나 이상의 사용자들에게 컴퓨팅 네트워크(105)에 대한 로컬 접속을 제공한다. 일부 실시예들에서, 이는 사용자 디바이스(120) 또는 도 2에 도시된 것과 같은 다른 로컬 디바이스 상에서 실행되는 다운로드 가능한 소프트웨어 애플리케이션에 의해 구현될 수도 있다. 다른 실시예들에서, 이는 사용자 디바이스(120)와 통신하지만 이와 통합되거나 이에 부착되지 않은, 또는 사용자 디바이스(120)와 통합된 하드웨어 컴포넌트에 의해(프로세서를 갖는 컴포넌트 상에 저장된 적절한 소프트웨어/펌웨어와 함께) 구현될 수도 있다. 게이트웨이(140)는 데이터 네트워크(130)를 통해 컴퓨팅 네트워크(105)와 통신하며, 컴퓨팅 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 간의 데이터 교환을 제공한다. 아래 더 상세히 논의되는 바와 같이, 게이트웨이 컴포넌트(140)는 소프트웨어, 펌웨어, 메모리 및 프로세싱 회로를 포함할 수 있으며, 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 간에 전달되는 데이터를 처리하는 것이 가능할 수도 있다.
[0076] 일부 실시예들에서, 게이트웨이 컴포넌트(140)는 사용자 디바이스(120)와 컴퓨터 네트워크(105) 간에 교환되는 데이터의 레이트를 모니터링하여 특정 사용자 디바이스(120)에 대한 최적 데이터 프로세싱 성능들을 허용하도록 조절한다. 예를 들어, 일부 실시예들에서, 게이트웨이(140)는 사용자 디바이스와 접속된 인터페이스를 통해 사용자에게 제시된 시야 너머에 있는 것들이라 하더라도, 디지털 세계의 정적 및 동적 양상들 모두를 버퍼링하고 다운로드한다. 이러한 실시예에서, 정적 오브젝트들의 인스턴스들(구조화된 데이터, 소프트웨어 구현된 방법들, 또는 둘 다)은 (게이트웨이 컴포넌트(140), 사용자 디바이스(120), 또는 둘 다에 로컬한) 메모리에 저장될 수도 있고, 컴퓨팅 네트워크(105) 및/또는 사용자의 디바이스(120)에 의해 제공되는 데이터로 표시되는 것과 같이, 로컬 사용자의 현재 포지션에 대해 참조된다. 예를 들어, 다른 사용자들 및/또는 로컬 사용자에 의해 제어되는 지능형 소프트웨어 에이전트들 및 오브젝트들을 포함할 수도 있는 동적 오브젝트들의 인스턴스들은 고속 메모리 버퍼에 저장된다. 사용자에게 제시된 장면 내에서 2-차원 또는 3-차원 오브젝트를 나타내는 동적 오브젝트들은 예를 들어, 움직이고 있지만 변하고 있지는 않은 정적 형태, 및 변하고 있는 동적 형태와 같은 컴포넌트 형태들로 나뉠 수 있다. 변하고 있는 동적 오브젝트 부분은 게이트웨이 컴포넌트(140)에 의해 관리되는 컴퓨팅 네트워크(105)를 통해 서버(110)로부터의 실시간 스레디드 고 우선순위 데이터 스트림으로 업데이트될 수 있다. 우선순위 스레디드 데이터 스트림의 일례로서, 사용자 눈의 60도 시야 이내의 데이터에는 더 주변적인 데이터보다 더 높은 우선순위가 주어질 수도 있다. 다른 예는 배경 내의 정적 오브젝트들보다 사용자의 시야 내의 동적 특징들 및/또는 오브젝트들에 우선순위를 두는 것을 포함한다.
[0077] 컴퓨팅 네트워크(105)와 사용자 디바이스(120) 간의 데이터 접속을 관리하는 것뿐만 아니라, 게이트웨이 컴포넌트(140)는 사용자 디바이스(120)에 제시될 수 있는 데이터를 저장 및/또는 프로세싱할 수도 있다. 예를 들어, 게이트웨이 컴포넌트(140)는 일부 실시예들에서, 컴퓨팅 네트워크(105)로부터 예를 들어, 사용자에 의한 감상을 위해 렌더링될 그래픽 오브젝트들을 기술하는 압축된 데이터를 수신하여, 컴퓨팅 네트워크(105)로부터 사용자 디바이스(120)로 송신되는 데이터 로드를 완화하기 위한 고급 렌더링 기술들을 수행할 수도 있다. 게이트웨이(140)가 개별 디바이스인 다른 예에서, 게이트웨이(140)는 프로세싱을 위해 데이터를 컴퓨팅 네트워크(105)에 송신하기보다는 오브젝트의 로컬 인스턴스에 대한 데이터를 저장 및/또는 프로세싱할 수도 있다.
[0078] 이제 도 3을 또한 참조하면, 사용자의 디바이스의 성능들에 의존할 수 있는 다양한 포맷들로 하나 이상의 사용자들이 디지털 세계들을 경험할 수도 있다. 일부 실시예들에서, 사용자 디바이스(120)는 예를 들어, 스마트폰, 태블릿 디바이스, 헤드업 디스플레이(HUD), 게임 콘솔 또는 웨어러블 디바이스를 포함할 수도 있다. 일반적으로, 사용자 디바이스는 디스플레이와 커플링되어, 디바이스 상의 메모리에 저장된 프로그램 코드를 실행하기 위한 프로세서, 및 통신 인터페이스를 포함할 것이다. 사용자 디바이스의 예시적인 실시예가 도 3에 예시되는데, 여기서 사용자 디바이스는 모바일 웨어러블 디바이스, 즉 머리-장착 디스플레이 시스템(300)을 포함한다. 본 개시의 한 실시예에 따르면, 머리-장착 디스플레이 시스템(300)은 사용자 인터페이스(302), 사용자-감지 시스템(304), 환경-감지 시스템(306) 및 프로세서(308)를 포함한다. 프로세서(308)는 도 3에서 머리-장착 시스템(300)과 별개인 고립된 컴포넌트로서 도시되지만, 대안적인 실시예에서 프로세서(308)는 머리-장착 시스템(300)의 하나 이상의 컴포넌트들과 통합될 수도 있고, 또는 예를 들어, 게이트웨이(140)와 같은 다른 시스템(100) 컴포넌트들에 통합될 수도 있다.
[0079] 사용자 디바이스는 사용자에게 디지털 세계와 상호 작용하여 이를 경험하기 위한 인터페이스(302)를 제시한다. 이러한 상호 작용은 사용자와 디지털 세계, 시스템(100)과 인터페이싱하는 하나 이상의 다른 사용자들, 및 디지털 세계 내의 오브젝트들을 수반할 수 있다. 인터페이스(302)는 일반적으로 이미지 및/또는 오디오 감각 입력(그리고 일부 실시예들에서는, 물리적 감각 입력)을 사용자에게 제공한다. 따라서 인터페이스(302)는 (도시되지 않은) 스피커들 그리고 일부 실시예들에서, 인간 시각 시스템의 더 자연스러운 특징들을 구현하는 입체적인 3D 감상 및/또는 3D 감상을 가능하게 할 수 있는 디스플레이 컴포넌트(303)를 포함할 수도 있다. 일부 실시예들에서, 디스플레이 컴포넌트(303)는 "오프" 설정일 때, 광학적 왜곡 또는 컴퓨팅 오버레이가 거의 내지는 전혀 없는, 사용자 주위 물리적 환경의 광학적으로 정확한 뷰를 가능하게 하는 (클리어 OLED와 같은) 투명 인터페이스를 포함할 수도 있다. 아래 더 상세히 논의되는 바와 같이, 인터페이스(302)는 다양한 시각/인터페이스 성능 및 기능을 허용하는 추가 설정들을 포함할 수도 있다.
[0080] 사용자-감지 시스템(304)은 일부 실시예들에서, 특정한 피처들, 특징들, 또는 시스템(300)을 착용한 개별 사용자와 관련된 정보를 검출하도록 동작 가능한 하나 이상의 센서들(310)을 포함할 수도 있다. 예를 들어, 일부 실시예들에서, 센서들(310)은 예를 들어, 동공 수축/팽창, 각각의 동공의 각도 측정/포지셔닝, 구화율, (눈 모양은 시간이 흐름에 따라 변화하므로) 눈 모양 및 다른 해부학적 데이터 중 하나 이상과 같은 사용자의 실시간 광학적 특징들/측정들을 검출할 수 있는 광학적 검출/스캐닝 회로 또는 카메라를 포함할 수도 있다. 이 데이터는 사용자의 감상 경험을 최적화하기 위해 머리-장착 시스템(300) 및/또는 인터페이스 시스템(100)에 의해 사용될 수 있는 정보(예를 들어, 사용자의 시각 초점)를 제공할 수도 있고 또는 이를 계산하는 데 사용될 수도 있다. 예를 들어, 일 실시예에서, 센서들(310)은 각각 사용자의 안구들 각각에 대한 동공 수축 레이트를 측정할 수 있다. 이 데이터는 프로세서(308)에(또는 게이트웨이 컴포넌트(140) 또는 서버(110)에) 송신될 수도 있으며, 여기서 데이터는 예를 들어, 인터페이스 디스플레이(303)의 밝기 설정에 대한 사용자의 반응을 결정하는 데 사용된다. 인터페이스(302)는 사용자의 반응에 따라, 예를 들어 사용자의 반응이 디스플레이(303)의 밝기 레벨이 너무 높다고 나타낸다면 디스플레이(303)를 어둡게 함으로써 조정될 수도 있다. 사용자-감지 시스템(304)은 위에서 논의하거나 도 3에 예시된 것들 이외의 다른 컴포넌트들을 포함할 수도 있다. 예를 들어, 일부 실시예들에서, 사용자-감지 시스템(304)은 사용자로부터 음성 입력을 수신하기 위한 마이크로폰을 포함할 수도 있다. 사용자 감지 시스템은 또한 하나 이상의 적외선 카메라 센서들, 하나 이상의 가시 스펙트럼 카메라 센서들, 구조화된 광 방사기들 및/또는 센서들, 적외선 광 방사기들, 코히어런트 광 방사기들 및/또는 센서들, 자이로스코프, 가속도계들, 자력계들, 근접각 센서들, GPS 센서들, 초음파 방사기들 및 검출기들 그리고 햅틱 인터페이스들을 포함할 수도 있다.
[0081] 환경-감지 시스템(306)은, 사용자 주변의 물리적 환경으로부터 데이터를 획득하기 위한 하나 이상의 센서들(312)을 포함한다. 센서들에 의해 검출된 정보 또는 오브젝트들은 사용자 디바이스에 입력으로서 제공될 수 있다. 몇몇 실시예들에서, 이러한 입력은 가상 세계와의 사용자 상호작용을 나타낼 수 있다. 예를 들면, 데스크 상에서 가상 키보드를 보는 사용자는, 사용자가 마치 가상 키보드 상에서 타이핑하는 것처럼 그의 손가락들로 제스처를 할 수 있다. 움직이는 손가락들의 모션은 센서들(312)에 의해 캡처될 수 있고 사용자 디바이스 또는 시스템에 입력으로서 제공될 수 있으며, 입력은 가상 세계를 변화시키거나 새로운 가상적 오브젝트들을 생성하는데 사용될 수 있다. 예를 들면, 손가락들의 모션은 (소프트웨어 프로그램을 사용하여) 타이핑으로서 인식될 수 있으며, 타이핑의 인식된 제스처는 가상 키보드 상의 가상 키들의 알려진 로케이션과 결합될 수 있다. 시스템은 그 후, 사용자(또는 시스템과 인터페이싱하는 다른 사용자들)에게 가상 모니터가 디스플레이되게 할 수 있으며, 가상 모니터는 사용자에 의해 타이핑되는 텍스트를 디스플레이한다.
[0082] 센서들(312)은, 예를 들면, 연속적으로 그리고/또는 간헐적으로 프로젝팅되는 적외선 구조 광(infrared structured light)을 통해, 장면 정보를 해석하기 위해, 예를 들면, 전체적으로 외측을 대면하는 카메라 또는 스캐너를 포함할 수 있다. 환경-감지 시스템(306)은, 정적인 오브젝트들, 동적인 오브젝트들, 사람들, 제스처들, 및 다양한 조명(lighting)을 포함하는 로컬 환경, 대기(atmospheric) 및 음향 조건들을 검출하고 등록함으로써, 사용자 주변의 물리적 환경에 대한 하나 이상의 엘리먼트들을 맵핑하기 위해 사용될 수 있다. 따라서, 몇몇 실시예들에서, 환경-감지 시스템(306)은 이미지 기반 3D 재현(reconstruction) 소프트웨어를 포함할 수 있으며, 이 소프트웨어는 로컬 컴퓨팅 시스템(예를 들면, 게이트웨이 컴포넌트(140) 또는 프로세서(308))에 내장되며, 센서들(312)에 의해 검출된 하나 이상의 오브젝트들 또는 정보를 디지털 방식으로 재현하도록 동작가능하다. 하나의 예시적인 실시예에서, 환경-감지 시스템(306)은 다음: (제스처 인식을 포함하는) 모션 캡처 데이터, 깊이 감지, 안면 인식, 오브젝트 인식, 고유한 오브젝트 피쳐 인식, 음성/오디오 인식 및 프로세싱, 음향 소스 국소화(localization), 노이즈 감소, 적외선 또는 유사한 레이저 프로젝션뿐만 아니라, 단색 및/또는 컬러 CMOS 센서들(또는 다른 유사한 센서들), 시야 센서들, 및 다양한 다른 광학-강화 센서들 중 하나 이상을 제공한다. 환경-감지 시스템(306)은, 도 3에 도시되거나 전술된 것들 이외의 다른 컴포넌트들을 포함할 수 있음이 인식되어야 한다. 예를 들면, 몇몇 실시예들에서, 환경-감지 시스템(306)은, 로컬 환경으로부터 오디오를 수신하기 위한 마이크로폰을 포함할 수 있다. 사용자 감지 시스템은 또한, 하나 이상의 적외선 카메라 센서들, 하나 이상의 가시 스펙트럼 카메라 센서들, 구조 광 방출기들 및/또는 센서들, 적외선 광 방출기들, 간섭광 방출기들 및/또는 센서 자이로들(sensors gyros), 가속도계들, 자력계들(magnetometers), 근접각 센서들, GPS 센서들, 초음파 방출기들과 검출기들 및 촉각 인터페이스들을 포함할 수 있다.
[0083] 전술된 바와 같이, 프로세서(308)는, 몇몇 실시예들에서, 헤드-장착 시스템(300)의 다른 컴포넌트들과 통합될 수 있거나, 인터페이스 시스템(100)의 다른 컴포넌트들과 통합될 수 있거나, 도 3에 도시된 바와 같은 격리된 디바이스(착용 가능하거나 사용자로부터 분리됨)일 수 있다. 프로세서(308)는, 물리적 유선 접속을 통해 또는 예를 들면, (휴대 전화 및 데이터 네트워크들 포함하는) 모바일 네트워크 접속들, Wi-Fi 또는 블루투스와 같은 무선 접속을 통해, 헤드-장착 시스템(300)의 다양한 컴포넌트들 및/또는 인터페이스 시스템(100)의 컴포넌트들에 접속될 수 있다. 프로세서(308)는, 메모리 모듈, 집적된 그리고/또는 부가적인 그래픽스 프로세싱 유닛, 무선 및/또는 유선 인터넷 접속, 및 소스(예를 들면, 컴퓨팅 네트워크(105), 사용자-감지 시스템(304), 환경-감지 시스템(306), 또는 게이트웨이 컴포넌트(140))로부터의 데이터를 이미지 및 오디오 데이터로 변형시킬 수 있는 코덱 및/또는 펌웨어를 포함할 수 있으며, 이미지들/비디오 및 오디오는 인터페이스(302)를 통해 사용자에게 제공될 수 있다.
[0084] 프로세서(308)는 헤드장착 시스템(300)의 다양한 컴포넌트들에 대한 데이터 프로세싱뿐만 아니라, 헤드-장착 시스템(300)과 게이트웨이 컴포넌트(140), 몇몇 실시예들에서는 컴퓨팅 네트워크(105) 사이의 데이터 교환을 핸들링한다. 예를 들면, 프로세서(308)는 사용자와 컴퓨팅 네트워크(105) 사이의 데이터 스트리밍을 프로세싱하고 버퍼링하는데 사용될 수 있으며, 그에 따라 매끄럽고 연속적이며 하이파이(high fidelity) 사용자 경험을 가능하게 한다. 몇몇 실시예들에서, 프로세서(308)는, 대략(anywhere) 320x240 해상도의 8 프레임/초 내지 고화질 해상도(1280x720)의 24 프레임/초 또는 그 초과, 이를테면 60-120 프레임/초 및 4k 해상도 및 그 초과(10k+ 해상도 및 50,000 프레임/초)를 달성하기에 충분한 레이트로 데이터를 프로세싱할 수 있다. 부가적으로, 프로세서(308)는, 컴퓨팅 네트워크(105)로부터 실시간으로 스트리밍되지 않고, 사용자에게 제공될 수 있는 데이터를 저장 및/또는 프로세싱할 수 있다. 예를 들면, 프로세서(308)는, 몇몇 실시예에서, 컴퓨팅 네트워크(105)로부터 압축된 데이터를 수신하고 진보된 랜더링 기법들(이를테면 조명 또는 쉐이딩)을 수행하여서, 컴퓨팅 네트워크(105)로부터 사용자 디바이스(120)로 전송된 데이터 부하를 완화시킬 수 있다. 다른 예시에서, 프로세서(308)는 게이트웨이 컴포넌트(140) 또는 컴퓨팅 네트워크(105)로 데이터를 전송하지 않고, 로컬 오브젝트 데이터를 저장 및/또는 프로세싱할 수 있다.
[0085] 헤드-장착 시스템(300)은, 몇몇 실시예들에서, 다양한 시각적/인터페이스 성능 및 기능성을 허용하는, 다양한 설정들 또는 모드들을 포함할 수 있다. 모드들은 사용자에 의해 수동으로, 또는 헤드-장착 시스템(300)의 컴포넌트들 또는 게이트웨이 컴포넌트(140)에 의해 자동으로 선택될 수 있다. 전술된 바와 같이, 헤드장착 시스템(300)의 일례는 "오프" 모드를 포함하며, 인터페이스(302)는 어떠한 디지털 또는 가상 컨텐츠도 실질적으로 제공하지 않는다. 오프 모드에서, 디스플레이 컴포넌트(303)는 투명할 수 있으며, 그에 따라 광학적 뒤틀림 또는 컴퓨팅 오버레이가 거의 내지 전혀(little-to-no) 없이, 사용자 주변의 물리적 환경의 시야(view)를 광학적으로 수정하는 것을 가능하게 한다.
[0086] 하나의 예시적 실시예에서, 헤드-장착 시스템(300)은 "증대된(augmented)" 모드를 포함하며, 인터페이스(302)는 증대된 현실 인터페이스를 제공한다. 증대된 모드에서, 인터페이스 디스플레이(303)는 실질적으로 투명할 수 있으며, 그에 따라 사용자가 로컬의 물리적 환경을 보는 것을 허용한다. 동시에, 컴퓨팅 네트워크(105), 프로세서(308) 및/또는 게이트웨이 컴포넌트(140)에 의해 제공되는 가상 오브젝트 데이터가, 물리적 로컬 환경과 조합하여 디스플레이(303) 상에 제공된다.
[0087] 도 4는, 인터페이스(302)가 증대된 모드에서 동작중일 때, 사용자에 의해 보여지는 오브젝트들의 예시적인 실시예를 도시한다. 도 4에 도시된 바와 같이, 인터페이스(302)는 물리적 오브젝트(402) 및 가상적 오브젝트(404)를 제공한다. 도 4에 도시된 실시예에서, 물리적 오브젝트(402)는 사용자의 로컬 환경에 존재하는 현실의 물리적 오브젝트인 반면, 가상적 오브젝트(404)는 시스템(100)에 의해 생성되며 사용자 인터페이스(302)를 통해 디스플레이되는 오브젝트이다. 일부 실시예들에서, 가상 오브젝트(404)는 물리적 환경 내의 고정된 위치 또는 로케이션에 디스플레이될 수 있거나(예를 들면, 물리적 환경 내에 로케이팅된 특정 스트리스 사인(street sign) 바로 옆에 서 있는 가상적 원숭이), 인터페이스/디스플레이(303)에 대한 위치에 로케이팅된 오브젝트로서 사용자에게 디스플레이될 수 있다(예를 들면, 디스플레이(303)의 상부의 좌측 코너에서 볼 수 있는 가상적 시계 또는 온도계).
[0088] 일부 실시예들에서, 가상 오브젝트들은, 사용자의 시계 내부 또는 외부에 물리적으로 존재하는 오브젝트에 의해 큐 오프 또는 트리거되게 될 수 있다. 가상 오브젝트(404)는 물리적 오브젝트(402)에 의해 큐 오프 또는 트리거된다. 예를 들어, 물리적 오브젝트(402)는 실제로 의자일 수 있고, 가상 오브젝트(404)는 의자 위에 가상 동물이 서 있는 것처럼 사용자에게(그리고, 일부 실시예들에서는 시스템(100)을 인터페이싱하는 다른 사용자들에게) 디스플레이될 수 있다. 이러한 실시예에서, 환경-감지 시스템(306)은, 예를 들어, 프로세서(308)에 저장된 소프트웨어 및/또는 펌웨어를 이용하여, (센서들(312)에 의해 캡쳐된) 다양한 특징들 및/또는 형상 패턴들을 식별하여 물리적 오브젝트(402)를 의자로 식별할 수 있다. 예를 들어, 의자 최상부와 같은 이러한 인식된 형상 패턴들이 이용되어 가상 오브젝트(404)의 배치를 트리거할 수 있다. 다른 예들은, 벽들, 테이블들, 가구들, 차량들, 건물들, 사람들, 바닥들, 식물들, 동물들을 포함하고 - 볼 수 있는 임의의 오브젝트가 이용되어, 오브젝트 또는 오브젝트들과의 어떠한 관계에서 증강 현실 경험을 트리거할 수 있다.
[0089] 일부 실시예들에서, 트리거된 특정 가상 오브젝트(404)는, 사용자에 의해 선택되거나 머리-장착 시스템(300) 또는 인터페이스 시스템(100)의 다른 컴포넌트들에 의해 자동으로 선택될 수 있다. 추가적으로, 가상 오브젝트(404)가 자동으로 트리거되는 실시예들에서, 특정 가상 오브젝트(404)는, 가상 오브젝트(404)가 큐 오프되거나 트리거되는 특정 물리적 오브젝트(402)(또는 이의 특징)에 기초하여 선택될 수 있다. 예를 들어, 물리적 오브젝트가 풀 위에서 연장되는 다이빙 보드로 식별되면, 트리거된 가상 오브젝트는, 스노클링, 수영복, 부양 디바이스 또는 다른 관련 아이템들을 착용한 생명체일 수 있다.
[0090] 다른 예시적인 실시예에서, 머리-장착 시스템(300)은 "가상" 모드를 포함할 수 있고, 인터페이스(302)는 가상 현실 인터페이스를 제공한다. 가상 모드에서, 물리적 환경은 디스플레이(303)로부터 생략되고, 컴퓨팅 네트워크(105), 프로세서(308) 및/또는 게이트웨이 컴포넌트(140)에 의해 제공되는 가상 오브젝트 데이터가 디스플레이(303) 상에 제시된다. 물리적 환경의 생략은, 가시적 디스플레이(303)를 (예를 들어, 커버를 통해) 물리적으로 차단함으로써, 또는 인터페이스(302)의 특징부를 통해 달성될 수 있고, 디스플레이(303)는 불투명 세팅으로 전이된다. 가상 모드에서, 라이브 및/또는 저장된 가시적 및 오디오 감각이 인터페이스(302)를 통해 사용자에게 제시될 수 있고, 사용자는 인터페이스(302)의 가시적 모드를 통해 디지털 세계(디지털 오브젝트들, 다른 사용자들 등)를 경험하고 그와 상호작용한다. 따라서, 가상 모드에서 사용자에게 제공되는 인터페이스는, 가상의 디지털 세계를 포함하는 가상 오브젝트 데이터로 구성된다.
[0091] 도 5는, 머리-장착 인터페이스(302)가 가상 모드에서 동작하고 있는 경우 사용자 인터페이스의 예시적인 실시예를 예시한다. 도 5에 도시된 바와 같이, 사용자 인터페이스는 디지털 오브젝트들(510)로 구성되는 가상 세계(500)를 제시하고, 디지털 오브젝트들(510)은, 대기, 날씨, 지형, 건물들 및 사람들을 포함할 수 있다. 도 5에 예시되지 않지만, 디지털 오브젝트들은 또한, 예를 들어, 식물들, 차량들, 동물들, 생명체들, 머신들, 인공 지능, 로케이션 정보, 및 가상 세계(500)를 정의하는 임의의 다른 오브젝트 또는 정보를 포함할 수 있다.
[0092] 다른 예시적인 실시예에서, 머리-장착 시스템(300)은 "블렌디드" 모드를 포함할 수 있고, 머리-장착 시스템(300)의 다른 특징부들(뿐만 아니라 가상 및 증강 모드들의 특징부들)이 결합되어 하나 이상의 커스텀 인터페이스 모드들을 생성할 수 있다. 하나의 예시적인 커스텀 인터페이스 모드에서, 물리적 환경은 디스플레이(303)로부터 생략되고, 가상 오브젝트 데이터는 가상 모드와 유사한 방식으로 디스플레이(303) 상에 제시된다. 그러나, 이러한 예시적인 커스텀 인터페이스 모드에서, 가상 오브젝트들은 완전히 가상일 수 있거나(즉, 이들은 로컬 물리적 환경에 존재하지 않음), 이들은 물리적 오브젝트를 대신하여 인터페이스(302)에 가상 오브젝트로 렌더링된 실제 로컬 물리적 오브젝트들일 수 있다. 따라서, 이러한 특정한 커스텀 모드(본 명세서에서는 블렌디드 가상 인터페이스 모드로 지칭됨)에서, 라이브 및/또는 저장된 가시적 및 오디오 감각은 인터페이스(302)를 통해 사용자에게 제시될 수 있고, 사용자는, 완전히 가상인 오브젝트들 및 렌더링된 물리적 오브젝트들을 포함하는 디지털 세계를 경험하고 그와 상호작용한다.
[0093] 도 6은, 블렌디드 가상 인터페이스 모드에 따라 동작하는 사용자 인터페이스의 예시적인 실시예를 예시한다. 도 6에 도시된 바와 같이, 사용자 인터페이스는, 완전히 가상인 오브젝트들(610), 및 렌더링된 물리적 오브젝트들(620)(그렇지 않으면 장면에 물리적으로 존재하는 오브젝트들의 렌더링들)로 구성된 가상 세계(600)를 제시한다. 도 6에 예시된 예에 따르면, 렌더링된 물리적 오브젝트들(620)은 건물(620A), 지면(620B), 및 플랫폼(620C)을 포함하고, 오브젝트들이 렌더링된 것을 사용자에게 표시하기 위해 굵은 윤곽(630)으로 도시된다. 추가적으로, 완전히 가상인 오브젝트들(610)은 추가적인 사용자(610A), 구름들(610B), 태양(610C) 및 플랫폼(620C) 최상부 상의 화염들(610D)을 포함한다. 완전히 가상인 오브젝트들(610)은, 예를 들어, 대기, 날씨, 지형, 건물들, 사람들, 식물들, 차량들, 동물들, 생명체들, 머신들, 인공 지능, 로케이션 정보, 및 가상 세계(600)를 정의하고, 로컬 물리적 환경에 존재하는 오브젝트들로부터 렌더링되지 않은 임의의 다른 오브젝트 또는 정보를 포함할 수 있음을 인식해야 한다. 반대로, 렌더링된 물리적 오브젝트들(620)은 인터페이스(302)에 가상 오브젝트로 렌더링되는 실제 로컬 물리적 오브젝트들이다. 굵은 윤곽(630)은 사용자에게 렌더링된 물리적 오브젝트들을 표시하기 위한 일례를 표현한다. 따라서, 렌더링된 물리적 오브젝트들은, 여기에 개시된 것들과는 다른 방법들을 이용하여 이와 같이 표시될 수 있다.
[0094] 일부 실시예들에서, 렌더링된 물리적 오브젝트들(620)은, 환경-감지 시스템(306)의 센서들(312)을 이용하여 (또는 모션 또는 이미지 캡쳐 시스템과 같은 다른 디바이스들을 이용하여) 검출될 수 있고, 예를 들어, 프로세싱 회로(308)에 저장된 소프트웨어 및/또는 펌웨어에 의해 디지털 오브젝트 데이터로 변환될 수 있다. 따라서, 사용자가 블렌디드 가상 인터페이스 모드에서 시스템(100)과 인터페이싱할 때, 다양한 물리적 오브젝트들은 렌더링된 물리적 오브젝트들로 사용자에게 디스플레이될 수 있다. 이것은 특히, 사용자가 로컬 물리적 환경을 여전히 안전하게 이동할 수 있으면서 시스템(100)과 인터페이싱하도록 허용하기에 유용할 수 있다. 일부 실시예들에서, 사용자는 렌더링된 물리적 오브젝트들을 선택적으로 제거하거나 인터페이스 디스플레이(303)에 추가할 수 있다.
[0095] 다른 예시적인 커스텀 인터페이스 모드에서, 인터페이스 디스플레이(303)는 실질적으로 투명하여, 사용자가 로컬 물리적 환경을 시청할 수 있게 하는 한편, 다양한 로컬 물리적 오브젝트들이 렌더링된 물리적 오브젝트들로서 사용자에게 디스플레이된다. 이러한 예시적인 커스텀 인터페이스 모드는, 가상 오브젝트들 중 하나 이상이 이전 예에 대해 앞서 논의된 바와 같이 렌더링된 물리적 오브젝트들일 수 있다는 점을 제외하고는 증강 모드와 유사하다.
[0096] 상기 예시적인 커스텀 인터페이스 모드들은, 머리-장착 시스템(300)의 블렌디드 모드에 의해 제공될 수 있는 다양한 커스텀 인터페이스 모드들의 몇몇 예시적인 실시예들을 표현한다. 따라서, 본 개시의 범위로부터 벗어남이 없이, 앞서 논의된 다양한 모드들 및 머리-장착 시스템(300)의 컴포넌트들에 의해 제공되는 기능 및 특징부들의 다양한 조합으로부터 다양한 다른 커스텀 인터페이스 모드들이 생성될 수 있다.
[0097] 본원에 논의된 실시예들은 오프, 증강, 가상 또는 혼합 모드에서 동작하는 인터페이스를 제공하기 위한 몇몇의 예들만을 설명하고, 각각의 인터페이스 모드들의 범위 또는 콘텐트 또는 머리-장착 시스템(300)의 컴포넌트들의 기능을 제한하도록 의도되지 않는다. 예를 들면, 일부 실시예들에서, 가상적 오브젝트들은 사용자에게 디스플레이되는 데이터(시간, 온도, 고도 등), 시스템(100)에 의해 생성 및/또는 선택되는 오브젝트들, 사용자에 의해 생성 및/또는 선택되는 물체들, 또는 심지어 시스템(100)과 인터페이싱하는 다른 사용자들을 나타내는 오브젝트들을 포함할 수 있다. 부가적으로, 가상적 오브젝트들은 물리적 오브젝트들의 확장(예를 들면, 물리적 플랫폼으로부터 성장하는 가상 스컬프처)을 포함할 수 있고, 물리적 오브젝트에 시각적으로 접속되거나 물리적 오브젝트로부터 접속해제될 수 있다.
[0098] 가상적 오브젝트들은 또한 동적이고, 시간에 따라 변하고, 사용자 또는 다른 사용자들, 물리적 오브젝트들 및 다른 가상적 오브젝트들 사이의 다양한 관계들(예를 들면, 위치, 거리 등)에 따라 변하고 및/또는 머리-장착 시스템(300), 게이트웨이 컴포넌트(140) 또는 서버들(110)의 소프트웨어 및/또는 펌웨어에서 지정된 다른 변수들에 따라 변할 수 있다. 예를 들면, 특정 실시예들에서, 가상적 오브젝트는 사용자 디바이스 또는 그의 컴포넌트(예를 들면, 햅틱 디바이스가 가상 볼 옆에 배치될 때, 가상 볼이 이동함), 물리적 또는 구두의 사용자 상호작용, 다른 가상적 오브젝트들(예를 들면, 사용자가 가상 크리처에 접근할 때, 가상 크리처가 달아나거나, 사용자가 가상 크리처에 말할 때, 말함), 의자가 가상 크리처에 던져지고, 크리처가 의자를 피함(예를 들면, 제 1 가상 크리처가 제 2 가상 크리처를 볼 때, 제 1 가상 크리처가 반응함), 위치, 거리, 온도, 시간 등과 같은 물리적 변수들 또는 사용자의 환경 내의 다른 물리적 오브젝트들(예를 들면, 물리적 자동차가 지나갈 때, 물리적 거리에 서 있는 것으로 도시된 가상 크리처가 납작하게 됨)에 응답할 수 있다.
[0099] 본원에 논의되는 다양한 모드들은 머리-장착 시스템(300) 이외에 사용자 디바이스들에 적용될 수 있다. 예를 들면, 증강 현실 인터페이스는 모바일 폰 또는 태블릿 디바이스를 통해 제공될 수 있다. 그러한 실시예에서, 폰 또는 태블릿은 사용자 주변의 물리적 환경을 캡처하기 위해 카메라를 사용할 수 있고, 가상적 오브젝트들은 폰/태블릿 디스플레이 스크린 상에 오버레이될 수 있다. 부가적으로, 가상 모드는 폰/태블릿의 디스플레이 스크린 상에 디지털 세계를 디스플레이함으로써 제공될 수 있다. 따라서, 이러한 모드들은 본원에 논의된 폰/태블릿의 컴포넌트들뿐만 아니라 사용자 디바이스에 접속되거나 사용자 디바이스와 결합하여 사용되는 다른 컴포넌트들을 사용하여 앞서 설명된 다양한 고객 인터페이스 모드를 생성하도록 혼합될 수 있다. 예를 들면, 혼합된 가상 인터페이스 모드는 컴퓨터 모니터, 텔레비전 스크린, 또는 모션 또는 이미지 캡처 시스템과 결합하여 동작하는, 카메라가 없는 다른 디바이스에 의해 제공될 수 있다. 이러한 예시적인 실시예에서, 가상 세계는 모니터/스크린으로부터 보여질 수 있고, 오브젝트 검출 및 렌더링은 모션 또는 이미지 캡처 시스템에 의해 수행될 수 있다.
[00100] 도 7은 본 개시의 예시적인 실시예를 예시하고, 여기서 상이한 지리적 위치들에 위치된 2 명의 사용자들 각각은 그들 각각의 사용자 디바이스들을 통해 다른 사용자 및 공통의 가상 세계와 상호작용한다. 이러한 실시예에서, 2 명의 사용자들(701 및 702)은 가상 볼(703)(가상적 오브젝트의 타입)을 앞뒤로 던지고, 여기서 각각의 사용자는 가상 세계 상에서 다른 사용자의 영향을 관찰할 수 있다(예를 들면, 각각의 사용자는 다른 사용자에 의해 잡히는 방향들을 변경하는 가상 볼을 관찰함 등). 가상적 오브젝트들(즉, 가상 볼(703))의 이동 및 위치가 컴퓨팅 네트워크(105) 내의 서버들(110)에 의해 추적되기 때문에, 일부 실시예들에서, 시스템(100)은 각각의 사용자에 대해 볼(703)의 정확한 위치 및 도착 타이밍을 사용자들(701 및 702)로 통신할 수 있다. 예를 들면, 제 1 사용자(701)가 런던에 위치되면, 사용자(701)는 시스템(100)에 의해 계산된 속도로 볼(703)을 로스 엔젤레스에 위치된 제 2 사용자(702)에게 던질 수 있다. 따라서, 시스템(100)은 볼의 도착의 정확한 시간 및 위치를 제 2 사용자(702)로 (예를 들면, 이메일, 텍스트 메시지, 인스턴트 메시지 등을 통해) 통신할 수 있다. 이로써, 제 2 사용자(702)는 지정된 시간에 도착하고 위치된 볼(703)을 보기 위해 자신의 디바이스를 사용할 수 있다. 한 명 이상의 사용자들은 또한, 자신들이 지구를 통해 가상으로 이동할 때 하나 이상의 가상적 오브젝트들을 추적하기 위해 지오-로케이션 맵핑 소프트웨어(또는 유사한 것)를 사용할 수 있다. 이것의 예는 사용자가 하늘에서 위를 보는 3D-머리 장착 디스플레이를 착용하는 것 및 실세계 상에 겹쳐진 머리 위로 비행하는 가상 비행기를 보는 것일 수 있다. 가상 비행기는 사용자에 의해, 지능형 소프트웨어 에이전트들(사용자 디바이스 또는 게이트웨이 상에서 실행되는 소프트웨어), 로컬 및/또는 원격 및/또는 이들의 조합들 중 임의의 것일 수 있는 다른 사용자들에 의해 비해될 수 있다.
[00101] 이전에 언급된 바와 같이, 사용자 디바이스는 햅틱 인터페이스 디바이스를 포함할 수 있고, 여기서 햅틱 인터페이스 디바이스는, 햅틱 디바이스가 가상적 오브젝트에 대해 물리적, 공간적 위치에 위치된 것으로 시스템(100)에 의해 결정될 때, 피드백(예를 들면, 저항, 진동, 광들, 사운드 등)을 사용자에게 제공한다. 예를 들면, 도 7에 관련하여 앞서 설명된 실시예는, 도 8에 도시된 바와 같이, 햅틱 디바이스(802)의 사용을 포함하도록 확장될 수 있다.
[00102] 이러한 예시적인 실시예에서, 햅틱 디바이스(802)는 베이스볼 배트로서 가상 세계에 디스플레이될 수 있다. 볼(703)이 도착할 때, 사용자(702)는 가상 볼(703)에서 햅틱 디바이스(802)를 스윙할 수 있다. 햅틱 디바이스(802)에 의해 제공되는 가상 배트가 볼(703)과 "접촉"하게 되었다고 시스템(100)이 결정하면, 햅틱 디바이스(802)는 진동하거나 다른 피드백을 사용자(702)에게 제공할 수 있고, 가상 볼(703)은 볼 대 배트 접촉의 검출된 속도, 방향 및 타이밍에 따라 시스템(100)에 의해 계산된 방향으로 가상 배트를 맞고 튀어나올 수 있다.
[00103] 개시된 시스템(100)은, 일부 실시예들에서, 혼합된 모드 인터페이싱을 용이하게 할 수 있고, 여기서 다수의 사용자들은 상이한 인터페이스 모드들(예를 들면, 증강, 가상, 혼합 등)을 사용하여 공통의 가상 세계(및 그 안에 포함되는 가상적 오브젝트들)와 인터페이싱할 수 있다. 예를 들면, 가상 인터페이스 모드에서 특정 가상 세계와 인터페이싱하는 제 1 사용자는 증강 현실 모드에서 동일한 가상 세계와 인터페이싱하는 제 2 사용자와 상호작용할 수 있다.
[00104] 도 9a는, 제 1 사용자(901)(혼합 가상 인터페이스 모드에서 시스템(100)의 디지털 세계와 인터페이싱함) 및 제 1 오브젝트(902)가 완전한 가상 현실 모드에서 시스템(100)의 동일한 디지털 세계와 인터페이싱하는 제 2 사용자(922)에게 가상적 오브젝트들로서 보이는 예를 예시한다. 앞서 설명된 바와 같이, 혼합 가상 인터페이스 모드를 통해 디지털 세계와 인터페이싱할 때, 로컬, 물리적 오브젝트들(예를 들면, 제 1 사용자(901) 및 제 1 물체(902))은 가상 세계 내의 가상 물체들로서 스캐닝 및 렌더링될 수 있다. 제 1 사용자(901)는, 예를 들면, 모션 캡처 시스템 또는 유사한 디바이스에 의해 스캐닝되고, 가상 세계에서 제 1 렌더링된 물리적 오브젝트(931)로서 (모션 캡처 시스템, 게이트웨이 컴포넌트(140), 사용자 디바이스(120), 시스템 서버들(110) 또는 다른 디바이스들에 저장된 소프트웨어/펌웨어에 의해) 렌더링될 수 있다. 마찬가지로, 제 1 오브젝트(902)는, 예를 들면, 머리-장착 인터페이스(300)의 환경-감지 시스템(306)에 의해 스캐닝되고, 가상 세계에서 제 2 렌더링된 물리적 오브젝트(932)로서 (프로세서(308), 게이트웨이 컴포넌트(140), 시스템 서버들(110) 또는 다른 디바이스들에 저장된 소프트웨어/펌웨어에 의해) 렌더링될 수 있다. 제 1 사용자(901) 및 제 1 오브젝트(902)는 도 9a의 제 1 부분(910)에 물리적 세계의 물리적 오브젝트들로서 도시된다. 도 9a의 제 2 부분(920)에서, 제 1 사용자(901) 및 제 1 오브젝트(902)는, 그들이 완전한 가상 현실 모드에서 시스템(100)의 동일한 디지털 세계와 인터페이싱하는 제 2 사용자(922)에게 제 1 렌러딩된 물리적 오브젝트(931) 및 제 2 렌러딩된 물리적 오브젝트(932)로서 보이는 것으로 도시된다.
[00105] 도 9b는 혼합된 모드 인터페이싱의 다른 예시적인 실시예를 예시하며, 여기서 제 1 사용자(901)는 위에서 논의된 바와 같이 블렌딩된 가상 인터페이스 모드에서 디지털 세계를 인터페이싱하고, 제 2 사용자(922)는 증강 현실 모드에서 동일한 디지털 세계(및 제 2 사용자의 물리적, 로컬 환경(925))를 인터페이싱한다. 도 9b의 실시예에서, 제 1 사용자(901) 및 제 1 오브젝트(902)는 제 1 물리적 로케이션(915)에 로케이팅되고, 제 2 사용자(922)는 제 1 로케이션(915)으로부터 일부 거리만큼 분리되는 상이한 제 2 물리적 로케이션(925)에 로케이팅된다. 이 실시예에서, 가상 오브젝트들(931 및 932)은 제 2 로케이션(925)에 대응하는 가상 세계 내의 로케이션으로 실시간으로(또는 거의 실시간)으로 트랜스포즈될 수 있다. 따라서, 제 2 사용자(922)는 제 2 사용자의 물리적인 로컬 환경(925)을 관찰 및 상호작용할 수 있고, 랜더링된 물리적 오브젝트들(931 및 932)은 제 1 사용자(901) 및 제 1 오브젝트(902)를 각각 나타낸다.
[00106] 도 10은 증강된 현실 모드에서 시스템(100)과 인터페이싱할 때 사용자의 뷰의 예시적인 예시를 예시한다. 도 10에서 도시된 바와 같이, 사용자는 로컬의 물리적 환경(즉, 다수의 빌딩들을 갖는 도시)은 물론 가상 캐릭터(1010)(즉, 가상 오브젝트)를 본다. 가상 캐릭터(1010)의 포지션은 2D 시각적 타겟(예를 들어, 광고판, 엽서 또는 매거진) 및/또는 빌딩들, 차들, 사람들, 동물들, 비행기들, 빌딩의 부분들과 같은 하나 이상의 3D 기준 프레임 및/또는 임의의 3D 물리적 오브젝트, 가상 오브젝트, 및/또는 이들의 결합들에 의해 트리거될 수 있다. 도 10에서 예시된 예에서, 도시 내의 빌딩들의 알려진 포지션은 등록 기점들 및/또는 가상 캐릭터(1010)를 렌더링하기 위한 정보 및 핵심 피처들을 제공할 수 있다. 부가적으로, 빌딩들에 대한 사용자의 지리공간 로케이션(예를 들어, GPS, 태도/포지션 센서들 등에 의해 제공됨) 또는 모바일 로케이션은 가상 캐릭터(들)(1010)를 디스플레이하는데 이용되는 데이터의 전송을 트리거하기 위해 컴퓨팅 네트워크(105)에 의해 이용되는 데이터를 포함할 수 있다. 몇몇 실시예들에서, 가상 캐릭터(1010)를 디스플레이하는데 이용되는 데이터는 가상 캐릭터(1010) 또는 그의 부분들을 렌더링하기 위해 렌더링된 캐릭터(1010) 및/또는 명령들(게이트웨이 컴포넌트(140) 및/또는 사용자 디바이스(120)에 의해 수행됨)을 포함할 수 있다. 몇몇 실시예들에서, 사용자의 지리공간 로케이션이 이용 가능하지 않거나 알려지지 않는 경우, 서버(110), 게이트웨이 컴포넌트(140) 및/또는 사용자 디바이스(120)는, 시간 및/또는 다른 파라미터들의 함수로서 사용자의 마지막 알려진 포지션을 이용하여 특정한 가상 오브젝트들 및/또는 물리적 오브젝트들이 로케이팅될 수 있는 곳을 추정하는 추정 알고리즘을 이용하여 가상 오브젝트(1010)를 여전히 디스플레이할 수 있다. 이는 또한 사용자의 센서들이 가려지고 및/또는 다른 오작동들을 경험하면 임의의 가상 오브젝트들의 포지션을 결정하는데 이용될 수 있다.
[00107] 몇몇 실시예들에서, 가상 캐릭터들 또는 가상 오브젝트들은 가상 스태츄를 포함할 수 있으며, 여기서 가상 스태츄의 렌더링은 물리적 오브젝트에 의해 트리거된다. 예를 들어, 이제 도 11을 참조하면, 가상 스태츄(1110)는 실제 물리적 플랫폼(1120)에 의해 트리거될 수 있다. 스태츄(1110)의 트리거링은, 사용자 디바이스 또는 시스템(100)의 다른 컴포넌트들에 의해 검출된 시각적 오브젝트 또는 피처(예를 들어, 기점들, 설계 피처들, 지오메트리, 패턴들, 물리적 로케이션, 태도 등)에 응답할 수 있다. 사용자가 사용자 디바이스 없이 플랫폼(1120)을 시청할 때, 사용자는 어떠한 스태츄(1110)도 없는 플랫폼(1120)를 본다. 그러나 사용자가 사용자 디바이스를 통해 플랫폼(1120)을 시청할 때, 사용자는 도 11에서 도시된 바와 같이 플랫폼(1120) 상에서 스태츄(1110)를 본다. 스태츄(1110)는 시각적 오브젝트이고, 이에 따라 정적이고, 에니메이팅되고, 사용자의 시청 포지션에 관하여 또는 시간이 지나면서 변하거나, 또는 심지어 특정한 사용자가 스태츄(1110)를 시청하는지에 의존하여 변할 수 있다. 예를 들어, 사용자가 어린 아이인 경우, 스태츄는 개일 수 있고; 이제 시청자가 성인 남성인 경우 스태츄는 도 11에서 도시된 바와 같이 큰 로봇일 수 있다. 이들은 사용자 의존 및/또는 상태 의존 경험들의 예들이다. 이는 단독으로 및/또는 물리적 오브젝트들 및 가상 오브젝트들의 경험 커스터마이징되고 개인화된 버전들과 결합하여 하나 이상의 사용자들이 하나 이상의 가상 오브젝트들을 지각하는 것을 가능케 할 것이다. 스태츄(1110)(또는 그의 부분)는 예를 들어, 사용자의 디바이스 상에 설치된 소프트웨어/펌웨어를 포함하는 시스템의 다양한 컴포넌트들에 의해 랜더링될 수 있다. 가상 오브젝트(즉, 스태츄(1110))의 등록 피처들과 함께 사용자 디바이스의 로케이션 및 태도를 나타내는 데이터를 이용하여, 가상 오브젝트(즉, 스태츄(1110))는 물리적 오브젝트(즉, 플랫폼(1120))와의 관계를 형성한다. 예를 들어, 하나 이상의 물리적 오브젝트들을 갖는 하나 이상의 가상 오브젝트들 간의 관계는 거리, 포지셔닝, 시간, 지오-로케이션, 하나 이상의 가상 오브젝트들에 대한 근접도 및/또는 임의의 종류의 가상 및/또는 물리적 데이터를 포함하는 임의의 다른 기능적 관계의 함수일 수 있다. 몇몇 실시예들에서, 사용자 디바이스의 이미지 인식 소프트웨어는 또한 디지털-물리적 오브젝트 관계를 강화할 수 있다.
[00108] 개시된 시스템 및 방법에 의해 제공되는 상호작용식 인터페이스는 예를 들어, 하나 이상의 가상 환경들 및 오브젝트들과의 상호작용, 다른 사용자들과의 상호작용은 물론, 광고들, 음악 콘서트들 및 영화들을 포함하는 다양한 형태들의 미디어 콘텐츠의 경험과 같은 다양한 활동들을 용이하게 하기 위해 구현될 수 있다. 이에 따라, 개시된 시스템은 사용자가 미디어 콘텐츠를 시청하거나 청취할 뿐만 아니라, 미디어 콘텐츠에 능동적으로 참여하고 경험하도록 사용자 상호작용을 용이하게 한다. 몇몇 실시예들에서, 사용자 참여는 하나 이상의 가상 세계에서 랜더링되는 새로운 콘텐츠를 생성하거나 기존의 콘텐츠를 변경하는 것을 포함할 수 있다. 몇몇 실시예들에서, 미디어 콘텐츠 및/또는 콘텐츠를 생성하는 사용자들은 하나 이상의 가상 세계들의 신화생성을 주제로 할 수 있다.
[00109] 일 예에서, 뮤지션들(또는 다른 사용자들)은 특정한 가상 세계와 상호작용하는 사용자들에게 랜더링되는 음악적 콘텐츠를 생성할 수 있다. 음악적 콘텐츠는 예를 들어, 다양한 싱글들, EP들, 앨범들, 비디오들, 단편 영화들 및 콘서트 퍼포먼스들을 포함할 수 있다. 일 예에서, 매우 다수의 사용자들은 뮤지션들에 의해 수행되는 가상 콘서트를 동시에 경험하기 위해 시스템(100)과 인터페이싱할 수 있다.
[00110] 몇몇 실시예들에서, 생성된 미디어는 특정한 엔티티(예를 들어, 밴드, 아티스트, 사용자 등)와 연관되는 고유 식별자 코드를 포함할 수 있다. 코드는 알파벳숫자 캐릭터들의 세트, UPC 코드들, QR 코드들, 2D 이미지 트리거들, 3D 물리적 오브젝트 피처 트리거들, 또는 다른 디지털 마크는 물론, 사운드, 이미지 및/또는 둘 다의 형태일 수 있다. 몇몇 실시예들에서, 코드는 시스템(100)을 이용하여 인터페이싱될 수 있는 디지털 미디어에 또한 임베딩될 수 있다. 사용자는 (예를 들어, 비용의 지불을 통해) 코드를 획득하고 식별자 코드와 연관되는 엔티티에 의해 생성되는 미디어 콘텐츠에 액세스하도록 코드를 보완할 수 있다. 미디어 콘텐츠는 사용자의 인터페이스에 부가되거나 이로부터 제거될 수 있다.
[0111] 일 실시예에서, 실시간 또는 거의 실시간으로 비디오 데이터를 하나의 컴퓨팅 시스템으로부터 다른 것으로, 이를 테면, 클라우드 컴퓨팅 시스템으로부터 사용자에게 결합된 로컬 프로세서로 낮은 레이턴시로 통과시키는 컴퓨테이션과 대역폭 제한들을 방지하기 위해서, 다양한 형상들 및 기하학적 형상들에 관한 파라미터 정보가 표면들을 정의하기 위해 전달되고 활용될 수 있는 반면, 텍스처들이 정적 또는 동적 상세들, 이를 테면, 파라미터에 의해 재현된 얼굴 기하학적 구조 상에 맵핑된 사람의 얼굴의 비트맵-기반 비디오 상세를 불러오는(bring about) 이러한 표면들로 이송되고 추가될 수 있다. 다른 예로서, 시스템이 사람의 얼굴을 인식하고, 사람의 아바타가 증강 현실에 위치된다는 것을 알게 되도록 구성되는 경우, 시스템은 하나의 비교적 큰 셋업 이송 시 관련 세계 정보 및 사람의 아바타 정보를 통과시키고, 그후, 도 1에 도시된 308과 같은 로컬 컴퓨팅 시스템으로 이송한 상태로 남아있도록 구성될 수 있는데, 로컬 렌더링이 파라미터 및 텍스처 업데이트들, 이를 테면, 사람의 얼굴의 비트맵들의 이동 및 사람의 골격 구조의 모션 파라미터로 ―모두 실시간 비디오의 초기 셋업 이송 또는 전달과 관련하여 보다 크기가 적은 대역폭의 순서들로― 제한될 수 있기 때문이다. 클라우드-기반 및 로컬 컴퓨팅 자산들은 따라서, 통합된 방식으로 사용될 수 있으며, 상대적으로 낮은 레이턴시를 요구하지 않는 클라우드 핸들링 컴퓨테이션, 및 낮은 레이턴시가 아주 드문(at a premium) 작업들을 다루는 로컬 프로세싱 자산들, 및 이러한 경우에, 로컬 시스템들로 이송된 데이터의 형태가 바람직하게는, 이러한 데이터의 양의 형태(즉, 파라미터 정보, 텍스처들 등 대 모든 것의 실시간 비디오)로 인해 상대적으로 좁은 대역폭으로 전달된다.
[00112] 도 15로 진행하여 참고하면, 개략도는 클라우드 컴퓨팅 자산들(46)과 로컬 프로세싱 자산들(308, 120) 사이의 조정을 도시한다. 일 실시예에서, 클라우드(46) 자산들은, 이를 테면, 유선 또는 무선 네트워킹(원하는 대로, 이동성을 위해는 무선이 바람직하고, 특정 고-대역폭 또는 고-데이터-볼륨 이송들을 위해서는 유선이 바람직함)을 통해, 사용자의 머리(120) 또는 벨트(308)에 결합되도록 구성된 구조물에 하우징될 수 있는 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 자산들(120, 308) 중 하나 또는 둘 모두(40, 42)에 직접 동작가능하게 결합된다. 사용자에게 국한된 이러한 컴퓨팅 자산들은, 유선 및/또는 무선 연결 구성들(44)을 통해 마찬가지로 서로 동작가능하게 결합될 수 있다. 일 실시예에서, 저-관성 및 작은-사이즈의 머리 장착식 서브시스템(120)을 유지하기 위해서, 사용자와 클라우드(46) 간의 1차 이송이 벨트-기반 서브시스템(308)과 클라우드 사이의 링크를 통한 것일 수 있으며, 예를 들어, 개인 컴퓨팅 주변기기 연결 애플리케이션들에서 현재 활용됨에 따라, 머리 장착식 서브시스템(120)이 무선 연결, 이를 테면, 울트라-광대역("UWB") 연결을 이용하여 벨트-기반 서브시스템(308)에 1차적으로 데이터-디더링된다.
[00113] 효율적인 로컬 및 원격 프로세싱 조정 및 사용자를 위한 적절한 디스플레이 디바이스, 이를 테면, 도 3에 피처링된 사용자 인터페이스(302) 또는 사용자 "디스플레이 디바이스"를 이용하여, 도 14를 참고로 하여 후술되는 디스플레이 디바이스(14), 또는 사용자의 현재 실제 또는 가상 위치와 관련되는 하나의 세계의 양상들, 그의 변화들이 사용자에게 이송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 실제로, 일 실시예에서, 한 사람이 증강 현실 모드에서 가상 현실 시스템("VRS")을 활용하고 다른 사람이 첫번째 사람에게 국한된 동일한 세계를 분석(explore)하기 위해 완전 가상 모드에서 VRS를 활용하는 경우, 2명의 사용자들은 다양한 방식들로 그 세계를 서로 경험할 수 있다. 예를 들어, 도 12를 참고하면, 도 11을 참고로하여 설명된 것과 유사한 시나리오가 기술되며, 완전 가상 현실 시나리오로부터 도시된 증강 현실 세계를 통과하여 날고 있는 제 2 사용자의 아바타 2의 시각화가 추가되어 있다. 즉, 도 12에 도시된 장면은 첫 번째 사람에 대한 증강 현실에서 경험되고 디스플레이될 수 있다 ―2개의 증강 현실 엘리먼트들(동상(1110)과 두 번째 사람의 날고 있는 범블 비 아바타 2)가 지면, 배경의 빌딩들, 동상 플랫폼(1120)과 같은 장면 내 로컬 세계 주위의 실제 물리적인 엘리먼트들에 추가하여 디스플레이된다. 아바타 2가 첫 번째 사람에게 국한된 세계를 통해 날아감에 따라 첫 번째 사람으로 하여금 두 번쩨 사람의 아바타 2의 진행을 시각화하게 하기 위해서 동적 업데이팅이 이용될 수 있다.
[00114] 또한, 상술된 바와 같은 구성으로, 클라우드 컴퓨팅 리소스들 상에 상주하고 거기에서 분배될 수 있는 하나의 세계 모델이 존재하며, 이러한 세계는 실시간 비디오 데이터 주위를 통과하려고 시도하기에 바람직한 상대적으로 낮은 대역폭 형태 등으로 하나 이상의 사용자들에게 "통과가능하게"될 수 있다. 동상 근처에 서있는 사람(즉, 도 12에 도시된 바와 같음)의 증강 경험이 클라우드-기반 세계 모델에 의해 통보될 수 있으며, 뷰를 완성하기 위해서 이것의 서브셋이 그들 아래로 그리고 그들의 로컬 디스플레이 디바이스로 통과될 수 있다. 책상에 놓인 개인 컴퓨터만큼 단순할 수 있는 원격 디스플레이 디바이스에서 앉아 있는 사람이 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하고 이것을 그 디스플레이 상에 렌더링할 수 있다. 실제로, 동상 근처의 공원에 실제로 존재하는 한 사람이 그 공원에서 산책하기 위해 멀리 위치해 있는 친구를 택할 수 있으며, 그 친구는 가상 그리고 증강 현실을 통해 함께한다. 시스템은 나무들이 있는 길이 어디에 있는지, 동상이 어디에 있는지 알 필요가 있을 것이며 ―그러나 그 정보는 클라우드 상에 있으며, 함께있는 친구는 그 시나리오의 클라우드 양상들로부터 다운로드할 수 있고, 이후, 공원에 실제로 있는 사람에 대하여 국한되는 증강 현실을 따라서 산책하기 시작한다.
[00115] 도 13을 참고하면, 시간 및/또는 다른 우연성 파라미터 기반 실시예가 도시되며, 사람은, 가상 및/또는 증강 현실 인터페이스, 이를 테면, 사용자 인터페이스(302) 또는 도 3에 피처링된 사용자 디스플레이 디바이스와 인게이징되고, 도 14를 참고로 하여 아래에 설명된 디스플레이 디바이스(14), 또는 그의 변형들은 시스템(4)을 활용하고 있고 커피 한잔(6)을 주문하기 위해 커피 시설에 들어간다. VRS는, 관련 커피 메뉴(8)의 버블 윈도우들 또는 커피 시설 내 문들의 강조 위치들과 같이, 사람에 대한 증강 및/또는 가상 현실에서 디스플레이 향상들을 제공하기 위해서, 국부적으로 그리고/또는 원격적으로 감지 및 데이터 수집 능력들을 활용하도록 구성될 수 있다. 사람이 그가 주문했던 커피 한잔을 받거나, 어떤 다른 적절한 파라미터의 시스템에 의한 검출 시, 시스템은 디스플레이 디바이스들, 이를 테면, 벽이나 천정에서 마다가스카 정글 장면이 정글 사운드 및 다른 효과음들과 함께 또는 이러한 사운드 없이, 그리고 정적 또는 동적으로 로컬 환경에서 하나 이상의 시간-기반 증강 또는 가상 현실 이미지들, 비디오, 및/또는 사운드를 디스플레이(10)하도록 구성될 수 있다. 사용자에 대한 이러한 프리젠테이션은 타이밍 파라미터(즉, 모든 커피 컵이 인식되었고 사용자에게 전달된 후 5분, 사용자가 시설의 정문을 통해 걸어가고 있는 것을 시스템이 인식한 후 10분 등) 또는 다른 파라미터들, 이를 테면, 사용자에 컵에서 마지막 남은 한 모금을 마심에 따라 커피 컵이 거꾸로 뒤집한 방향을 주목함으로써 사용자가 커피를 다 마셨다는 것에 대한 시스템의 인지 ―사용자가 시설(12)의 정문을 떠났다는 것에 대한 시스템의 인지에 기초하여 중단될 수 있다.
[00116] 도 14를 참조하면, 적절한 사용자 디스플레이 디바이스(14)의 일 실시예는, 하우징 또는 프레임(84)에 의해 사용자의 헤드 또는 눈들에 탑재될 수도 있는 디스플레이 렌즈(82)를 포함하는 것으로 도시된다. 디스플레이 렌즈(82)는, 사용자의 눈들(20)의 전면에서 하우징(84)에 의해 포지셔닝된 하나 또는 그 초과의 투명 미러들을 포함할 수도 있으며, 투사된 광(38)을 눈들(20)로 반사시키고, 빔 형성을 용이하면서, 증강 현실 구성에서 로컬 환경으로부터의 적어도 몇몇 광의 송신을 또한 허용 하도록 구성된다(가상 현실 구성에서, 디스플레이 시스템(14)이 예컨대, 어둡게된 비저, 차단 커튼, 모든 블랙 LCD 패널 모드 등에 의해 로컬 환경으로부터의 실질적으로 모든 광을 차단할 수 있는 것이 바람직할 수도 있음). 도시된 실시예에서, 2개의 넓은-시야 머신 비전 카메라들(16)은, 사용자 주변의 환경을 이미징하기 위해 하우징(84)에 커플링되며, 일 실시예에서, 이들 카메라들(16)은 듀얼 캡쳐 가시광/적외선 광 카메라들이다. 도시된 실시예는 또한, 도시된 바와 같이 광(38)을 눈들(20)로 투사시키도록 구성되는 디스플레이 미러들 및 광학기기들을 갖는 스캐닝된-레이저 형상-파면(즉, 깊이에 대한) 광 프로젝터 모듈들의 쌍을 포함한다. 도시된 실시예는 또한, 적외선 광 소스들(발광 다이오드들("LED")과 같은 (26))과 페어링되는 2개의 소형 적외선 카메라들(24)을 포함하며, 그 카메라들은, 렌더링 및 사용자 입력을 지원하기 위해 사용자의 눈들(20)을 추적할 수 있도록 구성된다. 시스템(14)은, X, Y, 및 Z 축 가속도계 능력 뿐만 아니라 자기 나침판 및 X, Y, 및 Z 축 자이로 능력을 포함할 수도 있어서, 바람직하게는 200Hz와 같은 비교적 높은 주파수로 데이터를 제공하는 센서 어셈블리(39)를 추가적으로 피쳐링한다. 도시된 시스템(14)은 또한, ASIC(주문형 집적 회로), FPGA(필드 프로그래밍가능 게이트 어레이), 및/또는 ARM 프로세서(진보된 감소-명령-세트 머신)과 같은 헤드 포즈 프로세서(36)를 포함하며, 그 프로세서는, 캡쳐 디바이스들(16)로부터 출력된 넓은 시야 이미지 정보로부터 사용자 헤드 포즈를 실시간 또는 거의 실시간으로 계산하도록 구성될 수도 있다. 또한, 센서 어셈블리(39)로부터의 자이로, 나침판, 및/또는 가속도계 데이터로부터 포즈를 도출하기 위해 디지털 및/또는 아날로그 프로세싱을 실행하도록 구성된 다른 프로세서(32)가 도시된다. 도시된 실시예는 또한, 포즈 및 포지셔닝을 보조하기 위한 GPS((37), 글로벌 포지셔닝 위성) 서브시스템을 피쳐링한다. 최종적으로, 도시된 실시예는, 세상에 대한 사용자의 뷰에 대해, 사용자의 눈들로의 이미징 및 스캐너들의 동작을 용이하게 하기 위해 사용자에게 로컬인 렌더링 정보를 제공하도록 구성된 소프트웨어 프로그램을 구동하는 하드웨어를 피쳐링할 수도 있는 렌더링 엔진(34)을 포함한다. 렌더링 엔진(34)은, 렌더링된 증강 및/또는 가상 현실 오브젝트들의 광이 망막 스캐닝 디스플레이와 유사한 방식으로, 스캐닝된 레이저 어레인지먼트(18)를 사용하여 투사되도록, 센서 포즈 프로세서(32), 이미지 포즈 프로세서(36), 눈 추적 카메라(24), 및 투사 서브시스템(18)에 동작가능하게 (81, 70, 76/78, 80; 즉 유선 또는 무선 접속을 통해) 커플링된다 투사된 광 빔(38)의 파면은, 증강 및/또는 가상 현실 오브젝트의 원하는 촛점 거리와 일치하도록 구부러지거나 포커싱될 수도 있다. 소형 적외선 카메라들(24)은, 렌더링 및 사용자 입력을 지원하도록 눈들을 추적하기 위해 이용될 수도 있다(즉, 사용자가 보고 있는 곳, 사용자가 얼마나 깊게 포커싱하는지; 후술되는 바와 같이, 눈 경계(eye verge)는 촛점 깊이를 추정하기 위해 이용될 수도 있음). GPS(37), 자이로들, 나침판들, 및 가속도계들(39)은, 과정(course) 및/또는 신속한 포즈 추정들을 제공하기 위해 이용될 수도 있다. 카메라(16) 이미지들 및 포즈는, 연관된 클라우드 컴퓨팅 리소스로부터의 데이터와 함께, 로컬 세상을 매핑하고 사용자의 뷰들을 가상 또는 증강 현실 커뮤니티와 공유하기 위해 이용될 수도 있다. 도 14에 피쳐링된 디스플레이 시스템(14) 내의 대부분의 하드웨어가 사용자의 눈들(20) 및 디스플레이(82)에 인접한 하우징(84)에 직접 커플된 것으로 도시되지만, 도시된 하드웨어 컴포넌트들은, 예를 들어, 도 3에 도시된 바와 같이 벨트-탑재된 컴포넌트와 같은 다른 컴포넌트들에 탑재되거나 다른 컴포넌트들 내에 하우징될 수도 있다. 일 실시예에서, 도 14에 피쳐링된 시스템(14)의 컴포넌트들 모두는, 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)을 제외하고 디스플레이 하우징(84)에 직접 커플링되며, 후자의 3개와 시스템(14)의 나머지 컴포넌트들 사이의 통신은, 울트라 광대역과 같은 무선 통신 또는 유선 통신에 의한 것일 수도 있다. 바람직하게, 도시된 하우징(84)은 사용자에 의해 헤드-탑재되고 웨어러블하다. 그것은 또한, 사용자의 귀들에 삽입되며, 도 13을 참조하여 참고된 정글 사운드들과 같은 증강 또는 가상 현실 경험에 적절할 수도 있는 사운드를 사용자에게 제공하기 위해 이용될 수도 있는 것들과 같은 스피커들, 및 사용자에게 로컬인 사운드들을 캡쳐하기 위해 이용될 수도 있는 마이크로폰들을 피쳐링할 수도 있다.
[00117] 사용자의 눈들(20)로의 광(38)의 투사에 대해, 일 실시예에서, 소형 카메라들(24)은, 일반적으로, 눈들(20)의 촛점, 또는 "촛점 깊이"의 포지션과 일치하는 사용자의 눈들(20)의 중심들이 기하학적으로 인접되는 곳을 측정하기 위해 이용될 수도 있다. 눈들이 인접하는 모든 포인트들의 3차원 표면은 "호롭터(horopter)"로 지칭된다. 촛점 거리는 유한한 수의 깊이들 상에 취해질 수도 있거나, 무한하게 변할 수도 있다. 버전스(vergence) 거리의 전면 또는 후면의 광이 블러링되는 동안, 버전스 거리로부터 투사된 광은, 서브젝트 눈(20)에 포커싱되는 것처럼 보인다. 추가적으로, 약 0.7밀리미터 미만의 빔 직경을 갖는 공간적으로 코히런트한 광은, 사람의 눈이 포커싱하는 곳과 관계없이 눈에 의해 정확히 해상(resolve)된다는 것이 발견되었으며; 이러한 이해가 주어지면, 적절한 촛점 깊이의 환영을 생성하기 위해, 눈 버전스는 소형 카메라들(24)을 이용하여 추적될 수도 있고, 렌더링 엔진(34) 및 투사 서브시스템(18)은, 디포커스(defocus)의 가변도들로(즉, 의도적으로 생성된 블러링을 이용하여) 촛점 내의 호롭터 상의 또는 그에 근접한 모든 오브젝트들, 및 다른 모든 오브젝트들을 렌더링하는데 이용될 수도 있다. 코히런트 광을 눈으로 투사하도록 구성된 시-스루 광 안내 광학 엘리먼트는, Lumus, Inc와 같은 공급자들에 의해 제공될 수도 있다. 바람직하게, 시스템(14)은 초당 약 60프레임의 프레임 또는 그 초과의 레이트로 사용자에게 렌더링한다. 상술된 바와 같이, 바람직하게, 소형 카메라들(24)은 눈 추적을 위해 이용될 수도 있으며, 소프트웨어는, 사용자 입력들로서 기능하기 위해 버전스 지오메트리뿐만 아니라 촛점 위치 단서들을 픽업(pick up)하도록 구성될 수도 있다. 바람직하게, 그러한 시스템은, 낮 또는 밤 동안의 사용에 적합한 밝기 및 콘트라스트로 구성된다. 일 실시예에서, 바람직하게, 그러한 시스템은, 가시적인 오브젝트 배열에 대해 약 20밀리초 미만, 각 배열의 약 0.1도 미만, 및 해상도의 약 1 각분(arc minute)의 레이턴시를 가지며, 이들은 대략 사람의 눈의 제한이다. 디스플레이 시스템(14)은, 포지션 및 포즈 결정을 보조하기 위해 GPS 엘리먼트, 광학 추적, 나침판, 가속도계, 및/또는 다른 데이터 소스들을 수반할 수도 있는 로컬화 시스템과 통합될 수도 있으며; 로컬화 정보는, 적절한 세상의 사용자의 뷰에서 정확한 렌더링을 용이하게 하기 위해 이용될 수도 있다(즉, 그러한 정보는, 사용자들이 실제 세상에 대해 있는 곳을 알도록 글래스들을 용이하게 할 것임).
[00118] 다른 적절한 디스플레이 디바이스는, 데스크톱 및 모바일 컴퓨터들, 스마트폰들, 3D 관점 뷰잉을 가능하게 하거나 또는 시뮬레이팅하기 위한 소프트웨어 및 하드웨어 특징들로 부가적으로 개선될 수 있는 스마트폰들(예를 들면, 일 실시예에서, 프레임이 스마트폰에 탈착 가능하게 커플링될 수 있는데, 이 프레임은 200㎐ 자이로 및 가속도계 센서 서브세트, 넓은 시야 렌즈들을 갖는 두 개의 소형 머신 비전 카메라들, 및 도 14에서 특징으로 된 구성의 기능 중 일부를 시뮬레이팅하기 위한 ARM 프로세서를 특징으로 함), 태블릿 컴퓨터들, 스마트폰들에 대해 위에서 설명된 바와 같이 개선될 수 있는 태블릿 컴퓨터들, 부가적인 프로세싱 및 감지 하드웨어로 개선된 태블릿 컴퓨터들, 증강 및 가상 뷰포인트들(확대 옵틱스들, 미러들, 콘택트 렌즈들, 또는 광 구조화 엘리먼트들을 통한 시각적 수용)을 디스플레이 하기 위해 스마트폰들 및/또는 태블릿들을 사용하는 머리-장착된 시스템들, 발광 엘리먼트들(LCD들, OLED들, 수직-캐비티-표면-발광 레이저들, 스티어링되는 레이저 빔들 등)의 넌-시스루 디스플레이들, 인간들이 자연 세계와 인공적으로 생성된 이미지들을 보도록 동시에 허용하는 시스루 디스플레이들(예컨대, 광-가이드 광학 엘리먼트들, 클로즈-포커스 콘택트 렌즈들로 비추는 투명한 편광 OLED들, 스티어링되는 레이저 빔들 등), 발광 엘리먼트들을 갖는 콘택트 렌즈들(이를테면, 상표명 Ioptik RTM 하에서, 워싱턴 주 벨뷰 시의 Innovega, Inc,로부터 이용 가능한 것들; 그들은 전문화된 무료 안경 컴포넌트들과 결합될 수 있음), 발광 엘리먼트들을 갖는 이식 가능한 디바이스들, 및 인간 뇌의 광학 리셉터들을 시뮬레이팅하는, 이식 가능한 디바이스들을 포함하지만, 이들로 제한되지는 않는다.
[00119] 도 3 및 도 14에서 도시된 것과 같은 시스템을 이용하여, 3D 포인트들이 환경으로부터 캡쳐될 수 있고, 그들 이미지들 또는 포인트들을 캡쳐하는 카메라들의 포즈(즉, 세계에 대한 벡터 및/또는 원점 포지션 정보)가 결정될 수 있으며, 따라서 이들 포인트들 또는 이미지들은 이 포즈 정보로 "태깅"될 수 있거나 또는 이 포즈 정보와 연관될 수 있다. 이후, 제2 카메라의 포즈를 결정하기 위해, 제2 카메라에 의해 캡쳐되는 포인트들이 활용될 수 있다. 다시 말해, 제1 카메라로부터의 태깅된 이미지들과의 비교들에 기초하여, 제2 카메라가 지향되고 그리고/또는 로컬화될 수 있다. 이후, 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 시각 카피를 생성하기 위해, 이 지식이 활용될 수 있다(그 이유는, 이후, 정합되는 두 개의 카메라들이 주위에 존재하기 때문이다). 그래서, 베이스 레벨에서는, 일 실시예에서, 당신은 포인트들을 생성한 2D 이미지들 및 3D 포인트들 둘 다를 캡쳐하기 위해 활용될 수 있는 사람-착용 시스템을 갖고, 그리고 이들 포인트들 및 이미지들은 클라우드 스토리지 및 프로세싱 자원에 전송될 수 있다. 그들은 또한, 임베딩된 포즈 정보로 로컬로 캐싱될 수 있고(즉, 태깅된 이미지들을 캐싱함); 그래서, 클라우드는, 3D 포인트들과 함께, 준비된(즉, 이용 가능한 캐시에 있는) 태깅된 2D 이미지들(즉, 3D 포즈로 태깅됨)을 가질 수 있다. 사용자가 동적인 뭔가를 관찰하고 있다면, 그는 또한 모션에 관련 있는 클라우드까지 부가적인 정보를 전송할 수 있다(예컨대, 다른 사람의 얼굴을 쳐다본다면, 사용자는 얼굴의 텍스처 맵을 취할 수 있고, 그리고 심지어 주변 세계가 다른 방식으로 기본적으로 정적이더라도, 최적화된 주파수까지 그 텍스처 맵을 푸쉬할 수 있다).
[00120] 전체 포즈 추적 계산을 감소시키기 위해, 클라우드 시스템은 포즈를 위한 기점들로서만 몇몇 포인트들을 저장하도록 구성될 수 있다. 일반적으로, 사용자가 방 주위를 이동할 때 사용자의 환경의 주요한 항목들, 예컨대 벽들, 테이블 등을 추적할 수 있기 위해 몇몇 아웃라인 특징들을 갖는 것이 원해질 수 있고, 그리고 사용자는, 세계를 "공유"하고 어떤 다른 사용자가 그 방 안으로 걷게 하고 또한 그들 포인트들을 보게 할 수 있기를 원할 수 있다. 이러한 유용하고 핵심적인 포인트들은 "기점들"로 불릴 수 있는데, 그 이유는 그들이 앵커링 포인트들로서 꽤 유용하기 때문이다 ― 그들은, 머신 비전으로 인식될 수 있고 사용자 하드웨어의 상이한 피스들 상에서 일관되게 그리고 반복적으로 세계로부터 추출될 수 있는 특징들에 관련된다. 따라서, 이들 기점들은 바람직하게, 추가적인 사용을 위해 클라우드에 저장될 수 있다.
[00121] 일 실시예에서, 관련 있는 세계 전체에 걸쳐 기점들의 비교적 균등한 분포를 갖는 것이 바람직한데, 그 이유는 그들이, 카메라들이 로케이션을 인식하기 위해 쉽게 사용할 수 있는 종류들의 항목들이기 때문이다.
[00122] 일 실시예에서, 관련 있는 클라우드 컴퓨팅 구성은, 기점 정제 및 세계 생성 둘 다를 위해 다양한 사용자들로부터의 최선의 데이터를 사용하기 위해 3D-포인트들의 데이터베이스 및 임의의 연관된 메타 데이터를 주기적으로 글루밍하도록 구성될 수 있다. 다시 말해, 시스템은, 관련 있는 세계 내에서 보고 있고 동작 하고 있는 다양한 사용자들로부터의 입력들을 사용함으로써 최선의 데이터세트를 얻도록 구성될 수 있다. 일 실시예에서, 데이터베이스는 본질적으로 프랙탈하다 ― 사용자들이 오브젝트들에 더 가까이 이동할 때, 클라우드는 더 높은 해상도 정보를 이러한 사용자들에게 전달한다. 사용자가 오브젝트를 더욱 가까이 맵핑할 때, 그 데이터는 클라우드에 전송되고, 그들이 데이터베이스에 이전에 저장된 것보다 더 낫다면, 클라우드는 새로운 3D 포인트들 및 이미지-기반 텍스처 맵들을 데이터베이스에 부가할 수 있다. 이것 전부가, 많은 사용자들로부터 동시에 일어나도록 구성될 수 있다.
[00123] 위에서 설명된 바와 같이, 증강 또는 가상 현실 경험은 특정 타입들의 오브젝트들을 인식하는 것에 기초할 수 있다. 예컨대, 특정 오브젝트가 이러한 오브젝트를 인식 및 이해하기 위하여 깊이를 가짐을 이해하는 것이 중요할 수 있다. 인식기 소프트웨어 오브젝트들("인식기들")은 클라우드 또는 로컬 자원들 상에 배치되어, 사용자가 세계에서 데이터를 내비게이팅할 때 한쪽 플랫폼 또는 양쪽 플랫폼들 상에서 다양한 오브젝트들의 인식을 특정하게 도울 수 있다. 예컨대, 시스템이 3D 포인트 클라우드들 및 포즈-태깅된 이미지들을 포함하는 세계 모델에 대한 데이터를 갖는다면, 그리고 다수의 포인트들이 그 상에 있는 데스크뿐만 아니라 데스크의 이미지가 존재한다면, 인간들이 데스크를 볼 때, 관찰되고 있는 것이 실제 데스크라는 결정은 존재하지 않을 수 있다. 다시 말해, 공간의 몇몇 3D 포인트들과, 데스크의 대부분을 보여주는, 공간에서 어딘가로부터 떨어진 이미지는, 데스크가 관찰되고 있음을 즉각 인식하기에 충분하지 않을 수 있다. 이러한 식별을 돕기 위해, 로우(raw) 3D 포인트 클라우드에 들어가고, 포인트들의 세트를 세그멘팅하고, 그리고 예컨대 데스크의 상단면의 평면을 추출할 특정 오브젝트 인식기가 생성될 수 있다. 유사하게, 3D 포인트들로부터 벽을 세그멘팅하기 위한 인식기가 생성될 수 있고, 따라서 사용자는 가상 또는 증강 현실에서 벽의 일부를 제거하거나 또는 벽지를 바꿀 수 있고, 그리고 실세계에서 실제로는 존재하지 않는 다른 방으로의 입구를 가질 수 있다. 이러한 인식기들은 세계 모델의 데이터 내에서 동작하고, 그리고 세계 모델을 크롤링하고 그 세계 모델을 의미론적 정보, 또는 공간의 포인트들 사이에 존재하는 것으로 믿고 있는 것에 관한 존재론으로 채우는 소프트웨어 "로봇들"로서 간주될 수 있다. 이러한 인식기들 또는 소프트웨어 로봇들은, 그들의 전체 존재가 데이터의 관련 있는 세계를 이리저리 돌고 있고 그리고 그것이 믿고 있는 것들이 벽들, 또는 의자들, 또는 다른 항목들임을 찾고 있도록 구성될 수 있다. 그들은 포인트들의 세트를, "벽에 속하는 포인트들의 이 세트"의 기능적 균등물로 태깅하도록 구성될 수 있고, 그리고 포인트들에 있는 것에 관하여 시스템에 상호 통보하기 위해 포즈-태깅된 이미지 분석 및 포인트-기반 알고리즘의 결합을 포함할 수 있다.
[00124] 오브젝트 인식기들은 그 관점에 따라, 변경된 유틸리티의 많은 목적들을 위해 생성될 수 있다. 예를 들어, 일 실시예에서, 스타벅스와 같은 커피 공급업자는 데이터의 관련 세계 내에서 스타벅스 커피 컵들의 정확한 인식기를 생성하는데 투자할 수 있다. 이러한 인식기는 스타벅스 커피 컵들에 대한 데이터의 크고 작은 탐색의 세계들을 몹시 느리게 가도록(crawl) 구성될 수 있어서, 이들은 (즉, 아마도 사용자가 특정 기간의 시간 동안 자신의 스타벅스 컵을 바라볼 때 코너 바로 주변의 스타벅스 아울렛에서 사용자에게 커피를 제공하기 위해) 관련된 가까운 공간에서 동작할 때 세그먼트화되어 사용자에게 식별될 수 있다. 세그먼트화된 컵에 있어서, 사용자가 자신의 책상 위에서 그것을 언제 이동시키는지가 빨리 인식될 수 있다. 이러한 인식기들은 클라우드 컴퓨팅 자원들 및 데이터 상에서뿐만 아니라 로컬 자원들 및 데이터 상에서, 이용가능한 컴퓨테이셔널 자원들에 따라 클라우드 및 로컬 자원들 둘 모두 상에서 실행 또는 동작하도록 구성될 수 있다. 일 실시예에서, 그 글로벌 모델에 기여하는 수백만 사용자들을 갖는 클라우드 상에 세계 모델의 글로벌 카피가 존재하지만, 특정한 타운에서 특정한 개인의 사무실과 같은 더 작은 세계들 또는 부-세계들(sub-worlds)에 대해서는, 대부분의 글로벌 세계가 그 사무실이 어떠한 것처럼 보이는지에 대해 관심을 갖지 않을 것이어서, 시스템은 데이터를 준비하고, 주어진 사용자에 가장 로컬로 관련되는 것으로 여겨지는 로컬 캐시 정보로 이동하도록 구성될 수 있다.
[00125] 일 실시예에서, 예를 들어, 사용자가 책상으로 걸어갈 때, 관련 정보(이를테면, 자신의 테이블 상의 특정 컵의 세그멘테이션)는 종종 이동하는 것들로서 식별되는 오브젝트들, 이를테면, 테이블들 상의 컵들은 클라우드 모델과, 클라우드와 로컬 자원들 사이의 송신 부담(burden)에 대한 부담을 가질 필요가 없기 때문에, 클라우드 상이 아니라 사용자의 로컬 컴퓨팅 자원들 상에만 상주하도록 구성될 수 있다. 따라서, 클라우드 컴퓨팅 자원은 3-D 포인트들 및 이미지들을 세그먼트화하고, 따라서, 이동가능한 것들로부터 영구적인(즉, 일반적으로 이동하지 않음) 객체들을 팩터링(factor)하고, 이것은 그것이 프로세싱될 것인 경우 연관된 데이터가 남아 있을 곳에 영향을 미칠 수 있고, 더 영구적인 오브젝트들에 관련된 특정 데이터에 대한 웨어러블/로컬 시스템으로부터 프로세싱 부담을 제거하고, 그 다음 제한적이지 않은 다른 사용자들과 공유될 수 있는 로케이션의 1-회 프로세싱을 허용하고, 데이터의 다수의 소스들이 특정한 물리 로케이션에서 고정 그리고 이동가능한 오브젝트들의 데이터베이스를 동시에 구축하게 하고, 오브젝트-특정 기준들 및 텍스처 맵들을 생성하기 위해 배경으로부터의 오브젝트들을 세그먼트화할 수 있다.
[00126] 일 실시예에서, 시스템은 특정 오브젝트들의 아이덴티티에 대한 입력에 대해 사용자에게 질의하도록 구성될 수 있어서(예를 들어, 시스템은 "저것이 스타벅스 커피 컵인가요?"와 같은 질문을 사용자에게 제시할 수 있음), 사용자는 시스템을 트레이닝하고, 시스템이 실세계에서 경계 정보를 오브젝트들과 연관시키게 할 수 있다. 온톨로지는 세계로부터 세그먼트화된 오브젝트들이 무엇을 할 수 있는지, 이들이 어떻게 동작하는지 등에 관한 안내를 제공할 수 있다. 일 실시예에서, 시스템은 시스템으로의 특정 사용자 입력을 가능하게 하기 위해, 가상 또는 실제 키패드, 이를테면, 무선으로 연결된 키패드, 스마트폰의 키패드로의 연결성 등을 특징으로 할 수 있다.
[00127] 시스템은 기본적 엘리먼트들(벽들, 창문들, 책상 지오메트리 등)을 가상에서 또는 증강 현실에서 방으로 걸어가는 임의의 사용자와 공유하도록 구성될 수 있고, 일 실시예에서, 그 사람의 시스템은 자신의 특정 관점으로부터 이미지들을 취득하고, 그들을 클라우드로 업로딩하도록 구성될 것이다. 그 다음, 클라우드는 데이터의 오래된 그리고 새로운 세트들을 갖도록 파퓰레이팅되며, 최적화 루틴들을 실행시키고, 개별 오브젝트들 상에 존재하는 기준들을 설정할 수 있다.
[00128] GPS 및 다른 로컬화 정보는 이러한 프로세싱으로의 입력들로서 이용될 수 있다. 추가로, 다른 컴퓨팅 시스템들 및 데이터, 이를테면, 사용자의 온라인 캘린더 또는 페이스북 RTM 어카운트 정보는 입력들로서 이용될 수 있다(예를 들어, 일 실시예에서, 클라우드 및/또는 로컬 시스템은 비행기 티켓들, 날짜 및 목적지들에 대한 사용자의 캘린더의 컨텐츠를 분석하도록 구성될 수 있어서, 시간이 지남에 따라, 정보는 주어진 목적지의 사용자의 도착 시간에 대해 준비가 되도록 클라우드로부터 사용자의 로컬 시스템들로 이동될 수 있음).
[00129] 일 실시예에서, QR 코드들 등과 같은 태그들은 비-통계적 포즈(pose) 계산, 보안/액세스 제어, 특수 정보의 통신, 공간적 메시징, 비-통계적 오브젝트 인식 등에 의한 이용을 위해 세계에 삽입될 수 있다.
[00130] 일 실시예에서, 클라우드 자원들은 파라미터들 및 텍스처들에 기초하여 개별 사용자들에 의해 렌더링되는 모델들을 이용하여, "통과가능한 세계들"과 관련하여 위에서 설명된 바와 같이, 사용자들 사이의 실제 및 가상 세계들의 디지털 모델들을 통과시키도록 구성될 수 있다. 이것은 실시간 비디오의 통로(passage)에 관련된 대역폭을 감소시키고, 씬의 가상 뷰포인트들의 렌더링을 허용하며, 수 백만명 또는 그보다 많은 사용자들이 이들이 볼 필요가 있는 데이터(이를테면, 비디오)를 이들 각각에게 전송하지 않고 하나의 가상 수집에 참여하게 한다(그 이유는 이들의 뷰들은 이들의 로컬 컴퓨팅 자원들에 의해 렌더링되기 때문임).
[00131] 가상 현실 시스템("VRS")은 다음의 것들 중 하나 또는 둘 이상을 통해 사용자의 로케이션 및 시계(함께 "포즈"로 알려져 있음)에 등록하도록 구성될 수 있다: 카메라들을 이용한 실시간 메트릭 컴퓨터 비전, 동시적 로컬화 및 맵핑 기법들, 맵들, 및 자이로스코프, 가속도계들, 나침반, 기압계, GPS, 라디오 신호 강도 삼각 측량, 비행 분석의 신호 시간, LIDAR 레인징, RADAR 레인징, 오도메트리(odometry) 및 소나 레인징(sonar ranging)과 같은 센서들로부터의 데이터. 웨어러블 디바이스 시스템은 동시에 맵핑 및 지향(orient)하도록 구성될 수 있다. 예를 들어, 알려지지 않은 환경들에서, VRS는 사용자 포즈 계산들에 적합한 기준 포인트들, 세계 모델링에 대한 다른 포인트들, 세계의 텍스처 맵들을 제공하기 위한 이미지들을 확인하는 환경에 대한 정보를 수집하도록 구성될 수 있다. 기준 포인트들은 포즈를 광학적으로 계산하기 위해 이용될 수 있다. 세계가 더 상세하게 맵핑될 때, 더 많은 오브젝트들이 세그먼트화되고, 그들 자신의 텍스처 맵들을 제공받을 수 있지만, 세계는 여전히 바람직하게, 낮은 해상도 텍스처 맵들을 이용하여 단순한 다각형들에서 낮은 공간 해상도로 표현가능하다. 위에서 논의된 것들과 같은 다른 센서들은 이러한 모델링 노력을 지원하기 위해 이용될 수 있다. 세계는 클라우드 자원들로부터의 (뷰포인트들, "수퍼비전" 모드들, 주밍(zooming) 등을 통한) 더 양호한 뷰 요청 고-해상도 정보를 이동시키거나 그렇지 않으면 추구한다는 점에서 본질적으로 프랙탈(fractal)할 수 있다. 오브젝트들에 더 가깝게 이동하는 것은 더 높은 해상도 데이터를 캡처하고, 이것은, 세계 모델에서의 삽입형(interstitial) 사이트들에서 새로운 데이터를 계산 및/또는 삽입할 수 있는 클라우드에 전송될 수 있다.
[00132] 도 16을 참조하면, 웨어러블 시스템은 이미지 정보를 캡처하고 기준들 및 인식된 포인트들을 추출하도록 구성될 수 있다(52). 웨어러블 로컬 시스템은 아래에서 언급된 포즈 계산 기법들 중 하나를 이용하여 포즈를 계산할 수 있다. 클라우드(54)는 더 많은 정적 3-D 배경으로부터의 3-D 오브젝트들을 세그먼트화하기 위해 이미지들 및 기준들을 이용하도록 구성될 수 있고; 이미지들은 오브젝트들 및 세계에 대한 텍스처 맵들을 제공한다(텍스처들은 실시간 비디오들일 수 있음). 클라우드 자원들(56)은 세계 등록에 대한 이용가능한 정적 기준들 및 텍스처들을 저장 및 수행하도록 구성될 수 있다. 클라우드 자원들은 등록에 대한 최적의 포인트 밀도에 대한 포인트 클라우드를 준비하도록 구성될 수 있다. 클라우드 자원들(60)은 오브젝트 등록 및 조작에 대한 이용가능한 오브젝트 기준들 및 텍스처들을 저장 및 수행할 수 있고; 클라우드는 등록에 대한 최적의 밀도에 대한 포인트 클라우드들을 준비할 수 있다. 클라우드 자원은 오브젝트들의 프랙탈 솔리드 모델들을 생성하기 위해 모든 유효 포인트들 및 텍스처들을 이용하도록 구성될 수 있고(62); 클라우드는 최적의 기준 밀도에 대한 포인트 클라우드 정보를 준비할 수 있다. 클라우드 자원(64)은 세그먼트화된 오브젝트들의 아이덴티티 및 세계 대해 트레이닝하기 위해 사용자들에게 질의하도록 구성될 수 있고, 온톨로지 데이터베이스는 동작가능한 특성들을 이용하여 오브젝트들 및 세계를 임뷰(imbue)하기 위해 응답들을 이용할 수 있다.
[00133] 맵핑 및 레지스트레이션의 다음의 특정 모드들은, 용어들, 즉, 광학 또는 카메라 시스템으로부터 결정되는 포즈를 표현하는 "O-포즈"; 센서들(즉, 예를 들어, 위에서 논의된 바와 같은, GPS, 자이로, 콤파스, 가속도계 등 데이터의 조합)로부터 결정되는 포즈를 표현하는 "s-포즈"; 및 클라우드 컴퓨팅 및 데이터 관리 리소스를 표현하는 "MLC"를 특징화한다.
[00134] "오리엔트" 모드는 새로운 환경의 기본적인 맵을 만들고, 그 목적은, 사용자가 MLC에 연결되지 않은 경우에 또는 새로운 환경이 맵핑되지 않은 경우에, 사용자의 포즈를 확립하기 위한 것이다. 오리엔트 모드에서, 웨어러블 시스템은, 이미지로부터 포인트들을 추출하고, 프레임으로부터 프레임으로 포인트들을 추적하고, (이미지들로부터 피두셜들이 추출되지 않았기 때문에) S-포즈를 사용하여 피두셜들을 삼각측량한다. 웨어러블 시스템은 또한, 사용자의 퍼시스턴스에 기초하여, 불량한 피두셜들을 필터링할 수 있다. 오리엔트 모드가 맵핑 및 레지스트레이션의 가장 기본적인 모드이고, 저-정밀 포즈에 대해서도 항상 작동될 것이라는 것이 인식되어야 한다. 그러나, 웨어러블 시스템이 적어도 잠깐 동안 상대적인 모션에서 사용된 후에, 오브젝트들을 인지하고 환경을 맵핑하기 위해 O-포즈를 사용하기 위하여 웨어러블 시스템이 세팅되도록, 최소의 피두셜 세트가 확립될 것이다. (최소의 피두셜 세트로) O-포즈가 신뢰가능하게 되자마자, 웨어러블 세트는 오리엔트 모드로부터 빠져나오도록 구성된다. "맵 및 O-포즈" 모드는 환경을 맵핑하기 위해 사용된다. 맵 및 o-포즈 모드의 목적은, 고-정밀 포즈들을 확립하고, 환경을 맵핑하고, 맵 및 이미지들을 MLC에 제공하기 위한 것이다. 이러한 모드에서, O-포즈는, 로컬적으로 결정된 그리고/또는 MLC로부터 다운로딩된 머처 월드(mature world) 피두셜들로부터 계산된다. 그러나, S-포즈는 계산된 o-포즈의 체크로서 사용될 수 있고, 또한, O-포즈의 컴퓨테이션을 가속하기 위해 사용될 수 있다는 것이 인식되어야 한다. 위와 유사하게, 웨어러블 시스템은, 이미지들로부터 포인트들을 추출하고, 프레임으로부터 프레임으로 포인트들을 추적하고, O-포즈를 사용하여 피두셜들을 삼각측량하고, 퍼시스턴스에 기초하여, 불량한 피두셜들을 필터링한다. 그 후에, 나머지 피두셜들 및 포즈-태그드 이미지들은 MLC 클라우드에 제공된다. 이러한 기능들(포인트들의 추출, 불량한 피두셜들의 필터링, 및 피두셜들 및 포즈-태그드 이미지들의 제공)은 실시간으로 수행될 필요는 없고, 대역폭을 보존하기 위해 나중에 수행될 수 있다는 것이 인식되어야 한다.
[00135] O-포즈는 사용자의 포즈(사용자 로케이션 및 시계)를 결정하기 위해 사용된다. O-포즈의 목적은, 최소의 프로세싱 파워를 사용하여, 이미 맵핑된 환경에서 고-정밀 포즈를 확립하기 위한 것이다. o-포즈를 계산하는 것은 여러 단계들을 수반한다. n에서 포즈를 추정하기 위해, 웨어러블 시스템은, S-포즈들 및 O-포즈들(n-1, n-2, n-3 등)로부터 수집된 이력적 데이터를 사용하도록 구성된다. 그 후에, n에서의 포즈는, 프로젝션으로부터 이미지 마스크를 생성하기 위해, n에서 캡처링된 이미지로 피두셜들을 프로젝팅하기 위하여 사용된다. 웨어러블 시스템은, 마스킹된 구역들로부터 포인트들을 추출하고, 추출된 포인트들 및 머처 월드 피두셜들로부터 O-포즈를 계산한다. 특정한 이미지의 마스킹된 서브세트들로부터만 포인트들을 탐색/추출함으로써, 프로세싱 부담이 크게 감소된다는 것이 인식되어야 한다. 하나의 단계를 더 나아가면, 계산된 n에서의 o-포즈, 및 n에서의 s-포즈는 n+1에서의 포즈를 추정하기 위해 사용될 수 있다. 포즈-태그드 이미지들 및/또는 비디오는 MLC 클라우드에 전송될 수 있다.
[00136] "수퍼-res" 모드는 수퍼 레졸루션 이미저리 및 피두셜들을 생성하기 위해 사용될 수 있다. 복합 포즈-태그드 이미지들은 수퍼-레졸루션 이미지들을 생성하기 위해 사용될 수 있고, 그 수퍼-레졸루션 이미지들은, 차례로, 피두셜 포지션 추정을 강화하기 위해 사용될 수 있다. 수퍼-레졸루션 피두셜들 및 이미저리로부터 O-포즈 추정들을 반복하는 것이 인식되어야 한다. 위의 단계들은, 웨어러블 디바이스 상에서 실시간으로 수행될 수 있거나, 또는 MLC 클라우드에 전송될 수 있고, 나중에 수행될 수 있다.
[00137] 일 실시예에서, VRS 시스템은, 특정한 베이스 기능성, 뿐만 아니라, 특정한 특수화된 기능성들을 제공하기 위해 VRS를 통해 분배될 수 있는 "app들" 또는 애플리케이션들에 의해 용이하게 되는 기능성을 갖도록 구성될 수 있다. 예를 들어, 다음의 app들은, 특수화된 기능성을 제공하기 위해, 서브젝트 VRS에 설치될 수 있다.
[00138] "페인터-렌더링들(painterly-renderings)" app는, 아티스트들에 의해, 그들이 본 바와 같이 월드를 표현하는 이미지 변환들을 생성하기 위해 사용될 수 있다. 그 후에, 사용자들은, 그들이 "아티스트들의 눈을 통해" 월드를 뷰잉할 수 있도록, 그들의 사용자 디바이스들 상에서 이들 변환들을 인에이블링할 수 있다. "테이블 탑 모델링(table top modeling)" app는, 사용자들이, 테이블 상에 놓인 물리적 오브젝트들로부터 오브젝트들을 구축할 수 있게 할 수 있다. "가상 프레젠스(virtual presence)" app는 공간의 가상 모델들을 다른 사용자에게 전달하기 위해 사용될 수 있고, 그 후에, 그 다른 사용자는 가상 아바타를 사용하여 그 공간 주위에서 이동할 수 있다.
[00139] "아바타 감정" app는, 가상-프레젠스 아바타들 상에 미세한 효과들을 애니메이팅하기 위해, 미세한 음성 억약, 가벼운 머리 움직임, 체온, 심박동수 등과 같은 양상들을 측정하기 위해 사용될 수 있다. 휴먼 상태 정보를 디지털화하고 이를 원격 아바타에게 전달하는 것은 비디오보다 더 적은 대역폭을 사용한다. 부가적으로, 그러한 데이터는, 비-휴먼 아바타들이 감정이 있을 수 있도록 맵핑-가능하다. 예를 들어, 개 아바타는, 흥분된 음성 억약들에 기초하여, 그것의 꼬리를 흔드는 것에 의해 흥분을 나타낼 수 있다.
[00140] 효율적인 메시 타입 네트워크는, 모든 것을 다시 서버로 전달하는 것과 대조적으로, 데이터를 이동시키는 것에 대해 바람직할 수 있다. 그러나, 다수의 메시 네트워크들은, 포지션 정보 및 토폴로지가 잘 특성화되지 않기 때문에, 준최적 성능을 갖는다. 일 실시예에서, 시스템은, 비교적 고정밀도로 모든 사용자들의 로케이션을 결정하기 위해 활용될 수 있고, 따라서, 메시 네트워크 구성이 고성능을 위해 활용될 수 있다.
[00141] 일 실시예에서, 시스템은 탐색을 위해 활용될 수 있다. 증강 현실을 이용하여, 예를 들어, 사용자들은, 물리적 월드의 다수의 양상들에 관련된 컨텐츠를 생성하고 남길 것이다. 이러한 컨텐츠의 대부분은 텍스트가 아니고, 따라서, 전형적인 방법들에 의해 쉽게 탐색되지 않는다. 시스템은, 탐색 및 레퍼런스 목적들을 위한 퍼스널 및 소셜 네트워크 컨텐츠의 추적을 유지하기 위한 기능을 제공하도록 구성될 수 있다.
[00142] 일 실시예에서, 디스플레이 디바이스가 연속적인 프레임들을 통해 2-D 포인트들을 추적하고, 그 후에, 이러한 포인트들의 시간 변화에 대해 벡터-값을 갖는 함수를 피팅하는 경우에, (벡터-값을 갖는 함수를 시간 상 앞으로 프로젝팅함으로써) 가까운 장래에서의 어떤 포인트에서, 또는 (예를 들어, 프레임들 사이의) 시간에서의 임의의 포인트에서, 벡터 값을 갖는 함수를 샘플링하는 것이 가능하다. 이는, 다음의 이미지가 실제로 캡처링되기 전에, 장래의 포즈의 예측, 및 고-레졸루션 포스트-프로세싱의 생성을 허용한다(예를 들어, 카메라 프레임 레이트를 배가시키지 않고, 레지스트레이션 속도를 배가시키는 것이 가능하다).
[00143] 몸체-고정 렌더링을 위해(머리-고정 또는 월드-고정 렌더링들과 대조적임), 몸체의 정확한 뷰가 소망된다. 몸체를 측정하기보다는, 일 실시예에서, 사용자의 머리의 평균 포지션을 통해 그것의 위치를 도출하는 것이 가능하다. 사용자의 얼굴이 대부분의 시간에서 포인트 포워딩(point forward)되는 경우, 머리 포지션의 멀티-데이 평균(multi-day average)은 그 방향을 나타낼 것이다. 중력 벡터와 함께, 이는 몸체-고정 렌더링에 대해 상당히 안정적인 좌표 프레임을 제공한다. 이러한 장기간 좌표 프레임에 관하여 머리 포지션의 현재 측정들을 이용하는 것은, 어떠한 추가의 계장화(instrumentation)도 없이, 사용자의 몸체 상의/둘레의 오브젝트들의 일관적인 렌더링을 허용한다. 이러한 실시예의 구현을 위해, 머리 방향-벡터의 단일 레지스터 평균들이 시작될 수 있고, 델타-티(delta-t)에 의해 분할된 데이터의 러닝 합(running sum)이 현재 평균 머리 포지션을 제공할 것이다. 데이(n-5), 데이(n-4), 데이(n-3), 데이(n-2), 데이(n-1)에서 시작하여, 5개 정도의 레지스터들을 유지하는 것은, 단지 과거 "n" 데이(day)들의 롤링 평균들(rolling averages)의 사용을 허용한다.
[00144] 일 실시예에서, 장면이 스케일 다운되어 실제보다 더 작은 공간(smaller-than-actual space)에서 사용자에게 제공될 수 있다. 예를 들어, 거대한 공간(즉, 이를테면, 축구 경기장)에서 렌더링되어야 하는 장면이 존재하는 상황에서, 어떠한 동등한 거대한 공간도 존재하지 않을 수 있거나, 또는 이러한 큰 공간은 사용자에게 불편할 수 있다. 일 실시예에서, 시스템은 장면의 스케일을 감소시키도록 구성될 수 있어서, 사용자는 이를 축소된 크기(miniature)로 볼 수 있다. 예를 들어, '신의 시선(gods-eye-view)' 비디오 게임, 또는 월드 챔피언십 축구 게임을 가지고, 스케일링되지 않은 필드 ― 또는 스케일 다운되어 거실 마루 상에 제시됨 ― 에서 플레이(play out)할 수 있다. 시스템은 렌더링 관점, 스케일, 및 연관된 수용 거리를 단순히 시프트하도록 구성될 수 있다.
[00145] 시스템은 또한, 가상 또는 증강 현실 오브젝트들의 포커스를 조작함으로써, 이들을 하이라이팅하고, 콘트라스트, 밝기, 스케일을 변경하는 등등을 함으로써, 제시되는 장면 내의 특정 아이템들에 대한 사용자의 집중을 이끌도록 구성될 수 있다.
[00146] 바람직하게, 시스템은 다음의 모드들을 이루도록 구성될 수 있다:
[00147] 개방-공간-렌더링 모드에서, 시스템은, 구조화된 환경으로부터 키 포인트들을 그랩하고, 렌더링들과의 사이의 공간을 채우도록 구성된다. 이러한 모드는, 스테이지들, 출력 공간, 큰 실내 공간들 등과 같은 잠재적 장소들을 생성하기 위해 이용될 수 있다.
[00148] 오브젝트-랩핑 모드에서, 시스템은 실세계의 3D 오브젝트를 인식하고, 그 다음으로, 이를 증강시키도록 구성된다. 이러한 맥락에서, "인식"은, 3D 오브젝트에 대한 이미저리(imagery)를 앵커링하기에 충분히 높은 정밀도로 3D 오브젝트를 식별하는 것을 의미할 수 있다. 이러한 맥락에서, 인식은, 오브젝트의 타입(예를 들어, 사람의 얼굴)을 분류하는 것 및/또는 오브젝트의 특정 인스턴스(예를 들어, 죠(Joe), 사람)를 분류하는 것을 의미할 수 있음이 이해되어야 한다. 이러한 사고 원리들(principles in mind)을 이용하여, 인식기 소프트웨어는, 벽들, 천장들, 마루들, 얼굴들, 도로들, 하늘, 고층 건물들, 랜치 하우스들, 테이블들, 의자들, 차량들, 도로 표지판들, 빌보드들, 문들, 창문들, 책장들 등과 같은 다양한 것들을 인식하기 위해 이용될 수 있다. 일부 인식기 소프트웨어 프로그램들은 타입 I이고 일반적 기능성(예를 들어, "내 비디오를 저 벽 위에 두세요", "저것은 개 입니다" 등)을 가질 수 있는 한편, 다른 인식기 소프트웨어 프로그램들은 타입 II이고 특정 기능성("내 TV는 천장으로부터 내 거실 벽 3.2 피트 위에 있습니다", "저건은 파이도(Fido) 입니다" 등)을 가질 수 있다.
[00149] 몸체-중심 렌더링에서, 임의의 렌더링된 가상 오브젝트들은 사용자의 몸체에 고정된다. 예를 들어, 일부 오브젝트들은 사용자의 몸체 주변(예를 들어, 사용자의 벨트)에 플로팅될 수 있다. 이를 달성하는 것은 머리뿐만 아니라 몸체의 포지션을 아는 것을 필요로 한다. 그러나, 몸체의 포지션은 머리의 포지션에 의해 추정될 수 있다. 예를 들어, 머리들은 일반적으로 지면과 평행하게 포인트 포워딩된다. 또한, 몸체의 포지션은, 사용자의 머리 포지션들의 장기간 평균에 의해 포착된 데이터를 이용함으로써 시간에 따라 더 정확해질 수 있다.
[00150] 타입 II 인식 오브젝트들(특정 기능성)에 대해, 오브젝트들의 컷-어웨이들이 통상적으로 보여진다. 더욱이, 타입 II 인식 오브젝트들은 다양한 3D 모델들의 온라인 데이터베이스에 링크될 수 있다. 인식 프로세스를 시작할 때, 자동차 또는 공공시설들과 같은 흔히 이용가능한 3D 모델들을 갖는 오브젝트들로 시작하는 것이 이상적이다.
[00151] 시스템은 또한, 가상 존재에 대해 이용될 수 있는데, 즉, 사용자가 원거리의 사람의 아바타를 특정 개방 공간에 페인팅하는 것을 가능하게 한다. 이는, 앞서 논의된 "개방 공간 렌더링"의 서브세트로 고려될 수 있다. 사용자는 로컬 환경의 개략적 기하학적 구조를 생성하여, 기하학적 맵 및 텍스처 맵 양쪽 모두를 다른 사람들에게 반복적으로 전송할 수 있다. 그러나, 사용자는 다른 사람들의 환경에 진입하는 것에 대해 다른 사람들에게 허가를 받아야 한다. 미묘한 음성 큐들, 핸드 트랙킹, 및 머리 모션이 원거리 아바타에 전송될 수 있다. 앞서의 정보에 기초하여, 아바타가 애니메이팅될 수 있다. 가상 존재를 생성하는 것은 대역폭을 최소화하고, 그리고 절약적으로 이용될 수 있음이 이해되어야 한다.
[00152] 시스템은 또한, 다른 룸으로의 오브젝트 "포털"을 만들기 위해 구성될 수 있다. 다시 말해, 로컬 룸 내에 아바타를 보여주는 대신에, 인식된 오브젝트(예를 들어, 벽)가 다른 사용자의 환경들로의 포털로서 이용될 수 있다. 따라서, 다수의 사용자들은 자기 자신들의 룸들에 앉아서, 벽들을 "통해" 다른 사용자들의 환경들을 살펴볼 수 있다.
[00153] 시스템은 또한, 카메라들(사람들)의 그룹이 상이한 관점들로부터 장면을 뷰잉할 때, 영역의 조밀한 디지털 모델을 생성하기 위해 구성될 수 있다. 이러한 모델은, 영역이 적어도 하나의 카메라를 통해 뷰잉되는 동안 임의의 유리한 포인트로부터 렌더링가능할 수 있다. 예를 들어, 결혼식 장면이 다수의 사용자들의 유리한 포인트들을 통해 렌더링될 수 있다. 인식기들이 정적 오브젝트들을 움직이는 오브젝트들과 상이하게 구분하여 맵핑할 수 있음이 이해되어야 한다(예를 들어, 벽들은 안정적인 텍스처 맵들을 갖는 한편, 사람들은 더 높은 주파수의 움직이는 텍스처 맵들을 가짐).
[00154] 실시간으로 업데이트되는 풍부한 디지털 모델을 이용시, 장면들은 임의의 관점으로부터 렌더링될 수 있다. 결혼식 예로 되돌아가면, 뒤에 있는 참석자는 더 양호한 뷰를 위해 앞줄(front row)로 날아갈 수 있다. 또는, 멀리 있는 참석자는, 조직자(organizer)에 의해 허용되는 경우, 아바타를 이용하여 "자리"를 찾거나 또는 보이지 않을 수 있다. 참석자들은 자신들의 움직이는 아바타를 보여줄 수 있거나, 또는 아바타를 숨길 수 있다. 이러한 양상은 극도로 높은 대역폭을 필요로 할 가능성이 있음이 이해되어야 한다. 고주파 데이터는 고속 로컬 무선 연결 상의 크라우드(crowd)를 통해 스트리밍될 수 있는 한편, 저주파 데이터는 MLC 클라우드로부터 비롯될 수 있다. 앞서의 예에서, 결혼식의 모든 참석자들이 고정밀 포지션 정보를 갖기 때문에, 로컬 네트워킹에 대한 최적의 라우팅 경로를 만드는 것은 사소할 수 있다.
[00155] 시스템에 대한 또는 사용자들 사이의 통신을 위해, 단순한 사일런트 메시징이 종종 바람직하다. 예를 들어, 핑거 코딩 키보드(finger chording keyboard)가 이용될 수 있다. 선택적 실시예에서, 촉각 장갑 솔루션(tactile glove solution)들이 향상된 성능을 제공할 수 있다.
[00156] 완전 가상 현실 경험을 사용자들에게 제공하기 위해, 비전 시스템이 어두워지고, 사용자에게 실세계와 오버-레이되지 않은 뷰가 보여진다. 이러한 모드에서조차, 레지스트레이션 시스템은 여전히, 사용자의 머리 포지션을 추적할 필요가 있을 수 있다. 완전 가상 현실을 경험하기 위해 이용될 수 있는 여러 모드들이 존재할 수 있다. 예를 들어, "카우치(couch)" 모드에서, 사용자들은 나는 것이 가능할 수 있다. "걷기(walking)" 모드에서, 실세계의 오브젝트들은 가상 오브젝트들로서 재-렌더링될 수 있어서, 사용자는 실세계와 부딪치지 않는다.
[00157] 원칙적으로, 신체 부위들을 렌더링하는 것은 가상 세계를 통해 내비게이팅하는데 있어서 사용자의 불신을 중단시키기 위해 필수적이다. 이는, 사용자의 시야(FOV; field of vision)에서 신체 부위들을 추적하고 렌더링하기 위한 방법을 갖도록 요구한다. 예를 들어, 불투명 바이저(opaque visor)가 수많은 이미지-개선 가능성들을 갖는 가상 현실의 한 형태일 수 있다. 다른 예시에서, 넓은 시야는 사용자에게 후면 뷰(rear view)를 제공할 수 있다. 또 다른 예시에서, 시스템은, 텔레스코프 비전(telescope vision), 씨-쓰루 비전, 적외선 비전, 하나님의 비전(God's vision) 등과 같은 다양한 형태들의 "수퍼 비전"을 포함할 수 있다.
[00158] 일 실시예에서, 관련(pertinent) 소프트웨어 모듈들에 의해 수행되는 것과 같이, 음성 굴절 분석 및 안면 인식 분석과 같은 소스들로부터의 입력을 통해 웨어러블 디바이스 상에서 데이터에 적어도 부분적으로 기초하여 사용자들과 연관된 원격의 아바타들이 애니메이팅될 수 있도록, 가상의 및/또는 증강 사용자 실험을 위한 시스템이 구성된다. 예를 들어, 도 12를 다시 참조하면, 꿀벌(bee) 아바타(2)는, 사용자로부터 국부적으로 음성 샘플들을 캡쳐할 수 있는, 마이크로폰들로의 음성 입력들을 분석하도록 구성된 소프트웨어에 의해 결정되는 것으로서, 친절한 어조의 음성 또는 말(speaking)에 기초하여, 또는 사용자의 얼굴에서 미소의 안면 인식에 기초하여, 정겨운 미소를 갖도록 애니메이팅될 수 있다. 게다가, 아바타 캐릭터는, 이 아바타가 특정 감정을 표현할 가능성이 있는 방식으로 애니메이팅될 수 있다. 예를 들어, 아바타가 개(dog)인 실시예에서, 인간 사용자에게 로컬인 시스템에 의해 검출된 행복한 미소 또는 어조는 개 아바타의 흔드는 꼬리(wagging tail)로 표현될 수 있다.
[00159] 도 17 내지 도 22를 참조하면, 복잡한 게이밍 실시예의 다양한 양상들이, 상표명 "James Bond 007"(RTM) 하에서 추진된 캐릭터와 관련하여 제시된 스파이 테마들 중 일부로 주제별로 지향될 수 있는 스파이 유형 게임의 내용으로 예시된다. 도 17을 참조하면, 가족의 삽화(84)가 도시되는데, 여기서 가족 중 한 명의 멤버(85)는, 상표명 "PlayStation"(RTM)하에서 마케팅된 것들과 같은 전용 게이밍 시스템들 또는 개인용 컴퓨터들에 기초하는 것들과 같은 게이밍 컴퓨터 또는 콘솔(86)에 동작가능하게 커플링된 입력 디바이스(88), 예를 들어, 게이밍 조이스틱 또는 컨트롤러를 동작시킴으로써 게임에서 캐릭터를 조종한다. 게이밍 콘솔(86)은 파일럿/오퍼레이터(85) 및 근처에 있을 수 있는 다른 사람에게 사용자 인터페이스 뷰(92)를 보여주도록 구성된 디스플레이(92)에 동작가능하게 커플링된다. 도 18은 이러한 사용자 인터페이스 뷰(92)의 일 예시를 도시하며, 여기서 대상 게임은 영국의 런던 내에서의 다리에서 또는 다리 가까이에서 수행되고 있다. 이 특정 플레이어(85)에 대한 사용자 인터페이스 뷰(92)는 순수하게 가상 현실인데, 여기서 디스플레이된 사용자 인터페이스의 전체 엘리먼트들은 플레이어들(85)의 거실에 실질적으로 존재하지 않으며 - 이 엘리먼트들은 모니터 또는 디스플레이(도 17에서 엘리먼트(90))를 이용하여 디스플레이되는 가상 엘리먼트들이다. 도 18을 다시 참조하면, 도시된 가상 현실 뷰(92)는, 도 18의 사용자 인터페이스 뷰(92)에 나타낸 바와 같이 이 사시도로부터 대상 플레이어(85)에 의해 동작되는 게이밍 캐릭터(118 - 또한 이 설명적 예시에서는 "에이전트 009"로도 지칭됨)의 묘사와 함께, 다리(102) 및 다양한 빌딩들(98) 그리고 다른 아키텍쳐 피쳐들을 특징으로 하는 런던시의 뷰를 특징으로 한다. 또한, 통신 디스플레이(96), 나침반 표시자(94), 캐릭터 상태 표시자(114), 뉴스 툴 사용자 인터페이스(104), 소셜 네트워킹 툴 사용자 인터페이스(132), 및 메시징 사용자 인터페이스(112)가 플레이어(85)로부터 디스플레이된다. 추가로, 게임에서의 다른 캐릭터(122 - 또한, 이 설명적 예시에서는 "에이전트 006"으로도 지칭됨)도 나타난다. 사용자 인터페이스 뷰(92)에서 나타낸 바와 같이, 시스템은, 에이전트(006) 캐릭터 주위를 강조하는 시각적-제시와 함께, 에이전트 006이 접근하고 있다는 메시지와 같은, 제시된 장면과 관련되는 것으로 간주되는 정보를 메시징 인터페이스(112)를 통해 제시하도록 구성될 수 있다. 시스템은 언제나 오퍼레이터(85)인 그 또는 그녀가 활용하는 뷰의 사시도를 자신이 변경할 수 있도록 구성되는데; 예를 들어, 앞으로 그리고 아래로 보여지는 플레이어 소유의 캐릭터(118)를 통해 도 18에 나타낸 헬리콥터-형 사시도(92) 이외에, 플레이어는 이러한 캐릭터의 눈들의 관점으로부터의 뷰, 또는 계산되고 제시될 수 있는 수많은 다른 가능한 뷰들 중 하나를 선택하기로 결정할 수 있다.
[00160] 도 19를 참조하면, 다른 설명도(144)는, 헤드 탑재형 디스플레이 시스템(300) 및 관련 로컬 프로세싱 시스템(308)을 착용하고 있는 캐릭터 "에이전트 006"(140)으로 동작하는 실제 인간 플레이어를 나타내는데, 이는 실제 인간 플레이어가, 다른 사용자인 그녀의 집 거실에서 오퍼레이터(예를 들어, 도 17의 플레이어(85))에 의해 플레이되고 있는 동일한 게임에 참여하고, 그리고 그가 실제로 그의 혼합된(blended) 또는 증강된 현실 경험을 위해 실제 런던을 걸어다니는 동안의 일이다. 도시된 실시예에서, 플레이어(140)가 그의 증강 현실 헤드 탑재형 디스플레이(300)를 착용하고 다리를 걷는 동안, 그의 로컬 프로세싱 시스템(308)은 실제 현실과 자신의 견해가 겹쳐진(즉, 런던의 실제 스카이라인 및 구조물들(138)과 같은), 도시된 것처럼 다양한 가상 현실 엘리먼트들을 그의 디스플레이에 공급하고 있다. 그는, 일 실시예에서, 게이밍 시나리오에서의 인쇄물 및 사용을 위해 그에게 이전에 전자적으로 통신되었던 하나 또는 그 초과의 실제 도큐먼트들(142)을 손에 들고 다닌다. 도 20은 플레이어의 (140) 눈의 관점으로부터의 뷰(146)의 설명을 나타내는데, 이는 그의 헤드 탑재형 디스플레이(300)를 통한 증강 현실 뷰를 위해 다양한 가상 엘리먼트들이 제시되고 있으면서 실제 런던의 스카이라인(138)을 보기 위해 그의 실제 도큐먼트들(142)을 찾고 있다. 가상 엘리먼트들은, 예를 들어, 통신 디스플레이(126), 뉴스 디스플레이(128), 하나 또는 그 초과의 전자 통신들 또는 소셜 네트워킹 툴 디스플레이들(132), 하나 또는 그 초과의 플레이어 상태 표시자들(134), 메시징 인터페이스(136), 나침반 배향 표시자(124), 및 하나 또는 그 초과의 컨텐츠 디스플레이들(148), 예컨대, 플레이어(140)에 의해 운반되는 실제 도큐먼트들(142)에서 특징화된 텍스트 또는 사진들과 같은 다른 디스플레이된 또는 캡쳐된 정보에 따라 리트리브 및 제시될 수 있는 텍스트, 오디오, 또는 비디오 컨텐츠를 포함할 수 있다. 도 20에 나타낸 바와 같이, 오직 가상 현실에서만 존재하는 근처의 다른 캐릭터 "에이전트 009"는, 캐릭터 "에이전트 006"로서 동작하는 플레이어(140)의 증강 현실 뷰(146)로 제시되고, 그리고 용이한 식별을 위해 사용자 인터페이스에서 이와 같이 라벨링될 수 있다.
[00161] 도 21을 참조하면, 런던에서 실제로 존재하게 되는(138) 것으로 나타나고 그리고 "에이전트 006" 플레이어(140)를 향하여 동일한 다리를 건너고 있지만 증강 현실 헤드 탑재형 디스플레이(예를 들어, 도 19의 엘리먼트(300))를 갖지 않는, 다른 플레이어(150)의 플레이어의 눈 뷰(152)가 제시된다. 이 플레이어(150)는 헤드 탑재형 증강 현실 디스플레이를 가지고 있지 않을 수 있지만, 그는, 이 실시예에서, 더 큰 시스템과 무선으로 연결될 수 있고 그리고 다뤄지고 있는 게임의 증강 현실 세계로의 "윈도우"로서 활용되며, 그리고 경고 또는 캐릭터 정보와 같은 다른 증강 현실 디스플레이 정보(162)와 함께, 실제로 존재할 수 있는(158) 또는 가상일 수 있는(160) 한 명 또는 두 명의 다른 근처의 플레이어들에 관한 디바이스 증강 현실 정보의 제한된 사용자 인터페이스(156)에 존재하도록 구성된 모바일 통신 디바이스(154), 예컨대, 태블릿 또는 스마트폰을 가지고 다닌다.
[00162] 도 22를 참조하면, "새의 눈" 또는 유인(manned) 또는 무인(unmanned) 항공기(또는 "UAV") 시계(view)(164)가 표시된다. 일 실시예에서, 시계(164)는 다른 플레이어, 또는 상기 언급된 플레이어들 중 하나에 의해 작동되는 가상 UAV에 기초할 수 있다. 도시된 시계(164)는, 예를 들어, 집에서, 긴 의자에 앉아있는 플레이어에게 대형 컴퓨터 디스플레이(90) 또는 머리 장착 디스플레이(300)를 이용하여 전체 가상 모드로 표시될 수 있다; 대안적으로, 그러한 시계는, 우연히 비행기 또는 다른 비행체에 있는 플레이어에게 증강 현실 시계로서 표시될 수 있다(즉, 그러한 포지션의 사람에게는, 시계의 적어도 부분들이 실제 현실일 것이기 때문에, "증강" 또는 블렌디드). 예시된 시계(164)는, 시계에서 스폿팅된(spotted) 식별된 상대방에 관한 정보와 같은, 적절한 정보를 피쳐링하는 정보 대시보드(170)를 위한 인터페이스 지역을 포함한다. 도시된 시계(164)는 또한, 정보의 관심있는 사이트들(168), 다른 플레이어들 또는 캐릭터들의 위치들 및/또는 상태들(166), 및/또는 다른 정보 표시들(167)과 같은 가상 하이라이팅 정보를 피쳐링한다.
[00163] 도 23을 참조하면, 예시적인 목적들을 위해, 특정 실제 현실 엘리먼트들을, 예컨대: 방의 구조(174), 커피 테이블(180), DJ 테이블(178), 및 5명의 실제 사람들(176, 188, 182, 184, 186) ― 그들 중 각각은 머리 장착 증강 현실 인터페이스 하드웨어(300)를 입고 있어서, 그들은 그들 주위에 있는 사물들에 대한 그들 자신의 증강 현실 시계들, 예컨대, 가상 현실 만화 캐릭터(198), 가상 현실 스페인 댄서 캐릭터(196), 돌격대원 캐릭터(194), 및 실제 사람들 중 하나(188)를 위한, 구체의-토끼-귀가 달린 머리 탈(192)을 경험할 수 있음 ― 을 피쳐링하는 시계(172)를 갖는 다른 증강 현실 시나리오가 표시된다. 증강 현실 인터페이스 하드웨어가 없는 상태에서는, 방은 5명의 실제 사람들에게, 가구, DJ 테이블, 및 특이한 것 없는 방처럼 보일 것이고; 증강 현실 인터페이스 하드웨어가 있는 상태에서는, 가상으로 돌격대원으로 드러내도록 결정한 사람, 가상으로 스페인 댄서로 드러내도록 결정한 사람, 가상으로 만화 캐릭터로 드러내도록 결정한 사람, 및 실제로 입은 평범한 옷을 드러내도록 결정했지만, 그녀가, 그녀의 머리는 구체의-토끼-귀가 달린 머리 탈(192)로 가상화되는 것을 원하는 것으로 결정한 사람을, 연동된(engaged) 플레이어들 또는 참여자들이 경험할 수 있도록, 시스템이 구성된다. 시스템은 또한, 실제 DJ 테이블(178)과 연관된 특정 가상 피쳐들, 예컨대, DJ(176)의 증강 현실 인터페이스 하드웨어(300)를 통해 오직 DJ(176)에게만 보일 수 있는 가상 음악 문서 페이지들(190), 또는 주변에 있는 누구에게든지 그들의 증강 현실 인터페이스 하드웨어(300)를 사용하여 보일 수 있는 DJ 테이블 조명 피쳐들을 보여주도록 구성될 수 있다.
[00164] 도 24a 및 24b를 참조하면, 태블릿 컴퓨터 또는 스마트폰과 같은 모바일 통신 디바이스의 적응이, 대상 시스템을 사용하여 생성되는 경험 또는 대상 게임의 증강 현실 세계 속으로의 수정된 "윈도우"로서 증강 현실을 경험하는 데에 활용될 수 있다. 도 24a를 참조하면, 전형적인 스마트폰 또는 태블릿 컴퓨팅 시스템 모바일 디바이스(154)는 상대적으로 간단한 시각적 사용자 인터페이스(156)를 특징으로 하고, 전형적으로, 단일 카메라 또는 2개의 카메라를 갖는다. 도 24b를 참조하면, 모바일 컴퓨팅 디바이스는, 모바일 컴퓨팅 디바이스의 증강 현실 참여 능력들을 증가시키도록 구성된 강화 콘솔(218) 내에 제거 가능하게 그리고 동작 가능하게 커플링되었다. 예를 들어, 도시된 실시예는, 눈 추적을 위해 활용될 수 있는 2개의 플레이어-지향된 카메라들(202); 단일 고품질 오디오 및/또는 지향성 사운드 성형을 위해 활용될 수 있는 4개의 스피커들(200); 머신 비전, 레지스트레이션, 및/또는 로컬화를 위한 2개의 전방-지향된 카메라들(204); 부가된 배터리 또는 전력 공급 능력(212); 커플링된 시스템을 플레이어가 움겨쥐는 것에 의한 쉬운 활용을 위해 포지셔닝될 수 있는 하나 이상의 입력 인터페이스들(214, 216); 커플링된 시스템을 움켜쥐는 사용자에게 피드백을 제공하기 위한 햅틱 피드백 디바이스(222)(일 실시예에서, 햅틱 피드백 디바이스는, 지향성 피드백을 제공하기 위해 2개의 축들 ― 각각의 축에 대해 + 또는 - 방향들로 ― 의 피드백을 제공하도록 구성될 수 있음; 그러한 구성은, 예를 들어, 작동자가, 관심있는 특정 타겟에 시스템이 조준되도록 유지하는 것을 보조하는 것, 등을 위해 활용될 수 있음); 하나 이상의 GPS 또는 로컬화 센서들(206); 및/또는 하나 이상의 가속도계들, 관성 측정 유닛들, 및/또는 자이로들(gyros)(208)을 특징으로 한다.
[00165] 도 25를 참조하면, 일 실시예에서, 도 24b에 도시된 바와 같은 시스템이, GPS 센서 및/또는 무선 삼각측량을 사용하여 X 및 Y(지구 좌표계의 위도 및 경도와 유사함) 직교 방향들(Cartesian directions)로 참가자를 개략-로컬화하는 데에 활용될 수 있다(232). 콤파스 및/또는 무선 지향 기술들을 사용하여 개략적인 지향이 달성될 수 있다(234). 개략적인 로컬화 및 지향이 결정된 상태로, 로컬 특징 맵핑 정보를 로컬 디바이스(즉, 인터커플링된 모바일 통신 시스템(154) 및 강화 콘솔(218)과 같은)에 로딩하도록(즉, 무선 통신을 통해) 분산 시스템이 구성될 수 있다. 그러한 정보는, 예를 들어, 스카이라인 지오메트리, 아키텍쳐럴 지오메트리, 수로/평면 엘리먼트 지오메트리, 및 랜드스케이프 지오메트리, 등과 같은 지오메트릭 정보를 포함할 수 있다(236). 로컬 및 분산 시스템들은, 양호한 로컬화 및 지향 특성들(이를테면, X, Y, 및 Z{고도와 유사} 좌표계 및 3-D 지향)을 결정하기 위해, 개략적인 로컬화, 개략적인 지향, 및 로컬 특징 맵 정보의 조합을 활용할 수 있고(238), 이는, 사용자 경험 및 동작을 강화하기 위해, 분산 시스템으로 하여금, 양호한 피치 로컬 특징 맵핑 정보를 로컬 시스템(즉, 인터커플링된 모바일 통신 시스템(154) 및 강화 콘솔(218)과 같은)에 로딩하게 하는 데에 활용될 수 있다. 상이한 지향들 및 로케이션들로의 이동들은 개략적인 로컬화 및 지향 툴들뿐만 아니라 로컬적으로 배치되는 디바이스들, 이를테면 관성 측정 유닛들, 자이로들 및 가속도계들(이들은 참가자에 의해 휴대될 수 있는 태블릿들 또는 모바일 폰들과 같은 모바일 컴퓨팅 시스템들에 커플링될 수 있음)을 활용하여 추적될 수 있다(242).
[00166] 상기 언급된 다양한 실시예들에서의 머리 장착 디스플레이 구성요소는 단안 또는 양안 디스플레이 기술, 투명 비디오 구성들을 포함할 수 있다. 또한, 그러한 구성요소는, 복셀당 및/또는 프레임당 제공되는 사용자의 망막 및 초점 깊이 정보에 따라 이미지가 투사되는 레이저 투사 시스템들을 포함하는, 단안 또는 양안 형태의 웨어러블 또는 머리-장착 광 필드 디스플레이 시스템들을 포함할 수 있다. 깊이 평면들의 수는 바람직하게 2 내지 무한의 범위이거나 또는 매우 큰 수이다; 일 실시예에서는, 3-D 효과를 위해 4 내지 36의 깊이 평면들이 표시될 수 있다.
[00167] 도 23에서 피쳐링된 DJ 테이블(178)과 같은 실제 오브젝트들은 가상 현실 표면들, 형상들, 및 또는 기능성으로 확장될 수 있다. 예를 들어, 일 실시예에서, 그러한 디바이스 상의 실제 버튼은, 실제 디바이스 및/또는 다른 디바이스들, 사람들, 또는 오브젝트들과 상호작용하도록 구성된 가상 패널을 개방하도록 구성될 수 있다.
[00168] 도 23에 도시된 파티 룸(174)과 같은 방은 임의의 방 또는 공간인 것으로 추정될 수도 있다. 시스템은, 어디든지, 방의 다른 연관된 구조들 및 연관된 것들에 관한 기존의 2개 또는 3개의 치수 데이터와 같은) 몇몇 알려진 데이터로부터 가질 수도 있고 ― 또는 거의 제로 데이터(zero data)를 가질 수도 있으며, 도 24b의 제어기 콘솔(218) 상에 탑재된 것들(204)과 같은 카메라들을 이용하는 머신 비전 구성들이 부가적인 데이터를 캡쳐하는데 이용될 수 있으며; 추가로, 시스템은, 사용가능한 2개 또는 3개의 치수 맵 정보를 사람들의 그룹들이 크라우드 소싱(crowd source)할 수도 있도록 구성될 수도 있다.
[00169] 런던 시의 3-차원 맵 데이터와 같은 기존의 맵 정보가 이용가능한 구성에서, 머리 장착형 디스플레이 또는 "감각 웨어(sensory ware)" 구성(300)을 착용하는 사용자는, GPS, 컴퍼스, 및/또는 (부가적인 고정형 추적 카메라들, 다른 플레이어들에 커플링된 디바이스들 등과 같은) 다른 수단을 사용하여 대략 로케이팅될 수도 있다. 정밀한 등록은, 사용자들의 센서들로부터, 그 다음에, 그러한 등록에 대한 기점들로서, 물리적 위치의 알려진 지오메트리를 사용하여 달성될 수도 있다. 예를 들어, 거리 X로 관측되는 런던-특정 빌딩에서, 컴퍼스 및 맵 M으로부터 방향 C에서 그리고 GPS 정보로부터 Y 피트 내의 사용자를 시스템이 로케이팅한 경우, 시스템은, 몇몇 에러 E 내에서 사용자의 3-차원 위치를 "락 인(lock in)"하기 위한 (로봇 또는 컴퓨터-보조 수술에서 이용되는 기술들과 다소 유사한) 등록 알고리즘들을 구현하도록 구성될 수도 있다.
[00170] 고정형 카메라들이 또한 머리 장착형 또는 감각 웨어 시스템들과 함께 이용될 수도 있다. 예를 들어, 도 23에 도시된 것과 같은 파티 룸에서, 방(174)의 특정한 애스펙트들에 장착된 고정형 카메라들은, 방 안의 가상의 사람 및 물리적 사람 둘 모두와의 그들의 소셜 상호작용들이 훨씬 풍부해지도록, 방 및 움직이는 사람들의 진행 중인 라이브 뷰들을 제공하도록 구성될 수도 있으며, 원격 참가자들에게 전체 방의 "라이브" 디지털 원격 참석 뷰를 제공한다. 그러한 실시예들에서, 수 개의 방들은 서로 맵핑될 수도 있는데, 물리적 방 및 가상의 방 지오메트리들이 서로 맵핑될 수도 있고, 물리적 및 가상의 "메타(meta)" 방들에 걸쳐 돌아다니는 오브젝트들을 이용하여, 물리적 방과 동일하게, 또는 보다 더 작게, 또는 보다 더 크게 맵핑하는 부가적인 확장들 및 비주얼들이 생성될 수도 있고, 그 후, 시각적으로 커스터마이징된 또는 "스키닝된(skinned)" 버전들의 방이 각각의 사용자 또는 참가자에게 이용가능해질 수도 있는데, 즉, 그들이 정확히 동일한 물리적 또는 가상의 방에 있을 수도 있으면서, 시스템은 사용자들에 의한 커스텀 뷰들을 허용하는데(예를 들어, 도 23의 가상의 스톰트루퍼(stormtrooper)(194)가 파티에 있을 수 있지만, "Death Star" 모티프(motif) 또는 스킨으로 맵핑된 환경을 가지면서 DJ(176)는 파티 환경에 대해 도 23에 도시된 것과 같이 스키닝된 방을 가질 수도 있음), 즉, 그에 따른 "공유된 영화 현실"의 개념을 허용하며, 여기서, 각각의 사용자는, 전부 동시에, 일치된 뷰의 방의 몇몇 양상들을 가질 뿐만 아니라, 또한, 그들의 개인적 취향에 따라 특정한 변수들(색상, 형상 등)을 변경할 수 있다.
[00172] 본 발명의 다양한 예시적인 실시예들이 본 명세서에서 설명된다. 이들 예들에 대한 참조는 비-제한적인 의미로 이루어진다. 이들은 본 발명의 더욱 광범위하게 적용가능한 양상들을 예시하기 위해 제공된다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수도 있고, 동등물들이 대체될 수도 있다. 부가하여, 특정 상황, 재료, 물질의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상, 또는 범위에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 추가로, 당업자들에 의해 인식될 바와 같이, 본 발명들의 범위 또는 사상으로부터 벗어남이 없이, 본 명세서에서 설명 및 예시된 개별적인 변형들 각각은, 다른 여러 실시예들 중 임의의 실시예의 피쳐들과 용이하게 분리 또는 결합될 수 있는 개별 컴포넌트들 및 피쳐들을 갖는다. 모든 이러한 수정들은, 본 개시와 연관된 청구항들의 범위 내에 있도록 의도된다.
[00172] 본 발명은 대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적합한 디바이스를 제공하는 동작을 포함할 수도 있다. 이러한 제공은 최종 사용자에 의해 수행될 수도 있다. 다시 말해, 대상 방법에서 필수 디바이스를 제공하기 위해, "제공하는" 동작은 단지, 최종 사용자가 획득, 액세스, 접근, 위치지정, 셋-업, 활성화, 파워-업하거나 또는 다른 방식으로 동작할 것을 요구한다. 본 명세서에서 열거된 방법들은, 열거된 순서의 이벤트들에서뿐만 아니라, 논리적으로 가능한 임의의 순서의 열거된 이벤트들에서 수행될 수 있다.
[00173] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적인 양상들이 위에서 전개되었다. 본 발명의 다른 세부사항들에 대해서와 같이, 이들은 당업자들에 의해 이해되거나 또는 일반적으로 알려져 있을 뿐만 아니라, 위에서-인용된 특허들 및 공보들과 관련하여 인식될 수도 있다. 동일한 내용이, 공통으로 또는 논리적으로 사용되는 바와 같은 부가적인 동작들의 관점에서 본 발명의 방법-기반 양상들에 대해 유효할 수도 있다.
[00174] 부가하여, 본 발명이 다양한 피쳐들을 선택적으로 포함하는 여러 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 대하여 고려된 바와 같이 설명되거나 또는 표시된 것으로 제한되지 않을 것이다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수 있고, 동등물들(본 명세서에서 열거되든 또는 어떤 간결성을 위해 포함되지 않든)이 대체될 수 있다. 부가하여, 값들의 범위가 제공되는 경우, 그러한 범위 및 임의의 다른 명시된 또는 그러한 명시된 범위의 중간 값의 상한치와 하한치 사이의 모든 각각의 중간 값이 본 발명 내에 포함된다는 것이 이해된다.
[00175] 또한, 설명된 본 발명의 변형들의 임의의 선택적 피쳐가 본 명세서에서 설명된 피쳐들 중 임의의 하나 또는 둘 이상과 독립적으로 또는 결합하여 전개 및 청구될 수 있다는 것이 고려된다. 단일 아이템에 대한 참조는 복수의 동일한 아이템들이 존재할 가능성을 포함한다. 더욱 구체적으로, 본 명세서에서 그리고 그에 연관된 청구항들에서 사용된 바와 같이, 단수 표현들("하나의","상기", 및 "그")은 구체적으로 달리 명시되지 않는 한, 복수의 지시 대상들을 포함한다. 다시 말해, 관사들의 사용은 상기 설명뿐만 아니라 이러한 개시와 연관된 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 이러한 청구항들이 임의의 선택적 엘리먼트를 배제하도록 드래프트될 수 있음이 추가로 유의된다. 그러므로, 이러한 서술은, 청구항 엘리먼트들의 열거 또는 "네거티브" 제한의 사용과 관련하여 "오로지", "단지" 등으로서 이러한 배타적 용어의 사용을 위해 선행하는 기초로서 기능하도록 의도된다.
[00176] 이러한 배타적 용어의 사용 없이, 이러한 기재와 연관된 청구항들에서 용어 "포함하는"은 임의의 부가의 엘리먼트의 포함 ― 주어진 수의 엘리먼트들이 이러한 청구항들에 열거되는지와 무관하게 ― 을 허용하거나, 또는 피쳐의 부가는 이러한 청구항들에서 전개되는 엘리먼트의 특성을 전환하는 것으로서 간주될 수 있다. 본 명세서에서 구체적으로 규정되는 바를 제외하고, 본 명세서에 사용된 모든 기술적 및 과학적 용어들은, 청구항 타당성을 유지하면서, 가능한 한 넓은, 공통으로 이해되는 의미로서 주어질 것이다.
[00177] 본 발명의 폭넓음은 제공된 예들 및/또는 대상 명세서로 제한되는 것이 아니라, 오히려 이러한 개시와 연관된 청구항 언어의 범위에 의해서만 제한된다.

Claims (88)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 방법으로서,
    제1 머리-장착 디스플레이 디바이스를 이용하여 제1 사용자의 눈들의 움직임을 추적하는 단계;
    상기 추적된 눈 움직임들에 기초하여 상기 제1 사용자의 눈들의 초점 깊이를 추정하는 단계;
    디스플레이 오브젝트가 초점이 맞게 나타나도록, 상기 디스플레이 오브젝트와 연관된 광 빔을 추정된 초점 깊이에 기초하여 수정하는 단계;
    상기 제1 머리-장착 디스플레이 디바이스의 디스플레이 렌즈를 향해 상기 광 빔을 프로젝팅하는 단계;
    상기 디스플레이 렌즈를 이용하여 상기 제1 사용자의 눈으로 상기 광 빔을 지향시키는 단계;
    상기 제1 머리-장착 디스플레이 디바이스의 증강 현실 모드의 선택에 적어도 기초하여 상기 제1 사용자의 로컬 환경으로부터의 광의 투과를 선택적으로 허용하는 단계;
    상기 제1 사용자의 로컬 환경에서 상기 제1 머리-장착 디스플레이 디바이스로 시계(field of view) 이미지를 캡처하는 단계;
    상기 시계 이미지를 이용하여 렌더링된 물리적 오브젝트를 생성하는 단계 ― 상기 렌더링된 물리적 오브젝트는 상기 제1 사용자의 로컬 환경에 존재하는 물리적 오브젝트에 대응하고, 상기 렌더링된 물리적 오브젝트는 상기 물리적 오브젝트가 상기 로컬 환경에 나타나는 것처럼 상기 물리적 오브젝트를 표현함 ―; 및
    상기 렌더링된 물리적 오브젝트 및 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를, 제2 위치에 있는 제2 사용자와 연관된 제2 머리-장착 디스플레이 디바이스로 전송하는 단계
    를 포함하고,
    상기 제2 머리-장착 디스플레이 디바이스는, 상기 가상 세계 데이터에 적어도 부분적으로 기초하여, 상기 제2 위치에서 상기 디스플레이 오브젝트 및 상기 렌더링된 물리적 오브젝트를 프로젝팅하고,
    상기 제1 사용자 및 상기 제2 사용자는 공유된 가상 현실과 상호작용하고,
    상기 제1 사용자의 상기 제1 머리-장착 디스플레이 디바이스는 증강 현실 모드에서 동작하며, 상기 제2 사용자의 제2 머리-장착 디스플레이 디바이스는 가상 현실 모드에서 동작하고,
    상기 제2 머리-장착 디스플레이 디바이스는, 상기 물리적 오브젝트가 상기 제1 사용자의 로컬 환경에 나타나는 것처럼, 상기 렌더링된 물리적 오브젝트를 상기 물리적 오브젝트로서 디스플레이하는,
    방법.
  22. 제 21항에 있어서,
    상기 시계 이미지는 상기 제1 사용자의 눈 각각에 대한 시계에 대응하는, 방법.
  23. 제 21항에 있어서,
    상기 제1 사용자의 로컬 환경으로부터의 광의 투과를 선택적으로 허용하는 단계는, 상기 로컬 환경으로부터의 광의 투과를 선택적으로 허용하기 위해 머리-장착 디스플레이 디바이스의 렌즈를 덮개(cover)로 막는 단계를 더 포함하는, 방법.
  24. 제 23항에 있어서,
    상기 제1 사용자의 눈들의 시계 이미지에 기초하여 상기 제1 사용자의 머리 포즈를 추정하는 단계를 더 포함하는, 방법.
  25. 제 23항에 있어서,
    상기 캡처된 시계 이미지의 제2 물리적 오브젝트를 물리적으로 렌더링된 가상 오브젝트로 변환하는 단계; 및
    상기 물리적으로 렌더링된 가상 오브젝트를 상기 제1 사용자에게 디스플레이하는 단계를 더 포함하는, 방법.
  26. 제 23항에 있어서,
    상기 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계; 및
    상기 추출된 포인트들의 세트에 기초하여 상기 캡처된 시계 이미지에서 제2 물리적 오브젝트에 대한 기점(fiducial)을 생성하는 단계를 더 포함하는, 방법.
  27. 제 26항에 있어서,
    상기 추출된 포인트들의 세트 및 상기 기점 중 적어도 하나를 클라우드 컴퓨터에 전송하는 단계; 및
    상기 추출된 포인트들의 세트 및 상기 기점 중 적어도 하나를 오브젝트의 타입에 태깅(tagging)하는 단계를 더 포함하는, 방법.
  28. 제 27항에 있어서,
    상기 오브젝트의 타입과 연관된 태킹된 포인트들의 세트 및 상기 오브젝트의 타입과 연관된 기점 중 적어도 하나에 기초하여, 상이한 물리적 오브젝트를 상기 오브젝트의 타입에 속하는 것으로 인지하는 단계를 더 포함하는, 방법.
  29. 제 21항에 있어서,
    상기 프로젝팅되는 광은 0.7mm 미만의 직경을 갖는 광 빔인, 방법.
  30. 제 21항에 있어서,
    적어도 하나의 센서에 의해, 상기 제1 사용자의 움직임, 상기 제1 사용자의 위치, 상기 제1 사용자의 방향 및 상기 제1 사용자의 지향 중 적어도 하나를 감지하는 단계; 및
    상기 적어도 하나의 감지된 움직임, 감지된 위치, 감지된 방향 및 감지된 지향에 기초하여 상기 제1 사용자의 포즈를 계산하는 단계를 더 포함하는, 방법.
  31. 제 30항에 있어서,
    상기 적어도 하나의 센서는 가속도계, 콤파스 및 자이로스코프 중 적어도 하나인, 방법.
  32. 제 21항에 있어서,
    컴퓨터 네트워크로 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터를 프로세싱하는 단계; 및
    제2 위치에 위치하는 제2 사용자가 상기 제2 위치에서의 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 경험할 수 있도록, 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 상기 제2 사용자에게 전송하는 단계를 더 포함하는, 방법.
  33. 제 32항에 있어서,
    제2 물리적 오브젝트를 감지하는 단계; 및
    상기 감지된 제2 물리적 오브젝트와의 미리 결정된 관계에 기초하여, 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 수정하는 단계를 더 포함하는, 방법.
  34. 제 33항에 있어서,
    상기 제 2 사용자에게 상기 수정된 가상 세계 데이터를 제시하는 단계를 더 포함하는, 방법.
  35. 제 21항에 있어서,
    상기 디스플레이 오브젝트가 아닌 다른 오브젝트는 흐릿하게 나타나도록, 상기 다른 오브젝트와 연관된 다른 광을 수정하는 단계를 더 포함하는, 방법.
  36. 제 21항에 있어서,
    사용자 인터페이스를 통해 사용자 입력을 수신하는 단계; 및
    상기 수신된 사용자 입력에 기초하여 상기 디스플레이 오브젝트를 수정하는 단계를 더 포함하는, 방법.
  37. 제 36항에 있어서,
    상기 사용자 인터페이스는 촉각 인터페이스 디바이스, 키보드, 마우스, 조이스틱, 모션 캡처 제어기, 광학 추적 디바이스 및 오디오 입력 디바이스 중 적어도 하나인, 방법.
  38. 제 21항에 있어서,
    상기 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나인, 방법.
  39. 방법으로서,
    머리-장착 사용자 디스플레이 디바이스의 적어도 하나 이상의 외향 카메라를 이용하여 제1 위치에서 물리적 오브젝트를 감지하고, 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 인지하는 단계 ― 상기 물리적 오브젝트를 감지하고 감지된 물리적 오브젝트의 타입을 인지하는 단계는,
    하나 이상의 시계 이미지를 캡쳐하고,
    상기 하나 이상의 시계 이미지로부터 포인트들의 하나 이상의 세트를 추출하고,
    상기 포인트들의 하나 이상의 세트의 적어도 일부에 기초하여 상기 하나 이상의 시계 이미지의 적어도 하나의 물리적 오브젝트에 대한 하나 이상의 기점을 추출하고, 그리고
    상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 식별하기 위해 상기 적어도 하나의 물리적 오브젝트에 대한 상기 하나 이상의 기점의 적어도 일부를 프로세싱함으로써 이루어지며, 상기 하나 이상의 기점의 적어도 일부를 프로세싱하는 것은 상기 하나 이상의 기점들을 이전에 저장된 기점들의 세트들와 비교하는 것을 포함함 ―;
    상기 적어도 하나 이상의 외향 카메라를 이용하여 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 인지하고 그리고 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 인지된 상기 감지된 물리적 오브젝트의 타입과 가상 오브젝트간의 미리결정된 관계를 식별한 결과로, 상기 물리적 오브젝트의 타입에 기초하여 상기 가상 오브젝트를 상기 감지된 물리적 오브젝트와 연관시키는 단계;
    가상 세계를 표현하는 가상 세계 데이터를 수신하는 단계 ― 상기 가상 세계 데이터는, 상기 제1 위치에서의 제1 사용자에 의한 상기 가상 세계의 상기 가상 오브젝트의 조작에 대응하는 데이터를 적어도 포함함 ―;
    상기 제1 위치에서의 상기 제1 사용자에 의한 상기 가상 오브젝트의 조작에 대응하는 상기 가상 세계 데이터를 머리-장착 사용자 디스플레이 디바이스로 적어도 전송하는 단계 ― 상기 머리-장착 사용자 디스플레이 디바이스는, 상기 제1 사용자의 눈들의 추정된 초점 깊이에 적어도 기초하여, 적어도 상기 가상 오브젝트를 포함하는 상기 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 이미지를 상기 제1 사용자에게 렌더링함 ―;
    상기 제1 위치에서의 상기 제1 사용자에 의한 상기 가상 오브젝트의 조작으로부터 기인하는 추가적인 가상 세계 데이터를 생성하는 단계; 및
    상기 제1 위치와 상이한 제2 위치에 있는 제2 사용자가 상기 제2 위치로부터 상기 추가적인 가상 세계 데이터를 경험할 수 있도록, 상기 제2 사용자로의 제시를 위해 상기 추가적인 가상 세계 데이터를 상기 제2 사용자에게 전송하는 단계
    를 포함하는, 방법.
  40. 제 39항에 있어서,
    상기 머리-장착 사용자 디스플레이 디바이스는, 제1 시각화 모드에서 상기 디스플레이 이미지를 상기 제1 사용자에게 디스플레이하고,
    상기 추가적인 가상 세계 데이터는 제2 시각화 모드에서 상기 제2 사용자에게 제시되는, 방법.
  41. 제 39항에 있어서,
    상기 추가적인 가상 세계 데이터는 상기 머리-장착 사용자 디스플레이 디바이스를 통해 캡처되는 시계 이미지와 연관되는, 방법.
  42. 제 39항에 있어서,
    상기 추가적인 가상 세계 데이터는, 상기 제1 사용자의 감지된 움직임, 상기 제1 사용자의 감지된 위치, 상기 제1 사용자의 감지된 방향 및 상기 제1 사용자의 감지된 지향 중 적어도 하나와 연관되는, 방법.
  43. 제 40항에 있어서,
    상기 제1 시각화 모드는 상기 제2 시각화 모드와 상이한, 방법.
  44. 제 40항에 있어서,
    상기 제1 시각화 모드 및 상기 제2 시각화 모드 중 적어도 하나는, 증강 현실 모드, 가상 현실 모드, 블렌디드(blended) 현실 모드, 및 상기 가상 현실 모드와 상기 증강 현실 모드의 결합 중 적어도 하나인, 방법.
  45. 제 39항에 있어서,
    선택된 인터페이스를 식별하기 위해, 사용자 입력에 기초하여, 상기 디스플레이 이미지를 상기 제1 사용자에게 디스플레이하기 위한 인터페이스를 선택하는 단계; 및
    상기 선택된 인터페이스를 이용하여 상기 디스플레이 이미지를 렌더링하는 단계를 더 포함하는, 방법.
  46. 제 45항에 있어서,
    상기 선택된 인터페이스는 가상 현실 모드, 증강 현실 모드, 블렌디드 현실 모드, 및 상기 가상 현실과 증강 현실 모드들의 결합 중 하나인, 방법.
  47. 제 39항에 있어서,
    상기 가상 세계는 2차원 포맷으로 제시되는, 방법.
  48. 제 39항에 있어서,
    상기 가상 세계는 3차원 포맷으로 제시되는, 방법.
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
KR1020157028273A 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법 Active KR102270699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217019351A KR102387314B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361776771P 2013-03-11 2013-03-11
US61/776,771 2013-03-11
PCT/US2014/023739 WO2014164901A1 (en) 2013-03-11 2014-03-11 System and method for augmented and virtual reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019351A Division KR102387314B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150126938A KR20150126938A (ko) 2015-11-13
KR102270699B1 true KR102270699B1 (ko) 2021-06-28

Family

ID=51659005

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020217019351A Active KR102387314B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020237043300A Pending KR20230173231A (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020157028273A Active KR102270699B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020227011920A Active KR102516124B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020237010309A Ceased KR20230044041A (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217019351A Active KR102387314B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020237043300A Pending KR20230173231A (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020227011920A Active KR102516124B1 (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법
KR1020237010309A Ceased KR20230044041A (ko) 2013-03-11 2014-03-11 증강 및 가상 현실을 위한 시스템 및 방법

Country Status (9)

Country Link
US (12) US10629003B2 (ko)
EP (2) EP2967322A4 (ko)
JP (7) JP6499154B2 (ko)
KR (5) KR102387314B1 (ko)
CN (1) CN105188516B (ko)
AU (6) AU2014248874B2 (ko)
CA (2) CA2905427C (ko)
IL (7) IL298018B2 (ko)
WO (1) WO2014164901A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12236023B2 (en) 2022-08-05 2025-02-25 Samsung Electronics Co., Ltd. Electronic apparatus for identifying a control signal based on motion information and control method thereof

Families Citing this family (866)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9892546B2 (en) * 2010-06-30 2018-02-13 Primal Space Systems, Inc. Pursuit path camera model method and system
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US20140204455A1 (en) 2011-08-24 2014-07-24 Milan Momcilo Popovich Wearable data display
EP2783340A4 (en) 2011-11-21 2015-03-25 Nant Holdings Ip Llc SUBSCRIPTION ACCOUNTING SERVICE AND SYSTEMS AND METHOD THEREFOR
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
JP6238965B2 (ja) 2012-04-25 2017-11-29 ロックウェル・コリンズ・インコーポレーテッド ホログラフィック広角ディスプレイ
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
CN105027190B (zh) 2013-01-03 2019-06-21 美达视野股份有限公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
CN108628446B (zh) 2013-03-15 2021-10-26 奇跃公司 显示系统和方法
US12356206B2 (en) 2013-03-15 2025-07-08 Digital Global Systems, Inc. Systems and methods for automated financial settlements for dynamic spectrum sharing
US10231206B2 (en) 2013-03-15 2019-03-12 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices
US11646918B2 (en) 2013-03-15 2023-05-09 Digital Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US9288683B2 (en) 2013-03-15 2016-03-15 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10257728B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10219163B2 (en) 2013-03-15 2019-02-26 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10237770B2 (en) 2013-03-15 2019-03-19 DGS Global Systems, Inc. Systems, methods, and devices having databases and automated reports for electronic spectrum management
US10299149B2 (en) 2013-03-15 2019-05-21 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US12256233B2 (en) 2013-03-15 2025-03-18 Digital Global Systems, Inc. Systems and methods for automated financial settlements for dynamic spectrum sharing
US10257729B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices having databases for electronic spectrum management
US10257727B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems methods, and devices having databases and automated reports for electronic spectrum management
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9977256B2 (en) * 2013-05-30 2018-05-22 Johnson & Johnson Vision Care, Inc. Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20160048019A1 (en) * 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9830679B2 (en) * 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US10725298B2 (en) * 2014-03-26 2020-07-28 Mark D. Wieczorek, P.C. Virtual reality devices and accessories
US11137601B2 (en) 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
US12189123B2 (en) 2014-03-26 2025-01-07 Mark D. Wieczorek System and method for haptic interactive experiences
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9895057B2 (en) * 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9934613B2 (en) * 2014-04-29 2018-04-03 The Florida International University Board Of Trustees Systems for controlling a movable object
US20160027414A1 (en) * 2014-07-22 2016-01-28 Osterhout Group, Inc. External user interface for head worn computing
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3138080B1 (en) * 2014-06-03 2021-08-11 Apple Inc. Method and system for presenting a digital information related to a real object
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150362733A1 (en) * 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
WO2016054092A1 (en) 2014-09-29 2016-04-07 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10256859B2 (en) 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
EP3216023A4 (en) 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
GB2532465B (en) * 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US10498976B2 (en) * 2014-12-05 2019-12-03 Microsoft Technology Licensing, Llc Virtual focus feedback
CN104597971B (zh) * 2014-12-06 2018-04-03 许昌学院 一种可穿戴式计算机
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9633622B2 (en) * 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
USD767509S1 (en) * 2015-01-20 2016-09-27 My Core Control Development, Llc Controller device for heating kit
EP3248026B1 (en) 2015-01-20 2019-09-04 DigiLens Inc. Holographic waveguide lidar
US10726625B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
JP6828235B2 (ja) * 2015-12-07 2021-02-10 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
CN104615252B (zh) * 2015-02-16 2019-02-05 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
JP6565212B2 (ja) * 2015-02-24 2019-08-28 セイコーエプソン株式会社 表示装置、表示方法およびプログラム
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
IL296028B2 (en) 2015-03-05 2024-12-01 Magic Leap Inc Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
NZ773817A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US11628038B2 (en) 2020-02-21 2023-04-18 Raytrx, Llc Multi-option all-digital 3D surgery visualization system and control
US12235445B2 (en) 2015-03-17 2025-02-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
US11956414B2 (en) 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US12137974B1 (en) 2015-03-17 2024-11-12 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US12237074B2 (en) 2015-03-17 2025-02-25 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US11016302B2 (en) 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
US10142609B2 (en) * 2015-04-29 2018-11-27 Northrop Grumman Systems Corporation Dynamically adjustable situational awareness interface for control of unmanned vehicles
WO2016183401A1 (en) * 2015-05-13 2016-11-17 Capital Preferences, Ltd. Human capital management system and method
US20170132706A1 (en) * 2015-05-13 2017-05-11 Capital Preferences, Ltd. Preference Based Financial Tool System and Method
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
IL295437B2 (en) 2015-05-19 2024-11-01 Magic Leap Inc Dual composite light field device
EP3298444B1 (en) * 2015-05-19 2020-06-03 Magic Leap, Inc. Illuminator
KR102336879B1 (ko) 2015-05-20 2021-12-08 삼성전자주식회사 화면을 표시하는 전자 장치, 그 제어 방법
US9836117B2 (en) * 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10721280B1 (en) * 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US10802577B2 (en) 2015-06-04 2020-10-13 Microsoft Technology Licensing, Llc Establishing voice communication channel
USD772821S1 (en) * 2015-06-11 2016-11-29 Oculus Vr, Llc Remote control unit
NZ738362A (en) 2015-06-15 2019-08-30 Magic Leap Inc Display system with optical elements for in-coupling multiplexed light streams
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10685488B1 (en) 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
CA2991642C (en) 2015-07-20 2022-05-31 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
NZ739860A (en) 2015-08-18 2019-10-25 Magic Leap Inc Virtual and augmented reality systems and methods
JP2018523878A (ja) 2015-08-21 2018-08-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼瞼形状推定
CA2996039A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
KR102389807B1 (ko) 2015-09-16 2022-04-21 매직 립, 인코포레이티드 오디오 파일들의 헤드 포즈 혼합
CN107925789A (zh) * 2015-09-18 2018-04-17 夏普株式会社 接收装置、接收方法、程序
KR102413074B1 (ko) * 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
KR20250069983A (ko) 2015-09-23 2025-05-20 매직 립, 인코포레이티드 오프-축 영상기를 이용한 눈 영상화
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
CN113759555B (zh) 2015-10-05 2024-09-20 迪吉伦斯公司 波导显示器
KR20180066166A (ko) 2015-10-05 2018-06-18 매직 립, 인코포레이티드 가상/증강 현실 시스템에서 광섬유를 스캐닝하기 위한 마이크로렌즈 시준기
AU2016336030B2 (en) * 2015-10-06 2021-03-04 Blinxel Pty Ltd Volumetric depth video recording and playback
EP4246215A3 (en) 2015-10-06 2023-12-27 Magic Leap, Inc. Virtual/augmented reality system having reverse angle diffraction grating
US9875575B2 (en) * 2015-10-07 2018-01-23 Google Llc Smoothing 3D models of objects to mitigate artifacts
US10511895B2 (en) 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
KR101763636B1 (ko) * 2015-10-15 2017-08-02 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
US10152825B2 (en) * 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
AU2016340222B2 (en) 2015-10-16 2021-07-01 Magic Leap, Inc. Eye pose identification using eye features
KR102701209B1 (ko) 2015-10-20 2024-08-29 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
KR102657948B1 (ko) 2015-11-04 2024-04-16 매직 립, 인코포레이티드 광 필드 디스플레이 계측
US9801295B2 (en) 2015-11-05 2017-10-24 Oculus Vr, Llc Remote control unit with lanyard attachment mechanism
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US9763348B2 (en) 2015-11-06 2017-09-12 Oculus Vr, Llc Remote control unit with battery retention mechanism
WO2017096396A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
US9722235B2 (en) 2015-12-11 2017-08-01 Oculus Vr, Llc Remote control unit with battery isolation tab
US9990689B2 (en) * 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
US9755740B2 (en) 2015-12-30 2017-09-05 Surefire Llc Receivers for optical narrowcasting
NZ743884A (en) 2016-01-07 2019-11-29 Magic Leap Inc Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
WO2017127571A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10831264B2 (en) 2016-01-19 2020-11-10 Magic Leap, Inc. Eye image combination
CN105554392A (zh) 2016-01-20 2016-05-04 京东方科技集团股份有限公司 显示切换装置及其切换方法、穿戴显示装置及其显示方法
US10684483B2 (en) * 2016-01-20 2020-06-16 Newtonoid Technologies, L.L.C. Item of headwear
CN113406801B (zh) 2016-01-20 2023-05-30 奇跃公司 虚拟/增强现实系统中的偏振保持光纤
US10397320B2 (en) * 2016-01-20 2019-08-27 International Business Machines Corporation Location based synchronized augmented reality streaming
JP6680886B2 (ja) * 2016-01-22 2020-04-15 上海肇觀電子科技有限公司ＮｅｘｔＶＰＵ （Ｓｈａｎｇｈａｉ） Ｃｏ．， Ｌｔｄ． マルチメディア情報を表示する方法及び装置
CN105894581B (zh) * 2016-01-22 2020-05-19 上海肇观电子科技有限公司 一种呈现多媒体信息的方法及装置
CN105894571B (zh) * 2016-01-22 2020-05-19 上海肇观电子科技有限公司 一种处理多媒体信息的方法及装置
CN105893452B (zh) * 2016-01-22 2020-04-17 上海肇观电子科技有限公司 一种呈现多媒体信息的方法及装置
CN119395900A (zh) 2016-01-29 2025-02-07 奇跃公司 三维图像的显示
WO2017134412A1 (en) 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
KR102779068B1 (ko) * 2016-02-05 2025-03-07 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
KR102726904B1 (ko) 2016-02-11 2024-11-05 매직 립, 인코포레이티드 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
KR20240051334A (ko) 2016-02-18 2024-04-19 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP6668811B2 (ja) 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
CN108700697B (zh) 2016-02-24 2021-12-14 奇跃公司 具有低光泄漏的偏振分束器
CN108700275B (zh) 2016-02-24 2022-05-31 奇跃公司 用于光发射器的低轮廓互连
JP7470063B2 (ja) * 2016-02-25 2024-04-17 株式会社コロプラ ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、及びプログラム
AU2017224107B2 (en) 2016-02-26 2021-11-04 Magic Leap, Inc. Display system having a plurality of light pipes for a plurality of light emitters
EP3420601B1 (en) 2016-02-26 2023-08-02 Magic Leap, Inc. Optical system
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
CA3015643A1 (en) 2016-03-01 2017-09-08 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
US10788672B2 (en) * 2016-03-01 2020-09-29 Mirus Llc Augmented visualization during surgery
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
CN105807922B (zh) * 2016-03-07 2018-10-02 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
KR102358677B1 (ko) 2016-03-07 2022-02-03 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
EP3433659B1 (en) 2016-03-24 2024-10-23 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
US10698215B2 (en) 2016-03-25 2020-06-30 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
EP3436863B1 (en) 2016-03-31 2024-07-10 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
KR101822806B1 (ko) * 2016-03-31 2018-01-29 한국과학기술원 가상현실 기반 원거리 협업 기능과 데이터베이스를 제공하는 하이브리드 나노물질 및 나노소자의 재료 설계 장치
WO2017173457A1 (en) * 2016-04-01 2017-10-05 Incontext Solutions, Inc. Virtual reality platform for retail environment simulation
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
KR20220040511A (ko) 2016-04-08 2022-03-30 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
US10380800B2 (en) * 2016-04-18 2019-08-13 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
AU2017252557B2 (en) 2016-04-21 2022-01-27 Magic Leap, Inc. Visual aura around field of view
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
JP7142575B2 (ja) * 2016-04-22 2022-09-27 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 画像を合成するための方法及び装置
NZ787464A (en) 2016-04-26 2023-06-30 Magic Leap Inc Electromagnetic tracking with augmented reality systems
CA3022298A1 (fr) * 2016-04-27 2017-11-02 Immersion Dispositif et procede de partage d'immersion dans un environnement virtuel
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
WO2017192467A1 (en) * 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
KR20210032022A (ko) 2016-05-06 2021-03-23 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
CN105997247A (zh) * 2016-05-06 2016-10-12 京东方科技集团股份有限公司 一种应用于远程手术的控制端、手术设备端、方法及系统
CA3023526A1 (en) 2016-05-09 2017-11-16 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
IL313492A (en) 2016-05-12 2024-08-01 Magic Leap Inc Manipulation of diffused light during Galbo imaging
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
IL290933B2 (en) 2016-05-20 2023-10-01 Magic Leap Inc Contextual awareness of user interface menus
US20170337745A1 (en) 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
KR102488295B1 (ko) * 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
CN116778367A (zh) 2016-06-03 2023-09-19 奇跃公司 增强现实身份验证
WO2017214040A1 (en) 2016-06-06 2017-12-14 Warner Bros. Entertainment Inc. Mixed reality system
US20190302880A1 (en) * 2016-06-06 2019-10-03 Devar Entertainment Limited Device for influencing virtual objects of augmented reality
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
JP6978442B2 (ja) 2016-06-10 2021-12-08 マジック リープ, インコーポレイテッドMagic Leap, Inc. テクスチャ投影電球のための積分点源
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10332315B2 (en) 2016-06-20 2019-06-25 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
NZ749449A (en) 2016-06-30 2023-06-30 Magic Leap Inc Estimating pose in 3d space
US10019839B2 (en) * 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
JP6917444B2 (ja) 2016-07-14 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 角膜曲率を用いた虹彩境界推定
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
KR101696243B1 (ko) 2016-07-22 2017-01-13 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
US10451895B2 (en) 2016-07-25 2019-10-22 Magic Leap, Inc. Light field processor system
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US10403044B2 (en) 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
IL280982B (en) 2016-07-29 2022-08-01 Magic Leap Inc Secure exchange of cryptographically signed records
KR20210025721A (ko) 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11238610B2 (en) * 2016-08-10 2022-02-01 Disney Enterprises, Inc. Placing large objects and objects separated by large distances in augmented reality
KR102174465B1 (ko) * 2016-08-10 2020-11-04 주식회사 케이티 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치
EP3497676B1 (en) 2016-08-11 2024-07-17 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
IL292025B2 (en) 2016-08-12 2023-12-01 Magic Leap Inc Word flow annotation
JP7002536B2 (ja) 2016-08-22 2022-01-20 マジック リープ， インコーポレイテッド 深層学習センサを有する拡張現実ディスプレイデバイス
US10725223B2 (en) 2016-08-22 2020-07-28 Magic Leap, Inc. Multi-layer diffractive eyepiece with wavelength-selective reflector
CN106293100A (zh) * 2016-08-24 2017-01-04 上海与德通讯技术有限公司 虚拟现实设备中视线焦点的确定方法及虚拟现实设备
CN111710050A (zh) * 2016-08-24 2020-09-25 赵成智 一种用于虚拟现实设备的图像处理方法及装置
US10831334B2 (en) * 2016-08-26 2020-11-10 tagSpace Pty Ltd Teleportation links for mixed reality environments
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
IL304038B2 (en) 2016-09-13 2024-09-01 Magic Leap Inc Sensory eyewear
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
CA3037044A1 (en) 2016-09-21 2018-03-29 Magic Leap, Inc. Systems and methods for optical systems with exit pupil expander
KR102266343B1 (ko) 2016-09-22 2021-06-17 매직 립, 인코포레이티드 증강 현실 분광기
IL313837A (en) 2016-09-26 2024-08-01 Magic Leap Inc Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
JP6964132B2 (ja) 2016-09-28 2021-11-10 マジック リープ, インコーポレイテッドMagic Leap, Inc. ウェアラブルデバイスによる顔モデル捕捉
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
CN106572344A (zh) * 2016-09-29 2017-04-19 宇龙计算机通信科技(深圳)有限公司 虚拟现实直播方法、系统以及云服务器
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
IL281321B (en) 2016-10-04 2022-07-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN107957774B (zh) * 2016-10-18 2021-08-31 阿里巴巴集团控股有限公司 虚拟现实空间环境中的交互方法及装置
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
CN109901710B (zh) * 2016-10-19 2020-12-01 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置、存储介质及终端
CN110088663B (zh) 2016-10-21 2022-08-23 奇跃公司 通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10192362B2 (en) * 2016-10-27 2019-01-29 Gopro, Inc. Generating virtual reality and augmented reality content for a live event
US10565790B2 (en) 2016-11-11 2020-02-18 Magic Leap, Inc. Periocular and audio synthesis of a full face image
CN106534125B (zh) * 2016-11-11 2021-05-04 厦门汇鑫元软件有限公司 一种基于局域网实现vr多人交互系统的方法
EP3599532B1 (en) * 2016-11-14 2022-06-22 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
KR102267553B1 (ko) 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
JP2018082308A (ja) * 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
AU2017361096B2 (en) 2016-11-16 2022-09-01 Magic Leap, Inc. Thermal management systems for wearable components
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
KR102506485B1 (ko) 2016-11-18 2023-03-03 매직 립, 인코포레이티드 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들
IL310194A (en) 2016-11-18 2024-03-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
KR102609494B1 (ko) * 2016-11-29 2023-12-01 엘지디스플레이 주식회사 외부 보상용 표시장치와 그 구동방법
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
WO2018100906A1 (ja) * 2016-11-30 2018-06-07 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US12020667B2 (en) 2016-12-05 2024-06-25 Case Western Reserve University Systems, methods, and media for displaying interactive augmented reality presentations
EP3548958A4 (en) * 2016-12-05 2020-07-29 Case Western Reserve University SYSTEMS, METHODS AND MEDIA FOR DISPLAYING INTERACTIVE AUGMENTED REALITY PRESENTATIONS
US11150777B2 (en) 2016-12-05 2021-10-19 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
EP3552057B1 (en) 2016-12-08 2022-01-05 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
US20180164885A1 (en) * 2016-12-09 2018-06-14 Immersion Corporation Systems and Methods For Compliance Illusions With Haptics
JP7038713B2 (ja) 2016-12-13 2022-03-18 マジック リープ， インコーポレイテッド 検出された特徴を用いた３ｄオブジェクトレンダリング
CN106888203B (zh) * 2016-12-13 2020-03-24 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
KR102491442B1 (ko) 2016-12-13 2023-01-20 매직 립, 인코포레이티드 편광된 광을 전달하고 포도당 레벨들을 결정하기 위한 증강 및 가상 현실 안경류, 시스템들, 및 방법들
US10373385B2 (en) * 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
US10895784B2 (en) 2016-12-14 2021-01-19 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
CN107741809B (zh) * 2016-12-21 2020-05-12 腾讯科技（深圳）有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
US10371896B2 (en) * 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
CN110325891B (zh) 2016-12-22 2022-04-08 奇跃公司 用于操纵来自环境光源的光的系统和方法
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
TWI603227B (zh) * 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
IL290002B2 (en) 2016-12-29 2023-10-01 Magic Leap Inc Automatic control of wearable display device based on external conditions
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建系统及方法
US10262464B2 (en) 2016-12-30 2019-04-16 Intel Corporation Dynamic, local augmented reality landmarks
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
JP7071374B2 (ja) 2017-01-05 2022-05-18 マジック リープ， インコーポレイテッド プラズマエッチングによる高屈折率ガラスのパターン化
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102662173B1 (ko) 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
US20200098185A1 (en) 2017-01-17 2020-03-26 Pravaedi Llc Virtual reality training device
WO2018136517A1 (en) * 2017-01-17 2018-07-26 Virtual Sandtable Llc Augmented/virtual mapping system
JP6227177B1 (ja) * 2017-01-20 2017-11-08 株式会社Ｑｄレーザ 画像投影装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US12205477B2 (en) 2017-01-23 2025-01-21 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10529241B2 (en) 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
KR102723983B1 (ko) 2017-01-23 2024-11-01 매직 립, 인코포레이티드 가상, 증강, 또는 혼합 현실 시스템들을 위한 접안렌즈
US10459020B2 (en) 2017-01-23 2019-10-29 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
US12183213B1 (en) 2017-01-23 2024-12-31 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
CN110476090B (zh) 2017-01-27 2023-04-25 奇跃公司 用于超表面的抗反射涂层
AU2018212726B2 (en) 2017-01-27 2022-05-12 Magic Leap, Inc. Diffraction gratings formed by metasurfaces having differently oriented nanobeams
JP6244593B1 (ja) 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
WO2018152455A1 (en) 2017-02-20 2018-08-23 Vspatial, Inc. System and method for creating a collaborative virtual session
KR102671512B1 (ko) * 2017-02-20 2024-06-04 이현세 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법
KR102601052B1 (ko) 2017-02-23 2023-11-09 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
EP3590097B1 (en) 2017-02-28 2023-09-13 Magic Leap, Inc. Virtual and real object recording in mixed reality device
CN106919259A (zh) * 2017-03-06 2017-07-04 北京小米移动软件有限公司 基于vr设备的形象处理方法和装置
US12153723B2 (en) * 2017-03-06 2024-11-26 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10672171B2 (en) * 2017-03-07 2020-06-02 Lamplight Forest Holdings Pty Ltd System and method for dynamic content generation in a virtual space
US10043406B1 (en) 2017-03-10 2018-08-07 Intel Corporation Augmented emotion display for austistic persons
AU2018234409B2 (en) 2017-03-14 2022-06-30 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
CN117893680B (zh) 2017-03-17 2025-04-29 奇跃公司 房间布局估计方法和技术
IL303275B2 (en) 2017-03-17 2024-08-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
KR102841075B1 (ko) 2017-03-17 2025-07-30 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
KR101963244B1 (ko) * 2017-03-20 2019-03-28 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
CN115220156A (zh) 2017-03-21 2022-10-21 奇跃公司 具有用于分体式光瞳的空间光调制器照射的显示系统
KR102821244B1 (ko) * 2017-03-21 2025-06-13 매직 립, 인코포레이티드 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
CA3056899C (en) 2017-03-21 2023-09-19 Magic Leap, Inc. Low-profile beam splitter
IL299401A (en) 2017-03-21 2023-02-01 Magic Leap Inc Stacked waveguides with different refractive gratings for an integrated field of view
KR102579249B1 (ko) 2017-03-21 2023-09-15 매직 립, 인코포레이티드 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들
EP4489393A3 (en) * 2017-03-21 2025-03-26 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
IL269317B2 (en) 2017-03-21 2023-11-01 Magic Leap Inc An eye imaging device that uses optical refractive elements
AU2018239511A1 (en) 2017-03-22 2019-10-17 Magic Leap, Inc. Depth based foveated rendering for display systems
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
WO2018183390A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmeted reality system with spatialized audio tied to user manipulated virtual object
US10369472B1 (en) 2017-03-30 2019-08-06 Electronic Arts Inc. Virtual environment mapping system
CN108668050B (zh) * 2017-03-31 2021-04-27 深圳市掌网科技股份有限公司 基于虚拟现实的视频拍摄方法和装置
ES2640790A1 (es) * 2017-04-04 2017-11-06 Stanislas Louis ALEXANDRE KARNKOWSKI Procedimiento para la detección y representación virtual de actividades de acción
EP3385912B1 (en) * 2017-04-06 2022-08-24 Hexagon Technology Center GmbH Near field manoeuvring for ar-devices using image tracking
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
EP4270091A3 (en) 2017-04-18 2024-01-24 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
EP4220258A1 (en) 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10565964B2 (en) * 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
EP3615986A4 (en) * 2017-04-25 2021-01-27 Raytrx LLC PORTABLE IMAGE CONTROL AND MANIPULATION SYSTEM CORRECTING VISION DEFECTS AND INCREASING VISION AND DETECTION
EP4141623B1 (en) 2017-04-27 2024-05-29 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
KR102358543B1 (ko) * 2017-04-27 2022-02-03 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
KR102432283B1 (ko) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
CN110637273B (zh) * 2017-05-10 2021-12-03 微软技术许可有限责任公司 在虚拟环境内呈现应用
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10078909B1 (en) 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
JP2020521217A (ja) 2017-05-19 2020-07-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
EP3908026A1 (en) 2017-05-22 2021-11-10 Magic Leap, Inc. Pairing with companion device
CN116666814A (zh) 2017-05-30 2023-08-29 奇跃公司 用于电子装置的具有风扇组件的电源组件
US10671160B2 (en) 2017-05-31 2020-06-02 Magic Leap, Inc. Eye tracking calibration techniques
US9853740B1 (en) 2017-06-06 2017-12-26 Surefire Llc Adaptive communications focal plane array
US20180357826A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display
KR102636903B1 (ko) 2017-06-12 2024-02-14 매직 립, 인코포레이티드 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
EP3616035B1 (en) * 2017-06-19 2024-04-24 Apple Inc. Augmented reality interface for interacting with displayed maps
JP6509955B2 (ja) * 2017-06-28 2019-05-08 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置
US10449440B2 (en) * 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
US10562181B2 (en) 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
US11106967B2 (en) * 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
AU2018299893B2 (en) * 2017-07-10 2023-07-06 Magic Leap, Inc. Method and system for integration of electronic sensors with thermal cooling system
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
WO2019012315A1 (ru) * 2017-07-13 2019-01-17 Девар Энтертеймент Лимитед Способ формирования среды дополненной реальности
IL293424A (en) * 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
KR102595846B1 (ko) 2017-07-28 2023-10-30 매직 립, 인코포레이티드 이미지를 디스플레이하기 위한 팬 조립체
CN109389677B (zh) * 2017-08-02 2022-10-18 珊口（上海）智能科技有限公司 房屋三维实景地图的实时构建方法、系统、装置及存储介质
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10613703B2 (en) * 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
CN107564099A (zh) * 2017-08-29 2018-01-09 上海爱优威软件开发有限公司 一种3d空间模型的构建方法及系统
CN109420336A (zh) * 2017-08-30 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的游戏实现方法和装置
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
WO2019043597A1 (en) * 2017-09-04 2019-03-07 Aggarwal Abhinav SYSTEMS AND METHODS FOR MIXED REALITY INTERACTIONS WITH AVATAR
EP3685313A4 (en) 2017-09-20 2021-06-09 Magic Leap, Inc. PERSONALIZED NEURAL EYE TRACKING NETWORK
JP7280250B2 (ja) 2017-09-21 2023-05-23 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
CN111095363B (zh) * 2017-09-22 2024-02-09 麦克赛尔株式会社 显示系统和显示方法
CN107608517B (zh) * 2017-09-25 2020-06-19 艾亚（北京）科技有限公司 一种基于地理位置的场景互动交友系统及方法
EP3688516A4 (en) 2017-09-27 2021-06-23 Magic Leap, Inc. CLOSE-UP 3D DISPLAY WITH SEPARATE PHASE AND AMPLITUDE MODULATORS
US10803666B1 (en) * 2017-09-28 2020-10-13 Apple Inc. Method and device for synchronizing augmented reality coordinate systems
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
KR102133219B1 (ko) * 2017-10-11 2020-07-14 주식회사 카이비전 움직임감지 증강현실 글라스
WO2019074169A1 (ko) * 2017-10-11 2019-04-18 주식회사 카이비전 움직임감지 증강현실 글라스
KR102845933B1 (ko) 2017-10-11 2025-08-12 매직 립, 인코포레이티드 투명 발광 디스플레이를 갖는 접안렌즈를 포함하는 증강 현실 디스플레이
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
KR102022971B1 (ko) * 2017-10-18 2019-09-19 한국전자통신연구원 영상의 객체 처리 방법 및 장치
AU2018355446A1 (en) 2017-10-26 2020-05-14 Magic Leap, Inc. Broadband adaptive lens assembly for augmented reality display
CA3078530A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CA3078774A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
US10839576B2 (en) 2017-10-27 2020-11-17 Magic Leap, Inc. Virtual reticle for augmented reality systems
EP3740809A4 (en) 2017-11-01 2021-12-15 Vrgineers, Inc. INTERACTIVE AUGMENTED OR VIRTUAL REALITY DEVICES
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
WO2019092590A1 (ru) * 2017-11-09 2019-05-16 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе при помощи множественного потокового вещания данных дополненной реальности
KR102434580B1 (ko) * 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
EP3709861B1 (en) 2017-11-14 2024-06-05 Vivid Vision, Inc. Systems for visual field analysis
KR102839893B1 (ko) 2017-11-14 2025-07-28 매직 립, 인코포레이티드 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
CN120405955A (zh) 2017-12-11 2025-08-01 奇跃公司 波导照射器
US12372793B2 (en) 2017-12-11 2025-07-29 Magic Leap, Inc. Illumination layout for compact projection system
WO2019118222A1 (en) 2017-12-14 2019-06-20 Magic Leap, Inc. Contextual-based rendering of virtual avatars
AU2018385695B2 (en) 2017-12-15 2023-11-02 Magic Leap, Inc. Enhanced pose determination for display device
IL303076A (en) 2017-12-15 2023-07-01 Magic Leap Inc Eyepieces for an augmented reality display system
WO2019126238A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
WO2019132521A1 (ko) * 2017-12-26 2019-07-04 스코넥엔터테인먼트주식회사 가상 환경 제어 시스템
KR102130892B1 (ko) 2017-12-26 2020-07-07 (주)스코넥엔터테인먼트 착용형 디스플레이 장치 및 이를 이용한 이미지 제공 방법
WO2019130864A1 (ja) * 2017-12-28 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20190204599A1 (en) * 2017-12-28 2019-07-04 Microsoft Technology Licensing, Llc Head-mounted display device with electromagnetic sensor
KR102805316B1 (ko) 2018-01-04 2025-05-09 매직 립, 인코포레이티드 무기 재료들을 포함하는 중합체 구조들에 기반한 광학 엘리먼트들
KR102547943B1 (ko) 2018-01-05 2023-06-26 삼성디스플레이 주식회사 헤드 마운트 표시 장치
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10473439B2 (en) 2018-01-05 2019-11-12 Aron Surefire, Llc Gaming systems and methods using optical narrowcasting
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
EP4517439A3 (en) 2018-01-08 2025-05-14 DigiLens Inc. Systems and methods for manufacturing waveguide cells
KR20250027583A (ko) 2018-01-08 2025-02-26 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
CN111684362B (zh) 2018-01-08 2022-03-25 迪吉伦斯公司 用于制造光学波导的方法
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
CA3087333C (en) 2018-01-17 2024-10-08 Magic Leap, Inc. EYE ROTATION CENTER DETERMINATION, DEPTH PLANE SELECTION AND RENDERING CAMERA POSITIONING IN DISPLAY SYSTEMS
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
US10634913B2 (en) 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
JP2021512402A (ja) * 2018-02-02 2021-05-13 インターデジタル シーイー パテント ホールディングス マルチビューイング仮想現実ユーザインターフェース
WO2019151323A1 (ja) * 2018-02-05 2019-08-08 株式会社ソニー・インタラクティブエンタテインメント エンタテインメント装置、表示制御方法及び表示制御プログラム
CN111712780B (zh) 2018-02-06 2025-02-25 奇跃公司 用于增强现实的系统和方法
CN108399638B (zh) * 2018-02-08 2021-07-20 重庆爱奇艺智能科技有限公司 一种基于标记的增强现实交互方法、装置及电子设备
TWI658404B (zh) * 2018-02-09 2019-05-01 宏碁股份有限公司 語音辨識系統及其方法
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
IL276621B2 (en) 2018-02-22 2024-05-01 Magic Leap Inc Browser for mixed reality systems
CA3091026A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
US11074748B2 (en) 2018-02-27 2021-07-27 Magic Leap, Inc. Matching meshes for virtual avatars
CA3089645A1 (en) 2018-02-28 2019-09-06 Magic Leap, Inc. Head scan alignment using ocular registration
JP2019152899A (ja) * 2018-02-28 2019-09-12 株式会社バンダイナムコスタジオ シミュレーションシステム及びプログラム
US11368379B2 (en) 2018-03-06 2022-06-21 Texas State University Augmented reality/virtual reality platform for a network analyzer
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
WO2019173808A1 (en) * 2018-03-09 2019-09-12 Ventana 3D, Llc Real-time quality control during manufacturing using augmented reality
US11971549B2 (en) 2018-03-12 2024-04-30 Magic Leap, Inc. Very high index eyepiece substrate-based viewing optics assembly architectures
CN108196686B (zh) * 2018-03-13 2024-01-26 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统
WO2019178409A1 (en) 2018-03-14 2019-09-19 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
USD868108S1 (en) * 2018-03-16 2019-11-26 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
KR102839391B1 (ko) 2018-03-16 2025-07-28 디지렌즈 인코포레이티드. 복굴절 제어가 통합된 홀로그래픽 도파관 및 이를 제조하는 방법
EP4648015A2 (en) 2018-03-16 2025-11-12 Magic Leap, Inc. Depth based foveated rendering for display systems
JP7344894B2 (ja) 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
US10943402B2 (en) * 2018-03-20 2021-03-09 Logitech Europe S.A. Method and system for mixed reality interaction with peripheral device
US20200380486A1 (en) * 2018-03-20 2020-12-03 Rocky Jerome Wright Augmented reality and messaging
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11087136B2 (en) * 2018-04-13 2021-08-10 Apple Inc. Scene classification
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
WO2019209431A1 (en) 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
KR102575649B1 (ko) 2018-04-24 2023-09-06 삼성전자주식회사 투시형 디스플레이 장치
US11210832B2 (en) 2018-04-24 2021-12-28 Hewlett-Packard Development Company, L.P. Animated gazes on head mounted displays
US11002960B2 (en) 2019-02-21 2021-05-11 Red Six Aerospace Inc. Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience
US11508255B2 (en) 2018-04-27 2022-11-22 Red Six Aerospace Inc. Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience
US11869388B2 (en) 2018-04-27 2024-01-09 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11887495B2 (en) 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11436932B2 (en) 2018-04-27 2022-09-06 Red Six Aerospace Inc. Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace
KR102068215B1 (ko) * 2018-04-30 2020-01-20 주식회사 북트랩스 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
WO2019213220A1 (en) 2018-05-03 2019-11-07 Magic Leap, Inc. Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character
CN112384880A (zh) * 2018-05-03 2021-02-19 Pcms控股公司 用于vr体验的基于物理接近度和/或姿势的链接的系统和方法
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
JP7516260B2 (ja) 2018-05-22 2024-07-16 マジック リープ， インコーポレイテッド 仮想アバタをアニメーション化するための骨格システム
CN116520989A (zh) * 2018-05-24 2023-08-01 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US11885871B2 (en) * 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
WO2019246129A2 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Augmented reality display with frame modulation functionality
CN109102533A (zh) * 2018-06-19 2018-12-28 黑龙江拓盟科技有限公司 一种基于混合现实的特征点定位方法
CN108769802A (zh) * 2018-06-21 2018-11-06 北京密境和风科技有限公司 网络表演的实现方法、装置和系统
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
US11669726B2 (en) 2018-07-02 2023-06-06 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
US12154295B2 (en) 2018-07-02 2024-11-26 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
CN109035415B (zh) * 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
WO2020010271A1 (en) 2018-07-05 2020-01-09 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
US11615208B2 (en) 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
US11474978B2 (en) 2018-07-06 2022-10-18 Capital One Services, Llc Systems and methods for a data search engine based on data profiles
US10863812B2 (en) * 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2020023523A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10916064B2 (en) 2018-07-23 2021-02-09 Magic Leap, Inc. Method and system for resolving hemisphere ambiguity using a position vector
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
US10921596B2 (en) * 2018-07-24 2021-02-16 Disney Enterprises, Inc. Adaptive luminance/color correction for displays
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
EP4478161A3 (en) 2018-07-24 2025-03-26 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
US12099386B2 (en) 2018-07-24 2024-09-24 Magic Leap, Inc. Thermal management system for electronic device
CN112639664B (zh) 2018-07-24 2023-03-24 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
CN112703437A (zh) 2018-07-24 2021-04-23 奇跃公司 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法
US10835828B1 (en) * 2018-07-25 2020-11-17 Facebook, Inc. Augmented-reality game overlays in video communications
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US10950024B2 (en) 2018-07-27 2021-03-16 Magic Leap, Inc. Pose space dimensionality reduction for pose space deformation of a virtual character
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
CN109308741B (zh) * 2018-08-08 2023-04-07 长春理工大学 一种基于Meta2的自然交互工艺品创意设计系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS-REALITY SYSTEM
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11726550B2 (en) 2018-09-11 2023-08-15 Samsung Electronics Co., Ltd. Method and system for providing real-time virtual feedback
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US10679410B2 (en) * 2018-09-14 2020-06-09 Facebook Technologies, Llc Display opacity control for preventing view occlusion in artificial reality
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
US11562539B2 (en) * 2018-09-25 2023-01-24 Universal City Studios Llc Modular augmented and virtual reality ride attraction
EP3857291A4 (en) 2018-09-25 2021-11-24 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR AUGMENTED REALITY
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
JP7526169B2 (ja) * 2018-10-05 2024-07-31 マジック リープ， インコーポレイテッド クロスリアリティシステム
FR3087284B1 (fr) * 2018-10-15 2021-11-05 Amadeus Sas Procede et systeme de realite augmentee
CN109513157B (zh) * 2018-10-16 2020-09-11 广州嘉影软件有限公司 基于Kinect体感的灭火演练交互方法与系统
US10937244B2 (en) * 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
JP7455121B2 (ja) 2018-10-26 2024-03-25 マジック リープ， インコーポレイテッド 電磁追跡のための周囲電磁歪み補正
WO2020096743A1 (en) * 2018-11-09 2020-05-14 Beckman Coulter, Inc. Service glasses with selective data provision
US10914945B2 (en) 2018-11-09 2021-02-09 Facebook Technologies, Llc Inconspicuous near-eye electrical circuits
WO2020106824A1 (en) 2018-11-20 2020-05-28 Magic Leap, Inc. Eyepieces for augmented reality display system
US11182043B2 (en) 2018-11-27 2021-11-23 Anduril Industries Inc. Interactive virtual interface
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11199912B2 (en) 2018-11-30 2021-12-14 Magic Leap, Inc. Multi-modal hand location and orientation for avatar movement
US11508134B2 (en) 2018-12-03 2022-11-22 Maxell, Ltd. Augmented reality display device and augmented reality display method
KR102191096B1 (ko) * 2018-12-07 2020-12-15 한국전자기술연구원 시야창이 확장된 증강현실 근안 디스플레이
EP3663941B1 (en) * 2018-12-07 2022-07-13 Volvo Car Corporation Evaluation of a simulated vehicle-related feature
US10970547B2 (en) * 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
US11282282B2 (en) * 2018-12-14 2022-03-22 Vulcan Inc. Virtual and physical reality integration
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
KR102648993B1 (ko) * 2018-12-21 2024-03-20 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
US10990171B2 (en) * 2018-12-27 2021-04-27 Facebook Technologies, Llc Audio indicators of user attention in AR/VR environment
US11022794B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
WO2020149956A1 (en) 2019-01-14 2020-07-23 Digilens Inc. Holographic waveguide display with light control layer
US11061254B2 (en) 2019-01-24 2021-07-13 International Business Machines Corporation Adjusting contact lens prescription while wearing lens
US11099406B2 (en) 2019-01-24 2021-08-24 International Business Machines Corporation Delivering augmented reality via embedded contact lens
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
WO2020163524A1 (en) 2019-02-05 2020-08-13 Digilens Inc. Methods for compensating for optical surface nonuniformity
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11403823B2 (en) 2019-02-14 2022-08-02 Lego A/S Toy system for asymmetric multiplayer game play
US11090561B2 (en) * 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
CN113692544B (zh) 2019-02-15 2025-04-22 迪吉伦斯公司 使用集成光栅提供全息波导显示的方法和装置
US20220283377A1 (en) 2019-02-15 2022-09-08 Digilens Inc. Wide Angle Waveguide Display
US20200285784A1 (en) * 2019-02-27 2020-09-10 Simulation Engineering, LLC Systems and methods for generating a simulated environment
US11287657B2 (en) 2019-02-28 2022-03-29 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
EP3939030B1 (en) * 2019-03-12 2025-10-29 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US20200302501A1 (en) * 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Virtualized product configuration and quotation system
US11620800B2 (en) * 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US10818070B2 (en) 2019-03-27 2020-10-27 Electronic Arts Inc. Artificial intelligence based virtual object aging
WO2020203832A1 (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 境界表示制御装置、境界表示制御方法及びプログラム
JP7280495B2 (ja) * 2019-04-01 2023-05-24 日本電信電話株式会社 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
WO2020206313A1 (en) 2019-04-03 2020-10-08 Magic Leap, Inc. Managing and displaying webpages in a virtual three-dimensional space with a mixed reality system
US11016305B2 (en) 2019-04-15 2021-05-25 Magic Leap, Inc. Sensor fusion for electromagnetic tracking
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US11527171B2 (en) * 2019-04-22 2022-12-13 The Commons XR LLC Virtual, augmented and extended reality system
JP6776400B1 (ja) * 2019-04-26 2020-10-28 株式会社コロプラ プログラム、方法、および情報端末装置
CN115755397A (zh) 2019-04-26 2023-03-07 苹果公司 具有低光操作的头戴式显示器
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
TWI720480B (zh) * 2019-05-14 2021-03-01 真美滿有限公司 模擬展示系統
US11097194B2 (en) 2019-05-16 2021-08-24 Microsoft Technology Licensing, Llc Shared augmented reality game within a shared coordinate space
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
CN116249918A (zh) 2019-05-24 2023-06-09 奇跃公司 可变焦组件
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
DE102019208649B3 (de) * 2019-06-13 2020-01-02 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
CN112102499B (zh) * 2019-06-18 2024-08-30 卡兰控股有限公司 融合现实系统和方法
US12033271B2 (en) * 2019-06-18 2024-07-09 The Calany Holding S. À R.L. 3D structure engine-based computation platform
US11650423B2 (en) 2019-06-20 2023-05-16 Magic Leap, Inc. Eyepieces for augmented reality display system
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
CN114303089A (zh) * 2019-07-12 2022-04-08 菲托尼克斯公司 用于小型实验动物的虚拟现实模拟器及方法
US10951877B2 (en) * 2019-07-15 2021-03-16 Msg Entertainment Group, Llc Providing a contiguous virtual space for a plurality of display devices
JP7591551B2 (ja) 2019-07-16 2024-11-28 マジック リープ， インコーポレイテッド １つ以上の眼追跡カメラを用いた眼回転中心の決定
US11887253B2 (en) 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
US11537351B2 (en) 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
KR102775783B1 (ko) 2019-08-29 2025-02-28 디지렌즈 인코포레이티드. 진공 격자 및 이의 제조 방법
CN113678173B (zh) * 2019-08-30 2025-02-14 苹果公司 用于虚拟对象的基于图绘的放置的方法和设备
US20210065427A1 (en) * 2019-08-30 2021-03-04 Shopify Inc. Virtual and augmented reality using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
KR102329027B1 (ko) * 2019-09-02 2021-11-19 주식회사 인터포 증강현실 및 빅데이터를 이용한 가상객체 관리 방법 및 그를 수행하는 모바일 단말
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US10997785B2 (en) * 2019-09-26 2021-05-04 Vgis Inc. System and method for collecting geospatial object data with mediated reality
US11257294B2 (en) * 2019-10-15 2022-02-22 Magic Leap, Inc. Cross reality system supporting multiple device types
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
CN114616534B (zh) 2019-10-15 2025-08-26 奇跃公司 具有无线指纹的交叉现实系统
WO2021087065A1 (en) 2019-10-31 2021-05-06 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
WO2021097409A1 (en) * 2019-11-15 2021-05-20 Waymo Llc Generating environmental data
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH SIMPLIFIED VIRTUAL CONTENT PROGRAMMING
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11151795B2 (en) * 2019-12-10 2021-10-19 Wormhole Labs, Inc. Systems and methods of creating virtual pop-up spaces
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
TWI722738B (zh) 2019-12-25 2021-03-21 亞達科技股份有限公司 擴增實境裝置與定位方法
US11386652B2 (en) * 2019-12-26 2022-07-12 Paypal, Inc. Tagging objects in augmented reality to track object data
CN111190488A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 设备控制方法、通信装置及存储介质
KR102262019B1 (ko) * 2019-12-30 2021-06-08 주식회사 버넥트 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11210860B2 (en) * 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
JP7538871B2 (ja) * 2020-01-27 2024-08-22 マジック リープ， インコーポレイテッド アンカベースのクロスリアリティアプリケーションのための向上された状態制御
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
EP4103910A4 (en) 2020-02-13 2024-03-06 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH ACCURATE COMMON MAPS
CN115398314B (zh) 2020-02-13 2025-05-30 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
JP7684321B2 (ja) 2020-02-13 2025-05-27 マジック リープ， インコーポレイテッド 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム
US12142367B2 (en) 2020-02-21 2024-11-12 Raytrx, Llc Surgery visualization theatre
JP7671769B2 (ja) 2020-02-26 2025-05-02 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US20210287382A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Systems and methods for multi-user virtual and augmented reality
EP4128829A1 (en) * 2020-03-23 2023-02-08 Mentar Holding AG Device and method for providing augmented reality interaction
WO2021191158A1 (en) * 2020-03-23 2021-09-30 Vaucher, Claude Device and method for providing augmented reality content
CN111488823B (zh) * 2020-04-09 2022-07-08 福州大学 基于二维激光雷达的增维手势识别与交互系统及方法
KR102827053B1 (ko) * 2020-04-09 2025-07-01 주식회사 피아몬드 가상세계의 공간을 통해 콘텐츠를 제공하는 방법 및 시스템
US10964118B2 (en) * 2020-04-22 2021-03-30 Particle Ink, LLC Augmented unification of real and object recognized attributes
US11900547B2 (en) * 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US12437481B2 (en) * 2020-06-15 2025-10-07 Snap Inc. Smart glasses with outward-facing display
CN115803779A (zh) 2020-06-29 2023-03-14 斯纳普公司 分析增强现实内容使用数据
GB2596588B (en) * 2020-07-03 2022-10-26 Sony Interactive Entertainment Inc Data processing apparatus and method
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11393171B2 (en) * 2020-07-21 2022-07-19 International Business Machines Corporation Mobile device based VR content control
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11662511B2 (en) 2020-07-22 2023-05-30 Samsung Electronics Co., Ltd. Beam expander and method of operating the same
US11852829B2 (en) 2020-08-07 2023-12-26 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
KR102358997B1 (ko) * 2020-08-10 2022-02-08 주식회사 토즈 다자간 확장현실 체험을 위한 서비스 플랫폼
WO2022055742A1 (en) * 2020-09-08 2022-03-17 Daedalus Labs Llc Head-mounted devices with radar
US11756225B2 (en) 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US11907412B2 (en) * 2020-09-28 2024-02-20 International Business Machines Corporation Contextual spectator inclusion in a virtual reality experience
US11860366B2 (en) 2020-09-29 2024-01-02 Avegant Corp. Architecture to illuminate a display panel
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering
US11522945B2 (en) * 2020-10-20 2022-12-06 Iris Tech Inc. System for providing synchronized sharing of augmented reality content in real time across multiple devices
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
KR102861555B1 (ko) * 2020-11-04 2025-09-18 삼성전자 주식회사 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법
US11893698B2 (en) 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法
KR20220083346A (ko) 2020-12-11 2022-06-20 삼성전자주식회사 영상 표시 장치의 위치를 추정하는 방법 및 장치
US12209882B2 (en) * 2020-12-18 2025-01-28 Intel Corporation Map representation system and method for operating an autonomous agent
JP2024502255A (ja) 2020-12-21 2024-01-18 ディジレンズ インコーポレイテッド 導波路ベースのディスプレイにおけるアイグロー抑制
KR102420166B1 (ko) * 2020-12-30 2022-07-12 주식회사 버넥트 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
EP4272060A1 (en) 2020-12-31 2023-11-08 Snap Inc. Real-time video communication interface with haptic feedback
US12216823B2 (en) 2020-12-31 2025-02-04 Snap Inc. Communication interface with haptic feedback response
CN116648687B (zh) 2020-12-31 2024-10-01 斯纳普公司 具有触觉反馈响应的电子通信界面
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
CN116745743A (zh) 2020-12-31 2023-09-12 斯纳普公司 具有触觉反馈响应的通信界面
US12399326B2 (en) 2021-01-07 2025-08-26 Digilens Inc. Grating structures for color waveguides
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
EP4281855A1 (en) * 2021-02-23 2023-11-29 Apple Inc. Digital assistant interactions in copresence sessions
US12405703B2 (en) 2021-02-23 2025-09-02 Apple Inc. Digital assistant interactions in extended reality
EP4288831A4 (en) 2021-03-05 2025-01-15 Digilens Inc. Evacuated periodic structures and methods of manufacturing
EP4308996A4 (en) 2021-03-15 2024-10-09 Magic Leap, Inc. HEAD-MOUNTED OPTICAL DEVICES AND DISPLAY DEVICES USING TUNABLE CYLINDRICAL LENSES
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
EP4607329A3 (en) * 2021-03-31 2025-11-12 Snap Inc. Virtual reality interface with haptic feedback response
US12164689B2 (en) 2021-03-31 2024-12-10 Snap Inc. Virtual reality communication interface with haptic feedback response
US12314472B2 (en) 2021-03-31 2025-05-27 Snap Inc. Real-time communication interface with haptic and audio feedback response
CA3213537A1 (en) 2021-04-01 2022-10-06 Tawnia K. Weiss Experiential virtual reality event host delivery dais
KR20220146169A (ko) 2021-04-23 2022-11-01 삼성전자주식회사 자유형상 곡면을 포함하는 홀로그래픽 디스플레이 장치 및 그 동작 방법
FR3122327B1 (fr) * 2021-04-29 2025-01-17 Clubdes3 Zones de vision croisées
US11980813B2 (en) 2021-05-04 2024-05-14 Ztag, Inc. System and method of using a virtual focal point in real physical game
EP4341778A1 (en) * 2021-05-19 2024-03-27 Telefonaktiebolaget LM Ericsson (publ) Communication of semantic information between augmented reality communication devices
US20240273835A1 (en) * 2021-05-19 2024-08-15 Telefonaktiebolaget Lm Ericsson (Publ) Communication devices, adapting entity and methods for augmented/mixed reality communication
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11354845B1 (en) * 2021-06-01 2022-06-07 Royal Caribbean Cruises Ltd. Multi-location disc jockey
US20220391022A1 (en) * 2021-06-03 2022-12-08 Arris Enterprises Llc System and method for human-device radar-enabled interface
CN113313840A (zh) * 2021-06-15 2021-08-27 周永奇 实时虚拟系统及实时虚拟交互方法
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
CN113194299B (zh) * 2021-07-01 2021-08-31 深圳市修远文化创意有限公司 一种智能医疗场景下的口腔治疗实时画面分享方法
US12266354B2 (en) 2021-07-15 2025-04-01 Apple Inc. Speech interpretation based on environmental context
KR102641519B1 (ko) * 2021-08-11 2024-02-29 한국전자기술연구원 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템
US12014030B2 (en) 2021-08-18 2024-06-18 Bank Of America Corporation System for predictive virtual scenario presentation
WO2023023581A1 (en) * 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
TWI835289B (zh) * 2021-09-13 2024-03-11 仁寶電腦工業股份有限公司 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
US20230086621A1 (en) * 2021-09-23 2023-03-23 At&T Intellectual Property I, L.P. Experience and transitioning between virtual reality and augmented reality environments using a virtual assistant
KR102561198B1 (ko) * 2021-09-24 2023-07-31 주식회사 더에스 컨텐츠 활용 플랫폼 시스템, 증강현실 기반의 이미지 출력물 제작방법
KR102505537B1 (ko) * 2021-09-28 2023-03-03 성균관대학교산학협력단 Ar 공유 시스템
GB2612053B (en) * 2021-10-20 2024-10-23 Sony Interactive Entertainment Inc System and method of simultaneous localisation and mapping
US12106161B2 (en) * 2021-11-02 2024-10-01 International Business Machines Corporation Augmented reality object interaction and notification
WO2023086752A1 (en) * 2021-11-09 2023-05-19 Campfire 3D, Inc. Augmented reality collaboration system with annotation capability
US12321526B2 (en) 2021-11-16 2025-06-03 Samsung Electronics Co., Ltd. Wearable electronic device for displaying virtual object and method of controlling the same
USD1027978S1 (en) * 2021-11-24 2024-05-21 Nike, Inc. Display screen with icon
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US11799967B1 (en) * 2021-12-22 2023-10-24 Meta Platforms, Inc. Ultra-wide band communication system for augmented reality
TWI844813B (zh) * 2022-01-20 2024-06-11 黃鈞鼎 穿戴裝置及投影方法
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack
US11894941B1 (en) 2022-03-18 2024-02-06 Grammarly, Inc. Real-time tone feedback in video conferencing
WO2023182667A1 (ko) * 2022-03-21 2023-09-28 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
NO348040B1 (en) * 2022-03-21 2024-07-01 Pictorytale As Multilocation augmented reality
JP7300220B1 (ja) * 2022-03-30 2023-06-29 都市緑地株式会社 仮想空間の農園及び現実の農園を介したコミュニケーション方法など
US12244605B2 (en) 2022-04-29 2025-03-04 Bank Of America Corporation System and method for geotagging users for authentication
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
KR102772073B1 (ko) * 2022-06-07 2025-02-25 주식회사 피앤씨솔루션 조도 센서와 음성 인식을 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치
US20240087238A1 (en) * 2022-06-21 2024-03-14 T-Mobile Innovations Llc System and method for extended reality processing in a local wireless environment with reduced latency
US20240007593A1 (en) * 2022-06-30 2024-01-04 Katmai Tech Inc. Session transfer in a virtual videoconferencing environment
US11886227B1 (en) * 2022-07-13 2024-01-30 Bank Of America Corporation Virtual-reality artificial-intelligence multi-user distributed real-time test environment
CN115116577B (zh) * 2022-07-26 2022-11-29 青岛美迪康数字工程有限公司 基于二维码的质控数据传输方法及装置
KR102651994B1 (ko) * 2022-08-17 2024-03-27 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
KR102669969B1 (ko) * 2022-08-22 2024-05-29 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
KR102616083B1 (ko) * 2022-08-22 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치
US11789685B1 (en) 2022-08-29 2023-10-17 International Business Machines Corporation Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display
KR20240039599A (ko) * 2022-09-19 2024-03-26 애플 인크. 예측 관점 보정
JP7412497B1 (ja) 2022-09-26 2024-01-12 株式会社コロプラ 情報処理システム
CN115463413A (zh) * 2022-09-30 2022-12-13 小派科技（上海）有限责任公司 应用于多人互动场景下的互动装置、控制方法和互动系统
US12217372B2 (en) 2022-10-17 2025-02-04 T-Mobile Usa, Inc. Generating mixed reality content based on data from a wireless device
US11972039B1 (en) * 2022-12-02 2024-04-30 ARMaps Augmented reality skydiving system
JP7354466B1 (ja) 2023-02-02 2023-10-02 株式会社コロプラ 情報処理システムおよびプログラム
US20240268936A1 (en) * 2023-02-15 2024-08-15 Align Technology, Inc. Intraoral 3d scanner with inaccurate focus lens
US12357905B2 (en) 2023-03-08 2025-07-15 Kenneth J. Huebner Play systems for ambient spaces with video controllers
CN116299175A (zh) * 2023-03-27 2023-06-23 武汉科技大学 基于分布式麦克风阵列的车载噪声源实时定位与可视化系统
US20240386819A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Head mountable display
KR102605956B1 (ko) * 2023-07-28 2023-11-24 주식회사 앰버린 3차원게임엔진을 기반으로 한 공연미디어 콘텐츠 제공시스템
US20250094016A1 (en) * 2023-09-18 2025-03-20 Apple Inc. Systems and methods of motion-based user interfaces
CN117270482A (zh) * 2023-11-22 2023-12-22 博世汽车部件(苏州)有限公司 基于数字孪生的汽车工厂控制系统
CN118757692B (zh) * 2024-06-27 2025-10-17 山东大学 一种基于增强现实的燃气管道辅助检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183137A1 (en) 2011-01-13 2012-07-19 The Boeing Company Augmented Collaboration System
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system

Family Cites Families (268)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632865A (en) 1969-12-23 1972-01-04 Bell Telephone Labor Inc Predictive video encoding using measured subject velocity
DE2737499C3 (de) 1977-08-19 1981-10-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen Faseroptisches Schaltungselement
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
US5271093A (en) 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
US5138555A (en) 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH0655203B2 (ja) 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5311897A (en) 1992-09-18 1994-05-17 Robert L. Cargill, Jr. Rotary control valve with offset variable area orifice and bypass
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
DE69434843T2 (de) * 1993-08-12 2007-02-15 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungssystem
JP3306183B2 (ja) 1993-09-14 2002-07-24 リーダー電子株式会社 信号波形表示装置及び表示方法
JP2952858B2 (ja) * 1994-05-31 1999-09-27 株式会社島津製作所 ヘッドマウントディスプレイ
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JPH09284676A (ja) 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US7066956B2 (en) 1997-02-12 2006-06-27 Arthrex, Inc. Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft
US6151179A (en) 1997-07-11 2000-11-21 International Business Machines Corporation Signal processing circuit with feedback extracted from a sampled analog error signal
US6441811B1 (en) 1997-10-29 2002-08-27 Sharp Kabushiki Kaisha Display control device and reproduction display device for electronic books
CA2307877C (en) * 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
JP3724157B2 (ja) 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
US6088744A (en) 1998-02-13 2000-07-11 Agilent Technologies Multiport data buffer having multi level caching wherein each data port has a FIFO buffer coupled thereto
JP3461117B2 (ja) 1998-05-26 2003-10-27 日本電信電話株式会社 立体表示方法及び記録媒体並びに立体表示装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
WO2000079327A1 (en) * 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
JP2001255862A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp オーバレイ画像処理装置およびオーバレイ画像表示装置
US7663642B2 (en) 2000-11-15 2010-02-16 Sony Corporation Systems and methods for rendering a polygon in an image to be displayed
JP3477441B2 (ja) 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP3762309B2 (ja) * 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US7497574B2 (en) * 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP4170068B2 (ja) 2002-11-12 2008-10-22 シャープ株式会社 データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7385606B2 (en) 2002-12-18 2008-06-10 Microsoft Corporation International font measurement system and method
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US20050148388A1 (en) 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
ITTO20030662A1 (it) 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
KR101026800B1 (ko) 2003-11-21 2011-04-04 삼성전자주식회사 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7403337B2 (en) 2004-05-11 2008-07-22 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system and method and device for realizing the system
US7442918B2 (en) 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2005339267A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
KR100656342B1 (ko) * 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US20060214911A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Pointing device for large field of view displays
US20060226231A1 (en) 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US7773098B2 (en) 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
JP4689344B2 (ja) 2005-05-11 2011-05-25 キヤノン株式会社 情報処理方法、情報処理装置
US8847861B2 (en) 2005-05-20 2014-09-30 Semiconductor Energy Laboratory Co., Ltd. Active matrix display device, method for driving the same, and electronic device
JP2006338509A (ja) 2005-06-03 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 状況記憶型コンテンツ管理装置及び方法
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
IL173361A (en) * 2005-09-12 2012-03-29 Elbit Systems Ltd Display system near the eye
US7480422B2 (en) 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
JP4042780B2 (ja) * 2005-11-04 2008-02-06 オムロン株式会社 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9958934B1 (en) * 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7889178B2 (en) 2006-09-08 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable resolution for optical pointing device
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4936522B2 (ja) 2006-09-29 2012-05-23 キヤノン株式会社 画像処理方法、画像処理装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2008153599A1 (en) 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
US7903166B2 (en) 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
US20080303811A1 (en) 2007-06-07 2008-12-11 Leviathan Entertainment, Llc Virtual Professional
WO2009002567A1 (en) 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US8902227B2 (en) 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8063905B2 (en) 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
US20090177042A1 (en) 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8217995B2 (en) 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
US20090222424A1 (en) 2008-02-26 2009-09-03 Van Benedict Method and apparatus for integrated life through virtual cities
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8063968B2 (en) 2008-07-23 2011-11-22 Lockheed Martin Corporation Device for detecting an image of a nonplanar surface
US9600067B2 (en) * 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
WO2010062479A1 (en) * 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
EP2194418B1 (en) * 2008-12-02 2014-07-02 Saab Ab Head-up display for night vision goggles
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
JP5320133B2 (ja) * 2009-03-31 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ 情報提示システム、情報提示サーバ、通信端末、および情報提示方法
US8487933B2 (en) 2009-03-31 2013-07-16 General Electric Company System and method for multi-segment center point trajectory mapping
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US9511289B2 (en) 2009-07-10 2016-12-06 Valve Corporation Player biofeedback for dynamically controlling a video game state
JP2011022662A (ja) * 2009-07-13 2011-02-03 Sony Ericsson Mobile Communications Ab 携帯電話端末及び情報処理システム
JP5553635B2 (ja) 2009-10-23 2014-07-16 キヤノン株式会社 補償光学装置、撮像装置および補償光学方法、撮像方法
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8780096B2 (en) 2009-11-19 2014-07-15 Panasonic Corporation Scanning image display apparatus
KR101652311B1 (ko) 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
GB2477787B (en) * 2010-02-15 2014-09-24 Marcus Alexander Mawson Cavalier Use of portable electonic devices with head-mounted display devices
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120120103A1 (en) 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
JP5681850B2 (ja) 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8893022B2 (en) 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
CN102472892B (zh) 2010-04-28 2014-07-09 松下电器产业株式会社 扫描型图像显示装置
US8762041B2 (en) * 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP5652037B2 (ja) 2010-07-30 2015-01-14 富士通株式会社 模擬映像生成装置、方法、プログラム
WO2012020527A1 (ja) 2010-08-09 2012-02-16 パナソニック株式会社 光デバイス、及びこれを含む充電システム
US20120127136A1 (en) 2010-08-18 2012-05-24 Kent Displays Incorporated Display device including piezoelectric and liquid crystal layers
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8638364B2 (en) 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US20120212405A1 (en) 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
US8907983B2 (en) * 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8578299B2 (en) 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8743464B1 (en) * 2010-11-03 2014-06-03 Google Inc. Waveguide with embedded mirrors
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9511291B2 (en) * 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8831278B2 (en) 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101545138B1 (ko) 2010-12-23 2015-08-19 에스케이플래닛 주식회사 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
US9348143B2 (en) * 2010-12-24 2016-05-24 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US20120182313A1 (en) 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
WO2012105175A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
EP2691937A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
CA3035118C (en) * 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8508830B1 (en) * 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US20130024819A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
US9015245B1 (en) 2011-07-20 2015-04-21 Google Inc. Experience sharing with commenting
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9191661B2 (en) * 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
EP2771877B1 (en) * 2011-10-28 2017-10-11 Magic Leap, Inc. System and method for augmented and virtual reality
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8879155B1 (en) * 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9316834B2 (en) 2011-11-24 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display device with foveated pixels
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US8894484B2 (en) * 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP5958689B2 (ja) * 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
JP6015250B2 (ja) 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140071163A1 (en) 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US8797340B2 (en) 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9582123B2 (en) 2012-11-26 2017-02-28 Qualcomm Incorporated Dual-mode capacitance sensing in a touch panel sensor
US20140178029A1 (en) 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
KR102050897B1 (ko) 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
CN108628446B (zh) 2013-03-15 2021-10-26 奇跃公司 显示系统和方法
US9049469B2 (en) * 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9911231B2 (en) 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
EP3234920A1 (en) * 2014-12-23 2017-10-25 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20170090194A1 (en) * 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
US10768772B2 (en) * 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US10345594B2 (en) * 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US9927614B2 (en) * 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
EP3436863B1 (en) * 2016-03-31 2024-07-10 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
JP7090601B2 (ja) * 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10338400B2 (en) * 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) * 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
JP7496776B2 (ja) * 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
WO2019104413A1 (en) * 2017-12-03 2019-06-06 Frank Jones Enhancing the performance of near-to-eye vision systems
JP7087481B2 (ja) * 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US10901215B1 (en) * 2018-05-16 2021-01-26 Facebook Technologies, Llc Systems and methods for providing a mobile artificial reality user with environmental awareness
EP4478161A3 (en) * 2018-07-24 2025-03-26 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
SE1950580A1 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
US11537351B2 (en) * 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11726318B2 (en) * 2019-12-10 2023-08-15 Magic Leap, Inc. Increased depth of field for mixed-reality display
US11217024B2 (en) * 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
CA3176984A1 (en) * 2020-05-01 2021-11-04 Mark Harris Wearable near-to-eye vision systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183137A1 (en) 2011-01-13 2012-07-19 The Boeing Company Augmented Collaboration System
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12236023B2 (en) 2022-08-05 2025-02-25 Samsung Electronics Co., Ltd. Electronic apparatus for identifying a control signal based on motion information and control method thereof

Also Published As

Publication number Publication date
US20150235433A1 (en) 2015-08-20
JP7002684B2 (ja) 2022-01-20
AU2019240661A1 (en) 2019-10-24
JP2016522463A (ja) 2016-07-28
US20140306866A1 (en) 2014-10-16
KR20210080605A (ko) 2021-06-30
IL281669A (en) 2021-05-31
JP2024028376A (ja) 2024-03-04
US20150234462A1 (en) 2015-08-20
EP2967322A1 (en) 2016-01-20
IL308285A (en) 2024-01-01
IL298018A (en) 2023-01-01
KR20230044041A (ko) 2023-03-31
JP2017107604A (ja) 2017-06-15
JP2021082310A (ja) 2021-05-27
AU2024203150B2 (en) 2025-05-01
US10163265B2 (en) 2018-12-25
AU2024203150A1 (en) 2024-05-30
US10126812B2 (en) 2018-11-13
AU2014248874B2 (en) 2019-07-11
AU2019240661B2 (en) 2020-04-30
JP2022036160A (ja) 2022-03-04
US10234939B2 (en) 2019-03-19
KR20230173231A (ko) 2023-12-26
US20150234463A1 (en) 2015-08-20
IL259324A (en) 2018-07-31
US10068374B2 (en) 2018-09-04
US20200211291A1 (en) 2020-07-02
AU2023200677B2 (en) 2024-02-15
US20150235429A1 (en) 2015-08-20
IL259325A (en) 2018-07-31
US10629003B2 (en) 2020-04-21
IL308285B2 (en) 2024-11-01
AU2023200677A1 (en) 2023-03-09
CA2905427C (en) 2022-07-12
US20240338909A1 (en) 2024-10-10
JP2019139781A (ja) 2019-08-22
IL281669B (en) 2022-02-01
AU2020210147A1 (en) 2020-08-13
JP7657338B2 (ja) 2025-04-04
EP4193906A1 (en) 2023-06-14
IL259324B (en) 2020-10-29
KR20150126938A (ko) 2015-11-13
KR102387314B1 (ko) 2022-04-14
US10282907B2 (en) 2019-05-07
AU2021258005A1 (en) 2021-11-25
CN105188516B (zh) 2017-12-22
AU2020210147B2 (en) 2021-07-29
US20210335049A1 (en) 2021-10-28
IL313175A (en) 2024-07-01
US20150235610A1 (en) 2015-08-20
WO2014164901A1 (en) 2014-10-09
CA2905427A1 (en) 2014-10-09
IL298018B2 (en) 2024-04-01
US20150235434A1 (en) 2015-08-20
US20150235435A1 (en) 2015-08-20
IL259325B (en) 2021-02-28
IL308285B1 (en) 2024-07-01
US11663789B2 (en) 2023-05-30
JP6556776B2 (ja) 2019-08-07
US12039680B2 (en) 2024-07-16
CA3157218A1 (en) 2014-10-09
CN105188516A (zh) 2015-12-23
KR102516124B1 (ko) 2023-03-29
US11087555B2 (en) 2021-08-10
AU2021258005B2 (en) 2022-11-17
AU2014248874A1 (en) 2015-10-01
US20230252744A1 (en) 2023-08-10
EP2967322A4 (en) 2017-02-08
IL298018B1 (en) 2023-12-01
KR20220050235A (ko) 2022-04-22
IL289419A (en) 2022-02-01
JP6499154B2 (ja) 2019-04-10
JP2025061524A (ja) 2025-04-10

Similar Documents

Publication Publication Date Title
US12039680B2 (en) Method of rendering using a display device
US11601484B2 (en) System and method for augmented and virtual reality

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R17 Change to representative recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R17-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000