[go: up one dir, main page]

JP7660116B2 - パス可能世界のマッピングおよび位置特定 - Google Patents

パス可能世界のマッピングおよび位置特定 Download PDF

Info

Publication number
JP7660116B2
JP7660116B2 JP2022527992A JP2022527992A JP7660116B2 JP 7660116 B2 JP7660116 B2 JP 7660116B2 JP 2022527992 A JP2022527992 A JP 2022527992A JP 2022527992 A JP2022527992 A JP 2022527992A JP 7660116 B2 JP7660116 B2 JP 7660116B2
Authority
JP
Japan
Prior art keywords
user
map
environment
data
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527992A
Other languages
English (en)
Other versions
JPWO2021101844A5 (ja
JP2023503257A (ja
Inventor
エイミー ディドナート，
ジェイムズ キャメロン ペティ，
グリフィス バックリー ヘイゼン，
ジョーダン アレクサンダー カザミアス，
カレン ストールゼンバーグ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023503257A publication Critical patent/JP2023503257A/ja
Publication of JPWO2021101844A5 publication Critical patent/JPWO2021101844A5/ja
Application granted granted Critical
Publication of JP7660116B2 publication Critical patent/JP7660116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Description

（関連出願の相互参照）
本願は、「ＭＡＰＰＩＮＧ ＡＮＤ ＬＯＣＡＬＩＺＡＴＩＯＮ ＯＦ Ａ ＰＡＳＳＡＢＬＥ ＷＯＲＬＤ」と題され、２０１９年１１月１８日に出願された、米国特許出願第６２／９３７０５６号、および「ＭＡＰＰＩＮＧ ＡＮＤ ＬＯＣＡＬＩＺＡＴＩＯＮ ＯＦ Ａ ＰＡＳＳＡＢＬＥ ＷＯＲＬＤ」と題され、２０２０年１月３１日に出願された、米国特許出願第６２／９６８７５１号の優先権の利益を主張する。本願は、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＡＮＤ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ」と題され、２０１５年４月１８日に出願された、米国特許出願第１４／６９０，４０１号に関連する。本願はさらに、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題され、２０１７年１２月２９日号に出願された、米国特許出願第１５／８５９，２７７号、および「ＲＥＣＯＧＮＩＺＩＮＧ ＯＢＪＥＣＴＳ ＩＮ Ａ ＰＡＳＳＡＢＬＥ ＷＯＲＬＤ ＭＯＤＥＬ ＩＮ ＡＮ ＡＵＧＭＥＮＴＥＤ ＯＲ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」と題され、２０１５年５月８日に出願された、米国特許第９，７６７，６１６号に関連する。本願はさらに、「ＷＡＹＰＯＩＮＴ ＣＲＥＡＴＩＯＮ ＩＮ ＭＡＰ ＤＥＴＥＣＴＩＯＮ」と題され、２０１９年６月２１日に出願された、米国特許出願第１６／４４８７４３号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３６８号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３６１号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３７５号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３６３号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３６７号に関連する。本願はさらに、「ＰＯＲＴＩＯＮ ＯＦ Ａ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ ＷＩＴＨ ＧＵＩＤＩＮＧ ＧＲＡＰＨＩＣＳ」と題され、２０１９年１２月９日に出願された、米国意匠特許出願第２９／７１６３６４号に関連する。前述の特許文書の内容は、参照することによってその全体として本明細書に明示的に組み込まれる。
本開示は、概して、１人またはそれを上回るユーザのための双方向仮想または拡張現実環境を促進するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
本開示の実施形態は、１人またはそれを上回るユーザのための仮想または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。
本開示の特徴、目的、および利点のさらなる詳細は、下記の詳細な説明、図面、および請求項に説明される。前述の一般的説明および以下の詳細な説明は両方とも、例示的かつ説明的であって、本開示の範囲に関して限定することを意図するものではない。
いくつかの実施例では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラであって、ユーザに可視のユーザの環境の一部は、ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、ユーザの頭部と関連付けられる場所を備える、原点から、複数のレイキャスティングを生成し、複数のレイキャスティングを分析し、環境のマッピングされていない場所と関連付けられる、レイキャスティングを識別し、マッピングされていない場所と関連付けられるグラフィックを含むように、仮想コンテンツを更新し、ユーザの環境と関連付けられる、データを収集し、マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、ユーザに、データが正常に収集されたことを信号伝達するようにプログラムされる、ハードウェアプロセッサとを含むことができる。
いくつかの実施例では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラであって、ユーザに可視のユーザの環境の一部は、ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、マップのユーザ選択を受信し、ユーザの頭部と関連付けられる場所を備える、原点から、複数のレイキャスティングを生成し、複数のレイキャスティングを分析し、環境のマッピングされていない場所と関連付けられる、レイキャスティングを識別し、マッピングされていない場所と関連付けられるグラフィックを含むように、仮想コンテンツを更新し、ユーザに、グラフィックを観察するように指示し、ユーザの環境と関連付けられる、データを収集し、マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、ユーザに、データが正常に収集されたことを信号伝達し、収集されたデータ内の少なくとも１つのマーカがマップ内の少なくとも１つのマーカに対応することの決定に応答して、マップと関連付けられる、仮想現実コンテンツを表示する、または収集されたデータ内のマーカがマップ内のマーカに対応しないことの決定に応答して、別のマッピングされていない場所に関する該更新、指示、収集、および信号伝達を繰り返すようにプログラムされる、ハードウェアプロセッサとを含むことができる。
いくつかの実施例では、１つまたはそれを上回るハードウェアコンピュータプロセッサと、コンピューティングシステムによってコンピュータ化された方法を実施することが実行可能なソフトウェア命令を記憶する、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有する、コンピューティングシステムによって実施される、ユーザ環境の拡張現実マップを作成または更新する方法であって、ユーザの周囲の複数の方向のそれぞれからの距離データを取得するステップであって、距離データは、物理的オブジェクトが個別の方向において検出された距離を示す、ステップと、閾値距離を超える距離を有する、距離データと関連付けられる、ウェイポイントのランク付けされたリストを作成するステップであって、最大距離と関連付けられる、ウェイポイントは、ランク付けされたリスト内の最初にある、ステップと、ユーザによって装着される拡張現実（ＡＲ）デバイス上で視認するための最高ランク付けされたウェイポイントを参照して位置付けられる、グラフィックを表示するステップであって、グラフィックは、ユーザに、拡張現実マップが不完全である、ユーザ環境のエリアを指示するように構成される、ステップと、ウェイポイントと関連付けられる、ＡＲデバイスによるデータの収集を可能にする、ユーザの移動を検出するステップと、ランク付けされたリスト内に付加的ウェイポイントが残っているかどうかを決定するステップと、付加的ウェイポイントがランク付けされたリスト内に残っていることの決定に応答して、次の最高ランク付けされたウェイポイントを用いて、該表示、検出、および決定を実施するステップとを含む、方法。
いくつかの実施例では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、共有マップにアクセスするための招待を受信し、共有マップへのユーザアクセスを促進し、ユーザの３Ｄ環境を観察するようにユーザを誘導し、ユーザの３Ｄ環境と関連付けられる、データを収集し、共有マップと関連付けられる、データが、ユーザの３Ｄ環境内に見出される場合、共有マップと関連付けられる、コンテンツをロードするようにプログラムされ得る、ハードウェアプロセッサとを含むことができる。
いくつかの実施例では、拡張現実（ＡＲ）システムは、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、マップを更新するためのユーザ入力を受信し、ユーザの３Ｄ環境を観察するようにユーザを誘導し、ユーザの３Ｄ環境と関連付けられる、データを収集し、マップと関連付けられる、マップ品質インデックスを決定し、マップ品質インデックスのインジケーションをＡＲディスプレイ上に表示し、収集されたデータに基づいて、マップを更新し、停止するためのユーザ入力またはマップ品質インデックスが閾値に達することの決定を備える、停止条件を識別することに応答して、ユーザを誘導することを停止するようにプログラムされ得る、ハードウェアプロセッサとを含むことができる。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用される。以下の図面および関連付けられる説明は、本開示の実施形態を例証するために提供され、請求項の範囲を限定するものではない。
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙された利点および目的および他のものを取得する方法をより深く理解するために、上記に簡単に説明された本開示のより詳細な説明が、付随の図面に図示される、その具体的実施形態を参照して与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定として見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
前記ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される外向きに向いたカメラであって、前記ユーザに可視の前記ユーザの環境の一部は、前記ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、
前記ＡＲディスプレイおよび前記外向きに向いたカメラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ユーザの頭部と関連付けられる場所を備える原点から、複数のレイキャスティングを生成することと、
前記複数のレイキャスティングを分析し、前記環境のマッピングされていない場所と関連付けられるレイキャスティングを識別することと、
前記マッピングされていない場所と関連付けられるグラフィックを含むように、前記仮想コンテンツを更新することと、
前記ユーザの環境と関連付けられるデータを収集することと、
前記マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、前記ユーザに、データが正常に収集されたことを信号伝達することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＡＲシステム。
（項目２）
前記ハードウェアプロセッサは、前記ユーザに、前記グラフィックを観察するように指示するように構成される、項目１に記載のＡＲシステム。
（項目３）
前記ハードウェアプロセッサは、前記環境内に付加的マッピングされていない場所が存在することの決定に応答して、前記付加的マッピングされていない場所に関する前記更新、指示、収集、および信号伝達を繰り返すように構成される、項目１または２のいずれか１項に記載のＡＲシステム。
（項目４）
前記更新、指示、収集、および信号伝達は、少なくとも、マッピングされていない場所と関連付けられるデータの最小閾値が取得されるまで、繰り返される、項目１－３のいずれか１項に記載のＡＲシステム。
（項目５）
前記ハードウェアプロセッサはさらに、
前記収集されたデータに基づいて、前記ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するように構成され、前記環境内に付加的マッピングされていない場所が存在するかどうかを決定するステップは、少なくとも１つのＰＣＦが識別されたかどうかの前記決定に基づく、項目１－４のいずれか１項に記載のＡＲシステム。
（項目６）
前記ハードウェアプロセッサはさらに、
少なくとも１つのＰＣＦの存在の決定に応答して、前記少なくとも１つのＰＣＦを含む保存されたマップと関連付けられるコンテンツをロードするように構成される、項目１－５のいずれか１項に記載のＡＲシステム。
（項目７）
前記複数のレイキャスティングを分析するために、前記ハードウェアプロセッサは、レイキャスティングに関して、
前記レイキャスティングに沿ったメッシュの存在を決定することと、
前記レイキャスティングに沿った前記メッシュの距離を計算することと、
前記メッシュの存在、前記コンテンツの存在、および前記メッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備えるレイキャスティングタイプを決定することと
を行うように構成される、項目１－６のいずれか１項に記載のＡＲシステム。
（項目８）
前記コンテンツタイプは、前記ユーザおよび他の観察されない場所のうちの少なくとも１つからの最大距離内のメッシュ上にコンテンツを伴うレイキャスティングを備える、項目７に記載のＡＲシステム。
（項目９）
前記最大距離は、２メートルである、項目８に記載のＡＲシステム。
（項目１０）
前記無コンテンツタイプは、前記最大距離内のメッシュ上に無コンテンツを伴うレイキャスティングを備える、項目７－９のいずれか１項に記載のＡＲシステム。
（項目１１）
前記観察されないタイプは、前記最大距離内に未知のコンテンツを伴うレイキャスティングを備える、項目７－１０のいずれか１項に記載のＡＲシステム。
（項目１２）
前記ハードウェアプロセッサは、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目１－１２のいずれか１項に記載のＡＲシステム。
（項目１３）
前記ハードウェアプロセッサは、前記グラフィックを前記観察されない場所に生成することに先立って、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目１２に記載のＡＲシステム。
（項目１４）
前記ハードウェアプロセッサは、
前記ユーザに、前記ユーザのＦＯＶの中心における前記グラフィックを観察するように指示することと、
前記ユーザに、データが前記少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達することと
を行うように構成され、
前記収集されたデータは、前記ユーザのＦＯＶの中心と関連付けられるデータを備える、項目１２－１３のいずれか１項に記載のＡＲシステム。
（項目１５）
前記ユーザに、データが前記観察されない場所において正常に収集されたことを信号伝達するために、前記ハードウェアプロセッサは、前記グラフィックと関連付けられるアニメーションを前記観察されない場所に表示するように構成される、項目１－１４のいずれか１項に記載のＡＲシステム。
（項目１６）
前記アニメーションを表示するために、前記ＡＲシステムは、
前記グラフィックと関連付けられる少なくとも１つのバブルを生成することと、
前記少なくとも１つのバブルと関連付けられる衝突軌道を決定することと、
前記少なくとも１つのバブルを、前記衝突軌道に沿って、前記ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化することと、
前記少なくとも１つのバブルと前記メッシュの衝突を表示することと
を行うように構成される、項目１５に記載のＡＲシステム。
（項目１７）
ユーザに、前記グラフィックを観察するように指示するために、前記ハードウェアプロセッサは、前記ユーザの位置に対する前記観察されない場所に基づいて、インジケータリングを表示するように構成される、項目１－１６のいずれか１項に記載のＡＲシステム。
（項目１８）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
前記ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される外向きに向いたカメラであって、前記ユーザに可視の前記ユーザの環境の一部は、前記ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、
前記ＡＲディスプレイおよび前記外向きに向いたカメラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
マップのユーザ選択を受信すること、
前記ユーザの頭部と関連付けられる場所を備える原点から、複数のレイキャスティングを生成すること、
前記複数のレイキャスティングを分析し、前記環境のマッピングされていない場所と関連付けられるレイキャスティングを識別すること、
前記マッピングされていない場所と関連付けられるグラフィックを含むように、前記仮想コンテンツを更新すること、
前記ユーザに、前記グラフィックを観察するように指示すること、
前記ユーザの環境と関連付けられるデータを収集すること、
前記マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、前記ユーザに、データが正常に収集されたことを信号伝達すること、
前記収集されたデータ内の少なくとも１つのマーカが前記マップ内の少なくとも１つのマーカに対応することの決定に応答して、前記マップと関連付けられる仮想現実コンテンツを表示すること、または
前記収集されたデータ内のマーカが前記マップ内のマーカに対応しないことの決定に応答して、別のマッピングされていない場所に関する前記更新、指示、収集、および信号伝達を繰り返すこと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＡＲシステム。
（項目１９）
前記少なくとも１つのマーカは、少なくとも１つのＰＣＦを備える、項目１８に記載のＡＲシステム。
（項目２０）
前記複数のレイキャスティングを分析するために、前記ハードウェアプロセッサは、レイキャスティングに関して、
前記レイキャスティングに沿ったメッシュの存在を決定することと、
前記レイキャスティングに沿った前記メッシュの距離を計算することと、
前記メッシュの存在、前記コンテンツの存在、および前記メッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備えるレイキャスティングタイプを決定することと
を行うように構成される、項目１８－１９のいずれか１項に記載のＡＲシステム。
（項目２１）
前記コンテンツタイプは、前記ユーザおよび他の観察されない場所のうちの少なくとも１つからの最大距離内のメッシュ上にコンテンツを伴うレイキャスティングを備える、項目２０に記載のＡＲシステム。
（項目２２）
前記最大距離は、２メートルである、項目２１に記載のＡＲシステム。
（項目２３）
前記無コンテンツタイプは、前記最大距離内のメッシュ上に無コンテンツを伴うレイキャスティングを備える、項目２０－２２のいずれか１項に記載のＡＲシステム。
（項目２４）
前記観察されないタイプは、前記最大距離内に未知のコンテンツを伴うレイキャスティングを備える、項目２０－２３のいずれか１項に記載のＡＲシステム。
（項目２５）
前記ハードウェアプロセッサは、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目１８－２４のいずれか１項に記載のＡＲシステム。
（項目２６）
前記ハードウェアプロセッサは、前記グラフィックを前記観察されない場所に生成することに先立って、前記グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目２５に記載のＡＲシステム。
（項目２７）
前記ハードウェアプロセッサは、
前記ユーザに、前記ユーザのＦＯＶの中心における前記グラフィックを観察するように指示することと、
前記ユーザに、データが前記少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達することと
を行うように構成され、
前記収集されたデータは、前記ユーザのＦＯＶの中心と関連付けられるデータを備える、項目２５－２６のいずれか１項に記載のＡＲシステム。
（項目２８）
前記ユーザに、データが前記観察されない場所において正常に収集されたことを信号伝達するために、前記ハードウェアプロセッサは、前記グラフィックと関連付けられるアニメーションを前記観察されない場所に表示するように構成される、項目１８－２７のいずれか１項に記載のＡＲシステム。
（項目２９）
前記アニメーションを表示するために、前記ＡＲシステムは、
前記グラフィックと関連付けられる少なくとも１つのバブルを生成することと、
前記少なくとも１つのバブルと関連付けられる衝突軌道を決定することと、
前記少なくとも１つのバブルを、前記衝突軌道に沿って、前記ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化することと、
前記少なくとも１つのバブルと前記メッシュの衝突を表示することと
を行うように構成される、項目２８に記載のＡＲシステム。
（項目３０）
ユーザに、前記グラフィックを観察するように指示するために、前記ハードウェアプロセッサは、前記ユーザの位置に対する前記観察されない場所に基づいて、インジケータリングを表示するように構成される、項目１８－２９のいずれか１項に記載のＡＲシステム。
（項目３１）
ユーザ環境の拡張現実マップを作成または更新する方法であって、前記方法は、１つまたはそれを上回るハードウェアコンピュータプロセッサと、コンピューティングシステムによってコンピュータ化された方法を実施するために実行可能なソフトウェア命令を記憶する１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有するコンピューティングシステムによって実施され、
ユーザの周囲の複数の方向のそれぞれからの距離データを取得することであって、前記距離データは、物理的オブジェクトが個別の方向において検出された距離を示す、ことと、
閾値距離を超える距離を有する距離データと関連付けられるウェイポイントのランク付けされたリストを作成することであって、最大距離と関連付けられるウェイポイントは、前記ランク付けされたリスト内の最初にある、ことと、
ユーザによって装着される拡張現実（ＡＲ）デバイス上で視認するための最高ランク付けされたウェイポイントを参照して位置付けられるグラフィックを表示することであって、前記グラフィックは、前記ユーザに、前記拡張現実マップが不完全である前記ユーザ環境のエリアを指示するように構成される、ことと、
ウェイポイントと関連付けられる前記ＡＲデバイスによるデータの収集を可能にする前記ユーザの移動を検出することと、
前記ランク付けされたリスト内に付加的ウェイポイントが残っているかどうかを決定することと、
付加的ウェイポイントが前記ランク付けされたリスト内に残っていることの決定に応答して、次の最高ランク付けされたウェイポイントを用いて、前記表示、検出、および決定を実施することと
を含む、方法。
（項目３２）
前記ランク付けされたリストは、６つのウェイポイントを備える、項目３１に記載の方法。
（項目３３）
前記表示、検出、および決定は、少なくとも、データの最小閾値が収集されるまで、繰り返される、項目３１または３２に記載の方法。
（項目３４）
前記収集されたデータに基づいて、前記ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定することをさらに含む、項目３１－３３のいずれか１項に記載の方法。
（項目３５）
少なくとも１つのＰＣＦの存在の決定に応答して、前記少なくとも１つのＰＣＦを含む保存されたマップと関連付けられるコンテンツをロードすることを含む、項目３１－３４のいずれか１項に記載の方法。
（項目３６）
グラフィックを前記ユーザのＦＯＶの中心に表示することを含む、項目３１－３５のいずれか１項に記載の方法。
（項目３７）
前記ハードウェアプロセッサは、前記最高ランク付けされたウェイポイントを参照して位置付けられる前記グラフィックを生成することに先立って、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目３６に記載の方法。
（項目３８）
前記ユーザのＦＯＶの中心と関連付けられる前記ＡＲデバイスによるデータの収集を可能にする前記ユーザの移動を検出することを含む、項目３６または３７に記載の方法。
（項目３９）
前記最高ランク付けされたウェイポイントを参照して位置付けられるグラフィックと関連付けられるアニメーションを表示することを含む、項目３１－３８のいずれか１項に記載の方法。
（項目４０）
前記アニメーションを表示することは、
前記グラフィックと関連付けられる少なくとも１つのバブルを生成することと、
前記少なくとも１つのバブルと関連付けられる衝突軌道を決定することと、
前記少なくとも１つのバブルを、前記衝突軌道に沿って、前記ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化することと、
前記少なくとも１つのバブルと前記メッシュの衝突を表示することと
を含む、項目３９に記載の方法。
（項目４１）
前記ユーザを前記ウェイポイントに誘導することを含む、項目３１－４０のいずれか１項に記載の方法。
（項目４２）
前記ユーザを誘導することは、インジケータリングを表示することを含む、項目４１に記載の方法。
（項目４３）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
前記ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される外向きに向いたカメラと、
前記ＡＲディスプレイおよび前記外向きに向いたカメラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
共有マップにアクセスするための招待を受信することと、
前記共有マップへのユーザアクセスを促進することと、
前記ユーザの３Ｄ環境を観察するようにユーザを誘導することと、
前記ユーザの３Ｄ環境と関連付けられるデータを収集することと、
前記共有マップと関連付けられるデータが、前記ユーザの３Ｄ環境内に見出される場合、前記共有マップと関連付けられるコンテンツをロードすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＡＲシステム。
（項目４４）
前記ハードウェアプロセッサはさらに、
前記収集されたデータに基づいて、前記ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するように構成され、前記共有マップと関連付けられるデータが、前記ユーザの３Ｄ環境内に見出されるかどうかを決定することは、前記共有マップと関連付けられる少なくとも１つのＰＣＦが、前記収集されたデータ内で識別されたかどうかの決定に基づく、項目４３に記載のＡＲシステム。
（項目４５）
コンテンツをロードするために、前記ハードウェアプロセッサは、少なくとも１つのＰＣＦの存在の決定に応答して、前記少なくとも１つのＰＣＦを含む前記共有マップと関連付けられるコンテンツをロードするように構成される、項目４３－４４のいずれか１項に記載のＡＲシステム。
（項目４６）
前記ハードウェアプロセッサは、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目４３－４５のいずれか１項に記載のＡＲシステム。
（項目４７）
前記ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目４６に記載のＡＲシステム。
（項目４８）
前記ハードウェアプロセッサは、
前記ユーザに、前記ユーザのＦＯＶの中心における前記グラフィックを観察するように指示することと、
前記ユーザに、データが前記少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達することと
を行うように構成され、
前記収集されたデータは、前記ユーザのＦＯＶの中心と関連付けられるデータを備える、項目４３－４７のいずれか１項に記載のＡＲシステム。
（項目４９）
前記ユーザに、データが前記観察されない場所において正常に収集されたことを信号伝達するために、前記ハードウェアプロセッサは、前記グラフィックと関連付けられるアニメーションを前記観察されない場所に表示するように構成される、項目４３－４８のいずれか１項に記載のＡＲシステム。
（項目５０）
前記アニメーションを表示するために、前記ＡＲシステムは、
前記グラフィックと関連付けられる少なくとも１つのバブルを生成することと、
前記少なくとも１つのバブルと関連付けられる衝突軌道を決定することと、
前記少なくとも１つのバブルを、前記衝突軌道に沿って、前記ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化することと、
前記少なくとも１つのバブルと前記メッシュの衝突を表示することと
を行うように構成される、項目４９に記載のＡＲシステム。
（項目５１）
前記共有マップは、前記ＡＲディスプレイの外部の場所に記憶されるマップを備える、項目４３－５０のいずれか１項に記載のＡＲシステム。
（項目５２）
前記共有マップは、複数のＡＲデバイスまたは複数のユーザにアクセス可能なマップを備える、項目４３－５１のいずれか１項に記載のＡＲシステム。
（項目５３）
ユーザに、前記グラフィックを観察するように指示するために、前記ハードウェアプロセッサは、前記ユーザの位置に対する前記観察されない場所に基づいて、インジケータリングを表示するように構成される、項目４３－５２のいずれか１項に記載のＡＲシステム。
（項目５４）
前記ハードウェアプロセッサは、
記憶するためのマップを識別することと、
デバイス上記憶装置またはデバイス外記憶装置を備える記憶場所を決定することと、
前記識別されたマップと関連付けられる１つまたはそれを上回るユーザ許可を決定することであって、前記１つまたはそれを上回るユーザ許可は、１人またはそれを上回るユーザが前記識別されたマップにアクセスするための認可を備える、ことと、
前記決定された記憶場所および決定された１つまたはそれを上回るユーザ許可に基づいて、前記識別されたマップを記憶することと
を行うように構成される、項目４３－５３のいずれか１項に記載のＡＲシステム。
（項目５５）
拡張現実（ＡＲ）システムであって、
仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
前記ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される外向きに向いたカメラと、
前記ＡＲディスプレイおよび前記外向きに向いたカメラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
マップを更新するためのユーザ入力を受信することと、
前記ユーザの３Ｄ環境を観察するようにユーザを誘導することと、
前記ユーザの３Ｄ環境と関連付けられるデータを収集することと、
前記マップと関連付けられるマップ品質インデックスを決定することと、
前記マップ品質インデックスのインジケーションを前記ＡＲディスプレイ上に表示することと、
前記収集されたデータに基づいて、前記マップを更新することと、
停止するためのユーザ入力または前記マップ品質インデックスが閾値に達することの決定を備える停止条件を識別することに応答して、前記ユーザを誘導することを停止することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＡＲシステム。
（項目５６）
前記マップ品質インデックスは、関連付けられる収集されたデータを有する前記３Ｄ環境のパーセンテージに基づく、項目５５に記載のＡＲシステム。
（項目５７）
前記ハードウェアプロセッサは、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目５５－５６のいずれか１項に記載のＡＲシステム。
（項目５８）
前記ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックを前記ユーザのＦＯＶの中心に表示するように構成される、項目５７に記載のＡＲシステム。
（項目５９）
前記ハードウェアプロセッサは、
前記ユーザに、前記ユーザのＦＯＶの中心における前記グラフィックを観察するように指示することと、
前記ユーザに、データが少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達することと
を行うように構成され、
前記収集されたデータは、前記ユーザのＦＯＶの中心と関連付けられるデータを備える、項目５５－５８のいずれか１項に記載のＡＲシステム。
（項目６０）
前記ユーザに、データが前記観察されない場所において正常に収集されたことを信号伝達するために、前記ハードウェアプロセッサは、前記グラフィックと関連付けられるアニメーションを前記観察されない場所に表示するように構成される、項目５５－５９のいずれか１項に記載のＡＲシステム。
（項目６１）
前記アニメーションを表示するために、前記ＡＲシステムは、
前記グラフィックと関連付けられる少なくとも１つのバブルを生成することと、
前記少なくとも１つのバブルと関連付けられる衝突軌道を決定することと、
前記少なくとも１つのバブルを、前記衝突軌道に沿って、前記ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化することと、
前記少なくとも１つのバブルと前記メッシュの衝突を表示することと
を行うように構成される、項目６０に記載のＡＲシステム。
（項目６２）
ユーザに、前記グラフィックを観察するように指示するために、前記ハードウェアプロセッサは、前記ユーザの位置に対する前記観察されない場所に基づいて、インジケータリングを表示するように構成される、項目５５－６１のいずれか１項に記載のＡＲシステム。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、例示的ウェイポイントシステムの実施形態を実装し得る、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、例示的ウェイポイントシステムの実施形態を含む、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２は、相互に相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。
図１３Ａは、いくつかの実施形態による、ユーザが物理的世界環境を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着しているユーザを図示する、概略図である。
図１３Ｂは、いくつかの実施形態による、視認光学系アセンブリおよび付帯コンポーネントを図示する、概略図である。
図１３Ｃは、いくつかの実施形態による、世界再構築システムを使用するＡＲシステムを図示する、概略図である。
図１３Ｄは、いくつかの実施形態による、パス可能世界のモデルを維持する、ＡＲシステムのコンポーネントを図示する、概略図である。
図１４は、いくつかの実施形態による、持続座標フレーム（ＰＣＦ）の作成およびＸＲコンテンツのＰＣＦへの結付を図示する、ブロック図である。
図１５は、いくつかの実施形態による、ＰＣＦを確立および使用する方法を図示する、フローチャートである。
図１６は、いくつかの実施形態による、第２のＸＲデバイスを含む、図８のＸＲシステムのブロック図である。
図１７は、いくつかの実施形態による、部屋と、部屋内の種々のエリアのために確立される、キーフレームとを図示する、概略図である。
図１８は、いくつかの実施形態による、キーフレームに基づく、持続姿勢の確立を図示する、概略図である。
図１９は、いくつかの実施形態による、持続姿勢に基づく、持続座標フレーム（ＰＣＦ）の確立を図示する、概略図である。
図２０Ａ－２０Ｃは、いくつかの実施形態による、ＰＣＦを作成する実施例を図示する、概略図である。
図２１は、マップ作成プロセスの例示的ブロック図を図示する。
図２２Ａは、新しいユーザのための例示的マップ作成フローを図示する。
図２２Ｂは、既存のユーザのための例示的マップ作成フローを図示する。
図２３Ａは、例示的再位置特定プロセスの例示的フローチャートを図示する。
図２３Ｂは、例示的再位置特定フローを図示する。
図２４Ａは、例示的マップ許可および／または記憶フローを図示する。
図２４Ｂ－１、２４Ｂ－２、および２４Ｂ－３は、マップ許可および／または記憶構成の種々の実施例を図示する。 図２４Ｂ－１、２４Ｂ－２、および２４Ｂ－３は、マップ許可および／または記憶構成の種々の実施例を図示する。 図２４Ｂ－１、２４Ｂ－２、および２４Ｂ－３は、マップ許可および／または記憶構成の種々の実施例を図示する。
図２５Ａ－２５Ｈは、ローカル再位置特定およびマップ作成を含む、ローカルマップとの例示的ユーザ相互作用を図示する。 図２５Ａ－２５Ｈは、ローカル再位置特定およびマップ作成を含む、ローカルマップとの例示的ユーザ相互作用を図示する。 図２５Ａ－２５Ｈは、ローカル再位置特定およびマップ作成を含む、ローカルマップとの例示的ユーザ相互作用を図示する。 図２５Ａ－２５Ｈは、ローカル再位置特定およびマップ作成を含む、ローカルマップとの例示的ユーザ相互作用を図示する。
図２６Ａは、例示的環境同期フローを図示する。
図２６Ｂおよび２６Ｃは、共有マップの中への位置特定の例示的プロセスを図示する。 図２６Ｂおよび２６Ｃは、共有マップの中への位置特定の例示的プロセスを図示する。
図２７は、例示的マップキュレーションフローを図示する。
図２８は、ＡＲシステムによって実装され得る、例示的走査プロセスを図示する。
図２９は、例示的ウェイポイントスポーンプロセスを図示する。
図３０は、例示的ウェイポイント誘導プロセスの例示的フローチャートを図示する。
図３１Ａおよび３１Ｂは、例示的インジケータリングを図示する。
図３２は、例示的ウェイポイントアクティブ化プロセスを図示する。
図３３は、例示的ウェイポイントアニメーションプロセスを図示する。
図３４Ａ－３４Ｃは、例示的ウェイポイントアニメーションプロセスの例示的段階を図示する。 図３４Ａ－３４Ｃは、例示的ウェイポイントアニメーションプロセスの例示的段階を図示する。 図３４Ａ－３４Ｃは、例示的ウェイポイントアニメーションプロセスの例示的段階を図示する。
詳細な説明
Ａ． 緒言
仮想および拡張現実環境は、部分的に、環境を説明する、データを使用して、コンピュータによって生成される。本データは、例えば、それを用いてユーザが感知および相互作用し得る、種々のオブジェクトを説明し得る。これらのオブジェクトの実施例は、ユーザが見るためにレンダリングおよび表示される、オブジェクトと、ユーザが聞くために再生される、オーディオと、ユーザが感じるための触覚的（または触知）フィードバックとを含む。ユーザは、種々の視覚的、聴覚的、および触覚的方法を通して、仮想および拡張現実環境を感知し、それと相互作用し得る。
仮想または拡張現実（ＡＲ）システムは、多くの用途に有用であり得、科学的可視化、医学および軍事訓練、工学設計およびプロトタイピング、遠隔操作およびテレプレゼンス、およびパーソナルエンターテインメントの分野に及ぶ。拡張現実は、仮想現実と対照的に、物理的世界の実オブジェクトに関連して１つまたはそれを上回る仮想オブジェクトを備える。そのような体験は、拡張現実システムを用いたユーザの体験および享受性を大幅に向上させ、また、ユーザが実オブジェクトおよび仮想オブジェクトを同時に体験することを可能にする、種々の用途に関する門戸を開放する。
しかしながら、そのようなシステムを提供する際、有意な課題が存在する。現実的拡張現実体験をユーザに提供するために、ＡＲシステムは、常時、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。さらに、ＡＲシステムはユーザの頭部、身体等に関連して仮想オブジェクトを位置付ける方法を正しく把握しなければならない。これは、常時、世界に関連してユーザの位置の広範な知識を要求する。加えて、これらの機能は、有利なこととして、コスト（例えば、エネルギーコスト等）が、低く保たれながら、速度および性能が維持されるような様式において実施されるべきである。
したがって、現実的拡張現実体験をユーザに提供するための改良されたシステムの必要がある。
Ｂ． ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、ＡＲデバイス（ＡＲＤ）と同義的に使用される。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１１２を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１１２上に立っているロボット像１１４と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができ、本明細書に説明される例示的ウェイポイントシステムの実施形態を含むことができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイを備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられることができる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに向いた結像システム４６２（図４に示される）を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡し得る。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムまたは外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、またはｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４を遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２７０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを含んでもよい。遠隔データリポジトリ２８０は、デジタルデータ記憶設備を含むことができ、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。データが、記憶されることができ、算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にすることができる。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度面に対して遠近調節された状態にあるときに合焦するように、関連付けられる焦点距離を有する、深度面３０６のうちの特定の１つと関連付けられると言え得る。３次元画像が、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされることができる。例証を明確にするために、別個であるものとして示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるものとして示される、深度面の等高線は、深度面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
Ｃ． 導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応することができ、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されることができる。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。特徴４５８、４５６、４５４、４５２は、レンズであってもよい。特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、クラッディング層または空気間隙を形成するための構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイであることができる。加えて、または代替として、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端であることができる。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含むことができる。コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光再指向要素に衝打する場所に出力されることができる。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、材料のその部品の表面上および／またはその内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度面に対応する画像を形成するように構成されることができる。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。加えて、または代替として、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向し、かつ導波管と関連付けられる特定の深度面のための適切な発散またはコリメーション量を用いて本光を出力することの両方のために構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交点で、眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一パターンの出射放出となることができる。
１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第１の深度面および第２の深度面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされ得る。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、１つまたはそれを上回る他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するため等に、外向きに向いた結像システム４６４およびオーディオセンサ２３２の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用し、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名称または他の人口統計情報）を決定することができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６２（例えば、デジタルカメラ）を含むことができる。内向きに向いた結像システム４６２は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに向いた結像システム４６２は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定され得る。内向きに向いた結像システム４６２によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。加えて、または代替として、ウェアラブルシステム４００は、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射することができる。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられる深度面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、光を外部結合し、眼４１０から遠距離（例えば、光学無限遠）における深度面に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つまたはそれを上回る一次平面導波管６３２ａ（１つだけが図６に示される）と、一次導波管６３２ａのうちの少なくともいくつかのそれぞれと関連付けられる、１つまたはそれを上回るＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられる少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似する、または同じであり得る。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似する、または同じであり得る。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つまたはそれを上回る着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外面または外周、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内周、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填するエリア内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光が、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、ＴＩＲを介して、光の一部を分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合される、本垂直拡張された光は、一次平面導波管６３２ｂの縁に入射することができる。
一次導波管６３２ｂに入射する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利なこととして、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利なこととして、ビームの光の一部のみが、ＤＯＥ６３２ａの各交点で視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルにマッチングする角度に操向することの両方を行うことができる。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利なこととして、複数の深度面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
Ｄ． ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
Ｅ． 例示的ウェアラブルシステム、環境、およびインターフェース
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つまたはそれを上回るユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに向いた結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つまたはそれを上回るオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルで常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップ９２０を備え、これは、世界に関するマップデータを含有する、マップデータベース７１０を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップ９２０からのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含め、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）、画像カメラから入手された画像、または手ジェスチャ／トーテム９５０が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大点群に対して）かつ要約しやすい入力であり得る。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９１０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、または種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報を含んでもよく、世界マップは、複合現実に対する別の有用な入力となることができる。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを捲る、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼カメラは、眼追跡を実施し、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法も、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等、眼追跡のために使用されることができる。
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム９００は、発話している人物（例えば、発話がＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術および言われていることを決定するための発話認識技術を組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化等を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、発話のコンテンツを認識することができる。ある場合には、発話は、複数の源から、例えば、ユーザの近傍の別の人物から、人物の近傍で放送されているテレビ上のアナウンサーから、およびスピーカ２４０を介してＡＲＤのユーザに再生されている発話コンテンツから生じるであろう。以下にさらに説明されるように、これらの異なる発話源（例えば、本実施例では、人物、テレビのアナウンサー、およびオーディオストリーム）は、コンテンツ分析されてもよく、異なる話題が、ＡＲＤのユーザインターフェースによって、ユーザに異なるように提示され得る（例えば、異なるスレッドの中に編成される異なる話題、異なるスレッドの中に編成される異なる話者による発話、またはこれらの組み合わせ）。
ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者がウェアラブルシステム９００のユーザ２１０またはユーザが会話している別の人物であるかどうか等の話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、頻度推定、隠れマルコフモデル、ガウス混合モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
ウェイポイントマッピングシステム９７０の実装は、ユーザインターフェース（ＵＩ）を介して、これらのユーザ制御または入力を使用することができる。ＵＩ要素（例えば、制御、ポップアップウィンドウ、バブル、データエントリフィールド等）が、使用され、例えば、補助情報の表示を閉じる、または単語を一般的単語辞書に追加することができる。ウェイポイントマッピングシステム９７０のそのような実装およびこれらの使用の実施例は、図１３－２４を参照して説明される。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つまたはそれを上回るテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに向いた結像システムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つまたはそれを上回るカメラを使用して（例えば、内向きに向いた結像システム４６２または外向きに向いた結像システム４６４を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。方法１１００の実施形態は、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出するためにウェアラブルシステムによって使用されることができる。
ブロック１１０１では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって決定されてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ＵＩは、セキュリティシナリオに特有であることができ、システムの装着者は、ドキュメントを装着者に提示するユーザを観察する（例えば、旅客検問所において）。ブロック１１０５では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられるデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ている間、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示する旅行者を囲繞しているかのように表示され得る。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１１１５では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１２５では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１３５において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６５）、コマンドと関連付けられる仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７５）。
ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
Ｆ． ウェアラブルシステム間の例示的通信
図１２は、相互に相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境１２００は、ユーザデバイス１２３０ａ、１２３０ｂ、１２３０ｃを含む。ユーザデバイス１２３０ａ、１２３０ｂ、および１２３０ｃは、ネットワーク１２９０を通して、相互に通信することができる。ユーザデバイス１２３０ａ－１２３０ｃはそれぞれ、ネットワークインターフェースを含み、ネットワーク１２９０を介して、遠隔コンピューティングシステム１２２０（また、ネットワークインターフェース１２７１を含んでもよい）と通信することができる。ネットワーク１２９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他のネットワークであってもよい。コンピューティング環境１２００はまた、１つまたはそれを上回る遠隔コンピューティングシステム１２２０を含むことができる。遠隔コンピューティングシステム１２２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。ユーザデバイス１２３０ａ、１２３０ｂ、および１２３０ｃは、ネットワーク１２９０を介して、遠隔コンピューティングシステム１２２０と通信してもよい。
遠隔コンピューティングシステム１２２０は、遠隔データリポジトリ１２８０を含んでもよく、これは、具体的ユーザの物理的または仮想世界についての情報を維持することができる。遠隔データリポジトリは、図２に示される遠隔データリポジトリ２８０の実施形態であってもよい。遠隔コンピューティングシステム１２２０はまた、遠隔処理モジュール１２７０を含んでもよい。遠隔処理モジュール１２７０は、図２に示される遠隔処理モジュール２７０の実施形態であってもよい。遠隔処理モジュール１２７０は、１つまたはそれを上回るプロセッサを含んでもよく、これは、ユーザデバイス（１２３０ａ、１２３０ｂ、１２３０ｃ）および遠隔データリポジトリ１２８０と通信することができる。プロセッサは、ユーザデバイスおよび他の源から取得される情報を処理することができる。処理または記憶の少なくとも一部は、ローカル処理およびデータモジュール２６０（図２に示されるように）によって提供されることができる。遠隔コンピューティングシステム１２２０は、所与のユーザが、具体的ユーザ自身の物理的または仮想世界についての情報を別のユーザと共有することを可能にしてもよい。
ユーザデバイスは、単独で、または組み合わせて、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。例えば、ユーザデバイス１２３０ｂおよび１２３０ｃは、図２に示されるウェアラブルシステム２００（または図４に示されるウェアラブルシステム４００）の実施形態であってもよく、これは、ＡＲ／ＶＲ／ＭＲコンテンツを提示するように構成されることができる。
ユーザデバイスのうちの１つまたはそれを上回るものは、図４に示されるユーザ入力デバイス４６６と併用されることができる。ユーザデバイスは、ユーザおよびユーザの環境についての情報を取得することができる（例えば、図４に示される外向きに向いた結像システム４６４を使用して）。ユーザデバイスまたは遠隔コンピューティングシステム１２２０は、ユーザデバイスから取得される情報を使用して、画像、点、および他の情報の集合を構築、更新、および建造することができる。例えば、ユーザデバイスは、入手された未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスはまた、処理のために、未加工情報を遠隔コンピューティングシステム１２２０に送信してもよい。ユーザデバイスは、処理された情報を遠隔コンピューティングシステム１２２０から受信し、ユーザに投影させる前に、最終処理を提供してもよい。ユーザデバイスはまた、取得された情報を処理し、処理された情報を他のユーザデバイスに渡してもよい。ユーザデバイスは、入手された情報を処理しながら、遠隔データリポジトリ１２８０と通信してもよい。複数のユーザデバイスまたは複数のサーバコンピュータシステムが、入手された画像の構築または処理に関与してもよい。
物理的世界に関する情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集される情報に基づいてもよい。仮想世界のモデルはまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称され得る。図７および９を参照して説明されるように、ユーザデバイスによって入手された情報は、世界マップ１２１０を構築するために使用されてもよい。世界マップ１２１０は、図９に説明されるマップ９２０の少なくとも一部を含んでもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトおよびタグ画像を認識するため、および意味論情報をオブジェクトに付加するために使用されてもよい。これらのオブジェクト認識装置はまた、図７に説明される。
遠隔データリポジトリ１２８０は、データを記憶し、世界マップ１２１０の構造を促進するために使用されることができる。ユーザデバイスは、ユーザの環境についての情報を常に更新し、世界マップ１２１０についての情報を受信することができる。世界マップ１２１０は、ユーザまたは別の人物によって作成されてもよい。本明細書に議論されるように、ユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）および遠隔コンピューティングシステム１２２０は、単独で、または組み合わせて、世界マップ１２１０を構築または更新してもよい。例えば、ユーザデバイスは、遠隔処理モジュール１２７０および遠隔データリポジトリ１２８０と通信してもよい。ユーザデバイスは、ユーザおよびユーザの環境についての情報を入手または処理してもよい。遠隔処理モジュール１２７０は、遠隔データリポジトリ１２８０およびユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム１２２０は、例えば、ユーザの画像を選択的にクロッピングする、ユーザの背景を修正する、仮想オブジェクトをユーザの環境に追加する、ユーザの発話に補助情報で注釈を付ける等、ユーザデバイス（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ）によって入手された情報を修正することができる。遠隔コンピューティングシステム１２２０は、処理された情報を同一または異なるユーザデバイスに送信することができる。
Ｇ． 例示的マップ
図１３Ａは、ユーザ１３３１が物理的世界環境１３３３（以降、「環境１３３３」と称される）を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着している、ユーザ１３３１を図示する。ユーザの移動経路に沿ってＡＲシステムによって捕捉された情報は、１つまたはそれを上回る追跡マップの中に処理されてもよい。ユーザ１３３１は、ＡＲディスプレイシステムを位置１３３４に位置付け、ＡＲディスプレイシステムは、位置１３３４に対するパス可能世界（例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）の周囲情報を記録する。その情報は、画像、特徴、指向性オーディオ入力、または他の所望のデータと組み合わせて、姿勢として記憶されてもよい。位置１３３４は、例えば、追跡マップの一部として、データ入力１３３６に対して集約され、少なくともパス可能世界モジュール１３３８によって処理され、これは、遠隔処理モジュール上の処理によって実装されてもよい。いくつかの実施形態では、パス可能世界モジュール１３３８は、処理された情報が、レンダリング仮想コンテンツ内で使用される物理的オブジェクトについての他の情報と組み合わせて、物理的世界内のオブジェクトの場所を示し得るように、頭部姿勢コンポーネントと、世界再構築コンポーネントとを含んでもよい。
パス可能世界モジュール１３３８は、データ入力１３３６から決定されるように、少なくとも部分的に、ＡＲコンテンツ１３４０が物理的世界内に設置され得る場所および方法を決定する。ＡＲコンテンツは、ユーザインターフェースを介して、物理的世界の表現およびＡＲコンテンツの両方を提示することによって、物理的世界内に「設置」され、ＡＲコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ＡＲコンテンツが、適切なとき、それらのオブジェクトのユーザのビューを不明瞭にしているかのように提示される。いくつかの実施形態では、ＡＲコンテンツは、固定要素１３４２（例えば、テーブル）の一部を再構築物から適切に選択し、ＡＲコンテンツ１３４０の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上に現れるように位置付けられてもよい。いくつかの実施形態では、ＡＲコンテンツは、現在の視野または推定される将来的視野であり得る、視野１３４４内の構造の中に設置されてもよい。いくつかの実施形態では、ＡＲコンテンツは、物理的世界のモデル１３４６（例えば、メッシュ）に対して持続されてもよい。
描写されるように、固定要素１３４２は、ユーザ１３３１にそれが見える度に、システムが固定要素１３４２にマッピングする必要なく、ユーザ１３３１が固定要素１３４２上にコンテンツを知覚し得るように、パス可能世界モジュール１３３８内に記憶され得る、物理的世界内の任意の固定要素のためのプロキシ（例えば、デジタルコピー）としての役割を果たす。固定要素１３４２は、したがって、前のモデル化セッションからの、または別個のユーザから決定されるものであるものの、複数のユーザによる将来的参照のためにパス可能世界モジュール１３３８によって記憶される、メッシュモデルであってもよい。したがって、パス可能世界モジュール１３３８は、環境１３３３を以前にマッピングされた環境から認識し、ユーザ１３３１のデバイスが環境１３３３の全部または一部を最初にマッピングすることなく、ＡＲコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたＡＲコンテンツの待ち時間を回避し得る。
物理的世界のメッシュモデル１３４６は、ＡＲディスプレイシステムによって作成されてもよく、ＡＲコンテンツ１３４０と相互作用し、表示するための適切な表面およびメトリックは、完全または部分的に、モデルを再作成する必要なく、ユーザ１３３１または他のユーザによる将来的読出のために、パス可能世界モジュール１３３８によって記憶されることができる。いくつかの実施形態では、データ入力１３３６は、パス可能世界モジュール１３３８に、１つまたはそれを上回る固定要素のうちのどの固定要素１３４２が利用可能であるかどうか、固定要素１３４２上に最後に設置されたＡＲコンテンツ１３４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続」コンテンツである）を示すための、地理的場所、ユーザ識別、および現在のアクティビティ等の入力である。
オブジェクトが固定されていると見なされる（例えば、台所のテーブル）、実施形態においてさえ、パス可能世界モジュール１３３８は、物理的世界の変化の可能性を考慮するために、物理的世界のモデル内のそれらのオブジェクトを随時更新してもよい。固定されたオブジェクトのモデルは、非常に低頻度で更新されてもよい。物理的世界内の他のオブジェクトは、移動している、または別様に固定されていると見なされないものであり得る（例えば、台所の椅子）。ＡＲ場面を現実的感覚でレンダリングするために、ＡＲシステムは、これらの非固定オブジェクトの位置を、固定オブジェクトを更新するために使用されるものよりはるかに高い頻度で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ＡＲシステムは、１つまたはそれを上回る画像センサを含む、複数のセンサから情報を引き出してもよい。
図１３Ｂは、視認光学系アセンブリ１３４８および付帯コンポーネントの概略例証である。いくつかの実施形態では、２つの眼追跡カメラ１３５０が、ユーザの眼１３４９に向かって指向され、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼１３４９上の閃光等、ユーザの眼１３４９のメトリックを検出する。
いくつかの実施形態では、センサのうちの１つは、飛行時間センサ等の深度センサ１３５１であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入したかどうかを迅速に決定し得る。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。
いくつかの実施形態では、世界カメラ１３５２は、周辺より広いビューを記録し、マッピングし、および／または別様に、環境１３３３のモデルを作成し、ＡＲコンテンツに影響を及ぼし得る、入力を検出する。いくつかの実施形態では、世界カメラ１３５２および／またはカメラ１３５３は、グレースケールおよび／またはカラー画像センサであってもよく、これは、グレースケールおよび／またはカラー画像フレームを固定される時間インターバルにおいて出力してもよい。カメラ１３５３はさらに、ユーザの視野内の物理的世界画像を具体的時間において捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ１３５２、カメラ１３５３、および深度センサ１３５１はそれぞれ、１３５４、１３５５、および１３５６の個別の視野を有し、物理的世界場面からのデータを収集および記録する。
慣性測定ユニット１３５７は、視認光学系アセンブリ１３４８の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ１３５１は、ユーザの眼１３４９が見ている実際の距離に対する測定された遠近調節の確認として、眼追跡カメラ１３５０に動作可能に結合される。
いくつかの実施形態では、例えば、視認光学系アセンブリ１３４８は、４つの代わりに、２つの世界カメラ１３５２を含んでもよい。代替として、または加えて、カメラ１３５２および１３５３は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ１３４８は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ１３４８は、１つまたはそれを上回る動的視覚センサ（ＤＶＳ）を含んでもよく、そのピクセルは、光強度の相対的変化が閾値を超えることに非同期して応答してもよい。
いくつかの実施形態では、視認光学系アセンブリ１３４８は、飛行時間情報に基づく深度センサ１３５１を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ１３４８は、１つまたはそれを上回るプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク（ＴＤＭ）でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび／または位相検出自動焦点ピクセル（ＰＤＡＦ）および／またはマイクロレンズアレイ（ＭＬＡ）を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ１３５１の代わりに、またはそれに加え、深度情報源としての役割を果たし得る。
また、図１３Ｂにおけるコンポーネントの構成は、実施例として提供されることを理解されたい。視認光学系アセンブリ１３４８は、任意の好適な構成を伴うコンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的な最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ１３４８が、１つの世界カメラ１３５２を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。
視認光学系アセンブリ１３４８内のセンサからの情報は、システム内のプロセッサのうちの１つまたはそれを上回るものに結合されてもよい。プロセッサは、ユーザに仮想コンテンツが物理的世界内のオブジェクトと相互作用するように知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想オブジェクトの両方を描写する、画像データを生成するステップを含め、任意の好適な方法において実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を透かし見る、ディスプレイデバイスの不透明度を変調させることによって、１つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、仮想コンテンツがユーザインターフェースを通して視認されるとき、物理的世界と現実的に相互作用するように、ユーザによって知覚されるように修正され得る（例えば、コンテンツをクリッピングし、オクルージョンを考慮する）、仮想コンテンツのみを含んでもよい。
コンテンツが特定の場所におけるオブジェクトの印象を作成するために表示され得る、視認光学系アセンブリ１３４８上の場所は、視認光学系アセンブリの物理学に依存し得る。加えて、物理的世界に対するユーザの頭部の姿勢およびユーザの眼が見ている方向は、コンテンツが現れるであろう視認光学系アセンブリ上の特定の場所に表示される、物理的世界コンテンツ内の場所に影響を及ぼすであろう。上記に説明されるようなセンサは、センサ入力を受信するプロセッサが、オブジェクトが、視認光学系アセンブリ１３４８上にレンダリングされ、ユーザのために所望の外観を作成すべき場所を算出し得るように、本情報を収集し、および／またはそこから本情報が計算され得る、情報を供給してもよい。
コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルが、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る、仮想オブジェクトの特徴が、正しく算出され得るように、使用され得る。いくつかの実施形態では、モデルは、物理的世界の再構築物、例えば、再構築物１３１８を含んでもよい。
そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい（かつ「クラウド内」にあってもよい）。
モデルは、少なくとも部分的に、例えば、図６Ａにさらに詳細に描写される世界再構築システムによって作成されてもよい。世界再構築コンポーネント５１６は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール１３６０を含んでもよい。いくつかの実施形態では、知覚モジュール１３６０は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表し得る。各ボクセルは、物理的世界内の所定の体積の３Ｄ立方体に対応し、表面情報を含み、ボクセルによって表される体積内に表面が存在するかどうかを示し得る。ボクセルは、その対応する体積が、物理的オブジェクトの表面を含むと決定されている、空であると決定されている、またはセンサを用いてまだ測定されていない、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。空または未知であると決定されたボクセルを示す値は、明示的に記憶される必要はなく、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含め、任意の好適な方法において、コンピュータメモリ内に記憶されてもよいことを理解されたい。
持続される世界表現のための情報を生成することに加え、知覚モジュール１３６０は、ＡＲシステムのユーザの周囲の領域の変化のインジケーションを識別し、出力してもよい。そのような変化のインジケーションは、持続される世界の一部として記憶される立体データへの更新をトリガする、またはＡＲコンテンツを生成し、ＡＲコンテンツを更新する、コンポーネント６０４をトリガする等、他の機能をトリガしてもよい。
いくつかの実施形態では、知覚モジュール１３６０は、符号付き距離関数（ＳＤＦ）モデルに基づいて、変化を識別してもよい。知覚モジュール１３６０は、例えば、深度マップ１３６０ａおよび頭部姿勢１３６０ｂ等のセンサデータを受信し、次いで、センサデータをＳＤＦモデル１３６０ｃに融合させるように構成されてもよい。深度マップ１３６０ａは、直接、ＳＤＦ情報を提供してもよく、画像は、ＳＤＦ情報に到着するように処理されてもよい。ＳＤＦ情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であり得るため、ＳＤＦ情報は、ウェアラブルユニットの視点、したがって、ユーザの視点から物理的世界を表し得る。頭部姿勢１３６０ｂは、ＳＤＦ情報が物理的世界内のボクセルに関連されることを可能にし得る。
いくつかの実施形態では、知覚モジュール１３６０は、知覚範囲内にある、物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定されてもよく、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定されてもよい。具体的実施例として、アクティブＩＲパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、数センチメートルまたは数十センチメートル～数メートルであり得る、センサの観察範囲を作成し得る。
世界再構築コンポーネント５１６は、知覚モジュール１３６０と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、持続される世界モジュール１３６２は、知覚モジュール１３６０によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。持続される世界モジュール１３６２はまた、物理的世界の種々のフォーマットの表現を含んでもよい。例えば、ボクセル等の立体メタデータ１３６２ｂが、メッシュ１３６２ｃおよび平面１３６２ｄとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。
いくつかの実施形態では、図６Ａに図示されるもの等の物理的世界の表現は、上記に説明されるように、特徴点に基づく追跡マップ等の疎マップと比較して、物理的世界についての比較的に稠密情報を提供し得る。
いくつかの実施形態では、知覚モジュール１３６０は、例えば、メッシュ１３６０ｄ、平面、および意味論１３６０ｅを含む、種々のフォーマットにおける、物理的世界のための表現を生成する、モジュールを含んでもよい。物理的世界のための表現は、ローカルおよび遠隔記憶媒体を横断して記憶されてもよい。物理的世界のための表現は、例えば、記憶媒体の場所に応じて、異なる座標フレーム内に説明されてもよい。例えば、デバイス内に記憶された物理的世界のための表現は、デバイスにローカルの座標フレーム内に説明されてもよい。物理的世界のための表現は、クラウド内に記憶された対応物を有してもよい。クラウド内の対応物は、ＸＲシステム内の全てのデバイスによって共有される座標フレーム内に説明されてもよい。
いくつかの実施形態では、これらのモジュールは、表現が生成された時点の１つまたはそれを上回るセンサの知覚範囲内のデータおよび以前の時間に捕捉されたデータおよび持続される世界モジュール１３６２内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ＡＲシステムは、視覚センサを含んでもよく、単眼または両眼視覚情報を分析することによって、そのような表現を生成してもよい。
いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール１３６０がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、ＳＤＦモデル１３６０ｃ内の新しい表面を検出することによって、またはサブ領域を表す十分な数のボクセルの値の変化等の他の基準によって、検出されてもよい。
世界再構築コンポーネント５１６は、物理的世界の表現を知覚モジュール１３６０から受信し得る、コンポーネント１３６４を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント１３６４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、ゲームプログラムおよび他のコンポーネントを含んでもよい。
コンポーネント１３６４からのクエリに応答して、知覚モジュール１３６０は、物理的世界のための表現を１つまたはそれを上回るフォーマットにおいて送信してもよい。例えば、コンポーネント１３６４が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためのものであることを示すとき、知覚モジュール１３６０は、表面の表現を送信してもよい。コンポーネント１３６４が、使用が環境推測のためのものであることを示すとき、知覚モジュール１３６０は、物理的世界のメッシュ、平面、および意味論を送信してもよい。
いくつかの実施形態では、知覚モジュール１３６０は、フォーマット情報をコンポーネント１３６４に提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント１３６０ｆであってもよい。使用コンポーネント（例えば、コンポーネント１３６４）は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント１３６０ｆは、その視点からの視野内の物理的世界データの１つまたはそれを上回る表現から選択してもよい。
前述の説明から理解されるはずであるように、知覚モジュール１３６０またはＡＲシステムの別のコンポーネントは、データを処理し、物理的世界の一部の３Ｄ表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および／または深度画像に基づいて、３Ｄ再構築体積の一部を間引く、平面データを抽出および持続させる、近傍の一貫性を維持しながらローカル更新を可能にするブロックにおいて、３Ｄ再構築データを捕捉し、持続させ、更新する、オクルージョンデータが１つまたはそれを上回る深度データソースの組み合わせから導出される、オクルージョンデータをそのような場面を生成するアプリケーションに提供する、および／または多段階メッシュ簡略化を実施することによって、低減され得る。再構築物は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。
いくつかの実施形態では、パス可能世界モデルのコンポーネントは、分散されてもよく、いくつかの部分は、ＸＲデバイス上でローカルで実行され、いくつかの部分は、サーバに接続されるネットワーク上または別様にクラウド内等の遠隔で実行される。ローカルＸＲデバイスとクラウドとの間の情報の処理および記憶の配分は、ＸＲシステムの機能性およびユーザ体験に影響を及ぼし得る。例えば、処理をクラウドに配分することによって、ローカルデバイス上の処理を低減させることは、より長いバッテリ寿命を有効にし、ローカルデバイス上に生成される熱を低減させ得る。しかし、はるかに多い処理をクラウドに配分することは、容認不可能なユーザ体験を引き起こす、望ましくない待ち時間を作成し得る。
図１３Ｄは、いくつかの実施形態による、空間コンピューティングのために構成される、分散型コンポーネントアーキテクチャ１３７０を描写する。分散型コンポーネントアーキテクチャ１３７０は、パス可能世界コンポーネント１３７２（例えば、図５ＡにおけるＰＷ５３８）と、Ｌｕｍｉｎ ＯＳ１３７４と、ＡＰＩ１３７６と、ＳＤＫ１３７８と、アプリケーション１３８０とを含んでもよい。Ｌｕｍｉｎ ＯＳ１３７４は、ＸＲデバイスと互換性があるカスタムドライバを伴う、Ｌｉｎｕｘ（登録商標）ベースのカーネルを含んでもよい。ＡＰＩ１３７６は、ＸＲアプリケーション（例えば、アプリケーション１３８０）にＸＲデバイスの空間コンピューティング特徴へのアクセスを与える、アプリケーションプログラミングインターフェースを含んでもよい。ＳＤＫ１３７８は、ＸＲアプリケーションの作成を可能にする、ソフトウェア開発キットを含んでもよい。
アーキテクチャ１３７０内の１つまたはそれを上回るコンポーネントは、パス可能世界のモデルを作成および維持してもよい。本実施例では、センサデータは、ローカルデバイス上で収集される。そのセンサデータの処理は、部分的に、ＸＲデバイス上でローカルで、部分的に、クラウド内で実施されてもよい。ＰＷ５３８は、少なくとも部分的に、複数のユーザによって装着されるＡＲデバイスによって捕捉されたデータに基づいて作成される、環境マップを含んでもよい。ＡＲ体験のセッションの間、個々のＡＲデバイス（図４に関連して上記に説明されるウェアラブルデバイス等）は、マップの１つのタイプである、追跡マップを作成してもよい。
いくつかの実施形態では、デバイスは、疎マップおよび稠密マップの両方を構築する、コンポーネントを含んでもよい。追跡マップは、疎マップとしての役割を果たしてもよく、環境を走査するＡＲデバイスの頭部姿勢ならび各頭部姿勢においてその環境内で検出されたオブジェクトについての情報を含んでもよい。それらの頭部姿勢は、デバイス毎にローカルで維持されてもよい。例えば、各デバイス上の頭部姿勢は、デバイスがそのセッションのためにオンにされたときの初期頭部姿勢に対するものであり得る。結果として、各追跡マップは、それを作成するデバイスにローカルであり得る。稠密マップは、表面情報を含んでもよく、これは、メッシュまたは深度情報によって表されてもよい。代替として、または加えて、稠密マップは、平面および／または他のオブジェクトの場所および／または特性等の表面または深度情報から導出されるより高いレベルの情報を含んでもよい。
稠密マップの作成は、いくつかの実施形態では、疎マップの作成から独立してもよい。稠密マップおよび疎マップの作成は、例えば、ＡＲシステム内の別個の処理パイプライン内で実施されてもよい。処理を分離することは、例えば、異なるタイプのマップの生成または処理が異なるレートで実施されることを可能にし得る。疎マップは、例えば、稠密マップより高速のレートでリフレッシュされてもよい。しかしながら、いくつかの実施形態では、稠密および疎マップの処理は、異なるパイプライン内で実施される場合でも、関連し得る。疎マップ内で露見される物理的世界の変化は、例えば、稠密マップの更新をトリガし得る、またはその逆である。さらに、独立して作成される場合でも、マップは、ともに使用され得る。例えば、疎マップから導出される座標系は、稠密マップ内のオブジェクトの位置および／または配向を定義するために使用されてもよい。
疎マップおよび／または稠密マップは、同一デバイスによる再使用のために、および／または他のデバイスと共有するために、存続してもよい。そのような存続は、情報をクラウド内に記憶することによって達成されてもよい。ＡＲデバイスは、追跡マップをクラウドに送信し、例えば、クラウド内に以前に記憶された存続されるマップから選択された環境マップとマージしてもよい。いくつかの実施形態では、選択された存続されるマップは、マージするために、クラウドからＡＲデバイスに送信されてもよい。いくつかの実施形態では、存続されるマップは、１つまたはそれを上回る持続座標フレームに対して配向されてもよい。そのようなマップは、それらが複数のデバイスのいずれかによって使用され得るため、規準マップとしての役割を果たし得る。いくつかの実施形態では、パス可能世界のモデルは、１つまたはそれを上回る規準マップから成る、または作成されてもよい。デバイスは、デバイスにローカルの座標フレームに基づいて、いくつかの動作を実施するものの、デバイスにローカルのその座標フレームと規準マップとの間の変換を決定することによって、規準マップを使用してもよい。
規準マップは、追跡マップ（ＴＭ）（例えば、図３１ＡにおけるＴＭ１１０２）として生じてもよく、これは、規準マップにレベル上げされ得る。規準マップは、規準マップにアクセスするデバイスが、いったんそのローカル座標系と規準マップの座標系との間の変換を決定すると、規準マップ内の情報を使用して、デバイスの周囲の物理的世界内の規準マップ内に表されるオブジェクトの場所を決定し得るように、存続されてもよい。いくつかの実施形態では、ＴＭは、ＸＲデバイスによって作成された頭部姿勢疎マップであってもよい。いくつかの実施形態では、規準マップは、異なる時間においてＸＲデバイスによって、または他のＸＲデバイスによって、捕捉された付加的ＴＭとマージするために、ＸＲデバイスが１つまたはそれを上回るＴＭをクラウドサーバに送信すると、作成されてもよい。
規準マップまたは他のマップは、個別のマップを作成するために処理されたデータによって表される物理的世界の一部についての情報を提供してもよい。例えば、追跡マップが、点によって表される対応する物理的世界内の物理的オブジェクトの平面図を提供してもよい。いくつかの実施形態では、マップ点は、複数の特徴を含み得る、物理的オブジェクトの特徴を表し得る。例えば、テーブルの各角は、マップ上の点によって表される、特徴であり得る。特徴は、拡張現実システム内のウェアラブルデバイスのセンサを用いて入手され得るような処理画像から導出されてもよい。特徴は、例えば、センサによって出力された画像フレームを処理し、画像内の大勾配または他の好適な基準に基づいて、特徴を識別することによって導出されてもよい。さらなる処理は、各フレーム内の特徴の数を限定してもよい。例えば、処理は、持続オブジェクトを表す可能性が高い、特徴を選択してもよい。１つまたはそれを上回るヒューリスティックが、本選択のために適用されてもよい。
追跡マップは、デバイスによって収集された点に関するデータを含んでもよい。追跡マップ内に含まれるデータ点を伴う、画像フレーム毎に、姿勢が、記憶されてもよい。姿勢は、各画像フレーム内の特徴点が空間的に相関され得るように、そこから画像フレームが捕捉された配向を表し得る。姿勢は、ウェアラブルデバイス上のＩＭＵセンサ等のセンサから導出され得るような位置付け情報によって決定されてもよい。代替として、または加えて、姿勢は、画像フレームと、物理的世界の重複部分を描写する、他の画像フレームをマッチングさせることから決定されてもよい。２つのフレーム内の特徴点のサブセットをマッチングさせることによって遂行され得る、そのような位置相関を見出すことによって、２つのフレーム間の相対的姿勢が、算出され得る。相対的姿勢は、マップが、追跡マップの構築が開始されたときのデバイスの初期姿勢に基づいて確立されるデバイスにローカルの座標系に対するものであり得るため、追跡マップのために適正であり得る。
センサを用いて収集された情報の多くが冗長である可能性が高いため、デバイスによって収集された特徴点および画像フレームの全てが、追跡マップの一部として留保され得るわけではない。むしろ、あるフレームのみが、マップに追加されてもよい。それらのフレームは、すでにマップ内にある画像フレームとの重複度、それらが含有する新しい特徴の数、またはフレーム内の特徴に関する品質メトリック等の１つまたはそれを上回る基準に基づいて選択されてもよい。追跡マップに追加されない画像フレームは、破棄されてもよい、または特徴の場所を改訂するために使用されてもよい。さらなる代替として、特徴のセットとして表される、画像フレームの全部または大部分が、留保されてもよいが、それらのフレームのサブセットは、キーフレームとして指定されてもよく、これは、さらなる処理のために使用される。
キーフレームは、処理され、キーリグを生産してもよい。キーフレームは、処理され、特徴点の３次元セットを生産し、キーリグとして保存されてもよい。そのような処理は、例えば、２つのカメラから同時に導出される画像フレームを比較し、特徴点の３Ｄ位置を立体視的に決定するステップを伴ってもよい。姿勢等のメタデータが、これらのキーフレームおよび／またはキーリグと関連付けられてもよい。
環境マップは、例えば、ＡＲデバイスのローカル記憶装置および遠隔記憶装置を含む、例えば、環境マップの記憶場所に応じて、複数のフォーマットのいずれかを有してもよい。例えば、遠隔記憶装置内のマップは、メモリが限定されると、ウェアラブルデバイス上のローカル記憶装置内のマップより高い分解能を有してもよい。より高い分解能マップを遠隔記憶装置からローカル記憶装置に送信するために、マップは、マップ内に記憶される物理的世界のエリアあたりの姿勢の数および／または姿勢毎に記憶される特徴点の数を低減させること等によって、ダウンサンプリングまたは別様に適切なフォーマットに変換されてもよい。いくつかの実施形態では、遠隔記憶装置からの高分解能マップのスライスまたは一部が、ローカル記憶装置に送信されてもよく、スライスまたは一部は、ダウンサンプリングされない。
環境マップのデータベースは、新しい追跡マップが作成されるにつれて、更新されてもよい。データベース内の潜在的に非常に多数の環境マップのうちのどれが更新されるべきかを決定するために、更新するステップは、新しい追跡マップに関連するデータベース内に記憶される１つまたはそれを上回る環境マップを効率的に選択するステップを含んでもよい。選択された１つまたはそれを上回る環境マップは、関連性によってランク付けされてもよく、最高ランク付けマップのうちの１つまたはそれを上回るものが、より高いランク付けされた選択された環境マップと新しい追跡マップをマージし、１つまたはそれを上回る更新された環境マップを作成するために処理するために選択されてもよい。新しい追跡マップが、それにわたって更新するための既存の環境マップが存在しない、物理的世界の部分を表すとき、その追跡マップは、新しい環境マップとしてデータベース内に記憶されてもよい。
Ｈ． 持続座標フレーム
本発明者らは、空間存続が持続座標フレーム（ＰＣＦ）を通して提供され得ることを認識および理解している。ＰＣＦは、物理的世界内で認識される特徴（例えば、角、縁）を表す、１つまたはそれを上回る点に基づいて定義されてもよい。特徴は、それらがユーザインスタンスからＸＲシステムの別のユーザインスタンスと同一である可能性が高いように選択されてもよい。
さらに、算出された追跡経路（例えば、カメラ軌道）を実際の追跡経路から逸脱させ得る、追跡の間のドリフトは、仮想コンテンツの場所を、追跡マップのみに基づく、ローカルマップに対してレンダリングされるとき、場所からずれて現れさせ得る。空間のための追跡マップは、ＸＲデバイスが経時的に場面のさらなる情報を収集するにつれて、精緻化され、ドリフトを補正してもよい。しかしながら、仮想コンテンツが、マップ精緻化の前に、実オブジェクト上に設置され、追跡マップから導出されるデバイスの世界座標フレームに対して保存される場合、仮想コンテンツは、実オブジェクトがマップ精緻化の間に移動したかのように変位されて現れ得る。ＰＣＦは、ＰＣＦが、特徴に基づいて定義され、特徴がマップ精緻化の間に移動するにつれて、更新されるため、マップ精緻化に従って更新されてもよい。
ＰＣＦは、マップ座標系に対する平行移動および回転を伴う、６自由度を備えてもよい。ＰＣＦは、ローカルおよび／または遠隔記憶媒体内に記憶されてもよい。ＰＣＦの平行移動および回転は、例えば、記憶場所に応じて、マップ座標系に対して算出されてもよい。例えば、デバイスによってローカルで使用されるＰＣＦは、デバイスの世界座標フレームに対する平行移動および回転を有してもよい。クラウド内のＰＣＦは、規準マップの規準座標フレームに対する平行移動および回転を有してもよい。
ＰＣＦは、それらが効率的に処理および転送され得るように、物理的世界の疎表現を提供し、物理的世界についての利用可能な情報の全て未満を提供してもよい。持続空間情報を処理するための技法は、１つまたはそれを上回るセッションを横断して、実空間内の１つまたはそれを上回る座標系に基づいて、動的マップを作成し、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ＸＲアプリケーションにエクスポーズされ得る、疎マップにわたる持続座標フレーム（ＰＣＦ）を生成するステップを含んでもよい。
図１４は、いくつかの実施形態による、持続座標フレーム（ＰＣＦ）の作成およびＸＲコンテンツとＰＣＦの結付を図示する、ブロック図である。各ブロックは、コンピュータメモリ内に記憶されたデジタル情報を表し得る。アプリケーション１１８０の場合、データは、コンピュータ実行可能命令を表し得る。仮想コンテンツ１１７０の場合、デジタル情報は、例えば、アプリケーション１１８０によって規定されるような仮想オブジェクトを定義し得る。他のボックスの場合、デジタル情報は、物理的世界のいくつかの側面を特性評価し得る。
図示される実施形態では、１つまたはそれを上回るＰＣＦは、ウェアラブルデバイス上のセンサを用いて捕捉された画像から作成される。図１４の実施形態では、センサは、視覚的画像カメラである。これらのカメラは、追跡マップを形成するために使用される、同一カメラであってもよい。故に、図１４によって提案される処理のうちのいくつかは、追跡マップを更新するステップの一部として実施されてもよい。しかしながら、図１４は、存続を提供する情報が追跡マップに加えて生成されることを図示する。
３Ｄ ＰＣＦを導出するために、立体視画像分析を有効にする構成においてウェアラブルデバイスに搭載される、２つのカメラからの２つの画像１１１０は、ともに処理される。図１４は、画像１および画像２を図示し、それぞれ、カメラのうちの１つから導出される。各カメラからの単一画像が、便宜上、図示される。しかしながら、各カメラは、画像フレームのストリームを出力してもよく、図１４に図示される処理は、ストリーム内の複数の画像フレームのために実施されてもよい。
故に、画像１および画像２はそれぞれ、画像フレームのシーケンス内の１つのフレームであってもよい。図１４に描写されるような処理は、そこから持続空間情報を形成する、好適な画像を提供する特徴点を含有する画像フレームが処理されるまで、シーケンスにおいて連続画像フレーム上で繰り返されてもよい。代替として、または加えて、図１４の処理は、ユーザがもはや以前に識別されたＰＣＦに十分に近接しておらず、物理的世界に対する位置を決定するためにそのＰＣＦを確実に使用することができないほど、ユーザが移動するにつれて、繰り返され得る。例えば、ＸＲシステムは、ユーザのために、現在のＰＣＦを維持してもよい。その距離が、閾値を超えると、本システムは、ユーザの現在の場所において入手された画像フレームを使用して図１４のプロセスに従って生成され得る、ユーザにより近い新しい現在のＰＣＦに切り替えてもよい。
単一ＰＣＦを生成するときでも、画像フレームのストリームが、安定する可能性が高く、画像フレームに描写される物理的世界の領域の近傍におけるデバイスによって容易に識別され得る、物理的世界内のコンテンツを描写する画像フレームを識別するように処理されてもよい。図１４の実施形態では、本処理は、画像内の特徴１１２０の識別から開始する。特徴は、例えば、オブジェクトの角に対応し得る、例えば、閾値を上回る画像内の勾配の場所または他の特性を見出すことによって、識別されてもよい。図示される実施形態では、特徴は、点であるが、縁等の他の認識可能特徴も、代替として、または加えて、使用されてもよい。
図示される実施形態では、固定数Ｎの特徴１１２０が、さらなる処理のために選択される。それらの特徴点は、勾配の大きさまたは他の特徴点との近接度等の１つまたはそれを上回る基準に基づいて選択されてもよい。代替として、または加えて、特徴点は、特徴点が持続であることを示唆する、特性に基づいて等、ヒューリスティックに選択されてもよい。例えば、ヒューリスティックは、窓またはドアまたは大型家具の角に対応する可能性が高い、特徴点の特性に基づいて定義されてもよい。そのようなヒューリスティックは、特徴点自体およびそれを囲繞するものを考慮してもよい。具体的実施例として、画像あたり特徴点の数は、２００等の１００～５００または１５０～２５０であってもよい。
選択された特徴点の数にかかわらず、記述子１１３０が、特徴点に関して算出されてもよい。本実施例では、記述子は、選択された特徴点毎に算出されるが、記述子は、特徴点の群に関して、または特徴点のサブセットに関して、または画像内の全ての特徴に関して算出されてもよい。記述子は、物理的世界内の同一オブジェクトを表す特徴点が類似記述子を割り当てられるように、特徴点を特性評価する。記述子は、１つのマップが別のマップに対して位置特定されるときに生じ得るような２つのフレームの整合を促進し得る。２つの画像の特徴点間の距離を最小限にする、フレームの相対的配向を検索するのではなく、２つのフレームの初期整合は、類似記述子を伴う特徴点を識別することによって行われてもよい。画像フレームの整合は、類似記述子を伴う点を整合させるステップに基づいてもよく、これは、画像内の全ての特徴点の整合を算出する、より少ない処理を伴い得る。
記述子は、記述子と特徴点のマッピング、またはいくつかの実施形態では、特徴点の周囲の画像のパッチのマッピングとして算出されてもよい。記述子は、数値量であってもよい。米国特許出願第１６／１９０，９４８号は、特徴点に関する記述子を算出するステップを説明しており、参照することによってその全体として本明細書に組み込まれる。
図１４の実施例では、記述子１１３０は、各画像フレーム内の特徴点毎に算出される。記述子および／または特徴点および／または画像自体に基づいて、画像フレームは、キーフレーム１１４０として識別されてもよい。図示される実施形態では、キーフレームは、次いで、さらなる処理のために選択される、ある基準を満たす、画像フレームである。追跡マップを作成する際、例えば、有意義な情報をマップに追加する、画像フレームが、マップの中に統合される、キーフレームとして選択されてもよい。他方では、それにわたって画像フレームがすでにマップの中に統合されている、領域に実質的に重複する、画像フレームは、それらがキーフレームとならないように破棄されてもよい。代替として、または加えて、キーフレームは、画像フレーム内の特徴点の数および／またはタイプに基づいて選択されてもよい。図１４の実施形態では、追跡マップ内への含有のために選択されたキーフレーム１１５０はまた、ＰＣＦを決定するためのキーフレームとして処理されてもよいが、ＰＣＦの生成のためのキーフレームを選択するための異なるまたは付加的基準が、使用されてもよい。
図１４は、キーフレームがさらなる処理のために使用されることを示すが、画像から入手された情報は、他の形態で処理されてもよい。例えば、キーリグ内等の特徴点が、代替として、または加えて、処理されてもよい。さらに、キーフレームは、単一画像フレームから導出されるように説明されるが、キーフレームと入手された画像フレームとの間の１対１の関係が存在する必要であるわけではない。キーフレームは、例えば、複数の画像内に現れる特徴のみがキーフレーム内に留保されるように、画像フレームをともにスティッチングまたは集約すること等によって、複数の画像フレームから入手されてもよい。
キーフレームは、画像情報および／または画像情報と関連付けられるメタデータを含んでもよい。いくつかの実施形態では、カメラ４４、４６（図９）によって捕捉された画像が、１つまたはそれを上回るキーフレーム（例えば、キーフレーム１、２）の中に算出されてもよい。いくつかの実施形態では、キーフレームは、カメラ姿勢を含んでもよい。いくつかの実施形態では、キーフレームは、カメラ姿勢において捕捉された１つまたはそれを上回るカメラ画像を含んでもよい。いくつかの実施形態では、ＸＲシステムは、カメラ姿勢において捕捉されたカメラ画像の一部を有用ではないと決定し、したがって、その部分をキーフレーム内に含まなくてもよい。したがって、キーフレームを使用して、新しい画像と場面のより早期の知識を整合させることは、ＸＲシステムの算出リソースの使用を低減させる。いくつかの実施形態では、キーフレームは、ある方向／角度を伴う場所における画像および／または画像データを含んでもよい。いくつかの実施形態では、キーフレームは、そこから１つまたはそれを上回るマップ点が観察され得る、場所および方向を含んでもよい。いくつかの実施形態では、キーフレームは、あるＩＤを伴う、座標フレームを含んでもよい。米国特許第出願第１５／８７７，３５９号は、キーフレームを説明しており、参照することによってその全体として本明細書に組み込まれる。
キーフレーム１１４０のいくつかまたは全てが、キーフレームのための持続姿勢１１５０の生成等のさらなる処理のために選択されてもよい。選択は、画像フレーム内の特徴点の全てまたはサブセットの特性に基づいてもよい。それらの特性は、記述子、特徴、および／または画像フレーム自体を処理することから決定されてもよい。具体的実施例として、選択は、持続オブジェクトに関連する可能性が高いと識別された特徴点のクラスタに基づいてもよい。
各キーフレームは、キーフレームが入手された、カメラの姿勢と関連付けられる。持続姿勢に処理するために選択されたキーフレームに関して、その姿勢情報は、入手時および／または入手の場所におけるＷｉＦｉフィンガプリントおよび／またはＧＰＳ座標等のキーフレームについての他のメタデータとともに保存されてもよい。
持続姿勢は、デバイスがそれ自体を物理的世界についての以前に入手された情報に対して配向するために使用し得る、情報源である。例えば、そこから持続姿勢が作成された、キーフレームが、物理的世界のマップの中に組み込まれる場合、デバイスは、持続姿勢と関連付けられる、キーフレーム内の十分な数の特徴点を使用して、それ自体をその持続姿勢に対して配向し得る。デバイスは、その周囲の得られた現在の画像と持続姿勢を整合させ得る。本整合は、現在の画像と、持続姿勢を生じさせた画像１１１０、特徴１１２０、および／または記述子１１３０、またはその画像またはそれらの特徴または記述子の任意のサブセットのマッチングに基づいてもよい。いくつかの実施形態では、持続姿勢にマッチされた現在の画像フレームは、デバイスの追跡マップの中に組み込まれている、別のキーフレームであってもよい。
持続姿勢についての情報は、同一または異なるデバイス上で実行され得る、複数のアプリケーション間の共有を促進する、フォーマットで記憶されてもよい。図１４の実施例では、持続姿勢のいくつかまたは全てが、持続座標フレーム（ＰＣＦ）１１６０として反映され得る。持続姿勢のように、ＰＣＦも、マップと関連付けられてもよく、デバイスがそのＰＣＦに対するその配向を決定するために使用し得る、特徴のセットまたは他の情報を備えてもよい。ＰＣＦは、その位置をＰＣＦに相関させることによって、デバイスがマップ内に反映される物理的世界内の任意のオブジェクトに対するその位置を決定し得るように、そのマップの原点に対するその変換を定義する、変換を含んでもよい。
ＰＣＦが、物理的オブジェクトに対する場所を決定するための機構を提供するため、アプリケーション１１８０等のアプリケーションが、仮想コンテンツ１１７０のためのアンカとしての役割を果たす、１つまたはそれを上回るＰＣＦに対する仮想オブジェクトの位置を定義し得る。図１４は、例えば、アプリ１が、その仮想コンテンツ２とＰＣＦ１、２を関連付けていることを図示する。同様に、アプリ２は、その仮想コンテンツ３とＰＣＦ１、２を関連付けている。アプリ１はまた、その仮想コンテンツ１とＰＣＦ４、５を関連付けていることが示され、アプリ２は、その仮想コンテンツ４とＰＣＦ３を関連付けていることが示される。いくつかの実施形態では、ＰＣＦ１、２が画像１および画像２に基づく方法と同様に、ＰＣＦ３は、画像３（図示せず）に基づいてもよく、ＰＣＦ４、５は、画像４および画像５（図示せず）に基づいてもよい。本仮想コンテンツをレンダリングするとき、デバイスは、１つまたはそれを上回る変換を適用し、デバイスのディスプレイに対する仮想コンテンツの場所および／または仮想コンテンツの所望の場所に対する物理的オブジェクトの場所等の情報を算出してもよい。ＰＣＦを基準として使用することは、そのような算出を簡略化し得る。
いくつかの実施形態では、持続姿勢は、１つまたはそれを上回る関連付けられるキーフレームを有する、座標場所および／または方向であってもよい。いくつかの実施形態では、持続姿勢は、ユーザが、ある距離、例えば、３メートル進行した後、自動的に作成されてもよい。いくつかの実施形態では、持続姿勢は、位置特定の間、基準点として作用してもよい。いくつかの実施形態では、持続姿勢は、パス可能世界（例えば、パス可能世界モジュール５３８）内に記憶されてもよい。
いくつかの実施形態では、新しいＰＣＦは、隣接するＰＣＦ間で許容される、事前に定義された距離に基づいて決定されてもよい。いくつかの実施形態では、１つまたはそれを上回る持続姿勢は、ユーザが、所定の距離、例えば、５メートル進行すると、ＰＣＦの中に算出されてもよい。いくつかの実施形態では、ＰＣＦは、例えば、パス可能世界内において、１つまたはそれを上回る世界座標フレームおよび／または規準座標フレームと関連付けられてもよい。いくつかの実施形態では、ＰＣＦは、例えば、セキュリティ設定に応じて、ローカルおよび／または遠隔データベース内に記憶されてもよい。
図１５は、いくつかの実施形態による、持続座標フレームを確立および使用する方法４７００を図示する。方法４７００は、ＸＲデバイスの１つまたはそれを上回るセンサを使用して、場面を中心として画像（例えば、図１４における画像１および画像２）を捕捉するステップ（行為４７０２）から開始してもよい。複数のカメラが、使用されてもよく、１つのカメラが、例えば、ストリームにおいて、複数の画像を生成してもよい。
方法４７００は、着目点（例えば、図１４における特徴１１２０）を捕捉された画像から抽出するステップ（４７０４）と、抽出された着目点に関する記述子（例えば、図１４における記述子１１３０）を生成するステップ（行為４７０６）と、記述子に基づいて、キーフレーム（例えば、キーフレーム１１４０）を生成するステップ（行為４７０８）とを含んでもよい。いくつかの実施形態では、本方法は、キーフレーム内の着目点を比較し、所定の量の着目点を共有する、対のキーフレームを形成してもよい。本方法は、個々の対のキーフレームを使用して、物理的世界の一部を再構築してもよい。物理的世界のマッピングされた部分は、３Ｄ特徴（例えば、キーリグ）として保存されてもよい。いくつかの実施形態では、対のキーフレームの選択された部分は、３Ｄ特徴を構築するために使用されてもよい。いくつかの実施形態では、マッピングの結果は、選択的に保存されてもよい。３Ｄ特徴を構築するために使用されない、キーフレームは、例えば、キーフレームの姿勢間に共分散行列を伴う、キーフレーム間の距離を表す、姿勢を通して、３Ｄ特徴と関連付けられてもよい。いくつかの実施形態では、対のキーフレームは、構築される３Ｄ特徴のそれぞれ間の距離が、必要とされる算出の量および結果として生じるモデルの正確度のレベルを平衡させるように決定され得る、所定の距離内にあるように、３Ｄ特徴を構築するように選択されてもよい。そのようなアプローチは、ＸＲシステムを用いた効率的および正確な算出のために好適なデータの量を伴う、物理的世界のモデルを提供することを可能にする。いくつかの実施形態では、２つの画像の共分散行列は、２つの画像の姿勢（例えば、６自由度）間の共分散を含んでもよい。
方法４７００は、キーフレームに基づいて持続姿勢を生成するステップ（行為４７１０）を含んでもよい。いくつかの実施形態では、本方法は、対のキーフレームから再構成された３Ｄ特徴に基づいて、持続姿勢を生成するステップを含んでもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴に結び付けられてもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴を構築するために使用される、キーフレームの姿勢を含んでもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴を構築するために使用される、キーフレームの平均姿勢を含んでもよい。いくつかの実施形態では、持続姿勢は、近傍の持続姿勢の間の距離が、所定の値、例えば、１メートル～５メートルの範囲内、その間の任意の値、または任意の他の好適な値内であるように生成されてもよい。いくつかの実施形態では、近傍の持続姿勢間の距離は、近傍の持続姿勢の共分散行列によって表されてもよい。
方法４７００は、持続姿勢に基づいてＰＣＦを生成するステップ（行為４７１２）を含んでもよい。いくつかの実施形態では、ＰＣＦは、３Ｄ特徴に結び付けられてもよい。いくつかの実施形態では、ＰＣＦは、１つまたはそれを上回る持続姿勢と関連付けられてもよい。いくつかの実施形態では、ＰＣＦは、関連付けられる持続姿勢のうちの１つの姿勢を含んでもよい。いくつかの実施形態では、ＰＣＦは、関連付けられる持続姿勢の姿勢の平均姿勢を含んでもよい。いくつかの実施形態では、ＰＣＦは、近傍のＰＣＦ間の距離が、所定の値、例えば、３メートル～１０メートルの範囲、その間の任意の値、または任意の他の好適な値内にあるように生成されてもよい。いくつかの実施形態では、近傍のＰＣＦ間の距離は、近傍のＰＣＦの共分散行列によって表されてもよい。いくつかの実施形態では、ＰＣＦは、ＸＲアプリケーションが、モデル自体にアクセスせずに、ＰＣＦを通して、物理的世界のモデルにアクセスし得るように、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ＸＲアプリケーションにエクスポーズされてもよい。
方法４７００は、ＸＲデバイスによって表示されるための仮想オブジェクトの画像データとＰＣＦのうちの少なくとも１つを関連付けるステップ（行為４７１４）を含んでもよい。いくつかの実施形態では、本方法は、関連付けられるＰＣＦに対する仮想オブジェクトの平行移動および配向を算出するステップを含んでもよい。仮想オブジェクトと仮想オブジェクトを設置するデバイスによって生成されたＰＣＦを関連付けることは、必要とされないことを理解されたい。例えば、デバイスは、クラウド内の規準マップ内の保存されたＰＣＦを読み出し、仮想オブジェクトと読み出されたＰＣＦを関連付けてもよい。仮想オブジェクトは、ＰＣＦが経時的に調節されるにつれて、関連付けられるＰＣＦとともに移動し得ることを理解されたい。
図１６は、いくつかの実施形態による、第１のＸＲデバイス１２．１と、第２のＸＲデバイス１２．２の視覚データおよびアルゴリズムと、サーバ２０とを図示する。図１６に図示されるコンポーネントは、本明細書に説明されるような持続姿勢、持続座標フレーム、追跡マップ、または規準マップ等の空間情報を生成、更新、および／または使用するステップと関連付けられる、動作のいくつかまたは全てを実施するように動作し得る。図示されないが、第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２と同一に構成されてもよい。サーバ２０は、マップ記憶ルーチン１１８と、規準マップ１２０と、マップ伝送機１２２と、マップマージアルゴリズム１２４とを有してもよい。
第１のＸＲデバイス１２．１と同一場面にあり得る、第２のＸＲデバイス１２．２は、持続座標フレーム（ＰＣＦ）統合ユニット１３００と、仮想オブジェクトをレンダリングするために使用され得る画像データ６８を生成する、アプリケーション１３０２と、フレーム埋込生成器３０８とを含んでもよい。いくつかの実施形態では、マップダウンロードシステム１２６、ＰＣＦ識別システム１２８、マップ２、位置特定モジュール１３０、規準マップ組込器１３２、規準マップ１３３、およびマップ発行器１３６は、パス可能世界ユニット１３０４の中に群化されてもよい。ＰＣＦ統合ユニット１３００は、パス可能世界ユニット１３０４および第２のＸＲデバイス１２．２の他のコンポーネントに接続され、ＰＣＦの読出、生成、使用、アップロード、およびダウンロードを可能にしてもよい。
ＰＣＦを備える、マップは、変化する世界内のより多くの存続を有効にし得る。いくつかの実施形態では、例えば、画像のためのマッチング特徴を含む、追跡マップを位置特定するステップは、ＰＣＦによって構成されるマップから、持続コンテンツを表す特徴を選択するステップを含んでもよく、これは、高速マッチングおよび／または位置特定を有効にする。例えば、人々が場面の内外に移動し、ドア等のオブジェクトが場面に対して移動する、世界は、より少ない記憶空間および伝送レートを要求し、場面をマッピングするために個々のＰＣＦおよび相互に対するその関係（例えば、ＰＣＦの統合されたコンステレーション）の使用を有効にする。
いくつかの実施形態では、ＰＣＦ統合ユニット１３００は、第２のＸＲデバイス１２．２の記憶ユニット上のデータ記憶内に以前に記憶されたＰＣＦ１３０６と、ＰＣＦ追跡器１３０８と、持続姿勢入手器１３１０と、ＰＣＦ確認器１３１２と、ＰＣＦ生成システム１３１４と、座標フレーム計算機１３１６と、持続姿勢計算機１３１８と、追跡マップおよび持続姿勢変換器１３２０と、持続姿勢およびＰＣＦ変換器１３２２と、ＰＣＦおよび画像データ変換器１３２４とを含む、３つの変換器とを含んでもよい。
いくつかの実施形態では、ＰＣＦ追跡器１３０８は、アプリケーション１３０２によって選択可能である、オンプロンプトおよびオフプロンプトを有してもよい。アプリケーション１３０２は、第２のＸＲデバイス１２．２のプロセッサによって実行可能であって、例えば、仮想コンテンツを表示してもよい。アプリケーション１３０２は、オンプロンプトを介して、ＰＣＦ追跡器１３０８をオンに切り替える、コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオンに切り替えられると、ＰＣＦを生成してもよい。アプリケーション１３０２は、オフプロンプトを介して、ＰＣＦ追跡器１３０８をオフに切り替え得る、後続コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオフに切り替えられると、ＰＣＦ生成を終了する。
いくつかの実施形態では、サーバ２０は、規準マップ１２０と関連付けられて以前に保存されている、複数の持続姿勢１３３２と、複数のＰＣＦ１３３０とを含んでもよい。マップ伝送機１２２は、規準マップ１２０を持続姿勢１３３２および／またはＰＣＦ１３３０とともに、第２のＸＲデバイス１２．２に伝送してもよい。持続姿勢１３３２およびＰＣＦ１３３０は、規準マップ１３３と関連付けて第２のＸＲデバイス１２．２上に記憶されてもよい。マップ２が、規準マップ１３３に対して位置特定すると、持続姿勢１３３２およびＰＣＦ１３３０は、マップ２と関連付けて記憶されてもよい。
いくつかの実施形態では、持続姿勢入手器１３１０は、マップ２のための持続姿勢を入手してもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０に接続されてもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０によって読み出された持続姿勢に基づいて、ＰＣＦをＰＣＦ１３０６から読み出してもよい。ＰＣＦ確認器１３１２によって読み出されたＰＣＦは、ＰＣＦに基づいて、画像ディスプレイのために使用される、ＰＣＦの初期群を形成してもよい。
いくつかの実施形態では、アプリケーション１３０２は、付加的ＰＣＦが生成されることを要求し得る。例えば、ユーザが、以前にマッピングされていないエリアに移動する場合、アプリケーション１３０２は、ＰＣＦ追跡器１３０８をオンに切り替えてもよい。ＰＣＦ生成システム１３１４は、ＰＣＦ追跡器１３０８に接続され、マップ２が拡張し始めるにつれて、マップ２に基づいて、ＰＣＦの生成を開始してもよい。ＰＣＦ生成システム１３１４によって生成されたＰＣＦは、ＰＣＦベースの画像表示のために使用され得る、ＰＣＦの第２のグループを形成してもよい。
座標フレーム計算機１３１６は、ＰＣＦ確認器１３１２に接続されてもよい。ＰＣＦ確認器１３１２がＰＣＦを読み出した後、座標フレーム計算機１３１６は、頭部座標フレーム９６を呼び出し、第２のＸＲデバイス１２．２の頭部姿勢を決定してもよい。座標フレーム計算機１３１６はまた、持続姿勢計算機１３１８を呼び出してもよい。持続姿勢計算機１３１８は、フレーム埋込生成器３０８に直接または間接的に接続されてもよい。いくつかの実施形態では、画像フレームは、前のキーフレームからの閾値距離、例えば、３メートルが、進行された後、キーフレームと指定されてもよい。持続姿勢計算機１３１８は、複数の、例えば、３つのキーフレームに基づいて、持続姿勢を生成してもよい。いくつかの実施形態では、持続姿勢は、本質的に、複数のキーフレームの座標フレームの平均であってもよい。
追跡マップおよび持続姿勢変換器１３２０は、マップ２および持続姿勢計算機１３１８に接続されてもよい。追跡マップおよび持続姿勢変換器１３２０は、マップ２を持続姿勢に変換し、マップ２に対する原点における持続姿勢を決定してもよい。
持続姿勢およびＰＣＦ変換器１３２２は、追跡マップおよび持続姿勢変換器１３２０およびさらにＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４に接続されてもよい。持続姿勢およびＰＣＦ変換器１３２２は、持続姿勢（それに対して追跡マップが変換された）をＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４からのＰＣＦに変換し、持続姿勢に対するＰＣＦを決定してもよい。
ＰＣＦおよび画像データ変換器１３２４は、持続姿勢およびＰＣＦ変換器１３２２およびデータチャネル６２に接続されてもよい。ＰＣＦおよび画像データ変換器１３２４は、ＰＣＦを画像データ６８に変換する。レンダリングエンジン３０は、ＰＣＦおよび画像データ変換器１３２４に接続され、ＰＣＦに対する画像データ６８をユーザに表示してもよい。
ＰＣＦ統合ユニット１３００は、ＰＣＦ１３０６内でＰＣＦ生成システム１３１４を用いて生成される、付加的ＰＣＦを記憶してもよい。ＰＣＦ１３０６は、持続姿勢に対して記憶されてもよい。マップ発行器１３６は、マップ発行器１３６が、マップ２をサーバ２０に伝送し、マップ発行器１３６がまた、マップ２と関連付けられるＰＣＦおよび持続姿勢をサーバ２０に伝送するとき、ＰＣＦ１３０６およびＰＣＦ１３０６と関連付けられる持続姿勢を読み出し得る。サーバ２０のマップ記憶ルーチン１１８が、マップ２を記憶するとき、マップ記憶ルーチン１１８はまた、第２の視認デバイス１２．２によって生成された持続姿勢およびＰＣＦを記憶してもよい。マップマージアルゴリズム１２４は、それぞれ、規準マップ１２０と関連付けられ、持続姿勢１３３２およびＰＣＦ１３３０内に記憶される、マップ２の持続姿勢およびＰＣＦとともに、規準マップ１２０を作成してもよい。
第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２のＰＣＦ統合ユニット１３００に類似する、ＰＣＦ統合ユニットを含んでもよい。マップ伝送機１２２が、規準マップ１２０を第１のＸＲデバイス１２．１に伝送するとき、マップ伝送機１２２は、規準マップ１２０と関連付けられ、第２のＸＲデバイス１２．２から生じる、持続姿勢１３３２およびＰＣＦ１３３０を伝送してもよい。第１のＸＲデバイス１２．１は、ＰＣＦおよび持続姿勢を第１のＸＲデバイス１２．１の記憶デバイス上のデータ記憶装置内に記憶してもよい。第１のＸＲデバイス１２．１は、次いで、ＰＣＦに対する画像表示のために、第２のＸＲデバイス１２．２から生じる持続姿勢およびＰＣＦを利用してもよい。加えて、または代替として、第１のＸＲデバイス１２．１は、上記に説明されるように、第２のＸＲデバイス１２．２に類似する様式において、ＰＣＦおよび持続姿勢を読み出し、生成し、利用し、アップロードし、ダウンロードしてもよい。
図示される実施例では、第１のＸＲデバイス１２．１は、ローカル追跡マップ（以降、「マップ１」と称される）を生成し、マップ記憶ルーチン１１８は、マップ１を第１のＸＲデバイス１２．１から受信する。マップ記憶ルーチン１１８は、次いで、マップ１をサーバ２０の記憶デバイス上に規準マップ１２０として記憶する。
第２のＸＲデバイス１２．２は、マップダウンロードシステム１２６と、アンカ識別システム１２８と、位置特定モジュール１３０と、規準マップ組込器１３２と、ローカルコンテンツ位置付けシステム１３４と、マップ発行器１３６とを含む。
使用時、マップ伝送機１２２は、規準マップ１２０を第２のＸＲデバイス１２．２に送信し、マップダウンロードシステム１２６は、規準マップ１２０を規準マップ１３３としてサーバ２０からダウンロードし、記憶する。
アンカ識別システム１２８は、世界表面決定ルーチン７８に接続される。アンカ識別システム１２８は、世界表面決定ルーチン７８によって検出されたオブジェクトに基づいて、アンカを識別する。アンカ識別システム１２８は、アンカを使用して、第２のマップ（マップ２）を生成する。サイクル１３８によって示されるように、アンカ識別システム１２８は、アンカを識別し続け、マップ２を更新し続ける。アンカの場所は、世界表面決定ルーチン７８によって提供されるデータに基づいて、３次元データとして記録される。世界表面決定ルーチン７８は、画像を実オブジェクト検出カメラ４４から、深度データを深度センサ１３５から受信し、表面の場所および深度センサ１３５からのその相対的距離を決定する。
位置特定モジュール１３０は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０は、マップ２を規準マップ１３３に対して位置特定するように繰り返し試みる。規準マップ組込器１３２は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０が、マップ２を規準マップ１３３に対して位置特定すると、規準マップ組込器１３２は、規準マップ１３３をマップ２のアンカの中に組み込む。マップ２は、次いで、規準マップ内に含まれる欠測データで更新される。
ローカルコンテンツ位置付けシステム１３４は、マップ２に接続される。ローカルコンテンツ位置付けシステム１３４は、例えば、ユーザが世界座標フレーム内の特定の場所においてローカルコンテンツを位置特定し得る、システムであってもよい。ローカルコンテンツ自体が、次いで、マップ２の１つのアンカに結び付けられる。ローカル／世界座標変換器１０４は、ローカルコンテンツ位置付けシステム１３４の設定に基づいて、ローカル座標フレームを世界座標フレームに変換する。レンダリングエンジン３０、ディスプレイシステム４２、およびデータチャネル６２の機能は、図２を参照して説明されている。
マップ発行器１３６は、マップ２をサーバ２０にアップロードする。サーバ２０のマップ記憶ルーチン１１８は、次いで、マップ２をサーバ２０の記憶媒体内に記憶する。
マップマージアルゴリズム１２４は、マップ２と規準マップ１２０をマージする。物理的世界の同一または隣接する領域に関連する、２つを上回るマップ、例えば、３つまたは４つのマップが、記憶されているとき、マップマージアルゴリズム１２４は、全てのマップを規準マップ１２０にマージし、新しい規準マップ１２０をレンダリングする。マップ伝送機１２２は、次いで、新しい規準マップ１２０を、新しい規準マップ１２０によって表されるエリア内のあらゆるデバイス１２．１および１２．２に伝送する。デバイス１２．１および１２．２が、その個別のマップを規準マップ１２０に対して位置特定すると、規準マップ１２０は、レベル上げされたマップとなる。
図１７は、いくつかの実施形態による、場面のマップのためのキーフレームを生成する実施例を図示する。図示される実施例では、第１のキーフレームＫＦ１は、部屋の左壁上のドアのために生成される。第２のキーフレームＫＦ２は、部屋の床、左壁、および右壁が衝合する、角内のエリアのために生成される。第３のキーフレームＫＦ３は、部屋の右壁上の窓のエリアのために生成される。第４のキーフレームＫＦ４は、壁の床上のラグの遠端におけるエリアのために生成される。第５のキーフレームＫＦ５は、ユーザに最も近いラグのエリアのために生成される。
図１８は、いくつかの実施形態による、図１７のマップのための持続姿勢を生成する実施例を図示する。いくつかの実施形態では、新しい持続姿勢が、デバイスが進行された閾値距離を測定すると、および／またはアプリケーションが新しい持続姿勢（ＰＰ）を要求すると、作成される。いくつかの実施形態では、閾値距離は、３メートル、５メートル、２０メートル、または任意の他の好適な距離であってもよい。より小さい閾値距離（例えば、１ｍ）を選択することは、より多数のＰＰが、より大きい閾値距離と比較して、作成および管理され得るため、算出負荷の増加をもたらし得る。より大きい閾値距離（例えば、４０ｍ）を選択することは、より少数のＰＰが作成され、より少ないＰＣＦが作成される結果をもたらし、ＰＣＦに結び付けられた仮想コンテンツが、ＰＣＦから比較的に大距離（例えば、３０ｍ）離れ、ＰＣＦから仮想コンテンツまでの距離の増加に伴って誤差が増加し得ることを意味するため、仮想コンテンツ設置誤差の増加をもたらし得る。
いくつかの実施形態では、ＰＰは、新しいセッションの開始時に作成されてもよい。本初期ＰＰは、ゼロと見なされ得、閾値距離に等しい半径を有する、円形の中心として可視化され得る。デバイスが、円形の周に到達し、いくつかの実施形態では、アプリケーションが、新しいＰＰを要求すると、新しいＰＰは、デバイスの現在の場所（閾値距離）に設置されてもよい。いくつかの実施形態では、新しいＰＰは、デバイスが、既存のＰＰをデバイスの新しい位置からの閾値距離内に見出すことが可能である場合、閾値距離に作成されないであろう。いくつかの実施形態では、新しいＰＰ（図１４におけるＰＰ１１５０）が、作成されると、デバイスは、最も近いキーフレームのうちの１つまたはそれを上回るものをＰＰに結び付ける。いくつかの実施形態では、キーフレームに対するＰＰの場所は、ＰＰが作成された時点でのデバイスの場所に基づいてもよい。いくつかの実施形態では、ＰＰは、アプリケーションがＰＰを要求しない限り、デバイスが閾値距離を進行しても作成されないであろう。
いくつかの実施形態では、アプリケーションは、アプリケーションがユーザに表示するための仮想コンテンツを有するとき、ＰＣＦをデバイスから要求してもよい。アプリケーションからのＰＣＦ要求は、ＰＰ要求をトリガしてもよく、新しいＰＰは、デバイスが閾値距離を進行した後に作成されるであろう。図１８は、例えば、キーフレームと持続姿勢との間の相対的姿勢を算出することによって、最も近いキーフレーム（例えば、ＫＦ１、ＫＦ２、およびＫＦ３）を結び付けさせ得る、第１の持続姿勢ＰＰ１を図示する。図１８はまた、最も近いキーフレーム（例えば、ＫＦ４およびＫＦ５）を結び付けさせ得る、第２の持続姿勢ＰＰ２を図示する。
図１９は、いくつかの実施形態による、図１７のマップのためのＰＣＦを生成する実施例を図示する。図示される実施例では、ＰＣＦ１は、ＰＰ１と、ＰＰ２とを含んでもよい。上記に説明されるように、ＰＣＦは、ＰＣＦに対する画像データを表示するために使用されてもよい。いくつかの実施形態では、各ＰＣＦは、別の座標フレーム（例えば、世界座標フレーム）内の座標と、例えば、ＰＣＦを一意に識別する、ＰＣＦ記述子とを有してもよい。いくつかの実施形態では、ＰＣＦ記述子は、ＰＣＦと関連付けられるフレーム内の特徴の特徴記述子に基づいて算出されてもよい。いくつかの実施形態では、ＰＣＦの種々のコンステレーションは、より少ないデータおよびより少ないデータの伝送を要求する、持続様式において、組み合わせられ、実世界を表してもよい。
図２０Ａ－２０Ｃは、持続座標フレームを確立および使用する実施例を図示する、概略図である。図２０Ａは、規準マップに対して位置特定されていない、個別のローカル追跡マップ４８０４Ａ、４８０４Ｂを伴う、２人のユーザ４８０２Ａ、４８０２Ｂを示す。個々のユーザに関する原点４８０６Ａ、４８０６Ｂは、その個別のエリア内の座標系（例えば、世界座標系）によって描写される。各追跡マップのこれらの原点は、原点が、追跡が開始されたときのその個別のデバイスの配向に依存するため、各ユーザにローカルであり得る。
ユーザデバイスのセンサが、環境を走査するにつれて、デバイスは、図１４に関連して上記に説明されるように、それらの画像が、そこから持続姿勢が作成され得る、キーフレームとして分類され得るように、持続オブジェクトを表す特徴を含有し得る、画像を捕捉してもよい。本実施例では、追跡マップ４８０４Ａは、持続姿勢（ＰＰ）４８０８Ａを含み、追跡マップ４８０４Ｂは、ＰＰ４８０８Ｂを含む。
また、図１４に関連して上記に説明されるように、ＰＰのうちのいくつかは、ユーザにそれをレンダリングするために仮想コンテンツの配向を決定するために使用される、ＰＣＦとして分類されてもよい。図２０Ｂは、個別のユーザ４８０２Ａ、４８０２Ｂによって装着されるＸＲデバイスが、ＰＰ４８０８Ａ、４８０８Ｂに基づいて、ローカルＰＣＦ４８１０Ａ、４８１０Ｂを作成し得ることを示す。図２０Ｃは、持続コンテンツ４８１２Ａ、４８１２Ｂ（例えば、仮想コンテンツ）が個別のＸＲデバイスによってＰＣＦ４８１０Ａ、４８１０Ｂに結び付けられ得ることを示す。
本実施例では、仮想コンテンツは、仮想コンテンツが表示されるべき方法にかかわらず、仮想コンテンツを生成するアプリケーションによって使用され得る、仮想コンテンツ座標フレームを有し得る。仮想コンテンツは、例えば、仮想コンテンツ座標フレームに対して特定の場所および角度における、メッシュの三角形等の表面として規定されてもよい。その仮想コンテンツをユーザにレンダリングするために、それらの表面の場所が、仮想コンテンツを知覚することになるユーザに対して決定されてもよい。
仮想コンテンツをＰＣＦに結び付けることは、ユーザに対する仮想コンテンツの場所を決定する際に関わる算出を簡略化し得る。ユーザに対する仮想コンテンツの場所は、一連の変換を適用することによって決定されてもよい。それらの変換のうちのいくつかは、変化し得、頻繁に更新されてもよい。それらの変換のその他は、安定し得、あまり頻繁にまたは全く更新されなくてもよい。それにもかかわらず、変換は、仮想コンテンツの場所が、ユーザに対して頻繁に更新され、現実的外観をレンダリングされた仮想コンテンツに提供し得るように、比較的に低算出負担を伴って適用され得る。
図２０Ａ－２０Ｃの実施例では、ユーザ１のデバイスは、変換ｒｉｇ１＿Ｔ＿ｗ１によってマップの原点を定義する、座標系に関連し得る、座標系を有する。ユーザ２のデバイスは、類似変換ｒｉｇ２＿Ｔ＿ｗ２を有する。これらの変換は、６度の変換として表され、デバイス座標系とマップ座標系を整合させるための平行移動および回転を規定し得る。いくつかの実施形態では、変換は、２つの別個の変換として表され得、一方は、平行移動を規定し、他方は、回転を規定する。故に、変換は、算出を簡略化する、または別様に利点を提供する形態で表され得ることを理解されたい。
追跡マップの原点と個別のユーザデバイスによって識別されるＰＣＦとの間の変換は、ｐｃｆ１＿Ｔ＿ｗ１およびｐｃｆ２＿Ｔ＿ｗ２として表される。本実施例では、ＰＣＦおよびＰＰは、同一変換がまたＰＰを特性評価するように、同じである。
ＰＣＦに対するユーザデバイスの場所は、したがって、ｒｉｇ１＿Ｔ＿ｐｃｆ１＝（ｒｉｇ１＿Ｔ＿ｗ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）等のこれらの変換の連続適用によって算出されることができる。
図２０Ｃに示されるように、仮想コンテンツは、ｏｂｊ１＿Ｔ＿ｐｃｆ１の変換を用いて、ＰＣＦに対して位置特定される。本変換は、ＰＣＦに対する物理的オブジェクトを説明する世界再構築システムからの情報を受信し得る、仮想コンテンツを生成するアプリケーションによって設定されてもよい。仮想コンテンツをユーザにレンダリングするために、ユーザのデバイスの座標系への変換が、算出され、これは、変換ｏｂｊ１＿ｔ＿ｗ１＝（ｏｂｊ１＿Ｔ＿ｐｃｆ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）を通して、仮想コンテンツ座標フレームを追跡マップの原点に関連させることによって算出され得る。その変換は、次いで、さらなる変換ｒｉｇ１＿Ｔ＿ｗ１を通して、ユーザのデバイスに関連され得る。
仮想コンテンツの場所は、仮想コンテンツを生成するアプリケーションからの出力に基づいて変化し得る。それが変化すると、ソース座標系から目的地座標系へのエンドツーエンド変換が、再算出され得る。加えて、ユーザの場所および／または頭部姿勢も、ユーザが移動するにつれて変化し得る。結果として、変換ｒｉｇ１＿Ｔ＿ｗ１が、変化し得るのと同様に、ユーザの場所または頭部姿勢に依存する、任意のエンドツーエンド変換も変化するであろう。
変換ｒｉｇ１＿Ｔ＿ｗ１は、ユーザの位置を物理的世界内の定常オブジェクトに対して追跡することに基づいて、ユーザの運動に伴って更新されてもよい。そのような追跡は、上記に説明されるように、画像のシーケンスを処理するヘッドホン追跡コンポーネント、またはシステムの他のコンポーネントによって実施されてもよい。そのような更新は、ＰＰ等の定常基準フレームに対するユーザの姿勢を決定することによって行われてもよい。
いくつかの実施形態では、ユーザデバイスの場所および配向は、最も近くの持続姿勢に対して決定されてもよい、または、本実施例では、ＰＰとしてのＰＣＦが、ＰＣＦとして使用される。そのような決定は、デバイス上のセンサを用いて捕捉された現在の画像内において、ＰＰを特性評価する、特徴点を識別することによって、行われてもよい。立体視画像分析等の画像処理技法を使用して、それらの特徴点に対するデバイスの場所が、決定されてもよい。本データから、本システムは、関係ｒｉｇ１＿Ｔ＿ｐｃｆ１＝（ｒｉｇ１＿Ｔ＿ｗ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）に基づいて、ユーザの運動と関連付けられる変換の変化を計算し得る。
システムは、算出上効率的である順序において、変換を決定および適用してもよい。例えば、ｒｉｇ１＿Ｔ＿ｐｃｆ１をもたらす測定からｒｉｇ１＿Ｔ＿ｗ１を算出する必要性は、ユーザ姿勢を追跡することと、持続姿勢上に構築されるＰＰまたはＰＣＦに対する仮想コンテンツの場所を定義することとの両方によって、回避され得る。このように、仮想コンテンツのソース座標系からユーザのデバイスの目的地座標系への変換は、表現（ｒｉｇ１＿Ｔ＿ｐｃｆ１）＊（ｏｂｊ１＿ｔ＿ｐｃｆ１）に従う測定された変換に基づいてもよく、第１の変換は、システムによって測定され、後者の変換は、レンダリングのための仮想コンテンツを規定するアプリケーションによって供給される。仮想コンテンツがマップの原点に対して位置付けられる、実施形態では、エンドツーエンド変換は、マップ座標とＰＣＦ座標との間のさらなる変換に基づいて、仮想オブジェクト座標系をＰＣＦ座標系に関連させ得る。仮想コンテンツが、それに対してユーザ位置が追跡されているものと異なるＰＰまたはＰＣＦに対して位置付けられる、実施形態では、２つの間の変換が、適用されてもよい。そのような変換は、固定されてもよく、例えば、両方が現れる、マップから決定されてもよい。
変換ベースのアプローチは、例えば、センサデータを処理し、追跡マップを構築する、コンポーネントを伴う、デバイス内に実装されてもよい。そのプロセスの一部として、それらのコンポーネントは、持続姿勢として使用され得る、特徴点を識別してもよく、これは、ひいては、ＰＣＦに変えられてもよい。それらのコンポーネントは、図１７－１９に関連して上記に説明されるように、マップのために生成される持続姿勢の数を限定し、持続姿勢間の好適な間隔を提供する一方、ユーザが、物理的環境内の場所にかかわらず、持続姿勢場所に十分に近接し、ユーザの姿勢を正確に算出することを可能にし得る。ユーザに最も近い持続姿勢が、ユーザ移動、追跡マップに対する精緻化、または他の原因の結果として、更新されるにつれて、ＰＰ（または使用されている場合、ＰＣＦ）の場所に依存する、ユーザに対する仮想コンテンツの場所を算出するために使用される、変換のいずれかが、少なくとも、ユーザがその持続姿勢から離れるように移動するまで、使用のために、更新および記憶されてもよい。なお、変換を算出および記憶することによって、仮想コンテンツの場所が更新される度の算出負担は、比較的に短待ち時間を伴って実施され得るほど比較的に低くなり得る。
図２０Ａ－２０Ｃは、追跡マップに対する位置付けを図示し、各デバイスがその独自の追跡マップを有する。しかしながら、変換は、任意のマップ座標系に対して生成されてもよい。ＸＲシステムのユーザセッションを横断したコンテンツの存続は、持続マップを使用することによって達成され得る。ユーザの共有体験はまた、それに対して複数のユーザデバイスが配向され得る、マップを使用することによって促進され得る。
下記により詳細に説明される、いくつかの実施形態では、仮想コンテンツの場所は、複数のデバイスのいずれかがマップを使用し得るようにフォーマットされる、規準マップにおける座標に関連して規定されてもよい。各デバイスは、追跡マップを維持し得、追跡マップに対するユーザの姿勢の変化を決定してもよい。本実施例では、追跡マップと規準マップとの間の変換は、「位置特定」のプロセスを通して決定されてもよく、これは、追跡マップ内の構造（１つまたはそれを上回る持続姿勢等）と規準マップの１つまたはそれを上回る構造（１つまたはそれを上回るＰＣＦ等）をマッチングさせることによって実施されてもよい。
下記にさらに説明されるものは、このように規準マップを作成および使用するための技法である。
Ｉ． マップ作成プロセス
ユーザは、ユーザが、その現在の環境と以前に相互作用する、またはそこに訪問していない、その現在の環境を以前に走査していない、またはＡＲシステムが、ユーザの環境を認識することに失敗する場合、その環境のマップを作成してもよい。図２１は、マップ作成プロセス２１００の例示的フローチャートを図示する。マップ作成プロセス２１００の実施例は、図２２Ａに図示されるような新しいユーザマップ作成フロー２２００または図２２Ｂに図示されるような既存のユーザマップ作成フロー２２０１を含むことができる。マップ作成プロセス２１００は、限定ではないが、開始ブロック２１１０、走査ブロック２１１２、マップ認識ブロック２１１４、マップ品質ブロック２１１６、決定ブロック２１１８、コンテンツ復元ブロック２１２０、マップ保存ブロック２１２２、およびランドスケープ進入ブロック２１２４を含むことができる。
マッピング開始ブロック２１１０では、ＡＲシステムは、ユーザの環境の走査またはマッピングを開始するかどうかを決定することができる。例えば、ＡＲシステムは、開始条件が環境の走査を開始するために満たされるかどうかを決定することができる。いくつかの実施例では、開始条件は、システムによる新しいおよび／または熟知されていない場所の中へのユーザの移動の検出、１つまたはそれを上回るセンサからの入力、および／またはユーザ入力を含むことができる。ユーザ入力は、１つまたはそれを上回るプロンプトに対する肯定または否定応答を含むことができる。１つまたはそれを上回るプロンプトは、ユーザが、新しいユーザまたは既存のユーザであるかどうか、ユーザが、その環境を以前に走査し、マップを作成しているかどうか、またはプロンプトを開始するために使用されるプログラムのタイプ等の任意の数のＡＲシステム条件に基づいて、異なり得る。
例えば、図２２Ａに図示されるように、新しいユーザのためのマッピング開始プロンプトは、新しいユーザに特有の（画面００－画面６として標識されるようなブロック２２１０、２２１２に示されるような）１つまたはそれを上回るユーザインターフェースを含むことができる。例えば、ユーザインターフェースは、ウェルカムインターフェースを含むことができる。ウェルカムインターフェースは、ユーザに、ユーザの環境を走査または走査し続けるようにプロンプトする、ダイアログを含むことができる。いくつかの実施例では、ウェルカムインターフェースは、ユーザ入力を受信することができる。ＡＲシステムは、そのユーザ入力に基づいて、走査を開始または開始しないことができる。加えて、または代替として、ＡＲシステムは、ユーザ入力に基づいて、別のプロンプトをユーザに提示してもよい。加えて、または代替として、マッピング開始プロンプトは、ブロック２２１２において、マッピング開始プロンプトを含むことができる。マッピング開始プロンプトは、ユーザの環境を走査またはマッピングするプロセスと関連付けられる、情報を含むことができる。加えて、または代替として、マッピング開始プロンプトは、ユーザの環境のマッピングまたは走査を開始する、またはユーザの環境のマッピングまたは走査をスキップするためのプロンプトを含むことができる。ＡＲシステムは、プロンプトに応答して、ユーザ入力を受信することができる。ＡＲシステムは、その入力に基づいて、マッピングを開始してもよい、または開始しなくてもよい。
別の実施例では、図２２Ｂに図示されるように、既存のユーザのためのマッピング開始プロンプトは、既存のユーザと関連付けられる、（画面００－画面６として標識されるようなブロックまたは画面２２３０、２２３２に示されるような）１つまたはそれを上回るユーザインターフェースを含むことができる。例えば、ユーザインターフェース２２３０は、認識インターフェースを含むことができる。認識インターフェースは、ユーザに、前のマップを選択し、コンテンツをユーザの環境に復元するようにプロンプトする、ダイアログを含むことができる。加えて、または代替として、インターフェース２２３０は、マップの選択をスキップする、または新しいマップを生成するためのプロンプトを含むことができる。故に、インターフェースは、ユーザ入力に基づいて、マッピングを開始する、または開始せず、保存されたマップに進入する、またはユーザを別のプロンプトに移動させることができる。加えて、または代替として、マッピング開始プロンプトは、マップ選択プロンプトと別個に、またはその一部として、マッピング開始プロンプトを含むことができる。マッピング開始プロンプトは、ユーザが、走査プロセスの間、作成するであろう、マップに関する名称を選択するためのプロンプトを含むことができる。ＡＲシステムは、次いで、その入力に基づいて、またはそれを使用して、マッピングまたは走査を開始することができる。例えば、ユーザは、マップが、オフィス、自宅、学校、または他の場所であることを選択してもよく、ＡＲシステムは、ユーザ入力に基づいて、新しく作成されたマップをタグ付けしてもよい。
ＡＲシステムが、マッピングが開始されるであろうことを決定する場合、本システムは、ブロック２１１２に進み、ユーザの環境を走査またはマッピングしてもよい。ＡＲシステムが、アクティブマッピングが開始されないであろうことを決定する場合、本システムは、ブロック２１２４において、ＡＲランドスケープに進入することができる。図２２Ａおよび２２Ｂに図示されるように、ＡＲランドスケープは、拡張現実コンテンツと関連付けられる、ブロック２２２４、２２４４において示されるようなアプリケーションまたはユーザインターフェースを含むことができる。
加えて、または代替として、ＡＲシステムは、ユーザの環境を受動的に走査またはマッピングすることができる。例えば、ＡＲシステムが、アクティブマッピングが開始されないであろう（またはユーザが完了に先立って、アクティブマッピングから退出する）ことを決定する、インスタンスでは、ＡＲシステムは、ＡＲランドスケープに進入後、ユーザの環境をマッピングまたは走査することができる。したがって、有利なこととして、マップ品質が、セッションがＡＲランドスケープ内で終了する前に、十分な閾値に到達する場合、ユーザの現在の環境と関連付けられる、ユーザコンテンツは、ゲーム化されたフローまたはアクティブ走査プロセスを介して、能動的にマッピングされない場合でも、その環境と関連付けられて読み出されることができる。その環境が、将来的に認識される場合、ＡＲシステムは、ユーザに、その後の時間において、その場所を命名またはタグ付けするようにプロンプトしてもよい。しかしながら、マップ品質が、十分な閾値に到達しない場合、ＡＲシステムは、後の使用のために、コンテンツを保存または復元しなくてもよい。
走査ブロック２１１２では、ＡＲシステムは、図２８－３４Ｃを参照してさらに詳細に説明される、または図２２Ａのブロック２２１４、２２１６、２２１８、２２２０、または図２２Ｂのブロック２２３４、２２３６、２２３８、２２４０に示される、１つまたはそれを上回るプロセス等の走査プロセスを開始することができる。有利なこととして、走査ブロック２１１２における走査プロセスは、ゲーム化された要素を有し、ユーザに、その環境を動き回り、その空間内のデータを収集するように指示することに役立つ、プロセスであってもよい。例えば、下記の図２８－３４Ｃを参照して説明されるように、ＡＲシステムは、ユーザの周囲の環境の１つまたはそれを上回るグラフィック（ウェイポイントとも称される）を生成および表示し、ユーザに、終了基準が満たされるまで、グラフィックと相互作用するように指示してもよい。本明細書で使用されるように、ウェイポイントは、マップ内の特定の場所をおよび／またはマップ内の特定の場所のグラフィック（または他のインジケーション）指し得る。いくつかの実施例では、ウェイポイントは、マップ内の特定の場所をマークし、および／またはユーザにウェイポイント場所に向かって指示する、グラフィックを含んでもよい。ユーザと１つまたはそれを上回るグラフィックの相互作用の間、ＡＲシステムは、ユーザの環境についてのデータを収集してもよい。
いくつかの実施例では、ＡＲシステムは、ユーザの空間が、マップ認識ブロック２１１４において既知または認識されるかどうかをチェックしてもよい。ＡＲシステムは、走査ブロック２１１２の間または後に、本チェックを実施してもよい。例えば、ＡＲシステムは、ブロック２１１２において、走査プロセスを実施してもよく、ＡＲシステムは、走査プロセスの間、インターバルを空けて、ユーザの環境が既知の環境にマッチングするかどうかをチェックしてもよい（例えば、ＡＲシステムは、ユーザの現在の環境に見出される１つまたはそれを上回るＰＣＦとユーザの保存されたマップ内の１つまたはそれを上回るＰＣＦをマッチングさせることができる）。マップが、ＡＲシステムによって認識される場合、ＡＲシステムは、ブロック２１２４においてランドスケープに進入する前に、ブロック２１２０において、認識されたマップと関連付けられる、ＡＲコンテンツを復元することができる。マップが、ＡＲシステムによって認識されない場合、本システムは、ブロック２１１６において、マップ品質をチェックすることができる。
マップ品質ブロック２１１６では、ＡＲシステムは、走査ブロック２１１２の間に収集された（および／または仮想世界マップ内に記憶されるデータと組み合わせられた）データに基づいて生成されたマップが、現在および／または将来的使用の間、高品質ユーザ体験を提供するために十分に高い品質であるかどうかをチェックすることができる。品質基準は、ユーザの環境内のキーフレーム、ＰＣＦ、またはメッシュと関連付けられる他のデータの数等のマップ品質を査定するための任意の好適な基準であることができる。例えば、ＡＲシステムは、十分なＰＣＦが、収集されたデータに基づいて、ユーザの空間を将来的走査において識別可能にするために見出されている、または生成されているかどうかを決定してもよい。ＰＣＦの数は、ユーザの環境内の１つ、２つ、３つ、または５つのＰＣＦ等の好適な数であってもよい。しかしながら、他の数もまた、可能性として考えられ得る。例えば、特定の環境のために必要なＰＣＦの数は、集められた走査データおよび／または環境と以前に関連付けられるマップデータの分析に基づいて等、ＡＲシステムによって動的に決定されてもよい。いったんＡＲシステムが、マップが品質閾値に達することが決定されると、ＡＲシステムは、ブロック２１２２において収集されたデータを使用して、マップを保存してもよい。
保存ブロック２１２２では、ＡＲシステムは、ユーザまたは第三者による読出のために、マップを遠隔またはローカルメモリに保存してもよい。加えて、または代替として、本システムは、ユーザに、名称または地球物理的場所等、メタデータとしてマップとともに記憶されるべきマップと関連付けられる他の情報を入力するようにプロンプトしてもよい。図２２Ａに図示されるように、本システムは、ブロック２２２２において、インターフェースを表示し、ユーザに、マップ場所を選択するまたは入力するようにプロンプトしてもよい。加えて、または代替として、図２２Ｂに図示されるように、ＡＲシステムは、ブロック２２４２において、ユーザに、新しいマップが作成または保存されたことを信号伝達する、確認応答インターフェースまたはメッセージを表示してもよい。
マップ品質が、マップ品質閾値に達することに失敗する、または別様に、品質ユーザ体験を提供するために十分ではない場合、ＡＲシステムは、決定ブロック２１１８において、ユーザがユーザの環境の走査またはマッピングを継続することを所望するかどうかを決定することができる。例えば、ＡＲシステムは、ユーザに、走査を継続する、または走査プロセスを停止するようにプロンプトすることができる。ＡＲシステムは、ブロック２１１２において、ユーザ入力をプロンプトに対する応答として受信し、環境の走査を継続する、またはブロック２１２４において、ランドスケープに進入してもよい。
加えて、または代替として、ＡＲシステムは、任意の時点で、マップ作成プロセス２１００を停止し、ブロック２１２４において、ランドスケープに進入することができる。例えば、ユーザは、ブロック２１１２において、走査プロセスの間、終了またはスキップコマンドを入力することができる。ＡＲシステムは、次いで、ブロック２１１２において、走査プロセスを中止する、またはブロック２１２４において、ランドスケープに進入することができる。
Ｊ． 再位置特定プロセス
ＡＲシステムは、拡張現実コンテンツを（例えば、保存された世界マップから）ユーザの環境内に復元するために、ユーザを保存または別様に認識された空間の中に再位置特定または設置しようと試み得る。図２３Ａは、図２３Ｂに示される例示的ＡＲ画像を参照して解説されるであろう、例示的再位置特定プロセス２３００を図示する。再位置特定プロセス２３００は、マップ決定ステップ２３１０、再位置特定チェック２３１２、走査ブロック２３１４、再位置特定チェック２３１６、決定ブロック２３１８、コンテンツ復元ブロック２３１０、およびランドスケープ進入ブロック２３２２を含むことができる。実施形態に応じて、図２３の方法は、より少ないまたは付加的ブロックを含んでもよく、および／またはブロックは、図示されるものと異なる順序で実施されてもよい。
マップ決定ブロック２３１０では、ＡＲシステムは、ユーザのために復元するためのマップを決定することができる。例えば、ＡＲシステムは、ユーザの検出された地理的場所と関連付けられる、マップを自動的に決定してもよい。別の実施例では、図２３Ｂのブロック２４１０に図示されるように、ＡＲシステムは、ユーザが既存のマップを選択する（および／またはＡＲシステムによって自動的に選択されたマップを確認する）ためのプロンプトを表示することができる。加えて、または代替として、ＡＲシステムは、ユーザが新しいマップを作成する、または走査またはマッピングプロセスをスキップするためのプロンプトを表示することができる。ユーザが、既存のマップを選択する場合、ＡＲシステムは、ユーザを、選択されたマップを含み得る、既知の環境の中に再位置特定しようと試み、ブロック２３１２に移動してもよい。ユーザが、新しいマップを作成することを選択する場合、ＡＲシステムは、図２１－２２Ｂを参照して説明されるようなマップ作成プロセスに移動してもよい。ユーザが、マッピングまたは走査プロセスをスキップすることを選択する場合、ＡＲシステムは、ブロック２３２２において、ランドスケープに進入してもよい。加えて、または代替として、ユーザが、マッピングまたは走査プロセスをスキップすることを選択する場合、ＡＲシステムは、ユーザの環境に関するデータを受動的に収集し、受動的に収集されたデータを用いて、再位置特定してもよい。図２３Ｂに図示されるように、ＡＲランドスケープは、ブロック２４２０において示されるインターフェース等、拡張現実コンテンツと関連付けられる、アプリケーションまたはユーザインターフェースを含むことができる。走査プロセスをスキップするためのユーザ入力を受信後、ＡＲシステムは、ＡＲランドスケープと関連付けられる、アプリケーションを開始してもよい。
再位置特定チェック２３１２では、ＡＲシステムは、再位置特定がブロック２３１０において決定されたマップ内ですでに生じているかどうかを決定することができる。ＡＲシステムは、例えば、既知の環境内に記憶される少なくとも１つのＰＣＦ（またはいくつかの実装では、ある他の最小量のＰＣＦ）が、ユーザの環境内に見出されるかどうかを決定することによって、再位置特定が生じていることを決定してもよい。例えば、既知の環境は、１つまたはそれを上回るＰＣＦを有してもよい。ＡＲシステムを使用する過程の間、ＡＲシステムは、ユーザの環境についてのデータを受動的または能動的に収集してもよい。収集されたデータは、ユーザの現在の環境内のＰＣＦを含むことができる。ブロック２３１２では、ＡＲシステムは、ユーザの現在の環境内の任意のＰＣＦが既知の環境内のそれらにマッチングするかどうかを決定してもよい。ＰＣＦが、マッチングする場合、ＡＲシステムは、再位置特定が生じていることを決定し得る。ＰＣＦが、マッチングしない場合、ＡＲシステムは、再位置特定が生じていないことを決定し得る。ＡＲシステムが、再位置特定が生じていることを決定する場合、ＡＲシステムは、ブロック２３２２においてランドスケープに進入する前に、ブロック２３２０において、認識されたマップと関連付けられる、コンテンツを復元してもよい。マップが、ＡＲシステムによって認識されない場合、ＡＲシステムは、移動し、ブロック２３１４において、環境を走査またはマッピングしてもよい。
走査ブロック２３１４では、ＡＲシステムは、図２８－３４Ｃを参照して説明される、または図２４のブロック２４１２、２４１４、２４１６に示される、１つまたはそれを上回るプロセス等の走査プロセスを開始することができる。有利なこととして、マップ作成を参照して上記に説明されるように、走査ブロック２３１４における走査プロセスは、ゲーム化された要素を有し、ユーザに、その環境を動き回り、その空間内のデータを収集するように指示することに役立つ、プロセスであってもよい。例えば、下記の図２８－３４Ｃを参照して説明されるように、ＡＲシステムは、ユーザの周囲の環境の１つまたはそれを上回るグラフィックを生成および表示し、ユーザに、終了基準が満たされるまで、ウェイポイントと相互作用するように指示してもよい。ユーザと１つまたはそれを上回るグラフィックの相互作用の間、ＡＲシステムは、ユーザの環境のマップを構築するために、ユーザの環境についてのデータを収集してもよい。
再位置特定チェック２３１６では、ＡＲシステムは、ユーザの空間が既知または認識されるかどうかをチェックすることができる。ＡＲシステムは、走査ブロック２３１４の間または後に、本チェックを実施してもよい。例えば、ＡＲシステムは、ブロック２３１４において、走査プロセスを実施してもよく、ＡＲシステムは、走査プロセスの間、インターバルを空けて、ユーザの環境が既知の環境にマッチングするかどうかをチェックしてもよく、ＡＲシステムは、ユーザの現在の環境内に見出される１つまたはそれを上回るＰＣＦとユーザの選択されたマップまたは別の保存されたマップ内の１つまたはそれを上回るＰＣＦをマッチングさせることができる。しかしながら、再位置特定の他の方法も、可能性として考えられる。マップが、ＡＲシステムによって認識される場合、ＡＲシステムは、ブロック２３２２において、ランドスケープに進入する前に、ブロック２３２０において、認識されたマップと関連付けられる、ＡＲコンテンツを復元することができる。マップが、ＡＲシステムによって認識されない場合、ブロック２３１８に進むことができる。
決定ブロック２３１８では、ＡＲシステムは、走査を継続するかどうかを決定することができる。例えば、再位置特定が、生じていない場合、ＡＲシステムは、新しいマップを生成する、または１つまたはそれを上回るＰＣＦをユーザの環境内で見出すために、より多くのデータを必要とし得る。しかしながら、ＡＲシステムは、走査プロセスを停止させるためのタイムアウト、ユーザ入力、または他の終了基準を利用してもよい（例えば、ブロック２３１４の間）。ＡＲシステムは、次いで、ユーザに、ユーザの環境を走査し続けるかどうかに関する入力をプロンプトしてもよい（例えば、走査プロセス２３１４によって）。ＡＲシステムが、例えば、ユーザ入力または他の基準に起因して、走査が継続すべきであることを決定する場合、ＡＲシステムは、ブロック２３１４において、走査を継続し得る。ＡＲシステムが、走査が継続べきではないをすることを決定する場合、ＡＲシステムは、ブロック２３２２において、ランドスケープに進入し得る。
加えて、または代替として、ＡＲシステムは、任意の時点で、マップ作成プロセス２３００の１つまたはそれを上回る側面を停止し、ブロック２３２２において、ランドスケープに進入することができる。いくつかの実施例では、ＡＲシステムは、ユーザ入力に応答して、マップ作成プロセス２３００の１つまたはそれを上回る側面を停止してもよい。例えば、ユーザは、ブロック２３１４において、走査プロセスの間、終了またはスキップコマンドを入力することができる。ＡＲシステムは、次いで、ブロック２３１４において、走査プロセスを中止する、またはブロック２３２２において、ランドスケープに進入することができる。
加えて、または代替として、ＡＲシステムは、ユーザの環境を受動的に走査またはマッピングすることができる。例えば、ＡＲシステムが、ユーザを既知のマップの中に正常に再位置特定しない、インスタンスでは、ＡＲシステムは、ＡＲランドスケープに進入後、ユーザの環境をマッピングまたは走査することができる。したがって、有利なこととして、ユーザが、既知の環境を見出さず、ユーザの現在の環境のマップ品質が、セッションがＡＲランドスケープ内で終了する前に、十分な閾値に到達しない場合、ＡＲシステムは、ユーザに、環境を新しいマップとして保存するようにプロンプトしてもよい。
Ｋ． マップ許可および記憶
ユーザによって生成されたマップは、１人またはそれを上回るユーザによるアクセス性のための複数の方法において記憶されてもよい。例えば、ユーザは、マップをそのデバイス上または外部メモリ（例えば、遠隔サーバ上の「クラウド」記憶装置）上に記憶してもよい。ユーザは、そのデバイス上またはクラウド記憶装置上のいずれかに記憶されるとき、クラウド記憶装置へのアクセスを伴う、認可されたユーザのみが、マップコンテンツにアクセスし、それと相互作用し得るように、マップへのアクセスのための許可を設定してもよい。いくつかの実施例では、マップは、ユーザデバイス上に記憶され、マップを生成したユーザにのみアクセス可能であってもよい。いくつかの実施例では、マップは、ユーザデバイス上に記憶され、そのユーザデバイスの全てのユーザにアクセス可能であってもよい。いくつかの実施例では、マップは、外部メモリ（例えば、ローカルでネットワーク化されたデバイスまたはクラウド記憶装置）内に記憶されてもよい。いくつかの実施例では、記憶されたマップは、そのマップを生成したユーザにのみアクセス可能であってもよい。いくつかの実施例では、マップは、外部メモリ（例えば、ローカルでネットワーク化されたデバイスまたはクラウド記憶装置）内に記憶されてもよい。いくつかの実施例では、記憶されたマップは、その外部メモリにアクセスするための許可を伴う、ユーザにアクセス可能であってもよい。図２４Ａは、ユーザ生成マップのための記憶設定およびアクセス許可を設定するための例示的プロセス３４００を図示する。
ブロック３４０２では、ＡＲシステムは、マップ許可を決定してもよい。マップ許可は、現在生成されようとしている、または新しく生成されたマップのアクセスおよび記憶と関連付けられる、１つまたはそれを上回るマップ特有のユーザ設定を含むことができる。いくつかの実施例では、マップ特有のユーザ設定は、マップデータを記憶するための所望の場所を含むことができる。所望の場所は、デバイス専用記憶、パーソナル世界記憶、共有世界記憶、それらのある組み合わせ、またはマップデータのための他の記憶を含むことができる。デバイス専用記憶は、マップの内部またはデバイス上記憶を含むことができる。デバイス専用記憶は、マップデータへのアクセスを、生成されたマップを記憶するデバイスのユーザに限定し得る。パーソナル世界記憶は、マップデータの外部またはクラウドベースの記憶を含むことができる。パーソナル世界記憶装置は、マップデータへのアクセスを、マップを生成したユーザ等の具体的ユーザに限定し得る。共有世界記憶は、マップデータの外部またはクラウドベースの記憶を含むことができる。共有世界記憶は、マップデータへのアクセスを複数のユーザに可能にし得る。
共有世界データへのアクセスおよび／またはその可視性は、ＡＲシステム、ユーザ、または第三者によって設定される認可に基づいて決定されてもよい。ユーザ設定に従って記憶され得るようなマップデータは、マップ点データ、ＰＣＦ、環境メッシュデータ、音響データ、照明データ、他のモデル情報、認識されるオブジェクト、同等物、またはそれらのある組み合わせ等のマップと関連付けられる、任意の量の情報を含むことができる。いくつかの実施例では、マップ許可は、マップデータの少なくとも一部の可視性および／または相互作用性のある組み合わせを含むことができる。例えば、マップ許可は、マップデータが、ユーザに可視、不可視、選択可能、選択不能、相互作用可能、相互作用不能、同等物、またはそれらのある組み合わせであることを含むことができる。
加えて、または代替として、ＡＲシステムは、ユーザが、異なるタイプのマップデータのために異なるマップ記憶場所を選定することを可能にしてもよい。有利なこととして、これは、ユーザが、知覚されるプライバシおよび／または他の必要性に基づいて、そのマップ共有を個人化することを可能にし得る。例えば、ユーザは、世界特徴（ＰＣＦおよび／または１つまたはそれを上回る疎マップ等）を共有世界記憶に記憶することを選び得るが、世界モデル（稠密メッシュ、照明、平面検出、または音響データ等）をデバイス上にのみ記憶してもよい。世界理解（オブジェクト認識および／または場面理解等）は、ユーザが記憶場所または設定を選択するための別のオプションであり得る。いくつかの実施例では、世界理解は、デフォルトによって、世界特徴と同一場所に記憶されてもよい。他の実施例では、ユーザが、世界理解が記憶される場所を選択してもよい。
いくつかの実施例では、ＡＲシステムは、ユーザへの１つまたはそれを上回るプロンプトに基づいて、マップ許可を決定してもよい。例えば、ＡＲシステムは、１つまたはそれを上回るプロンプトをユーザインターフェース内に表示し、マップの１つまたはそれを上回る許可特徴に関するユーザ入力を受信してもよい。図２４Ｂ－１、２４Ｂ－２、および２４Ｂ－３を参照すると、ＡＲシステムは、記憶および／またはマップ許可に関する１つまたはそれを上回るオプションを提示し、マップデータと関連付けられる、記憶および／またはマップ許可を決定してもよい。いくつかの実施例では、ユーザは、マップカテゴリ化に基づいて、１つまたはそれを上回るオプションを視認および／または選択してもよい。例えば、ユーザは、世界特徴および／または世界モデルを、デバイス上に、パーソナル世界内に、または共有世界内に記憶するためのオプションを提示されてもよい。加えて、または代替として、ユーザは、世界理解を記憶するためのオプションを提示されてもよい。いくつかの実施例では、世界理解は、デフォルトによって、世界モデルと同一場所内に記憶されてもよい。そのような場合、ユーザは、世界理解を保存するか、または保存しないかのいずれかのためのオプションを提示されてもよい。いくつかの実施例では、世界理解は、世界モデルと異なる場所に記憶されてもよい。オプションをユーザに提示する際、ＡＲシステムは、オプションを、可視および選択可能にする、可視であるが、選択不能にする、可視かつ選択された状態にする、または別の様式においてしてもよい。オプションが選択される場合、ＡＲシステムは、選択を示してもよい。ＡＲシステムは、例えば、チェックマークをオプションの隣に示すことによって、またはオプションの他のハイライトを通して、選択を示してもよい。
図２４Ｂ－１に図示されるように、ＡＲシステムが、ユーザが世界特徴をデバイス上に記憶することを所望することを決定した場合、ＡＲシステムは、ユーザが、世界モデルをデバイス上にのみ記憶することを可能にし得、および／またはユーザが、世界理解を記憶することを可能にし得ない。ユーザは、次いで、それらのオプションのある組み合わせを選択してもよい。例えば、図２４Ｂ－１を参照すると、第１のオプション構成では、世界特徴は、デバイス上に記憶されてもよく、世界モデルは、デバイス上に記憶されてもよく、世界理解は、記憶されなくてもよい。
図２４Ｂ－２に図示されるように、ＡＲシステムが、ユーザが世界特徴をパーソナル世界内に記憶することを所望することを決定した場合、ＡＲシステムは、世界モデルのための記憶オプションの選択に基づいて、ユーザが、世界モデルをデバイス上またはパーソナル世界内に記憶することを可能にし得、および／またはユーザが、世界理解を記憶することを可能にし得ない。ユーザは、次いで、それらのオプションのある組み合わせを選択してもよい。例えば、図２４Ｂ－２を参照すると、第２のオプション構成では、世界特徴は、パーソナル世界内に記憶されてもよく、世界モデルは、デバイス上に記憶されてもよく、世界理解は、記憶されなくてもよい。第３の構成では、世界特徴は、パーソナル世界内に記憶されてもよく、世界モデルは、パーソナル世界内に記憶されてもよく、世界理解は、記憶されなくてもよい。第４の構成では、世界特徴は、パーソナル世界内に記憶されてもよく、世界モデルは、デバイス上に記憶されてもよく、世界理解は、パーソナル世界上に記憶されてもよい。第５の構成では、世界特徴は、パーソナル世界内に記憶されてもよく、世界モデルは、パーソナル世界内に記憶されてもよく、世界理解は、パーソナル世界内に記憶されてもよい。
図２４Ｂ－３に図示されるように、ＡＲシステムが、ユーザが世界特徴を共有世界内に記憶することを所望することを決定した場合、ＡＲシステムは、世界モデルのための記憶オプションの選択に基づいて、ユーザが、世界モデルをデバイス上または共有世界内に記憶することを可能にし得、および／またはユーザが、世界理解を記憶することを可能にし得ない。ユーザは、次いで、それらのオプションのある組み合わせを選択してもよい。例えば、図２４Ｂ－３を参照すると、第６のオプション構成では、世界特徴は、共有世界内に記憶されてもよく、世界モデルは、デバイス上に記憶されてもよく、世界理解は、記憶されなくてもよい。第７の構成では、世界特徴は、共有世界内に記憶されてもよく、世界モデルは、共有世界内に記憶されてもよく、世界理解は、記憶されなくてもよい。第８の構成では、世界特徴は、共有世界内に記憶されてもよく、世界モデルは、デバイス上に記憶されてもよく、世界理解は、共有世界上に記憶されてもよい。第９の構成では、世界特徴は、共有世界内に記憶されてもよく、世界モデルは、共有世界内に記憶されてもよく、世界理解は、共有世界上に記憶されてもよい。
マップデータと記憶および／または許可のある組み合わせが、本明細書に説明されるが、マップデータの記憶および／または許可の任意の組み合わせも、可能性として考えられる。例えば、マップデータは、世界特徴、世界モデル、または世界理解としてカテゴリ化されてもよい。
図２４Ａを継続して参照すると、ブロック３４０４では、ＡＲシステムは、ユーザの環境の走査またはマッピングを開始するかどうかを決定することができる。例えば、ＡＲシステムは、開始条件が環境の走査を開始するために満たされるかどうかを決定することができる。いくつかの実施例では、開始条件は、新しいおよび／または熟知されていない場所の中へのユーザの移動のシステムによる検出、１つまたはそれを上回るセンサからの入力、および／または付加的マッピングが実施されるべきであることを示すユーザ入力を含むことができる。ユーザ入力は、１つまたはそれを上回るプロンプトに対する肯定または否定応答を含むことができる。１つまたはそれを上回るプロンプトは、ユーザが、新しいユーザまたは既存のユーザであるかどうか、ユーザが、その環境を以前に走査し、マップを作成しているかどうか、またはプロンプトを開始するために使用されるプログラムのタイプ等の任意の数のＡＲシステム条件に基づいて、異なり得る。
ブロック３４０６では、ＡＲシステムは、ユーザの環境をマッピングおよび／または走査してもよい。マッピングまたは走査プロセスは、図２８－３４Ｃを参照して説明されるような走査プロセスを含むことができる。ブロック３４０６におけるマッピングまたは走査プロセスは、例えば、ユーザの環境内に見出される１つまたはそれを上回るＰＣＦと保存されたマップ内の１つまたはそれを上回るＰＣＦをマッチングさせることによって、マップを認識するためのステップを含むことができる。ブロック３４０６におけるマッピングまたは走査プロセスは、収集された（および／または仮想世界マップ内に記憶されるデータと組み合わせられた）データに基づいて生成されたマップが、現在および／または将来的使用の間、高品質ユーザ体験を提供するために十分に高い品質であるかどうかをチェックするステップを含むことができる。品質基準は、ユーザの環境内のキーフレーム、ＰＣＦ、またはメッシュと関連付けられる他のデータの数等、マップ品質を査定するための任意の好適な基準であることができる。例えば、ＡＲシステムは、十分なＰＣＦが、収集されたデータに基づいて、ユーザの空間を将来的走査において識別可能にするために見出されている、または生成されているかどうかを決定してもよい。
ブロック３４０８では、ＡＲシステムは、マップ許可に従って、マップを記憶してもよい。例えば、ＡＲシステムは、ブロック３４０２において決定された許可に従って、マップを遠隔またはローカルメモリに保存してもよい。加えて、または代替として、本システムは、ユーザに、名称または地球物理的場所等、メタデータとしてマップとともに記憶されるべきマップと関連付けられる、他の情報を入力するようにプロンプトしてもよい。本システムは、ブロック２２２２（例えば、図２２Ａ）において、インターフェースを表示し、ユーザに、マップ場所を選択または入力するようにプロンプトしてもよい。加えて、または代替として、ＡＲシステムは、ブロック２２４２（例えば、図２２Ｂ）において、ユーザに、新しいマップが作成または保存されたことを信号伝達する、確認応答インターフェースまたはメッセージを表示してもよい。
ブロック３４１０では、ＡＲシステムは、ランドスケープに進入してもよい。例えば、ＡＲシステムは、ユーザが、共有マップと関連付けられる、コンテンツにアクセスすることを可能にしてもよい。アプリケーションは、ユーザが、拡張現実コンテンツを他のユーザと協調して体験することを可能にしてもよい。
Ｌ． 例示的マップ相互作用
１． ローカルマップ相互作用
いくつかの実施例では、ユーザは、プライベートまたはローカルで保存されたマップと相互作用してもよい。例えば、ユーザは、ユーザによる将来的使用のために、プライベート自宅またはオフィスマップを保存してもよい。図２５Ａ－２５Ｈは、ローカル再位置特定およびマップ作成を含む、ローカルマップとの例示的ユーザ相互作用を図示する。
図２５Ａは、選択されたマップの中への例示的再位置特定を図示する。例えば、ユーザは、マップの中への位置特定および／または将来的再位置特定を可能にする意図を伴って、「自宅」等のマップを選択または命名してもよい。本プロセスは、例えば、図２３のブロック２３１０の間に生じてもよい。ＡＲシステムは、ユーザの環境内のデータの能動的または受動的収集によって、ＰＣＦを能動的または受動的に見出してもよい。ＡＲシステムは、次いで、それらの見出されたＰＣＦを選択されたマップにマッチングさせ、ユーザを選択されたマップの中に再位置特定してもよい。
図２５Ｂは、保存されたマップの中への未選択マップを用いた例示的再位置特定を図示する。例えば、ＡＲシステムは、ユーザがユーザの自宅内の別の部屋に進入する等、ユーザが新しい環境の中に移動するにつれて、ＰＣＦを自動的に走査してもよい。ユーザは、その中で位置特定するためのマップを拒否または別様に選択しなくてもよい。ＡＲシステムは、ユーザの環境内のデータの能動的または受動的収集によって、ＰＣＦを能動的または受動的に見出してもよい。ＡＲシステムは、次いで、それらの見出されたＰＣＦを保存されたまたは別様に既知のマップ内のＰＣＦにマッチングさせ、ユーザを保存されたまたは別様に既知のマップの中に再位置特定してもよい。
図２５Ｃは、選択されたマップを用いた例示的再位置特定と、選択されたマップの中への再位置特定の失敗とを図示する。例えば、ユーザは、選択されたマップの中で位置特定する意図を伴って、「自宅」等のマップを選択または命名してもよい。ＡＲシステムは、ユーザの環境内のデータの能動的または受動的収集によって、ＰＣＦを能動的または受動的に見出してもよい。ＡＲシステムは、収集されたＰＣＦと保存または選択されたマップ内のＰＣＦのマッチングを見出さない場合がある。ＡＲシステムは、次いで、同一または異なる名称を用いて、ＰＣＦを第２のマップとして保存する、または選択または保存されたマップの未接続部分として、ＰＣＦを保存してもよい。いくつかの実施例では、ＡＲシステムによるさらなるデータ収集は、図２５Ｄに図示されるように、選択されたマップの中への再位置特定の後続成功をもたらし得る。
いくつかの実装では、ＡＲシステムは、ユーザを同時に複数のマップの中に再位置特定しようと試み得る。したがって、ユーザが、マップ（例えば、「自宅」）を再位置特定段階において選択する場合（またはユーザが、マップを選択しない場合）でも、ＡＲシステムは、代わりに、ユーザの現在の場所と関連付けられ得る、複数の部屋の再位置特定の試行に起因して、異なる部屋（例えば、「オフィス」）と関連付けられる、コンテンツを識別してもよい。ＡＲシステムは、次いで、ユーザに、彼らがその他の部屋の中に再位置特定されていることを通知してもよい（例えば、「あなたのオフィスへようこそ」）。
図２５Ｄは、再位置特定の失敗後の選択されたマップの中への例示的再位置特定の成功を図示する。例えば、ＡＲシステムは、異なるマップのほぼ同一場所において、マップを保存する、生成する、または別様に、それと相互作用してもよい。ＡＲシステムは、いくつかの実施例では、２つのマップを接続し、両方のマップからのデータを包含するようにマップを事実上拡張させてもよい。ＡＲシステムは、第１のマップの中で位置特定し、次いで、ユーザの環境内の第２のマップからのＰＣＦの存在を決定する結果として、マップを接続してもよい。ＡＲシステムは、例えば、ＡＲシステムが、最初に、選択されたマップの中で位置特定し得なかった場合、２つのマップをマージするために、位置特定されたマップ内のＰＣＦを探してもよい。そのようなインスタンスでは、ＡＲシステムは、次いで、後の位置特定のために、または選択されたマップの拡張のために、選択されたマップのあるバージョンとして、作成されたマップを保存してもよい。例えば、図２５Ｃに図示されるように、ユーザは、「自宅」マップを選択してもよい。ＡＲシステムは、ユーザを以前に保存された「自宅」マップの中に再位置特定することが不可能である場合がある。結果として、ＡＲシステムは、新しく作成されたマップを「自宅」のあるバージョンとして保存してもよい。ＡＲシステムは、続いて、ユーザの環境のより多くのものが、走査された、または「自宅」のオリジナルバージョンからのＰＣＦが、ユーザの環境に見出された後、「自宅」のオリジナルバージョンと「自宅」の新しく作成されたバージョンを接続してもよい。
有利なこととして、マップをマージすることは、ＡＲシステムが、大マップまたは環境の中で位置特定することを可能にすることができる。例えば、ＡＲシステムは、ＰＣＦを命名されたマップから見出し、命名されたマップの中に再位置特定できないが、依然として、本システムが、新しい場所を生成せずに、命名されたマップ上に構築し得るように、見出されたＰＣＦと命名されたマップをタグ付けしてもよい。
図２５Ｅは、再位置特定の成功の別の実施例を図示する。例えば、ユーザは、再位置特定のためのマップを選択してもよい。再位置特定の間、ユーザの環境を走査する際、ＡＲシステムは、第２のマップのためのＰＣＦを見出し得る。ＡＲシステムは、次いで、マップを接続してもよい。ＡＲシステムは、例えば、ＡＲシステムが、最初に、選択されたマップの中で位置特定し得なかった（図２５Ｄに図示されるように）またはＡＲシステムが、異なる選択されたマップを走査する間、第２のマップと関連付けられるＰＣＦを見出す場合、２つのマップを接続するために、位置特定されたマップ内のＰＣＦを探してもよい。
図２５Ｆは、選択されたマップおよび追加されるＰＣＦを用いた例示的再位置特定を図示する。例えば、図２３および２４に説明されるような再位置特定プロセスの間、ＡＲシステムは、選択されたマップ内に以前に保存されていない、１つまたはそれを上回るＰＣＦを識別してもよい。いくつかの実施例では、ＡＲシステムは、１つまたはそれを上回る識別されたＰＣＦを選択されたマップの中に追加または保存してもよい。
図２５Ｇは、新しいＰＣＦを用いた例示的マップ作成を図示する。例えば、ユーザが、走査をスキップすることを決定する、または再位置特定のためのマップを選択しない場合、ＡＲシステムは、ユーザの環境内のＰＣＦを受動的に決定してもよい。いくつかの実施例では、ＡＲシステムは、見出されたＰＣＦを命名されていない、またはタグ付けされていないマップの中に保存してもよい。図２５Ｈに図示されるように、命名されていない、またはタグ付けされていないマップは、ユーザの環境の後続走査の間、命名されたマップとマージまたは接続されてもよい。
２． 外部記憶されたマップの相互作用
いくつかの実施例では、ユーザは、ユーザが作成していない、マップと相互作用することを所望し得る。例えば、ユーザは、ＡＲシステムの第三者または他のユーザによって作成された外部記憶されたマップに参加するように招待される、またはそれを求めてもよい。別の実施例では、ユーザは、パブリックまたは半パブリック環境内のマップ等の公的に入手可能なマップと相互作用することを所望し得る。いくつかの実施例では、１人またはそれを上回るユーザは、外部記憶されたマップの中で位置特定してもよい。１人またはそれを上回るユーザが、外部記憶されたマップの中で位置特定すると、ユーザは、マップの仮想要素と相互作用することが可能となり得る。例えば、１人のユーザによる仮想オブジェクトの変更は、マップの中で位置特定された別のユーザによって知覚可能になり得る。例えば、２人のユーザは、仮想チェスの駒を共有仮想チェスゲーム内で移動させることが可能であってもよい。別の実施例では、チャットセッションにおける２人のユーザは、共有環境内の他のユーザによって視認可能な１人のユーザの環境内の仮想コンテンツを示す、または共有することが可能であってもよい。図２６Ａは、共有マップの中への例示的位置特定プロセス３３００のフローチャートを示す。図２６Ｂおよび２６Ｃは、共有マップの中へのユーザ位置特定のための例示的グラフィカルユーザインターフェースを図示する。有利なこととして、下記に説明されるプロセスは、ユーザが、共有マップ、またはユーザがマッピングまたは作成していない、空間と関連付けられる、ＡＲコンテンツにアクセスすることを可能にすることができる。
図２６Ａを参照すると、ブロック３３０２では、ＡＲシステムは、共有セッションに参加する、または外部記憶されたマップの中で位置特定するための招待を受信、識別、伝送、または生成してもよい。例えば、ユーザは、第２のユーザによって、共有セッションに参加するように招待されてもよい。共有セッションは、その中で複数のユーザが、複数のユーザのうちの２人またはそれを上回る人数によって共有される、または別様に、彼らと関連付けられ得る、仮想コンテンツと相互作用する、状況を含むことができる。いくつかの実施例では、あるユーザまたは複数のユーザは、マップの中で位置特定するようにプロンプトされる、または別様に、それを決定してもよい。有利なこととして、共有マップの中に位置特定することは、ユーザが、マップと関連付けられる、情報にアクセスする、またはマップと関連付けられ得る、コンテンツを通して、共有セッション内でより良好に相互作用することを可能にし得る。マップは、外部記憶システムまたはクラウド内に記憶される、マップであってもよい。招待は、マップに参加する、またはその中で位置特定するためのプロンプトを含むことができる。例えば、１人またはそれを上回るユーザが、単一実世界空間を利用してもよい。第１のユーザは、ユーザがマップと関連付けられる仮想コンテンツにアクセスし得るように、両方のユーザが現在占有している、実世界空間のマップにアクセスするように、第２のユーザを招待してもよい。別の実施例では、ユーザは、ＡＲシステムによって、ＡＲシステムによって認識されるマップの中で位置特定するための招待を受信してもよい。例えば、ユーザが、映画館または美術館等のパブリック空間の中に進入し得る。ＡＲシステムは、パブリック空間をクラウド記憶装置内のマップにマッチングするものとして認識し得る。ＡＲシステムは、次いで、ユーザに、マップの中で位置特定、参加、または同期するように招待またはプロンプトしてもよい。いくつかの実施例では、ＡＲシステムは、１つを上回るマップ招待を受信または伝送してもよい。例えば、１人を上回るユーザが、空間をマッピングしており、マップの中で位置特定するようにユーザを招待している場合、ＡＲシステムは、その中で位置特定するためのマップの１つを上回る招待または選択肢を伝送してもよい。
ブロック３３０４では、ＡＲシステムは、ユーザが、ブロック３３０２からのマップに参加するための招待を承認しているかどうかを決定してもよい。例えば、ユーザは、ＡＲシステムに、マップ招待と関連付けられる入力を提供してもよい。入力は、マップ招待に対する承認、否認、または他の応答を含むことができる。ユーザが、承認を提供する場合、ＡＲシステムは、ブロック３３０６において、ユーザ認可を決定するステップ、またはブロック３３０８において、環境を走査するステップに進み得る。ユーザが、否認を提供する場合、ＡＲシステムは、ブロック３３１６において、ランドスケープに進入するステップに進み得る。
ブロック３３０２または３３０４に加えて、または代替として、ユーザは、ブロック３３０６に進み、ユーザ入力またはＡＲシステムによって認識される条件に基づいて、環境を走査してもよい。例えば、ユーザは、入力をＡＲシステムに提供し、マップにアクセスしてもよい。ユーザ入力は、例えば、ユーザの環境を走査し、マップを示される情報を追加することによって、パーソナル世界マップまたは他のマップ等のマップを改良するためのインジケーションを含むことができる。別の実施例では、ユーザ入力は、マップの中で位置特定するためのインジケーションを含むことができる。加えて、または代替として、ＡＲシステムは、直接ユーザ入力を伴わずに、マップの中への位置特定のために、ユーザの環境の走査を開始してもよい。例えば、ＡＲシステムは、ユーザが、あるマップを含有する、地理的場所内に存在することを識別し得る。ＡＲシステムは、ユーザの入力を待機せずに、ユーザの環境のマッピングまたは走査を開始し、そのマップの中で位置特定することを試みてもよい。
ブロック３３０６では、ＡＲシステムは、ユーザがマップにアクセスするための認可を有するかどうかを決定してもよい。例えば、図２４を参照して上記に議論されるように、マップは、許可のセットとともに記憶されてもよい。許可は、ユーザがマップにアクセスすることができるかどうかを決定付けることに役立ち得る。マップの場合、許可は、ユーザが、マップにアクセスし、および／またはそれを更新するための認可されたユーザであるかどうかを含んでもよい。ユーザの認可状態は、現在認可されているユーザまたは他の認可源が、マップにアクセスする、またはそれを編集するためにユーザを認可しているかどうかを含むことができる。いくつかの実施例では、マップは、ユーザデバイスに外部記憶されているが、そのマップを生成したユーザのみがそのマップにアクセスし得るように、ユーザにパーソナルである、マップであってもよい。別の実施例では、マップは、マップがその中に記憶されている、クラウド記憶装置へのアクセスを伴う、全てのユーザが、マップにアクセスし得るように、パブリックであってもよい。いくつかの実施例では、あるユーザが、アクセス許可を有し得、あるユーザが、編集許可を有し得るように、階層または異なるタイプのマップ許可が存在してもよい。ユーザが、マップにアクセスする、またはそれを編集することが認可されていることが決定される場合、ＡＲシステムは、ブロック３３０８に進み、ユーザの環境を走査してもよい。ユーザが、マップにアクセスする、またはそれを編集するために要求される認可を有していないことが決定される場合、ＡＲシステムは、ブロック３３１６に進み、マップをロードせずに、またはそれにアクセスせずに、ランドスケープに進入してもよい。いくつかの実施例では、ユーザは、マップへのアクセスを有するが、マップを編集する許可を有していない場合がある。そのような場合、ＡＲシステムは、ユーザが、環境を走査することを可能にするが、ユーザがマップへの任意の変更を記憶することを防止してもよい。
ブロック３３０８では、ＡＲシステムは、ユーザの環境をマッピングおよび／または走査してもよい。マッピングまたは走査プロセスは、図２８－３４Ｃを参照して説明されるような走査プロセスを含むことができる。例えば、ＡＲシステムは、その環境を通して、ユーザを誘導し、ユーザの環境内の１つまたはそれを上回るＰＣＦを見出すことができる。ＡＲシステムは、空間を走査する際、ユーザの識別された目的に基づいて、その環境を通して、ユーザを異なるように誘導してもよい。例えば、ユーザが、彼らがマップを更新することを示す場合、ＡＲシステムは、情報が殆どないユーザの環境のエリアをより優先的に、ユーザを誘導し（例えば、図２８－３４Ｃを参照して説明される走査プロセスによって）、マップ内にまだない情報をマップに追加することに役立ててもよい。別の実施例では、ユーザが、彼らが、マップの中で位置特定している、またはマップの中に同期されることを示す場合、ＡＲシステムは、情報がより多い環境のエリアを優先的に、ユーザを誘導し、ユーザを位置特定することに役立ててもよい。ブロック３３０８におけるマッピングまたは走査プロセスは、例えば、ユーザの環境内に見出される１つまたはそれを上回るＰＣＦと外部記憶または保存されたマップ内の１つまたはそれを上回るＰＣＦをマッチングさせることによって、マップを認識するためのステップを含むことができる。
ブロック３３１０では、ＡＲシステムは、ユーザがマップの中で位置特定されたかどうかを決定してもよい。例えば、ＡＲシステムは、十分なＰＣＦが、収集されたデータに基づいて、ユーザの空間またはユーザの空間と関連付けられるマップデータを識別するために見出されている、または生成されているかどうかを決定してもよい。いくつかの実施例では、位置特定は、ユーザが外部記憶されたマップと関連付けられる１つまたはそれを上回るＰＣＦ（共有ＰＣＦとも称される）を見出すことによって定義され得る。しかしながら、他のタイプの位置特定もまた、可能性として考えられ得る。いくつかの実施例では、ユーザは、単一共有ＰＣＦを見出し、共有マップの中で正常に位置特定し得る。別の実施例では、ユーザは、マップの中で正常に位置特定するために、複数のＰＣＦを見出し得る。位置特定の成功は、ユーザ、ＡＲシステム、またはマップデータと関連付けられる具体的アプリケーションによって、決定されてもよい。例えば、アプリケーションは、物理的世界データおよび仮想データのより精密な環境同期を要求し得る。ＡＲシステムは、したがって、より良好なまたはより正確な位置特定を確実にすることに役立つために、ユーザが見出すことが必要とされるＰＣＦの数を増加させてもよい。ＡＲシステムが、位置特定が生じたことを決定する場合、ＡＲシステムは、ブロック３３１２において、位置特定されたマップと関連付けられる、マップデータをロードしてもよい。ＡＲシステムが、位置特定が生じていないことを決定する場合、ＡＲシステムは、ブロック３３１４において、走査を継続するかどうかを決定してもよい。
加えて、または代替として、ＡＲシステムが、位置特定が、同一マップの中で位置特定するように試みている場合がある、ユーザのうちの１人またはそれを上回る人数によって生じていないことを決定する場合、ＡＲシステムは、マップと関連付けられる、マップデータをロードしてもよい。しかしながら、マップデータは、位置特定の失敗に起因して、ユーザを横断して整合し得ない。いくつかの実施例では、複数のユーザのためのマップデータの大まかな整合が、マップと関連付けられるコンテンツの操作を通して、共通基準フレームのユーザ手動または半手動整合を通して、遂行されてもよい。例えば、共有セッションは、コンテンツの整合を達成することに役立つために、ユーザが操作するためのハンドルまたは他のコンテンツを含むことができる。大まかな整合機構は、共有実世界空間内で位置特定することに失敗したユーザに、および／または遠隔実世界空間内のユーザのために適用可能であり得る。いくつかの実施例では、大まかな整合機構は、ＡＲシステムが位置特定が生じたことを決定するとき、位置特定における誤差または知覚される誤差を補正するために使用されることができる。
ブロック３３１４では、ＡＲシステムは、走査を継続するかどうかを決定してもよい。例えば、位置特定が、生じていない場合、ＡＲシステムは、新しいマップを生成する、またはユーザの環境内の１つまたはそれを上回るＰＣＦを見出すために、より多くのデータを必要とし得る。しかしながら、ＡＲシステムは、走査プロセスを停止させるためのタイムアウト、ユーザ入力、または他の終了基準を利用してもよい。ＡＲシステムは、次いで、ユーザに、ユーザの環境を走査し続けるかどうかに関する入力をプロンプトしてもよい（例えば、ブロック３３０８における走査プロセスによって）。ＡＲシステムが、例えば、ユーザ入力または他の基準に起因して、走査が継続すべきであることを決定する場合、ＡＲシステムは、ブロック３３０８において、走査を継続し得る。ＡＲシステムが、走査が継続べきではないことを決定する場合、ＡＲシステムは、ブロック３３０８において、ランドスケープに進入し得る。
加えて、または代替として、ＡＲシステムは、任意の時点で、プロセス３３００を停止し、ブロック３３１６において、ランドスケープに進入することができる。例えば、ユーザは、ブロック３３０８において、走査プロセスの間、終了またはスキップコマンドを入力することができる。ＡＲシステムは、次いで、走査プロセスを中止する、またはランドスケープに進入することができる。
ブロック３３１８では、ＡＲシステムは、ユーザに、位置特定のステータスを通知してもよい。例えば、ユーザが、正常に位置特定されている場合、ＡＲシステムは、マップの中で位置特定されたユーザまたは他のユーザ（同一マップの中で現在位置特定されている、または位置特定を試みている者等）に、位置特定の成功を通知してもよい。別の実施例では、ユーザが、正常に位置特定されていない場合、ＡＲシステムは、マップの中で位置特定を試みたユーザまたは他のユーザ（同一マップの中で現在位置特定されている、または位置特定を試みている者等）に、位置特定の失敗を通知してもよい。
図２６Ｂは、パブリックまたは世界マップの中での位置特定２５００の間の例示的グラフィカルユーザインターフェースを図示する。例えば、招待ブロック２５１０では、ＡＲシステムは、ユーザが共有マップに参加するための招待を受信またはに送信することができる。共有マップは、他のユーザにアクセス可能なマップであってもよい。ユーザが、ブロック２５１８において招待を承認する場合、ＡＲシステムは、次いで、ＡＲシステムが共有マップの中で位置特定されたかどうかを決定してもよい。ＡＲシステムが、共有マップの中で位置特定されない場合、ＡＲシステムは、ユーザに、ブロック２５１２において、その環境の走査プロセスを開始するようにプロンプトしてもよい。ＡＲシステムが、共有マップの中で位置特定される場合、ＡＲシステムは、ユーザに、ブロック２５１２において、ユーザの環境の走査を開始するようにプロンプトしてもよい。ＡＲシステムは、次いで、ではブロック２５１４において、例えば、ゲーム化された走査プロセスを通してユーザを誘導することによって、ユーザの環境を走査してもよい。ＡＲシステムは、次いで、ブロック２５１６において、位置特定が成功するかどうかをチェックしてもよい。位置特定が、成功する場合、ＡＲシステムは、ブロック２５２０において、コンテンツを復元してもよい。位置特定が、成功しない場合、ＡＲシステムは、ユーザに、その環境の走査を継続する、または新しいマップを生成するようにプロンプトしてもよい。いったんＡＲシステムが、位置特定が完了した、または他の終了基準が満たされたことを決定すると、ＡＲシステムは、ブロック２５２２において、ＡＲランドスケープに進入してもよい。例えば、ＡＲシステムは、ユーザが共有マップと関連付けられるコンテンツにアクセスすることを可能にし得る、アプリケーションにハンドオフしてもよい。アプリケーションは、ユーザが、他のユーザと協調して、拡張現実コンテンツを体験することを可能にしてもよい。
図２６Ｃは、共有プライベートマップの中での位置特定２５０１の間の例示的グラフィカルユーザインターフェースを図示する。例えば、招待ブロック２５３０では、ユーザは、ユーザが共有マップに参加するための招待を送信または受信してもよい。共有マップは、他のユーザにアクセス可能なマップであってもよい。ユーザが、招待を承認する場合、ＡＲシステムは、ブロック２５３２において、共有マップと関連付けられるマーカを受信してもよい。マーカは、共有マップと関連付けられる、１つまたはそれを上回るＰＣＦを含むことができる。ＡＲシステムは、ユーザに、ブロック２５３４において、ユーザの環境を走査することの許可を有効にするようにプロンプトしてもよい。ユーザ許可の受信に応じて、ＡＲシステムは、ブロック２５３６において、ユーザの環境を走査してもよい。いったんＡＲシステムが、ユーザの環境内のマーカを認識すると、ＡＲシステムは、ブロック２５３８において、例えば、視覚的、可聴、または触知フィードバックによって、位置特定の完了成功を示してもよい。いったんＡＲシステムが、位置特定が完了した、または他の終了基準が満たされたことを決定すると、ＡＲシステムは、ブロック２５４０において、ＡＲランドスケープに進入してもよい。例えば、ＡＲシステムは、ユーザが、共有マップと関連付けられるコンテンツにアクセスすることを可能にし得る、アプリケーションにハンドオフしてもよい。アプリケーションは、ユーザが、他のユーザと協調して、拡張現実コンテンツを体験することを可能にしてもよい。
３． マップキュレーション
いくつかの実施例では、ＡＲシステムは、マップ品質を改良するために、図２８－３４Ｃを参照して説明されるような走査プロセスを利用してもよい。例えば、すでに生成されたマップは、メッシュデータまたはＰＣＦデータ等の完全情報を欠いている場合がある。ＡＲシステムは、それらのエリアをマッピングすることによってマップ品質を改良するために、走査プロセスを使用して、高品質データを欠いている、そのマップのエリアにユーザを誘導してもよい。マップ品質を改良することは、マップキュレーションと称され得る。そのようなマップキュレーションは、そのまたは別のマップを以前に構築または生成したユーザによって行われてもよい。例えば、ソフトウェア開発者および／またはユーザが、マップ品質を改良するために、マップキュレーションモードに入ってもよい。他の実施例では、複数のユーザが、マップをキュレートしてもよく、データは、マップ品質を改良するためにマージされてもよい。「拡張現実マップキュレーション」と題され、２０２０年１月２７日に出願された、関連米国特許出願第６２／９６６２６７号は、本明細書で議論され、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる、実施形態の中に実装され得る、マップキュレーションプロセスに関するさらなる詳細を提供する。
ブロック３５０２では、ＡＲシステムは、キュレートするためのマップを決定してもよい。例えば、ＡＲシステムは、ユーザの検出された地理的場所と関連付けられる、マップを自動的に決定してもよい。別の実施例では、ＡＲシステムは、ユーザがキュレートするための既存のマップを選択する（および／またはＡＲシステムによって自動的に選択されたマップを確認する）ためのプロンプトを表示することができる。ユーザが、マップを選択する場合、ＡＲシステムは、ブロック３５０４において、マップがさらなるキュレーションを必要とするかどうかを決定する。いくつかの実施例では、ユーザが、マップを選択する場合、ＡＲシステムは、ブロック３５０６に進み、ブロック３５０４において、選択されたマップが、マップ品質閾値を満たすかどうかを決定せずに、環境を走査してもよい。
ブロック３５０４では、ＡＲシステムは、選択されたマップがマップ品質閾値を満たすかどうかを決定してもよい。例えば、ＡＲシステムは、マップ品質が、マップが改良を必要とする、または改良を必要としないほど十分であるかどうかを決定することができる。マップ品質が、閾値品質を満たさない場合、ＡＲシステムは、ブロック３５０６に進み、ユーザの環境を走査してもよい。いくつかの実施例では、マップ品質閾値は、環境のために利用可能なマップデータの閾値パーセンテージ、環境内の保存されたＰＣＦの数、同等物、またはそれらのある組み合わせを含むことができる。
ブロック３５０４に加えて、または代替として、ＡＲシステムは、品質にかかわらず、ユーザにマップをキュレートさせてもよい。例えば、ユーザは、マップのサイズを新しい領域の中に拡張させることを所望し得る。いくつかの実施例では、マップは、高品質であるが、ユーザが所望するほど大きくないまたは完全ではない場合がある。ＡＲシステムは、したがって、ユーザがキュレーションプロセスを終了することを所望するまで、環境の走査を継続し、マップをキュレートしてもよい。
ブロック３５０６では、ＡＲシステムは、ユーザの環境をマッピングおよび／または走査してもよい。マッピングまたは走査プロセスは、図２８－３４Ｃを参照して説明されるような走査プロセスを含むことができる。例えば、ＡＲシステムは、その環境を通してユーザを誘導し、ユーザの環境内の１つまたはそれを上回るＰＣＦを見出すことができる。例えば、ユーザが、彼らがマップを更新することを示す場合、ＡＲシステムは、情報が殆どないユーザの環境のエリアにより優先的に、ユーザを誘導し（例えば、図２８－３４Ｃを参照して説明される走査プロセスによって）、共有マップ内にまだない情報を共有マップに追加することに役立ててもよい。別の実施例では、ＡＲシステムは、図２８－３４Ｃを参照して説明されるような１つまたはそれを上回る基準に従って、ユーザの空間全体を通してユーザを誘導してもよい。ブロック３３０８におけるマッピングまたは走査プロセスは、例えば、ユーザの環境内に見出される１つまたはそれを上回るＰＣＦと共有または保存されたマップ内の１つまたはそれを上回るＰＣＦをマッチングさせることによって、マップを認識するためのステップを含むことができる。
いくつかの実施例では、ブロック３５０６における走査プロセスの間、ＡＲシステムは、識別されたマップ品質に基づいて、ユーザを誘導してもよい。例えば、マップのエリアは、マップの他のエリアより高いマップ品質を有し得る。ＡＲシステムは、より低い品質を伴うマップのエリアに、それらのエリア内でデータを集め、そこのマップ品質を改良するために、ユーザを誘導してもよい。マップ品質は、限定ではないが、マップのそのエリアで収集されたデータの量を含む、任意の数の基準によって定義され得る。いくつかの実施例では、ユーザが、その空間を動き回るにつれて、ＡＲシステムは、ユーザに、マップキュレーションが必要とされる、または完了された量を知らせるために、ユーザに、現在のマップ品質を通知してもよい。通知は、上記の関連出願にさらに詳細に説明されるように、現在のマップ品質のユーザへのグラフィカル、触知、可聴、または他のフィードバックを伴うことができる。一実施例では、通知は、正規化されたマップ品質インデックスまたは値と関連付けられる、進行度バーを含むことができる。別の実施例では、通知は、マップの色コーディングを含むことができる。
ブロック３５０８では、ＡＲシステムは、走査を継続するかどうかを決定してもよい。例えば、ＡＲシステムは、マップ品質が走査を停止するために十分であるかどうか、または走査が継続すべきであるかどうかを識別してもよい。マップ品質が、依然として、低い場合、ＡＲシステムは、より多くのデータを必要とし、ユーザを誘導し、ユーザの環境内の１つまたはそれを上回るＰＣＦを見出すことに役立ててもよい。しかしながら、ＡＲシステムは、走査プロセスを停止させるためのタイムアウト、ユーザ入力、または他の終了基準を利用してもよい。ＡＲシステムは、次いで、ユーザに、ユーザの環境を走査し続けるかどうかに関する入力をプロンプトしてもよい（例えば、ブロック３５０６における走査プロセスによって）。ＡＲシステムが、例えば、ユーザ入力または他の基準に起因して、走査が継続すべきであることを決定する場合、ＡＲシステムは、ブロック３５０６において、走査を継続し得る。ＡＲシステムが、走査が継続すべきではないことを決定する場合、ＡＲシステムは、ブロック３５１２において、キュレーションを終了し得る。いくつかの実施例では、終了基準のみが、ユーザが、彼らが終了することを決定するまで、その空間のマッピングまたは走査を継続し得るように、ユーザ入力であってもよい。有利なこととして、これは、ＡＲシステムがマッピングまたは走査プロセスのための終了基準を決定することを伴わずに、ユーザが、彼らが彼らがキュレートしているマップ内で所望する通りの詳細を得ることを可能にする。
Ｍ． 環境走査プロセス
上記で参照されるように、ユーザをマップの中で再位置特定または位置特定する、またはマップを作成する際、ＡＲシステムは、ユーザの環境を走査し、ユーザの環境内のＰＣＦまたは他のマーカを認識する必要があり得る。いくつかの実施例では、ＡＲシステムは、ユーザが、自然に、その環境を動き回るにつれて、データを受動的に収集し、ユーザの環境を走査してもよい。しかしながら、いくつかの実施例では、ＡＲシステムは、その環境を歩き回り、観察するようにユーザを促すことによって、環境を能動的に走査してもよい。ＡＲシステムは、ユーザの環境全体を通して、ウェイポイントまたは表示されるグラフィックを使用して、本走査を実施するようにユーザを促してもよい。加えて、ＡＲシステムは、データ収集の成功と関連付けられる、アニメーションを表示してもよい。図２６は、ユーザの環境を走査するためにＡＲシステムによって実装され得る、例示的走査プロセス２６００を図示する。例えば、走査プロセスは、ウェイポイント決定ブロック２６１０、ユーザ指示ブロック２６１２、データ収集ブロック２６１４、および終了基準決定ブロック２６１６を含むことができる。
ウェイポイント決定ブロック２６１０では、ＡＲシステムは、１つまたはそれを上回るグラフィック（例えば、可視化）をユーザの環境内に設置するための場所を決定することができる。例えば、ＡＲシステムは、図２９を参照して説明されるようなプロセスに従って、グラフィックの場所を決定することができる。いくつかの実施例では、ＡＲシステムは、ユーザの環境内に分散される、１つまたはそれを上回るグラフィックのための場所を決定することができる。ＡＲシステムは、限定ではないが、ユーザの環境のエリア内で収集されたデータまたはメッシュの存在または不在を含む、任意の数の基準に基づいて、場所を選択してもよい。加えて、または代替として、ＡＲシステムは、ユーザまたは他の選択されたウェイポイント場所からの距離に基づいて、場所を選択してもよい。有利なこととして、ＡＲシステムは、その環境のより多くのものを探索するようにユーザを促すために、ユーザまたは他のウェイポイント場所からさらに離れた場所を選択してもよい。
ＡＲシステムは、ユーザの環境について収集されたデータを分析するための任意の好適な手段によって、ウェイポイント場所を決定してもよい。例えば、ＡＲシステムは、１つまたはそれを上回る外向きに向いたカメラまたはセンサを使用して、ユーザの環境についてのデータを収集してもよい。ＡＲシステムは、潜在的ウェイポイント場所を決定する際、１つまたはそれを上回る基準に従って、データを分析してもよい。例えば、ＡＲシステムは、外向きに向いたカメラからのデータに基づいて、３２個の潜在的ウェイポイント場所を決定してもよい。ＡＲシステムは、ユーザおよび他の潜在的または決定されたウェイポイント場所からの距離に基づいて、３２個の潜在的場所を順序付けてもよい。ＡＲシステムは、次いで、順序付けられた場所のサブセットを選択し、ユーザに表示してもよい。
ユーザ指示ブロック２６１２では、ＡＲシステムは、ブロック２６１０において決定されたウェイポイント場所における１つまたはそれを上回るグラフィックを使用して、ユーザに、その環境を探索するように指示することができる。例えば、ＡＲシステムは、ブロック２６１０において決定された１つまたはそれを上回る場所において、１つまたはそれを上回るグラフィックを表示してもよい。ＡＲシステムは、順次または一度に、グラフィックを表示する、順次または一度に、グラフィックの一部を表示する、またはそれらのある組み合わせであってもよい。ＡＲシステムは、例えば、誘導アニメーション（例えば、下記の図３０を参照して説明される誘導アニメーションプロセス参照）を表示することによって、ウェイポイント場所のうちの１つまたはそれを上回るものにユーザを誘導してもよい。ＡＲシステムは、ユーザの環境内の複数のウェイポイント場所にユーザを誘導するように、誘導アニメーションを使用してもよい。例えば、６つのウェイポイント場所が存在する場合、ＡＲシステムは、順次、６つのウェイポイント場所のそれぞれにユーザを誘導することができる。別の実施例では、ＡＲシステムは、一度に、単一ウェイポイント場所を決定し、選択されたウェイポイント場所のそれぞれにユーザを誘導することができる。ＡＲシステムは、次いで、すでに完了されたウェイポイント場所に基づいて、後続ウェイポイント場所を決定し、後続ウェイポイント場所にユーザを誘導してもよい。
データ収集ブロック２６１４では、ＡＲシステムは、ユーザの環境と関連付けられる、データを収集することができる。例えば、ＡＲシステムは、ＡＲシステムの頭部搭載型ディスプレイ上の１つまたはそれを上回る外向きに向いたカメラ等のＡＲシステムと関連付けられる１つまたはそれを上回るセンサを使用して、データを収集することができる。ＡＲシステムは、走査プロセス２６００のステップのいずれかの前、間、または後に、データを収集してもよい。例えば、ＡＲシステムは、ウェイポイント場所決定ブロック２６１０またはユーザ指示ブロック２６１２の間、データを収集してもよい。加えて、または代替として、ＡＲシステムは、ブロック２６１０において決定されたウェイポイント場所におけるグラフィックとの相互作用の間、データを収集してもよい。例えば、ユーザが、例えば、ウェイポイント場所の閾値距離内に来ることによって、グラフィックと相互作用すると、ＡＲシステムは、そのウェイポイント場所の近くのユーザの環境についてのデータを収集してもよい。有利なこととして、ＡＲシステムは、ブロック２６１２において、ユーザをウェイポイント場所に誘導しながら、データを収集し、ブロック２６１４において、ブロック２６１０において決定されたウェイポイント場所においてグラフィックと相互作用しながら、より多くの量の詳細なデータを収集することができる。故に、ＡＲシステムは、データが収集される必要がある場所として識別され得る、ユーザの環境のエリアにおいて、さらに詳細なデータを収集し得る。
終了基準決定ブロック２６１６では、ＡＲシステムは、より多くのデータが収集される必要があるかどうか、または走査プロセス２６００を終了すべきかどうかを決定することができる。ＡＲシステムは、１つまたはそれを上回る走査終了基準が満たされたかどうかを分析することによって、走査プロセスを終了することを決定することができる。例えば、ＡＲシステムは、ブロック２６１４において、ウェイポイント場所におけるデータを収集することができる。ＡＲシステムは、ユーザが、閾値数のウェイポイント場所においてデータを収集した、最小量のＰＣＦを識別した、および／またはユーザの環境内の適正な量のメッシュを決定するための他の基準を満たしたかどうかを決定することができる。いくつかの実施形態では、終了基準は、位置特定プロセスが生じるための基準にマッチングしてもよい。ＡＲシステムが、ユーザが閾値数のウェイポイント場所においてデータを収集したことを決定する場合、ＡＲシステムは、走査プロセスを終了してもよい。ＡＲシステムが、ユーザが閾値数のウェイポイント場所においてデータを収集していないことを決定する場合、ＡＲシステムは、ブロック２６１０において、走査プロセス２６００を継続または再開してもよい。別の実施例では、ＡＲシステムは、プロセス２６００の間、任意の時点で、走査プロセスを停止またはスキップするためのユーザからの入力を受信することができる。ユーザが、走査プロセス２６００を停止した場合、ＡＲシステムは、走査プロセスを終了してもよい。ＡＲシステムが、走査プロセス２６００を停止していない場合、ＡＲシステムは、走査プロセスを継続し得る。別の実施例では、ＡＲシステムは、閾値量のデータが閾値タイムフレーム以内に収集されたかどうかを決定することができる。ＡＲシステムが、十分なデータが閾値タイムフレーム以内に収集されていないことを決定する場合、ＡＲシステムは、プロセス２６００を終了してもよい。ＡＲシステムが、閾値タイムフレームが経過しておらず、より多くのデータが収集されるべきであることを決定する場合、ＡＲシステムは、走査プロセスを継続し得る。
Ｎ． 例示的ウェイポイント生成
上記に議論されるように、図２８を参照して説明されるような走査プロセスの側面は、ユーザの環境内のウェイポイントまたはグラフィック場所の決定を含むことができる。図２７は、例示的グラフィックスポーンプロセス２７００を図示する。例えば、グラフィックスポーンプロセス２７００は、レイキャスティングブロック２７１２、レイキャスティングタイプブロック２７１４、順序決定ブロック２７１６、選択ブロック２７１８、ディスプレイブロック２７２０、および終了基準ブロック２７２２を含むことができる。
レイキャスティングブロック２７１２では、ＡＲシステムは、レイキャスティングをユーザの周囲に送信することができる。種々の実施形態では、レイキャスティング技法は、ユーザの環境のデジタルバージョン内に、実質的に横方向幅が殆どない、細いデジタル光線をキャスティングするステップ、または実質的横方向幅を伴う光線（例えば、円錐または錐台）をキャスティングするステップを含んでもよい。例えば、光線は、ユーザから離れるように延在し、実世界のデジタルコピー内の１つまたはそれを上回る実または仮想オブジェクトと交差し得る、デジタル線であってもよい。いくつかの実施形態では、実オブジェクトは、実世界のデジタルコピー内のメッシュによって表されてもよい。いくつかの実施形態では、仮想オブジェクトは、レンダリング可能３Ｄアセット（例えば、例えば、メッシュおよび対応するメッシュレンダラデータを伴う、３Ｄモデル）によって表されてもよい。レイキャスティングは、ユーザの環境の中への特定の方向における限定されたデータ収集を迅速に取得するために使用されてもよい。例えば、限定されたデータ収集は、メッシュの方向における表面またはコンテンツの存在、メッシュがレイキャスティングの方向に存在するかどうか、任意の見出されるコンテンツまたはメッシュまでの距離、同等物、またはそれらのある組み合わせを含むことができる。レイキャスティングは、水平に、垂直に、および／または半径方向に、ユーザと関連付けられる原点から延在してもよい。例えば、レイキャスティングは、１つまたはそれを上回るレイキャスティングがユーザによって装着される頭部搭載型ディスプレイと垂直であるように、水平に、ユーザの頭部から延在してもよい。ＡＲシステムは、任意の数のレイキャスティングを送信してもよい。例えば、ＡＲシステムは、ユーザの頭部に中心合わせされる３２本のレイキャスティングを送信することができる。しかしながら、他の数のレイキャスティングも、可能性として考えられる。例えば、特定の環境のために必要なレイキャスティングの数は、環境と以前に関連付けられる集められた走査データおよび／またはマップデータの分析等に基づいて、ＡＲシステムによって動的に決定されてもよい。
レイキャスティングタイプブロック２７１４では、ＡＲシステムは、ブロック２７１２からの１つまたはそれを上回るレイキャスティングに関するタイプを割り当てる、決定する、またはカテゴリ化することができる。例えば、レイキャスティングは、ユーザの環境と関連付けられる情報、メッシュ、または他のＡＲコンテンツを含んでもよい。ＡＲシステムは、個別のレイキャスティングから取得される情報に従って、レイキャスティングのうちの１つまたはそれを上回るものをカテゴリ化してもよい。例えば、ＡＲシステムは、当射、無当射、または観察されないタイプのレイキャスティングとして、レイキャスティングのそれぞれをカテゴリ化してもよい。いくつかの実施形態では、本システムは、空間をグリッドによって分割することによって、環境を一連のセルに分割してもよい。当射レイキャスティングは、レイキャスティングの原点からの閾値距離内のコンテンツと交差する、またはメッシュまたはＰＣＦ等のコンテンツを含有する、セルと交差する、レイキャスティングを含むことができる。無当射レイキャスティングは、レイキャスティングの原点からの閾値距離内の、無コンテンツを含有する、セルと交差する、レイキャスティング、またはメッシュまたはＰＣＦ等のコンテンツと交差する、レイキャスティングを含むことができる。観察されないレイキャスティングは、レイキャスティングの原点からの閾値距離内にコンテンツが存在するかどうかが未知である、レイキャスティングを含むことができる。観察されないレイキャスティングは、ユーザがデータを収集するためのレイキャスティングと関連付けられる場所にいる可能性がないことを示し得る。ＡＲシステムは、次いで、さらなるメッシュデータの入手を可能にするであろう、ユーザ移動を促すために、グラフィックを表示するための場所を決定する際、さらなる分析のために、観察されないレイキャスティングタイプおよび／または他のレイキャスティングタイプを選択してもよい。
順序決定ブロック２６１６では、ＡＲシステムは、レイキャスティングと関連付けられる１つまたはそれを上回る基準に従って、レイキャスティングを配列することができる。例えば、ＡＲシステムは、レイキャスティングの原点から離れた最も遠い点から最も近い点までの距離に従って、観察されないレイキャスティングを順序付けることができる。有利なこととして、距離に従ってレイキャスティングを配列することは、ＡＲシステムが、ユーザからさらに離れるようにグラフィックを表示するための場所を決定または優先的に選択することを可能にすることができる。ユーザからさらに離れるようにグラフィックを表示することは、ＡＲシステムが、場所がユーザにより近い場合よりも、その環境のより多くのものを探索するようにユーザを誘導することを可能にすることができる。いくつかの実施例では、他の順序付け基準も、使用されてもよい。
選択ブロック２７１８では、ＡＲシステムは、ユーザの環境内のある場所を決定する、またはある場所にグラフィックを表示することができる。ＡＲシステムは、レイキャスティングに基づいて、ユーザのＦＯＶ内のほぼ中心または別の場所にある、グラフィックを表示するための場所を選択してもよい。別の実施例では、ＡＲシステムは、ユーザのＦＯＶの外側の場所にある、グラフィックを表示してもよい。いくつかの実施例では、ＡＲシステムは、レイキャスティングからのデータを分析し、より多くのデータ収集を使用し得る、ユーザの環境内の場所を決定してもよい。例えば、ＡＲシステムは、ある場所がメッシュ化されていないことを決定し得る。ＡＲシステムは、メッシュ化されていない場所を優先的に選択してもよい。加えて、または代替として、ＡＲシステムは、ユーザの閾値距離内または外の場所を選択してもよい。例えば、ＡＲシステムは、初期ウェイポイント場所がユーザからの閾値距離にあることを決定し得る。いくつかの実施例では、閾値距離は、１メートル、２メートル、５メートル、または他の距離であることができる。いくつかの実施例では、ＡＲシステムは、ウェイポイントグラフィックのためのスポーン場所を決定する際、１つを上回るを基準を使用してもよい。例えば、ＡＲシステムは、ユーザから閾値距離（例えば、２メートル）を上回り、かつ別の選択された場所（例えば、前のウェイポイント）から閾値距離（例えば、２メートル）を上回る場所、またはメッシュ化されたエリアを決定してもよい。有利なこととして、初期ウェイポイント場所をユーザからの閾値距離に設置することは、ユーザが、その環境を動き回り、グラフィックと相互作用することを促すことができる。
いくつかの実施例では、ＡＲシステムは、ユーザに表示されたグラフィックの数に従って、ウェイポイント場所を選択してもよい。例えば、ＡＲシステムが、任意のグラフィックをユーザに表示していない場合、走査プロセスが、最初に、開始し、または走査プロセスが、再開し、ＡＲシステムは、グラフィックをユーザのＦＯＶ内に表示してもよい。加えて、または代替として、ＡＲシステムは、順序決定ブロック２７１６において決定された順序に従って、グラフィックを最良場所に表示してもよい。ＡＲシステムは、ＡＲシステムがグラフィックをユーザにすでに表示している場合、グラフィックを最良場所に表示してもよい。
グラフィック表示ブロック２７２０では、ＡＲシステムは、１つまたはそれを上回るグラフィックを決定されたウェイポイント場所のうちの１つまたはそれを上回るものに表示してもよい。例えば、ＡＲシステムは、グラフィックを単一ウェイポイント場所に表示してもよい。いったんデータが、ウェイポイント場所で収集されると、ＡＲシステムは、第２のウェイポイント場所を決定し、ブロック２７１２からプロセス２７００を繰り返してもよい。加えて、または代替として、ＡＲシステムは、グラフィックを１つを上回る場所に表示してもよい。
終了基準ブロック２７２２では、ＡＲシステムは、より多くのグラフィックが表示される必要があるかどうか、またはグラフィック表示プロセス２７００を終了すべきかどうかを決定することができる。ＡＲシステムは、１つまたはそれを上回る終了基準が満たされたかどうかを分析することによって、プロセス２７００を終了することを決定することができる。例えば、ＡＲシステムは、ウェイポイント場所を決定し、ウェイポイント場所におけるデータを収集することができる。ＡＲシステムは、ユーザが閾値数のウェイポイント場所においてデータを収集したかどうかを決定することができる。ＡＲシステムが、ユーザが閾値数のウェイポイント場所においてデータを収集したことを決定する場合、ＡＲシステムは、走査プロセスを終了してもよい。ＡＲシステムが、ユーザが閾値数のウェイポイント場所においてデータを収集していないことを決定する場合、ＡＲシステムは、プロセス２７００を継続または再開し、より多くのグラフィックを表示してもよい。別の実施例では、ＡＲシステムは、プロセス２７００の間、任意の時点で、走査プロセスを停止またはスキップするためのユーザからの入力を受信することができる。ユーザが、走査プロセスを停止している場合、ＡＲシステムは、プロセス２７００を終了してもよい。
Ｏ． 例示的ウェイポイント誘導
ＡＲシステムによってスポーンまたは生成された、表示されるグラフィックまたはウェイポイントと相互作用するようにユーザを促すために、ＡＲシステムは、ユーザの環境内のスポーンされたウェイポイントにユーザを誘導してもよい。図３０は、インジケータリンググラフィックを使用して、ユーザの環境内のウェイポイントまたは複数のウェイポイントにユーザを誘導するための例示的誘導プロセス２８００を図示する。例示的インジケータリング段階が、図３１Ａおよび３１Ｂに図示される。インジケータリンググラフィックは、ウェイポイントを識別し、ウェイポイントに向かってユーザの移動を促すために使用され得る、グラフィックの一実施例である。他の実装では、任意の他のグラフィックおよび／またはオーディオ誘導が、ユーザに提供されてもよい。例えば、プロセス２８００は、視野決定ブロック２８１０、ＦＯＶ外誘導ブロック２８１２、ＦＯＶ内誘導ブロック２８１４、更新ブロック２８１６、アクティブ化決定ブロック２８１８、および終了ブロック２８２０を含むことができる。
視野決定ブロック２８１０では、ＡＲシステムは、ウェイポイントがユーザの視野（ＦＯＶ）内にあるかどうかを決定することができる。ウェイポイントは、グラフィックのいくつかまたは全てがユーザのＦＯＶ内にある場合、ユーザのＦＯＶ内にあると見なされ得る。例えば、ＡＲシステムは、ウェイポイントの閾値部分がユーザのＦＯＶ内にある場合、ウェイポイントがユーザのＦＯＶ内にあることを決定し得る。閾値部分は、１０パーセント、２５パーセント、５０パーセント、または別のパーセンテージを含むことができる。加えて、または代替として、ＡＲシステムは、ウェイポイントがユーザのＦＯＶ内で（例えば、ユーザの環境内のオブジェクトの背後に）隠蔽されるかどうかを決定してもよい。ＡＲシステムが、ウェイポイントがユーザのＦＯＶ内で隠蔽されていることを決定する場合、ＡＲシステムは、ウェイポイントをユーザのＦＯＶの外側にあるものとして取り扱い得る。加えて、または代替として、ＡＲシステムは、隠蔽されたウェイポイントをユーザのＦＯＶ内の隠蔽されていない場所に再位置特定し、ウェイポイントをオクルードされていない場所に移動させる、アニメーション等を用いて、新しい場所にユーザを誘導してもよい。ＡＲシステムが、ウェイポイントがユーザのＦＯＶ内にあることを決定する場合、ＡＲシステムは、ＡＲシステムがウェイポイントがユーザのＦＯＶの外側にあることを決定する場合と異なるグラフィックを使用して、ウェイポイントにユーザを誘導してもよい。例えば、ＡＲシステムが、ウェイポイントがユーザのＦＯＶの外側にあることを決定する場合、ＡＲシステムは、ブロック２８１２において、図２９Ａに図示されるような部分的リングを使用して、ユーザをウェイポイントに誘導してもよい。ＡＲシステムが、ウェイポイントがユーザのＦＯＶ内にあることを決定する場合、ＡＲシステムは、ブロック２８１４において、図２９Ｂに図示されるような完全リングを使用して、ユーザをウェイポイントに誘導してもよい。
ＦＯＶ外誘導ブロック２８１２では、ＡＲシステムは、ブロック２８１０において決定されるようなユーザのＦＯＶの外側のウェイポイントにユーザを誘導してもよい。例えば、ＡＲシステムは、ユーザが、表示されるウェイポイントに移動し、それを見出すための方向を視覚的に、聴覚的に、または別様に示してもよい。例えば、ＡＲシステムは、図３１Ａに図示されるような部分的リンググラフィック２９１０を表示してもよい。部分的リンググラフィック２９１０は、曲率を有してもよい。曲率は、ピークを有してもよい。ピークは、上、下、左、または右等のウェイポイントを見出すための進行する、見る、または走査するべき方向を示してもよい。加えて、または代替として、部分的リンググラフィック２９１０は、弧状に配列される、いくつかのバブルまたは粒子を含むことができる。弧は、ウェイポイントを見出すために進行する、見る、または走査するべき方向を示すために、弧に沿った場所にバブルまたは粒子の増加された密度を有してもよい。
図２８に戻ると、ＦＯＶ内誘導ブロック２８１４では、ＡＲシステムは、ブロック２８１０において決定されるようなユーザのＦＯＶ内のウェイポイントにユーザを誘導してもよい。例えば、ＡＲシステムは、ユーザが、表示されるウェイポイントに移動し、それを見出すための方向を視覚的に、聴覚的に、または別様に示してもよい。例えば、ＡＲシステムは、図３１Ｂに図示されるように、リンググラフィック２９１４を表示されるウェイポイント２９１６の周囲に表示してもよい。リング２９１４は、ウェイポイントグラフィック２９１６の幅を上回るまたはそれに等しい、直径を有してもよい。例えば、リング２９１４は、ウェイポイントグラフィック２９１６の幅の２倍の直径を有してもよい。いくつかの実施例では、ＡＲシステムは、ウェイポイント場所からのユーザの距離に依存するサイズにおいて、リング２９１４を表示してもよい。いくつかの実施例では、ＡＲシステムは、ユーザがウェイポイント場所の閾値距離内に入るまで、固定されたサイズにおいて、リング２９１４を表示してもよい。いくつかの実施例では、ＡＲシステムは、ウェイポイント２９１６がユーザのＦＯＶ内にある間、リング２９１４をウェイポイント２９１６の周囲に表示してもよい。
図２８に戻ると、更新ブロック２８１６では、ＡＲシステムは、リング等の誘導グラフィックを更新してもよい。例えば、ＡＲシステムは、ウェイポイント場所までのユーザ近接度を決定してもよい。ＡＲシステムは、ユーザ近接度に基づいて、誘導グラフィックの外観を変化させてもよい。例えば、ＡＲシステムは、ウェイポイントまたは表示されるグラフィックに徐々に近づくようにリングのサイズを変化させてもよい。加えて、または代替として、ＡＲシステムは、オーディオを再生し、または触知フィードバックを生成し、ウェイポイントまでの近接性を示してもよい。
アクティブ化決定ブロック２８１８では、ＡＲシステムは、標的ウェイポイントがアクティブ化されているかどうかを決定してもよい。例えば、ＡＲシステムは、標的ウェイポイントが、ユーザがウェイポイント場所までの閾値近接度に到達することによって、アクティブ化されていることを決定し得る。ウェイポイントが、アクティブ化されると、ＡＲシステムは、図３２－３４Ｃを参照して説明されるような確認応答をユーザに表示する、または示してもよい。例えば、ＡＲシステムは、図３１を参照して説明されるようなアニメーション、可聴確認応答、および／または触知確認応答を表示してもよい。ウェイポイントが、アクティブ化される、または誘導プロセスが、別様に停止される場合、ＡＲシステムは、新しい標的ウェイポイントを決定し、新しい標的ウェイポイントを用いて、プロセス２８００を開始してもよい。別の実施例では、ＡＲシステムは、誘導プロセス２８００を終了してもよい。ウェイポイントが、アクティブ化されない場合、ＡＲシステムは、例えば、ブロック２８１０において、再びプロセスを開始することによって、現在のウェイポイントを用いて、誘導プロセス２８００を継続し得る。
Ｐ． 例示的ウェイポイントアクティブ化プロセス
いったんＡＲシステムが、ユーザをウェイポイント場所に正常に誘導すると（例えば、図２９を参照して説明される誘導プロセスによって）、ＡＲシステムは、ウェイポイントアクティブ化と関連付けられる、アクティブ化プロセスをトリガしてもよい。アクティブ化プロセスは、ウェイポイントの近くのユーザの環境と関連付けられる情報を記憶するステップと、視聴覚または触知フィードバックを通して、ウェイポイントの完了の成功をユーザに示すステップを含むことができる。図３２は、例示的ウェイポイントアクティブ化プロセス３０００を図示する。ウェイポイントアクティブ化プロセス３０００は、相互作用決定ブロック３０１０、アニメーションブロック３０１２、および除去ブロック３０１４を含むことができる。
相互作用決定ブロック３０１０では、ＡＲシステムは、ウェイポイントとのユーザ相互作用を決定することができる。いくつかの実施例では、相互作用は、ユーザ視線またはウェイポイントとの近接度を含むことができる。別の実施例では、相互作用は、ユーザ入力デバイスの作動または他のユーザ入力による、ウェイポイントの選択を含むことができる。相互作用が、閾値相互作用を超える場合、ＡＲシステムは、ブロック３０１２において、ウェイポイントをアニメーション化することができる。
アニメーションブロック３０１２では、ＡＲシステムは、ウェイポイントの相互作用またはアクティブ化の成功のインジケーションを表示することができる。例えば、図３３－３４Ｃを参照して議論されるように、ＡＲシステムは、アニメーションまたは一連のグラフィックを表示する、またはウェイポイントのアクティブ化またはそれとの相互作用と関連付けられる、可聴または触知フィードバックを生成することができる。
除去ブロック３０１４では、ＡＲシステムは、図２９を参照して説明されるようなウェイポイントスポーンプロセスの一部として生成されているとされ得る、スポーンまたは表示するためのウェイポイントをウェイポイントのリストから除去することができる。ＡＲシステムが、単一ウェイポイントを一度に表示する、または単一ウェイポイント場所を一度に決定する、実施例では、ウェイポイントのリストが存在しなくてもよく、ＡＲシステムは、ユーザに表示するための次のウェイポイントを動的に決定してもよい。加えて、または代替として、ＡＲシステムは、現在のウェイポイント場所をすでに訪問した場所として保存してもよい。
図３３は、ウェイポイントのアクティブ化を示すために実施され得る、例示的ウェイポイントアニメーションプロセス３１００を図示する。例えば、ＡＲシステムは、ブロック３１１０において、バブルを生成し、ブロック３１１６において、衝突軌道を決定する、バブルをアニメーション化する（例えば、ユーザの環境内の衝突場所に進行するように）、またはユーザの環境内のオブジェクトまたはメッシュとの衝突をアニメーション化することによって、ブロック３１１２において、バブルをアクティブ化し、ブロック３１１４において、バブルを表示から除去することができる。他の実装では、任意の他のグラフィックおよび／またはオーディオ誘導が、ウェイポイントアクティブ化のインジケーションとして、ユーザに提供されてもよい。一例示的実装では、ユーザが、その第１のウェイポイントをアクティブ化すると、ＡＲシステムは、彼らに、「光の粒子を見回して」（例えば、バブルまたはある他の視覚的効果）と通知する。それらを見ることによって、それらの特定のバブルは、アクティブ化するであろう。これは、ユーザにその環境をさらに見回せさせ、それによって、そのマップ品質を増加させるという有益な副次的効果を有する。したがって、このようなバブル（および／または他の視覚的効果）の使用は、面白い視覚的／聴覚的報酬をユーザに提供するだけではなく、また、実践的利点をもたらし得る。
ブロック３１１０では、ＡＲシステムは、１つまたはそれを上回るバブルまたは他のグラフィックを生成することができる。バブルまたは他のグラフィックは、ウェイポイントから生成されることができる。例えば、図３４Ａに図示されるように、ウェイポイント３２１０は、グラフィックを含むことができる。いったんウェイポイントが、上記に説明されるようにアクティブ化されると、ＡＲシステムは、ウェイポイントを図３４Ｂに図示されるような複数のより小さいバブル３２２０に弾発または爆発させてもよい。バブルは、ユーザのＦＯＶ内の異なる点に表示されてもよい。例えば、バブルは、ユーザのＦＯＶ内にランダムに表示されてもよい。別の実施例では、バブルは、ウェイポイントバブル３２１０が弾発したかのように、バブル３２２０が見えるように、表示されてもよい。有利なこととして、ユーザのＦＯＶ内の分散された点におけるバブルを位置特定することは、彼らがバブルアニメーションを伴わないであろう場合よりも、ユーザがウェイポイント場所の近くのその環境をより見回すことを促すことができる。バブルは、静的または動的であってもよい。バブル３２２０に加えて、または代替として、ＡＲシステムは、アクティブ化のインジケーション３２１４を表示してもよい。インジケーション３２１４は、アクティブ化の成功のチェックマークまたは他のインジケーションを含むことができる。加えて、または代替として、ＡＲシステムは、インジケーションと関連付けられる、オーディオを再生する、または触知フィードバックを生成することができる。
いくつかの実施例では、ＡＲシステムは、ユーザに、バブル（またはウェイポイントを囲繞する、またはと関連付けられる、他のグラフィック）を見るように指示することができる。ＡＲシステムが、ユーザがバブルまたは他のグラフィックと相互作用していることを検出すると、ＡＲシステムは、ブロック３１１６に進み、バブルをアクティブ化してもよい。例えば、ＡＲシステムは、ユーザがその視線をバブルに指向していることを決定し得る。ＡＲシステムは、次いで、そのバブルをアクティブ化してもよい。
下記にさらに議論されるように、いくつかの実装では、バブルがアクティブ化される（例えば、ユーザがそれを見ることによって）と、ＡＲシステムは、その場所に近接する（また、概して、ユーザから離れている）、メッシュを計算する。バブルは、次いで、直接、その近接メッシュ場所まで飛行し、弾発する（例えば、別のアニメーションをトリガする）。バブルの近隣のメッシュが存在しない場合、単に、ユーザから離れるように飛行し、より大きい弾発アニメーションを伴わずに、フェードアウトしてもよい。いくつかの実装では、アクティブ化される、いくつかまたは全てのバブルは、ランダム軌道内で移動させてもよい。
ブロック３１１６では、ＡＲシステムは、１つまたはそれを上回るバブル３２１０のための軌道を決定することができる。例えば、ＡＲシステムは、ユーザの環境内の１つまたはそれを上回るバブル３２１０の進行方向を決定することができる。いくつかの実施例では、バブルの進行方向は、原点、例えば、ウェイポイントから、メッシュ等のユーザの環境内のコンテンツまでの経路を辿ることができる。例えば、バブルのうちの少なくともいくつかは、ウェイポイントのユーザのアクティブ化を通して生成および／または更新された、メッシュのエリアまで進行してもよい。ＡＲシステムは、ユーザの環境内のメッシュまたは他のコンテンツに向かって、バブル３２１０の軌道を選択することができる。ブロック３１１８では、ＡＲシステムは、決定された軌道に沿って進行するように、バブル３２１０をアニメーション化することができる。ブロック３１２０では、ＡＲシステムは、バブル３２１０とユーザの環境内のメッシュ３２１６との間の衝突をアニメーション化してもよい。例えば、ＡＲシステムは、衝突３２１８を表示し、その周囲で衝突３２１８が生じたメッシュ３２１６の一部を表示してもよい。ＡＲシステムは、終了基準が満たされるまで、バブル３２１０を衝突させ続けてもよい。例えば、終了基準は、ユーザの環境内の計算されたメッシュ３２１６の閾値部分の表示を含むことができる。別の実施例では、終了基準は、閾値数の表示されるバブル衝突を含むことができる。ブロック３１１４では、いったんバブル衝突が、生じると、ＡＲシステムは、バブルを表示から除去することができる。例えば、ＡＲシステムは、バブルをフェードアウトさせる、またはバブルをユーザのＦＯＶから外に移動させることによって、消散するように、バブルをアニメーション化してもよい。図３４Ｃに図示されるように、アニメーションプロセス３１００の結果は、完了またはアクティブ化されたウェイポイント３２１４のエリア内に表示され得る、メッシュ３２１６を含むことができる。
Ｑ． 付加的実施例
本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちのいずれの単一の１つだけが、その望ましい属性に関与するわけではない。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。
実施例１：拡張現実（ＡＲ）システムであって、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラであって、ユーザに可視のユーザの環境の一部は、ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、ユーザの頭部と関連付けられる場所を備える、原点から、複数のレイキャスティングを生成し、複数のレイキャスティングを分析し、環境のマッピングされていない場所と関連付けられる、レイキャスティングを識別し、マッピングされていない場所と関連付けられるグラフィックを含むように、仮想コンテンツを更新し、ユーザの環境と関連付けられる、データを収集し、マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、ユーザに、データが正常に収集されたことを信号伝達するようにプログラムされる、ハードウェアプロセッサとを備える、ＡＲシステム。
実施例２：ハードウェアプロセッサは、ユーザに、グラフィックを観察するように指示するように構成される、実施例１に記載のＡＲシステム。
実施例３：ハードウェアプロセッサは、環境内に付加的マッピングされていない場所が存在することの決定に応答して、付加的マッピングされていない場所に関する該更新、指示、収集、および信号伝達を繰り返すように構成される、実施例１または２に記載のＡＲシステム。
実施例４：該更新、指示、収集、および信号伝達は、少なくとも、マッピングされていない場所と関連付けられるデータの最小閾値が取得されるまで、繰り返される、実施例１－３のうちのいずれか１項に記載のＡＲシステム。
実施例５：ハードウェアプロセッサはさらに、収集されたデータに基づいて、ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するように構成され、環境内に付加的マッピングされていない場所が存在するかどうかを決定するステップは、少なくとも１つのＰＣＦが識別されたかどうかの決定に基づく、実施例１－４のうちのいずれか１項に記載のＡＲシステム。
実施例６：ハードウェアプロセッサはさらに、少なくとも１つのＰＣＦの存在の決定に応答して、少なくとも１つのＰＣＦを含む、保存されたマップと関連付けられるコンテンツをロードするように構成される、実施例１－５のうちのいずれか１項に記載のＡＲシステム。
実施例７：複数のレイキャスティングを分析するために、ハードウェアプロセッサは、レイキャスティングに関して、レイキャスティングに沿ったメッシュの存在を決定し、レイキャスティングに沿ったメッシュの距離を計算し、メッシュの存在、コンテンツの存在、およびメッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備える、レイキャスティングタイプを決定するように構成される、実施例１－６のうちのいずれか１項に記載のＡＲシステム。
実施例８：コンテンツタイプは、ユーザおよび他の観察されない場所のうちの少なくとも１つからの最大距離内のメッシュ上にコンテンツを伴うレイキャスティングを備える、実施例７に記載のＡＲシステム。
実施例９：最大距離は、２メートルである、実施例８に記載のＡＲシステム。
実施例１０：無コンテンツタイプは、最大距離内のメッシュ上に無コンテンツを伴うレイキャスティングを備える、実施例７－９のうちのいずれか１項に記載のＡＲシステム。
実施例１１：観察されないタイプは、最大距離内に未知のコンテンツを伴うレイキャスティングを備える、実施例７－１０のうちのいずれか１項に記載のＡＲシステム。
実施例１２：ハードウェアプロセッサは、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例１－１２のうちのいずれか１項に記載のＡＲシステム。
実施例１３：ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例１２に記載のＡＲシステム。
実施例１４：ハードウェアプロセッサは、ユーザに、ユーザのＦＯＶの中心におけるグラフィックを観察するように指示し、ユーザに、データが少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達するように構成され、収集されたデータは、ユーザのＦＯＶの中心と関連付けられる、データを備える、実施例１２－１３のうちのいずれか１項に記載のＡＲシステム。
実施例１５：ユーザに、データが観察されない場所において正常に収集されたことを信号伝達するために、ハードウェアプロセッサは、グラフィックと関連付けられるアニメーションを観察されない場所に表示するように構成される、実施例１－１４のうちのいずれか１項に記載のＡＲシステム。
実施例１６：アニメーションを表示するために、ＡＲシステムは、グラフィックと関連付けられる、少なくとも１つのバブルを生成し、少なくとも１つのバブルと関連付けられる、衝突軌道を決定し、少なくとも１つのバブルを、衝突軌道に沿って、ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化し、少なくとも１つのバブルとメッシュの衝突を表示するように構成される、実施例１５に記載のＡＲシステム。
実施例１７：ユーザに、グラフィックを観察するように指示するために、ハードウェアプロセッサは、ユーザの位置に対する観察されない場所に基づいて、インジケータリングを表示するように構成される、実施例１－１６のうちのいずれか１項に記載のＡＲシステム。
実施例１８：拡張現実（ＡＲ）システムであって、仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、ユーザの環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラであって、ユーザに可視のユーザの環境の一部は、ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、マップのユーザ選択を受信し、ユーザの頭部と関連付けられる場所を備える、原点から、複数のレイキャスティングを生成し、複数のレイキャスティングを分析し、環境のマッピングされていない場所と関連付けられる、レイキャスティングを識別し、マッピングされていない場所と関連付けられるグラフィックを含むように、仮想コンテンツを更新し、ユーザに、グラフィックを観察するように指示し、ユーザの環境と関連付けられる、データを収集し、マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、ユーザに、データが正常に収集されたことを信号伝達する、および収集されたデータ内の少なくとも１つのマーカがマップ内の少なくとも１つのマーカに対応することの決定に応答して、マップと関連付けられる、仮想現実コンテンツを表示する、または収集されたデータ内のマーカがマップ内のマーカに対応しないことの決定に応答して、別のマッピングされていない場所に関する該更新、指示、収集、および信号伝達を繰り返すようにプログラムされる、ハードウェアプロセッサとを備える、ＡＲシステム。
実施例１９：少なくとも１つのマーカは、少なくとも１つのＰＣＦを備える、実施例１８に記載のＡＲシステム。
実施例２０：複数のレイキャスティングを分析するために、ハードウェアプロセッサは、レイキャスティングに関して、レイキャスティングに沿ったメッシュの存在を決定し、レイキャスティングに沿ったメッシュの距離を計算し、メッシュの存在、コンテンツの存在、およびメッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備える、レイキャスティングタイプを決定するように構成される、実施例１８－１９のうちのいずれか１項に記載のＡＲシステム。
実施例２１：コンテンツタイプは、ユーザおよび他の観察されない場所のうちの少なくとも１つからの最大距離内のメッシュ上にコンテンツを伴うレイキャスティングを備える、実施例２０に記載のＡＲシステム。
実施例２２：最大距離は、２メートルである、実施例２１に記載のＡＲシステム。
実施例２３：無コンテンツタイプは、最大距離内のメッシュ上に無コンテンツを伴うレイキャスティングを備える、実施例２０－２２のうちのいずれか１項に記載のＡＲシステム。
実施例２４：観察されないタイプは、最大距離内に未知のコンテンツを伴うレイキャスティングを備える、実施例２０－２３のうちのいずれか１項に記載のＡＲシステム。
実施例２５：ハードウェアプロセッサは、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例１８－２５のうちのいずれか１項に記載のＡＲシステム。
実施例２６：ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例２５に記載のＡＲシステム。
実施例２７：ハードウェアプロセッサは、ユーザに、ユーザのＦＯＶの中心におけるグラフィックを観察するように指示し、ユーザに、データが少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達するように構成され、収集されたデータは、ユーザのＦＯＶの中心と関連付けられる、データを備える、実施例２５－２６のうちのいずれか１項に記載のＡＲシステム。
実施例２８：ユーザに、データが観察されない場所において正常に収集されたことを信号伝達するために、ハードウェアプロセッサは、グラフィックと関連付けられるアニメーションを観察されない場所に表示するように構成される、実施例１８－２７のうちのいずれか１項に記載のＡＲシステム。
実施例２９：アニメーションを表示するために、ＡＲシステムは、グラフィックと関連付けられる、少なくとも１つのバブルを生成し、少なくとも１つのバブルと関連付けられる、衝突軌道を決定し、少なくとも１つのバブルを、衝突軌道に沿って、ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化し、少なくとも１つのバブルとメッシュの衝突を表示するように構成される、実施例２８に記載のＡＲシステム。
実施例３０：ユーザに、グラフィックを観察するように指示するために、ハードウェアプロセッサは、ユーザの位置に対する観察されない場所に基づいて、インジケータリングを表示するように構成される、実施例１８－２９のうちのいずれか１項に記載のＡＲシステム。
実施例３１：１つまたはそれを上回るハードウェアコンピュータプロセッサと、コンピューティングシステムによってコンピュータ化された方法を実施することが実行可能なソフトウェア命令を記憶する、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有する、コンピューティングシステムによって実施される、ユーザ環境の拡張現実マップを作成または更新する方法であって、ユーザの周囲の複数の方向のそれぞれからの距離データを取得するステップであって、距離データは、物理的オブジェクトが個別の方向において検出された距離を示す、ステップと、閾値距離を超える距離を有する、距離データと関連付けられる、ウェイポイントのランク付けされたリストを作成するステップであって、最大距離と関連付けられる、ウェイポイントは、ランク付けされたリスト内の最初にある、ステップと、ユーザによって装着される拡張現実（ＡＲ）デバイス上で視認するための最高ランク付けされたウェイポイントを参照して位置付けられる、グラフィックを表示するステップであって、グラフィックは、ユーザに、拡張現実マップが不完全である、ユーザ環境のエリアを指示するように構成される、ステップと、ウェイポイントと関連付けられる、ＡＲデバイスによるデータの収集を可能にする、ユーザの移動を検出するステップと、ランク付けされたリスト内に付加的ウェイポイントが残っているかどうかを決定するステップと、付加的ウェイポイントがランク付けされたリスト内に残っていることの決定に応答して、次の最高ランク付けされたウェイポイントを用いて、該表示、検出、および決定を実施するステップとを含む、方法。
実施例３２：ランク付けされたリストは、６つのウェイポイントを備える、実施例３１に記載の方法。
実施例３３：該表示、検出、および決定は、少なくとも、データの最小閾値が収集されるまで、繰り返される、実施例３１または３２に記載の方法。
実施例３４：収集されたデータに基づいて、ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するステップをさらに含む、実施例３１－３３のいずれか１項に記載の方法。
実施例３５：少なくとも１つのＰＣＦの存在の決定に応答して、少なくとも１つのＰＣＦを含む、保存されたマップと関連付けられるコンテンツをロードするステップを含む、実施例３１－３４のいずれか１項に記載の方法。
実施例３６：グラフィックをユーザのＦＯＶの中心に表示するステップを含む、実施例３１－３５のいずれか１項に記載の方法。
実施例３７：ハードウェアプロセッサは、最高ランク付けされたウェイポイントを参照して位置付けられるグラフィックを生成することに先立って、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例３６に記載の方法。
実施例３８：ユーザのＦＯＶの中心と関連付けられる、ＡＲデバイスによるデータの収集を可能にする、ユーザの移動を検出するステップを含む、実施例３６または３７に記載の方法。
実施例３９：最高ランク付けされたウェイポイントを参照して位置付けられるグラフィックと関連付けられる、アニメーションを表示するステップを含む、実施例３１－３８のいずれか１項に記載の方法。
実施例４０：アニメーションを表示するステップは、
グラフィックと関連付けられる、少なくとも１つのバブルを生成するステップと、少なくとも１つのバブルと関連付けられる、衝突軌道を決定するステップと、少なくとも１つのバブルを、衝突軌道に沿って、ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化するステップと、少なくとも１つのバブルとメッシュの衝突を表示するステップとを含む、実施例３９に記載の方法。
実施例４１：ユーザをウェイポイントに誘導するステップを含む、実施例３１－４０のいずれか１項に記載の方法。
実施例４２：ユーザを誘導するステップは、インジケータリングを表示するステップを含む、実施例４１に記載の方法。
実施例４３：拡張現実（ＡＲ）システムであって、
仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、
ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、
ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、
共有マップにアクセスするための招待を受信し、
共有マップへのユーザアクセスを促進し、
ユーザの３Ｄ環境を観察するようにユーザを誘導し、
ユーザの３Ｄ環境と関連付けられる、データを収集し、
共有マップと関連付けられる、データが、ユーザの３Ｄ環境内に見出される場合、共有マップと関連付けられる、コンテンツをロードする、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、ＡＲシステム。
実施例４４：ハードウェアプロセッサはさらに、
収集されたデータに基づいて、ユーザの環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するように構成され、共有マップと関連付けられる、データが、ユーザの３Ｄ環境内に見出されるかどうかを決定するステップは、共有マップと関連付けられる、少なくとも１つのＰＣＦが、収集されたデータ内で識別されたかどうかの決定に基づく、実施例４３に記載のＡＲシステム。
実施例４５：コンテンツをロードするために、ハードウェアプロセッサは、少なくとも１つのＰＣＦの存在の決定に応答して、少なくとも１つのＰＣＦを含む、共有マップと関連付けられる、コンテンツをロードするように構成される、実施例４３－４４のうちのいずれか１項に記載のＡＲシステム。
実施例４６：ハードウェアプロセッサは、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例４３－４５のうちのいずれか１項に記載のＡＲシステム。
実施例４７：ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例４６に記載のＡＲシステム。
実施例４８：ハードウェアプロセッサは、
ユーザに、ユーザのＦＯＶの中心におけるグラフィックを観察するように指示し、
ユーザに、データが少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達する、
ように構成され、収集されたデータは、ユーザのＦＯＶの中心と関連付けられる、データを備える、実施例４３－４７のうちのいずれか１項に記載のＡＲシステム。
実施例４９：ユーザに、データが観察されない場所において正常に収集されたことを信号伝達するために、ハードウェアプロセッサは、グラフィックと関連付けられるアニメーションを観察されない場所に表示するように構成される、実施例４３－４８のうちのいずれか１項に記載のＡＲシステム。
実施例５０：アニメーションを表示するために、ＡＲシステムは、
グラフィックと関連付けられる、少なくとも１つのバブルを生成し、
少なくとも１つのバブルと関連付けられる、衝突軌道を決定し、
少なくとも１つのバブルを、衝突軌道に沿って、ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化し、
少なくとも１つのバブルとメッシュの衝突を表示する、
ように構成される、実施例４９に記載のＡＲシステム。
実施例５１：共有マップは、ＡＲディスプレイの外部の場所に記憶される、マップを備える、実施例４３－５０のうちのいずれか１項に記載のＡＲシステム。
実施例５２：共有マップは、複数のＡＲデバイスまたは複数のユーザにアクセス可能なマップを備える、実施例４３－５１のうちのいずれか１項に記載のＡＲシステム。
実施例５３：ユーザに、グラフィックを観察するように指示するために、ハードウェアプロセッサは、ユーザの位置に対する観察されない場所に基づいて、インジケータリングを表示するように構成される、実施例４３－５２のうちのいずれか１項に記載のＡＲシステム。
実施例５４：ハードウェアプロセッサは、
記憶するためのマップを識別し、
デバイス上記憶装置またはデバイス外記憶装置を備える、記憶場所を決定し、
識別されたマップと関連付けられる、１つまたはそれを上回るユーザ許可を決定し、１つまたはそれを上回るユーザ許可は、１人またはそれを上回るユーザが識別されたマップにアクセスするための認可を備え、
決定された記憶場所および決定された１つまたはそれを上回るユーザ許可に基づいて、識別されたマップを記憶する、
ように構成される、実施例４３－５３のうちのいずれか１項に記載のＡＲシステム。
実施例５５：拡張現実（ＡＲ）システムであって、
仮想コンテンツをＡＲシステムのユーザに提示するように構成される、ＡＲディスプレイと、
ユーザの３次元（３Ｄ）環境の１つまたはそれを上回る画像を捕捉するように構成される、外向きに向いたカメラと、
ＡＲディスプレイおよび外向きに向いたカメラと通信する、ハードウェアプロセッサであって、
マップを更新するためのユーザ入力を受信し、
ユーザの３Ｄ環境を観察するようにユーザを誘導し、
ユーザの３Ｄ環境と関連付けられる、データを収集し、
マップと関連付けられる、マップ品質インデックスを決定し、
マップ品質インデックスのインジケーションをＡＲディスプレイ上に表示し、
収集されたデータに基づいて、マップを更新し、
停止するためのユーザ入力またはマップ品質インデックスが閾値に達することの決定を備える、停止条件を識別することに応答して、ユーザを誘導することを停止する、
ようにプログラムされる、ハードウェアプロセッサと、
を備える、ＡＲシステム。
実施例５６：マップ品質インデックスは、関連付けられる収集されたデータを有する、３Ｄ環境のパーセンテージに基づく、実施例５５に記載のＡＲシステム。
実施例５７：ハードウェアプロセッサは、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例５５－５６のうちのいずれか１項に記載のＡＲシステム。
実施例５８：ハードウェアプロセッサは、グラフィックを観察されない場所に生成することに先立って、グラフィックをユーザのＦＯＶの中心に表示するように構成される、実施例５７に記載のＡＲシステム。
実施例５９：ハードウェアプロセッサは、
ユーザに、ユーザのＦＯＶの中心におけるグラフィックを観察するように指示し、
ユーザに、データが少なくとも１つの観察されない場所の近くで正常に収集されたことを信号伝達する、
ように構成され、収集されたデータは、ユーザのＦＯＶの中心と関連付けられる、データを備える、実施例５５－５８のうちのいずれか１項に記載のＡＲシステム。
実施例６０：ユーザに、データが観察されない場所において正常に収集されたことを信号伝達するために、ハードウェアプロセッサは、グラフィックと関連付けられるアニメーションを観察されない場所に表示するように構成される、実施例５５－５９のうちのいずれか１項に記載のＡＲシステム。
実施例６１：アニメーションを表示するために、ＡＲシステムは、
グラフィックと関連付けられる、少なくとも１つのバブルを生成し、
少なくとも１つのバブルと関連付けられる、衝突軌道を決定し、
少なくとも１つのバブルを、衝突軌道に沿って、ユーザの環境のマップと関連付けられるメッシュ上の衝突場所に向かって移動させるようにアニメーション化し、
少なくとも１つのバブルとメッシュの衝突を表示する、
ように構成される、実施例６０に記載のＡＲシステム。
実施例６２：ユーザに、グラフィックを観察するように指示するために、ハードウェアプロセッサは、ユーザの位置に対する観察されない場所に基づいて、インジケータリングを表示するように構成される、実施例５５－６１のうちのいずれか１項に記載のＡＲシステム。
上記の実施例のいずれかは、任意の好適な組み合わせにおいて組み合わせられてもよい。
Ｒ． 他の考慮点
本明細書に説明される、または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装または実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装または実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実装または実施形態における組み合わせにおいて実装されることができる。逆に、単一の実装または実施形態の文脈において説明される種々の特徴もまた、複数の実装または実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (10)

  1. 拡張現実（ＡＲ）システムであって、
    仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
    前記ユーザの環境の１つ以上の画像を捕捉するように構成される外向きに向いたカメラであって、前記ユーザに可視の前記ユーザの前記環境の一部は、前記ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、
    前記ＡＲディスプレイおよび前記外向きに向いたカメラと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
    前記ユーザの頭部と関連付けられる場所を備える原点から、レイキャスティングを生成することと、
    前記環境内の実オブジェクトを示すメッシュデータを含むマップにアクセスすることと、
    前記レイキャスティングに沿ったメッシュの存在を決定することと、
    前記レイキャスティングに沿った前記メッシュの距離を計算することと、
    前記メッシュの方向におけるコンテンツの存在を決定することと、
    前記メッシュの存在、前記コンテンツの存在、および前記メッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備えるレイキャスティングタイプを決定することと、
    少なくとも前記レイキャスティングタイプに基づいて、前記マップのマッピングされていない場所を決定することと、
    前記マッピングされていない場所と関連付けられるグラフィックを含むように、前記仮想コンテンツを更新することと、
    前記ユーザの前記環境と関連付けられるデータを収集することと、
    前記マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、前記ユーザに、データが正常に収集されたことを信号伝達することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、ＡＲシステム。
  2. 前記ハードウェアプロセッサは、前記ユーザに、前記グラフィックを観察するように指示するように構成される、請求項１に記載のＡＲシステム。
  3. 前記ハードウェアプロセッサは、前記環境内に付加的マッピングされていない場所が存在することの決定に応答して、前記付加的マッピングされていない場所に関して前記更新すること、指示すること、収集すること、および信号伝達することを繰り返すように構成される、請求項２に記載のＡＲシステム。
  4. 前記更新すること、指示すること、収集すること、および信号伝達することは、少なくとも、マッピングされていない場所と関連付けられるデータの最小閾値が取得されるまで、繰り返される、請求項２に記載のＡＲシステム。
  5. 前記ハードウェアプロセッサは、前記収集されたデータに基づいて、前記ユーザの前記環境内の少なくとも１つの持続座標フレーム（ＰＣＦ）の存在を決定するようにさらに構成され、前記環境内に付加的マッピングされていない場所が存在するかどうかを決定することは、少なくとも１つのＰＣＦが識別されたかどうかの前記決定に基づく、請求項１に記載のＡＲシステム。
  6. 前記ハードウェアプロセッサは、少なくとも１つのＰＣＦの存在の決定に応答して、前記少なくとも１つのＰＣＦを含む保存されたマップと関連付けられるコンテンツをロードするようにさらに構成される、請求項１に記載のＡＲシステム。
  7. 前記コンテンツタイプは、前記ユーザおよび他の観察されない場所のうちの少なくとも１つからの最大距離内の前記メッシュ上にコンテンツを伴うレイキャスティングを備える、請求項１に記載のＡＲシステム。
  8. 前記無コンテンツタイプは、最大距離内の前記メッシュ上に無コンテンツを伴うレイキャスティングを備える、請求項１に記載のＡＲシステム。
  9. 前記観察されないタイプは、最大距離内に未知のコンテンツを伴うレイキャスティングを備える、請求項１に記載のＡＲシステム。
  10. 拡張現実（ＡＲ）システムによって実施されるコンピュータ化された方法であって、前記ＡＲシステムは、
    仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
    前記ユーザの環境の１つ以上の画像を捕捉するように構成される外向きに向いたカメラであって、前記ユーザに可視の前記ユーザの前記環境の一部は、前記ユーザの視野（ＦＯＶ）を備える、外向きに向いたカメラと、
    ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
    前記ユーザの頭部と関連付けられる場所を備える原点から、レイキャスティングを生成することと、
    前記環境内の実オブジェクトを示すメッシュデータを含むマップにアクセスすることと、
    前記レイキャスティングに沿ったメッシュの存在を決定することと、
    前記レイキャスティングに沿った前記メッシュの距離を計算することと、
    前記メッシュの方向におけるコンテンツの存在を決定することと、
    前記メッシュの存在、前記コンテンツの存在、および前記メッシュの距離に基づいて、コンテンツタイプ、無コンテンツタイプ、または観察されないタイプを備えるレイキャスティングタイプを決定することと、
    少なくとも前記レイキャスティングタイプに基づいて、前記マップのマッピングされていない場所を決定することと、
    前記マッピングされていない場所と関連付けられるグラフィックを含むように、前記仮想コンテンツを更新することと、
    前記ユーザの前記環境と関連付けられるデータを収集することと、
    前記マッピングされていない場所と関連付けられる十分なデータを収集することに応答して、前記ユーザに、データが正常に収集されたことを信号伝達することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、コンピュータ化された方法。
JP2022527992A 2019-11-18 2020-11-16 パス可能世界のマッピングおよび位置特定 Active JP7660116B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962937056P 2019-11-18 2019-11-18
US62/937,056 2019-11-18
US202062968751P 2020-01-31 2020-01-31
US62/968,751 2020-01-31
PCT/US2020/060762 WO2021101844A1 (en) 2019-11-18 2020-11-16 Mapping and localization of a passable world

Publications (3)

Publication Number Publication Date
JP2023503257A JP2023503257A (ja) 2023-01-27
JPWO2021101844A5 JPWO2021101844A5 (ja) 2023-11-27
JP7660116B2 true JP7660116B2 (ja) 2025-04-10

Family

ID=75909526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527992A Active JP7660116B2 (ja) 2019-11-18 2020-11-16 パス可能世界のマッピングおよび位置特定

Country Status (5)

Country Link
US (3) US11423624B2 (ja)
EP (1) EP4062380A4 (ja)
JP (1) JP7660116B2 (ja)
CN (1) CN114945947A (ja)
WO (1) WO2021101844A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4062380A4 (en) 2019-11-18 2023-11-29 Magic Leap, Inc. CARTOGRAPHY AND LOCALIZATION OF A PASSABLE WORLD
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
CN115053262A (zh) * 2020-02-05 2022-09-13 麦克赛尔株式会社 空间识别系统、空间识别方法、信息终端以及服务器装置
AU2021267896B2 (en) * 2020-05-07 2023-10-05 NantG Mobile, LLC Location-based content sharing via tethering
CN115698923A (zh) * 2020-05-25 2023-02-03 索尼集团公司 信息处理装置、信息处理方法和程序
US11568552B2 (en) * 2021-06-28 2023-01-31 Varjo Technologies Oy Imaging systems and methods incorporating improved culling of virtual objects
US12294627B2 (en) 2021-08-02 2025-05-06 Qualcomm Incorporated Mapping networked devices
WO2023022706A1 (en) * 2021-08-17 2023-02-23 Innopeak Technology, Inc. Automatic data-driven human skeleton labelling
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
EP4420043A4 (en) * 2021-10-20 2025-07-23 Airy3D Inc METHODS AND SYSTEMS USING DEPTH IMAGING FOR TRAINING AND DEPLOYING NEURAL NETWORKS FOR BIOMETRIC ANTI-SPOOKING
CN118679500A (zh) * 2022-02-23 2024-09-20 交互数字Ce专利控股有限公司 扩展现实场景描述中的节点可见性触发
US12094074B2 (en) 2022-07-01 2024-09-17 Sphere Entertainment Group, Llc Volumetric heat maps for intelligently distributing virtual objects of interest
GB2621112B (en) * 2022-07-25 2024-12-11 Sony Interactive Entertainment Europe Ltd Identifying devices in a mixed-reality environment
US12271525B2 (en) 2023-06-26 2025-04-08 Adeia Guides Inc. Systems and methods for adapting content to the haptic capabilities of the client device
US12436617B2 (en) 2023-06-26 2025-10-07 Adeia Guides Inc. Systems and methods for balancing haptics and graphics rendering processing with content adaptation
US12231483B1 (en) * 2023-08-16 2025-02-18 Adeia Guides Inc. Extended and mixed reality experience adaptation, processing, and handover from one edge node to another
US20250076079A1 (en) * 2023-08-31 2025-03-06 Adeia Guides Inc. Guidance for collaborative map building and updating
WO2025063969A1 (en) * 2023-09-22 2025-03-27 Sphere Entertainment Group, Llc Volumetric heat maps for intelligently distributing virtual objects of interest
US20250121288A1 (en) * 2023-10-17 2025-04-17 Michael Callahan Methods and systems for implementing and utilizing interactive neural engines in interactive platforms
US20250157132A1 (en) * 2023-11-10 2025-05-15 Autodesk, Inc. Adaptive dynamic loading strategy for rendering large three-dimensional models
US20250168218A1 (en) * 2023-11-22 2025-05-22 Adeia Guides Inc. Distributed extended reality (xr) computing optimization between edge node and one or more connected xr client devices
US20250244957A1 (en) * 2024-01-31 2025-07-31 Teachers Insurance And Annuity Association Of America Autogenerated private metaverse
GB2639603A (en) * 2024-03-19 2025-10-01 Navlive Ltd Apparatus localisation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118222A1 (en) 2017-12-14 2019-06-20 Magic Leap, Inc. Contextual-based rendering of virtual avatars

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5694546A (en) 1994-05-31 1997-12-02 Reisman; Richard R. System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6111852A (en) 1997-09-18 2000-08-29 Nortel Networks Corporation Methods and systems for emergency routing restoration
CA2321050A1 (en) * 1998-02-23 1999-08-26 Algotec Systems Ltd. Raycasting system and method
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20050231512A1 (en) * 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US7932909B2 (en) * 2004-04-16 2011-04-26 Apple Inc. User interface for controlling three-dimensional animation of an object
US9420423B1 (en) * 2005-04-12 2016-08-16 Ehud Mendelson RF beacon deployment and method of use
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
JP5013961B2 (ja) * 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US20090083628A1 (en) * 2007-09-26 2009-03-26 Autodesk, Inc. navigation system for a 3d virtual scene
US8738422B2 (en) 2007-09-28 2014-05-27 Walk Score Management, LLC Systems, techniques, and methods for providing location assessments
US9619589B2 (en) * 2009-03-28 2017-04-11 The Boeing Company Method of determining optical sensor coverage
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US8564617B2 (en) * 2010-01-12 2013-10-22 International Business Machines Corporation Accelerated volume rendering
US8442306B2 (en) * 2010-08-13 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Volume-based coverage analysis for sensor placement in 3D environments
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9223461B1 (en) 2010-12-08 2015-12-29 Wendell Brown Graphical user interface
KR101997852B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2012092667A1 (en) * 2011-01-08 2012-07-12 Jibestream Inc. Interactive information, wayfinding and message targeting devices, systems and methods
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
EP3608717B1 (en) 2012-04-05 2023-09-27 Magic Leap, Inc. Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
CN108681065B (zh) 2013-01-15 2021-11-23 奇跃公司 超高分辨率扫描光纤显示器
USD704734S1 (en) 2013-02-08 2014-05-13 Universalapps, LLC. Display screen or portion thereof with icon
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ712192A (en) 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
GB201305402D0 (en) 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA2927818C (en) 2013-10-16 2021-11-30 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
CN105594267B (zh) * 2013-10-31 2019-09-24 英特尔公司 用于室内位置道路查找的虚拟面包屑
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN113568175B (zh) 2013-11-27 2023-06-27 奇跃公司 虚拟和增强现实系统与方法
USD769930S1 (en) 2013-12-18 2016-10-25 Aliphcom Display screen or portion thereof with animated graphical user interface
NZ722904A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
USD793422S1 (en) 2014-03-14 2017-08-01 Microsoft Corporation Display screen with animated graphical user interface
USD788785S1 (en) 2014-04-11 2017-06-06 Johnson Controls Technology Company Display having a graphical user interface
WO2015172124A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
CN106937531B (zh) 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
USD756401S1 (en) 2014-07-02 2016-05-17 Aliphcom Display screen or portion thereof with animated graphical user interface
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
USD762691S1 (en) 2014-09-01 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
USD762693S1 (en) 2014-09-03 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
USD762673S1 (en) 2014-12-31 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD763309S1 (en) 2014-12-31 2016-08-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US11095869B2 (en) * 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
USD801382S1 (en) 2015-12-24 2017-10-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional icon
US10198456B1 (en) * 2015-12-28 2019-02-05 Verizon Patent And Licensing Inc. Systems and methods for data accuracy in a positioning system database
USD807913S1 (en) 2016-03-17 2018-01-16 Lg Electronics Inc. Display panel with transitional graphical user interface
US10024675B2 (en) 2016-05-10 2018-07-17 Microsoft Technology Licensing, Llc Enhanced user efficiency in route planning using route preferences
US11024088B2 (en) * 2016-05-27 2021-06-01 HoloBuilder, Inc. Augmented and virtual reality
USD823317S1 (en) 2016-06-07 2018-07-17 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal with graphical user interface
USD790588S1 (en) 2016-06-11 2017-06-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10030979B2 (en) * 2016-07-29 2018-07-24 Matterport, Inc. Determining and/or generating a navigation path through a captured three-dimensional model rendered on a device
USD806118S1 (en) 2016-08-12 2017-12-26 Hospital IQ Display screen portion with computer icon
USD852209S1 (en) 2016-08-24 2019-06-25 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal with animated graphical user interface
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
USD830384S1 (en) 2016-09-30 2018-10-09 Deka Products Limited Partnership Computer display with home screen
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10769452B2 (en) 2016-11-14 2020-09-08 Lyft, Inc. Evaluating and presenting pick-up and drop-off locations in a situational-awareness view of an autonomous vehicle
US10234299B2 (en) * 2016-12-16 2019-03-19 Osvaldo Morales Geo-location tracking system and method
CN110506284B (zh) * 2017-03-30 2023-05-23 克朗设备公司 仓库绘制工具
US10880086B2 (en) * 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
US10699481B2 (en) * 2017-05-17 2020-06-30 DotProduct LLC Augmentation of captured 3D scenes with contextual information
USD818494S1 (en) 2017-06-04 2018-05-22 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10545026B1 (en) * 2017-06-05 2020-01-28 Philip Raymond Schaefer System and method for tracking the position of a person and providing navigation assistance
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US10534962B2 (en) * 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
US10375306B2 (en) * 2017-07-13 2019-08-06 Zillow Group, Inc. Capture and use of building interior data from mobile devices
US10530997B2 (en) * 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US10841486B2 (en) * 2017-07-20 2020-11-17 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
USD883308S1 (en) 2017-09-21 2020-05-05 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD868103S1 (en) 2017-09-27 2019-11-26 Toyota Research Institute, Inc. Display screen or portion thereof with an animated graphical user interface
CA3085741A1 (en) * 2017-12-13 2019-06-20 Aurelius, Inc. Systems, devices, and methods for augmented reality
USD878393S1 (en) 2018-01-30 2020-03-17 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD889500S1 (en) 2018-02-09 2020-07-07 Lg Electronics Inc. Display screen with graphical user interface
USD868812S1 (en) 2018-02-16 2019-12-03 Early Warning Services, Llc Display screen portion with animated graphical user interface for transmittal notification
USD845992S1 (en) 2018-02-20 2019-04-16 Intuit, Inc. Display screen or portion thereof with icon
US11331790B2 (en) * 2018-03-14 2022-05-17 Fedex Corporate Services, Inc. Methods of performing a dispatched medical logistics operation related to a diagnosis kit for treating a patient and using a modular autonomous bot apparatus assembly and a dispatch server
USD872764S1 (en) 2018-03-16 2020-01-14 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
USD879138S1 (en) 2018-03-16 2020-03-24 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD893537S1 (en) 2018-04-09 2020-08-18 Lg Electronics Inc. Cellular phone display screen with graphical user interface
US11257268B2 (en) 2018-05-01 2022-02-22 Magic Leap, Inc. Avatar animation using Markov decision process policies
USD884722S1 (en) 2018-05-11 2020-05-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD873845S1 (en) 2018-05-16 2020-01-28 Valve Corporation Display screen or portion thereof with an animated graphical user interface
USD857046S1 (en) 2018-05-30 2019-08-20 Mindtronic Ai Co., Ltd. Vehicle display screen or portion thereof with an animated graphical user interface
USD884012S1 (en) 2018-06-15 2020-05-12 Sap Se Display screen or portion thereof with animated graphical user interface
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
USD884737S1 (en) 2018-07-24 2020-05-19 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD873285S1 (en) 2018-07-24 2020-01-21 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
USD884723S1 (en) 2018-07-24 2020-05-19 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD873852S1 (en) 2018-07-24 2020-01-28 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
WO2020023582A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
USD892854S1 (en) 2018-07-31 2020-08-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD882615S1 (en) 2018-09-06 2020-04-28 Apple Inc. Electronic device with animated graphical user interface
USD892849S1 (en) 2018-09-27 2020-08-11 Innoplexus Ag Display screen with transitional graphical user interface
US10809066B2 (en) * 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10708507B1 (en) * 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
USD896254S1 (en) 2018-10-30 2020-09-15 Perfect Mobile Corp. Display screen with graphical user interface
USD889509S1 (en) 2018-12-17 2020-07-07 23Andme, Inc. Display screen or portion thereof with animated graphical user interface
US10917568B2 (en) 2018-12-28 2021-02-09 Microsoft Technology Licensing, Llc Low-power surface reconstruction
US10802579B2 (en) 2019-02-01 2020-10-13 Facebook Technologies, Llc Artificial reality system having multiple modes of engagement
US11024079B1 (en) * 2019-03-11 2021-06-01 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths and photogrammetry
US10937247B1 (en) * 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry
US10930057B2 (en) * 2019-03-29 2021-02-23 Airbnb, Inc. Generating two-dimensional plan from three-dimensional image data
US10937235B2 (en) * 2019-03-29 2021-03-02 Airbnb, Inc. Dynamic image capture system
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US11243656B2 (en) * 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
US11164361B2 (en) * 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11676344B2 (en) * 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
EP4062380A4 (en) * 2019-11-18 2023-11-29 Magic Leap, Inc. CARTOGRAPHY AND LOCALIZATION OF A PASSABLE WORLD
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11922580B2 (en) * 2020-01-17 2024-03-05 Apple Inc. Floorplan generation based on room scanning
JP7490784B2 (ja) 2020-01-27 2024-05-27 マジック リープ， インコーポレイテッド 拡張現実マップキュレーション
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US20220373346A1 (en) * 2021-05-21 2022-11-24 Meta Platforms Technologies, Llc Personalized route recommendation and navigation
US11828600B2 (en) * 2021-09-29 2023-11-28 Ncr Corporation Indoor wayfinder interface and service
US11803396B2 (en) * 2021-12-31 2023-10-31 Accenture Global Solutions Limited Intelligent automation of UI interactions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118222A1 (en) 2017-12-14 2019-06-20 Magic Leap, Inc. Contextual-based rendering of virtual avatars

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Young Min Kim，Guided Real-Time Scanning of Indoor Objects，Computer Graphics Forum，Volume 32, Issue 7，2013年，Pages 177-186

Also Published As

Publication number Publication date
WO2021101844A1 (en) 2021-05-27
US20220343612A1 (en) 2022-10-27
JP2023503257A (ja) 2023-01-27
US20210150818A1 (en) 2021-05-20
US11954243B2 (en) 2024-04-09
CN114945947A (zh) 2022-08-26
EP4062380A1 (en) 2022-09-28
US20240211029A1 (en) 2024-06-27
EP4062380A4 (en) 2023-11-29
US11423624B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
JP7660116B2 (ja) パス可能世界のマッピングおよび位置特定
JP7711266B2 (ja) 任意の場所における場所特有の仮想コンテンツのレンダリング
JP7540112B2 (ja) 視野周辺の視覚的背光

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250331

R150 Certificate of patent or registration of utility model

Ref document number: 7660116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150