[go: up one dir, main page]

JP7748945B2 - 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム - Google Patents

仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム

Info

Publication number
JP7748945B2
JP7748945B2 JP2022534396A JP2022534396A JP7748945B2 JP 7748945 B2 JP7748945 B2 JP 7748945B2 JP 2022534396 A JP2022534396 A JP 2022534396A JP 2022534396 A JP2022534396 A JP 2022534396A JP 7748945 B2 JP7748945 B2 JP 7748945B2
Authority
JP
Japan
Prior art keywords
content
map
user
mixed reality
reality system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022534396A
Other languages
English (en)
Other versions
JPWO2021118962A5 (ja
JP2023504570A (ja
Inventor
ハイヤン ジャン，
ロバート ジョン カミングス マクドナルド，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023504570A publication Critical patent/JP2023504570A/ja
Publication of JPWO2021118962A5 publication Critical patent/JPWO2021118962A5/ja
Application granted granted Critical
Publication of JP7748945B2 publication Critical patent/JP7748945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

（関連出願の相互参照）
本願は、３５ Ｕ．Ｓ．Ｃ． §１１９（ｅ）（米国特許法第１１９条（ｅ））下、参照することによってその全体として本明細書に組み込まれる、２０１９年１２月９日に出願され、「ＣＲＯＳＳ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＰＬＩＦＩＥＤ ＰＲＯＧＲＡＭＭＩＮＧ ＯＦ ＶＩＲＴＵＡＬ ＣＯＮＴＥＮＴ」と題された、米国仮特許出願第６２／９４５，３５７号の利益を主張する。
本願は、概して、クロスリアリティシステムに関する。
コンピュータは、ヒューマンユーザインターフェースを制御し、ユーザによって知覚されるにつれて、ＸＲ環境の一部または全部がコンピュータによって生成される、クロスリアリティ（ＸＲ）環境を作成し得る。これらのＸＲ環境は、ＸＲ環境の一部または全部が、部分的に、環境を説明するデータを使用して、コンピュータによって生成され得る、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）環境であり得る。本データは、例えば、ユーザが、物理的世界の一部として、感知または知覚し、仮想オブジェクトと相互作用し得るようにレンダリングされ得る、仮想オブジェクトを説明し得る。ユーザは、例えば、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通してレンダリングおよび提示されているデータの結果として、これらの仮想オブジェクトを体験し得る。データは、ユーザに見えるように表示され得る、またはユーザに聞こえるように再生される、オーディオを制御し得る、または触知的（または触覚的）インターフェースを制御し、ユーザが、仮想オブジェクトを感じるにつれて、ユーザが感知または知覚する、タッチ感覚を体験することを可能にし得る。
ＸＲシステムは、科学的可視化、医療訓練、工学設計、およびプロトタイプ化、遠隔操作およびテレプレゼンス、および個人的娯楽の分野に及ぶ、多くの用途のために有用であり得る。ＡＲおよびＭＲは、ＶＲと対照的に、物理的世界の実オブジェクトと関連して、１つまたはそれを上回るオブジェクトを含む。実オブジェクトと相互作用する、仮想オブジェクトの体験は、ＸＲシステムを使用する際、ユーザの享受を大幅に向上させ、また、物理的世界が改変され得る様子についての現実的かつ容易に理解可能な情報を提示する、種々の用途のための可能性を広げる。
仮想コンテンツを現実的にレンダリングするために、ＸＲシステムは、システムのユーザの周囲の物理的世界の表現を構築し得る。本表現は、例えば、ＸＲシステムの一部を形成する、ウェアラブルデバイス上のセンサを用いて入手された処理画像によって構築されてもよい。そのようなシステムでは、ユーザは、システムがその環境の表現を構築するために十分な情報を入手するまで、ユーザがＸＲシステムを使用することを意図する部屋または他の物理的環境を見て回ることによって、初期化ルーチンを実施し得る。システムが動作し、ユーザが環境の周囲を、または他の環境へと動き回るにつれて、ウェアラブルデバイス上のセンサは、付加的情報を入手し、物理的世界の表現を拡張または更新し得る。
本願の側面は、Ｘリアリティ（クロスリアリティまたはＸＲ）場面を提供するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。
いくつかの側面によると、複合現実システムを動作させる方法が、提供され、複合現実システムは、ネイティブアプリケーションを実行することによって生成された仮想コンテンツをレンダリングするように構成されてもよく、ネイティブアプリケーションのための仮想コンテンツは、ネイティブアプリケーションと関連付けられるように、システムによって管理されるプリズム内にレンダリングされてもよい。本方法は、コンテンツをあるリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、リンクを用いて、コンテンツを表す、標準化された形態において、情報を取得するステップと、取得された情報に基づいて、コンテンツをプリズム内にレンダリングするステップであって、プリズムは、ブラウザと関連付けられるように、複合現実システムによって管理され得、プリズムは、その中にコンテンツが表示される、ボリュームである、ステップとを含んでもよい。
いくつかの実施形態によると、本方法はさらに、プログラムランチャメニュー内のリンクと関連付けられるアイコンを選択する、ユーザ入力に基づいて、コンテンツをレンダリングすることのインジケーションを受信するステップを含んでもよく、プログラムランチャメニューは、ネイティブアプリケーションと関連付けられる、少なくとも１つのアイコンを備えてもよい。
いくつかの実施形態によると、複合現実システムは、ポータブル電子デバイスを備えてもよく、ブラウザは、ポータブル電子デバイス上で実行されてもよく、コンテンツをレンダリングすることのインジケーションを受信するステップはさらに、プロンプトをポータブル電子デバイスのユーザに生成し、コンテンツのレンダリングを確認するステップを含んでもよい。
いくつかの実施形態によると、本方法はさらに、インストール可能エンティティを処理するステップを含んでもよく、処理は、インストール可能エンティティに基づいて、リンクと関連付けられるアイコンを生成するステップと、レジストリ内に、アイコンとリンクを関連付ける、エントリを作成するステップとを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティは、アイコンの仕様を備えてもよく、アイコンを生成するステップは、アイコンの仕様に基づいて、アイコンをレンダリングするステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティはさらに、ウェブアプリケーションを規定する、データを備えてもよく、アイコンを生成するステップは、ウェブアプリケーションを規定する、データに基づいて、アイコンを形成するステップを含んでもよい。
いくつかの実施形態によると、本方法はさらに、ユーザ入力に基づいて、インストール可能エンティティを生成するステップを含んでもよく、これは、複合現実システム上に、リンクと関連付けられるウェブアプリケーションをインストールするためのコマンドを備えてもよい。
いくつかの実施形態によると、コンテンツをプリズム内にレンダリングするステップは、ブラウザのナビゲーション制御なく、コンテンツをレンダリングするステップを含んでもよい。
いくつかの実施形態によると、コンテンツをプリズム内にレンダリングするステップは、リンクからダウンロードされたコンテンツの３Ｄモデルに基づいて、３Ｄコンテンツをレンダリングするステップを含んでもよい。
いくつかの実施形態によると、コンテンツをプリズム内にレンダリングするステップは、リンクからダウンロードされたコンテンツのアニメーション化された３Ｄモデルに基づいて、ブラウザを用いて、動的３Ｄコンテンツを生成するステップを含んでもよい。
いくつかの実施形態によると、コンテンツをプリズム内にレンダリングするステップは、第１の時間において、複合現実システム上に、コンテンツを規定する情報をダウンロードおよびキャッシュするステップと、第１の時間後の第２の時間において、キャッシュされた情報に基づいて、コンテンツをレンダリングするステップとを含んでもよい。
いくつかの実施形態によると、コンテンツを表す、標準化された形態における、リンクからの情報は、複合現実システムのコンポーネントから取得された情報に部分的に基づいてもよく、コンテンツをリンクからレンダリングするステップは、複合現実システムのユーザに、複合現実システムのコンポーネントへのアクセスを認可するようにプロンプトするステップを含んでもよい。
いくつかの実施形態によると、プリズムは、複合現実システムによって生成され、ユーザがプリズムを制御することを有効にするように構成される、ユーザインターフェースを備えてもよい。
いくつかの側面によると、ネイティブアプリケーションによって生成された仮想コンテンツをレンダリングするように構成される、複合現実システムが、提供され、ネイティブアプリケーションのための仮想コンテンツは、ネイティブアプリケーションと関連付けられるように、複合現実システムによって管理されるボリューム内にレンダリングされてもよい。複合現実システムは、１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサのプロセッサによって実行されると、コンテンツをあるリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、コンテンツを表す、標準化された形態において、リンクからの情報を取得し、取得された情報に基づいて、コンテンツをあるボリューム内にレンダリングし、ボリュームは、ブラウザと関連付けられるように、複合現実システムによって管理される、コンピュータ実行可能命令を備える、少なくとも１つのコンピュータ可読媒体とを備える、ポータブル電子デバイスを備えてもよい。
いくつかの実施形態によると、複合現実システムは、ブラウザがポータブル電子デバイスのハードウェアコンポーネントへのアクセスを有するように構成されてもよい。
いくつかの実施形態によると、それに対してブラウザがアクセスを有する、ポータブル電子デバイスのハードウェアコンポーネントは、オーディオ、ビデオ、または画像データ、またはそれらの任意の組み合わせを取得するように構成される、ハードウェアを備えてもよい。
いくつかの実施形態によると、複合現実システムは、ブラウザが、ポータブル電子デバイスのハードウェアコンポーネントへのアクセスを有効にすることに先立って、ポータブル電子デバイスのユーザから受信された許可に基づいて、ポータブル電子デバイスのハードウェアコンポーネントへのアクセスを条件付きで有するように構成されてもよい。
いくつかの実施形態によると、コンピュータ実行可能命令は、１つまたはそれを上回るプロセッサのプロセッサによって実行されると、インストール可能エンティティを処理してもよく、これは、インストール可能エンティティに基づいて、リンクと関連付けられるアイコンを生成するステップと、レジストリ内に、アイコンとリンクを関連付ける、エントリを作成するステップとを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティは、アイコンの仕様を備えてもよく、アイコンを生成するステップは、アイコンの仕様に基づいて、アイコンをレンダリングするステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティは、ウェブアプリケーションを規定する、データを備えてもよく、アイコンを生成するステップは、ウェブアプリケーションを識別する情報とともに、アイコンを形成するステップを含んでもよい。
いくつかの側面によると、ポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能エンティティを生成する方法が、提供される。本方法は、１つまたはそれを上回るプロセッサを使用して、ウェブコンテンツと関連付けられる、リンクを受信するステップと、ウェブコンテンツに基づいて、インストール可能エンティティを生成するステップとを実施するステップを含んでもよく、インストール可能エンティティは、ウェブコンテンツと関連付けられる、リンクと、ウェブコンテンツをリンクからレンダリングすることのコンピュータ実行可能インジケーションとを備える、マニフェストを備える。
いくつかの実施形態によると、本方法はさらに、１つまたはそれを上回るプロセッサを使用して、インストール可能エンティティをポータブル電子デバイス上に登録するステップを実施するステップを含んでもよい。
いくつかの実施形態によると、本方法はさらに、１つまたはそれを上回るプロセッサを使用して、ウェブコンテンツに対応する、インストール可能エンティティが、ポータブル電子デバイス上にすでに登録されているかどうかを決定するステップを実施するステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティをポータブル電子デバイス上に登録するステップは、インストール可能エンティティを表すアイコンを、ポータブル電子デバイス上のプログラムランチャメニューに追加するステップを含んでもよい。
いくつかの実施形態によると、ウェブコンテンツは、３Ｄコンテンツを備えてもよい。
いくつかの実施形態によると３Ｄコンテンツは、アニメーション化された３Ｄコンテンツを備えてもよい。
いくつかの実施形態によると、本方法はさらに、１つまたはそれを上回るプロセッサを使用して、ウェブコンテンツが規格のセットに適合するかどうかを決定するステップを実施するステップを含んでもよい。
いくつかの実施形態によると、規格のセットは、Ｗ３Ｃ規格を備えてもよい。
いくつかの実施形態によると、ウェブコンテンツは、ウェブマニフェストを備える、ウェブアプリケーションによって生成されてもよく、本方法はさらに、１つまたはそれを上回るプロセッサを使用して、ウェブアプリケーションのウェブマニフェストにアクセスするステップと、ウェブマニフェストにさらに基づいて、インストール可能エンティティを生成するステップとを実施するステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティはさらに、インストール可能エンティティを表す、１つまたはそれを上回るアイコンを備えてもよい。
いくつかの実施形態によると、１つまたはそれを上回るアイコンは、３Ｄアイコンであってもよい。
いくつかの実施形態によると、インストール可能エンティティはさらに、インストール可能エンティティを表す、１つまたはそれを上回るアイコンを備えてもよく、１つまたはそれを上回るアイコンは、ウェブマニフェストに基づいてもよい。
いくつかの実施形態によると、インストール可能エンティティのマニフェストはさらに、ウェブコンテンツと関連付けられる、名称を備えてもよい。
いくつかの実施形態によると、インストール可能エンティティのマニフェストはさらに、１つまたはそれを上回るアイコンの仕様を備えてもよい。
いくつかの実施形態によると、インストール可能エンティティのマニフェストはさらに、複数のフィールドを備える、ファイルを備えてもよく、本方法はさらに、ユーザからの入力に基づいて、ファイルの複数のフィールドのうちの１つまたはそれを上回るものを更新するステップを含んでもよい。
いくつかの実施形態によると、本方法はさらに、１つまたはそれを上回るプロセッサを使用して、インストール可能エンティティを記憶するステップを実施するステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティを記憶するステップは、インストール可能エンティティをクラウドサーバ内に記憶するステップを含んでもよい。
いくつかの実施形態によると、インストール可能エンティティを生成するステップは、インストールツールを用いて実施されてもよい。
いくつかの側面によると、ポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能エンティティを生成するためのシステムが、提供される。本システムは、１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサのプロセッサによって実行されると、ウェブコンテンツと関連付けられる、リンクを受信し、ウェブコンテンツに基づいて、インストール可能エンティティを生成し、インストール可能エンティティは、ウェブコンテンツと関連付けられる、リンクと、ウェブコンテンツをリンクからレンダリングすることのコンピュータ実行可能インジケーションとを備える、マニフェストを備える、コンピュータ実行可能命令を備える、少なくとも１つのコンピュータ可読媒体とを備えてもよい。
前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ネイティブアプリケーションを実行することによって生成された仮想コンテンツをレンダリングするように構成される複合現実システムを動作させる方法であって、前記ネイティブアプリケーションのための前記仮想コンテンツは、前記ネイティブアプリケーションと関連付けられるように、前記システムによって管理されるプリズム内にレンダリングされ、前記方法は、
コンテンツをリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、
前記リンクを用いて、前記コンテンツを表す標準化された形態において、情報を取得することと、
前記取得された情報に基づいて、前記コンテンツをプリズム内にレンダリングすることであって、前記プリズムは、前記ブラウザと関連付けられるように、前記複合現実システムによって管理され、前記プリズムは、その中に前記コンテンツが表示されるボリュームである、ことと
を含む、方法。
（項目２）
プログラムランチャメニュー内の前記リンクと関連付けられるアイコンを選択するユーザ入力に基づいて、前記コンテンツをレンダリングすることのインジケーションを受信することをさらに含み、前記プログラムランチャメニューは、前記ネイティブアプリケーションと関連付けられる少なくとも１つのアイコンを備える、項目１に記載の方法。
（項目３）
前記複合現実システムは、ポータブル電子デバイスを備え、
前記ブラウザは、前記ポータブル電子デバイス上で実行され、
前記コンテンツをレンダリングすることのインジケーションを受信することはさらに、プロンプトを前記ポータブル電子デバイスのユーザに生成し、前記コンテンツのレンダリングを確認することを含む、
項目２に記載の方法。
（項目４）
インストール可能エンティティを処理することをさらに含み、前記処理は、
前記インストール可能エンティティに基づいて、前記リンクと関連付けられるアイコンを生成することと、
レジストリ内に、前記アイコンと前記リンクを関連付けるエントリを作成することと
を含む、項目２に記載の方法。
（項目５）
前記インストール可能エンティティは、前記アイコンの仕様を備え、
前記アイコンを生成することは、前記アイコンの仕様に基づいて、前記アイコンをレンダリングすることを含む、
項目４に記載の方法。
（項目６）
前記インストール可能エンティティは、ウェブアプリケーションを規定するデータを備え、
前記アイコンを生成することは、前記ウェブアプリケーションを規定するデータに基づいて、前記アイコンを形成することを含む、
項目４に記載の方法。
（項目７）
ユーザ入力に基づいて、前記インストール可能エンティティを生成することをさらに含み、前記生成することは、前記複合現実システム上に、前記リンクと関連付けられるウェブアプリケーションをインストールするためのコマンドを含む、項目４に記載の方法。
（項目８）
前記コンテンツを前記プリズム内にレンダリングすることは、
前記ブラウザのナビゲーション制御なく、前記コンテンツをレンダリングすること
を含む、項目１に記載の方法。
（項目９）
前記コンテンツを前記プリズム内にレンダリングすることは、
前記リンクからダウンロードされた前記コンテンツの３Ｄモデルに基づいて、３Ｄコンテンツをレンダリングすること
を含む、項目１に記載の方法。
（項目１０）
前記コンテンツを前記プリズム内にレンダリングすることは、
前記リンクからダウンロードされた前記コンテンツのアニメーション化された３Ｄモデルに基づいて、前記ブラウザを用いて、動的３Ｄコンテンツを生成すること
を含む、項目１に記載の方法。
（項目１１）
前記コンテンツを前記プリズム内にレンダリングすることは、
第１の時間において、前記複合現実システム上に、前記コンテンツを規定する情報をダウンロードおよびキャッシュすることと、
前記第１の時間後の第２の時間において、前記キャッシュされた情報に基づいて、前記コンテンツをレンダリングすることと
を含む、項目１に記載の方法。
（項目１２）
前記コンテンツを表す前記標準化された形態における前記リンクからの情報は、前記複合現実システムのコンポーネントから取得された情報に部分的に基づき、
前記コンテンツを前記リンクからレンダリングすることは、前記複合現実システムのユーザに、前記複合現実システムのコンポーネントへのアクセスを認可するようにプロンプトすることを含む、
項目１に記載の方法。
（項目１３）
前記プリズムは、前記複合現実システムによって生成され、ユーザが前記プリズムを制御することを有効にするように構成されるユーザインターフェースを備える、項目１に記載の方法。
（項目１４）
ネイティブアプリケーションによって生成された仮想コンテンツをレンダリングするように構成される複合現実システムであって、前記ネイティブアプリケーションのための前記仮想コンテンツは、前記ネイティブアプリケーションと関連付けられるように、前記複合現実システムによって管理されるボリューム内にレンダリングされ、前記複合現実システムは、
ポータブル電子デバイスであって、
１つまたはそれを上回るプロセッサと、
少なくとも１つのコンピュータ可読媒体であって、前記少なくとも１つのコンピュータ可読媒体は、コンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、前記１つまたはそれを上回るプロセッサのプロセッサによって実行されると、
コンテンツをリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、
前記コンテンツを表す標準化された形態において、前記リンクからの情報を取得することと、
前記取得された情報に基づいて、前記コンテンツをボリューム内にレンダリングし、前記ボリュームは、前記ブラウザと関連付けられるように、前記複合現実システムによって管理されることと
を行う、少なくとも１つのコンピュータ可読媒体と
を備える、ポータブル電子デバイス
を備える、複合現実システム。
（項目１５）
前記複合現実システムは、前記ブラウザが前記ポータブル電子デバイスのハードウェアコンポーネントへのアクセスを有するように構成される、項目１４に記載の複合現実システム。
（項目１６）
それに対して前記ブラウザがアクセスを有する前記ポータブル電子デバイスのハードウェアコンポーネントは、オーディオ、ビデオ、または画像データ、またはそれらの任意の組み合わせを取得するように構成されるハードウェアを備える、項目１５に記載の複合現実システム。
（項目１７）
前記複合現実システムは、前記ブラウザが、前記ポータブル電子デバイスのハードウェアコンポーネントへのアクセスを有効にすることに先立って、前記ポータブル電子デバイスのユーザから受信された許可に基づいて、前記ポータブル電子デバイスのハードウェアコンポーネントへのアクセスを条件付きで有するように構成される、項目１６に記載の複合現実システム。
（項目１８）
前記コンピュータ実行可能命令は、前記１つまたはそれを上回るプロセッサのプロセッサによって実行されると、
インストール可能エンティティを処理し、前記処理は、
前記インストール可能エンティティに基づいて、前記リンクと関連付けられるアイコンを生成することと、
レジストリ内に、前記アイコンと前記リンクを関連付けるエントリを作成することと
を含む、項目１４に記載の複合現実システム。
（項目１９）
前記インストール可能エンティティは、前記アイコンの仕様を備え、
前記アイコンを生成することは、前記アイコンの仕様に基づいて、前記アイコンをレンダリングすることを含む、
項目１８に記載の複合現実システム。
（項目２０）
前記インストール可能エンティティは、ウェブアプリケーションを規定するデータを備え、
前記アイコンを生成することは、前記ウェブアプリケーションを識別する情報とともに、アイコンを形成することを含む、
項目１８に記載の複合現実システム。
（項目２１）
ポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能エンティティを生成する方法であって、前記方法は、
１つまたはそれを上回るプロセッサを使用して、
ウェブコンテンツと関連付けられるリンクを受信することと、
前記ウェブコンテンツに基づいて、インストール可能エンティティを生成することであって、前記インストール可能エンティティは、
前記ウェブコンテンツと関連付けられるリンクと、
前記ウェブコンテンツを前記リンクからレンダリングすることのコンピュータ実行可能インジケーションと
を備えるマニフェストを備える、ことと
を実施することを含む、方法。
（項目２２）
前記方法はさらに、前記１つまたはそれを上回るプロセッサを使用して、
前記インストール可能エンティティを前記ポータブル電子デバイス上に登録すること
を実施することを含む、項目２１に記載の方法。
（項目２３）
前記方法はさらに、前記１つまたはそれを上回るプロセッサを使用して、
前記ウェブコンテンツに対応するインストール可能エンティティが、前記ポータブル電子デバイス上にすでに登録されているかどうかを決定すること
を実施することを含む、項目２２に記載の方法。
（項目２４）
前記インストール可能エンティティを前記ポータブル電子デバイス上に登録することは、前記インストール可能エンティティを表すアイコンを、前記ポータブル電子デバイス上のプログラムランチャメニューに追加することを含む、項目２２に記載の方法。
（項目２５）
前記ウェブコンテンツは、３Ｄコンテンツを備える、項目２１に記載の方法。
（項目２６）
前記３Ｄコンテンツは、アニメーション化された３Ｄコンテンツを備える、項目２５に記載の方法。
（項目２７）
前記方法はさらに、前記１つまたはそれを上回るプロセッサを使用して、
前記ウェブコンテンツが規格のセットに適合するかどうかを決定すること
を実施することを含む、項目２１に記載の方法。
（項目２８）
前記規格のセットは、Ｗ３Ｃ規格である、項目２７に記載の方法。
（項目２９）
前記ウェブコンテンツは、ウェブアプリケーションによって生成され、前記ウェブアプリケーションは、ウェブマニフェストを備え、
前記方法はさらに、前記１つまたはそれを上回るプロセッサを使用して、
前記ウェブアプリケーションのウェブマニフェストにアクセスすることと、
前記ウェブマニフェストにさらに基づいて、前記インストール可能エンティティを生成することと
を実施することを含む、項目２１に記載の方法。
（項目３０）
前記インストール可能エンティティはさらに、前記インストール可能エンティティを表す１つまたはそれを上回るアイコンを備える、項目２１に記載の方法。
（項目３１）
前記１つまたはそれを上回るアイコンは、３Ｄアイコンである、項目３０に記載の方法。
（項目３２）
前記インストール可能エンティティはさらに、前記インストール可能エンティティを表す１つまたはそれを上回るアイコンを備え、前記１つまたはそれを上回るアイコンは、前記ウェブマニフェストに基づく、項目２９に記載の方法。
（項目３３）
前記インストール可能エンティティのマニフェストはさらに、
前記ウェブコンテンツと関連付けられる名称を備える、項目２１に記載の方法。
（項目３４）
前記インストール可能エンティティのマニフェストはさらに、
前記１つまたはそれを上回るアイコンの仕様を備える、項目３０に記載の方法。
（項目３５）
前記インストール可能エンティティのマニフェストはさらに、複数のフィールドを備えるファイルを備え、
前記方法はさらに、ユーザからの入力に基づいて、前記ファイルの複数のフィールドのうちの１つまたはそれを上回るものを更新することを含む、
項目２１に記載の方法。
（項目３６）
前記方法はさらに、前記１つまたはそれを上回るプロセッサを使用して、
前記インストール可能エンティティを記憶すること
を実施することを含む、項目２１に記載の方法。
（項目３７）
前記インストール可能エンティティを記憶することは、前記インストール可能エンティティをクラウドサーバ内に記憶することを含む、項目３６に記載の方法。
（項目３８）
前記インストール可能エンティティを生成することは、インストールツールを用いて実施される、項目２１に記載の方法。
（項目３９）
ポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能エンティティを生成するためのシステムであって、前記システムは、
１つまたはそれを上回るプロセッサと、
少なくとも１つのコンピュータ可読媒体であって、前記少なくとも１つのコンピュータ可読媒体は、コンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、前記１つまたはそれを上回るプロセッサのプロセッサによって実行されると、
ウェブコンテンツと関連付けられるリンクを受信することと、
前記ウェブコンテンツに基づいて、インストール可能エンティティを生成することであって、前記インストール可能エンティティは、
前記ウェブコンテンツと関連付けられるリンクと、
前記ウェブコンテンツを前記リンクからレンダリングすることのコンピュータ実行可能インジケーションと
を備えるマニフェストを備える、ことと
を行う、少なくとも１つのコンピュータ可読媒体と
を備える、システム。
添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。
図１は、いくつかの実施形態による、簡略化された拡張現実（ＡＲ）場面の実施例を図示する、スケッチである。
図２は、いくつかの実施形態による、ＸＲシステムの例示的ユースケースを示す、例示的な簡略化されたＡＲ場面のスケッチである。
図３は、いくつかの実施形態による、物理的世界と相互作用するＡＲコンテンツの体験をユーザに提供するように構成される、ＡＲシステム内の単一ユーザのためのデータフローを図示する、概略図である。
図４は、いくつかの実施形態による、単一ユーザのための仮想コンテンツを表示する、例示的ＡＲディスプレイシステムを図示する、概略図である。
図５Ａは、いくつかの実施形態による、ユーザが物理的世界環境を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着しているユーザを図示する、概略図である。
図５Ｂは、いくつかの実施形態による、視認光学系アセンブリおよび付帯コンポーネントを図示する、概略図である。
図６Ａは、いくつかの実施形態による、世界再構築システムを使用するＡＲシステムを図示する、概略図である。
図６Ｂは、いくつかの実施形態による、パス可能世界のモデルを維持する、ＡＲシステムのコンポーネントを図示する、概略図である。
図７は、物理的世界を通した経路をトラバースするデバイスによって形成される、追跡マップの概略図である。
図８は、いくつかの実施形態による、仮想コンテンツを知覚する、クロスリアリティ（ＸＲ）システムのユーザを図示する、概略図である。
図９は、いくつかの実施形態による、座標系間で変換する、図８のＸＲシステムの第１のＸＲデバイスのコンポーネントのブロック図である。
図１０は、いくつかの実施形態による、ローカルＸＲコンテンツを正しくレンダリングするための原点座標フレームの目的地座標フレームへの例示的変換を図示する、概略図である。
図１１は、いくつかの実施形態による、瞳孔ベースの座標フレームを図示する、上部平面図である。
図１２は、いくつかの実施形態による、全ての瞳孔位置を含む、カメラ座標フレームを図示する、上部平面図である。
図１３は、いくつかの実施形態による、図９のディスプレイシステムの概略図である。
図１４は、いくつかの実施形態による、持続座標フレーム（ＰＣＦ）の作成およびＸＲコンテンツのＰＣＦへの結付を図示する、ブロック図である。
図１５は、いくつかの実施形態による、ＰＣＦを確立および使用する方法を図示する、フローチャートである。
図１６は、いくつかの実施形態による、第２のＸＲデバイスを含む、図８のＸＲシステムのブロック図である。
図１７は、いくつかの実施形態による、部屋と、部屋内の種々のエリアのために確立される、キーフレームとを図示する、概略図である。
図１８は、いくつかの実施形態による、キーフレームに基づく、持続姿勢の確立を図示する、概略図である。
図１９は、いくつかの実施形態による、持続姿勢に基づく、持続座標フレーム（ＰＣＦ）の確立を図示する、概略図である。
図２０Ａ－２０Ｃは、いくつかの実施形態による、ＰＣＦを作成する実施例を図示する、概略図である。
図２１は、いくつかの実施形態による、個々の画像および／またはマップのためのグローバル記述子を生成するためのシステムを図示する、ブロック図である。
図２２は、いくつかの実施形態による、画像記述子を算出する方法を図示する、フローチャートである。
図２３は、いくつかの実施形態による、画像記述子を使用した位置特定の方法を図示する、フローチャートである。
図２４は、いくつかの実施形態による、ニューラルネットワークを訓練する方法を図示する、フローチャートである。
図２５は、いくつかの実施形態による、ニューラルネットワークを訓練する方法を図示する、ブロック図である。
図２６は、いくつかの実施形態による、複数の環境マップをランク付けおよびマージするように構成される、ＡＲシステムを図示する、概略図である。
図２７は、いくつかの実施形態による、遠隔記憶媒体上に記憶された複数の規準マップを図示する、簡略化されたブロック図である。
図２８は、いくつかの実施形態による、規準マップを選択し、例えば、１つまたはそれを上回る規準マップ内で新しい追跡マップを位置特定する、および／またはＰＣＦを規準マップから取得する方法を図示する、概略図である。
図２９は、いくつかの実施形態による、複数のランク付けされた環境マップを選択する方法を図示する、フローチャートである。
図３０は、いくつかの実施形態による、図２６のＡＲシステムの例示的マップランク付け部分を図示する、概略図である。
図３１Ａは、いくつかの実施形態による、データベース内の追跡マップ（ＴＭ）および環境マップのエリア属性の実施例を図示する、概略図である。
図３１Ｂは、いくつかの実施形態による、図２９の地理的場所フィルタリングのための追跡マップ（ＴＭ）の地理的場所を決定する実施例を図示する、概略図である。
図３２は、いくつかの実施形態による、図２９の地理的場所フィルタリングの実施例を図示する、概略図である。
図３３は、いくつかの実施形態による、図２９のＷｉ－Ｆｉ ＢＳＳＩＤフィルタリングの実施例を図示する、概略図である。
図３４は、いくつかの実施形態による、図２９の位置特定の使用の実施例を図示する、概略図である。
図３５および３６は、いくつかの実施形態による、複数の環境マップをランク付けおよびマージするように構成される、ＸＲシステムのブロック図である。 図３５および３６は、いくつかの実施形態による、複数の環境マップをランク付けおよびマージするように構成される、ＸＲシステムのブロック図である。
図３７は、いくつかの実施形態による、規準形態において、物理的世界の環境マップを作成する方法を図示する、ブロック図である。
図３８Ａおよび３８Ｂは、いくつかの実施形態による、図７の追跡マップを新しい追跡マップで更新することによって規準形態において作成された環境マップを図示する、概略図である。 図３８Ａおよび３８Ｂは、いくつかの実施形態による、図７の追跡マップを新しい追跡マップで更新することによって規準形態において作成された環境マップを図示する、概略図である。
図３９Ａ－３９Ｆは、いくつかの実施形態による、マップをマージする実施例を図示する、概略図である。 図３９Ａ－３９Ｆは、いくつかの実施形態による、マップをマージする実施例を図示する、概略図である。
図４０は、いくつかの実施形態による、３次元の第１のローカル追跡マップ（マップ１）の２次元表現であって、これは、図９の第１のＸＲデバイスによって生成され得る。
図４１は、いくつかの実施形態による、マップ１を第１のＸＲデバイスから図９のサーバにアップロードするステップを図示する、ブロック図である。
図４２は、いくつかの実施形態による、図１６のＸＲシステムを図示する、概略図であって、第２のユーザが、第１のユーザが第１のセッションを終了した後、ＸＲシステムの第２のＸＲデバイスを使用して、第２のセッションを開始したことを示す。
図４３Ａは、いくつかの実施形態による、図４２の第２のＸＲデバイスのための新しいセッションを図示する、ブロック図である。
図４３Ｂは、いくつかの実施形態による、図４２の第２のＸＲデバイスのための追跡マップの作成を図示する、ブロック図である。
図４３Ｃは、いくつかの実施形態による、規準マップをサーバから図４２の第２のＸＲデバイスにダウンロードするステップを図示する、ブロック図である。
図４４は、いくつかの実施形態による、規準マップに対して、図４２の第２のＸＲデバイスによって生成され得る、第２の追跡マップ（マップ２）を位置特定するように試みる、位置特定を図示する、概略図である。
図４５は、いくつかの実施形態による、規準マップに対して、さらに展開され得、マップ２のＰＣＦと関連付けられるＸＲコンテンツを伴う、図４４の第２の追跡マップ（マップ２）を位置特定するように試みる、位置特定を図示する、概略図である。
図４６Ａ－４６Ｂは、いくつかの実施形態による、規準マップに対する図４５のマップ２の位置特定成功を図示する、概略図である。 図４６Ａ－４６Ｂは、いくつかの実施形態による、規準マップに対する図４５のマップ２の位置特定成功を図示する、概略図である。
図４７は、いくつかの実施形態による、図４６Ａの規準マップからの１つまたはそれを上回るＰＣＦを図４５のマップ２の中に含めることによって生成された、規準マップを図示する、概略図である。
図４８は、いくつかの実施形態による、第２のＸＲデバイス上のマップ２のさらなる拡張を伴う、図４７の規準マップを図示する、概略図である。
図４９は、いくつかの実施形態による、マップ２を第２のＸＲデバイスからサーバにアップロードするステップを図示する、ブロック図である。
図５０は、いくつかの実施形態による、マップ２と規準マップをマージするステップを図示する、ブロック図である。
図５１は、いくつかの実施形態による、新しい規準マップのサーバから第１および第２のＸＲデバイスへの伝送を図示する、ブロック図である。
図５２は、いくつかの実施形態による、マップ２の２次元表現と、マップ２に参照される、第２のＸＲデバイスの頭部座標フレームとを図示する、ブロック図である。
図５３は、いくつかの実施形態による、２次元において、６自由度で生じ得る、頭部座標フレームの調節を図示する、ブロック図である。
図５４は、いくつかの実施形態による、音がマップ２のＰＣＦに対して位置特定される、第２のＸＲデバイス上の規準マップを図示する、ブロック図である。
図５５および５６は、いくつかの実施形態による、第１のユーザが第１のセッションを終了し、第１のユーザがＸＲシステムを使用して第２のセッションを開始したときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。 図５５および５６は、いくつかの実施形態による、第１のユーザが第１のセッションを終了し、第１のユーザがＸＲシステムを使用して第２のセッションを開始したときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。
図５７および５８は、いくつかの実施形態による、３人のユーザが同一セッション内でＸＲシステムを同時に使用するときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。 図５７および５８は、いくつかの実施形態による、３人のユーザが同一セッション内でＸＲシステムを同時に使用するときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。
図５９は、いくつかの実施形態による、頭部姿勢を復元およびリセットする方法を図示する、フローチャートである。
図６０は、いくつかの実施形態による、本発明のシステム内でアプリケーションを見出し得る、コンピュータの形態における機械のブロック図である。
図６１は、いくつかの実施形態による、その中で複数のデバイスのうちのいずれかが、位置特定サービスにアクセスし得る、例示的ＸＲシステムの概略図である。
図６２は、いくつかの実施形態による、クラウドベースの位置特定を提供する、ＸＲシステムの一部としてのポータブルデバイスの動作のための例示的プロセスフローである。
図６３Ａ、６３Ｂ、および６３Ｃは、いくつかの実施形態による、クラウドベースの位置特定のための例示的プロセスフローである。 図６３Ａ、６３Ｂ、および６３Ｃは、いくつかの実施形態による、クラウドベースの位置特定のための例示的プロセスフローである。 図６３Ａ、６３Ｂ、および６３Ｃは、いくつかの実施形態による、クラウドベースの位置特定のための例示的プロセスフローである。
図６４は、例示的コンテンツが物理的環境内においてユーザに現れるであろう方法のスケッチを伴う、物理的環境内の共有場所ベースの仮想コンテンツを管理および表示するためのシステムの概略図である。
図６５は、ＸＲアプリケーションと関連付けられ得るアイコンを伴う、例示的ユーザインターフェースのスケッチである。
図６６は、ＸＲアプリケーションと関連付けられるアイコンのユーザ選択に応じた、ＸＲシステムの動作を図示する、フロー図である。
図６７は、それを通してユーザが、インストールツールにアクセスし、ウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加し得る、例示的ユーザインターフェースのスケッチである。
図６８は、アイコンをプログラムランチャメニューに追加するためのツールのユーザアクティブ化に応じた、ブラウザおよびパッケージマネージャを動作させる例示的方法のフロー図である。
図６９は、いくつかの実施形態による、コンテンツ作成者がインストール可能エンティティを作成および共有する、例示的プロセスのフロー図である。
図７０は、ユーザがウェブコンテンツに安全にアクセスするように、許可を実装する、ＸＲシステムのコンポーネントの概略図である。
詳細な説明
本明細書に説明されるものは、クロスリアリティ（ＸＲ）システムの簡略化されたプログラミングを有効にし、仮想コンテンツをレンダリングするための技法である。本システムは、ユーザとシステム上で実行されるネイティブアプリケーションとの間の相互作用を管理し、ユーザが、ウェブコンテンツに基づいて、仮想コンテンツと相互作用することを有効にする、コンポーネントを利用してもよい。ＸＲシステムをこのように制御することは、ユーザが、ネイティブアプリケーションが仮想コンテンツを生成するようにプログラムされることを要求せずに、没入型のユーザ体験を享受することを有効にする。むしろ、コンテンツは、ウェブ上で生成および記憶されてもよい、またはワールドワイドウェブコンソーシアム（Ｗ３Ｃ）仕様に従って、開発されたウェブアプリケーション等のＸＲシステムの外側で使用される、プログラミング技法を使用して実装される、ウェブアプリケーションによって生成されてもよい。
ウェブコンテンツへのアクセスは、単に、ユーザが、それを通してユーザが実行のためのネイティブアプリケーションの選択を規定し得る、メニューから、ウェブコンテンツを選択することを可能にすることによって提供され得る。具体的ウェブ場所と関連付けられる、ウェブコンテンツが、例えば、ランチャメニュー内に現れる、アイコンとして、ネイティブアプリケーションを表す、アイコンとともに表されてもよい。ランチャメニューからのアイコンの選択に応じて、本システムは、その中に選択されたアイコンと関連付けられる、コンテンツがレンダリングされる、プリズムを確立してもよい。選択されたアイコンが、ネイティブアプリケーションと関連付けられると、そのアプリケーションは、ＸＲシステムが、コンテンツを生成し、プリズムと関連付けられる、ユーザ入力を処理することによって、実行されてもよい。対照的に、選択されたアイコンが、ウェブコンテンツと関連付けられると、ＸＲシステムは、プリズムと関連付けられる、ブラウザを実行してもよく、ブラウザは、コンテンツを選択されたアイコンと関連付けられるウェブ場所からレンダリングし、ウェブ場所が、ユーザ入力を受信するように構成されるとき、プリズムと関連付けられるユーザ入力をウェブ場所に通過させるように構成される。
いくつかの実施形態では、ＸＲシステムは、ウェブコンテンツの単純統合を有効にしてもよい。具体的ウェブ場所と関連付けられる、インストール可能エンティティは、ＸＲシステムによって処理されると、アイコンをランチャメニューに自動的に追加してもよい。いくつかの実施形態では、インストール可能エンティティは、コンテンツ作成者によって作成されてもよい。いくつかの実施形態では、ＸＲシステムは、開発者およびユーザが、迅速かつ便宜的に、ＸＲシステムを構成し、仮想コンテンツをウェブ場所から提供し得るように、いったんウェブ場所が規定されると、インストール可能エンティティを作成する、ツールを含んでもよい。
本明細書に説明される技法は、拡張または複合現実場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともに、かつ多くのタイプの場面のために、ともにまたは別個に使用されてもよい。いくつかの実施形態では、技法は、全体的または部分的に、ＸＲシステムの一部を形成する、１つまたはそれを上回るサービスによって実装されてもよい。
ＡＲシステム概要
図１および２は、物理的世界の一部と併せて表示される、仮想コンテンツを伴う場面を図示する。例証目的のために、ＡＲシステムが、ＸＲシステムの実施例として使用される。図３－６Ｂは、本明細書に説明される技法に従って動作し得る、１つまたはそれを上回るプロセッサと、メモリと、センサと、ユーザインターフェースとを含む、例示的ＡＲシステムを図示する。
図１を参照すると、屋外ＡＲ場面３５４が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム３５８を特徴とする、物理的世界公園状設定３５６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、物理的世界コンクリートプラットフォーム３５８上に立っているロボット像３５７と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ３５２とが「見える」と知覚するが、これらの要素（例えば、アバタキャラクタ３５２およびロボット像３５７）は、物理的世界内には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＡＲ技術を生産することは、困難である。
そのようなＡＲ場面は、ユーザがＡＲコンテンツを物理的世界内に設置することを可能にし、ＡＲコンテンツが設置された物理的世界のマップ内の場所を決定し、設置されたＡＲコンテンツが、例えば、異なるＡＲ体験セッションの間、物理的世界内に表示するために再ロードされ得るように、ＡＲ場面を保存し、複数のユーザがＡＲ体験を共有することを可能にする、追跡情報に基づいて物理的世界のマップを構築するシステムを用いて、達成され得る。本システムは、ユーザの周囲の物理的世界表面のデジタル表現を構築および更新し得る。本表現は、仮想オブジェクトを設置するため、物理学ベースの相互作用において、および仮想キャラクタ経路計画およびナビゲーションのため、またはその中で物理的世界についての情報が使用される、他の動作のために、完全または部分的に、ユーザと仮想コンテンツのレンダリングされた場所との間で物理的オブジェクトによってオクルードされるように現れるように、仮想コンテンツをレンダリングするために使用されてもよい。
図２は、いくつかの実施形態による、屋内ＡＲ場面４００の別の実施例を描写し、ＸＲシステムの例示的ユースケースを示す。例示的場面４００は、壁と、壁の片側上の本棚と、部屋の角における床置きランプと、床と、ソファと、床上のコーヒーテーブルとを有する、居間である。これらの物理的アイテムに加え、ＡＲ技術のユーザはまた、ソファの背後の壁上の画像、ドアを通して飛んで来た鳥、本棚から外を覗いているシカ、およびコーヒーテーブル上に設置された風車の形態における装飾品等の仮想オブジェクトを知覚する。
壁上の画像に関して、ＡＲ技術は、壁の表面だけではなく、また、仮想オブジェクトを正しくレンダリングするために画像をオクルードする、ランプ形状等の部屋内のオブジェクトおよび表面についての情報も要求する。飛んで来た鳥に関して、ＡＲ技術は、オブジェクトおよび表面を回避する、または鳥が衝突する場合、跳ね返るように、現実的物理学を用いて鳥をレンダリングするために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、ＡＲ技術は、シカを設置すべき場所を算出するために、床またはコーヒーテーブル等の表面についての情報を要求する。風車に関して、本システムは、テーブルと別個のオブジェクトであることを識別し得、それが移動可能であることを決定し得る一方、棚の角または壁の角は、定常であると決定され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する決定において使用されてもよい。
仮想オブジェクトは、前のＡＲ体験セッション内に設置されてもよい。新しいＡＲ体験セッションが、居間で開始すると、ＡＲ技術は、仮想オブジェクトが、以前に設置された場所に正確に表示され、異なる視点から現実的に可視であることを要求する。例えば、風車は、書籍を伴わない異なる場所においても、テーブルの上方に漂流しているのではなく、書籍上に立っているように表示されるべきである。そのような漂流は、新しいＡＲ体験セッションのユーザの場所が居間内で正確に位置特定されない場合に起こり得る。別の実施例として、ユーザが、風車が設置されたときの視点と異なる視点から風車を視認している場合、ＡＲ技術は、表示されている風車の対応する側を要求する。
場面は、視覚、聴覚、および／または触覚等、１つまたはそれを上回るユーザ感知を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、本システムは、場面の物理的部分内のユーザの位置および／または運動を含む、場面の物理的部分のパラメータを測定し得る、１つまたはそれを上回るセンサを含んでもよい。さらに、本システムは、メモリ等の関連付けられるコンピュータハードウェアを伴う、１つまたはそれを上回るコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントのいくつかまたは全ては、ウェアラブルデバイスの中に統合されてもよい。
図３は、いくつかの実施形態による、物理的世界５０６と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム５０２を描写する。ＡＲシステム５０２は、ディスプレイ５０８を含んでもよい。図示される実施形態では、ディスプレイ５０８は、ユーザが、一対のゴーグルまたは眼鏡のように、ディスプレイをその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実５１０を観察し得るように、透明であってもよい。シースルー現実５１０は、ＡＲシステム５０２の現在の視点内の物理的世界５０６の部分に対応し得、これは、ユーザが、ＡＲシステムのディスプレイおよびセンサの両方を組み込む、ヘッドセットを装着し、物理的世界についての情報を入手している場合のユーザの視点に対応し得る。
ＡＲコンテンツはまた、シースルー現実５１０上にオーバーレイされる、ディスプレイ５０８上に提示されてもよい。ＡＲコンテンツとシースルー現実５１０との間の正確な相互作用をディスプレイ５０８上で提供するために、ＡＲシステム５０２は、物理的世界５０６についての情報を捕捉するように構成される、センサ５２２を含んでもよい。
センサ５２２は、深度マップ５１２を出力する、１つまたはそれを上回る深度センサを含んでもよい。各深度マップ５１２は、それぞれ、深度センサに対する特定の方向における物理的世界５０６内の表面までの距離を表し得る、複数のピクセルを有してもよい。未加工深度データが、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得るほど高速に更新され得、これは、数百または数千回／秒であり得る。しかしながら、そのデータは、雑音が多くかつ不完全であって、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。
システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、他の方法において物理的世界を表すように処理され得る、単眼または立体視情報を入手してもよい。例えば、画像は、世界再構築コンポーネント５１６内で処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築物の一部として記憶されてもよい。
システムはまた、物理的世界に対するユーザの頭部姿勢（または「姿勢」）についての情報を入手してもよい。いくつかの実施形態では、システムの頭部姿勢追跡コンポーネントは、頭部姿勢をリアルタイムで算出するために使用されてもよい。頭部姿勢追跡コンポーネントは、例えば、３つの垂直軸における平行移動（例えば、前／後、上／下、左／右）および３つの垂直軸を中心とした回転（例えば、ピッチ、ヨー、およびロール）を含む、６自由度を伴って、座標フレーム内のユーザの頭部姿勢を表し得る。いくつかの実施形態では、センサ５２２は、頭部姿勢５１４を算出および／または決定するために使用され得る、慣性測定ユニット（「ＩＭＵ」）を含んでもよい。深度マップのための頭部姿勢５１４は、例えば、６自由度を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢５１４は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させる等の他の目的のために使用されてもよい。
いくつかの実施形態では、頭部姿勢情報は、画像内のオブジェクトの分析から等、ＩＭＵ以外の方法で導出されてもよい。例えば、頭部姿勢追跡コンポーネントは、カメラによって捕捉された視覚的情報およびＩＭＵによって捕捉された慣性情報に基づいて、物理的オブジェクトに対するＡＲデバイスの相対的位置および配向を算出してもよい。頭部姿勢追跡コンポーネントは、次いで、例えば、物理的オブジェクトに対するＡＲデバイスの算出された相対的位置および配向と物理的オブジェクトの特徴を比較することによって、ＡＲデバイスの頭部姿勢を算出してもよい。いくつかの実施形態では、その比較は、経時的に捕捉された画像内のこれらの特徴の位置の変化がユーザの頭部姿勢の変化と関連付けられ得るように、経時的に安定する、センサ５２２のうちの１つまたはそれを上回るものを用いて捕捉された画像内の特徴を識別することによって、行われてもよい。
いくつかの実施形態では、ＡＲデバイスは、ユーザがＡＲデバイスとともに物理的世界全体を通して移動するにつれて捕捉された一連の画像フレーム内の連続画像内で認識される、特徴点から、マップを構築してもよい。各画像フレームは、ユーザが移動するにつれて、異なる姿勢から得られ得るが、本システムは、連続画像フレームの特徴と以前に捕捉された画像フレームをマッチングさせることによって、各連続画像フレームの特徴の配向を調節し、初期画像フレームの配向をマッチングさせてもよい。同一特徴を表す点が、以前に収集された画像フレームからの対応する特徴点にマッチングするであろうように、連続画像フレームの平行移動は、各連続画像フレームを整合させ、以前に処理された画像フレームの配向をマッチングさせるために使用されることができる。結果として生じるマップ内のフレームは、第１の画像フレームがマップに追加されたときに確立される共通配向を有し得る。本マップは、共通基準フレーム内の特徴点のセットとともに、現在の画像フレームからの特徴をマップにマッチングさせることによって、物理的世界内のユーザの姿勢を決定するために使用されてもよい。いくつかの実施形態では、本マップは、追跡マップと呼ばれ得る。
環境内のユーザの姿勢の追跡を有効にすることに加え、本マップは、世界再構築コンポーネント５１６等のシステムの他のコンポーネントがユーザに対する物理的オブジェクトの場所を決定することを可能にし得る。世界再構築コンポーネント５１６は、深度マップ５１２および頭部姿勢５１４およびセンサからの任意の他のデータを受信し、そのデータを再構築物５１８の中に統合してもよい。再構築物５１８は、センサデータより完全かつより雑音が少なくあり得る。世界再構築コンポーネント５１６は、経時的な複数の視点からのセンサデータの空間および時間的平均を使用して、再構築物５１８を更新してもよい。
再構築物５１８は、例えば、ボクセル、メッシュ、平面等を含む、１つまたはそれを上回るデータフォーマットにおいて、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表し得る、または物理的世界の異なる部分を表し得る。図示される実施例では、再構築物５１８の左側には、物理的世界の一部が、グローバル表面として提示され、再構築物５１８の右側には、物理的世界の一部が、メッシュとして提示される。
いくつかの実施形態では、頭部姿勢コンポーネント５１４によって維持されるマップは、物理的世界の維持され得る、他のマップに対して疎隔されてもよい。場所および可能性として表面の他の特性についての情報を提供するのではなく、疎マップは、角または縁等の着目点および／または構造の場所を示してもよい。いくつかの実施形態では、マップは、センサ５２２によって捕捉されるような画像フレームを含んでもよい。これらのフレームは、着目点および／または構造を表し得る、特徴に低減され得る。各フレームと併せて、そこからフレームが入手されたユーザの姿勢についての情報もまた、マップの一部として記憶されてもよい。いくつかの実施形態では、センサによって入手された全ての画像が、記憶される場合とそうではない場合がある。いくつかの実施形態では、本システムは、それらがセンサによって収集されるにつれて、画像を処理し、さらなる算出のために、画像フレームのサブセットを選択してもよい。選択は、情報の追加を限定するが、マップが有用な情報を含有することを確実にする、１つまたはそれを上回る基準に基づいてもよい。本システムは、例えば、マップにすでに追加されている以前の画像フレームとの重複に基づいて、または定常オブジェクトを表す可能性が高いと決定された十分な数の特徴を含有する、画像フレームに基づいて、新しい画像フレームをマップに追加してもよい。いくつかの実施形態では、選択された画像フレームまたは選択された画像フレームからの特徴の群は、マップのためのキーフレームとしての役割を果たし得、これは、空間情報を提供するために使用される。
ＡＲシステム５０２は、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢（例えば、位置および配向）が、センサを含むデバイスが移動されるにつれて追跡されてもよい。センサのフレーム姿勢およびそれが他の姿勢とどのように関連するかが、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、物理的世界の単一の組み合わせられた再構築物の中にともに融合されてもよく、これは、マップのための抽象層としての役割を果たし、空間情報を提供し得る。再構築物は、空間および時間的平均（すなわち、経時的な複数の視点からのデータの平均）または任意の他の好適な方法を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。
図３に図示される実施形態では、マップは、その中に単一ウェアラブルデバイスのユーザが存在する、物理的世界の一部を表す。そのシナリオでは、マップ内のフレームと関連付けられる頭部姿勢は、セッションの開始時における単一デバイスに関する初期配向に対する配向を示す、ローカル頭部姿勢として表されてもよい。例えば、頭部姿勢は、デバイスが、オンにされた、または別様に、環境を走査し、その環境の表現を構築するように動作されたときの、初期頭部姿勢に対して追跡されてもよい。
物理的世界のその部分を特徴付けるコンテンツと組み合わせて、マップは、メタデータを含んでもよい。メタデータは、例えば、マップを形成するために使用されるセンサ情報の捕捉時間を示してもよい。メタデータは、代替として、または加えて、マップを形成するために使用される情報の捕捉時間におけるセンサの場所を示してもよい。場所は、直接、ＧＰＳチップからの情報等を用いて、または間接的に、センサデータが収集されていた間の１つまたはそれを上回る無線アクセスポイントから受信された信号の強度を示す、無線（例えば、Ｗｉ－Ｆｉ）シグネチャ等を用いて、および／またはセンサデータが収集された間にそれに対してユーザデバイスが接続した無線アクセスポイントのＢＳＳＩＤ等の識別子を用いて、表されてもよい。
再構築物５１８は、オクルージョン処理または物理学ベースの処理のための物理的世界の表面表現の生産等、ＡＲ機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化してもよい。再構築物５１８の側面は、例えば、他のコンポーネントによって使用され得る、世界座標内の変化するグローバル表面表現を生産する、コンポーネント５２０によって使用されてもよい。
ＡＲコンテンツは、本情報に基づいて、ＡＲアプリケーション５０４等によって生成されてもよい。ＡＲアプリケーション５０４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測等の物理的世界についての情報に基づいて、１つまたはそれを上回る機能を実施する、ゲームプログラムであってもよい。これは、世界再構築コンポーネント５１６によって生産された再構築物５１８から異なるフォーマットにおけるデータにクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント５２０は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域は、例えば、ユーザの視野内の一部等、システムのユーザの近傍内の物理的世界の一部に近似するように設定される、またはユーザの視野内に入るように投影（予測／決定）されてもよい。
ＡＲアプリケーション５０４は、本情報を使用して、ＡＲコンテンツを生成および更新してもよい。ＡＲコンテンツの仮想部分は、シースルー現実５１０と組み合わせて、ディスプレイ５０８上に提示され、現実的ユーザ体験を作成してもよい。
いくつかの実施形態では、ＡＲ体験は、遠隔処理および／または遠隔データ記憶装置を含み得る、システムの一部であり得る、ウェアラブルディスプレイデバイス、および／または、いくつかの実施形態では、他のユーザによって装着される他のウェアラブルディスプレイデバイスであり得る、ＸＲデバイスを通して、ユーザに提供されてもよい。
図４は、例証の便宜上、単一ウェアラブルデバイスを含む、システム５８０（以降、「システム５８０」と称される）の実施例を図示する。システム５８０は、頭部搭載型ディスプレイデバイス５６２（以降、「ディスプレイデバイス５６２」と称される）と、ディスプレイデバイス５６２の機能をサポートする、種々の機械および電子モジュールおよびシステムとを含む。ディスプレイデバイス５６２は、フレーム５６４に結合されてもよく、これは、ディスプレイシステムのユーザまたは視認者５６０（以降、「ユーザ５６０」と称される）によって装着可能であって、ディスプレイデバイス５６２をユーザ５６０の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス５６２は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス５６２は、単眼または両眼であってもよい。いくつかの実施形態では、ディスプレイデバイス５６２は、図３におけるディスプレイ５０８の実施例であってもよい。
いくつかの実施形態では、スピーカ５６６が、フレーム５６４に結合され、ユーザ５６０の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ５６０の別の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する。ディスプレイデバイス５６２は、有線導線または無線コネクティビティ５６８等によって、ローカルデータ処理モジュール５７０に動作可能に結合され、これは、フレーム５６４に固定して取り付けられる、ユーザ５６０によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ５６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。
ローカルデータ処理モジュール５７０は、プロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム５６４に動作可能に結合される、または別様にユーザ５６０に取り付けられ得る）センサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後にディスプレイデバイス５６２への通過のために、遠隔処理モジュール５７２および／または遠隔データリポジトリ５７４を使用して入手および／または処理されるデータを含む。
いくつかの実施形態では、ウェアラブルデバイスは、遠隔コンポーネントと通信してもよい。ローカルデータ処理モジュール５７０は、それぞれ、有線または無線通信リンク等を介して、通信リンク５７６、５７８によって、遠隔処理モジュール５７２および遠隔データリポジトリ５７４に、これらの遠隔モジュール５７２、５７４が、相互に動作可能に結合され、ローカルデータ処理モジュール５７０へのリソースとして利用可能であるように、動作可能に結合されてもよい。さらなる実施形態では、遠隔データリポジトリ５７４に加えて、またはその代替として、ウェアラブルデバイスは、クラウドベースの遠隔データリポジトリおよび／またはサービスにアクセスすることができる。いくつかの実施形態では、上記に説明される頭部姿勢追跡コンポーテントは、少なくとも部分的に、ローカルデータ処理モジュール５７０内に実装されてもよい。いくつかの実施形態では、図３における世界再構築コンポーネント５１６は、少なくとも部分的に、ローカルデータ処理モジュール５７０内に実装されてもよい。例えば、ローカルデータ処理モジュール５７０は、少なくとも部分的に、データの少なくとも一部に基づいて、コンピュータ実行可能命令を実行し、マップおよび／または物理的世界表現を生成するように構成されてもよい。
いくつかの実施形態では、処理は、ローカルおよび遠隔プロセッサを横断して分散されてもよい。例えば、ローカル処理が、そのユーザのデバイス上のセンサを用いて収集されたセンサデータに基づいて、マップ（例えば、追跡マップ）をユーザデバイス上に構築するために使用されてもよい。そのようなマップは、そのユーザのデバイス上のアプリケーションによって使用されてもよい。加えて、以前に作成されたマップ（例えば、規準マップ）は、遠隔データリポジトリ５７４内に記憶されてもよい。好適な記憶されたまたは持続マップが、利用可能である場合、デバイス上にローカルで作成された追跡マップの代わりに、またはそれに加え、使用されてもよい。いくつかの実施形態では、追跡マップは、対応が、ユーザがシステムをオンにした時間におけるウェアラブルデバイスの位置に対して配向され得る、追跡マップと、１つまたはそれを上回る持続特徴に対して配向され得る、規準マップとの間に確立されるように、記憶されたマップに対して位置特定されてもよい。いくつかの実施形態では、持続マップは、ユーザデバイス上にロードされ、ユーザデバイスが、走査の間に入手されたセンサデータからのユーザの完全な環境の追跡マップを構築するための場所の走査と関連付けられる遅延を伴わずに、仮想コンテンツをレンダリングすることを可能にし得る。いくつかの実施形態では、ユーザデバイスは、持続マップをユーザデバイス上にダウンロードする必要なく、（例えば、クラウド上に記憶された）遠隔持続マップにアクセスしてもよい。
いくつかの実施形態では、空間情報が、ウェアラブルデバイスから、デバイスを位置特定し、クラウドサービス上に維持されるマップに記憶するように構成される、クラウドサービス等の遠隔サービスに通信されてもよい。いくつかの実施形態によると、位置特定処理は、デバイス場所を、規準マップ等の既存のマップにマッチングさせ、仮想コンテンツをウェアラブルデバイス場所にリンクさせる、変換を返す、クラウド内で生じてもよい。そのような実施形態では、本システムは、マップを遠隔リソースからウェアラブルデバイスに通信することを回避することができる。他の実施形態は、デバイスベースおよびクラウドベースの位置特定の両方のために構成され、例えば、ネットワークコネクティビティが利用不可能である、またはユーザがクラウドベースの位置特定を有効にしないことを選ぶ場合、機能性を有効にすることができる。
代替として、または加えて、追跡マップは、以前に記憶されたマップとマージされ、それらのマップを拡張させる、またはその品質を改良してもよい。好適な以前に作成された環境マップが利用可能であるか、および／または追跡マップと１つまたはそれを上回る記憶された環境マップをマージするかどうかを決定するための処理は、ローカルデータ処理モジュール５７０または遠隔処理モジュール５７２内で行われてもよい。
いくつかの実施形態では、ローカルデータ処理モジュール５７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサ（例えば、グラフィック処理ユニット（ＧＰＵ））を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール５７０は、単一プロセッサ（例えば、シングルコアまたはマルチコアＡＲＭプロセッサ）を含んでもよい、これは、ローカルデータ処理モジュール５７０の算出予算を限定するが、より小型のデバイスを有効にするであろう。いくつかの実施形態では、世界再構築コンポーネント５１６は、単一ＡＲＭコアの残りの算出予算が、例えば、メッシュの抽出等の他の使用のためにアクセスされ得るように、単一高度ＲＩＳＣ機械（ＡＲＭ）コアより少ない算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成してもよい。
いくつかの実施形態では、遠隔データリポジトリ５７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカルデータ処理モジュール５７０において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。いくつかの実施形態では、全てのデータが、記憶され、全てまたは大部分の算出は、遠隔データリポジトリ５７４内で実施され、より小さいデバイスを可能にする。世界再構築物は、例えば、全体または部分的に、本リポジトリ５７４内に記憶されてもよい。
その中にデータが、遠隔で記憶され、ネットワークを経由してアクセス可能である、実施形態では、データは、拡張現実システムの複数のユーザによって共有されてもよい。例えば、ユーザデバイスは、その追跡マップをアップロードし、環境マップのデータベース内に拡張されてもよい。いくつかの実施形態では、追跡マップのアップロードは、ウェアラブルデバイスとのユーザセッションの終了時に生じる。いくつかの実施形態では、追跡マップのアップロードは、持続的に、半持続的に、断続的に、事前に定義された時間において、前のアップロードから事前に定義された周期後、またはあるイベントによってトリガされると、生じ得る。任意のユーザデバイスによってアップロードされた追跡マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づくかどうかにかかわらず、以前に記憶されたマップを拡張または改良するために使用されてもよい。同様に、ユーザデバイスにダウンロードされた持続マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づいてもよい。このように、高品質環境マップが、ＡＲシステムを用いたその体験を改良するために、ユーザに容易に利用可能であり得る。
さらなる実施形態では、持続マップのダウンロードは、（例えば、クラウド内の）遠隔リソース上で実行される位置特定に基づいて、限定および／または回避され得る。そのような構成では、ウェアラブルデバイスまたは他のＸＲデバイスは、クラウドサービスに、姿勢情報と結合される、特徴情報（例えば、特徴情報内に表される特徴が感知された時点におけるデバイスに関する測位情報）を通信する。クラウドサービスの１つまたはそれを上回るコンポーネントは、特徴情報と個別の記憶されたマップ（例えば、規準マップ）をマッチングさせ、ＸＲデバイスによって維持される追跡マップと規準マップの座標系との間の変換を生成してもよい。規準マップに対して位置特定されたその追跡マップを有する、各ＸＲデバイスは、その独自の追跡に基づいて、仮想コンテンツを規準マップに対して規定された場所に正確にレンダリングし得る。
いくつかの実施形態では、ローカルデータ処理モジュール５７０は、バッテリ５８２に動作可能に結合される。いくつかの実施形態では、バッテリ５８２は、市販のバッテリ等のリムーバブル電源である。他の実施形態では、バッテリ５８２は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ５８２は、ユーザ５６０が、電源に繋がれ、リチウムイオンバッテリを充電する必要なく、またはシステム５８０をシャットオフし、バッテリを交換する必要なく、より長い期間にわたってシステム５８０を動作させ得るように、システム５８０の非動作時間の間、ユーザ５６０によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。
図５Ａは、ユーザ５３０が物理的世界環境５３２（以降、「環境５３２」と称される）を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着している、ユーザ５３０を図示する。ユーザの移動経路に沿ってＡＲシステムによって捕捉された情報は、１つまたはそれを上回る追跡マップの中に処理されてもよい。ユーザ５３０は、ＡＲディスプレイシステムを位置５３４に位置付け、ＡＲディスプレイシステムは、位置５３４に対するパス可能世界（例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）の周囲情報を記録する。その情報は、画像、特徴、指向性オーディオ入力、または他の所望のデータと組み合わせて、姿勢として記憶されてもよい。位置５３４は、例えば、追跡マップの一部として、データ入力５３６に対して集約され、少なくともパス可能世界モジュール５３８によって処理され、これは、例えば、図４の遠隔処理モジュール５７２上の処理によって実装されてもよい。いくつかの実施形態では、パス可能世界モジュール５３８は、処理された情報が、レンダリング仮想コンテンツ内で使用される物理的オブジェクトについての他の情報と組み合わせて、物理的世界内のオブジェクトの場所を示し得るように、頭部姿勢コンポーネント５１４と、世界再構築コンポーネント５１６とを含んでもよい。
パス可能世界モジュール５３８は、データ入力５３６から決定されるように、少なくとも部分的に、ＡＲコンテンツ５４０が物理的世界内に設置され得る場所および方法を決定する。ＡＲコンテンツは、ユーザインターフェースを介して、物理的世界の表現およびＡＲコンテンツの両方を提示することによって、物理的世界内に「設置」され、ＡＲコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ＡＲコンテンツが、適切なとき、それらのオブジェクトのユーザのビューを不明瞭にしているかのように提示される。いくつかの実施形態では、ＡＲコンテンツは、固定要素５４２（例えば、テーブル）の一部を再構築物（例えば、再構築物５１８）から適切に選択し、ＡＲコンテンツ５４０の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上に現れるように位置付けられてもよい。いくつかの実施形態では、ＡＲコンテンツは、現在の視野または推定される将来的視野であり得る、視野５４４内の構造の中に設置されてもよい。いくつかの実施形態では、ＡＲコンテンツは、物理的世界のモデル５４６（例えば、メッシュ）に対して持続されてもよい。
描写されるように、固定要素５４２は、ユーザ５３０にそれが見える度に、システムが固定要素５４２にマッピングする必要なく、ユーザ５３０が固定要素５４２上にコンテンツを知覚し得るように、パス可能世界モジュール５３８内に記憶され得る、物理的世界内の任意の固定要素のためのプロキシ（例えば、デジタルコピー）としての役割を果たす。固定要素５４２は、したがって、前のモデル化セッションからの、または別個のユーザから決定されるものであるものの、複数のユーザによる将来的参照のためにパス可能世界モジュール５３８によって記憶される、メッシュモデルであってもよい。したがって、パス可能世界モジュール５３８は、環境５３２を以前にマッピングされた環境から認識し、ユーザ５３０のデバイスが環境５３２の全部または一部を最初にマッピングすることなく、ＡＲコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたＡＲコンテンツの待ち時間を回避し得る。
物理的世界のメッシュモデル５４６は、ＡＲディスプレイシステムによって作成されてもよく、ＡＲコンテンツ５４０と相互作用し、表示するための適切な表面およびメトリックは、完全または部分的に、モデルを再作成する必要なく、ユーザ５３０または他のユーザによる将来的読出のために、パス可能世界モジュール５３８によって記憶されることができる。いくつかの実施形態では、データ入力５３６は、パス可能世界モジュール５３８に、１つまたはそれを上回る固定要素のうちのどの固定要素５４２が利用可能であるかどうか、固定要素５４２上に最後に設置されたＡＲコンテンツ５４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続」コンテンツである）を示すための、地理的場所、ユーザ識別、および現在のアクティビティ等の入力である。
オブジェクトが固定されていると見なされる（例えば、台所のテーブル）、実施形態においてさえ、パス可能世界モジュール５３８は、物理的世界の変化の可能性を考慮するために、物理的世界のモデル内のそれらのオブジェクトを随時更新してもよい。固定されたオブジェクトのモデルは、非常に低頻度で更新されてもよい。物理的世界内の他のオブジェクトは、移動しているものであり得るか、または、別様に固定されていると見なされないものであり得る（例えば、台所の椅子）。ＡＲ場面を現実的感覚でレンダリングするために、ＡＲシステムは、これらの非固定オブジェクトの位置を、固定オブジェクトを更新するために使用されるものよりはるかに高い頻度で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ＡＲシステムは、１つまたはそれを上回る画像センサを含む、複数のセンサから情報を引き出してもよい。
図５Ｂは、視認光学系アセンブリ５４８および付帯コンポーネントの概略例証である。いくつかの実施形態では、２つの眼追跡カメラ５５０が、ユーザの眼５４９に向かって指向され、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼５４９上の閃光等、ユーザの眼５４９のメトリックを検出する。
いくつかの実施形態では、センサのうちの１つは、飛行時間センサ等の深度センサ５５１であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入したかどうかを迅速に決定し得る。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。
いくつかの実施形態では、世界カメラ５５２は、周辺より広いビューを記録し、マッピングし、および／または別様に、環境５３２のモデルを作成し、ＡＲコンテンツに影響を及ぼし得る、入力を検出する。いくつかの実施形態では、世界カメラ５５２および／またはカメラ５５３は、グレースケールおよび／またはカラー画像センサであってもよく、これは、グレースケールおよび／またはカラー画像フレームを固定される時間インターバルにおいて出力してもよい。カメラ５５３はさらに、ユーザの視野内の物理的世界画像を具体的時間において捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ５５２、カメラ５５３、および深度センサ５５１はそれぞれ、５５４、５５５、および５５６の個別の視野を有し、図３４Ａに描写される物理的世界環境５３２等の物理的世界場面からのデータを収集および記録する。
慣性測定ユニット５５７は、視認光学系アセンブリ５４８の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ５５１は、ユーザの眼５４９が見ている実際の距離に対する測定された遠近調節の確認として、眼追跡カメラ５５０に動作可能に結合される。
視認光学系アセンブリ５４８は、図３４Ｂに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、４つの代わりに、２つの世界カメラ５５２を含んでもよい。代替として、または加えて、カメラ５５２および５５３は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ５４８は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ５４８は、１つまたはそれを上回る動的視覚センサ（ＤＶＳ）を含んでもよく、そのピクセルは、光強度の相対的変化が閾値を超えることに非同期して応答してもよい。
いくつかの実施形態では、視認光学系アセンブリ５４８は、飛行時間情報に基づく深度センサ５５１を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、１つまたはそれを上回るプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク（ＴＤＭ）でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび／または位相検出自動焦点ピクセル（ＰＤＡＦ）および／またはマイクロレンズアレイ（ＭＬＡ）を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ５５１の代わりに、またはそれに加え、深度情報源としての役割を果たし得る。
また、図５Ｂにおけるコンポーネントの構成は、実施例として提供されることを理解されたい。視認光学系アセンブリ５４８は、任意の好適な構成を伴うコンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的な最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ５４８が、１つの世界カメラ５５２を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。
視認光学系アセンブリ５４８内のセンサからの情報は、システム内のプロセッサのうちの１つまたはそれを上回るものに結合されてもよい。プロセッサは、ユーザに仮想コンテンツが物理的世界内のオブジェクトと相互作用するように知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想オブジェクトの両方を描写する、画像データを生成するステップを含め、任意の好適な方法において実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を透かし見る、ディスプレイデバイスの不透明度を変調させることによって、１つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、仮想コンテンツがユーザインターフェースを通して視認されるとき、物理的世界と現実的に相互作用するように、ユーザによって知覚されるように修正され得る（例えば、コンテンツをクリッピングし、オクルージョンを考慮する）、仮想コンテンツのみを含んでもよい。
コンテンツが特定の場所におけるオブジェクトの印象を作成するために表示され得る、視認光学系アセンブリ５４８上の場所は、視認光学系アセンブリの物理学に依存し得る。加えて、物理的世界に対するユーザの頭部の姿勢およびユーザの眼が見ている方向は、コンテンツが現れるであろう視認光学系アセンブリ上の特定の場所に表示される、物理的世界コンテンツ内の場所に影響を及ぼすであろう。上記に説明されるようなセンサは、センサ入力を受信するプロセッサが、オブジェクトが、視認光学系アセンブリ５４８上にレンダリングされ、ユーザのために所望の外観を作成すべき場所を算出し得るように、本情報を収集し、および／またはそこから本情報が計算され得る、情報を供給してもよい。
コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルが、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る、仮想オブジェクトの特徴が、正しく算出され得るように、使用され得る。いくつかの実施形態では、モデルは、物理的世界の再構築物、例えば、再構築物５１８を含んでもよい。
そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい（かつ「クラウド内」にあってもよい）。
モデルは、少なくとも部分的に、例えば、図６Ａにさらに詳細に描写される図３の世界再構築コンポーネント５１６等の世界再構築システムによって作成されてもよい。世界再構築コンポーネント５１６は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール６６０を含んでもよい。いくつかの実施形態では、知覚モジュール６６０は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表し得る。各ボクセルは、物理的世界内の所定のボリュームの３Ｄ立方体に対応し、表面情報を含み、ボクセルによって表されるボリューム内に表面が存在するかどうかを示し得る。ボクセルは、その対応するボリュームが、物理的オブジェクトの表面を含むと決定されている、空であると決定されている、またはセンサを用いてまだ測定されていない、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。空または未知であると決定されたボクセルを示す値は、明示的に記憶される必要はなく、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含め、任意の好適な方法において、コンピュータメモリ内に記憶されてもよいことを理解されたい。
持続される世界表現のための情報を生成することに加え、知覚モジュール６６０は、ＡＲシステムのユーザの周囲の領域の変化のインジケーションを識別し、出力してもよい。そのような変化のインジケーションは、持続される世界の一部として記憶される立体データへの更新をトリガする、またはＡＲコンテンツを生成し、ＡＲコンテンツを更新する、コンポーネント６０４をトリガする等、他の機能をトリガしてもよい。
いくつかの実施形態では、知覚モジュール６６０は、符号付き距離関数（ＳＤＦ）モデルに基づいて、変化を識別してもよい。知覚モジュール６６０は、例えば、深度マップ６６０ａおよび頭部姿勢６６０ｂ等のセンサデータを受信し、次いで、センサデータをＳＤＦモデル６６０ｃに融合させるように構成されてもよい。深度マップ６６０ａは、直接、ＳＤＦ情報を提供してもよく、画像は、ＳＤＦ情報に到着するように処理されてもよい。ＳＤＦ情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であり得るため、ＳＤＦ情報は、ウェアラブルユニットの視点、したがって、ユーザの視点から物理的世界を表し得る。頭部姿勢６６０ｂは、ＳＤＦ情報が物理的世界内のボクセルに関連されることを可能にし得る。
いくつかの実施形態では、知覚モジュール６６０は、知覚範囲内にある、物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定されてもよく、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定されてもよい。具体的実施例として、アクティブＩＲパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、数センチメートルまたは数十センチメートル～数メートルであり得る、センサの観察範囲を作成し得る。
世界再構築コンポーネント５１６は、知覚モジュール６６０と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、持続される世界モジュール６６２は、知覚モジュール６６０によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。持続される世界モジュール６６２はまた、物理的世界の種々のフォーマットの表現を含んでもよい。例えば、ボクセル等の立体メタデータ６６２ｂが、メッシュ６６２ｃおよび平面６６２ｄとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。
いくつかの実施形態では、図６Ａに図示されるもの等の物理的世界の表現は、上記に説明されるように、特徴点に基づく追跡マップ等の疎マップと比較して、物理的世界についての比較的に稠密情報を提供し得る。
いくつかの実施形態では、知覚モジュール６６０は、例えば、メッシュ６６０ｄ、平面、および意味論６６０ｅを含む、種々のフォーマットにおける、物理的世界のための表現を生成する、モジュールを含んでもよい。物理的世界のための表現は、ローカルおよび遠隔記憶媒体を横断して記憶されてもよい。物理的世界のための表現は、例えば、記憶媒体の場所に応じて、異なる座標フレーム内に説明されてもよい。例えば、デバイス内に記憶された物理的世界のための表現は、デバイスにローカルの座標フレーム内に説明されてもよい。物理的世界のための表現は、クラウド内に記憶された対応物を有してもよい。クラウド内の対応物は、ＸＲシステム内の全てのデバイスによって共有される座標フレーム内に説明されてもよい。
いくつかの実施形態では、これらのモジュールは、表現が生成された時点の１つまたはそれを上回るセンサの知覚範囲内のデータおよび以前の時間に捕捉されたデータおよび持続される世界モジュール６６２内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ＡＲシステムは、視覚センサを含んでもよく、単眼または両眼視覚情報を分析することによって、そのような表現を生成してもよい。
いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール６６０がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、ＳＤＦモデル６６０ｃ内の新しい表面を検出することによって、またはサブ領域を表す十分な数のボクセルの値の変化等の他の基準によって、検出されてもよい。
世界再構築コンポーネント５１６は、物理的世界の表現を知覚モジュール６６０から受信し得る、コンポーネント６６４を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント６６４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、ゲームプログラムおよび他のコンポーネントを含んでもよい。
コンポーネント６６４からのクエリに応答して、知覚モジュール６６０は、物理的世界のための表現を１つまたはそれを上回るフォーマットにおいて送信してもよい。例えば、コンポーネント６６４が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためのものであることを示すとき、知覚モジュール６６０は、表面の表現を送信してもよい。コンポーネント６６４が、使用が環境推測のためのものであることを示すとき、知覚モジュール６６０は、物理的世界のメッシュ、平面、および意味論を送信してもよい。
いくつかの実施形態では、知覚モジュール６６０は、フォーマット情報をコンポーネント６６４に提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント６６０ｆであってもよい。使用コンポーネント（例えば、コンポーネント６６４）は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント６６０ｆは、その視点からの視野内の物理的世界データの１つまたはそれを上回る表現から選択してもよい。
前述の説明から理解されるはずであるように、知覚モジュール６６０またはＡＲシステムの別のコンポーネントは、データを処理し、物理的世界の一部の３Ｄ表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および／または深度画像に基づいて、３Ｄ再構築ボリュームの一部を間引く、平面データを抽出および持続させる、近傍の一貫性を維持しながらローカル更新を可能にするブロックにおいて、３Ｄ再構築データを捕捉し、持続させ、更新する、オクルージョンデータが１つまたはそれを上回る深度データソースの組み合わせから導出される、オクルージョンデータをそのような場面を生成するアプリケーションに提供する、および／または多段階メッシュ簡略化を実施することによって、低減され得る。再構築物は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。
いくつかの実施形態では、パス可能世界モデルのコンポーネントは、分散されてもよく、いくつかの部分は、ＸＲデバイス上でローカルで実行され、いくつかの部分は、サーバに接続されるネットワーク上または別様にクラウド内等の遠隔で実行される。ローカルＸＲデバイスとクラウドとの間の情報の処理および記憶の配分は、ＸＲシステムの機能性およびユーザ体験に影響を及ぼし得る。例えば、処理をクラウドに配分することによって、ローカルデバイス上の処理を低減させることは、より長いバッテリ寿命を有効にし、ローカルデバイス上に生成される熱を低減させ得る。しかし、はるかに多い処理をクラウドに配分することは、容認不可能なユーザ体験を引き起こす、望ましくない待ち時間を作成し得る。
図６Ｂは、いくつかの実施形態による、空間コンピューティングのために構成される、分散型コンポーネントアーキテクチャ６００を描写する。分散型コンポーネントアーキテクチャ６００は、パス可能世界コンポーネント６０２（例えば、図５ＡにおけるＰＷ５３８）と、Ｌｕｍｉｎ ＯＳ６０４と、ＡＰＩ６０６と、ＳＤＫ６０８と、アプリケーション６１０とを含んでもよい。Ｌｕｍｉｎ ＯＳ６０４は、ＸＲデバイスと互換性があるカスタムドライバを伴う、Ｌｉｎｕｘ（登録商標）ベースのカーネルを含んでもよい。ＡＰＩの６０６は、ＸＲアプリケーション（例えば、アプリケーション６１０）にＸＲデバイスの空間コンピューティング特徴へのアクセスを与える、アプリケーションプログラミングインターフェースを含んでもよい。ＳＤＫ６０８は、ＸＲアプリケーションの作成を可能にする、ソフトウェア開発キットを含んでもよい。
アーキテクチャ６００内の１つまたはそれを上回るコンポーネントは、パス可能世界のモデルを作成および維持してもよい。本実施例では、センサデータは、ローカルデバイス上で収集される。そのセンサデータの処理は、部分的に、ＸＲデバイス上でローカルで、部分的に、クラウド内で実施されてもよい。ＰＷ５３８は、少なくとも部分的に、複数のユーザによって装着されるＡＲデバイスによって捕捉されたデータに基づいて作成される、環境マップを含んでもよい。ＡＲ体験のセッションの間、個々のＡＲデバイス（図４に関連して上記に説明されるウェアラブルデバイス等）は、マップの１つのタイプである、追跡マップを作成してもよい。
いくつかの実施形態では、デバイスは、疎マップおよび稠密マップの両方を構築する、コンポーネントを含んでもよい。追跡マップは、疎マップとしての役割を果たしてもよく、環境を走査するＡＲデバイスの頭部姿勢ならび各頭部姿勢においてその環境内で検出されたオブジェクトについての情報を含んでもよい。それらの頭部姿勢は、デバイス毎にローカルで維持されてもよい。例えば、各デバイス上の頭部姿勢は、デバイスがそのセッションのためにオンにされたときの初期頭部姿勢に対するものであり得る。結果として、各追跡マップは、それを作成するデバイスにローカルであり得る。稠密マップは、表面情報を含んでもよく、これは、メッシュまたは深度情報によって表されてもよい。代替として、または加えて、稠密マップは、平面および／または他のオブジェクトの場所および／または特性等の表面または深度情報から導出されるより高いレベルの情報を含んでもよい。
稠密マップの作成は、いくつかの実施形態では、疎マップの作成から独立してもよい。稠密マップおよび疎マップの作成は、例えば、ＡＲシステム内の別個の処理パイプライン内で実施されてもよい。処理を分離することは、例えば、異なるタイプのマップの生成または処理が異なるレートで実施されることを可能にし得る。疎マップは、例えば、稠密マップより高速のレートでリフレッシュされてもよい。しかしながら、いくつかの実施形態では、稠密および疎マップの処理は、異なるパイプライン内で実施される場合でも、関連し得る。疎マップ内で露見される物理的世界の変化は、例えば、稠密マップの更新をトリガし得る、またはその逆である。さらに、独立して作成される場合でも、マップは、ともに使用され得る。例えば、疎マップから導出される座標系は、稠密マップ内のオブジェクトの位置および／または配向を定義するために使用されてもよい。
疎マップおよび／または稠密マップは、同一デバイスによる再使用のために、および／または他のデバイスと共有するために、存続してもよい。そのような存続は、情報をクラウド内に記憶することによって達成されてもよい。ＡＲデバイスは、追跡マップをクラウドに送信し、例えば、クラウド内に以前に記憶された存続されるマップから選択された環境マップとマージしてもよい。いくつかの実施形態では、選択された存続されるマップは、マージするために、クラウドからＡＲデバイスに送信されてもよい。いくつかの実施形態では、存続されるマップは、１つまたはそれを上回る持続座標フレームに対して配向されてもよい。そのようなマップは、それらが複数のデバイスのいずれかによって使用され得るため、規準マップとしての役割を果たし得る。いくつかの実施形態では、パス可能世界のモデルは、１つまたはそれを上回る規準マップから成る、または作成されてもよい。デバイスは、デバイスにローカルの座標フレームに基づいて、いくつかの動作を実施するものの、デバイスにローカルのその座標フレームと規準マップとの間の変換を決定することによって、規準マップを使用してもよい。
規準マップは、追跡マップ（ＴＭ）（例えば、図３１ＡにおけるＴＭ１１０２）として生じてもよく、これは、規準マップにレベル上げされ得る。規準マップは、規準マップにアクセスするデバイスが、いったんそのローカル座標系と規準マップの座標系との間の変換を決定すると、規準マップ内の情報を使用して、デバイスの周囲の物理的世界内の規準マップ内に表されるオブジェクトの場所を決定し得るように、存続されてもよい。いくつかの実施形態では、ＴＭは、ＸＲデバイスによって作成された頭部姿勢疎マップであってもよい。いくつかの実施形態では、規準マップは、異なる時間においてＸＲデバイスによって、または他のＸＲデバイスによって、捕捉された付加的ＴＭとマージするために、ＸＲデバイスが１つまたはそれを上回るＴＭをクラウドサーバに送信すると、作成されてもよい。
規準マップまたは他のマップは、個別のマップを作成するために処理されたデータによって表される物理的世界の一部についての情報を提供してもよい。図７は、いくつかの実施形態による、例示的追跡マップ７００を描写する。追跡マップ７００は、点７０２によって表される対応する物理的世界内の物理的オブジェクトの平面図７０６を提供してもよい。いくつかの実施形態では、マップ点７０２は、複数の特徴を含み得る、物理的オブジェクトの特徴を表し得る。例えば、テーブルの各角は、マップ上の点によって表される、特徴であり得る。特徴は、拡張現実システム内のウェアラブルデバイスのセンサを用いて入手され得るような処理画像から導出されてもよい。特徴は、例えば、センサによって出力された画像フレームを処理し、画像内の大勾配または他の好適な基準に基づいて、特徴を識別することによって導出されてもよい。さらなる処理は、各フレーム内の特徴の数を限定してもよい。例えば、処理は、持続オブジェクトを表す可能性が高い、特徴を選択してもよい。１つまたはそれを上回るヒューリスティックが、本選択のために適用されてもよい。
追跡マップ７００は、デバイスによって収集された点７０２に関するデータを含んでもよい。追跡マップ内に含まれるデータ点を伴う、画像フレーム毎に、姿勢が、記憶されてもよい。姿勢は、各画像フレーム内の特徴点が空間的に相関され得るように、そこから画像フレームが捕捉された配向を表し得る。姿勢は、ウェアラブルデバイス上のＩＭＵセンサ等のセンサから導出され得るような位置付け情報によって決定されてもよい。代替として、または加えて、姿勢は、画像フレームと、物理的世界の重複部分を描写する、他の画像フレームをマッチングさせることから決定されてもよい。２つのフレーム内の特徴点のサブセットをマッチングさせることによって遂行され得る、そのような位置相関を見出すことによって、２つのフレーム間の相対的姿勢が、算出され得る。相対的姿勢は、マップが、追跡マップの構築が開始されたときのデバイスの初期姿勢に基づいて確立されるデバイスにローカルの座標系に対するものであり得るため、追跡マップのために適正であり得る。
センサを用いて収集された情報の多くが冗長である可能性が高いため、デバイスによって収集された特徴点および画像フレームの全てが、追跡マップの一部として留保され得るわけではない。むしろ、あるフレームのみが、マップに追加されてもよい。それらのフレームは、すでにマップ内にある画像フレームとの重複度、それらが含有する新しい特徴の数、またはフレーム内の特徴に関する品質メトリック等の１つまたはそれを上回る基準に基づいて選択されてもよい。追跡マップに追加されない画像フレームは、破棄されてもよい、または特徴の場所を改訂するために使用されてもよい。さらなる代替として、特徴のセットとして表される、画像フレームの全部または大部分が、留保されてもよいが、それらのフレームのサブセットは、キーフレームとして指定されてもよく、これは、さらなる処理のために使用される。
キーフレームは、処理され、キーリグ７０４を生産してもよい。キーフレームは、処理され、特徴点の３次元セットを生産し、キーリグ７０４として保存されてもよい。そのような処理は、例えば、２つのカメラから同時に導出される画像フレームを比較し、特徴点の３Ｄ位置を立体視的に決定するステップを伴ってもよい。姿勢等のメタデータが、これらのキーフレームおよび／またはキーリグと関連付けられてもよい。
環境マップは、例えば、ＡＲデバイスのローカル記憶装置および遠隔記憶装置を含む、例えば、環境マップの記憶場所に応じて、複数のフォーマットのいずれかを有してもよい。例えば、遠隔記憶装置内のマップは、メモリが限定されると、ウェアラブルデバイス上のローカル記憶装置内のマップより高い分解能を有してもよい。より高い分解能マップを遠隔記憶装置からローカル記憶装置に送信するために、マップは、マップ内に記憶される物理的世界のエリアあたりの姿勢の数および／または姿勢毎に記憶される特徴点の数を低減させること等によって、ダウンサンプリングまたは別様に適切なフォーマットに変換されてもよい。いくつかの実施形態では、遠隔記憶装置からの高分解能マップのスライスまたは一部が、ローカル記憶装置に送信されてもよく、スライスまたは一部は、ダウンサンプリングされない。
環境マップのデータベースは、新しい追跡マップが作成されるにつれて、更新されてもよい。データベース内の潜在的に非常に多数の環境マップのうちのどれが更新されるべきかを決定するために、更新するステップは、新しい追跡マップに関連するデータベース内に記憶される１つまたはそれを上回る環境マップを効率的に選択するステップを含んでもよい。選択された１つまたはそれを上回る環境マップは、関連性によってランク付けされてもよく、最高ランク付けマップのうちの１つまたはそれを上回るものが、より高いランク付けされた選択された環境マップと新しい追跡マップをマージし、１つまたはそれを上回る更新された環境マップを作成するために処理するために選択されてもよい。新しい追跡マップが、それにわたって更新するための既存の環境マップが存在しない、物理的世界の部分を表すとき、その追跡マップは、新しい環境マップとしてデータベース内に記憶されてもよい。
ビュー独立ディスプレイ
本明細書に説明されるものは、仮想コンテンツを視認する眼の場所から独立して、ＸＲシステムを使用して仮想コンテンツを提供するための方法および装置である。従来、仮想コンテンツは、表示システムの任意の運動に応じて、再レンダリングされる。例えば、ディスプレイシステムを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れるエリアの周囲を歩き回る場合、３Ｄオブジェクトは、ユーザが実空間を占有する、オブジェクトの周囲を歩き回っているという知覚を有するように、視点毎に再レンダリングされるべきである。しかしながら、再レンダリングは、システムの有意な算出リソースを消費し、待ち時間に起因して、アーチファクトを生じさせる。
本発明者らは、頭部姿勢（例えば、ＸＲシステムを装着しているユーザの場所および配向）が、ユーザの頭部における眼回転から独立して、仮想コンテンツをレンダリングするために使用され得ることを認識し、その真価を認めた。いくつかの実施形態では、場面の動的マップが、ユーザの頭部における眼回転から独立して、および／または、例えば、高速算出集約的動作の間に生成された熱によって生じるセンサ変形から独立して、動的マップと相互作用する仮想コンテンツが、ロバストにレンダリングされ得るように、１つまたはそれを上回るセッションを横断して、実空間内の複数の座標フレームに基づいて生成されてもよい。いくつかの実施形態では、複数の座標フレームの構成は、第１のユーザによって装着される第１のＸＲデバイスおよび第２のユーザによって装着される第２のＸＲデバイスが、場面内の共通場所を認識することを可能にし得る。いくつかの実施形態では、複数の座標フレームの構成は、ＸＲデバイスを装着しているユーザが、仮想コンテンツを場面の同一場所内で視認することを可能にし得る。
いくつかの実施形態では、追跡マップが、世界座標フレーム内に構築されてもよく、これは、世界原点を有してもよい。世界原点は、ＸＲデバイスが電源投入されるときの、ＸＲデバイスの第１の姿勢であってもよい。世界原点は、ＸＲアプリケーションの開発者が余剰作業を伴わずに重力整合を得ることができるように、重力に整合されてもよい。異なる追跡マップが、追跡マップが、異なるセッションにおける同一ＸＲデバイスおよび／または異なるユーザによって装着される異なるＸＲデバイスによって捕捉され得るため、異なる世界座標フレーム内に構築されてもよい。いくつかの実施形態では、ＸＲデバイスのセッションは、デバイスを電源オンにしてから開始し、電源オフにするまで続いてもよい。いくつかの実施形態では、ＸＲデバイスは、頭部座標フレームを有してもよく、これは、頭部原点を有してもよい。頭部原点は、画像が撮影されるときの、ＸＲデバイスの現在の姿勢であってもよい。世界座標フレームおよび頭部座標フレームの頭部姿勢の間の差異は、追跡ルートを推定するために使用されてもよい。
いくつかの実施形態では、ＸＲデバイスは、カメラ座標フレームを有してもよく、これは、カメラ原点を有してもよい。カメラ原点は、ＸＲデバイスの１つまたはそれを上回るセンサの現在の姿勢であってもよい。本発明者らは、カメラ座標フレームの構成が、ユーザの頭部における眼回転から独立して、仮想コンテンツのロバストな表示を有効にすることを認識し、その真価を認めた。本構成はまた、例えば、動作の間に生成された熱に起因するセンサ変形から独立して、仮想コンテンツのロバストな表示を有効にする。
いくつかの実施形態では、ＸＲデバイスは、ユーザが、その頭部に固着させ得、ユーザの各眼の正面に１つずつ、２つの導波管を含み得る、頭部搭載可能フレームを伴う、頭部ユニットを有してもよい。導波管は、実世界オブジェクトからの周囲光が、導波管を通して透過し得、ユーザに実世界オブジェクトが見え得るように、透明であり得る。各導波管は、プロジェクタから投影された光をユーザの個別の眼に透過させ得る。投影された光は、画像を眼の網膜上に形成し得る。眼の網膜は、したがって、周囲光および投影された光を受光する。ユーザには、同時に、実世界オブジェクトと、投影された光によって作成される、１つまたはそれを上回る仮想オブジェクトとが見え得る。いくつかの実施形態では、ＸＲデバイスは、ユーザの周囲の実世界オブジェクトを検出する、センサを有してもよい。これらのセンサは、例えば、実世界オブジェクトの場所を識別するために処理され得る、画像を捕捉する、カメラであってもよい。
いくつかの実施形態では、ＸＲシステムは、仮想コンテンツを世界座標フレーム内に結び付けることとは対照的に、座標フレームを仮想コンテンツに割り当ててもよい。そのような構成は、ユーザのためにレンダリングされた場所にかかわらず、仮想コンテンツが説明されることを可能にするが、例えば、図１４－２０Ｃに関連して説明される持続座標フレーム（ＰＣＦ）等のより持続フレーム位置に結び付けられ、規定された場所にレンダリングされ得る。オブジェクトの場所が変化すると、ＸＲデバイスは、環境マップの変化を検出し、ユーザによって装着される頭部ユニットの移動を実世界オブジェクトに対して決定してもよい。
図８は、いくつかの実施形態による、ＸＲシステム１０によって物理的環境内にレンダリングされるような仮想コンテンツを体験するユーザを図示する。ＸＲシステムは、第１のユーザ１４．１によって装着される、第１のＸＲデバイス１２．１と、ネットワーク１８と、サーバ２０とを含んでもよい。ユーザ１４．１は、テーブル１６の形態における実オブジェクトを伴う、物理的環境内に存在する。
図示される実施例では、第１のＸＲデバイス１２．１は、頭部ユニット２２と、ベルトパック２４と、ケーブル接続２６とを含む。第１のユーザ１４．１は、頭部ユニット２２をその頭部に、頭部ユニット２２から遠隔のベルトパック２４をその腰部上に固着させる。ケーブル接続２６は、頭部ユニット２２をベルトパック２４に接続する。頭部ユニット２２は、第１のユーザ１４．１にテーブル１６等の実オブジェクトが見えることを可能にしたまま、仮想オブジェクトまたは複数のオブジェクトを第１のユーザ１４．１に表示するために使用される、技術を含む。ベルトパック２４は、主に、第１のＸＲデバイス１２．１の処理および通信能力を含む。いくつかの実施形態では、処理および通信能力は、ベルトパック２４が、除去され得る、またはリュック等の別のデバイス内に位置し得るように、全体的または部分的に、頭部ユニット２２内に常駐してもよい。
図示される実施例では、ベルトパック２４は、無線接続を介して、ネットワーク１８に接続される。サーバ２０は、ネットワーク１８に接続され、ローカルコンテンツを表すデータを保持する。ベルトパック２４は、ローカルコンテンツを表すデータをサーバ２０からネットワーク１８を介してダウンロードする。ベルトパック２４は、ケーブル接続２６を介して、データを頭部ユニット２２に提供する。頭部ユニット２２は、光源、例えば、レーザ光源または発光ダイオード（ＬＥＤ）光源と、光を誘導する、導波管とを有する、ディスプレイを含んでもよい。
いくつかの実施形態では、第１のユーザ１４．１は、頭部ユニット２２をその頭部に、ベルトパック２４をその腰部に搭載してもよい。ベルトパック２４は、仮想コンテンツを表す画像データをネットワーク１８を経由してサーバ２０からダウンロードしてもよい。第１のユーザ１４．１には、頭部ユニット２２のディスプレイを通して、テーブル１６が見え得る。頭部ユニット２２の一部を形成する、プロジェクタは、画像データをベルトパック２４から受信し、画像データに基づいて、光を生成してもよい。光は、頭部ユニット２２のディスプレイの一部を形成する導波管のうちの１つまたはそれを上回るものを通して進行してもよい。光は、次いで、導波管から出射し、第１のユーザ１４．１の眼の網膜上に伝搬してもよい。プロジェクタは、第１のユーザ１４．１の眼の網膜上に複製される、パターンにおいて光を生成してもよい。第１のユーザ１４．１の眼の網膜上に当たる光は、第１のユーザ１４．１が画像を導波管の背後の事前に選択された深度において知覚するように、選択された被写界深度を有してもよい。加えて、第１のユーザ１４．１の両眼は、第１のユーザ１４．１の脳が３次元画像または複数の画像を頭部ユニット２２からの選択された距離において知覚するように、若干異なる画像を受信してもよい。図示される実施例では、第１のユーザ１４．１は、仮想コンテンツ２８をテーブル１６の上方において知覚する。仮想コンテンツ２８および第１のユーザ１４．１からのその場所および距離の割合は、仮想コンテンツ２８を表すデータと、仮想コンテンツ２８を第１のユーザ１４．１に表示するために使用される、種々の座標フレームとによって決定される。
図示される実施例では、仮想コンテンツ２８は、図面の視点から不可視であって、第１のＸＲデバイス１２．１の使用を通して第１のユーザ１４．１に可視である。仮想コンテンツ２８は、最初に、視覚データ内のデータ構造およびベルトパック２４内のアルゴリズムとして常駐し得る。データ構造は、次いで、頭部ユニット２２のプロジェクタがデータ構造に基づいて光を生成するとき、光として露見し得る。仮想コンテンツ２８は、第１のユーザ１４．１の正面の３次元空間内に存在しないが、仮想コンテンツ２８は、依然として、頭部ユニット２２の装着者が知覚する内容の例証のために、３次元空間内の図１において表されることを理解されたい。３次元空間内のコンピュータデータの可視化は、１人またはそれを上回るユーザによって知覚されるレンダリングを促進するデータ構造が、ベルトパック２４内のデータ構造の中で相互に関連する方法を図示するために、本説明において使用され得る。
図９は、いくつかの実施形態による、第１のＸＲデバイス１２．１のコンポーネントを図示する。第１のＸＲデバイス１２．１は、頭部ユニット２２と、例えば、レンダリングエンジン３０と、種々の座標系３２と、種々の原点および目的地座標フレーム３４と、種々の原点／目的地座標フレーム変換器３６とを含む、視覚データおよびアルゴリズムの一部を形成する、種々のコンポーネントとを含んでもよい。種々の座標系は、ＸＲデバイスの固有プロパティに基づいてもよい、または本明細書に説明されるような持続姿勢または持続座標系等の他の情報を参照することによって決定されてもよい。
頭部ユニット２２は、頭部搭載可能フレーム４０と、ディスプレイシステム４２と、実オブジェクト検出カメラ４４と、移動追跡カメラ４６と、慣性測定ユニット４８とを含んでもよい。
頭部搭載可能フレーム４０は、図８における第１のユーザ１４．１の頭部に固着可能である、形状を有してもよい。ディスプレイシステム４２、実オブジェクト検出カメラ４４、移動追跡カメラ４６、および慣性測定ユニット４８は、頭部搭載可能フレーム４０に搭載され、したがって、頭部搭載可能フレーム４０とともに移動し得る。
座標系３２は、ローカルデータシステム５２と、世界フレームシステム５４と、頭部フレームシステム５６と、カメラフレームシステム５８とを含んでもよい。
ローカルデータシステム５２は、データチャネル６２と、ローカルフレーム決定ルーチン６４と、ローカルフレーム記憶命令６６とを含んでもよい。データチャネル６２は、内部ソフトウェアルーチン、外部ケーブルまたは無線周波数受信機等のハードウェアコンポーネント、または開放されるポート等のハイブリッドコンポーネントであってもよい。データチャネル６２は、仮想コンテンツを表す画像データ６８を受信するように構成されてもよい。
ローカルフレーム決定ルーチン６４は、データチャネル６２に接続されてもよい。ローカルフレーム決定ルーチン６４は、ローカル座標フレーム７０を決定するように構成されてもよい。いくつかの実施形態では、ローカルフレーム決定ルーチンは、実世界オブジェクトまたは実世界場所に基づいて、ローカル座標フレームを決定してもよい。いくつかの実施形態では、ローカル座標フレームは、ブラウザウィンドウの底部縁に対する上部縁、キャラクタの頭または足、仮想コンテンツを包囲する、プリズムまたは境界ボックスの外面上のノード、または仮想コンテンツの対面方向およびそれを用いて仮想コンテンツを設置すべき場所（例えば、設置ノードまたはＰＣＦノード等のノード）を定義する、座標フレームを設置するための任意の他の好適な場所等に基づいてもよい。
ローカルフレーム記憶命令６６は、ローカルフレーム決定ルーチン６４に接続されてもよい。当業者は、ソフトウェアモジュールおよびルーチンが、サブルーチン、コール等を通して、相互に「接続」されることを理解するであろう。ローカルフレーム記憶命令６６は、ローカル座標フレーム７０をローカル座標フレーム７２として原点および目的地座標フレーム３４内に記憶してもよい。いくつかの実施形態では、原点および目的地座標フレーム３４は、仮想コンテンツがセッション間で持続するために、操作または変換され得る、１つまたはそれを上回る座標フレームであってもよい。いくつかの実施形態では、セッションは、ＸＲデバイスのブートアップとシャットダウンとの間の期間であってもよい。２つのセッションは、単一ＸＲデバイスに関する２回の始動およびシャットダウン周期であってもよい、または２つの異なるＸＲデバイスに関する始動およびシャットダウンであってもよい。
いくつかの実施形態では、原点および目的地座標フレーム３４は、第１のユーザのＸＲデバイスおよび第２のユーザのＸＲデバイスが共通場所を認識するために要求される１つまたはそれを上回る変換の際に関わる座標フレームであってもよい。いくつかの実施形態では、目的地座標フレームは、第１および第２のユーザが同一場所における仮想コンテンツを視認するために、標的座標フレームに適用される一連の算出および変換の出力であってもよい。
レンダリングエンジン３０は、データチャネル６２に接続されてもよい。レンダリングエンジン３０は、レンダリングエンジン３０が、少なくとも部分的に、画像データ６８に基づいて、仮想コンテンツをレンダリングし得るように、画像データ６８をデータチャネル６２から受信してもよい。
ディスプレイシステム４２は、レンダリングエンジン３０に接続されてもよい。ディスプレイシステム４２は、画像データ６８を可視光に変換する、コンポーネントを含んでもよい。可視光は、眼毎に１つの２つのパターンを形成してもよい。可視光は、図８における第１のユーザ１４．１の眼に入射し得、第１のユーザ１４．１の眼の網膜上で検出され得る。
実オブジェクト検出カメラ４４は、画像を頭部搭載可能フレーム４０の異なる側から捕捉し得る、１つまたはそれを上回るカメラを含んでもよい。移動追跡カメラ４６は、画像を頭部搭載可能フレーム４０の側面上で捕捉する、１つまたはそれを上回るカメラを含んでもよい。１つまたはそれを上回るカメラの１つのセットが、実オブジェクト検出カメラ４４および移動追跡カメラ４６を表す、１つまたはそれを上回るカメラの２つのセットの代わりに使用されてもよい。いくつかの実施形態では、カメラ４４、４６は、画像を捕捉してもよい。上記に説明されるように、これらのカメラは、追跡マップを構築するために使用される、データを収集してもよい。
慣性測定ユニット４８は、頭部ユニット２２の移動を検出するために使用される、いくつかのデバイスを含んでもよい。慣性測定ユニット４８は、重力センサと、１つまたはそれを上回る加速度計と、１つまたはそれを上回るジャイロスコープとを含んでもよい。慣性測定ユニット４８のセンサは、組み合わせて、少なくとも３つの直交方向において、および、少なくとも３つの直交軸のまわりで、頭部ユニット２２の移動を追跡する。
図示される実施例では、世界フレームシステム５４は、世界表面決定ルーチン７８と、世界フレーム決定ルーチン８０と、世界フレーム記憶命令８２とを含む。世界表面決定ルーチン７８は、実オブジェクト検出カメラ４４に接続される。世界表面決定ルーチン７８は、実オブジェクト検出カメラ４４によって捕捉された画像に基づいて、画像および／またはキーフレームを受信し、画像を処理し、画像内の表面を識別する。深度センサ（図示せず）は、表面までの距離を決定してもよい。表面は、したがって、そのサイズ、形状、および実オブジェクト検出カメラからの距離を含む、３次元におけるデータによって表される。
いくつかの実施形態では、世界座標フレーム８４は、頭部姿勢セッションの初期化時の原点に基づいてもよい。いくつかの実施形態では、世界座標フレームは、デバイスがブートアップされた場所に位置してもよい、またはブートセッションの間に頭部姿勢が喪失された場合、新しいある場所であり得る。いくつかの実施形態では、世界座標フレームは、頭部姿勢セッションの開始時の原点であってもよい。
図示される実施例では、世界フレーム決定ルーチン８０は、世界表面決定ルーチン７８に接続され、世界表面決定ルーチン７８によって決定されるような表面の場所に基づいて、世界座標フレーム８４を決定する。世界フレーム記憶命令８２は、世界フレーム決定ルーチン８０に接続され、世界座標フレーム８４を世界フレーム決定ルーチン８０から受信する。世界フレーム記憶命令８２は、世界座標フレーム８４を世界座標フレーム８６として原点および目的地座標フレーム３４内に記憶する。
頭部フレームシステム５６は、頭部フレーム決定ルーチン９０と、頭部フレーム記憶命令９２とを含んでもよい。頭部フレーム決定ルーチン９０は、移動追跡カメラ４６および慣性測定ユニット４８に接続されてもよい。頭部フレーム決定ルーチン９０は、移動追跡カメラ４６および慣性測定ユニット４８からのデータを使用して、頭部座標フレーム９４を計算してもよい。例えば、慣性測定ユニット４８は、頭部ユニット２２に対する重力の方向を決定する、重力センサを有してもよい。移動追跡カメラ４６は、頭部フレーム決定ルーチン９０によって使用され、頭部座標フレーム９４を精緻化する、画像を継続的に捕捉してもよい。頭部ユニット２２は、図８における第１のユーザ１４．１がその頭部を移動させると移動する。移動追跡カメラ４６および慣性測定ユニット４８は、頭部フレーム決定ルーチン９０が頭部座標フレーム９４を更新し得るように、データを頭部フレーム決定ルーチン９０に持続的に提供してもよい。
頭部フレーム記憶命令９２は、頭部フレーム決定ルーチン９０に接続され、頭部座標フレーム９４を頭部フレーム決定ルーチン９０から受信してもよい。頭部フレーム記憶命令９２は、頭部座標フレーム９４を原点および目的地座標フレーム３４間の頭部座標フレーム９６として記憶してもよい。頭部フレーム記憶命令９２は、頭部フレーム決定ルーチン９０が頭部座標フレーム９４を再計算すると、更新された頭部座標フレーム９４を頭部座標フレーム９６として繰り返し記憶してもよい。いくつかの実施形態では、頭部座標フレームは、ローカル座標フレーム７２に対するウェアラブルＸＲデバイス１２．１の場所であってもよい。
カメラフレームシステム５８は、カメラ固有プロパティ９８を含んでもよい。カメラ固有プロパティ９８は、その設計および製造の特徴である、頭部ユニット２２の寸法を含んでもよい。カメラ固有プロパティ９８は、原点および目的地座標フレーム３４内に記憶される、カメラ座標フレーム１００を計算するために使用されてもよい。
いくつかの実施形態では、カメラ座標フレーム１００は、図８における第１のユーザ１４．１の左眼の全ての瞳孔位置を含んでもよい。左眼が、左から右または上下に移動すると、左眼の瞳孔位置は、カメラ座標フレーム１００内に位置する。加えて、右眼の瞳孔位置は、右眼のためのカメラ座標フレーム１００内に位置する。いくつかの実施形態では、カメラ座標フレーム１００は、画像が撮影されると、ローカル座標フレームに対するカメラの場所を含んでもよい。
原点／目的地座標フレーム変換器３６は、ローカル／世界座標変換器１０４と、世界／頭部座標変換器１０６と、頭部／カメラ座標変換器１０８とを含んでもよい。ローカル／世界座標変換器１０４は、ローカル座標フレーム７２を受信し、ローカル座標フレーム７２を世界座標フレーム８６に変換してもよい。世界座標フレーム８６へのローカル座標フレーム７２の変換は、世界座標フレーム８６内で世界座標フレーム１１０に変換されるローカル座標フレームとして表され得る。
世界／頭部座標変換器１０６は、世界座標フレーム８６から頭部座標フレーム９６に変換してもよい。世界／頭部座標変換器１０６は、世界座標フレーム１１０に変換されるローカル座標フレームを頭部座標フレーム９６に変換してもよい。変換は、頭部座標フレーム９６内の頭部座標フレーム１１２に変換されるローカル座標フレームとして表され得る。
頭部／カメラ座標変換器１０８は、頭部座標フレーム９６からカメラ座標フレーム１００に変換してもよい。頭部／カメラ座標変換器１０８は、頭部座標フレーム１１２に変換されるローカル座標フレームをカメラ座標フレーム１００内のカメラ座標フレーム１１４に変換されるローカル座標フレームに変換してもよい。カメラ座標フレーム１１４に変換されるローカル座標フレームは、レンダリングエンジン３０の中に取り込まれてもよい。レンダリングエンジン３０は、カメラ座標フレーム１１４に変換されるローカル座標フレームに基づいて、ローカルコンテンツ２８を表す画像データ６８をレンダリングしてもよい。
図１０は、種々の原点および目的地座標フレーム３４の空間表現である。ローカル座標フレーム７２、世界座標フレーム８６、頭部座標フレーム９６、およびカメラ座標フレーム１００が、図内に表される。いくつかの実施形態では、ＸＲコンテンツ２８と関連付けられるローカル座標フレームは、仮想コンテンツが実世界内に設置され、したがって、仮想コンテンツがユーザによって視認され得るとき、ローカルおよび／または世界座標フレームおよび／またはＰＣＦに対する位置および回転を有し得る（例えば、ノードおよび対面方向を提供し得る）。各カメラは、片眼の全ての瞳孔位置を包含する、その独自のカメラ座標フレーム１００を有してもよい。参照番号１０４Ａおよび１０６Ａは、それぞれ、図９におけるローカル／世界座標変換器１０４、世界／頭部座標変換器１０６、および頭部／カメラ座標変換器１０８によって行われる、変換を表す。
図１１は、いくつかの実施形態による、頭部座標フレームからカメラ座標フレームに変換するためのカメラレンダリングプロトコルを描写する。図示される実施例では、片眼に関する瞳孔は、位置ＡからＢに移動する。定常として現れることが意図される仮想オブジェクトは、瞳孔の位置に応じて、２つの位置ＡまたはＢのうちの１つにおける深度面上に投影されるであろう（カメラが瞳孔ベースの座標フレームとして使用するように構成されると仮定して）。その結果、頭部座標フレームに変換される瞳孔座標フレームを使用することは、眼が位置Ａから位置Ｂに移動するにつれて、ジッタを定常仮想オブジェクト内に生じさせるであろう。本状況は、ビュー依存ディスプレイまたは投影と称される。
図１２に描写されるように、カメラ座標フレーム（例えば、ＣＲ）が、位置付けられ、全ての瞳孔位置を包含するが、オブジェクト投影は、ここでは、瞳孔位置ＡおよびＢにかかわらず、一貫するであろう。頭部座標フレームは、ＣＲフレームに変換し、これは、ビュー独立ディスプレイまたは投影と称される。画像再投影が、仮想コンテンツに適用され、眼位置の変化を考慮してもよいが、しかしながら、レンダリングは、依然として、同一位置にあるため、ジッタは、最小限にされる。
図１３は、ディスプレイシステム４２をさらに詳細に図示する。ディスプレイシステム４２は、レンダリングエンジン３０に接続され、視覚データおよびアルゴリズムの一部を形成する、立体視分析器１４４を含む。
ディスプレイシステム４２はさらに、左および右プロジェクタ１６６Ａおよび１６６Ｂと、左および右導波管１７０Ａおよび１７０Ｂとを含む。左および右プロジェクタ１６６Ａおよび１６６Ｂは、電力供給源に接続される。各プロジェクタ１６６Ａおよび１６６Ｂは、画像データが個別のプロジェクタ１６６Ａまたは１６６Ｂに提供されるための個別の入力を有する。個別のプロジェクタ１６６Ａまたは１６６Ｂは、給電されると、２次元パターンにおける光を生成し、光をそこから発出する。左および右導波管１７０Ａおよび１７０Ｂは、それぞれ、光を左および右プロジェクタ１６６Ａおよび１６６Ｂから受光するように位置付けられる。左および右導波管１７０Ａおよび１７０Ｂは、透明導波管である。
使用時、ユーザは、頭部搭載可能フレーム４０をその頭部に搭載する。頭部搭載可能フレーム４０のコンポーネントは、例えば、ユーザの頭部の背面の周囲に巻着する、ストラップ（図示せず）を含んでもよい。左および右導波管１７０Ａおよび１７０Ｂは、次いで、ユーザの左および右眼２２０Ａおよび２２０Ｂの正面に位置する。
レンダリングエンジン３０は、それが受信する画像データを立体視分析器１４４の中に取り込む。画像データは、図８におけるローカルコンテンツ２８の３次元画像データである。画像データは、複数の仮想平面上に投影される。立体視分析器１４４は、画像データを分析し、各深度面上への投影のために、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、３次元において投影され、ユーザに深度の知覚を与える、２次元画像を表す、データセットである。
立体視分析器１４４は、左および右画像データセットを左および右プロジェクタ１６６Ａおよび１６６Ｂに取り込む。左および右プロジェクタ１６６Ａおよび１６６Ｂは、次いで、左および右光パターンを作成する。ディスプレイシステム４２のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、２次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証目的のために、ピクセルのうちの２つからの光線２２４Ａおよび２２６Ａが、左プロジェクタ１６６Ａから出射し、左導波管１７０Ａに入射するように示される。光線２２４Ａおよび２２６Ａは、左導波管１７０Ａの側から反射する。光線２２４Ａおよび２２６Ａは、左導波管１７０Ａ内で左から右に内部反射を通して伝搬することが示されるが、光線２２４Ａおよび２２６Ａはまた、屈折性および反射性システムを使用して、紙面に向かう方向にも伝搬することを理解されたい。
光線２２４Ａおよび２２６Ａは、左光導波管１７０Ａから瞳孔２２８Ａを通して出射し、次いで、左眼２２０Ａの瞳孔２３０Ａを通して左眼２２０Ａに入射する。光線２２４Ａおよび２２６Ａは、次いで、左眼２２０Ａの網膜２３２Ａ上に当たる。このように、左光パターンは、左眼２２０Ａの網膜２３２Ａ上に当たる。ユーザは、網膜２３２Ａ上に形成されるピクセルが、ユーザが左眼２２０Ａに対向する左導波管１７０Ａの側上のある距離にあるように知覚する、ピクセル２３４Ａおよび２３６Ａであるという知覚を与えられる。深度知覚は、光の焦点距離を操作することによって作成される。
同様に、立体視分析器１４４は、右画像データセットを右プロジェクタ１６６Ｂに取り込む。右プロジェクタ１６６Ｂは、右光パターンを伝送し、これは、光線２２４Ｂおよび２２６Ｂの形態におけるピクセルによって表される。光線２２４Ｂおよび２２６Ｂは、右導波管１７０Ｂ内で反射し、瞳孔２２８Ｂを通して出射する。光線２２４Ｂおよび２２６Ｂは、次いで、右眼２２０Ｂの瞳孔２３０Ｂを通して入射し、右眼２２０Ｂの網膜２３２Ｂ上に当たる。光線２２４Ｂおよび２２６Ｂのピクセルは、右導波管１７０Ｂの背後のピクセル１３４Ｂおよび２３６Ｂとして知覚される。
網膜２３２Ａおよび２３２Ｂ上に作成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器１４４の機能に起因して、相互に若干異なる。左および右画像は、ユーザの脳内で３次元レンダリングとして知覚される。
述べられたように、左および右導波管１７０Ａおよび１７０Ｂは、透明である。眼２２０Ａおよび２２０Ｂに対向する左および右導波管１７０Ａおよび１７０Ｂ側上のテーブル１６等の実在のオブジェクトからの光は、左および右導波管１７０Ａおよび１７０Ｂを通して投影され、網膜２３２Ａおよび２３２Ｂ上に当たることができる。
持続座標フレーム（ＰＣＦ）
本明細書に説明されるものは、共有空間内のユーザインスタンスを横断して空間存続を提供するための方法および装置である。空間存続がなければ、セッション内にユーザによって物理的世界内に設置された仮想コンテンツは、異なるセッション内のユーザのビュー内に存在し得ない、または誤設置され得る。空間存続がなければ、１人のユーザによって物理的世界内に設置された仮想コンテンツは、第２のユーザが第１のユーザと同一物理的空間の体験を共有するように意図する場合でも、第２のユーザのビュー内に、存在し得ない、または場所がずれ得る。
本発明者らは、空間存続が持続座標フレーム（ＰＣＦ）を通して提供され得ることを認識および理解している。ＰＣＦは、物理的世界内で認識される特徴（例えば、角、縁）を表す、１つまたはそれを上回る点に基づいて定義されてもよい。特徴は、それらがユーザインスタンスからＸＲシステムの別のユーザインスタンスと同一である可能性が高いように選択されてもよい。
さらに、算出された追跡経路（例えば、カメラ軌道）を実際の追跡経路から逸脱させ得る、追跡の間のドリフトは、仮想コンテンツの場所を、追跡マップのみに基づく、ローカルマップに対してレンダリングされるとき、場所からずれて現れさせ得る。空間のための追跡マップは、ＸＲデバイスが経時的に場面のさらなる情報を収集するにつれて、精緻化され、ドリフトを補正してもよい。しかしながら、仮想コンテンツが、マップ精緻化の前に、実オブジェクト上に設置され、追跡マップから導出されるデバイスの世界座標フレームに対して保存される場合、仮想コンテンツは、実オブジェクトがマップ精緻化の間に移動したかのように変位されて現れ得る。ＰＣＦは、ＰＣＦが、特徴に基づいて定義され、特徴がマップ精緻化の間に移動するにつれて、更新されるため、マップ精緻化に従って更新されてもよい。
ＰＣＦは、マップ座標系に対する平行移動および回転を伴う、６自由度を備えてもよい。ＰＣＦは、ローカルおよび／または遠隔記憶媒体内に記憶されてもよい。ＰＣＦの平行移動および回転は、例えば、記憶場所に応じて、マップ座標系に対して算出されてもよい。例えば、デバイスによってローカルで使用されるＰＣＦは、デバイスの世界座標フレームに対する平行移動および回転を有してもよい。クラウド内のＰＣＦは、規準マップの規準座標フレームに対する平行移動および回転を有してもよい。
ＰＣＦは、それらが効率的に処理および転送され得るように、物理的世界の疎表現を提供し、物理的世界についての利用可能な情報の全て未満を提供してもよい。持続空間情報を処理するための技法は、１つまたはそれを上回るセッションを横断して、実空間内の１つまたはそれを上回る座標系に基づいて、動的マップを作成し、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ＸＲアプリケーションにエクスポーズされ得る、疎マップにわたる持続座標フレーム（ＰＣＦ）を生成するステップを含んでもよい。
図１４は、いくつかの実施形態による、持続座標フレーム（ＰＣＦ）の作成およびＸＲコンテンツとＰＣＦの結付を図示する、ブロック図である。各ブロックは、コンピュータメモリ内に記憶されたデジタル情報を表し得る。アプリケーション１１８０の場合、データは、コンピュータ実行可能命令を表し得る。仮想コンテンツ１１７０の場合、デジタル情報は、例えば、アプリケーション１１８０によって規定されるような仮想オブジェクトを定義し得る。他のボックスの場合、デジタル情報は、物理的世界のいくつかの側面を特性評価し得る。
図示される実施形態では、１つまたはそれを上回るＰＣＦは、ウェアラブルデバイス上のセンサを用いて捕捉された画像から作成される。図１４の実施形態では、センサは、視覚的画像カメラである。これらのカメラは、追跡マップを形成するために使用される、同一カメラであってもよい。故に、図１４によって提案される処理のうちのいくつかは、追跡マップを更新するステップの一部として実施されてもよい。しかしながら、図１４は、存続を提供する情報が追跡マップに加えて生成されることを図示する。
３Ｄ ＰＣＦを導出するために、立体視画像分析を有効にする構成においてウェアラブルデバイスに搭載される、２つのカメラからの２つの画像１１１０は、ともに処理される。図１４は、画像１および画像２を図示し、それぞれ、カメラのうちの１つから導出される。各カメラからの単一画像が、便宜上、図示される。しかしながら、各カメラは、画像フレームのストリームを出力してもよく、図１４に図示される処理は、ストリーム内の複数の画像フレームのために実施されてもよい。
故に、画像１および画像２はそれぞれ、画像フレームのシーケンス内の１つのフレームであってもよい。図１４に描写されるような処理は、そこから持続空間情報を形成する、好適な画像を提供する特徴点を含有する画像フレームが処理されるまで、シーケンスにおいて連続画像フレーム上で繰り返されてもよい。代替として、または加えて、図１４の処理は、ユーザがもはや以前に識別されたＰＣＦに十分に近接しておらず、物理的世界に対する位置を決定するためにそのＰＣＦを確実に使用することができないほど、ユーザが移動するにつれて、繰り返され得る。例えば、ＸＲシステムは、ユーザのために、現在のＰＣＦを維持してもよい。その距離が、閾値を超えると、本システムは、ユーザの現在の場所において入手された画像フレームを使用して図１４のプロセスに従って生成され得る、ユーザにより近い新しい現在のＰＣＦに切り替えてもよい。
単一ＰＣＦを生成するときでも、画像フレームのストリームが、安定する可能性が高く、画像フレームに描写される物理的世界の領域の近傍におけるデバイスによって容易に識別され得る、物理的世界内のコンテンツを描写する画像フレームを識別するように処理されてもよい。図１４の実施形態では、本処理は、画像内の特徴１１２０の識別から開始する。特徴は、例えば、オブジェクトの角に対応し得る、例えば、閾値を上回る画像内の勾配の場所または他の特性を見出すことによって、識別されてもよい。図示される実施形態では、特徴は、点であるが、縁等の他の認識可能特徴も、代替として、または加えて、使用されてもよい。
図示される実施形態では、固定数Ｎの特徴１１２０が、さらなる処理のために選択される。それらの特徴点は、勾配の大きさまたは他の特徴点との近接度等の１つまたはそれを上回る基準に基づいて選択されてもよい。代替として、または加えて、特徴点は、特徴点が持続であることを示唆する、特性に基づいて等、ヒューリスティックに選択されてもよい。例えば、ヒューリスティックは、窓またはドアまたは大型家具の角に対応する可能性が高い、特徴点の特性に基づいて定義されてもよい。そのようなヒューリスティックは、特徴点自体およびそれを囲繞するものを考慮してもよい。具体的実施例として、画像あたり特徴点の数は、２００等の１００～５００または１５０～２５０であってもよい。
選択された特徴点の数にかかわらず、記述子１１３０が、特徴点に関して算出されてもよい。本実施例では、記述子は、選択された特徴点毎に算出されるが、記述子は、特徴点の群に関して、または特徴点のサブセットに関して、または画像内の全ての特徴に関して算出されてもよい。記述子は、物理的世界内の同一オブジェクトを表す特徴点が類似記述子を割り当てられるように、特徴点を特性評価する。記述子は、１つのマップが別のマップに対して位置特定されるときに生じ得るような２つのフレームの整合を促進し得る。２つの画像の特徴点間の距離を最小限にする、フレームの相対的配向を検索するのではなく、２つのフレームの初期整合は、類似記述子を伴う特徴点を識別することによって行われてもよい。画像フレームの整合は、類似記述子を伴う点を整合させるステップに基づいてもよく、これは、画像内の全ての特徴点の整合を算出する、より少ない処理を伴い得る。
記述子は、記述子への特徴点のマッピング、またはいくつかの実施形態では、特徴点の周囲の画像のパッチのマッピングとして算出されてもよい。記述子は、数値量であってもよい。米国特許出願第１６／１９０，９４８号は、特徴点に関する記述子を算出するステップを説明しており、参照することによってその全体として本明細書に組み込まれる。
図１４の実施例では、記述子１１３０は、各画像フレーム内の特徴点毎に算出される。記述子および／または特徴点および／または画像自体に基づいて、画像フレームは、キーフレーム１１４０として識別されてもよい。図示される実施形態では、キーフレームは、次いで、さらなる処理のために選択される、ある基準を満たす、画像フレームである。追跡マップを作成する際、例えば、有意義な情報をマップに追加する、画像フレームが、マップの中に統合される、キーフレームとして選択されてもよい。他方では、それにわたって画像フレームがすでにマップの中に統合されている、領域に実質的に重複する、画像フレームは、それらがキーフレームとならないように破棄されてもよい。代替として、または加えて、キーフレームは、画像フレーム内の特徴点の数および／またはタイプに基づいて選択されてもよい。図１４の実施形態では、追跡マップ内への含有のために選択されたキーフレーム１１５０はまた、ＰＣＦを決定するためのキーフレームとして処理されてもよいが、ＰＣＦの生成のためのキーフレームを選択するための異なるまたは付加的基準が、使用されてもよい。
図１４は、キーフレームがさらなる処理のために使用されることを示すが、画像から入手された情報は、他の形態で処理されてもよい。例えば、キーリグ内等の特徴点が、代替として、または加えて、処理されてもよい。さらに、キーフレームは、単一画像フレームから導出されるように説明されるが、キーフレームと入手された画像フレームとの間の１対１の関係が存在する必要があるわけではない。キーフレームは、例えば、複数の画像内に現れる特徴のみがキーフレーム内に留保されるように、画像フレームをともにスティッチングまたは集約すること等によって、複数の画像フレームから入手されてもよい。
キーフレームは、画像情報および／または画像情報と関連付けられるメタデータを含んでもよい。いくつかの実施形態では、カメラ４４、４６（図９）によって捕捉された画像が、１つまたはそれを上回るキーフレーム（例えば、キーフレーム１、２）の中に算出されてもよい。いくつかの実施形態では、キーフレームは、カメラ姿勢を含んでもよい。いくつかの実施形態では、キーフレームは、カメラ姿勢において捕捉された１つまたはそれを上回るカメラ画像を含んでもよい。いくつかの実施形態では、ＸＲシステムは、カメラ姿勢において捕捉されたカメラ画像の一部を有用ではないと決定し、したがって、その部分をキーフレーム内に含まなくてもよい。したがって、キーフレームを使用して、新しい画像と場面のより早期の知識を整合させることは、ＸＲシステムの算出リソースの使用を低減させる。いくつかの実施形態では、キーフレームは、ある方向／角度を伴う場所における画像および／または画像データを含んでもよい。いくつかの実施形態では、キーフレームは、そこから１つまたはそれを上回るマップ点が観察され得る、場所および方向を含んでもよい。いくつかの実施形態では、キーフレームは、あるＩＤを伴う、座標フレームを含んでもよい。米国特許出願第１５／８７７，３５９号は、キーフレームを説明しており、参照することによってその全体として本明細書に組み込まれる。
キーフレーム１１４０のいくつかまたは全てが、キーフレームのための持続姿勢１１５０の生成等のさらなる処理のために選択されてもよい。選択は、画像フレーム内の特徴点の全てまたはサブセットの特性に基づいてもよい。それらの特性は、記述子、特徴、および／または画像フレーム自体を処理することから決定されてもよい。具体的実施例として、選択は、持続オブジェクトに関連する可能性が高いと識別された特徴点のクラスタに基づいてもよい。
各キーフレームは、キーフレームが入手された、カメラの姿勢と関連付けられる。持続姿勢に処理するために選択されたキーフレームに関して、その姿勢情報は、入手時および／または入手の場所におけるＷｉＦｉフィンガプリントおよび／またはＧＰＳ座標等のキーフレームについての他のメタデータとともに保存されてもよい。いくつかの実施形態では、メタデータ、例えば、ＧＰＳ座標は、個々に、または組み合わせて、位置特定プロセスの一部として使用されてもよい。
持続姿勢は、デバイスがそれ自体を物理的世界についての以前に入手された情報に対して配向するために使用し得る、情報源である。例えば、そこから持続姿勢が作成された、キーフレームが、物理的世界のマップの中に組み込まれる場合、デバイスは、持続姿勢と関連付けられる、キーフレーム内の十分な数の特徴点を使用して、それ自体をその持続姿勢に対して配向し得る。デバイスは、その周囲の得られた現在の画像と持続姿勢を整合させ得る。本整合は、現在の画像と、持続姿勢を生じさせた画像１１１０、特徴１１２０、および／または記述子１１３０、またはその画像またはそれらの特徴または記述子の任意のサブセットのマッチングに基づいてもよい。いくつかの実施形態では、持続姿勢にマッチされた現在の画像フレームは、デバイスの追跡マップの中に組み込まれている、別のキーフレームであってもよい。
持続姿勢についての情報は、同一または異なるデバイス上で実行され得る、複数のアプリケーション間の共有を促進する、フォーマットで記憶されてもよい。図１４の実施例では、持続姿勢のいくつかまたは全てが、持続座標フレーム（ＰＣＦ）１１６０として反映され得る。持続姿勢のように、ＰＣＦも、マップと関連付けられてもよく、デバイスがそのＰＣＦに対するその配向を決定するために使用し得る、特徴のセットまたは他の情報を備えてもよい。ＰＣＦは、その位置をＰＣＦに相関させることによって、デバイスがマップ内に反映される物理的世界内の任意のオブジェクトに対するその位置を決定し得るように、そのマップの原点に対するその変換を定義する、変換を含んでもよい。
ＰＣＦが、物理的オブジェクトに対する場所を決定するための機構を提供するため、アプリケーション１１８０等のアプリケーションが、仮想コンテンツ１１７０のためのアンカとしての役割を果たす、１つまたはそれを上回るＰＣＦに対する仮想オブジェクトの位置を定義し得る。図１４は、例えば、アプリ１が、その仮想コンテンツ２とＰＣＦ１、２を関連付けていることを図示する。同様に、アプリ２は、その仮想コンテンツ３とＰＣＦ１、２を関連付けている。アプリ１はまた、その仮想コンテンツ１とＰＣＦ４、５を関連付けていることが示され、アプリ２は、その仮想コンテンツ４とＰＣＦ３を関連付けていることが示される。いくつかの実施形態では、ＰＣＦ１、２が画像１および画像２に基づく方法と同様に、ＰＣＦ３は、画像３（図示せず）に基づいてもよく、ＰＣＦ４、５は、画像４および画像５（図示せず）に基づいてもよい。本仮想コンテンツをレンダリングするとき、デバイスは、１つまたはそれを上回る変換を適用し、デバイスのディスプレイに対する仮想コンテンツの場所および／または仮想コンテンツの所望の場所に対する物理的オブジェクトの場所等の情報を算出してもよい。ＰＣＦを基準として使用することは、そのような算出を簡略化し得る。
いくつかの実施形態では、持続姿勢は、１つまたはそれを上回る関連付けられるキーフレームを有する、座標場所および／または方向であってもよい。いくつかの実施形態では、持続姿勢は、ユーザが、ある距離、例えば、３メートル進行した後、自動的に作成されてもよい。いくつかの実施形態では、持続姿勢は、位置特定の間、基準点として作用してもよい。いくつかの実施形態では、持続姿勢は、パス可能世界（例えば、パス可能世界モジュール５３８）内に記憶されてもよい。
いくつかの実施形態では、新しいＰＣＦは、隣接するＰＣＦ間で許容される、事前に定義された距離に基づいて決定されてもよい。いくつかの実施形態では、１つまたはそれを上回る持続姿勢は、ユーザが、所定の距離、例えば、５メートル進行すると、ＰＣＦの中に算出されてもよい。いくつかの実施形態では、ＰＣＦは、例えば、パス可能世界内において、１つまたはそれを上回る世界座標フレームおよび／または規準座標フレームと関連付けられてもよい。いくつかの実施形態では、ＰＣＦは、例えば、セキュリティ設定に応じて、ローカルおよび／または遠隔データベース内に記憶されてもよい。
図１５は、いくつかの実施形態による、持続座標フレームを確立および使用する方法４７００を図示する。方法４７００は、ＸＲデバイスの１つまたはそれを上回るセンサを使用して、場面を中心として画像（例えば、図１４における画像１および画像２）を捕捉するステップ（行為４７０２）から開始してもよい。複数のカメラが、使用されてもよく、１つのカメラが、例えば、ストリームにおいて、複数の画像を生成してもよい。
方法４７００は、着目点（例えば、図７におけるマップ点７０２、図１４における特徴１１２０）を捕捉された画像から抽出するステップ（４７０４）と、抽出された着目点に関する記述子（例えば、図１４における記述子１１３０）を生成するステップ（行為４７０６）と、記述子に基づいて、キーフレーム（例えば、キーフレーム１１４０）を生成するステップ（行為４７０８）とを含んでもよい。いくつかの実施形態では、本方法は、キーフレーム内の着目点を比較し、所定の量の着目点を共有する、対のキーフレームを形成してもよい。本方法は、個々の対のキーフレームを使用して、物理的世界の一部を再構築してもよい。物理的世界のマッピングされた部分は、３Ｄ特徴（例えば、図７におけるキーリグ７０４）として保存されてもよい。いくつかの実施形態では、対のキーフレームの選択された部分は、３Ｄ特徴を構築するために使用されてもよい。いくつかの実施形態では、マッピングの結果は、選択的に保存されてもよい。３Ｄ特徴を構築するために使用されない、キーフレームは、例えば、キーフレームの姿勢間に共分散行列を伴う、キーフレーム間の距離を表す、姿勢を通して、３Ｄ特徴と関連付けられてもよい。いくつかの実施形態では、対のキーフレームは、構築される３Ｄ特徴のそれぞれ間の距離が、必要とされる算出の量および結果として生じるモデルの正確度のレベルを平衡させるように決定され得る、所定の距離内にあるように、３Ｄ特徴を構築するように選択されてもよい。そのようなアプローチは、ＸＲシステムを用いた効率的および正確な算出のために好適なデータの量を伴う、物理的世界のモデルを提供することを可能にする。いくつかの実施形態では、２つの画像の共分散行列は、２つの画像の姿勢（例えば、６自由度）間の共分散を含んでもよい。
方法４７００は、キーフレームに基づいて持続姿勢を生成するステップ（行為４７１０）を含んでもよい。いくつかの実施形態では、本方法は、対のキーフレームから再構成された３Ｄ特徴に基づいて、持続姿勢を生成するステップを含んでもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴に結び付けられてもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴を構築するために使用される、キーフレームの姿勢を含んでもよい。いくつかの実施形態では、持続姿勢は、３Ｄ特徴を構築するために使用される、キーフレームの平均姿勢を含んでもよい。いくつかの実施形態では、持続姿勢は、近傍の持続姿勢の間の距離が、所定の値、例えば、１メートル～５メートルの範囲内、その間の任意の値、または任意の他の好適な値内であるように生成されてもよい。いくつかの実施形態では、近傍の持続姿勢間の距離は、近傍の持続姿勢の共分散行列によって表されてもよい。
方法４７００は、持続姿勢に基づいてＰＣＦを生成するステップ（行為４７１２）を含んでもよい。いくつかの実施形態では、ＰＣＦは、３Ｄ特徴に結び付けられてもよい。いくつかの実施形態では、ＰＣＦは、１つまたはそれを上回る持続姿勢と関連付けられてもよい。いくつかの実施形態では、ＰＣＦは、関連付けられる持続姿勢のうちの１つの姿勢を含んでもよい。いくつかの実施形態では、ＰＣＦは、関連付けられる持続姿勢の姿勢の平均姿勢を含んでもよい。いくつかの実施形態では、ＰＣＦは、近傍のＰＣＦ間の距離が、所定の値、例えば、３メートル～１０メートルの範囲、その間の任意の値、または任意の他の好適な値内にあるように生成されてもよい。いくつかの実施形態では、近傍のＰＣＦ間の距離は、近傍のＰＣＦの共分散行列によって表されてもよい。いくつかの実施形態では、ＰＣＦは、ＸＲアプリケーションが、モデル自体にアクセスせずに、ＰＣＦを通して、物理的世界のモデルにアクセスし得るように、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ＸＲアプリケーションにエクスポーズされてもよい。
方法４７００は、ＸＲデバイスによって表示されるための仮想オブジェクトの画像データとＰＣＦのうちの少なくとも１つを関連付けるステップ（行為４７１４）を含んでもよい。いくつかの実施形態では、本方法は、関連付けられるＰＣＦに対する仮想オブジェクトの平行移動および配向を算出するステップを含んでもよい。仮想オブジェクトと仮想オブジェクトを設置するデバイスによって生成されたＰＣＦを関連付けることは、必要とされないことを理解されたい。例えば、デバイスは、クラウド内の規準マップ内の保存されたＰＣＦを読み出し、仮想オブジェクトと読み出されたＰＣＦを関連付けてもよい。仮想オブジェクトは、ＰＣＦが経時的に調節されるにつれて、関連付けられるＰＣＦとともに移動し得ることを理解されたい。
図１６は、いくつかの実施形態による、第１のＸＲデバイス１２．１と、第２のＸＲデバイス１２．２の視覚データおよびアルゴリズムと、サーバ２０とを図示する。図１６に図示されるコンポーネントは、本明細書に説明されるような持続姿勢、持続座標フレーム、追跡マップ、または規準マップ等の空間情報を生成、更新、および／または使用するステップと関連付けられる、動作のいくつかまたは全てを実施するように動作し得る。図示されないが、第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２と同一に構成されてもよい。サーバ２０は、マップ記憶ルーチン１１８と、規準マップ１２０と、マップ伝送機１２２と、マップマージアルゴリズム１２４とを有してもよい。
第１のＸＲデバイス１２．１と同一場面にあり得る、第２のＸＲデバイス１２．２は、持続座標フレーム（ＰＣＦ）統合ユニット１３００と、仮想オブジェクトをレンダリングするために使用され得る画像データ６８を生成する、アプリケーション１３０２と、フレーム埋込生成器３０８（図２１参照）とを含んでもよい。いくつかの実施形態では、マップダウンロードシステム１２６、ＰＣＦ識別システム１２８、マップ２、位置特定モジュール１３０、規準マップ組込器１３２、規準マップ１３３、およびマップ発行器１３６は、パス可能世界ユニット１３０４の中に群化されてもよい。ＰＣＦ統合ユニット１３００は、パス可能世界ユニット１３０４および第２のＸＲデバイス１２．２の他のコンポーネントに接続され、ＰＣＦの読出、生成、使用、アップロード、およびダウンロードを可能にしてもよい。
ＰＣＦを備える、マップは、変化する世界内のより多くの存続を有効にし得る。いくつかの実施形態では、例えば、画像のためのマッチング特徴を含む、追跡マップを位置特定するステップは、ＰＣＦによって構成されるマップから、持続コンテンツを表す特徴を選択するステップを含んでもよく、これは、高速マッチングおよび／または位置特定を有効にする。例えば、人々が場面の内外に移動し、ドア等のオブジェクトが場面に対して移動する、世界は、より少ない記憶空間および伝送レートを要求し、場面をマッピングするために個々のＰＣＦおよび相互に対するその関係（例えば、ＰＣＦの統合されたコンステレーション）の使用を有効にする。
いくつかの実施形態では、ＰＣＦ統合ユニット１３００は、第２のＸＲデバイス１２．２の記憶ユニット上のデータ記憶内に以前に記憶されたＰＣＦ１３０６と、ＰＣＦ追跡器１３０８と、持続姿勢入手器１３１０と、ＰＣＦ確認器１３１２と、ＰＣＦ生成システム１３１４と、座標フレーム計算機１３１６と、持続姿勢計算機１３１８と、追跡マップおよび持続姿勢変換器１３２０と、持続姿勢およびＰＣＦ変換器１３２２と、ＰＣＦおよび画像データ変換器１３２４とを含む、３つの変換器とを含んでもよい。
いくつかの実施形態では、ＰＣＦ追跡器１３０８は、アプリケーション１３０２によって選択可能である、オンプロンプトおよびオフプロンプトを有してもよい。アプリケーション１３０２は、第２のＸＲデバイス１２．２のプロセッサによって実行可能であって、例えば、仮想コンテンツを表示してもよい。アプリケーション１３０２は、オンプロンプトを介して、ＰＣＦ追跡器１３０８をオンに切り替える、コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオンに切り替えられると、ＰＣＦを生成してもよい。アプリケーション１３０２は、オフプロンプトを介して、ＰＣＦ追跡器１３０８をオフに切り替え得る、後続コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオフに切り替えられると、ＰＣＦ生成を終了する。
いくつかの実施形態では、サーバ２０は、規準マップ１２０と関連付けられて以前に保存されている、複数の持続姿勢１３３２と、複数のＰＣＦ１３３０とを含んでもよい。マップ伝送機１２２は、規準マップ１２０を持続姿勢１３３２および／またはＰＣＦ１３３０とともに、第２のＸＲデバイス１２．２に伝送してもよい。持続姿勢１３３２およびＰＣＦ１３３０は、規準マップ１３３と関連付けて第２のＸＲデバイス１２．２上に記憶されてもよい。マップ２が、規準マップ１３３に対して位置特定すると、持続姿勢１３３２およびＰＣＦ１３３０は、マップ２と関連付けて記憶されてもよい。
いくつかの実施形態では、持続姿勢入手器１３１０は、マップ２のための持続姿勢を入手してもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０に接続されてもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０によって読み出された持続姿勢に基づいて、ＰＣＦをＰＣＦ１３０６から読み出してもよい。ＰＣＦ確認器１３１２によって読み出されたＰＣＦは、ＰＣＦに基づいて、画像ディスプレイのために使用される、ＰＣＦの初期群を形成してもよい。
いくつかの実施形態では、アプリケーション１３０２は、付加的ＰＣＦが生成されることを要求し得る。例えば、ユーザが、以前にマッピングされていないエリアに移動する場合、アプリケーション１３０２は、ＰＣＦ追跡器１３０８をオンに切り替えてもよい。ＰＣＦ生成システム１３１４は、ＰＣＦ追跡器１３０８に接続され、マップ２が拡張し始めるにつれて、マップ２に基づいて、ＰＣＦの生成を開始してもよい。ＰＣＦ生成システム１３１４によって生成されたＰＣＦは、ＰＣＦベースの画像表示のために使用され得る、ＰＣＦの第２のグループを形成してもよい。
座標フレーム計算機１３１６は、ＰＣＦ確認器１３１２に接続されてもよい。ＰＣＦ確認器１３１２がＰＣＦを読み出した後、座標フレーム計算機１３１６は、頭部座標フレーム９６を呼び出し、第２のＸＲデバイス１２．２の頭部姿勢を決定してもよい。座標フレーム計算機１３１６はまた、持続姿勢計算機１３１８を呼び出してもよい。持続姿勢計算機１３１８は、フレーム埋込生成器３０８に直接または間接的に接続されてもよい。いくつかの実施形態では、画像フレームは、前のキーフレームからの閾値距離、例えば、３メートルが、進行された後、キーフレームと指定されてもよい。持続姿勢計算機１３１８は、複数の、例えば、３つのキーフレームに基づいて、持続姿勢を生成してもよい。いくつかの実施形態では、持続姿勢は、本質的に、複数のキーフレームの座標フレームの平均であってもよい。
追跡マップおよび持続姿勢変換器１３２０は、マップ２および持続姿勢計算機１３１８に接続されてもよい。追跡マップおよび持続姿勢変換器１３２０は、マップ２を持続姿勢に変換し、マップ２に対する原点における持続姿勢を決定してもよい。
持続姿勢およびＰＣＦ変換器１３２２は、追跡マップおよび持続姿勢変換器１３２０およびさらにＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４に接続されてもよい。持続姿勢およびＰＣＦ変換器１３２２は、持続姿勢（それに対して追跡マップが変換された）をＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４からのＰＣＦに変換し、持続姿勢に対するＰＣＦを決定してもよい。
ＰＣＦおよび画像データ変換器１３２４は、持続姿勢およびＰＣＦ変換器１３２２およびデータチャネル６２に接続されてもよい。ＰＣＦおよび画像データ変換器１３２４は、ＰＣＦを画像データ６８に変換する。レンダリングエンジン３０は、ＰＣＦおよび画像データ変換器１３２４に接続され、ＰＣＦに対する画像データ６８をユーザに表示してもよい。
ＰＣＦ統合ユニット１３００は、ＰＣＦ１３０６内でＰＣＦ生成システム１３１４を用いて生成される、付加的ＰＣＦを記憶してもよい。ＰＣＦ１３０６は、持続姿勢に対して記憶されてもよい。マップ発行器１３６は、マップ発行器１３６が、マップ２をサーバ２０に伝送し、マップ発行器１３６がまた、マップ２と関連付けられるＰＣＦおよび持続姿勢をサーバ２０に伝送するとき、ＰＣＦ１３０６およびＰＣＦ１３０６と関連付けられる持続姿勢を読み出し得る。サーバ２０のマップ記憶ルーチン１１８が、マップ２を記憶するとき、マップ記憶ルーチン１１８はまた、第２の視認デバイス１２．２によって生成された持続姿勢およびＰＣＦを記憶してもよい。マップマージアルゴリズム１２４は、それぞれ、規準マップ１２０と関連付けられ、持続姿勢１３３２およびＰＣＦ１３３０内に記憶される、マップ２の持続姿勢およびＰＣＦとともに、規準マップ１２０を作成してもよい。
第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２のＰＣＦ統合ユニット１３００に類似する、ＰＣＦ統合ユニットを含んでもよい。マップ伝送機１２２が、規準マップ１２０を第１のＸＲデバイス１２．１に伝送するとき、マップ伝送機１２２は、規準マップ１２０と関連付けられ、第２のＸＲデバイス１２．２から生じる、持続姿勢１３３２およびＰＣＦ１３３０を伝送してもよい。第１のＸＲデバイス１２．１は、ＰＣＦおよび持続姿勢を第１のＸＲデバイス１２．１の記憶デバイス上のデータ記憶装置内に記憶してもよい。第１のＸＲデバイス１２．１は、次いで、ＰＣＦに対する画像表示のために、第２のＸＲデバイス１２．２から生じる持続姿勢およびＰＣＦを利用してもよい。加えて、または代替として、第１のＸＲデバイス１２．１は、上記に説明されるように、第２のＸＲデバイス１２．２に類似する様式において、ＰＣＦおよび持続姿勢を読み出し、生成し、利用し、アップロードし、ダウンロードしてもよい。
図示される実施例では、第１のＸＲデバイス１２．１は、ローカル追跡マップ（以降、「マップ１」と称される）を生成し、マップ記憶ルーチン１１８は、マップ１を第１のＸＲデバイス１２．１から受信する。マップ記憶ルーチン１１８は、次いで、マップ１をサーバ２０の記憶デバイス上に規準マップ１２０として記憶する。
第２のＸＲデバイス１２．２は、マップダウンロードシステム１２６と、アンカ識別システム１２８と、位置特定モジュール１３０と、規準マップ組込器１３２と、ローカルコンテンツ位置付けシステム１３４と、マップ発行器１３６とを含む。
使用時、マップ伝送機１２２は、規準マップ１２０を第２のＸＲデバイス１２．２に送信し、マップダウンロードシステム１２６は、規準マップ１２０を規準マップ１３３としてサーバ２０からダウンロードし、記憶する。
アンカ識別システム１２８は、世界表面決定ルーチン７８に接続される。アンカ識別システム１２８は、世界表面決定ルーチン７８によって検出されたオブジェクトに基づいて、アンカを識別する。アンカ識別システム１２８は、アンカを使用して、第２のマップ（マップ２）を生成する。サイクル１３８によって示されるように、アンカ識別システム１２８は、アンカを識別し続け、マップ２を更新し続ける。アンカの場所は、世界表面決定ルーチン７８によって提供されるデータに基づいて、３次元データとして記録される。世界表面決定ルーチン７８は、画像を実オブジェクト検出カメラ４４から、深度データを深度センサ１３５から受信し、表面の場所および深度センサ１３５からのその相対的距離を決定する。
位置特定モジュール１３０は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０は、マップ２を規準マップ１３３に対して位置特定するように繰り返し試みる。規準マップ組込器１３２は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０が、マップ２を規準マップ１３３に対して位置特定すると、規準マップ組込器１３２は、規準マップ１３３をマップ２のアンカの中に組み込む。マップ２は、次いで、規準マップ内に含まれる欠測データで更新される。
ローカルコンテンツ位置付けシステム１３４は、マップ２に接続される。ローカルコンテンツ位置付けシステム１３４は、例えば、ユーザが世界座標フレーム内の特定の場所においてローカルコンテンツを位置特定し得る、システムであってもよい。ローカルコンテンツ自体が、次いで、マップ２の１つのアンカに結び付けられる。ローカル／世界座標変換器１０４は、ローカルコンテンツ位置付けシステム１３４の設定に基づいて、ローカル座標フレームを世界座標フレームに変換する。レンダリングエンジン３０、ディスプレイシステム４２、およびデータチャネル６２の機能は、図２を参照して説明されている。
マップ発行器１３６は、マップ２をサーバ２０にアップロードする。サーバ２０のマップ記憶ルーチン１１８は、次いで、マップ２をサーバ２０の記憶媒体内に記憶する。
マップマージアルゴリズム１２４は、マップ２と規準マップ１２０をマージする。物理的世界の同一または隣接する領域に関連する、２つを上回るマップ、例えば、３つまたは４つのマップが、記憶されているとき、マップマージアルゴリズム１２４は、全てのマップを規準マップ１２０にマージし、新しい規準マップ１２０をレンダリングする。マップ伝送機１２２は、次いで、新しい規準マップ１２０を、新しい規準マップ１２０によって表されるエリア内のあらゆるデバイス１２．１および１２．２に伝送する。デバイス１２．１および１２．２が、その個別のマップを規準マップ１２０に対して位置特定すると、規準マップ１２０は、レベル上げされたマップとなる。
図１７は、いくつかの実施形態による、場面のマップのためのキーフレームを生成する実施例を図示する。図示される実施例では、第１のキーフレームＫＦ１は、部屋の左壁上のドアのために生成される。第２のキーフレームＫＦ２は、部屋の床、左壁、および右壁が衝合する、角内のエリアのために生成される。第３のキーフレームＫＦ３は、部屋の右壁上の窓のエリアのために生成される。第４のキーフレームＫＦ４は、壁の床上のラグの縁端におけるエリアのために生成される。第５のキーフレームＫＦ５は、ユーザに最も近いラグのエリアのために生成される。
図１８は、いくつかの実施形態による、図１７のマップのための持続姿勢を生成する実施例を図示する。いくつかの実施形態では、新しい持続姿勢が、デバイスが進行された閾値距離を測定すると、および／またはアプリケーションが新しい持続姿勢（ＰＰ）を要求すると、作成される。いくつかの実施形態では、閾値距離は、３メートル、５メートル、２０メートル、または任意の他の好適な距離であってもよい。より小さい閾値距離（例えば、１ｍ）を選択することは、より多数のＰＰが、より大きい閾値距離と比較して、作成および管理され得るため、算出負荷の増加をもたらし得る。より大きい閾値距離（例えば、４０ｍ）を選択することは、より少数のＰＰが作成され、より少ないＰＣＦが作成される結果をもたらし、ＰＣＦに結び付けられた仮想コンテンツが、ＰＣＦから比較的に大距離（例えば、３０ｍ）離れ、ＰＣＦから仮想コンテンツまでの距離の増加に伴って誤差が増加し得ることを意味するため、仮想コンテンツ設置誤差の増加をもたらし得る。
いくつかの実施形態では、ＰＰは、新しいセッションの開始時に作成されてもよい。本初期ＰＰは、ゼロと見なされ得、閾値距離に等しい半径を有する、円形の中心として可視化され得る。デバイスが、円形の周に到達し、いくつかの実施形態では、アプリケーションが、新しいＰＰを要求すると、新しいＰＰは、デバイスの現在の場所（閾値距離）に設置されてもよい。いくつかの実施形態では、新しいＰＰは、デバイスが、既存のＰＰをデバイスの新しい位置からの閾値距離内に見出すことが可能である場合、閾値距離に作成されないであろう。いくつかの実施形態では、新しいＰＰ（図１４におけるＰＰ１１５０）が、作成されると、デバイスは、最も近いキーフレームのうちの１つまたはそれを上回るものをＰＰに結び付ける。いくつかの実施形態では、キーフレームに対するＰＰの場所は、ＰＰが作成された時点でのデバイスの場所に基づいてもよい。いくつかの実施形態では、ＰＰは、アプリケーションがＰＰを要求しない限り、デバイスが閾値距離を進行しても作成されないであろう。
いくつかの実施形態では、アプリケーションは、アプリケーションがユーザに表示するための仮想コンテンツを有するとき、ＰＣＦをデバイスから要求してもよい。アプリケーションからのＰＣＦ要求は、ＰＰ要求をトリガしてもよく、新しいＰＰは、デバイスが閾値距離を進行した後に作成されるであろう。図１８は、例えば、キーフレームと持続姿勢との間の相対的姿勢を算出することによって、最も近いキーフレーム（例えば、ＫＦ１、ＫＦ２、およびＫＦ３）を結び付けさせ得る、第１の持続姿勢ＰＰ１を図示する。図１８はまた、最も近いキーフレーム（例えば、ＫＦ４およびＫＦ５）を結び付けさせ得る、第２の持続姿勢ＰＰ２を図示する。
図１９は、いくつかの実施形態による、図１７のマップのためのＰＣＦを生成する実施例を図示する。図示される実施例では、ＰＣＦ１は、ＰＰ１と、ＰＰ２とを含んでもよい。上記に説明されるように、ＰＣＦは、ＰＣＦに対する画像データを表示するために使用されてもよい。いくつかの実施形態では、各ＰＣＦは、別の座標フレーム（例えば、世界座標フレーム）内の座標と、例えば、ＰＣＦを一意に識別する、ＰＣＦ記述子とを有してもよい。いくつかの実施形態では、ＰＣＦ記述子は、ＰＣＦと関連付けられるフレーム内の特徴の特徴記述子に基づいて算出されてもよい。いくつかの実施形態では、ＰＣＦの種々のコンステレーションは、より少ないデータおよびより少ないデータの伝送を要求する、持続様式において、組み合わせられ、実世界を表してもよい。
図２０Ａ－２０Ｃは、持続座標フレームを確立および使用する実施例を図示する、概略図である。図２０Ａは、規準マップに対して位置特定されていない、個別のローカル追跡マップ４８０４Ａ、４８０４Ｂを伴う、２人のユーザ４８０２Ａ、４８０２Ｂを示す。個々のユーザに関する原点４８０６Ａ、４８０６Ｂは、その個別のエリア内の座標系（例えば、世界座標系）によって描写される。各追跡マップのこれらの原点は、原点が、追跡が開始されたときのその個別のデバイスの配向に依存するため、各ユーザにローカルであり得る。
ユーザデバイスのセンサが、環境を走査するにつれて、デバイスは、図１４に関連して上記に説明されるように、それらの画像が、そこから持続姿勢が作成され得る、キーフレームとして分類され得るように、持続オブジェクトを表す特徴を含有し得る、画像を捕捉してもよい。本実施例では、追跡マップ４８０２Ａは、持続姿勢（ＰＰ）４８０８Ａを含み、追跡マップ４８０２Ｂは、ＰＰ４８０８Ｂを含む。
また、図１４に関連して上記に説明されるように、ＰＰのうちのいくつかは、ユーザにそれをレンダリングするために仮想コンテンツの配向を決定するために使用される、ＰＣＦとして分類されてもよい。図２０Ｂは、個別のユーザ４８０２Ａ、４８０２Ｂによって装着されるＸＲデバイスが、ＰＰ４８０８Ａ、４８０８Ｂに基づいて、ローカルＰＣＦ４８１０Ａ、４８１０Ｂを作成し得ることを示す。図２０Ｃは、持続コンテンツ４８１２Ａ、４８１２Ｂ（例えば、仮想コンテンツ）が個別のＸＲデバイスによってＰＣＦ４８１０Ａ、４８１０Ｂに結び付けられ得ることを示す。
本実施例では、仮想コンテンツは、仮想コンテンツが表示されるべき方法にかかわらず、仮想コンテンツを生成するアプリケーションによって使用され得る、仮想コンテンツ座標フレームを有し得る。仮想コンテンツは、例えば、仮想コンテンツ座標フレームに対して特定の場所および角度における、メッシュの三角形等の表面として規定されてもよい。その仮想コンテンツをユーザにレンダリングするために、それらの表面の場所が、仮想コンテンツを知覚することになるユーザに対して決定されてもよい。
仮想コンテンツをＰＣＦに結び付けることは、ユーザに対する仮想コンテンツの場所を決定する際に関わる算出を簡略化し得る。ユーザに対する仮想コンテンツの場所は、一連の変換を適用することによって決定されてもよい。それらの変換のうちのいくつかは、変化し得、頻繁に更新されてもよい。それらの変換のその他は、安定し得、あまり頻繁にまたは全く更新されなくてもよい。それにもかかわらず、変換は、仮想コンテンツの場所が、ユーザに対して頻繁に更新され、現実的外観をレンダリングされた仮想コンテンツに提供し得るように、比較的に低算出負担を伴って適用され得る。
図２０Ａ－２０Ｃの実施例では、ユーザ１のデバイスは、変換ｒｉｇ１＿Ｔ＿ｗ１によってマップの原点を定義する、座標系に関連し得る、座標系を有する。ユーザ２のデバイスは、類似変換ｒｉｇ２＿Ｔ＿ｗ２を有する。これらの変換は、６度の変換として表され、デバイス座標系とマップ座標系を整合させるための平行移動および回転を規定し得る。いくつかの実施形態では、変換は、２つの別個の変換として表され得、一方は、平行移動を規定し、他方は、回転を規定する。故に、変換は、算出を簡略化する、または別様に利点を提供する形態で表され得ることを理解されたい。
追跡マップの原点と個別のユーザデバイスによって識別されるＰＣＦとの間の変換は、ｐｃｆ１＿Ｔ＿ｗ１およびｐｃｆ２＿Ｔ＿ｗ２として表される。本実施例では、ＰＣＦおよびＰＰは、同一変換がまたＰＰを特性評価するように、同じである。
ＰＣＦに対するユーザデバイスの場所は、したがって、ｒｉｇ１＿Ｔ＿ｐｃｆ１＝（ｒｉｇ１＿Ｔ＿ｗ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）等のこれらの変換の連続適用によって算出されることができる。
図２０Ｃに示されるように、仮想コンテンツは、ｏｂｊ１＿Ｔ＿ｐｃｆ１の変換を用いて、ＰＣＦに対して位置特定される。本変換は、ＰＣＦに対する物理的オブジェクトを説明する世界再構築システムからの情報を受信し得る、仮想コンテンツを生成するアプリケーションによって設定されてもよい。仮想コンテンツをユーザにレンダリングするために、ユーザのデバイスの座標系への変換が、算出され、これは、変換ｏｂｊ１＿ｔ＿ｗ１＝（ｏｂｊ１＿Ｔ＿ｐｃｆ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）を通して、仮想コンテンツ座標フレームを追跡マップの原点に関連させることによって算出され得る。その変換は、次いで、さらなる変換ｒｉｇ１＿Ｔ＿ｗ１を通して、ユーザのデバイスに関連され得る。
仮想コンテンツの場所は、仮想コンテンツを生成するアプリケーションからの出力に基づいて変化し得る。それが変化すると、ソース座標系から目的地座標系へのエンドツーエンド変換が、再算出され得る。加えて、ユーザの場所および／または頭部姿勢も、ユーザが移動するにつれて変化し得る。結果として、変換ｒｉｇ１＿Ｔ＿ｗ１が、変化し得るのと同様に、ユーザの場所または頭部姿勢に依存する、任意のエンドツーエンド変換も変化するであろう。
変換ｒｉｇ１＿Ｔ＿ｗ１は、ユーザの位置を物理的世界内の定常オブジェクトに対して追跡することに基づいて、ユーザの運動に伴って更新されてもよい。そのような追跡は、上記に説明されるように、画像のシーケンスを処理するヘッドホン追跡コンポーネント、またはシステムの他のコンポーネントによって実施されてもよい。そのような更新は、ＰＰ等の定常基準フレームに対するユーザの姿勢を決定することによって行われてもよい。
いくつかの実施形態では、ユーザデバイスの場所および配向は、最も近くの持続姿勢に対して決定されてもよい、または、本実施例では、ＰＰとしてのＰＣＦが、ＰＣＦとして使用される。そのような決定は、デバイス上のセンサを用いて捕捉された現在の画像内において、ＰＰを特性評価する、特徴点を識別することによって、行われてもよい。立体視画像分析等の画像処理技法を使用して、それらの特徴点に対するデバイスの場所が、決定されてもよい。本データから、本システムは、関係ｒｉｇ１＿Ｔ＿ｐｃｆ１＝（ｒｉｇ１＿Ｔ＿ｗ１）＊（ｐｃｆ１＿Ｔ＿ｗ１）に基づいて、ユーザの運動と関連付けられる変換の変化を計算し得る。
システムは、算出上効率的である順序において、変換を決定および適用してもよい。例えば、ｒｉｇ１＿Ｔ＿ｐｃｆ１をもたらす測定からｒｉｇ１＿Ｔ＿ｗ１を算出する必要性は、ユーザ姿勢を追跡することと、持続姿勢上に構築されるＰＰまたはＰＣＦに対する仮想コンテンツの場所を定義することとの両方によって、回避され得る。このように、仮想コンテンツのソース座標系からユーザのデバイスの目的地座標系への変換は、表現（ｒｉｇ１＿Ｔ＿ｐｃｆ１）＊（ｏｂｊ１＿ｔ＿ｐｃｆ１）に従う測定された変換に基づいてもよく、第１の変換は、システムによって測定され、後者の変換は、レンダリングのための仮想コンテンツを規定するアプリケーションによって供給される。仮想コンテンツがマップの原点に対して位置付けられる、実施形態では、エンドツーエンド変換は、マップ座標とＰＣＦ座標との間のさらなる変換に基づいて、仮想オブジェクト座標系をＰＣＦ座標系に関連させ得る。仮想コンテンツが、それに対してユーザ位置が追跡されているものと異なるＰＰまたはＰＣＦに対して位置付けられる、実施形態では、２つの間の変換が、適用されてもよい。そのような変換は、固定されてもよく、例えば、両方が現れる、マップから決定されてもよい。
変換ベースのアプローチは、例えば、センサデータを処理し、追跡マップを構築する、コンポーネントを伴う、デバイス内に実装されてもよい。そのプロセスの一部として、それらのコンポーネントは、持続姿勢として使用され得る、特徴点を識別してもよく、これは、ひいては、ＰＣＦに変えられてもよい。それらのコンポーネントは、図１７－１９に関連して上記に説明されるように、マップのために生成される持続姿勢の数を限定し、持続姿勢間の好適な間隔を提供する一方、ユーザが、物理的環境内の場所にかかわらず、持続姿勢場所に十分に近接し、ユーザの姿勢を正確に算出することを可能にし得る。ユーザに最も近い持続姿勢が、ユーザ移動、追跡マップに対する精緻化、または他の原因の結果として、更新されるにつれて、ＰＰ（または使用されている場合、ＰＣＦ）の場所に依存する、ユーザに対する仮想コンテンツの場所を算出するために使用される、変換のいずれかが、少なくとも、ユーザがその持続姿勢から離れるように移動するまで、使用のために、更新および記憶されてもよい。なお、変換を算出および記憶することによって、仮想コンテンツの場所が更新される度の算出負担は、比較的に短待ち時間を伴って実施され得るほど比較的に低くなり得る。
図２０Ａ－２０Ｃは、追跡マップに対する位置付けを図示し、各デバイスがその独自の追跡マップを有する。しかしながら、変換は、任意のマップ座標系に対して生成されてもよい。ＸＲシステムのユーザセッションを横断したコンテンツの存続は、持続マップを使用することによって達成され得る。ユーザの共有体験はまた、それに対して複数のユーザデバイスが配向され得る、マップを使用することによって促進され得る。
下記により詳細に説明される、いくつかの実施形態では、仮想コンテンツの場所は、複数のデバイスのいずれかがマップを使用し得るようにフォーマットされる、規準マップにおける座標に関連して規定されてもよい。各デバイスは、追跡マップを維持し得、追跡マップに対するユーザの姿勢の変化を決定してもよい。本実施例では、追跡マップと規準マップとの間の変換は、「位置特定」のプロセスを通して決定されてもよく、これは、追跡マップ内の構造（１つまたはそれを上回る持続姿勢等）と規準マップの１つまたはそれを上回る構造（１つまたはそれを上回るＰＣＦ等）をマッチングさせることによって実施されてもよい。
下記にさらに説明されるものは、このように規準マップを作成および使用するための技法である。
深層キーフレーム
本明細書に説明されるような技法は、画像フレームの比較に依拠する。例えば、追跡マップに対するデバイスの位置を確立するために、新しい画像が、ユーザによって装着されるセンサを用いて捕捉されてもよく、ＸＲシステムは、追跡マップを作成するために使用された画像のセット内において、少なくとも所定の量の着目点を新しい画像と共有する、画像を検索してもよい。画像フレームの比較を伴う、別のシナリオの実施例として、追跡マップが、最初に、規準マップ内のＰＣＦと関連付けられる画像フレームに類似する、追跡マップ内の持続姿勢と関連付けられる画像フレームを見出すことによって、規準マップに対して位置特定され得る。代替として、２つの規準マップ間の変換が、最初に、２つのマップ内の類似画像フレームを見出すことによって、算出されてもよい。
深層キーフレームは、類似画像フレームを識別するために要求される処理の量を低減させるための方法を提供する。例えば、いくつかの実施形態では、比較は、新しい２Ｄ画像内の画像特徴（例えば、「２Ｄ特徴」）とマップ内の３Ｄ特徴との間で行われ得る。そのような比較は、３Ｄ画像を２Ｄ平面の中に投影すること等によって、任意の好適な方法において行われ得る。単語の袋（ＢｏＷ）等の従来の方法は、マップ内の全ての２Ｄ特徴を含む、データベース内の新しい画像の２Ｄ特徴を検索し、これは、特に、マップが大エリアを表すとき、有意な算出リソースを要求し得る。従来の方法は、次いで、２Ｄ特徴のうちの少なくとも１つを新しい画像と共有する、画像を位置特定し、これは、マップ内の有意義な３Ｄ特徴を位置特定するために有用ではない、画像を含み得る。従来の方法は、次いで、新しい画像内の２Ｄ特徴に対して有意義ではない、３Ｄ特徴を位置特定する。
本発明者らは、より少ないメモリリソース（例えば、ＢｏＷによって使用されるメモリリソースの４分の１）、より高い効率（例えば、キーフレーム毎に２．５ｍｓの処理時間、５００枚のキーフレームに対する比較のために１００μｓ）、およびより高い正確度（例えば、１，０２４次元モデルのためにＢｏＷより２０％良好な読出再生、２５６次元モデルのためにＢｏＷより５％良好な読出再生）を使用した、マップ内の画像を読み出すための技法を認識および理解している。
算出を低減させるために、画像フレームと他の画像フレームを比較するために使用され得る、記述子が、画像フレームのために算出されてもよい。記述子は、画像フレームおよび特徴点の代わりに、またはそれに加え、記憶されてもよい。持続姿勢および／またはＰＣＦが画像フレームから生成され得る、マップでは、そこから各持続姿勢またはＰＣＦが生成された画像フレームまたは複数のフレームの記述子が、持続姿勢および／またはＰＣＦの一部として記憶されてもよい。
いくつかの実施形態では、記述子は、画像フレーム内の特徴点の関数として算出されてもよい。いくつかの実施形態では、ニューラルネットワークが、画像を表すための一意のフレーム記述子を算出するように構成される。画像は、ユーザによって装着されるデバイスの視野内の３Ｄ環境の十分な詳細が画像内で捕捉されるように、１メガバイトより高い分解能を有し得る。フレーム記述子は、数字の列、例えば、１２８バイト～５１２バイトの範囲内またはその間の任意の数等、はるかに小さくあり得る。
いくつかの実施形態では、ニューラルネットワークは、算出されたフレーム記述子が画像間の類似性を示すように訓練される。マップ内の画像は、マップを生成するために使用される画像を備えるデータベース内において、新しい画像のためのフレーム記述子に対して所定の距離内のフレーム記述子を有し得る、最も近くの画像を識別することによって位置特定され得る。いくつかの実施形態では、画像間の距離は、２つの画像のフレーム記述子間の差異によって表されてもよい。
図２１は、いくつかの実施形態による、個々の画像のための記述子を生成するためのシステムを図示する、ブロック図である。図示される実施例では、フレーム埋込生成器３０８が、示される。フレーム埋込生成器３０８は、いくつかの実施形態では、サーバ２０と併用されてもよいが、代替として、または加えて、全体または部分的に、ＸＲデバイス１２．１および１２．２、または他の画像との比較のための画像を処理する任意の他のデバイスのうちの１つ内で実行されてもよい。
いくつかの実施形態では、フレーム埋込生成器は、低減されたサイズにもかかわらず、それでもなお、画像内のコンテンツを示す、初期サイズ（例えば、７６，８００バイト）から最終サイズ（例えば、２５６バイト）に低減された画像のデータ表現を生成するように構成されてもよい。いくつかの実施形態では、フレーム埋込生成器は、他の方法において使用されるキーフレームまたはフレームであり得る、画像のためのデータ表現を生成するために使用されてもよい。いくつかの実施形態では、フレーム埋込生成器３０８は、特定の場所および配向における画像を一意の数字の列（例えば、２５６バイト）に変換するように構成されてもよい。図示される実施例では、ＸＲデバイスによって撮影される画像３２０は、画像３２０内の着目点３２２を検出するために特徴抽出器３２４によって処理されてもよい。着目点は、特徴１１２０（図１４）に関して上記に説明されるように、または本明細書に別様に説明されるように、識別された特徴点から導出される場合とそうではない場合がある。いくつかの実施形態では、着目点は、深層疎特徴方法を使用して生成され得る、記述子１１３０（図１４）に関して上記に説明されるように、記述子によって表されてもよい。いくつかの実施形態では、各着目点３２２は、数字の列（例えば、３２バイト）によって表されてもよい。例えば、ｎ個の特徴（例えば、１００）が存在してもよく、各特徴は、３２バイトの列によって表される。
いくつかの実施形態では、フレーム埋込生成器３０８は、ニューラルネットワーク３２６を含んでもよい。ニューラルネットワーク３２６は、多層パーセプトロンユニット３１２と、最大（ｍａｘ）プールユニット３１４とを含んでもよい。いくつかの実施形態では、多層パーセプトロン（ＭＬＰ）ユニット３１２は、多層パーセプトロンを備えてもよく、これは、訓練されてもよい。いくつかの実施形態では、着目点３２２（例えば、着目点のための記述子）は、多層パーセプトロン３１２によって低減され得、記述子の加重された組み合わせ３１０として出力され得る。例えば、ＭＬＰは、ｎ個の特徴を、ｎ個の特徴未満である、ｍ個の特徴に低減させ得る。
いくつかの実施形態では、ＭＬＰユニット３１２は、行列乗算を実施するように構成されてもよい。多層パーセプトロンユニット３１２は、画像３２０の複数の着目点３２２を受信し、各着目点を個別の数字の列（例えば、２５６）に変換する。例えば、１００個の特徴が存在してもよく、各特徴は、２５６の数字の列によって表され得る。行列は、本実施例では、１００の水平行および２５６の垂直列を有するように作成されてもよい。各行は、一部は、より小さく、一部は、より大きい、大きさが変動する、一連の２５６の数を有してもよい。いくつかの実施形態では、ＭＬＰの出力は、ｎ×２５６の行列であってもよく、ｎは、画像から抽出された特徴の数を表す。いくつかの実施形態では、ＭＬＰの出力は、ｍ×２５６行列であってもよく、ｍは、ｎから低減された着目点の数である。
いくつかの実施形態では、ＭＬＰ３１２は、その間にＭＬＰのためのモデルパラメータが決定される、訓練相と、使用相とを有してもよい。いくつかの実施形態では、ＭＬＰは、図２５に図示されるように、訓練されてもよい。入力訓練データは、３つのセット内にデータを備えてもよく、３つのセットは、１）クエリ画像と、２）正のサンプルと、３）負のサンプルとを備える。クエリ画像は、基準画像と見なされ得る。
いくつかの実施形態では、正のサンプルは、クエリ画像に類似する、画像を備えてもよい。例えば、いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、異なる角度から視認され得る。いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、他の画像に対して（例えば、左、右、上、下に）偏移されるオブジェクトを有し得る。
いくつかの実施形態では、負のサンプルは、クエリ画像と類似しない、画像を備えてもよい。例えば、いくつかの実施形態では、類似しない画像は、クエリ画像内で顕著な任意のオブジェクトを含有し得ない、またはクエリ画像内で顕著なオブジェクトの小部分のみ（例えば、＜１０％、１％）を含有し得る。類似画像は、対照的に、例えば、クエリ画像内でオブジェクトの大部分（例えば、＞５０％、または＞７５％）を有し得る。
いくつかの実施形態では、着目点は、入力訓練データ内の画像から抽出されてもよく、特徴記述子に変換されてもよい。これらの記述子は、図２５に示されるように、訓練画像のためと、図２１のフレーム埋込生成器３０８の動作時に抽出された特徴のためとの両方のために算出されてもよい。いくつかの実施形態では、深層疎特徴（ＤＳＦ）プロセスが、米国特許出願第１６／１９０，９４８号に説明されるように、記述子（例えば、ＤＳＦ記述子）を生成するために使用されてもよい。いくつかの実施形態では、ＤＳＦ記述子は、ｎ×３２寸法である。記述子は、次いで、モデル／ＭＬＰを通して通過され、２５６バイト出力を作成してもよい。いくつかの実施形態では、モデル／ＭＬＰは、いったんモデルパラメータが訓練を通して設定されると、結果として生じる訓練されたＭＬＰがＭＬＰ３１２として使用され得るように、ＭＬＰ３１２と同一構造を有してもよい。
いくつかの実施形態では、特徴記述子（例えば、ＭＬＰモデルから出力された２５６バイト）は、次いで、トリプレットマージン損失モジュール（ＭＬＰニューラルネットワークの訓練相の間にのみ使用され、使用相の間には使用され得ない）に送信されてもよい。いくつかの実施形態では、トリプレットマージン損失モジュールは、クエリ画像から出力された２５６バイトと正のサンプルから出力された２５６バイトとの間の差異を低減させ、クエリ画像から出力された２５６バイトと負のサンプルから出力された２５６バイトとの間の差異を増加させるように、モデルのためのパラメータを選択するように構成されてもよい。いくつかの実施形態では、訓練相は、複数のトリプレット入力画像を学習プロセスの中にフィードし、モデルパラメータを決定するステップを含んでもよい。本訓練プロセスは、例えば、正の画像に関する差異が最小限にされ、負の画像に関する差異が最大限にされるまで、または他の好適な終了基準に到達するまで、継続し得る。
図２１に戻って参照すると、フレーム埋込生成器３０８は、ここでは、最大（ｍａｘ）プールユニット３１４として図示される、プーリング層を含んでもよい。最大プールユニット３１４は、各列を分析し、個別の列内の最大数を決定してもよい。最大プールユニット３１４は、ＭＬＰ３１２の出力行列の数の各列の最大値を、例えば、２５６の数のグローバル特徴列３１６に組み合わせてもよい。ＸＲシステム内で処理された画像は、望ましくは、潜在的に数百万ピクセルを伴う、高分解能フレームを有し得ることを理解されたい。グローバル特徴列３１６は、比較的に少ないメモリを占有し、画像（例えば、１メガバイトより高い分解能を伴う）と比較して、容易に検索可能である、比較的に小数である。したがって、カメラからの各オリジナルフレームを分析せずに、画像を検索することが可能であって、また、完全フレームの代わりに、２５６バイトを記憶するようにより安価である。
図２２は、いくつかの実施形態による、画像記述子を算出する方法２２００を図示する、フローチャートである。方法２２００は、ユーザによって装着されるＸＲデバイスによって捕捉された複数の画像を受信するステップ（行為２２０２）から開始してもよい。いくつかの実施形態では、方法２２００は、１つまたはそれを上回るキーフレームを複数の画像から決定するステップ（行為２２０４）を含んでもよい。いくつかの実施形態では、行為２２０４は、スキップされてもよい、および／または代わりに、ステップ２２１０後に生じてもよい。
方法２２００は、人工ニューラルネットワークを用いて、複数の画像内の１つまたはそれを上回る着目点を識別するステップ（行為２２０６）と、人工ニューラルネットワークを用いて、個々の着目点のための特徴記述子を算出するステップ（行為２２０８）とを含んでもよい。本方法は、画像毎に、少なくとも部分的に、人工ニューラルネットワークを用いて、画像内の識別された着目点のための算出された特徴記述子に基づいて、画像を表すためのフレーム記述子を算出するステップ（行為２２１０）を含んでもよい。
図２３は、いくつかの実施形態による、画像記述子を使用した位置特定の方法２３００を図示する、フローチャートである。本実施例では、ＸＲデバイスの現在の場所を描写する、新しい画像フレームが、マップ内の点（上記に説明されるように、持続姿勢またはＰＣＦ等）に関連して記憶された画像フレームと比較されてもよい。方法２３００は、ユーザによって装着されるＸＲデバイスによって捕捉された新しい画像を受信するステップ（行為２３０２）から開始してもよい。方法２３００は、１つまたはそれを上回るマップを生成するために使用されるキーフレームを備える、データベース内の１つまたはそれを上回る最も近くのキーフレームを識別するステップ（行為２３０４）を含んでもよい。いくつかの実施形態では、最も近くのキーフレームは、大まかな空間情報および／または以前に決定された空間情報に基づいて識別されてもよい。例えば、大まかな空間情報は、ＸＲデバイスがマップの５０ｍ×５０ｍエリアによって表される地理的領域内に存在することを示し得る。画像マッチングは、そのエリア内の点のみに関して実施されてもよい。別の実施例として、追跡に基づいて、ＸＲシステムは、ＸＲデバイスが、マップ内の第１の持続姿勢に以前に近接しており、マップ内の第２の持続姿勢の方向に移動していたことを把握してもよい。その第２の持続姿勢は、最も近くの持続姿勢と見なされ得、それとともに記憶されたキーフレームは、最も近くのキーフレームと見なされ得る。代替として、または加えて、ＧＰＳデータまたはＷｉＦｉフィンガプリント等の他のメタデータも、最も近くのキーフレームまたは最も近くのキーフレームのセットを選択するために使用されてもよい。
最も近くのキーフレームが選択される方法にかかわらず、フレーム記述子が、新しい画像が近隣の持続姿勢と関連付けられるものとして選択されたフレームのいずれかにマッチングするかどうかを決定するために使用されてもよい。決定は、新しい画像のフレーム記述子と任意の他の好適な方法において選択されたデータベース内の最近キーフレームまたはキーフレームのサブセットのフレーム記述子を比較し、新しい画像のフレーム記述子の所定の距離内のフレーム記述子を伴うキーフレームを選択することによって行われてもよい。いくつかの実施形態では、２つのフレーム記述子間の距離は、２つのフレーム記述子を表し得る、２つの数字の列間の差異を取得することによって算出されてもよい。列が複数の量の列として処理される、実施形態では、差異は、ベクトル差異として算出されてもよい。
いったんマッチング画像フレームが、識別されると、その画像フレームに対するＸＲデバイスの配向が、決定され得る。方法２３００は、識別された最も近くのキーフレームに対応する、マップ内の３Ｄ特徴に対して特徴マッチングを実施するステップ（行為２３０６）と、特徴マッチング結果に基づいて、ユーザによって装着されるデバイスの姿勢を算出するステップ（行為２３０８）とを含んでもよい。このように、２つの画像内の特徴点の算出上集約的であるマッチングは、新しい画像のための可能性が高いマッチングであるとすでに決定されているわずか１つの画像に関して実施されてもよい。
図２４は、いくつかの実施形態による、ニューラルネットワークを訓練する方法２４００を図示する、フローチャートである。方法２４００は、複数の画像セットを備える、データセットを生成するステップ（行為２４０２）から開始してもよい。複数の画像セットはそれぞれ、クエリ画像と、正のサンプル画像と、負のサンプル画像とを含んでもよい。いくつかの実施形態では、複数の画像セットは、例えば、ニューラルネットワークに形状等の基本情報を教示するように構成される、合成記録対を含んでもよい。いくつかの実施形態では、複数の画像セットは、物理的世界から記録され得る、実記録対を含んでもよい。
いくつかの実施形態では、正対応は、２つの画像間の基本行列を適合させることによって算出されてもよい。いくつかの実施形態では、疎重複が、画像の両方内で見られる着目点の和集合上の交点（ＩｏＵ）として算出されてもよい。いくつかの実施形態では、正のサンプルは、クエリ画像内で同一である、正対応としての役割を果たす、少なくとも２０個の着目点を含んでもよい。負のサンプルは、１０未満の正対応点を含んでもよい。負のサンプルは、クエリ画像の解析点と重複する、半分未満の疎点を有してもよい。
方法２４００は、画像セット毎に、クエリ画像と正のサンプル画像および負のサンプル画像を比較することによって、損失を算出するステップ（行為２４０４）を含んでもよい。方法２４００は、クエリ画像のために人工ニューラルネットワークによって生成されたフレーム記述子と正のサンプル画像のためのフレーム記述子との間の距離が、クエリ画像のためのフレーム記述子と負のサンプル画像のためのフレーム記述子との間の距離未満であるように、算出された損失に基づいて、人工ニューラルネットワークを修正するステップ（行為２４０６）を含んでもよい。
個々の画像のためのグローバル記述子を生成するように構成される、方法および装置が、上記に説明されるが、方法および装置は、個々のマップのための記述子を生成するように構成されてもよいことを理解されたい。例えば、マップは、複数のキーフレームを含んでもよく、それぞれ、上記に説明されるように、フレーム記述子を有してもよい。最大プールユニットは、マップのキーフレームのフレーム記述子を分析し、フレーム記述子をマップのための一意のマップ記述子の中に組み合わせてもよい。
さらに、他のアーキテクチャも、上記に説明されるように、処理のために使用されてもよいことを理解されたい。例えば、別個のニューラルネットワークは、ＤＳＦ記述子およびフレーム記述子を生成するために説明される。そのようなアプローチは、算出上効率的である。しかしながら、いくつかの実施形態では、フレーム記述子は、最初にＤＳＦ記述子を生成せずに、選択された特徴点から生成されてもよい。
マップのランク付けおよびマージ
本明細書に説明されるものは、複数の環境マップをクロスリアリティ（ＸＲ）システム内でランク付けおよびマージするための方法および装置である。マップマージは、物理的世界の重複部分を表すマップが、より大きいエリアを表すように組み合わせられることを可能にし得る。マップをランク付けすることは、類似性に基づいてマップをマップのセットから選択するステップを伴う、マップマージを含む、本明細書に説明されるような技法を効率的に実施することを可能にし得る。いくつかの実施形態では、例えば、いくつかのＸＲデバイスのいずれかによってアクセスされ得る方法でフォーマットされる、規準マップのセットが、システムによって維持されてもよい。これらの規準マップは、それらのデバイスからの選択された追跡マップと他の追跡マップまたは以前に記憶された規準マップをマージすることによって形成されてもよい。規準マップは、例えば、１つまたはそれを上回る規準マップを選択し、新しい追跡マップとマージする、および／またはセットから１つまたはそれを上回る規準マップを選択し、デバイス内で使用する際に使用するために、ランク付けされてもよい。
現実的ＸＲ体験をユーザに提供するために、ＸＲシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。ユーザの物理的周囲についての情報は、ユーザの場所に関する環境マップから取得されてもよい。
本発明者らは、ＸＲシステムが、複数のユーザによって収集された実／物理的世界の環境マップの効率的共有を有効にすることによって、それらのユーザが同一または異なる時間に世界内に存在するかどうかにかかわらず、実および／または仮想コンテンツを備える、同一世界を共有する複数のユーザに、向上されたＸＲ体験を提供し得ることを認識し、その真価を認めた。しかしながら、そのようなシステムを提供する際、有意な課題が存在する。そのようなシステムは、複数のユーザによって生成された複数のマップを記憶し得、および／またはシステムは、異なる時間に生成された複数のマップを記憶し得る。例えば、上記に説明されるように、位置特定等の以前に生成されたマップを用いて実施され得る動作に関して、実質的処理が、同一世界（例えば、同一実世界場所）の関連環境マップをＸＲシステム内で収集された全ての環境マップから識別するために要求され得る。いくつかの実施形態では、デバイスが、例えば、位置特定のためにアクセスし得る、少数の環境マップのみが存在し得る。いくつかの実施形態では、デバイスがアクセスし得る、多数の環境マップが存在し得る。本発明者らは、環境マップの関連性を、例えば、図２８における全ての規準マップ１２０の母集団等のあらゆる可能性として考えられる環境マップから迅速かつ正確にランク付けする技法を認識し、その真価を認めた。高ランク付けマップは、次いで、仮想オブジェクトをユーザディスプレイ上にユーザの周囲の物理的世界と現実的に相互作用するようにレンダリングする、またはそのユーザによって収集されたマップデータと記憶されたマップをマージし、より大きいまたはより正確なマップを作成するため等、さらなる処理のために、選択されてもよい。
いくつかの実施形態では、物理的世界内のある場所におけるユーザのためのタスクに関連する、記憶されたマップが、複数の基準に基づいて、記憶されたマップをフィルタリングすることによって識別されてもよい。それらの基準は、その場所におけるユーザのウェアラブルデバイスによって生成された追跡マップと、データベース内に記憶される候補環境マップの比較を示してもよい。比較は、マップを生成するデバイスによって検出されたＷｉ－Ｆｉフィンガプリント等のマップと関連付けられる、メタデータ、および／またはマップを形成する間、それに対してデバイスが接続されるＢＳＳＩＤのセットに基づいて実施されてもよい。比較はまた、マップの圧縮または解凍されたコンテンツに基づいて実施されてもよい。圧縮された表現に基づく比較は、例えば、マップコンテンツから算出されたベクトルの比較によって実施されてもよい。解凍されたマップに基づく比較は、例えば、追跡マップを記憶されたマップに対して位置特定する、またはその逆によって実施されてもよい。複数の比較が、考慮のために、候補マップの数を低減させるために必要とされる算出時間に基づく順序に実施されてもよく、より少ない算出を伴う比較は、より多くの算出を要求する他の比較より先に実施される。
図２６は、いくつかの実施形態による、１つまたはそれを上回る環境マップをランク付けおよびマージするように構成される、ＡＲシステム８００を描写する。ＡＲシステムは、ＡＲデバイスのパス可能世界モデル８０２を含んでもよい。パス可能世界モデル８０２を取り込むための情報は、ＡＲデバイス上のセンサから生じてもよく、これは、プロセッサ８０４（例えば、図４におけるローカルデータ処理モジュール５７０）内に記憶される、センサデータをマップに変換するための処理のいくつかまたは全てを実施し得る、コンピュータ実行可能命令を含んでもよい。そのようなマップは、ＡＲデバイスが領域内で動作する際にセンサデータが収集されるにつれて構築され得るような追跡マップであってもよい。その追跡マップとともに、エリア属性が、追跡マップが表すエリアを示すように供給されてもよい。これらのエリア属性は、緯度および経度として提示される座標または場所を表すためにＡＲシステムによって使用されるＩＤ等の地理的場所識別子であってもよい。代替として、または加えて、エリア属性は、そのエリアに関して一意である高尤度を有する、測定された特性であってもよい。エリア属性は、例えば、エリア内で検出された無線ネットワークのパラメータから導出されてもよい。いくつかの実施形態では、エリア属性は、ＡＲシステムが近隣にある、および／または接続される、アクセスポイントの一意のアドレスと関連付けられてもよい。例えば、エリア属性は、５Ｇ基地局／ルータ、Ｗｉ－Ｆｉルータ、および同等物のＭＡＣアドレスまたは基本サービスセット識別子（ＢＳＳＩＤ）と関連付けられてもよい。
図２６の実施例では、追跡マップは、環境の他のマップとマージされてもよい。マップランク付け部分８０６は、追跡マップをデバイスＰＷ８０２から受信し、マップデータベース８０８と通信し、マップデータベース８０８からの環境マップを選択およびランク付けする。より高いランク付けされる選択されたマップは、マップマージ部分８１０に送信される。
マップマージ部分８１０は、マージ処理をマップランク付け部分８０６から送信されるマップ上で実施してもよい。マージ処理は、追跡マップとランク付けされたマップのいくつかまたは全てをマージし、新しいマージされたマップをパス可能世界モデル８１２に伝送するステップを伴ってもよい。マップマージ部分は、物理的世界の重複部分を描写するマップを識別することによって、マップをマージしてもよい。それらの重複部分は、両方のマップ内の情報が最終マップの中に集約され得るように整合されてもよい。規準マップは、他の規準マップおよび／または追跡マップとマージされてもよい。
集約は、１つのマップを別のマップからの情報で拡張するステップを伴ってもよい。代替として、または加えて、集約は、別のマップ内の情報に基づいて、１つのマップ内の物理的世界の表現を調節するステップを伴ってもよい。後者のマップは、例えば、マップが後者の情報に基づいて更新され得るように、特徴点を生じさせるオブジェクトが移動したことを表し得る。代替として、２つのマップは、異なる特徴点を伴う、同一領域を特性評価し得、集約は、特徴点のセットを２つのマップから選択し、その領域をより良好に表すステップを伴ってもよい。マージするプロセスにおいて生じる、具体的処理にかかわらず、いくつかの実施形態では、マージされる全てのマップからのＰＣＦが、コンテンツをそれらに対して位置付けるアプリケーションがそのように行い続け得るように、留保されてもよい。いくつかの実施形態では、マップのマージは、冗長持続姿勢をもたらし得、持続姿勢のうちのいくつかは、削除されてもよい。ＰＣＦが、削除されるべき持続姿勢と関連付けられるとき、マップをマージするステップは、ＰＣＦがマージ後にマップ内に残る持続姿勢と関連付けられるように修正するステップを伴ってもよい。
いくつかの実施形態では、マップが、拡張および／または更新されるにつれて、それらは、精緻化されてもよい。精緻化は、物理的世界内の同一オブジェクトを表す可能性が高い、特徴点間の内部不一致を低減させるための算出を伴ってもよい。不一致は、物理的世界内の同一オブジェクトを表す特徴点を供給する、キーフレームと関連付けられる姿勢内の不正確性から生じ得る。そのような不一致は、例えば、追跡マップに対する姿勢を算出するＸＲデバイスから生じ得、これは、ひいては、姿勢推定内の誤差が、蓄積し、「ドリフト」を姿勢正確度内に経時的に作成するように、姿勢を推定するステップに基づいて構築される。バンドル調整または他の動作を実施し、複数のキーフレームからの特徴点の不一致を低減させることによって、マップは、精緻化されてもよい。
精緻化に応じて、マップの原点に対する持続点の場所は、変化し得る。故に、持続姿勢またはＰＣＦ等のその持続点と関連付けられる変換も、変化し得る。いくつかの実施形態では、ＸＲシステムは、マップ精緻化（マージ動作の一部として、または他の理由から実施されるかどうかにかかわらず）に関連して、変化した任意の持続点と関連付けられる変換を再算出してもよい。これらの変換は、変換の任意の使用が持続点の更新された場所に基づき得るように、変換を算出するコンポーネントから変換を使用するコンポーネントにプッシュ配信され得る。
パス可能世界モデル８１２は、クラウドモデルであってもよく、これは、複数のＡＲデバイスによって共有されてもよい。パス可能世界モデル８１２は、環境マップをマップデータベース８０８内に記憶する、または別様にそれへのアクセスを有してもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップの以前のバージョンは、古くなったマップをデータベースから除去するように、削除されてもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップの以前のバージョンは、アーカイブされ、環境の以前のバージョンの読出／閲覧を有効にし得る。いくつかの実施形態では、許可が、ある読取／書込アクセスを有するＡＲシステムのみが、マップの以前のバージョンの削除／アーカイブをトリガし得るように設定されてもよい。
１つまたはそれを上回るＡＲデバイス／システムによって供給される追跡マップから作成されたこれらの環境マップは、ＡＲシステム内のＡＲデバイスによってアクセスされてもよい。マップランク付け部分８０６はまた、環境マップをＡＲデバイスに供給する際に使用されてもよい。ＡＲデバイスは、その現在の場所に関する環境マップを要求するメッセージを送信してもよく、マップランク付け部分８０６は、要求側デバイスに関連する環境マップを選択およびランク付けするために使用されてもよい。
いくつかの実施形態では、ＡＲシステム８００は、マージされたマップをクラウドＰＷ８１２から受信するように構成される、ダウンサンプリング部分８１４を含んでもよい。クラウドＰＷ８１２から受信され、マージされたマップは、クラウドのための記憶フォーマットであってもよく、これは、平方メートルあたり多数のＰＣＦまたはＰＣＦと関連付けられる複数の画像フレームまたは大セットの特徴点等の高分解能情報を含んでもよい。ダウンサンプリング部分８１４は、クラウドフォーマットマップをＡＲデバイス上への記憶のために好適なフォーマットにダウンサンプリングするように構成されてもよい。デバイスフォーマットマップは、より少ないＰＣＦまたはＰＣＦ毎に記憶されたより少ないデータ等のより少ないデータを有し、ＡＲデバイスの限定されたローカル演算能力および記憶空間に対応し得る。
図２７は、遠隔記憶媒体、例えば、クラウド内に記憶され得る、複数の規準マップ１２０を図示する、簡略化されたブロック図である。各規準マップ１２０は、惑星である地球上のいずれかの場所等、物理的空間内の規準マップの場所を示す、複数の規準マップ識別子を含んでもよい。これらの規準マップ識別子は、以下の識別子、すなわち、経度および緯度の範囲によって表される、エリア識別子と、フレーム記述子（例えば、図２１におけるグローバル特徴列３１６）と、Ｗｉ－Ｆｉフィンガプリントと、特徴記述子（例えば、図２１における特徴記述子３１０）と、マップに寄与した１つまたはそれを上回るデバイスを示す、デバイス識別とのうちの１つまたはそれを上回るものを含んでもよい。図示される実施例では、規準マップ１２０は、地球の表面上に存在し得るため、２次元パターンで地理的に配置される。規準マップ１２０は、重複経度および緯度を有する、任意の規準マップが、新しい規準マップの中にマージされ得るため、対応する経度および緯度によって、一意に識別可能であり得る。
図２８は、いくつかの実施形態による、新しい追跡マップを１つまたはそれを上回る規準マップに対して位置特定するために使用され得る、規準マップを選択する方法を図示する、概略図である。本方法は、実施例として、パス可能世界（例えば、パス可能世界モジュール５３８）内のデータベース内に記憶され得る、規準マップ１２０の母集合にアクセスするステップ（行為１２０）から開始してもよい。規準マップの母集合は、全ての以前に訪問した場所からの規準マップを含んでもよい。ＸＲシステムは、全ての規準マップの母集合を小サブセットまたは単一マップのみにフィルタリングしてもよい。いくつかの実施形態では、帯域幅制限に起因して、全ての規準マップを視認デバイスに送信することは不可能であり得ることを理解されたい。デバイスに送信するために、追跡マップにマッチングするための可能性が高い候補として選択されたサブセットを選択することは、マップの遠隔データベースにアクセスすることと関連付けられる帯域幅および待ち時間を低減させ得る。
本方法は、所定のサイズおよび形状を伴うエリアに基づいて、規準マップの母集合をフィルタリングするステップ（行為３００）を含んでもよい。図２７に図示される実施例では、各正方形は、エリアを表し得る。各正方形は、５０ｍ×５０ｍを網羅し得る。各正方形は、６つの近傍のエリアを有し得る。いくつかの実施形態では、行為３００は、少なくとも１つのマップがその経度および緯度に存在する限り、ＸＲデバイスから受信された位置識別子のその経度および緯度を含む、経度および緯度を網羅する、少なくとも１つのマッチング規準マップ１２０を選択してもよい。いくつかの実施形態では、行為３００は、マッチング規準マップに隣接する、経度および緯度を網羅する、少なくとも１つの近傍の規準マップを選択してもよい。いくつかの実施形態では、行為３００は、複数のマッチング規準マップと、複数の近傍の規準マップとを選択してもよい。行為３００は、例えば、規準マップの数を約１０分の１、例えば、数千から数百に低減させ、第１のフィルタリングされた選択を形成してもよい。代替として、または加えて、緯度および経度以外の基準が、近傍のマップを識別するために使用されてもよい。ＸＲデバイスは、例えば、同一セッションの一部として、セット内の規準マップを用いて以前に位置特定されていてもよい。クラウドサービスは、以前に位置特定されたマップを含む、ＸＲデバイスについての情報を留保してもよい。本実施例では、行為３００において選択されたマップは、それに対してＸＲデバイスが位置特定されたマップに隣接する、エリアを網羅するものを含んでもよい。
本方法は、Ｗｉ－Ｆｉフィンガプリントに基づいて、規準マップの第１のフィルタリングされた選択をフィルタリングするステップ（行為３０２）を含んでもよい。行為３０２は、ＸＲデバイスからの位置識別子の一部として受信されたＷｉ－Ｆｉフィンガプリントに基づいて、緯度および経度を決定してもよい。行為３０２は、Ｗｉ－Ｆｉフィンガプリントからの緯度および経度と規準マップ１２０の緯度および経度を比較し、第２のフィルタリングされた選択を形成する、１つまたはそれを上回る規準マップを決定してもよい。行為３０２は、規準マップの数を約１０分の１、例えば、第２の選択を形成する、数百から数十個の規準マップ（例えば、５０）に低減させてもよい。例えば、第１のフィルタリングされた選択は、１３０個の規準マップを含み得、第２のフィルタリングされた選択は、１３０個の規準マップのうちの５０個を含み得、１３０個の規準マップのうちの残りの８０個を含み得ない。
本方法は、キーフレームに基づいて、規準マップの第２のフィルタリングされた選択をフィルタリングするステップ（行為３０４）を含んでもよい。行為３０４は、ＸＲデバイスによって捕捉された画像を表すデータと規準マップ１２０を表すデータを比較してもよい。いくつかの実施形態では、画像および／またはマップを表すデータは、特徴記述子（例えば、図２５におけるＤＳＦ記述子）および／またはグローバル特徴列（例えば、図２１における３１６）を含んでもよい。行為３０４は、規準マップの第３のフィルタリングされた選択を提供してもよい。いくつかの実施形態では、行為３０４の出力は、例えば、第２のフィルタリングされた選択に続いて識別された５０個の規準マップのうちの５つのみであってもよい。マップ伝送機１２２が、次いで、第３のフィルタリングされた選択に基づいて、１つまたはそれを上回る規準マップを視認デバイスに伝送する。行為３０４は、規準マップの数を約１０分の１、第３の選択を形成する、例えば、数十から単一桁数の規準マップ（例えば、５）に低減させ得る。いくつかの実施形態では、ＸＲデバイスは、第３のフィルタリングされた選択内の規準マップを受信し、受信された規準マップの中に位置特定するように試みてもよい。
例えば、行為３０４は、規準マップ１２０のグローバル特徴列３１６および視認デバイスによって捕捉された画像（例えば、ユーザのためのローカル追跡マップの一部であり得る、画像）に基づくグローバル特徴列３１６に基づいて、規準マップ１２０をフィルタリングしてもよい。図２７における規準マップ１２０のそれぞれのものは、したがって、それと関連付けられる１つまたはそれを上回るグローバル特徴列３１６を有する。いくつかの実施形態では、グローバル特徴列３１６は、ＸＲデバイスが画像または特徴詳細をクラウドに提出するときに入手されてもよく、クラウドは、画像または特徴詳細を処理し、規準マップ１２０のためのグローバル特徴列３１６を生成する。
いくつかの実施形態では、クラウドは、視認デバイスによって捕捉されたライブ／新しい／現在の画像の特徴詳細を受信してもよく、クラウドは、ライブ画像のためのグローバル特徴列３１６を生成してもよい。クラウドは、次いで、ライブグローバル特徴列３１６に基づいて、規準マップ１２０をフィルタリングしてもよい。いくつかの実施形態では、グローバル特徴列は、ローカル視認デバイス上に生成されてもよい。いくつかの実施形態では、グローバル特徴列は、遠隔で、例えば、クラウド上で生成されてもよい。いくつかの実施形態では、クラウドは、フィルタリングされた規準マップを、フィルタリングされた規準マップと関連付けられるグローバル特徴列３１６とともに、ＸＲデバイスに伝送してもよい。いくつかの実施形態では、視認デバイスが、その追跡マップを規準マップに対して位置特定すると、ローカル追跡マップのグローバル特徴列３１６と規準マップのグローバル特徴列をマッチングさせることによって、そのように行ってもよい。
ＸＲデバイスの動作は、行為（３００、３０２、３０４）の全てを実施しなくてもよいことを理解されたい。例えば、規準マップの母集合が、比較的に小さい（例えば、５００個のマップ）場合、位置特定するように試みるＸＲデバイスは、Ｗｉ－Ｆｉフィンガプリント（例えば、行為３０２）およびキーフレーム（例えば、行為３０４）に基づいて、規準マップの母集合をフィルタリングするが、エリア（例えば、行為３００）に基づくフィルタリングを省略してもよい。さらに、マップは、その全体として比較されることが必要であるわけではない。いくつかの実施形態では、例えば、２つのマップの比較は、新しいマップおよびマップの母集合から選択されたマップの両方に現れる、持続姿勢またはＰＣＦ等の共通の持続点の識別をもたらし得る。その場合、記述子は、持続点と関連付けられてもよく、それらの記述子は、比較されてもよい。
図２９は、いくつかの実施形態による、１つまたはそれを上回るランク付けされた環境マップを選択する方法９００を図示する、フローチャートである。図示される実施形態では、ランク付けするステップは、追跡マップを作成する、ユーザのＡＲデバイスのために実施される。故に、追跡マップは、環境マップをランク付けする際に使用するために利用可能である。追跡マップが利用不可能である、実施形態では、追跡マップに明示的に依拠しない、環境マップの選択およびランク付けするステップの部分のいくつかまたは全てが、使用されてもよい。
方法９００は、行為９０２から開始し得、追跡マップが形成された場所の近傍の環境マップのデータベースからのマップのセット（規準マップとしてフォーマット化され得る）が、アクセスされ、次いで、ランク付けのためにフィルタリングされ得る。加えて、行為９０２では、その中でユーザのＡＲデバイスが動作しているエリアに関する、少なくとも１つのエリア属性が、決定される。ユーザのＡＲデバイスが追跡マップを構築している、シナリオでは、エリア属性は、それにわたって追跡マップが作成される、エリアに対応し得る。具体的実施例として、エリア属性は、ＡＲデバイスが追跡マップを算出していた間にアクセスポイントからコンピュータネットワークに受信された信号に基づいて、算出されてもよい。
図３０は、いくつかの実施形態による、ＡＲシステム８００の例示的マップランク付け部分８０６を描写する。マップランク付け部分８０６は、ＡＲデバイス上で実行される部分およびクラウド等の遠隔コンピューティングシステム上で実行される部分を含み得るため、クラウドコンピューティング環境内で実行されてもよい。マップランク付け部分８０６は、方法９００の少なくとも一部を実施するように構成されてもよい。
図３１Ａは、いくつかの実施形態による、追跡マップ（ＴＭ）１１０２およびデータベース内の環境マップＣＭ１－ＣＭ４のエリア属性ＡＡ１－ＡＡ８の実施例を描写する。図示されるように、環境マップは、複数のエリア属性に関連付けられてもよい。エリア属性ＡＡ１－ＡＡ８は、追跡マップ１１０２を算出するＡＲデバイスによって検出された無線ネットワークのパラメータ、例えば、それに対してＡＲデバイスが接続される、ネットワークの基本サービスセット識別子（ＢＳＳＩＤ）、および／または、例えば、ネットワークタワー１１０４を通して無線ネットワークへのアクセスポイントの受信される信号の強度を含んでもよい。無線ネットワークのパラメータは、Ｗｉ－Ｆｉおよび５Ｇ ＮＲを含む、プロトコルに準拠してもよい。図３２に図示される実施例では、エリア属性は、その中でユーザＡＲデバイスが、センサデータを収集し、追跡マップを形成した、エリアのフィンガプリントである。
図３１Ｂは、いくつかの実施形態による、追跡マップ１１０２の決定された地理的場所１１０６の実施例を描写する。図示される実施例では、決定された地理的場所１１０６は、重心点１１１０と、重心点の周囲を囲むエリア１１０８とを含む。本願の地理的場所の決定は、図示されるフォーマットに限定されないことを理解されたい。決定された地理的場所は、例えば、異なるエリア形状を含む、任意の好適なフォーマットを有してもよい。本実施例では、地理的場所は、エリア属性を地理的場所に関連させるデータベースを使用して、エリア属性から決定される。データベースは、市販されており、例えば、緯度および経度として表され、本動作のために使用され得る、Ｗｉ－Ｆｉフィンガプリントを場所に関連させる、データベースである。
図２９の実施形態では、環境マップを含有する、マップデータベースはまた、マップによって網羅される緯度および経度を含む、それらのマップに関する場所データを含んでもよい。行為９０２における処理は、そのデータベースから、追跡マップのエリア属性に関して決定された同一緯度および経度を網羅する、環境マップのセットを選択するステップを伴ってもよい。
行為９０４は、行為９０２においてアクセスされる環境マップのセットの第１のフィルタリングである。行為９０２では、環境マップは、追跡マップの地理的場所との近接度に基づいて、セット内に留保される。本フィルタリングステップは、追跡マップとセット内の環境マップと関連付けられる緯度および経度を比較することによって実施されてもよい。
図３２は、いくつかの実施形態による、行為９０４の実施例を描写する。各エリア属性は、対応する地理的場所１２０２を有してもよい。環境マップのセットは、追跡マップの決定された地理的場所と重複する地理的場所を有する、少なくとも１つのエリア属性を伴う、環境マップを含んでもよい。図示される実施例では、識別された環境マップのセットは、それぞれ、追跡マップ１１０２の決定された地理的場所と重複する地理的場所を有する、少なくとも１つのエリア属性を有する、環境マップＣＭ１、ＣＭ２、およびＣＭ４を含む。エリア属性ＡＡ６と関連付けられる、環境マップＣＭ３は、追跡マップの決定された地理的場所外にあるため、セット内に含まれない。
他のフィルタリングステップもまた、最終的に処理される（マップマージのため、またはパス可能世界情報をユーザデバイスに提供するため等）セット内の環境マップの数を低減させる／ランク付けするために、環境マップのセット上で実施されてもよい。方法９００は、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つまたはそれを上回る識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップ（行為９０６）を含んでもよい。マップの形成の間、センサデータを収集し、マップを生成する、デバイスは、Ｗｉ－Ｆｉまたは類似無線通信プロトコル等を通して、ネットワークアクセスポイントを通して、ネットワークに接続され得る。アクセスポイントは、ＢＳＳＩＤによって識別され得る。ユーザデバイスは、エリアを通して移動し、データを収集し、マップを形成するにつれて、複数の異なるアクセスポイントに接続し得る。同様に、複数のデバイスが、マップを形成するための情報を供給するとき、デバイスは、異なるアクセスポイントを通して接続されている場合があり、したがって、同様にその理由から、マップを形成する際に使用される複数のアクセスポイントが存在し得る。故に、マップと関連付けられる複数のアクセスポイントが存在し得、アクセスポイントのセットは、マップの場所のインジケーションであり得る。ＲＳＳＩ値として反映され得る、アクセスポイントからの信号の強度は、さらなる地理的情報を提供し得る。いくつかの実施形態では、ＢＳＳＩＤおよびＲＳＳＩ値のリストは、マップのためのエリア属性を形成し得る。
いくつかの実施形態では、ネットワークアクセスポイントの１つまたはそれを上回る識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、ネットワークアクセスポイントの１つまたはそれを上回る識別子に基づいて、追跡マップの少なくとも１つのエリア属性との最高Ｊａｃｃａｒｄ類似性を伴う環境マップを留保するステップを含んでもよい。
図３３は、いくつかの実施形態による、行為９０６の実施例を描写する。図示される実施例では、エリア属性ＡＡ７と関連付けられるネットワーク識別子は、追跡マップ１１０２に関する識別子として決定され得る。行為９０６後の環境マップのセットは、ＡＡ７とのより高いＪａｃｃａｒｄ類似性内のエリア属性を有し得る、環境マップＣＭ２と、同様にエリア属性ＡＡ７を含む、環境マップＣＭ４とを含む。環境マップＣＭ１は、ＡＡ７との最低Ｊａｃｃａｒｄ類似性を有するため、セット内に含まれない。
行為９０２－９０６における処理は、マップと関連付けられるメタデータに基づいて、マップデータベース内に記憶されるマップのコンテンツに実際にアクセスすることなく、実施されてもよい。他の処理は、マップのコンテンツにアクセスするステップを伴ってもよい。行為９０８は、メタデータに基づいてフィルタリング後にサブセット内に残っている環境マップにアクセスするステップを示す。本行為は、後続動作がアクセスされるコンテンツを用いて実施され得る場合、プロセスにおけるより早い段階または後の段階のいずれかで実施されてもよいことを理解されたい。
方法９００は、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップ（行為９１０）を含んでもよい。追跡マップおよび環境マップのコンテンツを表すメトリックは、マップのコンテンツから算出された値のベクトルを含んでもよい。例えば、マップを形成する際に使用される１つまたはそれを上回るキーフレームのために算出される、上記に説明されるような深層キーフレーム記述子は、マップまたはマップの一部の比較のためのメトリックを提供し得る。メトリックは、行為９０８において読み出されたマップから算出されてもよい、または事前に算出され、それらのマップと関連付けられるメタデータとして記憶されてもよい。いくつかの実施形態では、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保するステップを含んでもよい。
方法９００は、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをさらにフィルタリングするステップ（行為９１２）を含んでもよい。マッチング度は、位置特定プロセスの一部として決定されてもよい。非限定的実施例として、位置特定は、それらが物理的世界の同一部分を表し得るほど十分に類似する、追跡マップおよび環境マップ内の重要点を識別することによって実施されてもよい。いくつかの実施形態では、重要点は、特徴、特徴記述子、キーフレーム、キーリグ、持続姿勢、および／またはＰＣＦであってもよい。追跡マップ内の重要点のセットは、次いで、環境マップ内の重要点のセットとの最良適合を生産するように整合され得る。対応する重要点間の平均二乗距離が、算出され得、追跡マップの特定の領域に関する閾値を下回る場合、追跡マップおよび環境マップが物理的世界の同一領域を表すことのインジケーションとして使用される。
いくつかの実施形態では、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセットの環境マップ内にもまた表される、追跡マップによって表される物理的世界のボリュームを算出するステップと、環境マップのセット内に、セットのフィルタリング除去された環境マップより大きい算出されたボリュームを伴う環境マップを留保するステップとを含んでもよい。図３４は、いくつかの実施形態による、行為９１２の実施例を描写する。図示される実施例では、行為９１２後の環境マップのセットは、追跡マップ１１０２のエリアとマッチングされるエリア１４０２を有する、環境マップＣＭ４を含む。環境マップＣＭ１は、追跡マップ１１０２のエリアとマッチングされるエリアを有していないため、セット内に含まれない。
いくつかの実施形態では、環境マップのセットは、行為９０６、行為９１０、および行為９１２の順序でフィルタリングされてもよい。いくつかの実施形態では、環境マップのセットは、行為９０６、行為９１０、および行為９１２に基づいて、フィルタリングされてもよく、これは、最低から最高へとフィルタリングを実施するために要求される処理に基づく順序で実施され得る。方法９００は、環境マップおよびデータのセットをロードするステップ（行為９１４）を含んでもよい。
図示される実施例では、ユーザデータベースは、ＡＲデバイスが使用されたエリアを示す、エリア識別を記憶する。エリア識別は、エリア属性であってもよく、これは、使用時にＡＲデバイスによって検出された無線ネットワークのパラメータを含み得る。マップデータベースは、ＡＲデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶してもよい。関連付けられるメタデータは、そこから環境マップが構築されたデータを供給した、ＡＲデバイスのエリア識別から導出されるエリア識別を含んでもよい。ＡＲデバイスは、メッセージをＰＷモジュールに送信し、新しい追跡マップが作成される、または作成中であることを示してもよい。ＰＷモジュールは、ＡＲデバイスに関するエリア識別子を算出し、受信されたパラメータおよび／または算出されたエリア識別子に基づいて、ユーザデータベースを更新してもよい。ＰＷモジュールはまた、環境マップを要求するＡＲデバイスと関連付けられるエリア識別子を決定し、エリア識別子に基づいて、マップデータベースから環境マップのセットを識別し、環境マップのセットをフィルタリングし、フィルタリングされた環境マップのセットをＡＲデバイスに伝送してもよい。いくつかの実施形態では、ＰＷモジュールは、例えば、追跡マップの地理的場所、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つまたはそれを上回る識別子の類似性、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性、および追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度を含む、１つまたはそれを上回る基準に基づいて、環境マップのセットをフィルタリングしてもよい。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、より一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図２９は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密な候補マップは、より小さい候補マップより優先されてもよい。いくつかの実施形態では、図２７－２８は、図２９－３４に説明されるシステムおよび方法の全部または一部を説明し得る。
図３５および３６は、いくつかの実施形態による、複数の環境マップをランク付けおよびマージするように構成される、ＸＲシステムを図示する、概略図である。いくつかの実施形態では、パス可能世界（ＰＷ）は、マップをランク付けおよび／またはマージするステップをトリガすべきときを決定し得る。いくつかの実施形態では、使用されるべきマップを決定するステップは、いくつかの実施形態によると、少なくとも部分的に、図２１－２５に関連して上記に説明される深層キーフレームに基づいてもよい。
図３７は、いくつかの実施形態による、物理的世界の環境マップを作成する方法３７００を図示する、ブロック図である。方法３７００は、ユーザによって装着されるＸＲデバイスによって捕捉された追跡マップを規準マップの群（例えば、図２８の方法および／または図２９の方法９００によって選択された規準マップ）に対して位置特定するステップ（行為３７０２）から開始してもよい。行為３７０２は、追跡マップのキーリグを規準マップの群の中に位置特定するステップを含んでもよい。各キーリグの位置特定結果は、キーリグの位置特定された姿勢と、２Ｄ／３Ｄ特徴対応のセットとを含んでもよい。
いくつかの実施形態では、方法３７００は、追跡マップを接続された成分に分裂させるステップ（行為３７０４）を含んでもよく、これは、接続された断片をマージすることによって、マップをロバストにマージすることを可能にし得る。各接続された成分は、所定の距離内にある、キーリグを含んでもよい。方法３７００は、所定の閾値より大きい接続された成分を１つまたはそれを上回る規準マップの中にマージするステップ（行為３７０６）と、マージされた接続された成分を追跡マップから除去するステップとを含んでもよい。
いくつかの実施形態では、方法３７００は、追跡マップの同一の接続された成分とマージされる、群の規準マップをマージするステップ（行為３７０８）を含んでもよい。いくつかの実施形態では、方法３７００は、任意の規準マップとマージされない、追跡マップの残りの接続された成分を、規準マップにレベル上げするステップ（行為３７１０）を含んでもよい。いくつかの実施形態では、方法３７００は、追跡マップの持続姿勢および／またはＰＣＦと追跡マップの少なくとも１つの接続された成分とマージされる、規準マップをマージするステップ（行為３７１２）を含んでもよい。いくつかの実施形態では、方法３７００は、例えば、マップ点を融合させ、冗長キーリグをプルーニングすることによって、規準マップを完成させるステップ（行為３７１４）を含んでもよい。
図３８Ａおよび３８Ｂは、いくつかの実施形態による、新しい追跡マップで追跡マップ７００（図７）からレベル上げされ得る、規準マップ７００を更新することによって作成された環境マップ３８００を図示する。図７に関して図示および説明されるように、規準マップ７００は、点７０２によって表される、対応する物理的世界内の再構成された物理的オブジェクトの間取図７０６を提供し得る。いくつかの実施形態では、マップ点７０２は、複数の特徴を含み得る、物理的オブジェクトの特徴を表し得る。新しい追跡マップは、物理的世界を中心として捕捉され、クラウドにアップロードされ、マップ７００とマージされてもよい。新しい追跡マップは、マップ点３８０２と、キーリグ３８０４、３８０６とを含んでもよい。図示される実施例では、キーリグ３８０４は、例えば、マップ７００のキーリグ７０４との対応を確立することによって、規準マップに対して正常に位置特定されたキーリグを表す（図３８Ｂに図示されるように）。他方では、キーリグ３８０６は、マップ７００に対して位置特定されていない、キーリグを表す。キーリグ３８０６は、いくつかの実施形態では、別個の規準マップにレベル上げされてもよい。
図３９Ａ－３９Ｆは、同一物理的空間内のユーザのための共有体験を提供する、クラウドベースの持続座標系の実施例を図示する、概略図である。図３９Ａは、例えば、クラウドからの規準マップ４８１４が、図２０Ａ－２０Ｃのユーザ４８０２Ａおよび４８０２Ｂによって装着されるＸＲデバイスによって受信されることを示す。規準マップ４８１４は、規準座標フレーム４８０６Ｃを有してもよい。規準マップ４８１４は、複数の関連付けられるＰＰ（例えば、図３９Ｃにおける４８１８Ａ、４８１８Ｂ）を伴う、ＰＣＦ４８１０Ｃを有してもよい。
図３９Ｂは、ＸＲデバイスが、その個別の世界座標系４８０６Ａ、４８０６Ｂと規準座標フレーム４８０６Ｃとの間に関係を確立したことを示す。これは、例えば、規準マップ４８１４を個別のデバイス上で位置特定することによって行われてもよい。追跡マップを規準マップに対して位置特定することは、デバイス毎に、そのローカル世界座標系と規準マップの座標系との間の変換をもたらし得る。
図３９Ｃは、位置特定の結果として、変換が個別のデバイス上のローカルＰＣＦ（例えば、ＰＣＦ４８１０Ａ、４８１０Ｂ）と規準マップ上の個別の持続姿勢（例えば、ＰＰ４８１８Ａ、４８１８Ｂ）との間で算出され得ることを示す（例えば、変換４８１６Ａ、４８１６Ｂ）。これらの変換を用いることで、各デバイスは、そのローカルＰＣＦを使用し得、これは、デバイス上のセンサを用いて検出された画像を処理し、ローカルデバイスに対する場所を決定し、ＰＰ４８１８Ａ、４８１８Ｂまたは規準マップの他の持続点に結び付けられる仮想コンテンツを表示することによって、デバイス上でローカルで検出されることができる。そのようなアプローチは、仮想コンテンツを各ユーザに対して正確に位置特定し得、各ユーザが物理的空間内で仮想コンテンツの同一体験を有することを可能にし得る。
図３９Ｄは、規準マップからローカル追跡マップへの持続姿勢スナップショットを示す。図から分かるように、ローカル追跡マップは、持続姿勢を介して、相互に接続される。図３９Ｅは、ユーザ４８０２Ａによって装着されるデバイス上のＰＣＦ４８１０Ａが、ＰＰ４８１８Ａを通して、ユーザ４８０２Ｂによって装着されるデバイス内にアクセス可能であることを示す。図３９Ｆは、追跡マップ４８０４Ａ、４８０４Ｂおよび規準４８１４がマージされ得ることを示す。いくつかの実施形態では、いくつかのＰＣＦは、マージの結果として、除去されてもよい。図示される実施例では、マージされたマップは、規準マップ４８１４のＰＣＦ４８１０Ｃを含むが、追跡マップ４８０４Ａ、４８０４ＢのＰＣＦ４８１０Ａ、４８１０Ｂを含まない。ＰＣＦ４８１０Ａ、４８１０Ｂと以前に関連付けられるＰＰは、マップマージ後、ＰＣＦ４８１０Ｃと関連付けられてもよい。
実施例
図４０および４１は、図９の第１のＸＲデバイス１２．１によって追跡マップを使用する実施例を図示する。図４０は、いくつかの実施形態による、３次元の第１のローカル追跡マップ（マップ１）の２次元表現であって、これは、図９の第１のＸＲデバイスによって生成され得る。図４１は、いくつかの実施形態による、マップ１を第１のＸＲデバイスから図９のサーバにアップロードするステップを図示する、ブロック図である。
図４０は、第１のＸＲデバイス１２．１上のマップ１および仮想コンテンツ（コンテンツ１２３およびコンテンツ４５６）を図示する。マップ１は、原点（原点１）を有する。マップ１は、いくつかのＰＣＦ（ＰＣＦａ－ＰＣＦｄ）を含む。第１のＸＲデバイス１２．１の視点から、ＰＣＦａは、一例として、マップ１の原点に位置し、（０，０，０）のＸ、Ｙ、およびＺ座標を有し、ＰＣＦｂは、Ｘ、Ｙ、およびＺ座標（－１，０，０）を有する。コンテンツ１２３は、ＰＣＦａと関連付けられる。本実施例では、コンテンツ１２３は、（１，０，０）のＰＣＦａに対するＸ、Ｙ、およびＺ関係を有する。コンテンツ４５６は、ＰＣＦｂに対する関係を有する。本実施例では、コンテンツ４５６は、ＰＣＦｂに対する（１，０，０）のＸ、Ｙ、およびＺ関係を有する。
図４１では、第１のＸＲデバイス１２．１は、マップ１をサーバ２０にアップロードする。本実施例では、サーバが、追跡マップによって表される物理的世界の同一領域のための規準マップを記憶しないため、追跡マップは、初期規準マップとして記憶された。サーバ２０は、ここでは、マップ１に基づく、規準マップを有する。第１のＸＲデバイス１２．１は、本段階では空である、規準マップを有する。サーバ２０は、議論の目的のために、いくつかの実施形態では、マップ１以外の他のマップを含まない。マップは、第２のＸＲデバイス１２．２上に記憶されていない。
第１のＸＲデバイス１２．１はまた、そのＷｉ－Ｆｉシグネチャデータをサーバ２０に伝送する。サーバ２０は、Ｗｉ－Ｆｉシグネチャデータを使用して、記録されていたそのような他のデバイスのＧＰＳ場所とともに、過去にサーバ２０または他のサーバに接続されていた他のデバイスから集められた知能に基づいて、第１のＸＲデバイス１２．１の大まかな場所を決定してもよい。第１のＸＲデバイス１２．１は、ここで、第１のセッション（図８参照）を終了し得、サーバ２０から接続解除し得る。
図４２は、いくつかの実施形態による、図１６のＸＲシステムを図示する、概略図であって、第１のユーザ１４．１が第１のセッションを終了した後、第２のユーザ１４．２がＸＲシステムの第２のＸＲデバイスを使用して第２のセッションを開始したことを示す。図４３Ａは、第２のユーザ１４．２による第２のセッションの開始を示す、ブロック図である。第１のユーザ１４．１は、第１のユーザ１４．１による第１のセッションが終了したため、想像線で示される。第２のＸＲデバイス１２．２は、オブジェクトを記録し始める。可変粒度を伴う種々のシステムが、第２のＸＲデバイス１２．２による第２のセッションが第１のＸＲデバイス１２．１による第１のセッションの同一近傍内にあることを決定するために、サーバ２０によって使用されてもよい。例えば、Ｗｉ－Ｆｉシグネチャデータ、全地球測位システム（ＧＰＳ）測位データ、Ｗｉ－Ｆｉシグネチャデータに基づくＧＰＳデータ、または場所を示す任意の他のデータが、その場所を記録するために、第１および第２のＸＲデバイス１２．１および１２．２内に含まれてもよい。代替として、第２のＸＲデバイス１２．２によって識別されるＰＣＦは、マップ１のＰＣＦと類似性を示し得る。
図４３Ｂに示されるように、第２のＸＲデバイスは、ブートアップし、画像１１１０等のデータを１つまたはそれを上回るカメラ４４、４６から収集し始める。図１４に示されるように、いくつかの実施形態では、ＸＲデバイス（例えば、第２のＸＲデバイス１２．２）は、１つまたはそれを上回る画像１１１０を収集し、画像処理を実施し、１つまたはそれを上回る特徴／着目点１１２０を抽出してもよい。各特徴は、記述子１１３０に変換されてもよい。いくつかの実施形態では、記述子１１３０は、結び付けられた関連付けられる画像の位置および方向を有し得る、キーフレーム１１４０を説明するために使用されてもよい。１つまたはそれを上回るキーフレーム１１４０は、前の持続姿勢１１５０からの閾値距離、例えば、３メートル後に自動的に生成され得る、単一持続姿勢１１５０に対応してもよい。１つまたはそれを上回る持続姿勢１１５０は、所定の距離後、例えば、５メートル毎に自動的に生成され得る、単一ＰＣＦ１１６０に対応してもよい。経時的に、ユーザが、ユーザの環境を動き回り続け、ＸＲデバイスが、画像１１１０等のより多くのデータを収集し続けるにつれて、付加的ＰＣＦ（例えば、ＰＣＦ３およびＰＣＦ４、５）が、作成され得る。１つまたはそれを上回るアプリケーション１１８０は、ＸＲデバイス上で起動され、ユーザへの提示のために、仮想コンテンツ１１７０をＸＲデバイスに提供してもよい。仮想コンテンツは、関連付けられるコンテンツ座標フレームを有してもよく、これは、１つまたはそれを上回るＰＣＦに対して設置されてもよい。図４３Ｂに示されるように、第２のＸＲデバイス１２．２は、３つのＰＣＦを作成する。いくつかの実施形態では、第２のＸＲデバイス１２．２は、サーバ上２０に記憶される１つまたはそれを上回る規準マップに対して位置特定するように試みてもよい。
いくつかの実施形態では、図４３Ｃに示されるように、第２のＸＲデバイス１２．２は、規準マップ１２０をサーバ２０からダウンロードしてもよい。第２のＸＲデバイス１２．２上のマップ１は、ＰＣＦａ－ｄと、原点１とを含む。いくつかの実施形態では、サーバ２０は、種々の場所のための複数の規準マップを有してもよく、第２のＸＲデバイス１２．２が第１のセッションの間の第１のＸＲデバイス１２．１の近傍と同じ近傍内にあることを決定し、第２のＸＲデバイス１２．２に、その近傍に関する規準マップを送信してもよい。
図４４は、第２のＸＲデバイス１２．２が、マップ２を生成する目的のためのＰＣＦの識別を開始することを示す。第２のＸＲデバイス１２．２は、単一ＰＣＦ、すなわち、ＰＣＦ１、２のみを識別している。第２のＸＲデバイス１２．２のためのＰＣＦ１、２のＸ、Ｙ、およびＺ座標は、（１，１，１）であり得る。マップ２は、その独自の原点（原点２）を有し、これは、現在の頭部姿勢セッションのためのデバイス始動時のデバイス２の頭部姿勢に基づいてもよい。いくつかの実施形態では、第２のＸＲデバイス１２．２は、マップ２を規準マップに対して位置特定するように直ちに試みてもよい。いくつかの実施形態では、マップ２は、システムが２つのマップ間の任意または十分な重複を認識しないため、規準マップ（マップ１）に対して位置特定することが不可能である場合がある（すなわち、位置特定が失敗し得る）。位置特定は、第２のマップ内にもまた表される、第１のマップ内に表される物理的世界の一部を識別し、第１のマップと第２のマップとの間の、それらの部分を整合させるために要求される変換を算出することによって実施されてもよい。いくつかの実施形態では、本システムは、ローカルマップと規準マップとの間のＰＣＦ比較に基づいて、位置特定してもよい。いくつかの実施形態では、本システムは、ローカルマップと規準マップとの間の持続姿勢比較に基づいて、位置特定してもよい。いくつかの実施形態では、本システムは、ローカルマップと規準マップとの間のキーフレーム比較に基づいて、位置特定してもよい。
図４５は、第２のＸＲデバイス１２．２がマップ２のさらなるＰＣＦ（ＰＣＦ１、２、ＰＣＦ３、ＰＣＦ４、５）を識別した後のマップ２を示す。第２のＸＲデバイス１２．２は、再び、マップ２を規準マップに対して位置特定するように試みる。マップ２は、規準マップの少なくとも一部と重複するように拡張されたため、位置特定試行は、成功するであろう。いくつかの実施形態では、ローカル追跡マップ、マップ２、および規準マップ間の重複は、ＰＣＦ、持続姿勢、キーフレーム、または任意の他の好適な中間または派生構築物によって表されてもよい。
さらに、第２のＸＲデバイス１２．２は、コンテンツ１２３およびコンテンツ４５６をマップ２のＰＣＦ１、２およびＰＣＦ３に関連付けている。コンテンツ１２３は、（１，０，０）のＰＣＦ１、２に対するＸ、Ｙ、およびＺ座標を有する。同様に、マップ２内のＰＣＦ３に対するコンテンツ４５６のＸ、Ｙ、およびＺ座標も、（１，０，０）である。
図４６Ａおよび４６Ｂは、規準マップに対するマップ２の位置特定成功を図示する。位置特定は、１つのマップと他のマップ内のマッチングする特徴に基づいてもよい。ここでは、１つのマップの他のマップに対する平行移動および回転の両方を伴う、適切な変換を用いることで、マップ１４１０の重複エリア／ボリューム／セクションは、マップ１および規準マップとの共通部分を表す。マップ２は、位置特定する前に、ＰＣＦ３および４、５を作成し、規準マップは、マップ２が作成される前に、ＰＣＦａおよびｃを作成したため、異なるＰＣＦが、実空間（例えば、異なるマップ）内の同一ボリュームを表すために作成された。
図４７に示されるように、第２のＸＲデバイス１２．２は、規準マップからのＰＣＦａ－ｄを含むように、マップ２を拡張させる。ＰＣＦａ－ｄの含有は、規準マップに対するマップ２の位置特定を表す。いくつかの実施形態では、ＸＲシステムは、最適化ステップを実施し、１４１０内のＰＣＦ、すなわち、ＰＣＦ３およびＰＣＦ４、５等の複製ＰＣＦを重複エリアから除去してもよい。マップ２が位置特定した後、コンテンツ４５６およびコンテンツ１２３等の仮想コンテンツの設置は、更新されたマップ２内の最も近い更新されたＰＣＦに対することになるだろう。仮想コンテンツは、コンテンツのための変化されたＰＣＦ結び付けにもかかわらず、かつマップ２のための更新されたＰＣＦにもかかわらず、ユーザに対して同一実世界場所内に現れる。
図４８に示されるように、第２のＸＲデバイス１２．２は、さらなるＰＣＦ（ＰＣＦｅ、ｆ、ｇ、およびｈ）が第２のＸＲデバイス１２．２によって識別されるにつれて、例えば、ユーザが実世界を歩き回るにつれて、マップ２を拡張させ続ける。また、マップ１は、図４７および４８において拡張されていないことに留意されたい。
図４９を参照すると、第２のＸＲデバイス１２．２は、マップ２をサーバ２０にアップロードする。サーバ２０は、規準マップとともに、マップ２を記憶する。いくつかの実施形態では、マップ２は、第２のＸＲデバイス１２．２のためのセッションが終了すると、サーバ２０にアップロードされてもよい。
サーバ２０内の規準マップは、ここでは、ＰＣＦｉを含み、これは、第１のＸＲデバイス１２．１上のマップ１内に含まれない。サーバ２０上の規準マップは、第３のＸＲデバイス（図示せず）が、マップをサーバ２０にアップロードし、そのようなマップが、ＰＣＦｉを含むと、ＰＣＦｉを含むように拡張され得る。
図５０では、サーバ２０は、マップ２を規準マップとマージし、新しい規準マップを形成する。サーバ２０は、ＰＣＦａ－ｄが規準マップおよびマップ２と共通であることを決定する。サーバは、ＰＣＦｅ－ｈおよびＰＣＦ１、２をマップ２から含むように、規準マップを拡張させ、新しい規準マップを形成する。第１および第２のＸＲデバイス１２．１および１２．２上の規準マップは、マップ１に基づき、古くなる。
図５１では、サーバ２０は、新しい規準マップを第１および第２のＸＲデバイス１２．１および１２．２に伝送する。いくつかの実施形態では、これは、第１のＸＲデバイス１２．１および第２のデバイス１２．２が、異なるまたは新しいまたは後続セッションの間、位置特定しようと試みるときに生じ得る。第１および第２のＸＲデバイス１２．１および１２．２は、上記に説明されるように、その個別のローカルマップ（それぞれ、マップ１およびマップ２）を新しい規準マップに対して位置特定するステップに進む。
図５２に示されるように、頭部座標フレーム９６または「頭部姿勢」は、マップ２内のアンカに関連する。いくつかの実施形態では、マップの原点、すなわち、原点２は、セッションの開始時における第２のＸＲデバイス１２．２の頭部姿勢に基づく。ＰＣＦが、セッションの間に作成されるにつれて、ＰＣＦは、世界座標フレーム、すなわち、原点２に対して設置される。マップ２のＰＣＦは、規準座標フレームに対する持続座標フレームとしての役割を果たし、世界座標フレームは、前のセッションの世界座標フレーム（例えば、図４０におけるマップ１の原点１）であってもよい。これらの座標フレームは、図４６Ｂに関連して上記に議論されるように、規準マップに対してマップ２を位置特定するために使用される同一変換によって関連される。
世界座標フレームから頭部座標フレーム９６への変換は、図９を参照して前述されている。図５２に示される頭部座標フレーム９６は、マップ２のＰＣＦに対する特定の座標位置にあって、マップ２に対して特定の角度にある、２つの直交軸のみを有する。しかしながら、頭部座標フレーム９６は、マップ２のＰＣＦに対するある３次元場所内にあって、３次元空間内の３つの直交軸を有することを理解されたい。
図５３では、頭部座標フレーム９６は、マップ２のＰＣＦに対して移動している。頭部座標フレーム９６は、第２のユーザ１４．２がその頭部を移動させたため、移動している。ユーザは、その頭部を６自由度（６ｄｏｆ）において移動させることができる。頭部座標フレーム９６は、したがって、６ｄｏｆ、すなわち、図５２におけるその前の場所３次元において、かつマップ２のＰＣＦに対する３つの直交軸のまわりで移動することができる。頭部座標フレーム９６は、それぞれ、図９における実オブジェクト検出カメラ４４および慣性測定ユニット４８が、実オブジェクトおよび頭部ユニット２２の運動を検出すると、調節される。頭部姿勢追跡に関するさらなる情報は、「Ｅｎｈａｎｃｅｄ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｆｏｒ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ」と題された米国特許出願第１６／２２１，０６５号に開示され、参照することによってその全体として本明細書に組み込まれる。
図５４は、音が１つまたはそれを上回るＰＣＦと関連付けられてもよいことを示す。ユーザは、例えば、立体音を伴うヘッドホンまたはイヤホンを装着し得る。ヘッドホンを通した音の場所が、従来の技法を使用してシミュレートされることができる。音の場所は、ユーザがその頭部を左に回転させると、音の場所が右に回転し、したがって、ユーザが実世界内の同一場所から生じる音を知覚するように、定常位置に位置してもよい。本実施例では、音の場所は、音１２３および音４５６によって表される。議論の目的のために、図５４は、その分析において、図４８に類似する。第１および第２のユーザ１４．１および１４．２が、同一または異なる時間において、同一部屋内に位置するとき、彼らは、実世界内の同一場所から生じる音１２３および音４５６を知覚する。
図５５および５６は、上記に説明される技術のさらなる実装を図示する。第１のユーザ１４．１は、図８を参照して説明されるように、第１のセッションを開始した。図５５に示されるように、第１のユーザ１４．１は、想像線によって示されるように、第１のセッションを終了した。第１のセッションの終了時、第１のＸＲデバイス１２．１は、マップ１をサーバ２０にアップロードした。第１のユーザ１４．１は、今度は、第１のセッションの後の時間において、第２のセッションを開始した。第１のＸＲデバイス１２．１は、マップ１が第１のＸＲデバイス１２．１上にすでに記憶されているため、マップ１をサーバ２０からダウンロードしない。マップ１が、喪失される場合、第１のＸＲデバイス１２．１は、マップ１をサーバ２０からダウンロードする。第１のＸＲデバイス１２．１は、次いで、上記に説明されるように、マップ２のためのＰＣＦを構築し、マップ１に対して位置特定し、規準マップをさらに展開するステップに進む。第１のＸＲデバイス１２．１のマップ２は、次いで、上記に説明されるように、ローカルコンテンツ、頭部座標フレーム、ローカル音等を関連させるために使用される。
図５７および５８を参照すると、また、１人を上回るユーザが同一セッションにおいてサーバと相互作用することが可能性として考えられ得る。本実施例では、第１のユーザ１４．１および第２のユーザ１４．２に、第３のＸＲデバイス１２．３を伴う第３のユーザ１４．３が加わっている。各ＸＲデバイス１２．１、１２．２、および１２．３は、それぞれ、その独自のマップ、すなわち、マップ１、マップ２、およびマップ３を生成し始める。ＸＲデバイス１２．１、１２．２、および１２．３が、マップ１、２、および３を展開し続けるにつれて、マップは、サーバ２０に漸次的にアップロードされる。サーバ２０は、マップ１、２、および３をマージし、規準マップを形成する。規準マップは、次いで、サーバ２０からＸＲデバイス１２．１、１２．２、および１２．３のそれぞれのものに伝送される。
図５９は、いくつかの実施形態による、頭部姿勢を復元および／またはリセットするための視認方法の側面を図示する。図示される実施例では、行為１４００において、視認デバイスが、電源投入される。行為１４１０では、電源投入されることに応答して、新しいセッションが、開始される。いくつかの実施形態では、新しいセッションは、頭部姿勢を確立するステップを含んでもよい。ユーザの頭部に固着される、頭部搭載型フレーム上の１つまたはそれを上回る捕捉デバイスが、最初に、環境の画像を捕捉し、次いで、表面を画像から決定することによって、環境の表面を捕捉する。いくつかの実施形態では、表面データはまた、重力センサからのデータと組み合わせられ、頭部姿勢を確立してもよい。頭部姿勢を確立する他の好適な方法が、使用されてもよい。
行為１４２０では、視認デバイスのプロセッサが、頭部姿勢の追跡のためのルーチンに入る。捕捉デバイスは、ユーザがその頭部を移動させるにつれて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定し続ける。
行為１４３０では、プロセッサが、頭部姿勢が喪失されたかどうかを決定する。頭部姿勢は、低特徴入手をもたらし得る、あまりに多くの反射性表面、低光量、何もない壁、屋外等、「エッジ」ケースに起因して、または移動し、マップの一部を形成する、群集等、動的ケースのため、喪失された状態になり得る。１４３０におけるルーチンは、頭部姿勢が喪失されたかどうかを決定するための十分な時間を可能にするために、ある時間量、例えば、１０秒が経過することを可能にする。頭部姿勢が喪失されていない場合、プロセッサは、１４２０に戻り、再び、頭部姿勢の追跡に入る。
頭部姿勢が、行為１４３０において喪失された場合、プロセッサは、１４４０において、頭部姿勢を復元するためのルーチンに入る。頭部姿勢が、低光量に起因して喪失された場合、以下のメッセージ等のメッセージが、視認デバイスのディスプレイを通してユーザに表示される。
システムが、低光量条件を検出中です。より光の多いエリアに移動してください。
システムは、十分な光が利用可能であるかどうかと、頭部姿勢が復元され得るかどうかとを監視し続けるであろう。システムは、代替として、表面の低テクスチャが頭部姿勢を喪失させていることを決定し得、その場合、ユーザは、表面の捕捉を改良するための提案として、以下のプロンプトがディスプレイ内に与えられる。
システムは、微細なテクスチャを伴う十分な表面を検出することができません。表面のテクスチャが粗くなく、テクスチャがより精緻化されたエリアに移動してください。
行為１４５０では、プロセッサは、頭部姿勢復元が失敗したかどうかを決定するためのルーチンに入る。頭部姿勢復元が失敗していない（すなわち、頭部姿勢復元が成功した）場合、プロセッサは、再び、頭部姿勢の追跡に入ることによって、行為１４２０に戻る。頭部姿勢復元が失敗した場合、プロセッサは、行為１４１０に戻り、新しいセッションを確立する。新しいセッションの一部として、全てのキャッシュされたデータは、無効化され、以降、頭部姿勢は、新しく確立される。頭部追跡の任意の好適な方法が、図５９に説明されるプロセスと組み合わせて使用されてもよい。米国特許出願第１６／２２１，０６５号は、頭部追跡を説明しており、参照することによってその全体として本明細書に組み込まれる。
遠隔位置特定
種々の実施形態は、遠隔リソースを利用して、個々のユーザおよび／またはユーザのグループ間の持続かつ一貫したクロスリアリティ体験を促進し得る。本発明者らは、本明細書に説明されるような規準マップを用いたＸＲデバイスの動作の利点が、規準マップのセットをダウンロードせずに達成され得ることを認識および理解している。上記に議論される図３０は、規準マップがデバイスにダウンロードされるであろう、例示的実装を図示する。マップをダウンロードしない利点は、例えば、特徴および姿勢情報を、規準マップのセットを維持する、遠隔サービスに送信することによって達成されてもよい。いくつかの実施形態によると、規準マップを使用して、仮想コンテンツを規準マップに対して規定された場所に位置付けることを求める、デバイスは、遠隔サービスから、特徴と規準マップとの間の１つまたはそれを上回る変換を受信してもよい。それらの変換は、物理的世界内のそれらの特徴の位置についての情報を維持する、デバイス上において、仮想コンテンツを規準マップに対して規定された場所に位置付ける、または別様に、規準マップに対して規定された物理的世界内の場所を識別するために使用されてもよい。
いくつかの実施形態では、空間情報は、ＸＲデバイスによって捕捉され、クラウドベースのサービス等の遠隔サービスに通信され、これは、空間情報を使用して、ＸＲシステムのアプリケーションまたは他のコンポーネントによって使用される規準マップに対して、ＸＲデバイスを位置特定し、物理的世界に対する仮想コンテンツの場所を規定する。いったん位置特定されると、デバイスによって維持される追跡マップを規準マップにリンクする、変換が、デバイスに通信されることができる。変換は、追跡マップと併せて、その中に規準マップに対して規定された仮想コンテンツをレンダリングするべき位置を決定する、または別様に、規準マップに対して規定された物理的世界内の場所を識別するために使用されてもよい。
本発明者らは、デバイスと遠隔位置特定サービスとの間で交換されるために必要とされるデータが、デバイスが、追跡マップを遠隔サービスに通信し、そのサービスからデバイスベースの位置特定のための規準マップのセットを受信するときに生じ得るようなマップデータを通信することと比較して、非常にわずかであり得ることを認識している。いくつかの実施形態では、位置特定機能をクラウドリソース上で実施することは、少量の情報のみがデバイスから遠隔サービスに伝送されることを要求する。例えば、完全追跡マップが位置特定を実施するために遠隔サービスに通信されることは、要件ではない。いくつかの実施形態では、上記に説明されるように、持続姿勢に関連して記憶され得るような特徴および姿勢情報が、遠隔サーバに伝送され得る。上記に説明されるように、特徴が記述子によって表される、実施形態では、アップロードされた情報は、さらによりわずかであり得る。
位置特定サービスからデバイスに返される結果は、アップロードされた特徴をマッチングする規準マップの部分に関連させる、１つまたはそれを上回る変換であってもよい。それらの変換は、その追跡マップと併せて、仮想コンテンツの場所を識別する、または別様に、物理的世界内の場所を識別するために、ＸＲシステム内で使用されてもよい。上記に説明されるように、ＰＣＦ等の持続空間情報が、規準マップに対する場所を規定するために使用される、実施形態では、位置特定サービスは、デバイスに、位置特定成功後、特徴と１つまたはそれを上回るＰＣＦとの間の変換をダウンロードしてもよい。
結果として、ＸＲデバイスと位置特定を実施するための遠隔サービスとの間の通信によって消費されるネットワーク帯域幅は、小さくなり得る。本システムは、したがって、頻繁な位置特定をサポートし、システムと相互作用する各デバイスが、仮想コンテンツを位置付ける、または他の場所ベースの機能を実施するための情報を迅速に取得することを有効にし得る。デバイスが、物理的環境内を移動するにつれて、更新された位置特定情報のための要求を繰り返してもよい。加えて、デバイスは、規準マップが変化するとき等、付加的追跡マップのマージ等を通して、位置特定情報への更新を頻繁に取得し、マップを拡張させる、またはその正確度を増加させてもよい。
さらに、特徴をアップロードし、変換をダウンロードすることは、偽装によってマップを取得する困難度を増加させることによって、マップ情報を複数のユーザ間で共有する、ＸＲシステムにおけるプライバシを向上させ得る。非認可ユーザは、例えば、その中に非認可ユーザが位置しない、物理的世界の一部を表す、規準マップに関する偽の要求を送信することによって、マップをシステムから取得しないように阻止され得る。非認可ユーザは、その領域内に物理的に存在しない場合、それに関するマップ情報を要求している、物理的世界の領域内の特徴へのアクセスを有する可能性が低いであろう。特徴情報が特徴説明としてフォーマット化される、実施形態では、特徴情報をマップ情報に関する要求内で偽装する困難度は、高くなるであろう。さらに、本システムが、それについての場所情報が要求される、領域内で動作する、デバイスの追跡マップに適用されるように意図される変換を返すとき、本システムによって返される情報は、詐欺師には殆どまたは全く役に立たない可能性が高い。
いくつかの実施形態によると、位置特定サービスは、クラウドベースのマイクロサービスとして実装される。いくつかの実施例では、クラウドベースの位置特定サービスを実装することは、デバイス算出リソースを保存することに役立ち得、位置特定のために要求される算出が非常に短待ち時間を伴って実施されることを有効にし得る。それらの動作は、付加的クラウドリソースを提供することによって利用可能なほぼ無限の算出力または他のコンピューティングリソースによってサポートされ、ＸＲシステムのスケーラビリティが多数のデバイスをサポートすることを確実にすることができる。一実施例では、多くの規準マップは、ほぼ瞬時のアクセスのために、メモリ内に維持され、または代替として、高可用性デバイス内に記憶され、システム待ち時間を低減させることができる。
さらに、クラウドサービス内で複数のデバイスに関する位置特定を実施することは、プロセスに対する精緻化を有効にし得る。位置特定遠隔測定および統計は、どの規準マップがアクティブメモリおよび／または高可用性記憶装置内にあるかに関する情報を提供することができる。複数のデバイスに関する統計は、例えば、最も頻繁にアクセスされる規準マップを識別するために使用されてもよい。
付加的正確度もまた、遠隔デバイスに対する実質的処理リソースを用いたクラウド環境または他の遠隔環境内の処理の結果として達成され得る。例えば、位置特定は、ローカルデバイス上で実施される処理に対して、クラウド内のより高密度の規準マップ上で行われることができる。マップは、例えば、より多くのＰＣＦまたはＰＣＦあたりより高い密度の特徴記述子とともに、クラウド内に記憶され、デバイスからの特徴のセットと規準マップとの間のマッチングの正確度を増加させてもよい。
図６１は、ＸＲシステム６１００の概略図である。ユーザセッションの間、クロスリアリティコンテンツを表示する、ユーザデバイスは、種々の形態で現れることができる。例えば、ユーザデバイスは、ウェアラブルＸＲデバイス（例えば、６１０２）またはハンドヘルドモバイルデバイス（例えば、６１０４）であることができる。上記に議論されるように、これらのデバイスは、アプリケーションまたは他のコンポーネント等のソフトウェアとともに構成され、および／または有線接続され、仮想コンテンツをその個別のディスプレイ上にレンダリングするために使用され得る、ローカル位置情報（例えば、追跡マップ）を生成することができる。
仮想コンテンツ位置付け情報は、グローバル場所情報に対して規定されてもよく、これは、例えば、１つまたはそれを上回るＰＣＦを含有する、規準マップとして、フォーマット化されてもよい。いくつかの実施形態、例えば、図６１に示される実施例形態によると、システム６１００は、ユーザデバイス上での仮想コンテンツの機能および表示をサポートする、クラウドベースのサービスとともに構成される。
一実施例では、位置特定機能は、クラウドベースのサービス６１０６として提供され、これは、マイクロサービスであってもよい。クラウドベースのサービス６１０６は、複数のコンピューティングデバイスのいずれか上に実装されてもよく、そこからコンピューティングリソースが、クラウド内で実行される１つまたはそれを上回るサービスに配分されてもよい。それらのコンピューティングデバイスは、相互に、かつウェアラブルＸＲデバイス６１０２およびハンドヘルドデバイス６１０４等のデバイスにアクセス可能に相互接続されてもよい。そのような接続は、１つまたはそれを上回るネットワークを経由して提供されてもよい。
いくつかの実施形態では、クラウドベースのサービス６１０６は、記述子情報を個別のユーザデバイスから受け取り、デバイスをマッチングする規準マップまたは複数のマップに対して「位置特定」するように構成される。例えば、クラウドベースの位置特定サービスは、受信された記述子情報を個別の規準マップに関する記述子情報にマッチングさせる。規準マップは、物理的世界についての情報を入手する、画像センサまたは他のセンサを有する、１つまたはそれを上回るデバイスによって提供される、マップをマージすることによって、規準マップを作成する、上記に説明されるような技法を使用して作成されてもよい。しかしながら、規準マップが、それらにアクセスするデバイスによって作成されることは、要件ではなく、したがって、マップは、例えば、マップを位置特定サービス６１０６に利用可能にすることによって、それらを公開し得る、マップ開発者によって作成されてもよい。
いくつかの実施形態によると、クラウドサービスは、規準マップ識別をハンドリングし、規準マップのリポジトリを潜在的マッチングのセットに対してフィルタリングするための動作を含んでもよい。フィルタリングは、図２９に図示されるように、または図２９に示されるフィルタ基準の代わりに、またはそれに加え、フィルタ基準および他のフィルタ基準の任意のサブセットを使用することによって、実施されてもよい。一実施形態では、地理的データが、規準マップをマッチングさせるための検索を位置特定を要求するデバイスに近接するエリアを表すマップに限定するために使用されることができる。例えば、Ｗｉ－Ｆｉ信号データ、Ｗｉ－Ｆｉフィンガプリント情報、ＧＰＳデータ、および／または他のデバイス場所情報等のエリア属性が、規準マップ上に記憶された大まかなフィルタとして使用され、それによって、記述子の分析を、ユーザデバイスに近接することが既知である、またはその可能性が高い規準マップに限定することができる。同様に、各デバイスの場所履歴が、デバイスの最新の場所の近傍内の規準マップが優先的に検索されるように、クラウドサービスによって維持されてもよい。いくつかの実施例では、フィルタリングは、図３１Ｂ、３２、３３、および３４に関して上記に議論される機能を含むことができる。
図６２は、クラウドベースのサービスを使用して、規準マップを用いて、デバイスの位置を位置特定し、デバイスローカル座標系と規準マップの座標系との間の１つまたはそれを上回る変換を規定する、変換情報を受信するために、デバイスによって実行され得る、例示的プロセスフローである。種々の実施形態および実施例は、第１の座標フレームから第２の座標フレームへの変換を規定するものとして１つまたはそれを上回る変換を説明し得る。他の実施形態は、第２の座標フレームから第１の座標フレームへの変換を含む。任意のさらに他の実施形態では、変換は、１つの座標フレームから別の座標フレームへの遷移を有効にし、結果として生じる座標フレームは、所望の座標フレーム出力（例えば、その中にコンテンツを表示するべき座標フレームを含む）のみに依存する。まださらなる実施形態では、座標系変換は、第２の座標フレームから第１の座標フレームおよび第１の座標フレームから第２の座標の決定を有効にし得る。
いくつかの実施形態によると、規準マップに対して定義された持続姿勢毎の変換を反映させる情報は、デバイスに通信されることができる。
いくつかの実施形態によると、プロセス６２００は、新しいセッションを用いて、６２０２から開始することができる。新しいセッションをデバイス上で開始することは、画像情報の捕捉を開始し、デバイスのための追跡マップを構築し得る。加えて、デバイスは、メッセージを送信し、位置特定サービスのサーバに登録し、サーバに、そのデバイスのためのセッションを作成するようにプロンプトしてもよい。
いくつかの実施形態では、新しいセッションをデバイス上で開始することは、随意に、調節データをデバイスから位置特定サービスに送信することを含んでもよい。位置特定サービスは、デバイスに、特徴および関連付けられる姿勢のセットに基づいて算出される、１つまたはそれを上回る変換を返す。特徴の姿勢が、変換の算出前に、デバイス特有の情報に基づいて調節される、および／または変換が、変換の算出後、デバイス特有の情報に基づいて調節される場合、それらの算出をデバイス上で実施するのではなく、デバイス具体的情報は、位置特定サービスが調節を適用し得るように、位置特定サービスに送信され得る。具体的実施例として、デバイス特有の調節情報を送信することは、センサおよび／またはディスプレイに関する較正データを捕捉することを含んでもよい。較正データは、例えば、測定された場所に対する特徴点の場所を調節するために使用されてもよい。代替として、または加えて、較正データは、そこでディスプレイが、その特定のデバイスのために正確に位置付けられて現れるように、仮想コンテンツをレンダリングするようにコマンドされる、場所を調節するために使用されてもよい。本較正データは、例えば、デバイス上のセンサを用いて得られる同一場面の複数の画像から導出されてもよい。それらの画像内で検出された特徴の場所は、複数の画像が、センサ場所に関して解法され得る、方程式のセットをもたらすように、センサ場所の関数として表され得る。算出されたセンサ場所は、公称位置と比較されてもよく、較正データは、任意の差異から導出されてもよい。いくつかの実施形態では、デバイスの構造についての固有の情報はまた、いくつかの実施形態では、較正データがディスプレイのために算出されることを有効にし得る。
較正データがセンサおよび／またはディスプレイのために生成される、実施形態では、較正データは、測定または表示プロセスにおいて、任意の点に適用されてもよい。いくつかの実施形態では、較正データは、位置特定サーバに送信されてもよく、これは、較正データを、位置特定サーバに登録されており、したがって、サーバとセッション中である、デバイス毎に確立されるデータ構造内に記憶してもよい。位置特定サーバは、較正データを、その較正データを供給するデバイスのための位置特定プロセスの一部として算出された任意の変換に適用してもよい。感知および／または表示される情報のより高い正確度のために較正データを使用する算出負担は、したがって、較正サービスによって担われ、デバイス上での処理負担を低減させるためのさらなる機構を提供する。
いったん新しいセッションが、確立されると、プロセス６２００は、デバイスの環境の新しいフレームの捕捉を伴う、６２０４に継続し得る。各フレームは、６２０６において、捕捉されたフレームに関する記述子（例えば、上記に議論されるＤＳＦ値を含む）を生成するように処理されることができる。これらの値は、図１４、２２、および２３に関して上記に議論されるような技法を含む、上記に説明される技法のいくつかまたは全てを使用して、算出されてもよい。議論されるように、記述子は、記述子への特徴点のマッピング、またはいくつかの実施形態では、特徴点の周囲の画像のパッチのマッピングとして、算出されてもよい。記述子は、新しく入手されたフレーム／画像と記憶されたマップとの間の効率的マッチングを有効にする、値を有してもよい。さらに、画像から抽出された特徴の数は、画像あたり２００の特徴点等の画像あたり最大数の特徴点に限定されてもよい。特徴点は、上記に説明されるように、着目点を表すように選択されてもよい。故に、行為６２０４および６２０６は、追跡マップを形成する、または別様に、デバイスの周囲の物理的世界の画像を周期的に収集するデバイスプロセスの一部として、実施されてもよい、または位置特定のために別個に実施されてもよいが、そうである必要はない。
６２０６における特徴抽出は、姿勢情報を６２０６において抽出された特徴に付加することを含んでもよい。姿勢情報は、デバイスのローカル座標系内の姿勢であってもよい。いくつかの実施形態では、姿勢は、上記に議論されるように、持続姿勢等の追跡マップ内の基準点に対するものであってもよい。代替として、または加えて、姿勢は、デバイスの追跡マップの原点に対するものであってもよい。そのような実施形態は、本明細書に説明されるように、位置特定サービスが、広範囲のデバイスのための位置特定サービスを、それらが持続姿勢を利用しない場合でも、提供することを有効にし得る。それにかかわらず、姿勢情報は、位置特定サービスが、特徴を記憶されたマップ内の特徴にマッチングさせることに応じて、デバイスに返され得る、変換を算出するための姿勢情報を使用し得るように、各特徴または特徴の各セットに付加され得る。
プロセス６２００は、決定ブロック６２０７に継続し得、そこで、位置特定を要求するかどうかの決定が、行われる。１つまたはそれを上回る基準が、位置特定を要求するかどうかを決定するために適用されてもよい。基準は、デバイスが、ある閾値時間量後、位置特定を要求し得るように、時間の経過を含んでもよい。例えば、位置特定が、ある閾値時間量内に試行されなかった場合、プロセスは、決定ブロック６２０７から行為６２０８に継続し得、そこで、位置特定が、クラウドから要求される。その閾値時間量は、例えば、２５秒等の１０～３０秒であってもよい。代替として、または加えて、位置特定は、デバイスの運動によってトリガされてもよい。プロセス６２００を実行するデバイスは、ＩＭＵおよびその追跡マップを使用して、その運動を追跡し、デバイスが最後に位置特定を要求した場所からの閾値距離を超える運動の検出に応じて、位置特定を開始してもよい。閾値距離は、例えば、３～５メートル等の１～１０メートルであってもよい。なおもさらなる代替として、位置特定は、上記に説明されるように、デバイスが新しい持続姿勢を作成する、またはデバイスに関する現在の持続姿勢が変化するとき等、イベントに応答して、トリガされてもよい。
いくつかの実施形態では、決定ブロック６２０７は、位置特定をトリガするための閾値が動的に確立され得るように、実装されてもよい。例えば、その中で特徴が、抽出された特徴のセットを記憶されたマップの特徴にマッチングさせる際に低信頼度が存在し得るように、主として、均一である、環境では、位置特定は、より頻繁に要求され、位置特定における少なくとも１回の試行が成功するであろう、機会を増加させ得る。そのようなシナリオでは、決定ブロック６２０７において適用される閾値は、減少されてもよい。同様に、その中に比較的に少ない特徴が存在する、環境では、決定ブロック６２０７において適用される閾値は、位置特定試行の周波数を増加させるように、減少されてもよい。
位置特定がトリガされる方法にかかわらず、トリガされると、プロセス６２００は、行為６２０８に進み得、そこで、デバイスは、位置特定サービスによって位置特定を実施するために使用されるデータを含む、位置特定サービスのための要求を送信する。いくつかの実施形態では、複数の画像フレームからのデータが、位置特定試行のために提供されてもよい。位置特定サービスは、例えば、複数の画像フレーム内の特徴が一貫した位置特定結果をもたらさない限り、位置特定成功と見なされ得ない。いくつかの実施形態では、プロセス６２００は、特徴記述子および付加された姿勢情報をバッファの中に保存することを含んでもよい。バッファは、例えば、最も最近捕捉されたフレームから抽出された特徴のセットを記憶する、巡回バッファであってもよい。故に、位置特定要求は、バッファ内に蓄積された特徴のいくつかのセットとともに送信されてもよい。いくつかの設定では、バッファサイズは、位置特定成功をもたらす可能性がより高いであろう、データのいくつかのセットを蓄積するように実装される。いくつかの実施形態では、バッファサイズは、例えば、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、または１０のフレームからの特徴を蓄積するために設定されてもよい）。随意に、バッファサイズは、ベースライン設定を有することができ、これは、位置特定失敗に応答して、増加されることができる。いくつかの実施例では、増加するバッファサイズおよび伝送される特徴のセットの対応する数は、後続位置特定機能が結果を返すことに失敗する、尤度を低減させる。
バッファサイズが設定される方法にかかわらず、デバイスは、位置特定要求の一部として、バッファのコンテンツを位置特定サービスに転送してもよい。他の情報も、特徴点および付加された姿勢情報と併せて、伝送されてもよい。例えば、いくつかの実施形態では、地理的情報が、伝送されてもよい。地理的情報は、例えば、デバイス追跡マップまたは現在の持続姿勢と関連付けられる、ＧＰＳ座標または無線シグネチャを含んでもよい。
６２０８において送信される要求に応答して、クラウド位置特定サービスは、特徴記述子を分析し、デバイスをサービスによって維持される規準マップまたは他の持続マップの中に位置特定してもよい。例えば、記述子は、それに対してデバイスが位置特定される、マップ内の特徴のセットにマッチングされる。クラウドベースの位置特定サービスは、デバイスベースの位置特定に関して上記に説明されるように、位置特定を実施してもよい（例えば、位置特定のための上記に議論される機能（マップランク付け、マップフィルタリング、場所推定、フィルタリングされたマップ選択、図４４－４６における、および／または位置特定モジュールに関して議論される、実施例、ＰＣＦおよび／またはＰＰ識別およびマッチング等を含む）のいずれかに依拠することができる）。しかしながら、識別された規準マップを（例えば、デバイス位置特定における）デバイスに通信する代わりに、クラウドベースの位置特定サービスは、デバイスから送信される特徴セットの相対的配向およびに規準マップのマッチングする特徴に基づいて、変換を生成するように進めてもよい。位置特定サービスは、これらの変換をデバイスに返してもよく、これは、ブロック６２１０において受信されてもよい。
いくつかの実施形態では、位置特定サービスによって維持される規準マップは、上記に説明されるように、ＰＣＦを採用してもよい。そのような実施形態では、デバイスから送信される特徴点にマッチングする、規準マップの特徴点は、１つまたはそれを上回るＰＣＦに対して規定された位置を有し得る。故に、位置特定サービスは、１つまたはそれを上回る規準マップを識別し得、位置特定のための要求とともに送信される姿勢内に表される座標フレームと１つまたはそれを上回るＰＣＦとの間の変換を算出し得る。いくつかの実施形態では、１つまたはそれを上回る規準マップの識別は、個別のデバイスに関する地理的データに基づいて、潜在的マップをフィルタリングすることによって補助される。例えば、いったん（例えば、オプションの中でもとりわけ、ＧＰＳ座標によって）候補セットにフィルタリングされると、規準マップの候補セットは、上記に説明されるように、詳細に分析され、マッチングする特徴点またはＰＣＦを決定することができる。
行為６２１０において要求側デバイスに返されるデータは、持続姿勢変換のテーブルとしてフォーマット化されてもよい。テーブルは、１つまたはそれを上回る規準マップ識別子を伴い、それに対してデバイスが位置特定サービスによって位置特定された規準マップを示すことができる。しかしながら、位置特定情報は、関連付けられるＰＣＦおよび／または規準マップ識別子を伴う変換のリストとしてを含む、他の方法において、フォーマット化されてもよいことを理解されたい。
変換がフォーマット化される方法にかかわらず、行為６２１２において、デバイスは、これらの変換を使用して、仮想コンテンツを、それに関して場所がＸＲシステムのアプリケーションまたは他のコンポーネントによってＰＣＦのいずれかに対して規定されている、レンダリングすべき場所を算出してもよい。本情報は、代替として、または加えて、デバイス上において、その中で場所がＰＣＦに基づいて規定される、任意の場所ベースの動作を実施するために使用されてもよい。
いくつかのシナリオでは、位置特定サービスは、デバイスから送信される特徴を任意の記憶された規準マップにマッチングすることができない場合があり得る、または位置特定サービスのための要求とともに通信される、位置特定成功が生じたと見なすための十分な数のセットの特徴にマッチングすることが不可能である場合がある。そのようなシナリオでは、行為６２１０に関連して上記に説明されるように、変換をデバイスに返すのではなく、位置特定サービスは、デバイスに、位置特定が失敗したことを示してもよい。そのようなシナリオでは、プロセス６２００は、行為６２３０への決定ブロック６２０９において分岐し得、デバイスは、失敗処理のための１つまたはそれを上回るアクションを講じてもよい。これらのアクションは、位置特定のために送信される特徴セットを保持する、バッファのサイズを増加させることを含んでもよい。例えば、位置特定サービスが、３つのセットの特徴がマッチングしない限り、位置特定成功と見なさない場合、バッファサイズは、５つから６つに増加され、特徴の伝送されるセットのうちの３つが位置特定サービスによって維持される規準マップにマッチングされ得る可能性を増加させてもよい。
代替として、または加えて、失敗処理は、デバイスの動作パラメータを調節し、より頻繁な位置特定試行をトリガすることを含んでもよい。位置特定試行間の閾値時間および／または閾値距離が、例えば、減少されてもよい。別の実施例として、特徴の各セット内の特徴点の数が、増加されてもよい。特徴のセットと規準マップ内に記憶された特徴との間のマッチングは、デバイスから送信されるセット内の十分な数の特徴がマップの特徴にマッチングするときに生じると見なされ得る。送信される特徴の数を増加させることは、マッチングの機会を増加させ得る。具体的実施例として、初期特徴セットサイズは、５０であってもよく、これは、各連続位置特定失敗に応じて、１００、１５０、次いで、２００まで増加されてもよい。マッチングする成功に応じて、セットサイズは、次いで、その初期値に戻されてもよい。
失敗処理はまた、位置特定サービスから以外の位置特定情報を取得することを含んでもよい。いくつかの実施形態によると、ユーザデバイスは、規準マップをキャッシュするように構成されることができる。キャッシュされたマップは、デバイスが、クラウドが利用不可能な場合、コンテンツにアクセスし、それを表示することを可能にする。例えば、キャッシュされた規準マップは、通信失敗または他の不可用性の場合、デバイスベースの位置特定を可能にする。
種々の実施形態によると、図６２は、デバイスがクラウドベースの位置特定を開始するための高レベルフローを説明する。他の実施形態では、図示されるステップの種々の１つまたはそれを上回るものは、組み合わせられる、省略される、または他のプロセスを呼び出し、位置特定と、最終的には、個別のデバイスのビュー内における仮想コンテンツの可視化とを遂行することができる。
さらに、プロセス６２００は、デバイスが、決定ブロック６２０７において位置特定を開始すべきかどうかを決定することを示すが、開始位置特定を開始するためのトリガは、位置特定サービスから含む、デバイス外から生じてもよいことを理解されたい。位置特定サービスは、例えば、それとセッション中である、デバイスのそれぞれについての情報を維持してもよい。その情報は、例えば、それに対して各デバイスが最も最近位置特定された、規準マップの識別子を含んでもよい。位置特定サービスまたはＸＲシステムの他のコンポーネントは、図２６に関連して上記に説明されるような技法を使用することを含め、規準マップを更新してもよい。規準マップが、更新されると、位置特定サービスは、通知を、そのマップに対して最も最近位置特定された各デバイスに送信してもよい。その通知は、デバイスが位置特定を要求するためのトリガとしての役割を果たしてもよく、および／またはデバイスからの特徴の最も最近送信されたセットを使用して再算出された、更新された変換を含んでもよい。
図６３Ａ、Ｂ、およびＣは、デバイスとクラウドサービスとの間の動作および通信を示す、例示的プロセスフローである。ブロック６３５０、６３５２、６３５４、および６４５６において示されるものは、クラウドベースの位置特定プロセスに関与するコンポーネント間の例示的アーキテクチャおよび分離である。例えば、ユーザデバイス上の知覚をハンドリングするように構成される、モジュール、コンポーネント、および／またはソフトウェアは、６３５０（例えば、６６０、図６Ａ）に示される。存続される世界動作のためのデバイス機能性は、６３５２（例えば、上記において、存続される世界モジュールに関して説明されるようなものを含む（例えば、６６２、図６Ａ））に示される。他の実施形態では、６３５０と６３５２との間の分離は、必要とされず、示される通信は、デバイス上で実行されるプロセス間で行われることができる。
同様に、ブロック６３５４において示されるものは、パス可能世界／パス可能世界モデル化（例えば、８０２、８１２、図２６）と関連付けられる機能性をハンドリングするように構成される、クラウドプロセスである。ブロック６３５６において示されるものは、デバイスから記憶された規準マップのリポジトリの１つまたはそれを上回るマップに送信される情報に基づいて、デバイスを位置特定することと関連付けられる機能性をハンドリングするように構成される、クラウドプロセスである。
図示される実施形態では、プロセス６３００は、新しいセッションが開始すると、６３０２から開始する。６３０４において、センサ較正データが、取得される。取得される較正データは、６３５０において表されるデバイス（例えば、カメラ、センサ、測位デバイス等の数）に依存し得る。いったんセンサ較正が、デバイスに関して取得されると、較正は、６３０６においてキャッシュされることができる。デバイス動作が、周波数パラメータ（例えば、オプションの中でもとりわけ、収集周波数、サンプリング周波数、マッチング周波数）の変化をもたらした場合、周波数パラメータは、６３０８において、ベースラインにリセットされる。
いったん新しいセッション機能（例えば、較正ステップ６３０２－６３０６）が、完了すると、プロセス６３００は、新しいフレーム６３１２の捕捉を継続することができる。特徴およびその対応する記述子が、６３１４において、フレームから抽出される。いくつかの実施例では、記述子は、上記に議論されるように、ＤＳＦを含むことができる。いくつかの実施形態によると、記述子は、それらに結び付けられる、空間情報を有し、後続処理（例えば、変換生成）を促進することができる。デバイス上で生成された姿勢情報（例えば、上記に議論されるように、物理的世界内の特徴を位置特定するために、デバイスの追跡マップに対して規定された情報）は、６３１６において、抽出された記述子に付加されることができる。
６３１８では、記述子および姿勢情報が、バッファに追加される。ステップ６３１２－６３１８に示される新しいフレーム捕捉およびバッファへの追加は、６３１９において、バッファサイズ閾値を超えるまで、ループにおいて実行される。バッファサイズが満たされたことの決定に応答して、位置特定要求が、６３２０において、デバイスからクラウドに通信される。いくつかの実施形態によると、要求は、クラウド（例えば、６３５４）内でインスタンス化されるパス可能世界サービスによってハンドリングされることができる。さらなる実施形態では、候補規準マップを識別するための機能的動作は、（例えば、ブロック６３５４および６３５６として示される）実際のマッチングのための動作から分断されることができる。一実施形態では、マップフィルタリングおよび／またはマップランク付けのためのクラウドサービスが、６３５４において実行され、６３２０から受信された位置特定要求を処理することができる。いくつかの実施形態によると、マップランク付け動作は、６３２２において、デバイスの場所を含む可能性が高い、候補マップのセットを決定するように構成される。
一実施例では、マップランク付け機能は、地理的属性または他の場所データ（例えば、観察または推測された場所情報）に基づいて、候補規準マップを識別する動作を含む。例えば、他の場所データは、Ｗｉ－ＦｉシグネチャまたはＧＰＳ情報を含むことができる。
他の実施形態によると、場所データは、デバイスおよびユーザとのクロスリアリティセッションの間、捕捉されることができる。プロセス６３００は、所与のデバイスおよび／またはセッションのために場所を取り込むための付加的動作を含むことができる（図示せず）。例えば、場所データは、デバイスエリア属性値およびデバイスの場所に近接する候補規準マップを選択するために使用される属性値として記憶されてもよい。
場所オプションのうちの任意の１つまたはそれを上回るものが、規準マップのセットを、ユーザデバイスの場所を含むエリアを表す可能性が高いものにフィルタリングするために使用されることができる。いくつかの実施形態では、規準マップは、物理的世界の比較的に大領域を被覆してもよい。規準マップは、マップの選択がマップエリアの選択を伴い得るように、エリアにセグメント化されてもよい。マップエリアは、例えば、約数十平方メートルであってもよい。したがって、規準マップのフィルタリングされたセットは、マップのエリアのセットであってもよい。
いくつかの実施形態によると、位置特定スナップショットが、候補規準マップ、姿勢付き特徴、およびセンサ較正データから構築されることができる。例えば、候補規準マップ、姿勢付き特徴、およびセンサ較正情報のアレイが、具体的にマッチングする規準マップを決定するための要求とともに送信されることができる。規準マップとのマッチングは、デバイスから受信された記述子および規準マップと関連付けられる記憶されたＰＣＦデータに基づいて、実行されることができる。
いくつかの実施形態では、デバイスからの特徴のセットは、規準マップの一部として記憶された特徴のセットと比較される。比較は、特徴記述子および姿勢に基づいてもよい。例えば、規準マップの特徴の候補セットは、それらが同一特徴であり得る、デバイスからの特徴セットの記述子と十分に類似する記述子を有する、候補セット内の特徴の数に基づいて、選択されてもよい。候補セットは、例えば、規準マップを形成する際に使用される画像フレームから導出される特徴であってもよい。
いくつかの実施形態では、類似特徴の数が、閾値を超える場合、さらなる処理が、特徴の候補セット上で実施されてもよい。さらなる処理は、デバイスからの姿勢付き特徴のセットが候補セットの特徴と整合され得る程度を決定してもよい。規準マップからの特徴のセットは、デバイスからの特徴のように、姿勢付きであってもよい。
いくつかの実施形態では、特徴は、高次元埋込（例えば、ＤＳＦ等）としてフォーマット化され、最近傍検索を使用して比較されてもよい。一実施例では、本システムは、ユークリッド距離を使用して、（例えば、プロセス６２００および／または６３００を実行することによって）上位２つの最近傍を見出すように構成され、比率試験を実行してもよい。最近傍が、第２の最近傍よりはるかに近い場合、本システムは、最近傍がマッチングすると見なす。本コンテキストにおける「はるかに近い」は、例えば、閾値×最近傍に対するユークリッド距離を上回る第２の最近傍に対するユークリッド距離の比率によって、決定され得る。いったんデバイスからの特徴が、規準マップ内の特徴に「マッチング」すると見なされると、本システムは、マッチングする特徴の姿勢を使用して、相対的変換を算出するように構成されてもよい。姿勢情報から展開された変換は、規準マップに対してデバイスを位置特定するために要求される、変換を示すために使用されてもよい。
正対応の数は、マッチングの品質のインジケーションとしての役割を果たし得る。例えば、ＤＳＦマッチングの場合、正対応の数は、受信された記述子情報と記憶された／規準マップとの間でマッチングされた特徴の数を反映させる。さらなる実施形態では、正対応は、本実施形態では、「マッチング」する各セット内の特徴の数をカウントすることによって、決定されてもよい。
マッチングの品質のインジケーションは、代替として、または加えて、他の方法において決定されてもよい。いくつかの実施形態では、例えば、変換が、マッチングする特徴の相対的姿勢に基づいて、複数の特徴を含有し得る、デバイスからのマップを、規準マップに対して位置特定するために算出されると、複数のマッチングする特徴毎に算出された変換の統計は、品質インジケーションとしての役割を果たし得る。大分散は、例えば、マッチングの不良品質を示し得る。代替として、または加えて、本システムは、決定された変換に関して、マッチングする記述子を伴う特徴間の平均誤差を算出してもよい。平均誤差は、変換に関して算出され、位置不整合の程度を反映させてもよい。平均二乗誤差は、誤差メトリックの具体的実施例である。具体的誤差メトリックにかかわらず、誤差が、閾値を下回る場合、変換は、デバイスから受信された特徴のために使用可能であると決定され得、算出された変換は、デバイスを位置特定するために使用される。代替として、または加えて、正対応の数はまた、デバイスから受信されたデバイスの位置情報および／または記述子にマッチングする、マップが存在するかどうかを決定する際に使用されてもよい。
上記に述べられたように、いくつかの実施形態では、デバイスは、位置特定のために、特徴の複数のセットを送信してもよい。位置特定は、少なくとも、特徴のセットの閾値数が、誤差が閾値を下回り、正対応の数が、閾値を上回る状態で、規準マップからの特徴のセットにマッチングするとき、成功と見なされ得る。その閾値数、例えば、特徴の３つのセットであってもよい。しかしながら、特徴の十分な数のセットが好適な値を有するかどうかを決定するために使用される、閾値は、実験的に、または他の好適な方法において、決定されてもよいことを理解されたい。同様に、マッチングすると見なされるべき特徴記述子間の類似性の程度、特徴の候補セットの選択のための正対応の数、および／または不整合誤差の大きさ等のマッチングプロセスの他の閾値またはパラメータも同様に、実験的に、または他の好適な方法において、決定されてもよい。
いったんマッチングが、決定されると、マッチングされた規準マップまたは複数のマップと関連付けられる、持続マップ特徴のセットが、識別される。マッチングがマップのエリアに基づく、実施形態では、持続マップ特徴は、マッチングするエリア内のマップ特徴であってもよい。持続マップ特徴は、上記に説明されるように、持続姿勢またはＰＣＦであってもよい。図６３の実施例では、持続マップ特徴は、持続姿勢である。
持続マップ特徴のフォーマットにかかわらず、各持続マップ特徴は、その中でそれが一部である、規準マップに対する所定の配向を有してもよい。本相対的配向は、算出された変換に適用され、デバイスからの特徴のセットと規準マップからの特徴のセットを整合させ、デバイスからの特徴のセットと持続マップ特徴との間の変換を決定してもよい。較正データから導出され得るような任意の調節が、次いで、本算出された変換に適用されてもよい。結果として生じる変換は、デバイスのローカル座標フレームと持続マップ特徴との間の変換であり得る。本算出は、マッチングするマップエリアの持続マップ特徴毎に実施されてもよく、結果は、６３２６において、ｐｅｒｓｉｓｔｅｎｔ＿ｐｏｓｅ＿ｔａｂｌｅとして示されるテーブル内に記憶されてもよい。
一実施例では、ブロック６３２６は、持続姿勢変換、規準マップ識別子、および正対応の数のテーブルを返す。いくつかの実施形態によると、規準マップＩＤは、規準マップおよび規準マップのバージョン（または定位置特定がマップエリアに基づく、実施形態では、マップのエリア）を一意に識別するための識別子である。
種々の実施形態では、算出された位置特定データは、６３２８において、位置特定サービスによって維持される、位置特定統計および遠隔測定を取り込むために使用されることができる。本情報は、デバイス毎に記憶されてもよく、位置特定試行毎に更新されてもよく、デバイスのセッションが終了すると、クリアにされてもよい。例えば、デバイスによってマッチングされたマップは、マップランク付け動作を精緻化するために使用されることができる。例えば、それに対してデバイスが以前にマッチングされた、同一エリアを被覆するマップは、ランク付けにおいて優先化されてもよい。同様に、隣接するエリアを被覆するマップは、より遠隔エリアより高い優先順位を与えられてもよい。さらに、隣接するマップは、デバイスの経時的に検出された軌道に基づいて、優先化され得、運動の方向にあるマップエリアは、他のマップエリアより高い優先順位を与えられる。位置特定サービスは、例えば、デバイスからの後続位置特定要求に応じて、本情報を使用して、記憶された規準マップ内の特徴の候補セットのために検索されるマップまたはマップエリアを限定してもよい。マッチングが、低誤差メトリックおよび／または多数または高パーセンテージの正対応を伴って、本限定されたエリア内で識別される場合、エリア外のマップの処理は、回避され得る。
プロセス６３００は、クラウド（例えば、６３５４）からユーザデバイス（例えば、６３５２）への情報の通信を継続することができる。いくつかの実施形態によると、持続姿勢テーブルおよび規準マップ識別子が、６３３０において、ユーザデバイスに通信される。一実施例では、持続姿勢テーブルは、少なくとも、持続姿勢ＩＤを識別する、ストリングと、デバイスの追跡マップおよび持続姿勢をリンクさせる、変換とを含む、要素から構築されることができる。持続マップ特徴がＰＣＦである、実施形態では、テーブルは、代わりに、マッチングするマップのＰＣＦへの変換を示してもよい。
位置特定が、６３３６において、失敗する場合、プロセス６３００は、デバイスから位置特定サービスに送信されるデータの量を増加させ、位置特定が成功するであろう機会を増加させ得る、パラメータを調節することによって、継続する。失敗は、例えば、規準マップ内の特徴のセットが、閾値数を上回る類似記述子を伴って見出され得ないとき、または候補特徴の全ての変換されたセットと関連付けられる誤差メトリックが、閾値を上回るときに示され得る。調節され得る、パラメータの実施例として、記述子バッファのためのサイズ制約（６３１９）が、増加されてもよい。例えば、記述子バッファサイズが、５である場合、位置特定失敗は、少なくとも６つの画像フレームから抽出された特徴の少なくとも６つのセットまでの増加をトリガすることができる。いくつかの実施形態では、プロセス６３００は、記述子バッファインクリメント値を含むことができる。一実施例では、インクリメント値は、例えば、位置特定失敗に応答して、バッファサイズの増加率を制御するために使用されることができる。位置特定要求の率を制御するパラメータ等の他のパラメータも、マッチングする規準マップを見出すことの失敗に応じて、変更されてもよい。
いくつかの実施形態では、６３００の実行は、６３４０において、マッチングする結果を返さないのではなく、位置特定要求が機能することに失敗した実行を含む、エラー条件を生成することができる。エラーは、例えば、規準マップのデータベースを保持する記憶装置を位置特定サービスを実行するサーバに利用不可能にしたネットワーク不良、または正しくなくフォーマット化された情報を含有する位置特定サービスのための受信された要求の結果として、生じ得る。エラー条件の場合、本実施例では、プロセス６３００は、６３４２において、要求の再試行をスケジューリングする。
位置特定要求が、成功すると、失敗に応答して調節される、任意のパラメータは、リセットされてもよい。６３３２では、プロセス６３００は、周波数パラメータを任意のデフォルトまたはベースラインにリセットする動作を継続することができる。いくつかの実施形態では、６３３２は、任意の変更にかかわらず、実行され、したがって、ベースライン周波数が、常時、確立されることを確実にする。
受信された情報は、デバイスによって、６３３４において、キャッシュされた位置特定スナップショットを更新するために使用されることができる。種々の実施形態によると、個別の変換、規準マップ識別子、および他の位置特定データは、デバイスによって、記憶され、規準マップに対して規定された場所、または持続姿勢またはＰＣＦ等のそれらの持続マップ特徴を、その追跡マップから決定され得るようなそのローカル座標フレームに対してデバイスによって決定された場所に関連させるために使用されることができる。
クラウド内の位置特定のためのプロセスの種々の実施形態は、前述のステップのうちの任意の１つまたはそれを上回るものを実装し、前述のアーキテクチャに基づくことができる。他の実施形態は、前述のステップの種々の１つまたはそれを上回るものを組み合わせ、ステップを同時に、並列に、または別の順序で実行してもよい。
いくつかの実施形態によると、クロスリアリティ体験のコンテキストにおける、クラウド内の位置特定サービスは、付加的機能性を含むことができる。例えば、規準マップキャッシュが、コネクティビティに関する問題点を解決するために実行されてもよい。いくつかの実施形態では、デバイスは、周期的に、それに対してそれが位置特定されている、規準マップをダウンロードおよびキャッシュしてもよい。クラウド内の位置特定サービスが、利用不可能である場合、デバイスは、それ自体で位置特定を起動してもよい（例えば、図２６に関してを含む、上記に議論されるように）。他の実施形態では、位置特定要求から返される変換は、ともに連鎖され、後続セッションにおいて適用されることができる。例えば、デバイスは、一連の変換をキャッシュし、変換のシーケンスを使用して、位置特定を確立してもよい。
システムの種々の実施形態は、位置特定動作の結果を使用して、変換情報を更新することができる。例えば、位置特定サービスおよび／またはデバイスは、規準マップ変換に対する追跡マップに関する状態情報を維持するように構成されることができる。受信された変換は、経時的に平均されることができる。いくつかの実施形態によると、平均動作は、閾値数（例えば、３回、４回、５回、またはそれを上回る回数）の位置特定が成功した後に生じるように限定されることができる。さらなる実施形態では、他の状態情報も、クラウド内において、例えば、パス可能世界モジュールによって、追跡されることができる。一実施例では、状態情報は、デバイス識別子、追跡マップＩＤ、規準マップ基準（例えば、バージョンおよびＩＤ）、および規準マップ／追跡マップ変換を含むことができる。いくつかの実施例では、状態情報は、システムによって、持続的に更新し、クラウドベースの位置特定機能の実行毎に、より正確な規準マップ／追跡マップ変換を得るために使用されることができる。
クラウドベースの位置特定に対する付加的向上は、デバイスに、規準マップ内の特徴にマッチングしなかった、特徴のセット内の誤対応を通信することを含むことができる。デバイスは、例えば、誤対応をその追跡マップを構築するために使用される特徴のセットから除去すること等によって、その追跡マップを改良するために、本情報を使用してもよい。代替として、または加えて、位置特定サービスからの情報は、デバイスが、その追跡マップのためのバンドル調整を、正対応特徴に基づく、コンピューティング調節に限定する、または別様に、バンドル調整プロセスに関する制約を課すことを有効にし得る。別の実施形態によると、種々のサブプロセスまたは付加的動作が、クラウドベースの位置特定に関して議論されるプロセスおよび／またはステップと併せて、および／またはその代替として、使用されることができる。例えば、候補マップ識別は、個別のマップとともに記憶されたエリア識別子および／またはエリア属性に基づいて、規準マップにアクセスすることを含んでもよい。
ウェブベースのコンテンツを使用した簡略化されたプログラミング
いくつかの実施形態では、ＸＲシステムは、単に、仮想コンテンツをレンダリングするようにプログラムされてもよい。しかし、本システムは、アプリケーション５０４（図３）等のネイティブアプリケーションを実行することによって提供されるもののような没入型の体験を提供してもよい。そのような体験は、ＸＲシステムが、ネイティブアプリケーションによって生成されたコンテンツのように現れるようにウェブベースのコンテンツをレンダリングすることを有効にすることによって提供されてもよい。いくつかの実施形態では、ウェブベースのコンテンツは、ネイティブアプリケーションによって生成された仮想コンテンツをレンダリングする、ＸＲシステムのコンポーネントを使用して、レンダリングされてもよい。
いくつかの実施形態では、ＸＲデバイスは、ネイティブアプリケーションを実行する、フレームワークを有してもよい。そのようなフレームワークの実施例は、ＭａｇｉｃＳｃｒｉｐｔフレームワークである。そのフレームワークは、フレームワークが実行するように構成される、言語においてコーディングされる、アプリケーションを実行してもよい。そのようなアプリケーションの実施例は、ＭａｇｉｃＳｃｒｉｐｔアプリである。ＭａｇｉｃＳｃｒｉｐｔアプリは、ＭａｇｉｃＳｃｒｉｐｔフレームワークによって実行されると、仮想コンテンツを生成してもよく、ユーザ入力に応答してもよい。
ＸＲデバイスは、ＭａｇｉｃＳｃｒｉｐｔフレームワーク内で起動し、ひいては、そうでなければフレームワーク上で実行され得ない、非ネイティブ言語においてプログラムを実行する、アプリケーションを用いて、プログラムされてもよい。そのアプリケーションは、非ネイティブフレームワークをエミュレートする、ラッパまたは他のコンポーネントであってもよい。いくつかの実施形態では、その非ネイティブ言語は、Ｗ３Ｃ等のウェブ規格と互換性があってもよい。そのようなアプリケーションの実施例は、ブラウザアプリケーションである。ブラウザアプリケーションは、例えば、ウェブアプリケーションを実装するように、ウェブ場所からダウンロードされた情報に基づいて、レンダリングするための仮想コンテンツを供給してもよい。ダウンロードされた情報は、コンテンツ自体であってもよい、または実行されると、レンダリングするためのコンテンツを生成する、アニメーション等の要素であってもよい。そのダウンロードされた情報内のウェブコンテンツは、ネイティブフレームワークの言語を使用した実行可能コードを要求せずに、Ｗ３Ｃ規格に精通した任意のコンテンツプロバイダによって準備され、したがって、負担を上にコンテンツ開発者への負担を軽減し得る。
ＸＲデバイスは、ユーザが、レンダリングするためのウェブコンテンツを容易に規定することを有効にするように構成されてもよい。本機能性をサポートするために、インストール可能エンティティが、ウェブ場所のために作成されてもよく、そこからウェブコンテンツが、レンダリングするための仮想コンテンツを取得するためにアクセスされてもよい。ツールが、ユーザが、ユーザ規定されたウェブ場所、随意に、他の情報に基づいて、ウェブ場所のためのインストール可能エンティティを作成することを有効にするために提供されてもよい。
インストール可能エンティティは、ＸＲシステムが、ウェブコンテンツを、それを通してユーザがネイティブアプリケーションを選択する、同一ユーザインターフェースであり得る、ユーザインターフェース内にレンダリングするためのオプションを提示することによって処理されてもよい。プログラムランチャインターフェースは、そのようなユーザインターフェースの実施例である。ユーザインターフェースを通して選択を行うことに応じて、ＸＲシステムは、選択に基づいて、コンテンツをレンダリングしてもよい。選択が、ネイティブコードアプリケーションである場合、そのコンテンツは、実行されると、仮想コンテンツを提供する、アプリケーションと関連付けられる、実行可能コードを立ち上げることによって生成されてもよい。逆に言えば、選択が、ウェブアプリケーションである場合、仮想コンテンツは、コンテンツを生成するためにネイティブアプリケーションの実行を要求せずに、ウェブコンテンツから導出されてもよい。むしろ、例えば、ブラウザアプリケーションは、ウェブアプリケーションと関連付けられるウェブコンテンツに基づいて、レンダリングするためのコンテンツを提供してもよい。それにもかかわらず、いずれの場合も、仮想コンテンツのレンダリングを管理する、ＸＲシステムのコンポーネントが、使用され、ＸＲデバイスが、仮想コンテンツをウェブアプリケーションまたはネイティブアプリケーションのいずれかからレンダリングするための効率的機構を提供し得る。さらに、ユーザ体験は、いずれの場合も、同様に、没入型となり得る。
いくつかの実施形態では、ＸＲデバイスのネイティブフレームワークは、ネイティブアプリケーションと関連付けられる境界されるボリューム内に、ネイティブアプリケーションによって生成されたコンテンツをレンダリングしてもよい。境界されるボリュームの実施例は、ユーザデバイス上に維持される、プリズムである。ネイティブアプリケーションが、コンテンツを提供すると、ネイティブアプリケーションと関連付けられるプリズム内にレンダリングされてもよい。ユーザが、コマンドまたは他の入力を象徴するジェスチャをプリズム内で行うと、ＸＲデバイスは、そのプリズムと関連付けられるネイティブアプリケーションへのその入力のインジケーションを提供してもよい。いくつかの実施形態によると、ブラウザアプリケーションは、プリズムと関連付けられてもよい。このように、ウェブコンテンツと関連付けられるウェブアプリケーションは、ネイティブアプリケーションの実行によって生成されたコンテンツと同一特性を有するようにレンダリングされてもよい。
プリズムは、立方体または矩形等のボリュームであって、その中にアプリケーションからの仮想コンテンツが、表示される。単一アプリケーションが、コンテンツを複数のプリズムの中にレンダリングしてもよい。プリズムは、２０１８年１２月１８日に出願され、２０１９年６月２７日に公開され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＭＡＮＡＧＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＶＩＲＴＵＡＬ ＣＯＮＴＥＮＴ ＩＮ Ａ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」と題された、（参照することによってその全体として本明細書に組み込まれる）共同所有の米国特許出願公開第２０１９／０１９７７８５号により完全に説明される。各プリズムは、「プリズムマネージャ」と称され得る、プリズムを管理するアプリケーションが、複合現実環境内の１つまたはそれを上回るプリズムと関連付けられる仮想コンテンツの表示を制御することを可能にする、特性およびプロパティを有してもよい。いくつかの実施形態では、プリズムは、２Ｄディスプレイ環境内の「ウィンドウ」に類似し得る。２Ｄ環境では、ウィンドウは、場所およびメニュー構造を定義し、２Ｄコンテンツを表示するために使用されてもよい。同様に、ＸＲシステムの３Ｄ環境では、プリズムは、プリズムマネージャが、例えば、コンテンツ場所、３Ｄウィンドウ挙動、およびメニュー構造に関連する制御を３Ｄコンテンツの表示の周囲にラップすることを可能にする。例えば、制御は、少なくとも、仮想コンテンツをユーザの環境内の特定の場所に設置するステップ、仮想コンテンツを環境から除去するステップ、仮想コンテンツをコピーするステップ、および／またはコピーを異なる場所に設置するステップ等を含んでもよい。プリズムと関連付けられるコンテンツを３Ｄ環境内に表示するためのプロセスは、「ＭＡＴＣＨＩＮＧ ＣＯＮＴＥＮＴ ＴＯ Ａ ＳＰＡＴＩＡＬ ３Ｄ ＥＮＶＩＲＯＮＭＥＮＴ」と題された、２０１８年５月１日に出願され、米国特許出願公開第２０１８／０３１５２４８号として公開された、共同所有の米国特許出願第１５／９６８，６７３号（参照することによってその全体として本明細書に組み込まれる）に説明される。
図６４は、それに関して仮想コンテンツが規定されている、物理的環境のある領域を見ているときに、ＸＲデバイスのユーザが知覚し得る内容を示す。コンテンツを管理および表示するために構築されたシステムのコンポーネントもまた、示される。代表的物理的環境および環境６４００のシステムは、ＸＲデバイス６４６０を使用するユーザ６４０３によって視認されるようなユーザのランドスケープ６４１０を含む。図６４は、ユーザのＸＲデバイス６４６０が頭部搭載型システムであることを示すが、本明細書に説明されるようなアーキテクチャはまた、図６１に関して上記で議論される、ハンドヘルドデバイス等の他のタイプのＸＲデバイス上でも実装され得ることに留意されたい。ユーザのランドスケープ６４１０は、仮想コンテンツ実世界の上部に合成され得る、世界の３Ｄビューである（例えば、仮想コンテンツは、実世界の物理的オブジェクトと相互作用してもよい）。
環境６４００の代表的システムは、プリズムマネージャ６４３０（下記に議論される）を含んでもよく、これは、ネットワーク（図示せず）に動作可能に結合される、プロセッサ６４７０上で実行されてもよい。プロセッサ６４７０は、ＸＲデバイス６４６０と別個の隔離されたコンポーネントとして図に示されるが、プロセッサは、ＸＲデバイス６４６０の１つまたはそれを上回るコンポーネントと統合されてもよい。代替として、または加えて、プロセッサは、ユーザによって装着される以外の任意の場所にあってもよい、そこから、それは、仮想コンテンツをユーザのためにレンダリングする、コンポーネントと通信することができる。プロセッサ６４７０は、頭部搭載型システム６４６０、ローカル記憶デバイス６４３７、アプリケーション６４４０、コンピューティングネットワーク、および／または外部記憶デバイス６４５０から受信されたビデオ、オーディオ、およびコンテンツ等の情報を受信および処理するためのソフトウェア（例えば、プリズムマネージャ６４３０）とともに構成されてもよい。
プリズムマネージャアプリケーション６４３０は、例えば、デスクトップコンピュータのディスプレイ画面上に表示される２Ｄウィンドウを管理するためにデスクトップコンピュータ上で起動する、２Ｄウィンドウマネージャに類似する、３Ｄウィンドウマネージャであってもよい。しかしながら、プリズムマネージャアプリケーション６４３０は、３Ｄ空間環境内の仮想コンテンツ１１５の作成、設置、および表示、およびユーザのランドスケープ６４１０内に表示される複数の仮想コンテンツ１１５との間の相互作用を管理する。アプリケーション６４４０からの仮想コンテンツ１１５は、図６４では、例証目的のために、破線で概略される、１つまたはそれを上回るプリズム１１３の内側において、ユーザ６４０３に提示される。プリズムは、上記に説明されるように、持続姿勢および／またはＰＣＦに対して等、デバイスによって維持される座標フレーム内に規定された場所を有してもよい。結果として、プリズム内にレンダリングされた仮想コンテンツは、壁１１７ａまたはテーブル１１７ｂ等物理的世界内のオブジェクトに対して規定された場所を有し得る。
プリズム１１３は、矩形、立方体、円筒形である、または空間内に位置付けられ、配向され得る、任意の他の形状を有してもよい。プリズム１１３は、その中に仮想コンテンツがレンダリングされ得る、境界を有する、立体ディスプレイ空間であってもよい。プリズムのための境界が、図６４に図示されるが、いくつかの実施形態では、境界は、表示されない。そこからデバイスがプリズムの境界を決定し得る、情報は、デバイス上に維持されてもよく、それらの境界は、プリズムと関連付けられる仮想コンテンツがプリズムの境界の外側に表示されないように、プリズム内への表示のために規定されるように、仮想コンテンツの表示を限定し得る。いくつかの実施形態では、プリズム１１３は、マルチアプリケーションシーングラフのサブツリーとして実装されてもよい。シーングラフは、一般に、ベクトルベースのグラフィック、編集アプリケーション、および現代のゲーム用ソフトウェアによって使用される、一般的データ構造であって、これは、論理、および多くの場合（必ずしもではないが）、グラフィカル場面の空間表現を配列する。
アプリケーション６４４０は、プリズム１１３のインスタンス与えられ、コンテンツをその中に設置する。アプリケーションは、相対的設置アルゴリズムおよび変換を使用して、２Ｄ／３Ｄコンテンツをプリズム１１３内にレンダリングしてもよいが、プリズムマネージャは、依然として、最終的に、コンテンツ抽出等の全般的相互作用パターンを担当する。複数のアプリケーションが、プリズム１１３を介して、仮想コンテンツをレンダリングしてもよく、プロセス境界は、プリズム１１３を分離する。図示される実施形態では、アプリケーションプロセスあたり複数のプリズム１１３が存在してもよいが、各プリズムは、正確に１つのアプリケーションプロセスに対応する。したがって、例えば、食料品店の青果売場内に立っているユーザには、その中にコンテンツが同一ドキュメントディスプレイアプリケーションによって表示される、２つの異なるプリズムが見え得、アプリケーションは、リンゴについての栄養情報をリンゴを含有する容器の上方に表示し、オレンジについての栄養情報をオレンジを含有する容器の上方に表示する。しかしながら、本実施例では、２つの異なるアプリケーションは、コンテンツを同一プリズム内に表示することができない。加えて、共有プリズムの場合、複数のユーザには、コンテンツを単一共有プリズム内に提示する、単一アプリケーションが見え得る。したがって、例えば、その両方とも、食料品店の青果売場内でリンゴを見ている、２人の異なるユーザには、プリズムがリンゴの情報に見え、その中にドキュメント閲覧アプリケーションが、栄養情報を表示する。
プリズム内のコンテンツの設置および配向は、特定の座標フレーム内のプリズムに対するユーザの場所、ユーザの頭部の姿勢（ユーザがウェアラブルＸＲデバイスを使用している場合）、またはユーザによって使用されている、ある他のＸＲ対応デバイス（携帯電話等）の姿勢等のコンテキスト要因に基づいて、調節されてもよい。代替として、または加えて、コンテンツの外観および位置は、アプリケーションによって、運動の外観、仮想オブジェクトと他の仮想オブジェクトの相互作用、または他の動的挙動を作成するように制御されてもよい。そのような要因に基づいて、コンテンツのレンダリングを調節するための技法は、「ＭＡＴＣＨＩＮＧ ＣＯＮＴＥＮＴ ＴＯ Ａ ＳＰＡＴＩＡＬ ３Ｄ ＥＮＶＩＲＯＮＭＥＮＴ」と題され、米国特許出願公開第２０１８／０３１５２４８として公開された、共同所有の米国特許出願第１５／９６８，６７３号（参照することによって前述に組み込まれている）に見出されることができる。さらに、コンテンツをプリズム内にレンダリングするアプリケーションはまた、音を生成することができる。
プリズムは、クリアかつ決定的境界を有してもよい。境界は、ボリュームを境界し、関連付けられる仮想コンテンツは、プリズムの境界内にのみ表示される。プリズムの境界は、ユーザにプリズム６５１３内に表示される仮想コンテンツが見えるとき、ユーザに表示されなくてもよい。
いくつかの実施形態では、アプリケーションは、レンダリングされるべきコンテンツをＸＲデバイス上で起動される一元型レンダリングソフトウェアに送信し、これは、ひいては、アプリケーションコンテンツをそのアプリケーションのために具体的に作成されたプリズムの内側に設置する。これは、２０１８年３月２９日に出願され、２０１８年１０月４日に公開され、「ＣＥＮＴＲＡＬＩＺＥＤ ＲＥＮＤＥＲＩＮＧ」と題された、共同所有の米国特許出願第２０１８／０２８６１１６号（参照することによってその全体として本明細書に組み込まれる）により完全に説明されるように、一元型シーングラフによって遂行され得る。リンクされたアプリケーションを伴う、プリズムの場合、リンクされたアプリケーション（またはそのインスタンス）コンテンツが、それに対してリンクされる、プリズム内に設置されるであろう。アプリケーションは、相対的設置アルゴリズムおよび恣意的変換を使用して、２Ｄ／３Ｄコンテンツをプリズム内にレンダリングしてもよい。
各プリズムは、プリズム自体またはプリズム内のコンテンツの表示の属性を定義する、それと関連付けられるデータを有してもよい。例えば、各プリズムは、挙動の側面を規定する、または別様に、所与のプリズムが存在する理由についての情報を伝達するように調節され得る、キー／値プロパティの関連付けられるセットを有してもよい。いくつかの実施形態では、プリズムのプロパティのいくつかまたは全ては、ネイティブアプリケーション、ウェブアプリケーションによって提供される、コンテキストに基づいてＸＲシステムによって設定されてもよい、またはユーザ入力によって変更されない限り適用される、デフォルトによって、値を割り当てられてもよい。例えば、プリズムは、ユーザから１．５メートルのデフォルト場所を有してもよい。そのようなプロパティは、その中にネイティブアプリケーションからのコンテンツが、レンダリングされる、プリズムと、その中にウェブコンテンツが、例えば、ブラウザアプリケーションを介してレンダリングされる、プリズムの両方を割り当てられてもよい。プリズムと関連付けられ得る、他のプロパティは、共同所有出願の米国特許出願公開第２０１９／０１９７７８５号（参照することによって前述に組み込まれている）に議論される。
プリズムプロパティは、プリズムのサイズ（最小／最大／デフォルトサイズ、サイズ変更対スケール変更）、環境内のプリズムの設置（「広告板表示するためのオプション」、「表面上挙動」）、および「子」プリズム（他のプリズムによって作成されたプリズム）の挙動（「子プリズムスポーン場所」、「子プリズム頭部姿勢ハイライト」）に関連する、オプションを含んでもよい。プリズムプロパティはまた、条件に関連する、プリズム内でコンテンツの表示をトリガする、オプションを含んでもよい。例えば、プリズムは、ＸＲデバイスのユーザが、プリズムから離れたある距離に存在するとき、プリズムが、コンテンツが利用可能であることのインジケーションを表示するが、ユーザがコンテンツが見えるように要求しない限り、コンテンツ自体を表示しないように構成されてもよい。そのような構成は、例えば、美術館設定において使用されてもよく、特定の絵画の歴史を解説するドキュメントを示す、プリズムが、絵画の隣に設置されてもよいが、ドキュメントが、ユーザがそれが見えるように要求する場合のみ表示されるように構成される。種々の例示的プリズムプロパティに関する付加的詳細は、共同所有出願の米国特許出願公開第２０１９／０１９７７８５号（参照することによって本明細書の前述に組み込まれている）に見出されることができる。
別のそのようなプロパティは、コンテンツＵＲＬプロパティである。本プロパティの値は、ＸＲデバイス上のプリズムマネージャが、プリズム内に表示されるべきコンテンツを識別および読み出すことを有効にする、ＵＲＬまたは類似識別子等のリンクであってもよい。指定される場所内でアクセス可能な仮想コンテンツは、コンテンツは、コンテンツを直接指定される場所からダウンロードすることによって取得されるように、静的であってもよい。
代替として、または加えて、あるボリューム内にレンダリングされるべき仮想コンテンツは、アプリケーションによって生成されてもよい。そのようなシナリオでは、リンクは、そこからアプリケーションがダウンロードされ得る、場所を示してもよい。１つの例示的実装では、コンテンツＵＲＬは、アプリケーションパッケージ（本明細書では、「ＭＰＫ」と称される）をポイントしてもよく、これは、アプリケーションストアとして動作するサービスからダウンロードされ得る、ファイルとして記憶されてもよい。ポータブルデバイス上で実行され得る、アプリケーションを提供する、アプリケーションストアは、本明細書では、「ＭＬ世界」と称される。ＭＰＫファイルは、アプリケーションが、ドキュメントまたはビデオファイル等の仮想コンテンツを生成する際に使用するように意図される、アプリケーションおよび任意の媒体の両方を含有してもよい。
いくつかの実施形態では、ウェブコンテンツへのアクセスは、単に、ＸＲシステムのユーザが、ウェブコンテンツをユーザの環境内に表示されるユーザインターフェースから選択することを有効にすることによって提供されてもよい。図６５は、ＸＲシステムのユーザによって視認され得るような環境６５００を図示する。本例証では、ＸＲシステムは、ユーザインターフェースを環境６５００内に表示する。本実施例では、ユーザインターフェースは、プログラムランチャメニュー６５０２を提示する。プログラムランチャメニューは、環境内における仮想コンテンツのレンダリングに関して上記に検討される技法のいずれかに従って、レンダリングされてもよい。
図示されるように、プログラムランチャメニュー６５０２は、ユーザに、アイコン６５０４および６５０６を含む、複数のアイコンを表示するように構成される。ユーザは、メニューのアイコンがレンダリングされる３Ｄ空間内の場所に向かってジェスチャを行う、閾値期間にわたって、アイコンを注視する、またはコントローラ（例えば、ハンドヘルド）を使用して、メニューに向けること等によって、メニューから選択を行ってもよい。アイコンの選択に基づいて、ＸＲシステムは、ユーザのためにコンテンツをレンダリングしてもよい。非限定的実施例として、アイコン６５０４は、実行されると、マルチプレーヤゲームのための仮想コンテンツを生成する、ネイティブアプリケーションを識別してもよい。アイコン６５０２等のアイコンのその他は、ウェブベースのコンテンツと関連付けられる、ウェブアプリケーションであってもよい。アイコン６５０２の選択に基づいて、ＸＲシステムは、次いで、レンダリングされ得る、ウェブコンテンツを規定する、アイコン６５０２と関連付けられる、ウェブ場所からの情報を取得してもよい。
ＸＲシステムは、ランチャメニュー６５０２内に表示されるアイコンについての情報のためのレジストリとして作用する、データ記憶装置を含んでもよい。レジストリは、アイコンと、それらが識別する、アプリケーションをリンクさせる、情報を記憶してもよい。ネイティブアプリケーションに関して、レジストリは、アイコンと、ネイティブフレームワーク上で実行されると、レンダリングするための仮想コンテンツを生成する、実行可能コードを関連付けてもよい。ウェブアプリケーションに関して、例えば、レジストリは、アイコンとウェブ場所を識別するＵＲＬを関連付ける、レジストリエントリを含有してもよい。そのエントリの選択に応じて、そのＵＲＬからの情報が、アクセスされ、ブラウザアプリケーションのインスタンスに提供されてもよく、これは、次いで、示されるＵＲＬからアクセスされるウェブコンテンツからレンダリングするための仮想コンテンツを提供してもよい。
図６５は、ユーザインターフェースの実施例を提供する。いくつかの実施形態では、リストまたは他のタイプのメニュー等、図６５に描写されるもの以外のアイコンが、ユーザインターフェース内に表示されてもよい。さらに、アイコンがグラフィカルアイコンであることは、要件ではない。テキスト文字列は、例えば、アイコンとしての役割を果たし得る。
図６６は、例えば、図６５のプログラムランチャメニュー６５０２のアイコン６５０４、６５０６と併せて説明されるように、ＸＲアプリケーションと関連付けられる、アイコンのユーザ選択に応じた、ＸＲシステム６６００の動作を図示する、フロー図である。ステップ６６０２では、ＸＲシステム６６００は、プログラムランチャメニュー内のアイコンを選択する、ユーザ入力を受信してもよい。
選択されたアイコンに基づいて、ステップ６６０４では、ＸＲシステム６６００は、選択されたアプリケーションがネイティブアプリケーションであるかどうか、または選択されたアイコンが、選択されたアイコンがウェブアプリケーションと関連付けられるときに該当し得るように、ＵＲＬと関連付けられるかどうかを決定してもよい。ステップ６６０４における処理は、ランチャメニューと関連付けられるレジストリにアクセスするステップと、選択されたアイコンと関連付けられるアプリケーションについての情報にアクセスするステップとを伴ってもよい。代替として、または加えて、ユーザ入力を処理する、プログラムランチャまたはＸＲシステムの別のコンポーネントは、示されるアプリケーションにアクセスし、アプリケーションがＵＲＬ等からのウェブコンテンツをレンダリングすることのインジケーションを含むかどうかを決定してもよい。代替として、または加えて、アクセスされる情報は、選択されたアイコンが、ネイティブアプリケーションを示す、またはそうでなければ、そこからコンテンツがレンダリングするために取得されるであろう、ＵＲＬと関連付けられないことを示し得る。本ステップは、例えば、アプリケーションのマニフェストファイルにアクセスするステップを含んでもよい。ステップ６６０４では、代替として、または加えて、ファイル名内にエンコーディングされる、アプリケーションタイプのインジケーション、ファイル拡張子、またはアプリケーションまたはアプリケーションと関連付けられる情報に関連して記憶され得る、その他等、アプリケーションの他の側面が、アプリケーションを立ち上げる方法を決定する際に考慮されてもよいことを理解されたい。
ステップ６６０４における処理の結果として、ＸＲシステム６６００が、アプリケーションがネイティブアプリケーションとして立ち上げられるべきであることを決定する場合、プロセスは、ステップ６６０６に進む。ステップ６６０６では、コンテンツが、ネイティブアプリケーションを実行することによって、生成されてもよい。いくつかの実施形態では、これは、ＸＲシステム６６００のフレームワークが、上記に説明されるように、ネイティブアプリケーションを実行するステップを伴ってもよい。
ステップ６６０８では、ステップ６６０６においてネイティブアプリケーションの実行によって生成されたコンテンツが、レンダリングされてもよい。例えば、コンテンツは、アプリケーション６４４０および仮想コンテンツ１１５に関して図６４に示されるように、システムによって管理されるプリズム内にレンダリングされてもよい。
逆に言えば、ステップ６６０４における処理の結果として、ＸＲシステムが、選択されたアイコンが、コンテンツをＵＲＬからレンダリングするためのウェブアプリケーションまたは他のインジケーションと関連付けられることを決定する場合、ＸＲシステムは、ステップ６６１２および６６１４に進み得、これは、図示される実施例では、ブラウザ６６１０内で生じてもよい。ステップ６６１２では、ＸＲシステム６６００は、プリズムを作成し、そのプリズムにリンクされたブラウザアプリケーションのインスタンスを立ち上げてもよい。
ブラウザは、ＵＲＬを提供されてもよく、コンテンツを表す情報をＵＲＬから取得してもよい。これは、ＸＲシステム６６００が、選択されたウェブアプリケーションと関連付けられるレジストリエントリ等によって、適切なＵＲＬを決定するための情報にアクセスするステップ、または選択されたウェブアプリケーションと関連付けられるマニフェストにアクセスするステップを伴ってもよい。いくつかの実施形態では、ブラウザ６６１０は、ＵＲＬからのコンテンツを表す情報を含有する、ファイルを、ＸＲシステム６６００にダウンロードしてもよい。ＵＲＬからのコンテンツは、２Ｄまたは３Ｄオブジェクトを含んでもよく、これは、いくつかの実施例では、アニメーション化されてもよい。コンテンツを表す情報は、オブジェクトを表す情報および／またはオブジェクトをアニメーション化するための命令を含んでもよい。いくつかの実施形態では、ＵＲＬによって示されるウェブ場所から取得されたファイルまたは他の情報は、Ｗ３Ｃ等の規格に従って、フォーマット化されてもよい、または別様に、ブラウザが処理するように構成される、フォーマットにあってもよい。
ステップ６６１４では、ＸＲシステム６６００は、アプリケーション６４４０および仮想コンテンツ１１５に関して図６４に示されるように、ブラウザ６６１０を用いて、ステップ６６１２のコンテンツをシステムによって管理されるプリズム内にレンダリングする。いくつかの実施形態では、ブラウザからのコンテンツは、そうでなければブラウザによってレンダリングされるコンテンツに関連して現れ得る、視覚的要素のいくつかまたは全てを同様にレンダリングせずに、レンダリングされてもよい。ブラウザアプリケーションは、例えば、それを通してユーザがＵＲＬを規定し得る、ナビゲーションバー等のユーザインターフェースをレンダリングしてもよい。図６４に関連して説明されるもの等、上記のいくつかの実施形態に関連して説明されるように、プリズム内のコンテンツは、境界を伴わずに、表示されてもよい。これは、コンテンツと実世界環境との間の現実的物理学および相互作用を提供することによって、ＸＲシステム６６００のユーザのための没入型の体験を達成する効果を有し得る（例えば、上記の図２に関連して説明されるように）。ブラウザインターフェースのナビゲーションバーまたは他の可視要素を省略することは、所望のユーザ体験を提供し得る。ＸＲシステムは、したがって、ステップ６６１４において、ユーザがそこからウェブコンテンツを取得すべきＵＲＬを規定することを有効にする等、ブラウザが他の機能のために使用されているときと異なるように、コンテンツをブラウザからレンダリングしてもよい。
代替として、または加えて、本ユーザインターフェースは、ブラウザインターフェースの簡略化されたバージョンであってもよい。例えば、プリズム内に表示されるとき、ブラウザのユーザインターフェースは、他の設定内で使用される対応するブラウザインターフェースより少ないまたはより多い基本制御を伴ってもよい。これは、例えば、ユーザが、ブラウザインターフェースの全ての制御を有することなく、ストリームビデオコンテンツをストリーミングする、画像を閲覧する、またはそのブラウザ内でゲームをプレーすることを所望するときに望ましくあり得る。いくつかの実施形態では、ブラウザからのコンテンツは、そうでなければブラウザによってレンダリングされるコンテンツに関連して現れ得る、視覚的要素のいくつかまたは全てもまたレンダリングせずに、レンダリングされてもよい。例えば、そうでなければコンテンツに関連して現れ得る、視覚的要素は、ユーザ視線が最小時間量にわたってコンテンツに指向されることによって、ジェスチャによって、またはトーテム上の制御のユーザ作動によって等、コンテンツがユーザ入力を通して相互作用されるまで、レンダリングされなくてもよい。コンテンツに向かって指向される、ユーザ入力が、検出されると、視覚的要素の簡略化または完全バージョンが、表示されてもよい。いくつかの実施形態では、視覚的要素は、具体的ユーザ相互作用またはユーザ相互作用の欠如が検出されると、レンダリングされることを中止してもよい。
いくつかの実施形態では、ＸＲシステムは、ユーザが、単に、ウェブアプリケーションを、そこからそれらが容易に選択され得る、プログラムランチャインターフェースに追加することを有効にする、ツールまたはユーティリティとともに構成されてもよい。図６７は、それを通してユーザが、インストールツールにアクセスし、ウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加し得る、ユーザインターフェースのある実施形態を描写する、スケッチである。本スケッチでは、２つのＸＲユーザインターフェース６７００ａおよび６７００ｂが、それらがＸＲシステムのユーザに現れ得るものとして図示される。６７００ａおよび６７００ｂに描写されるもの等のＸＲユーザインターフェースは、ブラウザと相互作用するユーザに示されてもよい。例えば、ユーザは、彼らがアクセスすることを所望する、ウェブコンテンツと関連付けられるＵＲＬを、ナビゲーションバーまたは他のユーザインターフェース要素を通して、そのＵＲＬを規定することによって、ナビゲートしてもよい。
例えば、ブラウザを介して、ＵＲＬにナビゲートすることに応じて、ユーザは、そのメニューと相互作用するためのオプションのメニューをドロップダウンし、ユーザインターフェース６７００ａを作成する、ブラウザユーザインターフェース内のアイコン６７１０を選択してもよい。ユーザインターフェース６７００ａを介して、ユーザは、彼らが、ウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加することを所望することを示し得る。ユーザは、メニューオプション６７０４を選択してもよい。メニューオプション６７０４は、ここでは、図示されるように、オプション「ランチャに追加する」であって、これは、ユーザが、ＸＲシステムへのコマンドとして、現在のＵＲＬにおけるウェブコンテンツのためのアイコンをプログラムランチャメニューに追加することを選択し得る。アイコンを追加することを所望することのそのようなインジケーションのユーザからの受信に応じて、インストールツールが、アクセスされ、アイコンを生成し、および／またはプログラムランチャメニューに追加するプロセスを実施してもよい。
代替として、または加えて、ブラウザは、ＵＲＬが、そこからがウェブアプリケーションがアクセスされ得る、ウェブ場所をポイントすることを検出し得る。そのような決定に基づいて、ブラウザは、ユーザインターフェース６７００ｂを生成してもよい。本実施例では、ブラウザは、ＵＲＬによって示されるウェブ場所がプログラムランチャに追加するために好適な情報をウェブアプリケーション内に記憶していることを決定している。例えば、ウェブアプリケーションは、例えば、アプリケーション名、ウェブアプリケーションを開くための開始ＵＲＬ、および／またはダウンロード可能アイコンのＵＲＬを含む、ウェブマニフェストファイルを記憶してもよい。いくつかの実施形態では、ウェブアプリケーションは、ブラウザによって送信される標準的イベントを検出するように構成されてもよく、イベントの受信に応じて、ブラウザがウェブアプリケーションが利用可能であることをユーザに通知することを要求してもよい。ユーザは、例えば、ウェブアプリケーションが利用可能であることを示し、ユーザに、ユーザが、上記に説明されるように、そのコンテンツをレンダリングすることを選択し得るように、アイコンをプログラムランチャに追加することの確認をプロンプトする、プロンプト６７０２によって、通知されてもよい。プロンプト６７０２は、ユーザが、彼らがアプリケーションのためのアイコンをプログラムランチャメニューに追加することを所望するかどうかを示すことを可能にし得る。
ユーザから、彼らがアイコンを追加することを所望することのインジケーションの受信に応じて、インストールツールが、アイコンをプログラムランチャメニューに追加してもよい。図６８は、ブラウザ６８００、インストールツール６８１０、およびパッケージマネージャ６８３０の動作を図示する、フロー図である。本実施例では、インストールツールは、ブラウザ内で実行する。そのような構成は、例えば、アドインまたは他のプログラム等の構成可能コンポーネントを実行するように構成される、ブラウザ内で達成されてもよい。パッケージマネージャは、ＸＲシステムのフレームワークの一部であってもよい。図示される実施形態では、ＵＲＬと関連付けられる、ウェブアプリケーションは、インストール可能エンティティとして表され、これは、でアイコンをランチャメニューに追加するために使用される情報を含有する、データ構造あってもよい。図示される実施例では、インストール可能エンティティは、インストールツールによって生成される。代替として、または加えて、インストール可能エンティティは、指定されたＵＲＬにおけるウェブコンテンツの作成者がインストール可能エンティティを記憶した、ネットワーク化された場所からを含む、他のソースから取得されてもよい。
図示される実施形態によると、インストールツール６８１０は、ウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加するために使用され得る、インストール可能エンティティを生成するために、図６７に関連して説明されるようなユーザ入力によってアクティブ化されてもよい。図６８に図示されるプロセスは、例示的であって、いくつかの実施形態では、プロセスのステップは、スキップされる、繰り返される、代替ステップと置換されること等が行われてもよいことを理解されたい。また、図６８のプロセスのステップのいくつかまたは全ては、ＸＲシステム内で実施されてもよい、またはクラウドコンピューティング環境等の代替コンピューティング環境内で実施されてもよいことを理解されたい。図示される実施例では、ウェブコンテンツを示す、アイコンは、ＸＲシステムの一部である、ポータブル電子デバイス上にインストールされることになる。
図示される実施形態では、インストール可能エンティティを作成するプロセスは、複数の方法のうちの１つにおいて開始されてもよい。ステップ６８０２または６８０４では、例えば、ユーザは、インストールツール６８１０をブラウザからアクティブ化してもよい。ステップ６８０２では、例えば、ＸＲシステムは、ユーザによってブラウザを通して示される、ＵＲＬが、プログラムランチャ内にインストールするために好適なウェブアプリケーションを含有することを検出し得る。故に、本システムは、プロンプトを生成してもよく、これは、図６７におけるプロンプト６７０２の形態にあって、ユーザが、彼らがウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加することを所望することを示すことを有効にし、それによって、インストールツールをアクティブ化してもよい。同様に、図６８におけるステップ６８０４では、図６７における６７０４に対応する、メニューオプションは、ユーザが、彼らがウェブコンテンツと関連付けられるアイコンをプログラムランチャメニューに追加することを所望することを示すことを可能にし、それによって、インストールツール６８１０をアクティブ化する。
プロセスが開始される方法にかかわらず、ユーザが、指定されるＵＲＬがランチャメニューを通してアクセスされるべきウェブコンテンツのソースであることを示す、入力を提供する場合、プロセスは、ステップ６８１２に進み得る。ステップ６８１２では、インストールツール６８１０は、ウェブコンテンツを識別する、ＵＲＬを受信してもよい。ユーザが、ブラウザを通して、ＵＲＬにナビゲートしたとき、インストールツールが立ち上げられる、実施例では、本ＵＲＬは、ブラウザのための現在のＵＲＬであり得る。他の実施形態では、ウェブコンテンツの別の識別子が、ＵＲＬに加え、またはその代わりに、受信されてもよい。
ステップ６８１４では、インストールツールは、受信された識別子に基づいて、ウェブコンテンツにアクセスしてもよい。ウェブコンテンツにアクセスすることは、いくつかの実施形態では、ウェブコンテンツを識別するＵＲＬをロードすることを伴ってもよい。いくつかの実施形態では、ウェブコンテンツにアクセスするステップの一部として、ウェブコンテンツを表す、情報は、標準化された形態において、ＵＲＬから取得されてもよい。例えば、ウェブコンテンツが、ウェブアプリケーションである場合、ウェブアプリケーションと関連付けられる、ウェブマニフェストが、アクセスされてもよく、ウェブコンテンツを表す、情報が、それによって、取得されてもよい。その情報は、例えば、Ｗ３Ｃ仕様に従って、フォーマット化されてもよい。
ウェブコンテンツがアクセスされる様式にかかわらず、ステップ６８１６では、インストールツール６８１０は、アクセスされるウェブコンテンツが規格のセットを満たすかどうかを決定してもよい。いくつかの実施形態では、規格のセットは、Ｗ３Ｃ規格等のウェブ規格を含んでもよい。いくつかの実施形態では、規格のセットは、例えば、フォーマット化規格等の他の規格を含んでもよい。規格との準拠は、コンテンツを処理することによって、または規格認証書等のコンテンツとともに記憶される情報に基づいて、決定されてもよい。
決定ステップ６８１６において、インストールツールが、ウェブコンテンツが適切な規格を満たすことに失敗することを決定する場合、インストールプロセスは、終了され、ユーザは、インストールの失敗を通知され得る。図６８は、ステップ６８３４において、これがパッケージマネージャ６８３０内で生じるように示すが、インストールは、ユーザに通知せずに、終了してもよく、および／または制御がパッケージマネージャに通過されずに、終了してもよいことを理解されたい。例えば、ウェブコンテンツが、規格を満たさない場合、パッケージマネージャは、全く開始されなくてもよく、プロセスは、パッケージマネージャを開始しない結果として、終了してもよい。
ステップ６８１６が、ウェブコンテンツが規格のセットを満たすことを決定する場合、インストールツール６８１０の実行によって実施されるプロセスは、代わりに、ステップ６８１８に進み得る。代替として、ステップ６８１６は、いくつかのシナリオでは、省略されてもよく、プロセスは、ステップ６８１６を実施せずに、ステップ６８１８に進み得る。
ステップ６８１８では、チェックが、ウェブコンテンツに対応する、インストール可能エンティティが、ポータブル電子デバイス上にすでに登録されているかどうかを決定するために実施されてもよい。図示される実施例では、本ステップは、インストールツール６８１０によって実施される。しかしながら、いくつかの実施形態では、パッケージマネージャ６８３０が、本ステップを実施してもよい。ウェブコンテンツに対応する、インストール可能エンティティが、ポータブル電子デバイス上にすでに登録されているかどうかを決定するステップは、レジストリ内のエントリにアクセスするステップを伴ってもよく、アイコンによって識別される、ポータブル電子デバイス上に記憶されるアプリケーションは、ＵＲＬと関連付けられ得る。レジストリは、テーブル、データベース、または他のデータ構造等の任意の好適な形態において、ポータブル電子デバイス上に記憶されてもよい。インストールツールが、ステップ６８１８において、ウェブコンテンツと関連付けられるインストール可能エンティティがポータブル電子デバイス上にすでに登録されていることを決定する場合、インストールプロセスは、終了されてもよい。インストールプロセスは、ステップ６８３４またはステップ６８１６に関連して上記に説明されるような他の方法において終了してもよく、ユーザは、インストールの失敗を通知される場合とそうではない場合がある。
インストールツール６８１０が、ウェブコンテンツと関連付けられるインストール可能エンティティがデバイス上にすでに登録されていないことを決定する、または他の手段によって、新しいインストール可能エンティティが生成されるべきであることを決定する場合、インストールツールは、ステップ６８２０に進む。ステップ６８２０では、インストールツールは、ステップ６８１４においてアクセスされるウェブコンテンツに基づいて、新しいインストール可能エンティティを生成してもよい。インストール可能エンティティは、ＸＲシステムが、ウェブコンテンツのためのメニューオプションを提示し、そのメニューオプションが選択されると、それにアクセスするために使用し得る、情報を含有してもよい。その情報は、コンピューティングデバイスおよび／またはコンピューティングデバイスのコンポーネント間で通過され得る、ファイルまたは他のデータ構造として、フォーマット化されてもよい。
いくつかの実施形態では、インストールツール６８１０は、インストール可能エンティティのためのマニフェストを作成してもよい。インストール可能エンティティのためのマニフェストは、ウェブコンテンツについての情報を提供する。いくつかの実施形態では、マニフェストは、ウェブコンテンツと関連付けられるＵＲＬ、および、例えば、アプリケーションタイプフラグまたは他の情報等のウェブコンテンツをＵＲＬからレンダリングすることのインジケーションを含む。マニフェストに加え、いくつかの実施形態では、インストールツール６８１０は、加えて、アイコンを生成し、インストール可能エンティティをポータブル電子デバイス上のプログラムランチャメニュー内に表してもよい。アイコンは、２Ｄまたは３Ｄアイコンであってもよく、ウェブコンテンツ、ウェブコンテンツと関連付けられるウェブマニフェストに基づいてもよい、またはウェブコンテンツに基づかない、インストールツール６８１０によって生産されたデフォルトアイコンであってもよい。アイコンが生産される方法にかかわらず、アイコンの仕様が、インストール可能エンティティのマニフェスト内に含まれてもよい。アイコンの仕様は、例えば、アイコンが記憶される、ネットワークまたはポータブル電子デバイス上の場所を示す、経路であってもよい。アイコンは、代替として、または加えて、グラフィックファイルまたは他のフォーマットとして表されてもよい。
いったんインストール可能エンティティが、ステップ６８２０に従って、生成されると、制御は、パッケージマネージャ６８３０に移動する。ステップ６８３２では、パッケージマネージャは、インストール可能エンティティをポータブル電子デバイス上に登録してもよい。これは、上記に説明されるように、ポータブル電子デバイスのレジストリ内にエントリを作成するステップを伴ってもよい。加えて、インストール可能エンティティを登録するステップは、ステップ６８２０において生成されたアイコンから選択された、インストール可能エンティティのためのアイコンを、プログラムランチャメニューに追加するステップを含んでもよい。ステップ６８３４では、インストールプロセスが、終了する。いくつかの実施形態では、パッケージマネージャは、ユーザに、ウェブコンテンツと関連付けられるアプリケーションが正常にポータブル電子デバイス上にインストールされたことを通知してもよい。
いくつかの実施形態では、インストール可能エンティティを、それをポータブル電子デバイス上にインストールせずに、生成することが望ましくあり得る。例えば、コンテンツ作成者は、インストール可能エンティティを生成し、それをアプリケーションストア内で共有することを所望し得、その実施例は、ＭＬ世界である。そのような実施形態では、インストールツール６８１０に類似する生成ツールが、コンテンツ作成者によって、インストール可能エンティティのためのマニフェストおよびアイコンを自動的に生産するために、利用されてもよい。インストールツールによって行われる、あるステップは、生成ツールが、インストール可能エンティティがポータブル電子デバイス上にすでに登録されているかどうかを決定すること等によって、スキップされてもよい。逆に言えば、生成ツールは、インストール可能エンティティをメモリ内に記憶する、またはそれをクラウドにアップロードすること等、インストールツール６８１０によって実施されない、ステップを実施してもよい。さらに、いくつかの実施形態では、コンテンツ作成者は、マニフェストファイルおよびアイコンを提供することによって、インストール可能エンティティを手動で生産してもよい。
図６９は、いくつかの実施形態による、コンテンツ作成者６９００が、インストール可能エンティティを作成および共有し得る方法を描写する、概略図である。図示される実施例では、コンテンツ作成者６９００は、その作成または選定のウェブコンテンツを含有する、ＵＲＬを、作成者ポータル６９０２に入力し、これは、要求をバックエンドサーバ６９０４に転送する。バックエンドサーバ６９０４は、上記の生成ツールと関連付けて説明される、ステップのうちのいくつかを実施してもよい。図示される実施例では、バックエンドサーバは、ウェブコンテンツのウェブマニフェストにアクセスすることによって、ＵＲＬに基づいて、ウェブコンテンツにアクセスし（図６８のインストールツールのステップ６８１４等）、ウェブコンテンツがインストール可能であることの規格を満たすかどうかを決定するためのチェックを実施する（図６８のインストールツールのステップ６８１６等）。
バックエンドサーバは、次いで、上記の図６８のステップ６８２０と併せて説明されるように、インストール可能エンティティを生成し、インストール可能エンティティをＭＬ世界に登録するように試みる。いくつかの代替実施形態では、インストール可能エンティティは、ＭＬ世界または別のアプリケーションストア内に登録されずに、メモリ内に記憶されてもよい、または、単に、コンテンツ作成者に返されてもよいことを理解されたい。図６９の実施例では、バックエンドサーバ６９０４は、作成者ポータル６９０２を介して、コンテンツ作成者６９００に、入力ＵＲＬに基づいて、インストール可能エンティティを登録するそのような試みの結果を通知してもよい。例えば、コンテンツ作成者は、提出されたＵＲＬが要求される規格を満たさないことを通知され得る、またはインストール可能エンティティがＭＬ世界に正常に登録されたことを通知され得る。いくつかの実施形態では、インストール可能エンティティをＭＬ世界に登録後、手動照合ステップが、インストール可能エンティティが、ユーザがＭＬ世界からインストールするために利用可能にされ得る前に、要求され得る。
本明細書に説明される技法に従って、ウェブコンテンツに基づいて、ＸＲアプリケーションを生成およびインストールするステップは、あるシナリオでは、１つまたはそれを上回る利点を提供し得る。それを実行可能コードを用いて生成せずに、コンテンツを取得する能力は、ウェブコンテンツと関連付けられるアプリケーションが、最小限の開発労力を伴って、生成されることを可能にする一方、そのようなアプリケーションを立ち上げ、対応するウェブコンテンツをプリズム内に表示するための本明細書に説明される技法は、コードの実行を介してコンテンツを生成する、ネイティブアプリケーションを用いて達成され得るような完全に没入型のユーザ体験を可能にする。さらに、これらの技法に従ったアプリケーションは、コンテンツキャッシュ等の既存のブラウザ機能性も利用し得る。ウェブコンテンツは、ローカルでキャッシュされてもよく、これは、アプリケーションの立ち上げ時間を改良し得る。加えて、そのようなアプリケーションは、自動的に生成され、直接、コンテンツ作成者または公開者のウェブサイトからインストールされ得るため、アプリケーションのためのダウンロード時間は、低減され得る。
さらに、本明細書に説明されるような技法は、ブラウザ内にレンダリングされたウェブコンテンツが、ネイティブでダウンロードおよび実行される、コードによってレンダリングされるのではなく、ＸＲシステムのコンポーネントに不適切にアクセスしないようにより制限され得るため、セキュアであり得る。いくつかの実施形態では、本構成は、アプリケーションが、ポータブル電子デバイスのハードウェアおよび／またはソフトウェアコンポーネントにアクセスすることを有効にする一方、ユーザが、許可を介して、本アクセスを制御することを有効にする。図７０は、本明細書に説明される技法のいくつかの実施形態による、ユーザ７０００が、ブラウザ７００４によって管理される許可７０４２を用いて、ウェブコンテンツ７００２に安全にアクセスし得る方法を描写する、概略図である。
図示される実施例では、ユーザ７０００は、ウェブコンテンツ７００２にアクセスする。本実施例では、コンテンツは、ディスパッチサービス７０１０によってレンダリングされる。ディスパッチサービスは、例えば、上記の図６６と併せて説明されるように、ＸＲシステム動作を制御する、または別様に、選択されたウェブコンテンツをブラウザによってレンダリングせる、プロセスの１つまたはそれを上回るコンポーネントとして実装されてもよい。
コンテンツが、ブラウザ７００４によってレンダリングされるにつれて、ポータブル電子機器のコンポーネントへのアクセスが、ウェブコンテンツ７００２と関連付けられるアプリケーションによって要求されることが生じ得る。これらのコンポーネントは、プラットフォームＡＰＩ７００６を通して、アクセスされてもよい。例えば、ウェブコンテンツ７００２は、ビデオチャットアプリケーションであってもよく、これは、ポータブル電子デバイスのカメラまたはマイクロホンへのアクセスを要求し得る。他の実施例では、ポータブル電子デバイスの任意のセンサを含む、他のハードウェアコンポーネントが、アクセスされてもよい。ハードウェアコンポーネントへのアクセスはまた、それ自体がソフトウェアコンポーネントであり得る、コンポーネントと関連付けられる、データおよびプラットフォームＡＰＩ７００６へのアクセスを伴ってもよい。ダウンロードされたウェブコンテンツ自体は、プラットフォーム上で実行されず、ブラウザ内でのみ実行するため、プラットフォームＡＰＩ７００６へのアクセスは、ブラウザの権限に基づいて、制限されるであろう。
いくつかの実施形態では、ブラウザ７００４は、具体的ウェブサイトと関連付けられる、許可を記憶してもよい。許可に関するデータは、ユーザが、あるウェブサイトがプラットフォームコンポーネントに対してアクションを行うことを認可または阻止することによって提供されてもよい。代替として、または加えて、各ウェブサイトと関連付けられる、許可は、ユーザインターフェースを介して、閲覧、追加、または編集されてもよい。例えば、ユーザインターフェースは、ブラウザのソフトウェアコンポーネント、またはポータブル電子デバイスによって提供される、システム設定等のプラットフォームコンポーネントであってもよい。
ウェブコンテンツが、禁止および／または非認可アクションを実施するためのコマンドを含有する場合でも、ブラウザ７００４は、そのアクションを実施するためのコールをプラットフォームＡＰＩ７００６上で行わなくてもよい。いくつかの実施形態では、要求されるアクションが、許可されない場合、ブラウザは、ユーザのためのプロンプトを生成してもよい。本プロンプトに対するユーザの応答は、許可７０４２の一部として記憶されてもよい。
例えば、ビデオチャットアプリケーションの場合、ウェブコンテンツは、デバイスマイクロホンまたはカメラを介して入手されたデータに基づいて、アクションを規定してもよい。ブラウザ７００４は、ユーザに、ビデオチャットアプリケーションのために、マイクロホンまたはカメラアクセスを可能にするようにプロンプトし、次いで、ユーザの応答を記憶してもよい。これは、ブラウザ７００４が、必要プラットフォームＡＰＩ７００６にアクセスすることを可能にする一方、また、ユーザ７０００に、ウェブコンテンツ７００２と関連付けられる所与のアプリケーションのためのアクセスのブラウザのレベルの完全制御を与える。対照的に、ネイティブアプリケーションは、その上でそれが実行される、ポータブル電子デバイスのコンポーネントへの完全または別様に殆ど制限されていないアクセスを有し得る。
さらなる考慮点
図６０は、コンピュータシステム１９００の例示的形態における機械の略図表現を示し、機械に本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施させるための命令のセットが、いくつかの実施形態に従って実行されてもよい。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々にまたはともに、命令のセット（または複数のセット）を実行し、本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施する、機械の任意の集合を含むものと捉えられるものとする。
例示的コンピュータシステム１９００は、プロセッサ１９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）と、メインメモリ１９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、動的ランダムアクセスメモリ（ＤＲＡＭ）、例えば、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）等）と、静的メモリ１９０６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）等）とを含み、これらは、バス１９０８を介して相互に通信する。
コンピュータシステム１９００はさらに、ディスクドライブユニット１９１６と、ネットワークインターフェースデバイス１９２０とを含んでもよい。
ディスクドライブユニット１９１６は、その上に本明細書に説明される方法論または機能のうちの任意の１つまたはそれを上回るものを具現化する、１つまたはそれを上回る命令のセット１９２４（例えば、ソフトウェア）が記憶される、機械可読媒体１９２２を含む。ソフトウェアはまた、コンピュータシステム１９００、メインメモリ１９０４、およびプロセッサ１９０２によるその実行の間、完全にまたは少なくとも部分的に、メインメモリ１９０４内および／またはプロセッサ１９０２内に常駐し、同様に機械可読媒体を構成してもよい。
ソフトウェアはさらに、ネットワーク１８を経由して、ネットワークインターフェースデバイス１９２０を介して、伝送または受信されてもよい。
コンピュータシステム１９００は、プロジェクタを駆動し、光を生成するために使用される、ドライバチップ１９５０を含む。ドライバチップ１９５０は、その独自のデータ記憶装置１９６０と、その独自のプロセッサ１９６２とを含む。
機械可読媒体１９２２が、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、１つまたはそれを上回る命令のセットを記憶する、単一媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に、本発明の方法論のうちの任意の１つまたはそれを上回るものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、またはより一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図２９は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密な候補マップは、より小さい候補マップより優先されてもよい。
そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。
本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、ＣＰＵチップ、ＧＰＵチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の１つまたはそれを上回るプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ＡＳＩＣ等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、１つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。
さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。
また、コンピュータは、１つまたはそれを上回る入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力／出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および／または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力／出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。
そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカルエリアネットワークまたは広域ネットワークを含む、任意の好適な形態の１つまたはそれを上回るネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。
また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用する、１つまたはそれを上回るプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。
本側面では、本開示は、１つまたはそれを上回るコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される本開示の種々の実施形態を実装する方法を行う、１つまたはそれを上回るプログラムで符号化される、コンピュータ可読記憶媒体（または複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つまたはそれを上回るフロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、光学ディスク、デジタルビデオディスク（ＤＶＤ）、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、上記に記載されるように、その上に記憶される１つまたは複数のプログラムが、本開示の種々の側面を実装するように１つまたはそれを上回る異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造（すなわち、製造品）または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。
用語「プログラム」または「ソフトウェア」は、上記に記載されるように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、１つまたはそれを上回るコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。
コンピュータ実行可能命令は、１つまたはそれを上回るコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。
また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。
本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。
また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。
請求項要素を修飾するための請求項における「第１」、「第２」、「第３」等の順序の用語の使用は、単独では、別の要素と比べた１つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、（順序の用語の使用のためであるが）ある名称を有する１つの請求項要素と、同一の名称を有する別の要素を区別する標識としてのみ使用される。
また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「～を含む」、「～を備える」、または「～を有する」、「～を含有する」、「～を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。

Claims (48)

  1. アプリケーションを実行することによって生成された仮想コンテンツをレンダリングするように構成されている複合現実システムを作動させる方法であって、前記アプリケーションのための前記仮想コンテンツは、前記アプリケーションに関連付けられるように、前記システムによって管理されるプリズム内にレンダリングされ、前記方法は、
    コンテンツをリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、
    前記リンクを用いて、前記コンテンツを表す標準化された形態において、情報を取得することと、
    前記取得された情報に基づいて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記コンテンツをプリズム内にレンダリングすることであって、前記プリズムは、前記ブラウザに関連付けられるように、前記複合現実システムによって管理され、前記プリズムは、その中に前記コンテンツが表示されるボリュームである、ことと
    を含む、方法。
  2. 前記アプリケーションは、ネイティブアプリケーションである、請求項１に記載の方法。
  3. 前記方法は、
    第１のアプリケーションに関連付けられているユーザ入力を受信することと、
    前記第１のアプリケーションがネイティブアプリケーションであるかどうかまたは前記第１のアプリケーションがブラウザであるかどうかを決定することと
    をさらに含み、
    コンテンツをリンクからレンダリングすることの前記インジケーションは、前記第１のアプリケーションが前記ブラウザであるという決定を含む、請求項１に記載の方法。
  4. 前記方法は、プリズムにリンクされた前記ブラウザのインスタンスを立ち上げることをさらに含み、前記プリズムは、前記複合現実システムによって管理されるボリュームであり、前記ボリューム内に前記コンテンツが表示されるべきであり、
    前記コンテンツを前記プリズム内にレンダリングすることは、前記ブラウザの前記インスタンスを用いて、前記コンテンツを前記プリズム内にレンダリングすることを含む、請求項３に記載の方法。
  5. 前記第１のアプリケーションに関連付けられている前記ユーザ入力を受信することは、プログラムランチャメニュー内の前記リンクに関連付けられているアイコンのユーザ選択を受信することを含み、前記プログラムランチャメニューはまた、前記ネイティブアプリケーションに関連付けられている少なくとも１つのアイコンを備える、請求項４に記載の方法。
  6. 前記複合現実システムは、ポータブル電子デバイスを備え、
    前記ブラウザは、前記ポータブル電子デバイス上で実行され、
    前記方法は、前記ポータブル電子デバイスのユーザに対するプロンプトを生成することにより、前記コンテンツのレンダリングを確認することをさらに含む、請求項４に記載の方法。
  7. 前記方法は、インストール可能なエンティティを処理することをさらに含み、前記処理することは、
    前記インストール可能なエンティティに基づいて、前記リンクに関連付けられているアイコンを生成することと、
    前記アイコンを前記リンクに関連付けるエントリをレジストリ内に作成することと
    を含む、請求項４に記載の方法。
  8. 前記インストール可能なエンティティは、前記アイコンの仕様を備え、
    前記アイコンを生成することは、前記アイコンの前記仕様に基づいて、前記アイコンをレンダリングすることを含む、請求項７に記載の方法。
  9. 前記インストール可能なエンティティは、ウェブアプリケーションを規定するデータを備え、
    前記アイコンを生成することは、前記ウェブアプリケーションを規定する前記データに基づいて、前記アイコンを形成することを含む、請求項７に記載の方法。
  10. 前記方法は、前記インストール可能なエンティティに関連付けられているユーザ入力に基づいて、前記インストール可能なエンティティを生成することをさらに含み、前記生成することは、前記リンクに関連付けられているウェブアプリケーションを前記複合現実システム上にインストールするためのコマンドを含む、請求項７に記載の方法。
  11. 前記コンテンツを前記プリズム内にレンダリングすることは、前記リンクからダウンロードされた前記コンテンツのアニメーション化された３Ｄモデルに基づいて、前記ブラウザを用いて、動的３Ｄコンテンツを生成することを含む、請求項４に記載の方法。
  12. 前記コンテンツを前記プリズム内にレンダリングすることは、前記ブラウザのナビゲーション制御なく、前記コンテンツをレンダリングすることを含む、請求項１に記載の方法。
  13. 前記コンテンツを前記プリズム内にレンダリングすることは、前記リンクからダウンロードされた前記コンテンツの３Ｄモデルに基づいて、３Ｄコンテンツをレンダリングすることを含む、請求項１に記載の方法。
  14. 前記コンテンツを前記プリズム内にレンダリングすることは、
    第１の時間において、前記コンテンツを規定する情報を前記複合現実システム上にダウンロードおよびキャッシュすることと、
    前記第１の時間後の第２の時間において、前記キャッシュされた情報に基づいて、前記コンテンツをレンダリングすることと
    を含む、請求項１に記載の方法。
  15. 前記コンテンツを表す前記標準化された形態における前記リンクからの情報は、前記複合現実システムのコンポーネントから取得された情報に部分的に基づき、
    前記コンテンツを前記リンクからレンダリングすることは、前記複合現実システムの前記コンポーネントへのアクセスを認可するように前記複合現実システムのユーザにプロンプトすることを含む、請求項１に記載の方法。
  16. 前記プリズムは、前記複合現実システムによって生成されたユーザインターフェースを備え、前記プリズムは、ユーザが前記プリズムを制御することが可能であるように構成されている、請求項１に記載の方法。
  17. 第１のアプリケーションによって生成された仮想コンテンツをレンダリングするように構成されている複合現実システムであって、前記アプリケーションのための前記仮想コンテンツは、前記アプリケーションに関連付けられるように、前記複合現実システムによって管理されるボリューム内にレンダリングされ、
    前記複合現実システムは、ポータブル電子デバイスを備え、
    前記ポータブル電子デバイスは、
    １つ以上のプロセッサと、
    コンピュータ実行可能な命令を備える少なくとも１つのコンピュータ読み取り可能な媒体と
    を備え、
    前記コンピュータ実行可能な命令は、前記１つ以上のプロセッサのうちの１つのプロセッサによって実行されると、
    コンテンツをリンクからレンダリングすることのインジケーションに基づいて、ブラウザを用いて、
    前記コンテンツを表す標準化された形態において、前記リンクからの情報を取得することと、
    前記取得された情報に基づいて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記コンテンツをボリューム内にレンダリングすることであって、前記ボリュームは、前記ブラウザに関連付けられるように、前記複合現実システムによって管理される、ことと
    を行う、複合現実システム。
  18. 前記少なくとも１つのコンピュータ読み取り可能な媒体は、前記コンピュータ実行可能な命令を備え、前記コンピュータ実行可能な命令は、前記１つ以上のプロセッサのうちの１つのプロセッサによって実行されると、
    前記第１のアプリケーションを用いて、前記仮想コンテンツを前記ボリューム内にレンダリングすることと、
    前記第１のアプリケーションがネイティブアプリケーションであるという決定に応答して、前記ネイティブアプリケーションの実行によって生成された仮想コンテンツを前記ボリューム内にレンダリングすることと
    をさらに行う、請求項１７に記載の複合現実システム。
  19. 前記複合現実システムは、前記ブラウザが前記ポータブル電子デバイスの複数のハードウェアコンポーネントへのアクセスを有するように構成されている、請求項１７に記載の複合現実システム。
  20. 前記コンテンツを表す前記標準化された形態における前記リンクからの情報は、前記複合現実システムのコンポーネントから取得された情報に基づき、
    前記コンテンツを前記リンクからレンダリングすることは、前記複合現実システムの前記コンポーネントへのアクセスを認可するように前記複合現実システムのユーザにプロンプトすることを含み、
    それに対するアクセスを認可するように前記ユーザがプロンプトされる前記複合現実システムの前記コンポーネントは、前記ポータブル電子デバイスの前記複数のハードウェアコンポーネントのうちの１つである、請求項１９に記載の複合現実システム。
  21. それに対して前記ブラウザがアクセスを有する前記ポータブル電子デバイスの前記複数のハードウェアコンポーネントは、オーディオまたはビデオまたは画像データ、または、これらの任意の組み合わせを取得するように構成されているハードウェアを備える、請求項１９に記載の複合現実システム。
  22. 前記複合現実システムは、前記ブラウザが、前記ポータブル電子デバイスの前記複数のハードウェアコンポーネントへのアクセスを有効にすることに先立って、前記ポータブル電子デバイスのユーザから受信された許可に基づいて、前記ポータブル電子デバイスの前記複数のハードウェアコンポーネントへのアクセスを条件付きで有するように構成されている、請求項２１に記載の複合現実システム。
  23. 前記コンピュータ実行可能な命令は、前記１つ以上のプロセッサのうちの１つのプロセッサによって実行されると、インストール可能なエンティティを処理し、前記処理することは、
    前記インストール可能なエンティティに基づいて、前記リンクに関連付けられているアイコンを生成することと、
    前記アイコンを前記リンクに関連付けるエントリをレジストリ内に作成することと
    を含む、請求項１７に記載の複合現実システム。
  24. 前記インストール可能なエンティティは、前記アイコンの仕様を備え、
    前記アイコンを生成することは、前記アイコンの前記仕様に基づいて、前記アイコンをレンダリングすることを含む、請求項２３に記載の複合現実システム。
  25. 前記インストール可能なエンティティは、ウェブアプリケーションを規定するデータを備え、
    前記アイコンを生成することは、前記ウェブアプリケーションを識別する情報とともに、アイコンを形成することを含む、請求項２３に記載の複合現実システム。
  26. 複合現実システム内のポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能なエンティティを生成する方法であって、前記方法は、
    １つ以上のプロセッサを用いて、
    ウェブコンテンツに関連付けられているリンクを受信することと、
    前記ウェブコンテンツに基づいて、インストール可能なエンティティを生成することと
    を実行することを含み、
    前記インストール可能なエンティティは、マニフェストを備え、
    前記マニフェストは、
    前記ウェブコンテンツに関連付けられている前記リンクと、
    ブラウザを用いて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記ウェブコンテンツを前記リンクからプリズム内にレンダリングすることのコンピュータ実行可能なインジケーションであって、前記プリズムは、前記ブラウザに関連付けられるように、前記複合現実システムによって管理され、前記プリズムは、その中に前記ウェブコンテンツが表示されるボリュームである、コンピュータ実行可能なインジケーションと
    を備える、方法。
  27. 前記方法は、前記１つ以上のプロセッサを用いて、
    前記インストール可能なエンティティを前記ポータブル電子デバイス上に登録すること
    を実行することをさらに含む、請求項２６に記載の方法。
  28. 前記方法は、前記１つ以上のプロセッサを用いて、
    前記ウェブコンテンツに対応するインストール可能なエンティティが、前記ポータブル電子デバイス上にすでに登録されているかどうかを決定すること
    を実行することをさらに含む、請求項２７に記載の方法。
  29. 前記インストール可能なエンティティを前記ポータブル電子デバイス上に登録することは、前記インストール可能なエンティティを表すアイコンを前記ポータブル電子デバイス上のプログラムランチャメニューに追加することを含む、請求項２７に記載の方法。
  30. 前記ウェブコンテンツは、３Ｄコンテンツを備える、請求項２６に記載の方法。
  31. 前記３Ｄコンテンツは、アニメーション化された３Ｄコンテンツを備える、請求項３０に記載の方法。
  32. 前記方法は、前記１つ以上のプロセッサを用いて、
    前記ウェブコンテンツが規格のセットに適合するかどうかを決定すること
    を実行することをさらに含む、請求項２６に記載の方法。
  33. 前記規格のセットは、Ｗ３Ｃ規格である、請求項３２に記載の方法。
  34. 前記ウェブコンテンツは、ウェブアプリケーションによって生成され、前記ウェブアプリケーションは、ウェブマニフェストを備え、
    前記方法は、前記１つ以上のプロセッサを用いて、
    前記ウェブアプリケーションの前記ウェブマニフェストにアクセスすることと、
    前記ウェブマニフェストにさらに基づいて、前記インストール可能なエンティティを生成することと
    を実行することをさらに含む、請求項２６に記載の方法。
  35. 前記インストール可能なエンティティは、前記インストール可能なエンティティを表す１つ以上のアイコンをさらに備える、請求項２６に記載の方法。
  36. 前記１つ以上のアイコンは、３Ｄアイコンである、請求項３５に記載の方法。
  37. 前記インストール可能なエンティティは、前記インストール可能なエンティティを表す１つ以上のアイコンをさらに備え、前記１つ以上のアイコンは、前記ウェブマニフェストに基づく、請求項３４に記載の方法。
  38. 前記インストール可能なエンティティの前記マニフェストは、前記ウェブコンテンツに関連付けられている名称をさらに備える、請求項２６に記載の方法。
  39. 前記インストール可能なエンティティの前記マニフェストは、前記１つ以上のアイコンの仕様をさらに備える、請求項３５に記載の方法。
  40. 前記インストール可能なエンティティの前記マニフェストは、複数のフィールドを備えるファイルをさらに備え、
    前記方法は、ユーザからの入力に基づいて、前記ファイルの前記複数のフィールドのうちの１つ以上を更新することをさらに含む、請求項２６に記載の方法。
  41. 前記方法は、前記１つ以上のプロセッサを用いて、
    前記インストール可能なエンティティを記憶すること
    を実行することをさらに含む、請求項２６に記載の方法。
  42. 前記インストール可能なエンティティを記憶することは、前記インストール可能なエンティティをクラウドサーバ内に記憶することを含む、請求項４１に記載の方法。
  43. 前記インストール可能なエンティティを生成することは、インストールツールを用いて実行される、請求項２６に記載の方法。
  44. ポータブル電子デバイスが仮想コンテンツを３Ｄ環境内にレンダリングすることが可能なウェブコンテンツに基づいて、インストール可能なエンティティを生成するための複合現実システムであって、前記複合現実システムは、
    １つ以上のプロセッサと、
    コンピュータ実行可能な命令を備える少なくとも１つのコンピュータ読み取り可能な媒体と
    を備え、
    前記コンピュータ実行可能な命令は、前記１つ以上のプロセッサのうちの１つのプロセッサによって実行されると、
    ウェブコンテンツに関連付けられているリンクを受信することと、
    前記ウェブコンテンツに基づいて、インストール可能なエンティティを生成することと
    を行い、
    前記インストール可能なエンティティは、マニフェストを備え、
    前記マニフェストは、
    前記ウェブコンテンツに関連付けられている前記リンクと、
    ブラウザを用いて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記ウェブコンテンツを前記リンクからプリズム内にレンダリングすることのコンピュータ実行可能なインジケーションであって、前記プリズムは、前記ブラウザに関連付けられるように、前記複合現実システムによって管理され、前記プリズムは、その中に前記ウェブコンテンツが表示されるボリュームである、コンピュータ実行可能なインジケーションと
    を備える、複合現実システム。
  45. 前記ブラウザを用いて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記コンテンツをプリズム内にレンダリングすることは、ブラウザアプリケーションの少なくとも１つの視覚的要素を用いることなく、前記コンテンツをレンダリングすることを含む、請求項１に記載の方法。
  46. 前記ブラウザを用いて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記コンテンツをプリズム内にレンダリングすることは、
    第１の時間において、前記ブラウザの少なくとも１つの視覚的要素を用いることなく、前記コンテンツをレンダリングすることと、
    前記コンテンツに指向される複合現実ユーザ入力が検出される第２の時間において、前記少なくとも１つの視覚的要素を用いて、前記コンテンツをレンダリングすることと
    を含む、請求項１に記載の方法。
  47. 前記複合現実ユーザ入力は、前記コンテンツに指向されるユーザ視線、ユーザジェスチャ、または、トーテム上の制御のユーザ作動を含む、請求項４６に記載の方法。
  48. 前記ブラウザを用いて、ネイティブアプリケーションでレンダリングされるコンテンツと同一の特性で前記コンテンツをプリズム内にレンダリングすることは、境界を用いることなく、前記コンテンツをレンダリングすることを含む、請求項１に記載の方法。
JP2022534396A 2019-12-09 2020-12-08 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム Active JP7748945B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962945357P 2019-12-09 2019-12-09
US62/945,357 2019-12-09
PCT/US2020/063719 WO2021118962A1 (en) 2019-12-09 2020-12-08 Cross reality system with simplified programming of virtual content

Publications (3)

Publication Number Publication Date
JP2023504570A JP2023504570A (ja) 2023-02-03
JPWO2021118962A5 JPWO2021118962A5 (ja) 2023-12-19
JP7748945B2 true JP7748945B2 (ja) 2025-10-03

Family

ID=76209843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534396A Active JP7748945B2 (ja) 2019-12-09 2020-12-08 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム

Country Status (5)

Country Link
US (5) US11562542B2 (ja)
EP (1) EP4073763A4 (ja)
JP (1) JP7748945B2 (ja)
CN (1) CN114762008A (ja)
WO (1) WO2021118962A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN113196209A (zh) 2018-10-05 2021-07-30 奇跃公司 在任何位置渲染位置特定的虚拟内容
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN114616534B (zh) 2019-10-15 2025-08-26 奇跃公司 具有无线指纹的交叉现实系统
CN114586071A (zh) 2019-10-15 2022-06-03 奇跃公司 支持多设备类型的交叉现实系统
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
CN120599183A (zh) 2019-11-12 2025-09-05 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) * 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
JP7671769B2 (ja) 2020-02-26 2025-05-02 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
EP4143794A4 (en) 2020-04-29 2024-04-17 Magic Leap, Inc. CROSS-REALITY SYSTEM FOR LARGE-SCALE ENVIRONMENTS
US11275970B2 (en) * 2020-05-08 2022-03-15 Xailient Systems and methods for distributed data analytics
US11727638B1 (en) * 2020-08-21 2023-08-15 Meta Platforms Technologies. LLC Adaptive geometric smoothing
CN112835484B (zh) * 2021-02-02 2022-11-08 北京地平线机器人技术研发有限公司 基于操作体的动态显示方法、装置、存储介质及电子设备
EP4047558A1 (en) * 2021-02-17 2022-08-24 Miehee Ju Kim System for generating 3d mobile augmented reality
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
EP4327293A1 (en) 2021-04-18 2024-02-28 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
JP7700852B2 (ja) * 2021-05-19 2025-07-01 ソニーグループ株式会社 情報処理装置、情報処理プログラム、情報処理方法、及び情報処理システム
CN113836439B (zh) * 2021-09-14 2024-01-30 上海任意门科技有限公司 用户匹配方法、计算设备和计算机可读存储介质
USD1027997S1 (en) * 2022-01-14 2024-05-21 Kilburn Live, Llc Display screen or portion thereof with graphical user interface
US12469207B2 (en) 2022-05-10 2025-11-11 Apple Inc. Systems, methods, and graphical user interfaces for scanning and modeling environments
US20240048607A1 (en) * 2022-08-08 2024-02-08 Google Llc Links for web-based applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124957A (ja) 2009-12-14 2011-06-23 Canon Inc 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
US20190197785A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system

Family Cites Families (328)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032185B1 (en) * 1995-12-29 2006-04-18 Microsoft Corporation Graphical method and system for accessing information on a communications network
US8522127B2 (en) * 2001-07-16 2013-08-27 Robert G. Adamson, III Allowing operating system access to non-standard fonts in a network document
KR100483806B1 (ko) 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
EP2032224A2 (en) 2006-06-26 2009-03-11 Icosystem Corporation Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
US20080132243A1 (en) 2006-11-30 2008-06-05 Sony Ericsson Mobile Communications Ab Device and method for providing location information on a portable mobile communications device
US8144920B2 (en) 2007-03-15 2012-03-27 Microsoft Corporation Automated location estimation using image analysis
WO2008130903A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
US8306348B2 (en) 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
JP4292426B2 (ja) 2007-05-15 2009-07-08 ソニー株式会社 撮像装置および撮像データ補正方法
US7779161B2 (en) * 2007-07-24 2010-08-17 Hiconversion, Inc. Method and apparatus for general virtual application enabling of websites
WO2009021068A1 (en) 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8231465B2 (en) 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US8605863B1 (en) * 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8442304B2 (en) 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US9064023B2 (en) * 2008-12-29 2015-06-23 Avaya Inc. Providing web content in the context of a virtual environment
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20100331041A1 (en) 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
US9756468B2 (en) * 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US8350758B1 (en) 2009-10-01 2013-01-08 Lighthouse Signal Systems LLC Systems and methods for indoor geolocation based on yield of RF signals
US20130162481A1 (en) 2009-10-01 2013-06-27 Parviz Parvizi Systems and methods for calibration of indoor geolocation
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8185596B2 (en) 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
JP2013141049A (ja) 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
US8756617B1 (en) 2010-05-18 2014-06-17 Google Inc. Schema validation for secure development of browser extensions
KR101686171B1 (ko) 2010-06-08 2016-12-13 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
AU2011362799B2 (en) 2011-03-18 2016-02-25 Apple Inc. 3D streets
US20120249416A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US8832233B1 (en) 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US20130249947A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
US9400941B2 (en) 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
US8682345B2 (en) 2011-09-28 2014-03-25 Qualcomm Incorporated Utilizing relationships between places of relevance
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US8243102B1 (en) 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
KR101917630B1 (ko) 2011-10-28 2018-11-13 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013101753A1 (en) 2011-12-30 2013-07-04 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
WO2013117977A2 (en) 2012-02-06 2013-08-15 Sony Computer Entertainment Europe Book object for augmented reality
US9386297B2 (en) 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
KR20130110907A (ko) 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
US8965741B2 (en) 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
CN102682091A (zh) 2012-04-25 2012-09-19 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和系统
KR101356192B1 (ko) 2012-04-26 2014-01-24 서울시립대학교 산학협력단 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
CN104220895B (zh) 2012-05-01 2017-03-01 英特尔公司 使用用于室内位置的空间和时间相干性的同时局部化和地图绘制
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR102100438B1 (ko) 2012-06-11 2020-04-13 매직 립, 인코포레이티드 도파관 리플렉터 어레이 프로젝터를 이용한 다중 깊이면 3차원 디스플레이
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8798357B2 (en) 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
EP2875471B1 (en) 2012-07-23 2021-10-27 Apple Inc. Method of providing image feature descriptors
CN104508600B (zh) 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9088787B1 (en) 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
US9886795B2 (en) 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
US9129429B2 (en) 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
CN102932582B (zh) 2012-10-26 2015-05-27 华为技术有限公司 实现运动检测的方法及装置
KR102052605B1 (ko) * 2012-11-13 2019-12-06 네이버 주식회사 모바일 어플리케이션을 통한 바탕화면에 바로가기 설치 방법 및 그 시스템
JP6083857B2 (ja) 2012-11-26 2017-02-22 Kddi株式会社 情報端末装置
US10942735B2 (en) * 2012-12-04 2021-03-09 Abalta Technologies, Inc. Distributed cross-platform user interface and application projection
JP2014112055A (ja) 2012-12-05 2014-06-19 Denso It Laboratory Inc カメラ姿勢の推定方法およびカメラ姿勢の推定システム
US9596481B2 (en) 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
GB201303707D0 (en) 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
WO2014164901A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
KR101380854B1 (ko) * 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US20140357290A1 (en) 2013-05-31 2014-12-04 Michael Grabner Device localization using camera and wireless signal
EP2808842B1 (en) 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
WO2014202258A1 (en) 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10152199B2 (en) 2013-07-16 2018-12-11 Pinterest, Inc. Object based contextual menu controls
US9117144B2 (en) 2013-08-14 2015-08-25 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
US9264702B2 (en) 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
US20150081583A1 (en) 2013-09-18 2015-03-19 Amazon Technologies, Inc. Confirming delivery location using radio fingerprinting
AU2013237718A1 (en) 2013-10-04 2015-04-23 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
CN107219628B (zh) 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
JP2015118442A (ja) 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106171012B (zh) 2013-12-20 2020-01-17 英特尔公司 用于低功率室内定位的Wi-Fi扫描调度和功率适应
CN103727946B (zh) 2013-12-20 2016-06-01 北京握奇数据系统有限公司 一种浮动车地图匹配数据预处理方法及系统
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US9196022B2 (en) 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US20150281869A1 (en) * 2014-03-31 2015-10-01 Google Inc. Native web-based application
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
WO2015161307A1 (en) 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9728009B2 (en) 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
IL232853A (en) 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
KR102204919B1 (ko) 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (zh) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US10509865B2 (en) 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
KR102276847B1 (ko) 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
US20200252233A1 (en) 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2016069498A1 (en) 2014-10-26 2016-05-06 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data collection from discrete and distributed collectors using machine-to-machine networks and smartphones to provide enhanced space-time perspective for monitoring changes using algorithmic techniques
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US20160147408A1 (en) 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
CN107209247B (zh) 2014-12-04 2021-06-18 赫尔环球有限公司 支持数据的协作收集
US10185775B2 (en) 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US20180276882A1 (en) 2015-01-12 2018-09-27 Pcms Holdings, Inc. Systems and methods for augmented reality art creation
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US9560737B2 (en) 2015-03-04 2017-01-31 International Business Machines Corporation Electronic package with heat transfer element(s)
US9697796B2 (en) 2015-03-26 2017-07-04 Intel Corporation Adaptive linear luma domain video pipeline architecture
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
JP2016202708A (ja) 2015-04-24 2016-12-08 オリンパス株式会社 内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
KR101725478B1 (ko) 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20160358383A1 (en) 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
EP3326048B1 (en) 2015-07-17 2022-03-23 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
ES2920837T3 (es) 2015-09-10 2022-08-10 Oriient New Media Ltd Navegar, seguir y posicionar los dispositivos móviles en zonas sin GPS o con GPS inexacto con la generación automática de mapas
US9928656B2 (en) 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
US10706465B2 (en) 2015-09-14 2020-07-07 The Toronto-Dominion Bank Connected device-based property evaluation
CA2996009A1 (en) 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and systems for detecting and combining structural features in 3d reconstruction
US20170094227A1 (en) 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
US10471355B2 (en) 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10397320B2 (en) 2016-01-20 2019-08-27 International Business Machines Corporation Location based synchronized augmented reality streaming
AU2017214748B9 (en) 2016-02-05 2021-05-27 Magic Leap, Inc. Systems and methods for augmented reality
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (ja) 2016-02-22 2020-10-28 デクセリアルズ株式会社 異方性導電フィルム
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
JP6537189B2 (ja) 2016-03-24 2019-07-03 株式会社ゼンリンデータコム 地図表示装置および地図表示方法
JP2016157458A (ja) 2016-03-31 2016-09-01 ソニー株式会社 情報処理装置
JP2017194527A (ja) 2016-04-19 2017-10-26 トヨタ自動車株式会社 環境地図のデータ構造、環境地図の作成システム及び作成方法、並びに、環境地図の更新システム及び更新方法
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
AU2017203641B2 (en) 2016-05-31 2018-05-24 Accenture Global Solutions Limited Interactive virtual reality platforms
US10217231B2 (en) 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US10607408B2 (en) * 2016-06-04 2020-03-31 Shape Labs Inc. Method for rendering 2D and 3D data within a 3D virtual environment
US20200322595A1 (en) * 2016-06-07 2020-10-08 Sony Corporation Information processing device and information processing method, and recording medium
US10338392B2 (en) 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US20180005015A1 (en) 2016-07-01 2018-01-04 Vangogh Imaging, Inc. Sparse simultaneous localization and matching with unified tracking
US10504008B1 (en) 2016-07-18 2019-12-10 Occipital, Inc. System and method for relocalization and scene recognition
CA3031840A1 (en) 2016-07-29 2018-02-01 Philips Lighting Holding B.V. A device for location based services
WO2018031621A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
KR102357273B1 (ko) 2016-08-22 2022-02-08 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10379611B2 (en) 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
CN107024980A (zh) 2016-10-26 2017-08-08 阿里巴巴集团控股有限公司 基于增强现实的用户位置定位方法及装置
US10380763B2 (en) * 2016-11-16 2019-08-13 Seiko Epson Corporation Hybrid corner and edge-based tracking
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
EP3563215A4 (en) 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
EP4089531B1 (en) 2016-12-31 2024-06-26 Intel Corporation Systems, methods, and apparatuses for heterogeneous computing
JP7268879B2 (ja) 2017-01-02 2023-05-08 ガウス サージカル，インコーポレイテッド 重複撮像を予測した手術アイテムの追跡
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018139773A1 (ko) 2017-01-25 2018-08-02 한국과학기술연구원 무선 환경 변화에 강인한 slam 방법 및 장치
US10534964B2 (en) 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
JP6426772B2 (ja) 2017-02-07 2018-11-21 ファナック株式会社 座標情報変換装置及び座標情報変換プログラム
CN110892408A (zh) 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
US10460489B2 (en) 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
CN110402415A (zh) 2017-03-17 2019-11-01 奇跃公司 记录增强现实数据的技术
JP7168578B2 (ja) 2017-03-30 2022-11-09 マジック リープ， インコーポレイテッド 集中レンダリング
US10466953B2 (en) 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
EP3612878B1 (en) 2017-04-19 2023-06-28 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10650270B2 (en) 2017-04-21 2020-05-12 X Development Llc Methods and systems for simultaneous localization and calibration
US10261555B1 (en) 2017-04-28 2019-04-16 Google Llc Airflow in augmented and/or virtual reality head mounted display device
CA3060209C (en) 2017-05-01 2024-10-15 Magic Leap, Inc. MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT
US10719125B2 (en) 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
WO2018222756A1 (en) 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
CN109145927A (zh) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
JP6585665B2 (ja) 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
US10929945B2 (en) 2017-07-28 2021-02-23 Google Llc Image capture devices featuring intelligent use of lightweight hardware-generated statistics
US11024078B2 (en) * 2017-08-07 2021-06-01 Verizon Patent And Licensing Inc. Systems and methods compression, transfer, and reconstruction of three-dimensional (3D) data meshes
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US20190108578A1 (en) 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10573089B2 (en) 2017-11-09 2020-02-25 The Boeing Company Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
EP3710981A4 (en) 2017-11-14 2020-12-23 Magic Leap, Inc. DETECTION AND DESCRIPTION OF FULLY CONVOLUTIVE POINT OF INTEREST BY HOMOGRAPHIC ADAPTATION
CA3084057A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Enhanced pose determination for display device
US10630857B2 (en) * 2017-12-21 2020-04-21 Ricoh Company, Ltd. Electronic apparatus and method to update firmware of the electronic apparatus when adding a web application to the electronic apparatus
WO2019126665A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
US20190206258A1 (en) * 2018-01-04 2019-07-04 nuTonomy Inc. Augmented reality vehicle interfacing
WO2019140295A1 (en) * 2018-01-11 2019-07-18 Youar Inc. Cross-device supervisory computer vision system
CA3089646A1 (en) * 2018-02-22 2019-08-20 Magic Leap, Inc. Browser for mixed reality systems
WO2019164498A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices and computer program products for global bundle adjustment of 3d images
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
CN110322300B (zh) 2018-03-28 2024-06-18 北京京东尚科信息技术有限公司 数据处理方法及装置、电子设备、存储介质
US10908769B2 (en) 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
US10838574B2 (en) 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
WO2019209887A1 (en) 2018-04-23 2019-10-31 The Regents Of The University Of Colorado, A Body Corporate Mobile and augmented reality based depth and thermal fusion scan
US10679376B2 (en) 2018-04-24 2020-06-09 Microsoft Technology Licensing, Llc Determining a pose of a handheld object
WO2019210284A1 (en) 2018-04-26 2019-10-31 SCRRD, Inc. Augmented reality platform and method for use of same
CN108665508B (zh) * 2018-04-26 2022-04-05 腾讯科技（深圳）有限公司 一种即时定位与地图构建方法、装置及存储介质
US10807236B2 (en) 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
CN108629121B (zh) 2018-05-08 2022-04-01 山东师范大学 基于避免恐怖谷效应的虚拟现实人群仿真方法和系统
WO2019221800A1 (en) 2018-05-18 2019-11-21 Purdue Research Foundation System and method for spatially registering multiple augmented reality devices
US11202006B2 (en) 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110515452B (zh) 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US11010977B2 (en) 2018-05-31 2021-05-18 Jido, Inc. Method for establishing a common reference frame amongst devices for an augmented reality session
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10964053B2 (en) 2018-07-02 2021-03-30 Microsoft Technology Licensing, Llc Device pose estimation using 3D line clouds
US20210233330A1 (en) * 2018-07-09 2021-07-29 Ottawa Hospital Research Institute Virtual or Augmented Reality Aided 3D Visualization and Marking System
US11157016B2 (en) * 2018-07-10 2021-10-26 Neato Robotics, Inc. Automatic recognition of multiple floorplans by cleaning robot
EP4435736A3 (en) 2018-07-24 2025-03-12 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
US10915115B2 (en) * 2018-08-02 2021-02-09 Nvidia Corporation Method and apparatus for enabling map updates using a blockchain platform
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
KR101985703B1 (ko) * 2018-08-24 2019-06-04 주식회사 버넥트 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템
WO2020049333A1 (en) 2018-09-04 2020-03-12 Aktiia Sa System for determining a blood pressure of one or a plurality of users
WO2020056692A1 (zh) 2018-09-20 2020-03-26 太平洋未来科技（深圳）有限公司 一种信息交互方法、装置及电子设备
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
US10825246B2 (en) * 2018-09-27 2020-11-03 Adobe Inc. Generating immersive trip photograph visualizations
CN113196209A (zh) 2018-10-05 2021-07-30 奇跃公司 在任何位置渲染位置特定的虚拟内容
EP3867882B1 (en) 2018-10-21 2025-08-13 Oracle International Corporation Optimizing virtual data views using voice commands and defined perspectives
US10937191B2 (en) 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
US10839556B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
KR102793522B1 (ko) * 2018-10-24 2025-04-09 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
US11397438B2 (en) * 2018-11-16 2022-07-26 Robotic Research Opco, Llc Driver aid and autonomous tractor-trailer parking and loading dock alignment system
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
US11030812B2 (en) 2019-01-02 2021-06-08 The Boeing Company Augmented reality system using enhanced models
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
CN113412614B (zh) 2019-03-27 2023-02-14 Oppo广东移动通信有限公司 使用深度图像的三维定位
US11074706B2 (en) 2019-04-12 2021-07-27 Intel Corporation Accommodating depth noise in visual slam using map-point consensus
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
CN110221690B (zh) 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20200401617A1 (en) 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system
CN112148815B (zh) * 2019-06-27 2022-09-27 浙江商汤科技开发有限公司 一种基于共享地图的定位方法及装置、电子设备和存储介质
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (ko) 2019-08-22 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 xr 디바이스 제어 방법
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
WO2021050595A1 (en) 2019-09-09 2021-03-18 Apple Inc. Multimodal inputs for computer-generated reality
US12079638B2 (en) * 2019-10-03 2024-09-03 Magic Leap, Inc. Management framework for mixed reality devices
US11425220B2 (en) * 2019-10-08 2022-08-23 Magic Leap, Inc. Methods, systems, and computer program products for implementing cross-platform mixed-reality applications with a scripting framework
CN114616534B (zh) 2019-10-15 2025-08-26 奇跃公司 具有无线指纹的交叉现实系统
CN114586071A (zh) 2019-10-15 2022-06-03 奇跃公司 支持多设备类型的交叉现实系统
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
US11494995B2 (en) * 2019-10-29 2022-11-08 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
CN120599183A (zh) 2019-11-12 2025-09-05 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) * 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
CN115380264A (zh) 2020-02-13 2022-11-22 奇跃公司 用于大规模环境的交叉现实系统
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
US11593951B2 (en) 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
JP7671769B2 (ja) 2020-02-26 2025-05-02 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US12052408B2 (en) * 2020-02-26 2024-07-30 Intel Corporation Depth based 3D reconstruction using an a-priori depth scene
US11900322B2 (en) * 2020-03-20 2024-02-13 Procore Technologies, Inc. Presence and collaboration tools for building information models
EP4143794A4 (en) 2020-04-29 2024-04-17 Magic Leap, Inc. CROSS-REALITY SYSTEM FOR LARGE-SCALE ENVIRONMENTS

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011124957A (ja) 2009-12-14 2011-06-23 Canon Inc 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
US20190197785A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system

Also Published As

Publication number Publication date
WO2021118962A1 (en) 2021-06-17
US11562542B2 (en) 2023-01-24
US20230119305A1 (en) 2023-04-20
US12067687B2 (en) 2024-08-20
US20240029369A1 (en) 2024-01-25
US11748963B2 (en) 2023-09-05
EP4073763A1 (en) 2022-10-19
JP2023504570A (ja) 2023-02-03
EP4073763A4 (en) 2023-12-27
US20210174596A1 (en) 2021-06-10
US12430861B2 (en) 2025-09-30
US20240362872A1 (en) 2024-10-31
US20250378663A1 (en) 2025-12-11
CN114762008A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
JP7748945B2 (ja) 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
JP7784489B2 (ja) 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
JP7713936B2 (ja) 位置特定サービスを伴うクロスリアリティシステムのためのデバイス、方法、およびコンピュータ可読媒体
JP7777536B2 (ja) 大規模環境のためのクロスリアリティシステム
JP7604475B2 (ja) 複数のデバイスタイプをサポートするクロスリアリティシステム
JP7671769B2 (ja) 高速位置特定を伴うクロスリアリティシステム
JP7653982B2 (ja) 無線フィンガプリントを用いたクロスリアリティシステム
JP7677985B2 (ja) 正確な共有マップを伴うクロスリアリティシステム
JP7768888B2 (ja) マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
JP7772975B2 (ja) 大規模環境再構築のためのクロスリアリティシステム
JP7711263B2 (ja) クロスリアリティシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250922

R150 Certificate of patent or registration of utility model

Ref document number: 7748945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150