JP7545995B2 - 姿勢付き単眼ビデオからの周囲推定 - Google Patents

Description

（関連出願の相互参照）
本願は、その内容が、その全体として本明細書内に組み込まれる、２０１９年４月２４日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＥＰ ＩＮＤＯＯＲ ＢＯＵＮＤＡＲＹ ＥＳＴＩＭＡＴＩＯＮ ＦＲＯＭ ＰＯＳＥＤ ＭＯＮＯＣＵＬＡＲ ＶＩＤＥＯ」と題された、米国仮特許出願第６２／８３８，２６５号、および２０１９年５月１５日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＥＰ ＩＮＤＯＯＲ ＢＯＵＮＤＡＲＹ ＥＳＴＩＭＡＴＩＯＮ ＦＲＯＭ ＰＯＳＥＤ ＭＯＮＯＣＵＬＡＲ ＶＩＤＥＯ」と題された、米国仮特許出願第６２／８４８，４９２号の優先権の利益を主張する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザのまわりの実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する、改良された方法、システム、およびデバイスの必要性が存在する。

本開示は、コンピューティングシステム、方法、および構成に関し、より具体的には、環境の３次元（３Ｄ）幾何学的側面を理解することが、拡張現実（ＡＲ）、ナビゲーション、および一般的場面理解のためのコンピューティングシステムを伴い得る用途等において重要である、コンピューティングシステム、方法、および構成に関する。

１つ以上のコンピュータのシステムが、動作時、システムにアクションを実施させる、システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置に、アクションを実施させる、命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。１つの一般的側面は、画像のセットおよび画像のセットに対応する姿勢のセットを取得するステップであって、画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ステップとを含む、方法を含む。本方法はまた、画像のセットおよび姿勢のセットに基づいて、環境の深度マップを生成するステップを含む。本方法はまた、画像のセットに基づいて、壁セグメント化マップのセットを生成するステップであって、壁セグメント化マップのセットはそれぞれ、隣り合った壁のセットを含有する、画像のセットからの対応する画像の標的領域を示す、ステップを含む。本方法はまた、深度マップおよび壁セグメント化マップのセットに基づいて、点群を生成するステップであって、点群は、標的領域と整合する、深度マップの部分に沿ってサンプリングされる、複数の点を含む、ステップを含む。本方法はまた、点群に基づいて、隣り合った壁のセットに沿って、環境の周囲を推定するステップを含む。本側面の他の実施形態は、対応するコンピュータシステム、装置、および１つ以上のコンピュータ記憶デバイス上に記録されるコンピュータプログラムを含み、それぞれ、本方法のアクションを実施するように構成される。

実装は、以下の特徴のうちの１つ以上のものを含んでもよい。本方法はさらに、１つ以上のセンサを使用して、画像のセットおよび姿勢のセットを捕捉するステップを含み、画像のセットおよび姿勢のセットを取得するステップは、画像のセットおよび姿勢のセットを１つ以上のセンサから受信するステップを含む。本方法では、１つ以上のセンサは、画像のセットを捕捉するように構成される、画像センサと、姿勢のセットを捕捉するように構成される、姿勢センサとを含む。本方法はさらに、点群のためのクラスタのセットを識別するステップを含み、クラスタのセットはそれぞれ、複数の点のサブセットを含み、クラスタのセットはそれぞれ、隣り合った壁のセットからの異なる壁に対応するように決定される。本方法では、複数の点は、２Ｄ点を含み、点群に基づいて、隣り合った壁のセットに沿った環境の周囲を推定するステップは、線をクラスタのセット毎に複数の点に適合させ、複数の線をもたらすステップを含む。本方法はまた、交点に到達するまで複数の線を延在させることによって、閉ループを形成するステップを含んでもよい。本方法では、複数の点は、３Ｄ点を含み、点群に基づいて、隣り合った壁のセットに沿った環境の周囲を推定するステップは、平面をクラスタのセット毎に複数の点に適合させ、複数の平面をもたらすステップを含む。本方法はまた、交線に到達するまで複数の平面を延在させることによって、閉ループを形成するステップを含んでもよい。本方法では、画像のセットは、ＲＧＢ画像を含む。本方法では、姿勢のセットは、画像のセットを捕捉した画像センサのカメラ配向を含む。本方法では、複数の点は、３Ｄ点を含む。説明される技法の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。

１つの一般的側面は、本１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、画像のセットおよび画像のセットに対応する姿勢のセットを取得するステップであって、画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ステップを含む、動作を実施させる、命令を含む、コンピュータ可読媒体とを含む、システムを含む。動作はまた、画像のセットおよび姿勢のセットに基づいて、環境の深度マップを生成するステップを含む。動作はまた、画像のセットに基づいて、壁セグメント化マップのセットを生成するステップであって、壁セグメント化マップのセットはそれぞれ、隣り合った壁のセットを含有する、画像のセットからの対応する画像の標的領域を示す、ステップを含む。動作はまた、深度マップおよび壁セグメント化マップのセットに基づいて、点群を生成するステップであって、点群は、標的領域と整合する、深度マップの部分に沿ってサンプリングされる、複数の点を含む、ステップを含む。動作はまた、点群に基づいて、隣り合った壁のセットに沿って、環境の周囲を推定するステップを含む。本側面の他の実施形態は、対応するコンピュータシステム、装置、および１つ以上のコンピュータ記憶デバイス上に記録されるコンピュータプログラムを含み、それぞれ、本方法のアクションを実施するように構成される。

実装は、以下の特徴のうちの１つ以上のものを含んでもよい。本システムでは、動作はさらに、１つ以上のセンサを使用して、画像のセットおよび姿勢のセットを捕捉するステップを含み、画像のセットおよび姿勢のセットを取得するステップは、画像のセットおよび姿勢のセットを１つ以上のセンサから受信するステップを含む。本システムでは、１つ以上のセンサは、画像のセットを捕捉するように構成される、画像センサと、姿勢のセットを捕捉するように構成される、姿勢センサとを含む。本システムでは、動作はさらに、点群のためのクラスタのセットを識別するステップを含み、クラスタのセットはそれぞれ、複数の点のサブセットを含み、クラスタのセットはそれぞれ、隣り合った壁のセットからの異なる壁に対応するように決定される。本システムでは、複数の点は、２Ｄ点を含み、点群に基づいて、隣り合った壁のセットに沿った環境の周囲を推定するステップは、線をクラスタのセット毎に複数の点に適合させ、複数の線をもたらすステップを含む。本システムはまた、交点に到達するまで複数の線を延在させることによって、閉ループを形成するステップを含んでもよい。本システムでは、複数の点は、３Ｄ点を含み、点群に基づいて、隣り合った壁のセットに沿った環境の周囲を推定するステップは、平面をクラスタのセット毎に複数の点に適合させ、複数の平面をもたらすステップを含む。本システムはまた、交線に到達するまで複数の平面を延在させることによって、閉ループを形成するステップを含んでもよい。本システムでは、画像のセットは、ＲＧＢ画像を含む。説明される技法の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。

多数の利点が、従来の技法に優る本発明の方法によって達成される。例えば、本発明の実施形態は、現在利用可能な深層ネットワーク方法を活用し、可能性として考えられる部屋のタイプの列挙されるセットを伴わずに、角および縁オクルージョンに対するロバスト性を伴って、部屋周囲を精密に推測することが可能である。例えば、説明される実施形態は、可能性として考えられる先験的部屋形状のリストに依拠しない。加えて、説明される実施形態は、モデル入力における高品質内部点群の可用性に依拠しない。さらに、説明される実施形態を使用した結果は、周囲推定のための確立された重要なベンチマークを有する。
本明細書は、例えば、以下の項目も提供する。
（項目１）
方法であって、
画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
前記画像のセットおよび前記姿勢のセットに基づいて、前記環境の深度マップを生成することと、
前記画像のセットに基づいて、壁セグメント化マップのセットを生成することであって、前記壁セグメント化マップのセットはそれぞれ、隣り合った壁のセットを含有する前記画像のセットからの対応する画像の標的領域を示す、ことと、
前記深度マップおよび前記壁セグメント化マップのセットに基づいて、点群を生成することであって、前記点群は、前記標的領域と整合する前記深度マップの部分に沿ってサンプリングされる複数の点を含む、ことと、
前記点群に基づいて、隣り合った壁のセットに沿って、前記環境の周囲を推定することと
を含む、方法。
（項目２）
１つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することをさらに含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、項目１に記載の方法。
（項目３）
前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、項目２に記載の方法。
（項目４）
前記点群のためのクラスタのセットを識別することをさらに含み、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、項目１に記載の方法。
（項目５）
前記複数の点は、２Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
を含む、項目４に記載の方法。
（項目６）
前記複数の点は、３Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
を含む、項目４に記載の方法。
（項目７）
前記画像のセットは、ＲＧＢ画像を含む、項目１に記載の方法。
（項目８）
前記姿勢のセットは、前記画像のセットを捕捉した画像センサのカメラ配向を含む、項目１に記載の方法。
（項目９）
前記複数の点は、３Ｄ点を含む、項目１に記載の方法。
（項目１０）
システムであって、
１つ以上のプロセッサと、
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、命令を備えており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
前記画像のセットおよび前記姿勢のセットに基づいて、前記環境の深度マップを生成することと、
前記画像のセットに基づいて、壁セグメント化マップのセットを生成することであって、前記壁セグメント化マップのセットはそれぞれ、隣り合った壁のセットを含有する前記画像のセットからの対応する画像の標的領域を示す、ことと、
前記深度マップおよび前記壁セグメント化マップのセットに基づいて、点群を生成することであって、前記点群は、前記標的領域と整合する前記深度マップの部分に沿ってサンプリングされる複数の点を含む、ことと、
前記点群に基づいて、隣り合った壁のセットに沿って、前記環境の周囲を推定することと
を含む動作を実施させる、コンピュータ可読媒体と
を備える、システム。
（項目１１）
前記動作はさらに、
１つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することを含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、項目１０に記載のシステム。
（項目１２）
前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、項目１１に記載のシステム。
（項目１３）
前記動作はさらに、
前記点群のためのクラスタのセットを識別することを含み、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、項目１０に記載のシステム。
（項目１４）
前記複数の点は、２Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
を含む、項目１３に記載のシステム。
（項目１５）
前記複数の点は、３Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
を含む、項目１３に記載のシステム。
（項目１６）
前記画像のセットは、ＲＧＢ画像を含む、項目１０に記載のシステム。
（項目１７）
命令を備える非一過性コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
前記画像のセットおよび前記姿勢のセットに基づいて、前記環境の深度マップを生成することと、
前記画像のセットに基づいて、壁セグメント化マップのセットを生成することであって、前記壁セグメント化マップのセットはそれぞれ、隣り合った壁のセットを含有する前記画像のセットからの対応する画像の標的領域を示す、ことと、
前記深度マップおよび前記壁セグメント化マップのセットに基づいて、点群を生成することであって、前記点群は、前記標的領域と整合する前記深度マップの部分に沿ってサンプリングされる複数の点を含む、ことと、
前記点群に基づいて、隣り合った壁のセットに沿って、前記環境の周囲を推定することと
を含む動作を実施させる、非一過性コンピュータ可読媒体。
（項目１８）
前記動作はさらに、
１つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することを含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、項目１７に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、項目１８に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記動作はさらに、
前記点群のためのクラスタのセットを識別することを含み、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、項目１７に記載の非一過性コンピュータ可読媒体。
（項目２１）
前記複数の点は、２Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
を含む、項目２０に記載の非一過性コンピュータ可読媒体。
（項目２２）
前記複数の点は、３Ｄ点を含み、前記点群に基づいて、前記隣り合った壁のセットに沿った前記環境の周囲を推定することは、
平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
を含む、項目２０に記載の非一過性コンピュータ可読媒体。
（項目２３）
前記画像のセットは、ＲＧＢ画像を含む、項目１７に記載の非一過性コンピュータ可読媒体。

図１は、頭部搭載型ディスプレイを使用した部屋環境の周囲推定のための本発明の例示的実装を図示する。

図２は、姿勢付き画像を使用して部屋の周囲を推定するための例示的システムを図示する。

図３Ａおよび３Ｂは、壁セグメント化の実施例を図示する。

図４Ａ－４Ｄは、周囲を生成するための例示的ステップを図示する。 図４Ａ－４Ｄは、周囲を生成するための例示的ステップを図示する。

図５は、クラスタ識別子を訓練するための例示的訓練データを図示する。

図６は、環境の周囲を推定する方法を図示する。

図７は、説明される技法のうちの１つ以上のものを実装し得る、例示的システムまたはデバイスを図示する。

図８は、簡略化されたコンピュータシステムを図示する。

内部の３次元（３Ｄ）レイアウトを理解することは、拡張現実（ＡＲ）、ナビゲーション、および一般的場面理解における多数の用途に関して、空間の長距離幾何学形状を理解するために重要であり得る。そのようなレイアウトは、直方体パラメータ、単眼角座標およびその接続性、およびより意味論的に豊かな完全間取図を含む、種々の方法で提示されることができる。種々の方法は、それらが入力時に利用する情報の量および部屋幾何学形状に関するその仮定において異なる。例えば、いくつかの方法は、入力時に簡潔な３Ｄ点群を利用する一方、他の方法は、単眼視点またはパノラマ画像を利用する。関連問題の本セット間の一貫性の欠如は、レイアウト予測のための標準的設定が屋内場面に関してあるべき対象にわたる一般的不一致を露見させる。

センサデータの観点から、タイムスタンプ付き赤色－緑色－青色（ＲＧＢ）カメラおよび姿勢データが、多くの現代のデバイス（例えば、スマートフォン、ＡＲおよび仮想現実（ＶＲ）頭部搭載型ディスプレイ（ＨＭＤ）等）から取得されることができる。内部に対応する完全ビデオシーケンスを用いることで、解決すべき問題は、単眼レイアウト推定に一般的である、角および縁推定を超え、内部空間の完全周囲レイアウトの推定となる。空間範囲および空間の形状に関するそのようなメトリック情報は、種々の下流３Ｄ用途のための第１のステップと見なされ得る。本発明の実施形態は、現在の深層方法を活用し、可能性として考えられる部屋のタイプの列挙されるセットを伴わずに、角および縁オクルージョンに対するロバスト性を伴って、本周囲を精密に推測することが可能である。いくつかのインスタンスでは、部屋レイアウト内の構造の大部分を含有する、水平周囲（すなわち、外壁の場所）が、予測され得る一方、壁および天井は、通常、単一平面によって明確に近似される。

いくつかの実施形態では、開示されるパイプラインは、ビデオシーケンスのＲＧＢフレームに関する深層深度推定から開始する。深層学習の一般的３Ｄ再構築用途に関する最も制限的ボトルネックのうちの１つは、深層深度推定モデルの正確度である。ＮＹＵｖ２データセット内のもののような雑然とした屋内場面上では、そのようなネットワークは、依然として、単眼入力を前提として、０．５～０．６メートルのＲＭＳ誤差より良好な性能を発揮することを模索し得る。主観的構成を用いることで、本性能ボトルネックは、代わりに、現代のマルチビューステレオ方法を使用して、時間的情報を深度推定モジュールの中に組み込むことによって迂回され得る。

そのような実施形態を用いることで、深層セグメント化は、壁点に対応する深度予測を隔離するように訓練されることができる。これらの予測は、３Ｄ点群に投影され、次いで、同一平面インスタンスに属する点を検出するように調整される、新規深層ネットワークを通してクラスタ化される。いったん点クラスタが、割り当てられると、クラスタを平面の完全セットに変換するための方法が、採用され、これは、完全周囲レイアウトを形成する。直接、壁点をクラスタ化することによって、本明細書に提供される実施形態は、角がオクルードされるときでも、良好に性能を発揮する。

本明細書に開示される実施形態は、完全屋内周囲（すなわち、外部境界マップ）を姿勢付きＲＧＢ画像の単眼シーケンスから生成するための教師なしパイプラインに関する。本発明のいくつかの実施形態では、種々のロバストな深層方法が、外部境界点群を生成するための深度推定および壁セグメント化のために採用され、次いで、深層教師なしクラスタ化を使用して、壁平面を適合させ、部屋の最終境界マップを取得し得る。本発明の実施形態は、一般的ＳｃａｎＮｅｔデータセットに関する優れた性能をもたらし、種々の複雑性の部屋形状のために、および多室シナリオにおいて、機能を発揮する。

図１は、ＡＲ／ＶＲ ＨＭＤ等のＨＭＤを使用した部屋環境１００の周囲推定のための本発明の例示的実装を図示する。図示される実施例では、ウェアラブルデバイス１０２を装着しているユーザは、軌道１０４に沿って、部屋をナビゲートし、ウェアラブルデバイス１０２の画像捕捉デバイスが、一連のタイムスタンプＴ_１、Ｔ_２、…、Ｔ_Ｎにおいて、一連の画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎを捕捉することを可能にする。画像はそれぞれ、部屋環境１００を形成する、壁１０８のセットのうちの１つ以上のものの一部を含み得る。ウェアラブルデバイス１０２はさらに、画像がそれぞれ姿勢と関連付けられ得るように、一連のタイムスタンプＴ_１、Ｔ_２、…、Ｔ_Ｎにおいて、一連の姿勢Ｐ_１、Ｐ_２、…、Ｐ_Ｎを捕捉し得る。

姿勢はそれぞれ、位置および／または配向を含み得る。位置は、３Ｄ値（例えば、Ｘ、Ｙ、およびＺ座標）であり得、そこから対応する画像が捕捉された位置に対応し得る。配向は、３Ｄ値（例えば、ピッチ、ヨー、ロール角度）であり得、そこで対応する画像が捕捉された配向に対応し得る。姿勢は、ウェアラブルデバイス１０２の移動を示すデータを捕捉する、任意のセンサ（姿勢センサと称される）を使用して決定され得る。一連の画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎおよび対応する姿勢Ｐ_１、Ｐ_２、…、Ｐ_Ｎに基づいて、部屋環境１００に関して推定される周囲１０６が、生成され得る。

図２は、本発明のいくつかの実施形態による、姿勢付き画像を使用して部屋の周囲を推定するための例示的システム２００を図示する。いくつかの実装では、システム２００は、ウェアラブルデバイスの中に組み込まれてもよい。システム２００は、画像センサ２０６と、姿勢センサ２０８とを含む、センサ２０２を含んでもよい。画像センサ２０６は、壁のセットの一連の画像２１０を捕捉し得る。画像２１０はそれぞれ、可能性の中でもとりわけ、ＲＧＢ画像、グレースケール画像であってもよい。姿勢センサ２０８は、画像２１０に対応する一連の姿勢を含み得る、姿勢データ２１２を捕捉し得る。姿勢はそれぞれ、そこから画像２１０のそれぞれが捕捉された位置および／または配向が決定され得るように、画像センサ２０６に対応する、位置および／または配向を含み得る。

画像２１０および姿勢データ２１２は、データの処理のために、処理モジュール２０４に提供（例えば、有線または無線接続等を介して、送信、伝送）されてもよい。処理モジュール２０４は、深度マップ生成器２１４と、壁セグメント化生成器２１６と、壁点群生成器２２２と、クラスタ識別子２２６と、周囲推定器２３０とを含んでもよい。処理モジュール２０４のコンポーネントはそれぞれ、可能性として考えられる集積回路デバイスの中でもとりわけ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等のハードウェアコンポーネントに対応し得る。いくつかのインスタンスでは、処理モジュール２０４のコンポーネントのうちの１つ以上のものは、ソフトウェア内に実装されてもよく、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、またはニューラルネットワークアクセラレータ等の特殊目的処理ユニットによって実行されてもよい。例えば、処理モジュール２０４のコンポーネントのうちの２つ以上のものは、ニューラルネットワークアクセラレータの同一バンクまたは同一ＣＰＵまたはＧＰＵを使用して実行されてもよい。

深度マップ生成器２１４は、画像２１０および姿勢データ２１２を受信してもよく、画像２１０および姿勢データ２１２に基づいて、深度マップ２１８を生成してもよい。深度マップを姿勢付き単眼シーケンスから生成するために、種々の姿勢からの同一実世界景色の複数の観察が、フレーム毎差量マップを生成するために利用されることができ、これは、次いで、反転され、フレーム毎稠密深度マップを生成することができる。いくつかの実施形態では、深度マップ生成器２１４は、ニューラルネットワーク等の機械学習モデルとして実装されてもよい。ネットワークへの入力は、入力ＲＧＢ画像Ｉ_ｉと、Ｉ_ｉが基準フレームＩ_ｊの中に投影されるときのＩ_ｉと近傍のフレームＩ_ｊとの間のピクセル毎絶対強度差を計算することによって構築される、３ＤコストボリュームＶ_ｉとである。場所ｕ＝（ｕ，ｖ）^ＴにおけるＩ_ｉ内の強度Ｐ^ｕ _ｉのピクセルを投影するために、基準フレームＴ_ｉの姿勢、近傍のフレームＴ_ｊの姿勢、および仮定される深度ｄ_ｎが、以下のように使用され得る。
式中、
は、Ｉ_ｊ内の投影の場所であって、πは、カメラの固有性質を使用したピンホール投影を表す。ｄ_ｍｉｎとｄ_ｍａｘとの間のｄ_ｎを変動させることによって、場所ｕにおけるＩ_ｉに関する３Ｄコストボリュームの値およびサンプリングされる深度ｎは、以下のように計算され得る。
コストボリュームを複数の近傍のフレームから生成するために、対毎コストボリュームが、平均され得る。

壁セグメント化生成器２１６は、画像２１０を受信し得、画像２１０に基づいて、壁セグメント化マップ２２０を生成し得る。いくつかの実施形態では、壁セグメント化生成器２１６は、ニューラルネットワーク等の機械学習モデルとして実装されてもよい。意味論セグメント化ネットワークの１つの目標は、それらが内部周囲に属する唯一の点であるため、壁が場面内にある場所を分類することであり得る。しかしながら、ＳｃａｎＮｅｔデータセットの床／壁／天井注釈は、むしろ、不完全かつ誤って見出された。したがって、異なるデータセットが、収集され、床／壁／天井セグメント化のために使用された。いくつかのインスタンスでは、セグメント化ネットワークアーキテクチャは、ＲｅｓＮｅｔ－１０１バックボーンに基づく、標準的特徴ピラミッドネットワークを備えてもよい。予測は、４ストライドで出力され得、アップサンプリング層は、ピクセルシャッフル動作として実装され、特に、より高いストライドアップサンプリング層（最大８ストライド）のために、ネットワーク効率を増加させ得る。

壁点群生成器２２２は、深度マップ２１８および壁セグメント化マップ２２０を受信し得、深度マップ２１８および壁セグメント化マップ２２０に基づいて、点群２２４を生成し得る。組み合わせられた点群が、クラスタ化ネットワークによる消費のために、いくつかの深度画像から生成され得る。既知の姿勢軌道を伴う深度画像の収集が、暗示的表面表現内で融合され得、点群が、マーチングキューブ法の導関数によって抽出され得る。単に各深度ピクセルを投影しないことに優る暗示的表面表現を使用する１つの利点は、冗長点を除去し、複数の観察にわたって雑音を平均化し、より平滑かつより簡潔な頂点のセットにつながることである。内壁頂点を除去するために、α形状の概念が、その凹包を表す、点群のサブセットを作成するために使用されてもよい。次いで、凹包の半径ｒ内にない任意の点は、破棄され得、点群は、Ｎ個の頂点までサブサンプリングされ得る。

クラスタ識別子２２６は、点群２２４を受信し得、点群２２４に基づいて、クラスタ化された点群２２８を生成し得る。平面セクションに基づいて順序付けられていない点群をクラスタ化する完全教師なし技法が、推定の間、該法線または平面パラメータを明示的に算出せずに採用され得る。クラスタ識別子２２６は、ニューラルネットワーク等の機械学習モデルとして実装されてもよく、いくつかの実施形態では、ＰｏｉｎｔＮｅｔアーキテクチャおよびＰｏｉｎｔＮｅｔグローバル特徴を使用して、入力点毎に、クラスタ確率を出力してもよい。

別個の壁インスタンスのための一意のクラスタ割当を生成するために、３Ｄ場所雑音、オクルージョン、および可変点密度にロバストなクラスタ化技法を使用することが望ましい。さらに、クラスタ化は、平行である、故に、同一点法線を有するが、３Ｄ空間内の異なる場所にある、平面壁を区別することが可能であることが望ましい。明らかに明確に異なるクラスに属する２つの点が同一標識を割り当てられるとき、ペナルティを被らせることを可能にする、対毎損失関数が、定式化されることができる。過剰セグメント化は、同一の真の平面に属するクラスタが後処理においてマージすることが容易であるため、ペナルティを科されない。ネットワークへの入力は、３Ｄ座標Ｐ^ｘ＝（ｘ，ｙ，ｚ）を伴うＮ個の点Ｐのセット、点法線Ｐ^ｎ＝（ｎｘ，ｎｙ，ｎｚ）、およびｋ個のクラスタのための長さｋの予測されるクラスタ確率ベクトルＰｐである。クラスタ化損失Ｌ^{ｃｌｕｓｔｅｒ}は、以下のように与えられる。
式中、
であって、かつ
である。

有効壁に属しない、雑音点にフラグするために、ｋ＋１^ｔｈ標識が雑音点のために留保されるように、最大クラスタの数がｋに設定されるときの長さｋ＋１の確率ベクトルが、予測されることができる。全ての点がｋ＋１^ｔｈクラスタを割り当てられる、自明な解を防止するために、正則化損失Ｌ^ｒｅｇが、使用されることができ、これは、以下のように計算され得る。
式中、Ｐ^{ｐｌａｎｅ} _ｉは、第１のｋ個のクラスにわたる確率ベクトルの和であって、ｋ＋１^ｔｈ雑音クラスを除外する。最小限にされるべき総損失は、Ｌ^{ｃｌｕｓｔｅｒ}およびα・Ｌ^ｒｅｇの和であって、式中、αは、損失を平衡するように意図されるハイパーパラメータである。

周囲推定器２３０は、クラスタ化される点群２２８を受信し得、クラスタ化される点群２２８に基づいて、推定される周囲２３２を生成し得る。クラスタ識別子２２６によって生成されたクラスタ標識を伴う点群を前提として、閉鎖されたレイアウトが、下記に説明されるように、生成されることができる。システム設計を適正にモジュール式に保つために、入力点のモダリティについての仮定が行われる必要はなく、故に、設計は、スプリアス点、標識化における誤対応、および欠測壁にロバストであり得る。全ての壁がＺ－軸と平行であるという仮定に従って、全ての点は、点群の上下ビューを生成するために、Ｘ－Ｙ平面に投影され得る。クラスタ間の接続性を確立するために、問題が、巡回セールスマン問題として公式化され、全てのクラスタ中央値に沿って、閉鎖された最短経路を見出す。いくつかの実施形態では、ソリューションは、２－ｏｐｔアルゴリズムを使用して計算されることができる。

場面内の真の壁の数が、最大ｋ個の仮定される壁未満である場合、クラスタ識別子２２６による過剰セグメント化が存在し得る。故に、２Ｄ線パラメータが、推定され得（例えば、ＲＡＮＳＡＣを使用して）、３０°未満の相対的法線逸脱およびｅ_{ｍｅｒｇｅ}未満のクラスタ間点／線誤差を伴う壁は、同一標識を割り当てられ得る。マンハッタン仮説に従ってマージステップ後、線は、最も近くの直交軸にスナップされ、交差するように延在される。２－ｏｐｔ縁によって接続される２つの壁セグメントの交点は、角として定義される。壁セグメント全体が点群内に表されていない、主要なオクルージョンを伴う場合に関して、２つの接続されたセグメントが平行であり得ることが可能性として考えられる。そのような対のための角を生成するために、セグメントのうちの１つの端点が、交差を強制するように、直交方向に延在され得る。

図３Ａおよび３Ｂは、本発明のいくつかの実施形態による、壁セグメント化生成器２１６によって実施される壁セグメント化の実施例を図示する。図３Ａでは、画像センサによって捕捉された画像３０２が、示される。画像３０２が、壁セグメント化生成器２１６への入力として提供されると、壁セグメント化マップ３０４が、生成され、これは、図３Ｂに示される。壁セグメント化マップ３０４は、壁に対応すると決定された領域と、壁に対応すると決定されない領域とを含み得る。形成器はそれぞれ、対応する画像３０２の標的領域３０６が同様に壁に対応する（例えば、それを含む）と決定されるように、標的領域３０６として指定され得る。

図４Ａ－４Ｄは、本発明のいくつかの実施形態による、周囲を生成するための例示的ステップを図示する。図４Ａでは、可能性として考えられる過剰セグメント化を伴う、未加工出力が、クラスタ識別子２２６によって生成される。図４Ｂでは、複製クラスタをマージすることから生じる、よりコンパクトなクラスタ化が、クラスタ識別子２２６によって取得される。図４Ｃでは、推定される線パラメータおよびクラスタ間接続性が、生産される。いくつかのインスタンスでは、各クラスタの中心が、中央値または平均点を識別することによって決定される。クラスタの中心は、次いで、上記に説明されるように、全てのクラスタ中心に沿って閉鎖された最短経路を見出すことによって接続される。

図４Ｄでは、線または平面が、例えば、曲線適合アルゴリズムを使用して、クラスタのそれぞれに適合される。例えば、クラスタのそれぞれ内の点が、２Ｄ点である場合、線は、クラスタ毎に２Ｄ点に適合される。クラスタのそれぞれ内の点が、３Ｄ点である場合、平面は、クラスタ毎に３Ｄ点に適合される。いくつかの実施形態では、直交性および交差が、閉鎖された周囲を生成するために、接続された平行線上で強制され得る。例えば、線４０２－１および４０２－３が、平行であって、そうでなければ、接続されないであろうため、線４０２－２は、線を接続し、周囲を閉鎖するように形成される。同様に、線４０２－３および４０２－５は、平行であって、そうでなければ、接続されないであろうため、線４０２－４は、線を接続し、周囲を閉鎖するように形成される。

図５は、本発明のいくつかの実施形態による、クラスタ識別子２２６を訓練するための例示的訓練データ５００を図示する。いくつかの実施形態では、訓練データ５００は、合成法線を伴う、完全合成データセットであってもよい。訓練データ５００を生成するために、部屋境界が、２Ｄドメイン上に描かれ得、部屋形状は、矩形、Ｌ形状、Ｔ形状、またはＵ形状からランダムにサンプリングされ、各縁の長さは、［１ｍ、５ｍ］の範囲内で均一にサンプリングされ、配向は、［０、２π］の範囲内で均一にサンプリングされる。線描写は、次いで、垂直に投影され、範囲［１．５ｍ、２．５ｍ］からランダムにサンプリングされる高さを伴う３Ｄモデルが得られ得る。点群入力は、次いで、モデルの３Ｄ面から均一にサンプリングすることによって生成されることができる。点法線は、モデルの３Ｄ面から計算される。

不完全なセンサまたは深度推定アルゴリズムから生成されたデータをより良好に模倣するために、点は、円筒形の数を低下され得（例えば、５つの円筒形）、各円筒形は、ランダムにサンプリングされた点によって画定された中心を有し、半径は、［０．５ｍ、１．５ｍ］からランダムにサンプリングされ、長さは、無限である。削減プロセスは、残りの点の数がオリジナル点の数の１０％未満となるであろう場合に停止される。最後に、σ＝０およびμ＝０．０１５を伴う、ガウス分布の雑音が、各残りの点に追加される。

図６は、本発明のいくつかの実施形態による、少なくとも部分的に、隣り合った壁（例えば、壁１０８）のセットによって囲まれた環境（例えば、部屋環境１００）の周囲を推定する方法６００を図示する。方法６００の１つ以上のステップは、方法６００の実施の間、省略されてもよく、方法６００の１つ以上のステップは、示される順序で実施される必要はない。方法６００の１つ以上のステップは、システムまたはデバイス（例えば、ＡＲ／ＶＲデバイス等のウェアラブルデバイス）内に含まれる１つ以上のプロセッサによって実施または促進されてもよい。

ステップ６０２では、画像のセット（例えば、画像２１０）および画像のセットに対応する姿勢のセット（例えば、姿勢データ２１２）が、取得される。画像のセットは、環境の画像であってもよく、各画像は、壁のセットのうちの１つ以上のものを含んでもよい。姿勢のセットはそれぞれ、画像のセット毎に位置および／または配向が決定され得るように、画像のセットのうちの１つと同時に捕捉されてもよい。いくつかの実施形態では、画像のセットおよび姿勢のセットは、システムまたはデバイス（例えば、システム２００）のセンサ（例えば、センサ２０２）のセットによって捕捉されてもよい。いくつかの実施形態では、画像のセットは、画像センサ（例えば、画像センサ２０６）によって捕捉されてもよく、姿勢のセットは、姿勢センサ（例えば、姿勢センサ２０８）によって捕捉されてもよい。画像センサは、カメラまたはある他の画像捕捉デバイスであってもよい。姿勢センサは、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ、傾斜センサ、またはそれらの任意の組み合わせであってもよい。いくつかの実施形態では、姿勢のセットは、姿勢センサおよび画像センサが同一センサであり得るように、画像のセット自体から決定されてもよい。

ステップ６０４では、環境の深度マップ（例えば、深度マップ２１８）は、画像のセットおよび姿勢のセットに基づいて生成されてもよい。深度マップは、画像のセットからの複数（または全て）の画像を組み合わせる、累積深度マップであってもよい、またはいくつかの実施形態では、深度マップは、画像のセット毎に生成されてもよい。いくつかの実施形態では、深度マップは、深度マップ生成器（例えば、深度マップ生成器２１４）によって生成されてもよく、これは、画像のセットおよび姿勢のセットを入力として提供されると、深度マップを出力するように訓練される機械学習モデル（例えば、ニューラルネットワーク）であってもよい。

ステップ６０６では、壁セグメント化マップのセット（例えば、壁セグメント化マップ２２０）は、画像のセットに基づいて生成されてもよい。壁セグメント化マップのセット（例えば、壁セグメント化マップ３０４）はそれぞれ、隣り合った壁のセットを含有する、画像のセットからの対応する画像の標的領域（例えば、標的領域３０６）を示し得る。いくつかの実施形態では、壁セグメント化マップのセットは、壁セグメント化生成器（例えば、壁セグメント化生成器２１６）によって生成されてもよく、これは、画像を入力として提供されると、壁セグメント化マップを出力するように訓練される、機械学習モデル（例えば、ニューラルネットワーク）であってもよい。

ステップ６０８では、点群（例えば、点群２２４）は、深度マップおよび壁セグメント化マップのセットに基づいて生成される。点群は、標的領域と整合する、深度マップの部分に沿ってサンプリングされる、複数の点を含んでもよい。いくつかの実施形態では、点群は、壁点群生成器（例えば、壁点群生成器２２２）によって生成されてもよく、これは、深度マップおよび壁セグメント化マップのセットを入力として提供されると、点群を出力するように訓練される、機械学習モデル（例えば、ニューラルネットワーク）であってもよい。

ステップ６１０では、クラスタのセット（例えば、クラスタ化される点群４０８のクラスタ）が、点群のために識別される。クラスタのセットはそれぞれ、複数の点のサブセットを含んでもよい。クラスタはそれぞれ、隣り合った壁のセットからの異なる壁に対応するように意図される。隣り合った壁のセットからの同一壁に対応すると決定されたクラスタは、単一クラスタに組み合わせられてもよい。いくつかの実施形態では、クラスタのセットは、クラスタ識別子（例えば、クラスタ識別子２２６）によって識別されてもよく、これは、点群を入力として提供されると、クラスタおよび／またはクラスタ化される点群（例えば、クラスタ化される点群２２８）のセットを出力するように訓練される、機械学習モデル（例えば、ニューラルネットワーク）であってもよい。

ステップ６１２では、隣り合った壁のセットに沿った環境の周囲（例えば、推定される周囲１０６および２３２）は、点群に基づいて推定される。いくつかの実施形態では、ステップ６１２は、ステップ６１４および６１６の一方または両方を含む。

ステップ６１４では、複数の点が、２Ｄ点を含む場合、線が、クラスタのセット毎に複数の点に適合され、複数の線をもたらす。複数の点が、３Ｄ点を含む場合、平面が、クラスタのセット毎に複数の点に適合され、複数の平面をもたらす。線適合または平面適合は、例えば、曲線適合アプローチを使用して遂行され得る。

ステップ６１６では、複数の点が、２Ｄ点を含む場合、閉ループが、交点に到達するまで、複数の線を延在させることによって形成される。複数の点が、３Ｄ点を含む場合、閉ループが、交線に到達するまで、複数の平面を延在させることによって形成される。

図７は、説明される技法のうちの１つ以上のものを実装し得る、例示的システムまたはデバイスを図示する。具体的には、図７は、本発明のいくつかの実施形態による、ウェアラブルシステム７００の概略図を図示する。ウェアラブルシステム７００は、ウェアラブルデバイス７０１と、ウェアラブルデバイス７０１から遠隔の少なくとも１つの遠隔デバイス７０３（例えば、別個のハードウェアであるが、通信可能に結合される）とを含んでもよい。ウェアラブルデバイス７０１が、ユーザによって装着されている間（概して、ヘッドセットとして）、遠隔デバイス７０３は、ユーザによって保持される（例えば、ハンドヘルドコントローラとして）、またはフレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において等）等、種々の構成において搭載されてもよい。

ウェアラブルデバイス７０１は、並置構成において配列され、左光学スタックを構成する、左接眼レンズ７０２Ａと、左レンズアセンブリ７０５Ａとを含んでもよい。左レンズアセンブリ７０５Ａは、遠近調節レンズを左光学スタックのユーザ側上に、および補償レンズを左光学スタックの世界側上に含んでもよい。同様に、ウェアラブルデバイス７０１は、並置構成に配列され、右光学スタックを構成する、右接眼レンズ７０２Ｂと、右レンズアセンブリ７０５Ｂとを含んでもよい。右レンズアセンブリ７０５Ｂは、遠近調節レンズを右光学スタックのユーザ側上に、および補償レンズを右光学スタックの世界側上に含んでもよい。

いくつかの実施形態では、ウェアラブルデバイス７０１は、限定ではないが、直接、左接眼レンズ７０２Ａまたはその近くに取り付けられる、左正面に向いた世界カメラ７０６Ａと、直接、右接眼レンズ７０２Ｂまたはその近くに取り付けられる、右正面に向いた世界カメラ７０６Ｂと、直接、左接眼レンズ７０２Ａまたはその近くに取り付けられる、左側に向いた世界カメラ７０６Ｃと、直接、右接眼レンズ７０２Ｂまたはその近くに取り付けられる、右側に向いた世界カメラ７０６Ｄと、左眼に向かって指向される、左眼追跡カメラ７２６Ａと、右眼に向かって指向される、右眼追跡カメラ７２６Ｂと、接眼レンズ７０２間に取り付けられる、深度センサ７２８とを含む、１つ以上のセンサを含む。ウェアラブルデバイス７０１は、左接眼レンズ７０２Ａに光学的に連結される、左プロジェクタ７１４Ａ、および右接眼レンズ７０２Ｂに光学的に連結される、右プロジェクタ７１４Ｂ等の１つ以上の画像投影デバイスを含んでもよい。

ウェアラブルシステム７００は、システム内のデータを収集、処理、および／または制御するための処理モジュール７５０を含んでもよい。処理モジュール７５０のコンポーネントは、ウェアラブルデバイス７０１と遠隔デバイス７０３との間に分散されてもよい。例えば、処理モジュール７５０は、ウェアラブルシステム７００のウェアラブル部分上のローカル処理モジュール７５２と、ローカル処理モジュール７５２と物理的に別個であって、それに通信可能に連結される、遠隔処理モジュール７５６とを含んでもよい。ローカル処理モジュール７５２および遠隔処理モジュール７５６はそれぞれ、１つ以上の処理ユニット（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）等）と、不揮発性メモリ（例えば、フラッシュメモリ）等の１つ以上の記憶デバイスとを含んでもよい。

処理モジュール７５０は、カメラ７０６、眼追跡カメラ７２６、深度センサ７２８、遠隔センサ７３０、アンビエント光センサ、マイクロホン、ＩＭＵ、加速度計、コンパス、グローバルナビゲーション衛星システム（ＧＮＳＳ）ユニット、無線デバイス、および／またはジャイロスコープ等のウェアラブルシステム７００の種々のセンサによって捕捉されたデータを収集してもよい。例えば、処理モジュール７５０は、画像７２０をカメラ７０６から受信してもよい。具体的には、処理モジュール７５０は、左正面画像７２０Ａを左正面に向いた世界カメラ７０６Ａから、右正面画像７２０Ｂを右正面に向いた世界カメラ７０６Ｂから、左側画像７２０Ｃを左側に向いた世界カメラ７０６Ｃから、および右側画像７２０Ｄを右側に向いた世界カメラ７０６Ｄから受信してもよい。いくつかの実施形態では、画像７２０は、単一画像、一対の画像、画像のストリームを含むビデオ、ペアリングされた画像のストリームを含むビデオ、および同等物を含んでもよい。画像７２０は、ウェアラブルシステム７００が電源投入されている間、周期的に、生成され、処理モジュール７５０に送信されてもよい、または処理モジュール７５０によってカメラのうちの１つ以上のものに送信される命令に応答して、生成されてもよい。

カメラ７０６は、ユーザのまわりの画像を捕捉するように、ウェアラブルデバイス７０１の外面に沿って、種々の位置および配向において構成されてもよい。いくつかのインスタンスでは、カメラ７０６Ａ、７０６Ｂは、それぞれ、ユーザの左および右眼のＦＯＶと実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ７０６の設置は、ユーザの眼の近くにあり得るが、ユーザのＦＯＶを不明瞭にするほど近くない。代替として、または加えて、カメラ７０６Ａ、７０６Ｂは、それぞれ、仮想画像光７２２Ａ、７２２Ｂの内部結合場所と整合するように位置付けられてもよい。カメラ７０６Ｃ、７０６Ｄは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚の外側の画像を捕捉するように位置付けられてもよい。カメラ７０６Ｃ、７０６Ｄを使用して捕捉された画像７２０Ｃ、７２０Ｄは、必ずしも、カメラ７０６Ａ、７０６Ｂを使用して捕捉された画像７２０Ａ、７２０Ｂと重複する必要はない。

いくつかの実施形態では、処理モジュール７５０は、アンビエント光情報をアンビエント光センサから受信してもよい。アンビエント光情報は、明度値またはある範囲の空間的に分解された明度値を示し得る。深度センサ７２８は、ウェアラブルデバイス７０１の正面に向いた方向において深度画像７３２を捕捉してもよい。深度画像７３２の各値は、特定の方向における深度センサ７２８と最も近くの検出されたオブジェクトとの間の距離に対応し得る。別の実施例として、処理モジュール７５０は、眼追跡データ７３４を眼追跡カメラ７２６から受信してもよく、これは、左および右眼の画像を含んでもよい。別の実施例として、処理モジュール７５０は、投影された画像明度値をプロジェクタ７１４の一方または両方から受信してもよい。遠隔デバイス７０３内に位置する遠隔センサ７３０は、類似機能性を伴う上記に説明されるセンサのいずれかを含んでもよい。

仮想コンテンツは、光学スタック内の他のコンポーネントとともに、プロジェクタ７１４および接眼レンズ７０２を使用して、ウェアラブルシステム７００のユーザに送達される。例えば、接眼レンズ７０２Ａ、７０２Ｂは、それぞれ、プロジェクタ７１４Ａ、７１４Ｂによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール７５０は、左プロジェクタ７１４Ａに、左仮想画像光７２２Ａを左接眼レンズ７０２Ａ上に出力させ得、右プロジェクタ７１４Ｂに、右仮想画像光７２２Ｂを右接眼レンズ７０２Ｂ上に出力させ得る。いくつかの実施形態では、プロジェクタ７１４は、微小電気機械システム（ＭＥＭＳ）空間光変調器（ＳＬＭ）走査デバイスを含んでもよい。いくつかの実施形態では、接眼レンズ７０２Ａ、７０２Ｂはそれぞれ、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ７０５Ａ、７０５Ｂは、接眼レンズ７０２Ａ、７０２Ｂに結合され、および／または統合されてもよい。例えば、レンズアセンブリ７０５Ａ、７０５Ｂは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ７０２Ａ、７０２Ｂのうちの１つを構成する、１つ以上の層を形成してもよい。

図８は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム８００を図示する。図８に図示されるようなコンピュータシステム８００は、本明細書に説明されるようなデバイスの中に組み込まれてもよい。図８は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム８００の一実施形態の概略化された例証を提供する。図８は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図８は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。

コンピュータシステム８００は、バス８０５を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の、１つ以上の汎用プロセッサおよび／または１つ以上の特殊目的プロセッサを含む、１つ以上のプロセッサ８１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含むことができる、１つ以上の入力デバイス８１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含むことができる、１つ以上の出力デバイス８２０とを含んでもよい。

コンピュータシステム８００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を備えることができ、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含むことができる、１つ以上の非一過性記憶デバイス８２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。

コンピュータシステム８００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含むことができる、通信サブシステム８１９を含み得る。通信サブシステム８１９は、１つ以上の入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム８１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、コンピュータシステム８００、例えば、電子デバイスの中に入力デバイス８１５として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム８００はさらに、作業メモリ８３５を備え、これは、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含むことができる。

コンピュータシステム８００はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および／またはシステムを構成するように設計され得る、１つ以上のアプリケーションプログラム８４５等のオペレーティングシステム８４０、デバイスドライバ、実行可能ライブラリ、および／または他のコードを含む、作業メモリ８３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される１つ以上のプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つ以上の動作を実施するように汎用コンピュータまたは他のデバイスを構成および／または適合するために使用されることができる。

これらの命令および／またはコードのセットは、上記に説明される記憶デバイス８２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム８００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および／または記憶媒体が、汎用コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム８００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用したコンピュータシステム８００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。

実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。

上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム８００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ８１０が、オペレーティングシステム８４０の中に組み込まれ得る、１つ以上の命令の１つ以上のシーケンス、および／または作業メモリ８３５内に含有される、アプリケーションプログラム８４５等の他のコードを実行することに応答して、コンピュータシステム８００によって実施される。そのような命令は、記憶デバイス８２５のうちの１つ以上のもの等の別のコンピュータ可読媒体から作業メモリ８３５の中に読み取られてもよい。単に、一例として、作業メモリ８３５内に含有される命令のシーケンスの実行は、プロセッサ８１０に、本明細書に説明される方法の１つ以上のプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。

用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム８００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令／コードをプロセッサ８１０に提供する際に関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス８２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ８３５等の動的メモリを含む。

一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピーディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取ることができる、任意の他の媒体を含む。

種々の形態のコンピュータ可読媒体が、実行のための１つ以上の命令の１つ以上のシーケンスをプロセッサ８１０に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム８００によって受光および／または実行される伝送媒体を経由して、命令を信号として送信し得る。

通信サブシステム８１９および／またはそのコンポーネントは、概して、信号を受光し、バス８０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ８３５に搬送し得、そこから、プロセッサ８１０が、命令を読み出し、実行する。作業メモリ８３５によって受光された命令は、随意に、プロセッサ８１０による実行前または後のいずれかにおいて、非一過性記憶デバイス８２５上に記憶されてもよい。

上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。

具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。

また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。

いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。

本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、１つ以上のプロセッサおよび当業者に公知のその均等物等の言及を含む。

また、単語「ｃｏｍｐｒｉｓｅ（～を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」、「ｃｏｎｔａｉｎｓ（～を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（～を含有する）」、「ｉｎｃｌｕｄｅ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含む）」、および「ｉｎｃｌｕｄｅｓ（～を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、１つ以上の他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。

また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

Claims (20)

1. 方法であって、
   画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
   前記画像のセットおよび前記姿勢のセットから前記環境の深度マップを生成することと、
   前記画像のセットを機械学習モデルに提供することによって、壁セグメント化マップのセットを生成することであって、前記機械学習モデルは、画像入力に基づいて壁セグメント化マップを出力するように訓練されたものであり、前記壁セグメント化マップのセットはそれぞれ、前記隣り合った壁のセットを含有する前記画像のセットからの対応する画像の１つ以上の領域を示す、ことと、
   前記１つ以上の領域と整合する前記深度マップの部分に沿って前記深度マップをサンプリングすることによって、複数の点を含む点群を生成することと、
   前記点群のためのクラスタのセットを識別することであって、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、ことと、
   線または平面を前記クラスタのセット毎に前記複数の点に適合させることによって、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することと
   を含む、方法。
2. １つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することをさらに含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、請求項１に記載の方法。
3. 前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、請求項２に記載の方法。
4. 前記複数の点は、２Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
   前記線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
   交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
   を含む、請求項１に記載の方法。
5. 前記複数の点は、３Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
   前記平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
   交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
   を含む、請求項１に記載の方法。
6. 前記画像のセットは、ＲＧＢ画像を含む、請求項１に記載の方法。
7. 前記姿勢のセットは、前記画像のセットを捕捉した画像センサのカメラ配向を含む、請求項１に記載の方法。
8. 前記複数の点は、３Ｄ点を含む、請求項１に記載の方法。
9. システムであって、
   １つ以上のプロセッサと、
   コンピュータ可読媒体であって、前記コンピュータ可読媒体は、命令を備えており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
   画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
   前記画像のセットおよび前記姿勢のセットから前記環境の深度マップを生成することと、
   前記画像のセットを機械学習モデルに提供することによって、壁セグメント化マップのセットを生成することであって、前記機械学習モデルは、画像入力に基づいて壁セグメント化マップを出力するように訓練されたものであり、前記壁セグメント化マップのセットはそれぞれ、前記隣り合った壁のセットを含有する前記画像のセットからの対応する画像の１つ以上の領域を示す、ことと、
   前記１つ以上の領域と整合する前記深度マップの部分に沿って前記深度マップをサンプリングすることによって、複数の点を含む点群を生成することと、
   前記点群のためのクラスタのセットを識別することであって、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、ことと、
   線または平面を前記クラスタのセット毎に前記複数の点に適合させることによって、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することと
   を含む動作を実施させる、コンピュータ可読媒体と
   を備える、システム。
10. 前記動作はさらに、
    １つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することを含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、請求項９に記載のシステム。
11. 前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、請求項１０に記載のシステム。
12. 前記複数の点は、２Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
    前記線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
    交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
    を含む、請求項９に記載のシステム。
13. 前記複数の点は、３Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
    前記平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
    交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
    を含む、請求項９に記載のシステム。
14. 前記画像のセットは、ＲＧＢ画像を含む、請求項９に記載のシステム。
15. 命令を備える非一過性コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    画像のセットおよび前記画像のセットに対応する姿勢のセットを取得することであって、前記画像のセットは、少なくとも部分的に、隣り合った壁のセットによって囲まれた環境から捕捉されている、ことと、
    前記画像のセットおよび前記姿勢のセットから前記環境の深度マップを生成することと、
    前記画像のセットを機械学習モデルに提供することによって、壁セグメント化マップのセットを生成することであって、前記機械学習モデルは、画像入力に基づいて壁セグメント化マップを出力するように訓練されたものであり、前記壁セグメント化マップのセットはそれぞれ、前記隣り合った壁のセットを含有する前記画像のセットからの対応する画像の１つ以上の領域を示す、ことと、
    前記１つ以上の領域と整合する前記深度マップの部分に沿って前記深度マップをサンプリングすることによって、複数の点を含む点群を生成することと、
    前記点群のためのクラスタのセットを識別することであって、前記クラスタのセットはそれぞれ、前記複数の点のサブセットを含み、前記クラスタのセットはそれぞれ、前記隣り合った壁のセットからの異なる壁に対応するように決定される、ことと、
    線または平面を前記クラスタのセット毎に前記複数の点に適合させることによって、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することと
    を含む動作を実施させる、非一過性コンピュータ可読媒体。
16. 前記動作はさらに、
    １つ以上のセンサを使用して、前記画像のセットおよび前記姿勢のセットを捕捉することを含み、前記画像のセットおよび前記姿勢のセットを取得することは、前記画像のセットおよび前記姿勢のセットを前記１つ以上のセンサから受信することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
17. 前記１つ以上のセンサは、前記画像のセットを捕捉するように構成される画像センサと、前記姿勢のセットを捕捉するように構成される姿勢センサとを含む、請求項１６に記載の非一過性コンピュータ可読媒体。
18. 前記複数の点は、２Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
    前記線を前記クラスタのセット毎に前記複数の点に適合させ、複数の線をもたらすことと、
    交点に到達するまで前記複数の線を延在させることによって、閉ループを形成することと
    を含む、請求項１５に記載の非一過性コンピュータ可読媒体。
19. 前記複数の点は、３Ｄ点を含み、前記隣り合った壁のセットに沿って、前記環境の周囲を推定することは、
    前記平面を前記クラスタのセット毎に前記複数の点に適合させ、複数の平面をもたらすことと、
    交線に到達するまで前記複数の平面を延在させることによって、閉ループを形成することと
    を含む、請求項１５に記載の非一過性コンピュータ可読媒体。
20. 前記画像のセットは、ＲＧＢ画像を含む、請求項１５に記載の非一過性コンピュータ可読媒体。
    

Images