JP7611385B2 - ウェアラブルデバイスを用いた制御可能デバイスの位置の特定 - Google Patents

Description

技術分野
本明細書は、一般に、ウェアラブルデバイスを用いた制御可能デバイスの位置の取得に関する。

背景
ウェアラブルデバイスは、メディアストリーミングデバイス、ホームスピーカ、スマート電球などの１つ以上の制御可能デバイスを制御するために使用することができる。いくつかの例では、ウェアラブルデバイスは、視覚データをキャプチャするカメラと、画像データを処理してウェアラブルデバイスのカメラの視野内のデバイスを検出するための画像認識ソフトウェアとを備え、デバイスの２次元（２Ｄ）位置を取得することができる。しかしながら、２Ｄ位置は、ユーザがインタラクティブなユーザインターフェイス（user interface：ＵＩ）でデバイスを制御できるように、またはデバイスに関する追加情報をユーザに提示できるように、３Ｄ空間におけるデバイスの位置に近接した位置で、ウェアラブルデバイスのディスプレイ上にＵＩコントロールをレンダリングするには十分ではない場合がある。また、従来技術によっては、ユーザが複数の類似した外観のデバイス（たとえば、同じように見える２つのスマート電球）を持っている場合、ユーザが意図するデバイスを制御するために、ウェアラブルデバイスが複数のデバイスを区別することができない場合がある。

概要
ある態様によると、ウェアラブルデバイスを用いて制御可能デバイスの位置を特定する方法は、ウェアラブルデバイス上の画像センサから視覚データを受信することと、オブジェクト認識モジュールが、視覚データに基づいて識別データを生成することと、識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、第１の３Ｄマップを特定することとを含み、第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、第２の３Ｄマップは第２の制御可能デバイスに関連付けられている。方法は、第１の３Ｄマップの視覚的位置決めデータに基づいて、物理空間における第１の制御可能デバイスの位置を取得することと、第１の制御可能デバイスの位置の閾値距離以内の位置で、ウェアラブルデバイスのディスプレイ上にユーザインターフェイス（ＵＩ）オブジェクトをレンダリングすることとを含む。いくつかの例において、ＵＩオブジェクトは、第１の制御可能デバイスの位置に対応する位置において、ディスプレイ上にレンダリングされる。

いくつかの態様によると、方法は、以下の特徴のうちの１つ以上（またはそれらの任意の組み合わせ）を含み得る。位置は、制御可能デバイスの６自由度位置を含む。識別データは、第１の制御可能デバイスのデバイス名またはデバイスタイプの少なくとも１つを含み得る。識別データは、第１の制御可能デバイスに関連付けられた物理空間の空間タイプを含み得る。識別データは、マップデータベースに、第１の３Ｄマップに関連付けて格納される。方法は、視覚データを、第１の３Ｄマップと比較することを含み得る。方法は、第１の制御可能デバイスに関連付けられたセットアップ手順中に、第１の３Ｄマップを生成することを含み得る。第１の３Ｄマップは、１人以上の他のユーザと共有するように構成された仮想クラウドアンカーに対応する特徴点マップを含み得る。ＵＩオブジェクトは、ユーザが第１の制御可能デバイスを制御することを許可する１つ以上のコントロールを含み得る。

ある態様によると、実行可能命令を格納した非一時的なコンピュータ読取可能媒体であって、実行可能命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ウェアラブルデバイス上の画像センサから視覚データを受信させ、オブジェクト認識モジュールによって、視覚データに基づいて識別データを生成させ、識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、第１の３Ｄマップを特定させるように構成され、第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、第２の３Ｄマップは第２の制御可能デバイスに関連付けられ、実行可能命令はさらに、第１の３Ｄマップの視覚的位置決めデータに基づいて、視覚データによって少なくとも部分的に表現される物理空間における第１の制御可能デバイスの位置を取得させ、第１の制御可能デバイスの位置の閾値距離以内の位置で、ウェアラブルデバイスのディスプレイ上にユーザインターフェイス（ＵＩ）オブジェクトをレンダリングさせるように構成され、ＵＩオブジェクトは、第１の制御可能デバイスを制御するための１つ以上の対話型コントロールを含む。いくつかの例において、ＵＩオブジェクトは、第１の制御可能デバイスの位置（たとえば、６ＤｏＦ位置）に対応する位置において、ディスプレイ上にレンダリングされる。

いくつかの態様によると、非一時的なコンピュータ読取可能媒体は、上記／下記の特徴のうちの１つ以上（またはそれらの任意の組み合わせ）を含み得る。マップデータベースは、サーバコンピュータに格納され得る。実行可能命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、サーバコンピュータと通信してマップデータベースにアクセスさせるように構成され得る。マップデータベースは、ウェアラブルデバイスまたはウェアラブルデバイスに通信可能に結合されたコンピューティングデバイスに格納され得る。実行可能命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ウェアラブルデバイスまたはコンピューティングシステムとそれぞれ通信して、マップデータベースにアクセスさせるように構成され得る。識別データは、第１の制御可能デバイスに関連付けられたデバイス名、デバイスタイプ、または空間タイプの少なくとも１つを含み得る。実行可能命令は、少なくとも１つのプロセッサに、第１の制御可能デバイスに関連付けられたセットアップ手順の間に、第１の３Ｄマップを生成させ、第２の制御可能デバイスに関連付けられたセットアップ手順中に、第２の３Ｄマップを生成させる命令を含み得る。第１の３Ｄマップは、１人以上の他のユーザと共有されるように構成された仮想クラウドアンカーに対応する特徴点マップを含み得る。

ある態様によると、制御可能デバイスの位置を特定するためのコンピューティングシステムは、視覚データを受信するように構成された画像センサと、視覚データに基づいて識別データを生成するように構成されたオブジェクト認識モジュールと、識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、第１の３Ｄマップを特定するように構成された位置特定器とを備え、第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、第２の３Ｄマップは第２の制御可能デバイスに関連付けられ、位置特定器は、第１の３Ｄマップの視覚的位置決めデータに基づいて、物理空間における第１の制御可能デバイスの位置を取得するように構成され、コンピューティングシステムはさらに、第１の制御可能デバイスの閾値位置内にある位置のウェアラブルデバイスのディスプレイ上にＵＩオブジェクトをレンダリングするように構成されたユーザインターフェイス（ＵＩ）オブジェクトレンダラーを備える。いくつかの例において、ＵＩオブジェクトは、第１の制御可能デバイスの位置に対応する位置において、ディスプレイ上にレンダリングされる。

いくつかの態様によると、コンピューティングシステムは、上記／下記の特徴のうちの１つ以上（またはそれらの任意の組み合わせ）を含み得る。コンピューティングシステムは、ウェアラブルデバイスとコンピューティングデバイスとを備えることができ、コンピューティングデバイスは、無線接続を介してウェアラブルデバイスに通信可能に結合される。コンピューティングシステムはウェアラブルデバイスを含むことができ、ウェアラブルデバイスはスマートグラスを含み得る。マップデータベースは、コンピューティングシステムのメモリデバイスに格納され得る。マップデータベースは、サーバコンピュータに関連付けられたメモリデバイスに格納され得る。コンピューティングシステムは、サーバコンピュータにおいて第１の３Ｄマップを特定するために、識別データをサーバコンピュータに送信するように構成されたアンテナを備えることができ、アンテナは、サーバコンピュータから視覚的位置決めデータを受信するように構成されている。

１つ以上の実現例の詳細が、添付の図面および以下の説明に記載されている。他の特徴は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。

ある態様に係る、画像センサによってキャプチャされる視覚データおよび３次元（three-dimensional：３Ｄ）マップを用いて制御可能デバイスの位置を特定するためのコンピューティングシステムを示す図である。 ある態様に係る、制御可能デバイスの位置に対応する位置でコンピューティングデバイスのディスプレイ上にレンダリングされたユーザインターフェイス（ＵＩ）オブジェクトを示す図である。 ある態様に係る、複数の３Ｄマップを格納するマップデータベースを示す図である。 ある態様に係る、マップデータベースにおいて３Ｄマップにリンクされている識別データの一例を示す図である。 ある態様に係る、識別データに基づいてマップデータベース内の３Ｄマップを識別できるデバイス検出器の例を示す図である。 ある態様に係る、サーバコンピュータで３Ｄマップを生成し格納するためのシステムを示す図である。 ある態様に係る、３Ｄマップを生成し格納するためのコンピューティングシステムを示す図である。 別の態様に係る、３Ｄマップを生成し格納するためのコンピューティングシステムを示す図である。 ある態様に係る、ヘッドマウント表示デバイスとコンピューティングデバイスとを有するコンピューティングシステムを示す図である。 ある態様に係る、スマートグラスの一例を示す図である。 ある態様に係る、ウェアラブルデバイスのディスプレイ上でのＵＩオブジェクトのレンダリングの例を示す図である。 ある態様に係る、ウェアラブルデバイスのディスプレイ上でのＵＩオブジェクトのレンダリングの例を示す図である。 ある態様に係る、ウェアラブルデバイスのディスプレイ上でのＵＩオブジェクトのレンダリングの例を示す図である。 ある態様に係る、ウェアラブルデバイスのディスプレイ上でのＵＩオブジェクトのレンダリングの例を示す図である。 制御可能デバイスの位置に対応する位置にレンダリングされたＵＩオブジェクトを有する表示例を示す図である。 制御可能デバイスの位置に対応する位置にレンダリングされたＵＩオブジェクトを有する表示例を示す図である。 制御可能デバイスの位置に対応する位置にレンダリングされたＵＩオブジェクトを有する表示例を示す図である。 制御可能デバイスの位置に対応する位置にレンダリングされたＵＩオブジェクトを有する表示例を示す図である。 ある態様に係る、コンピューティングシステムの動作例を示すフローチャートである。 ある態様に係る、本明細書で議論されるコンピューティングシステムのコンピューティングデバイスの例を示す図である。

詳細な説明
本開示は、視覚データをキャプチャし、視覚データに基づいて、マップデータベースからあらかじめ格納された３次元（３Ｄ）マップ（たとえば、３Ｄメッシュ、３Ｄ特徴マップ、仮想クラウドアンカーなど）を特定するウェアラブルデバイスに関し、３Ｄマップは、視覚データによって少なくとも部分的に表現される物理空間内の制御可能デバイスの場所に印を付ける。マップデータベースは、複数の３Ｄマップを格納することができ、各３Ｄマップは、別々の制御可能デバイスに関する視覚的位置決めデータを含む。マップデータベースは、ローカルに格納されてもよく、サーバコンピュータにリモートに格納されてもよい。３Ｄマップからの情報は、制御可能デバイスの６自由度（degree of freedom：ＤｏＦ）位置を検出するために使用される。次に、ウェアラブルデバイスは、３Ｄ空間における制御可能デバイスの位置の閾値距離以内の場所で、ウェアラブルデバイスのディスプレイ上にユーザインターフェイス（ＵＩ）オブジェクトをレンダリングできる。いくつかの例では、ＵＩオブジェクトは、制御可能デバイスの位置（たとえば、６ＤｏＦ位置）に対応する位置でディスプレイ上にレンダリングされる。ＵＩオブジェクトは、制御可能デバイスを制御するための１つ以上のコントロールおよび／または制御可能デバイスに関する追加情報を、ユーザに提供し得る。

たとえば、第１の制御可能デバイスのセットアップ中に、コンピューティングデバイス（たとえば、ウェアラブルデバイス、またはスマートフォンなどの別のタイプのデバイス）を使用して、第１の制御可能デバイスの場所に印を付け得る。ユーザは、コンピューティングデバイスの画像センサを第１の制御可能デバイスに向け、デバイスを動かして、異なる視野角および位置から物理空間をマッピングして、第１の制御可能デバイスの周囲の特徴点を算出し得る。

いくつかの例では、特徴点は、第１の３Ｄマップを生成するためにサーバコンピュータに送信され、第１の３Ｄマップは、サーバコンピュータにおいてマップデータベースに格納される。いくつかの例では、第１の３Ｄマップは、特徴点マップである。いくつかの例では、第１の３Ｄマップは、他のユーザのためにキャプチャされたシーンをローカライズするために使用することができる仮想アンカーである。第１の３Ｄマップは、第１の制御可能デバイスに関する情報を含む識別データに関連付けて格納される。いくつかの例では、識別データは、第１の制御可能デバイスのデバイスタイプおよび／またはデバイス名を含む。いくつかの例では、識別データは、第１の制御可能デバイスが位置する空間のタイプ（たとえば、リビングルーム、寝室、キッチン）を特定する空間タイプを含む。たとえば、サーバコンピュータは、特徴点を分析して、どのタイプの物理空間が第１の制御可能デバイスに関連付けられているかを判断し（たとえば、第１の制御可能デバイスの部屋のベッドは、第１の制御可能デバイスが寝室にあることを示し得る）、第１の３Ｄマップは、空間タイプに関連付けて格納される。いくつかの例では、コンピューティングデバイスは、特徴点または一般に任意のタイプの３Ｄスキャン技術を使用して、第１の３Ｄマップをローカルに生成および格納し得る。

同じ動作を、別の制御可能デバイスのセットアップ中に適用し得る。たとえば、第２の制御可能デバイスのセットアップ中に、第２の制御可能デバイスの場所を特定する第２の３Ｄマップが生成される。第２の３Ｄマップは、第２の制御可能デバイスを特定することができる識別データに関連付けて格納される。

セットアップ手順の後、ユーザは物理空間に入り、ウェアラブルデバイスの画像センサを使用して視覚データをキャプチャし得る。いくつかの例では、ウェアラブルデバイスは、視覚データに含まれるオブジェクトの種類を判定することができるオブジェクト認識モジュールを含む。たとえば、第１の制御可能デバイスがウェアラブルデバイスの画像センサの視野に入る場合、オブジェクト認識モジュールは、視覚データを分析してデバイスのタイプを判定し得る。いくつかの例では、オブジェクト認識は、視覚データを分析して、ユーザが位置する空間のタイプを検出してもよく、たとえば、ベッドの検出は、ユーザが寝室に位置することを示してもよい。オブジェクト認識モジュールは、第１の制御可能デバイスおよび／または物理空間を特定する識別データ（たとえば、デバイスタイプ、デバイス名、空間タイプ等）を生成し得る。オブジェクト認識モジュールによって生成された識別データは、マップデータベースから適切な３Ｄマップを特定するために使用され得る。たとえば、第１の制御可能デバイスがホームスピーカである場合、マップデータベースは、制御可能デバイスのタイプ、たとえばホームスピーカに関連付けて、第１の３Ｄマップを格納する。そして、ユーザがホームスピーカのある部屋に入り、ウェアラブルデバイスのオブジェクト認識モジュールがホームスピーカを検出すると、第１の３Ｄマップに同じ識別データで注釈が付けられているため、第１の３Ｄマップが特定される。いくつかの例では、ウェアラブルデバイスは、マップデータベースに格納されたどの３Ｄマップかを特定するために、（オブジェクト認識装置によって導出された）識別データをサーバコンピュータに送信する。

次に、特定された第１の３Ｄマップが、画像センサによってキャプチャされた視覚データによって表現される物理空間に少なくとも部分的に対応すると判定するために、視覚データを第１の３Ｄマップと比較して、一致する（たとえば、同じ物理空間を伴う）かどうかを判定する。いくつかの例では、比較はサーバコンピュータにおいて実行され、比較の結果が一致した場合、サーバコンピュータは、第１の制御可能デバイスの姿勢（たとえば、位置および向き）を返し、これを使用して、ウェアラブルデバイスは、第１の制御可能デバイスに対するウェアラブルデバイスの位置および向きを判定する。いくつかの例では、比較はローカルに実行される。いくつかの例では、姿勢は、第１の制御可能デバイスの６ＤｏＦ位置と称されることがある。いくつかの例では、視覚データを３Ｄマップと比較する動作は、３Ｄマップの解決と称されることがある。

いくつかの例では、視覚データによってキャプチャされたデバイスのタイプを検出するためにオブジェクト認識モジュールを使用する（そして、デバイスのタイプを使用して３Ｄマップを迅速に特定する）のではなく、どの３Ｄマップが画像センサによってキャプチャされた視覚データに対応するかを判定するために、視覚データをマップデータベース内の格納された３Ｄマップと、連続的または周期的に比較し得る。一致する場合、ウェアラブルデバイスは、一致する３Ｄマップから制御可能デバイスの６ＤｏＦ位置を取得し得る。しかしながら、いくつかの例では、３Ｄマップの解決は計算上高価であり、マップデータベースが比較的多数の３Ｄマップを含む場合、処理能力および／または時間が比較的増加する可能性がある。さらに、システムは、受信するビデオデータを３Ｄマップと繰り返し（および／または連続的に）比較しなければならず、それによって、システムの効率が低下する。しかしながら、オブジェクト認識モジュールによって取得される情報を活用することにより、（視覚データベースを３Ｄマップと連続的に比較するのとは対照的に）比較的少数のフレームについてより少ない３Ｄマップ（たとえば、認識されたデバイスに関連付けられたもの）を解決することによって、効率を改善できる（また、処理能力および／または時間を削減することができる）。

図１Ａ～図１Ｈは、コンピューティングシステム１００上のセンサシステム１１２によってキャプチャされた視覚データ１１６と、マップデータベース１０５に格納された３Ｄマップ１２４とに基づいて、１つ以上の制御可能デバイス１５２の位置１３４を検出するように構成されたコンピューティングシステム１００を示す。位置１３４は、制御可能デバイス１５２の３Ｄ位置であってもよく、３Ｄ位置は、ユーザ（および／またはコンピューティングシステム１００）が位置する３Ｄ物理空間における制御可能デバイス１５２の場所（およびオプションとして、向き）である。いくつかの例では、位置１３４は、制御可能デバイス１５２の６ＤｏＦ位置１３４ａを含む。図１Ｂを参照すると、コンピューティングシステム１００は、位置１３４を使用して、３Ｄ空間における制御可能デバイス１５２の閾値距離に対応する場所および／または当該閾値距離以内の場所で、ディスプレイ１０８上にユーザインターフェイス（ＵＩ）オブジェクト１４０をレンダリングする。いくつかの例では、コンピューティングシステム１００は、位置１３４を使用して、３Ｄ空間における制御可能デバイス１５２の位置に（たとえば、ユーザの視点から見て）近接する場所で、ディスプレイ１０８上にＵＩオブジェクト１４０をレンダリングする。いくつかの例では、ＵＩオブジェクト１４０は、コンピューティングシステム１００の画像センサ１１４によってキャプチャされた物理空間においてレンダリングされた仮想オブジェクトである。いくつかの例では、ＵＩオブジェクト１４０は、部屋における制御可能デバイス１５２の位置を強調表示する視覚インジケータである。いくつかの例では、ＵＩオブジェクト１４０は、制御可能デバイス１５２を制御するための１つ以上の対話型コントロールを提供する。いくつかの例では、ユーザは、ユーザがＵＩオブジェクト１４０と対話できるように、ＵＩオブジェクト１４０に（たとえば、ユーザの視点から見て）近接する場所で自分の手を動かし得る。いくつかの例では、ＵＩオブジェクト１４０は、制御可能デバイス１５２に関する追加情報を提供する。

コンピューティングシステム１００は、１つ以上のデバイスを含むことができ、デバイスの少なくとも１つは、人の皮膚上にまたは皮膚に近接して装着可能な表示デバイスである。いくつかの例では、コンピューティングシステム１００は、ウェアラブルデバイスであるか、またはウェアラブルデバイスを含む。ウェアラブルデバイスは、光学式ヘッドマウントディスプレイ（optical head-mounted display：ＯＨＭＤ）デバイス、透明ヘッドアップディスプレイ（transparent heads-up display：ＨＵＤ）デバイス、拡張現実（augmented reality：ＡＲ）デバイスなどのヘッドマウントディスプレイ（head-mounted display：ＨＭＤ）デバイス、またはセンサ、ディスプレイ、およびコンピューティング能力を有するゴーグルもしくはヘッドセットなどの他のデバイスを含み得る。いくつかの例では、ウェアラブルデバイスは、スマートグラスを含む。スマートグラスは、眼鏡の形状に設計された光学式ヘッドマウント表示デバイスである。たとえば、スマートグラスは、着用者が眼鏡を通して見るものと一緒に情報を追加する（たとえば、ディスプレイ１０８を投影する）眼鏡である。いくつかの例では、ユーザがスマートグラスを着用してドレッサーに設置されたスマートスピーカのある寝室に入ると、ウェアラブルデバイスは、ユーザがスマートスピーカを制御し、かつ／またはスマートスピーカに関する追加情報を見ることができるように、スマートスピーカの閾値距離に対応する（たとえば、ディスプレイの）位置および／または当該閾値距離以内の位置で、ＵＩオブジェクト１４０をレンダリングし得る。

いくつかの例では、コンピューティングシステム１００は、ウェアラブルデバイス（たとえば、スマートグラス）およびコンピューティングデバイス（たとえば、スマートフォン、タブレット、ラップトップ、またはスマートウォッチ等の別のウェアラブルデバイスなどのモバイルコンピューティングデバイス）を含む。ウェアラブルデバイスは、短距離接続（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続もしくは近距離通信（near-field communication：ＮＦＣ）接続）またはインターネット接続（たとえば、Ｗｉ－Ｆｉ（登録商標）もしくはモバイルネットワーク）などの無線接続を介して、コンピューティングデバイスに接続され得る。いくつかの例では、コンピューティングシステム１００のコンポーネントの一部は、ウェアラブルデバイスに含まれ、コンピューティングシステム１００のコンポーネントの一部は、コンピューティングデバイスに含まれる。いくつかの例では、コンピューティングシステム１００のコンポーネントのすべてが、ウェアラブルデバイスに含まれる。

コンピューティングシステム１００は、１つ以上のプロセッサ１０４を含み、これらは、１つ以上の機械実行可能命令もしくはソフトウェア、ファームウェア、またはそれらの組み合わせを実行するように構成された基板に形成され得る。プロセッサ１０４は、半導体ベースであり得る、すなわち、プロセッサは、デジタル論理を実行することができる半導体材料を含み得る。コンピューティングシステム１００はまた、１つ以上のメモリデバイス１０６を含み得る。メモリデバイス１０６は、プロセッサ（複数可）１０４によって読取および／または実行可能なフォーマットで情報を格納する、任意のタイプの記憶装置を含み得る。メモリデバイス１０６は、プロセッサ（複数可）１０４によって実行されると、特定の動作を実行するアプリケーションおよびモジュール（たとえば、デバイス検出器１２６、位置特定器１３２、ＵＩオブジェクトレンダラー１３６、オブジェクト認識モジュール１１８、仮想アンカーアプリケーション１７０など）を格納し得る。いくつかの例では、アプリケーションおよびモジュールは、外部記憶装置に格納され、メモリデバイス１０６にロードされ得る。

コンピューティングシステム１００は、ユーザの視野に投影されるディスプレイ１０８を含む。ディスプレイ１０８は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）、発光ダイオード（light-emitting diode：ＬＥＤ）ディスプレイ、有機発光ディスプレイ（organic light-emitting display：ＯＬＥＤ）、電気泳動ディスプレイ（electro-phoretic display：ＥＰＤ）、またはＬＥＤ光源を採用するマイクロ投影ディスプレイを含み得る。いくつかの例では、スマートグラスの場合、ディスプレイ１０８は、眼鏡をかけたユーザがディスプレイ１０８によって提供される画像だけでなく、投影画像の背後にあるスマートグラスの視野に位置する情報も見ることができるように、透明または半透明のディスプレイを提供し得る。いくつかの例では、ＵＩオブジェクト１４０は、物理空間のユーザの光学的視野に重畳される。コンピューティングシステム１００は、他のコンピューティングデバイス（複数可）との通信を可能にするために、１つ以上のアンテナ１１０を含み得る。図１Ａ～図１Ｈには示されていないが、コンピューティングシステム１００は、ユーザがコンピューティングシステム１００を制御することを可能にする（たとえば、ディスプレイ１０８に表示されるインターフェイスを介してスワイプすることを可能にする）タッチパッドを含み得る。

コンピューティングシステム１００は、センサシステム１１２を含む。センサシステム１１２は、画像センサ１１４を含む。いくつかの例では、センサシステム１１２は、複数の画像センサ１１４を含む。いくつかの例では、ユーザがコンピューティングシステム１００（またはコンピューティングシステム１００の一部）を装着している間、画像センサ１１４は、深度情報と共に画像データを含み得る視覚データ１１６をキャプチャする。いくつかの例では、画像センサ１１４は、赤緑青（red green blue：ＲＧＢ）カメラである。いくつかの例では、画像センサ１１４は、パルスレーザセンサ（たとえば、ＬｉＤＡＲセンサ）または深度カメラを含む。たとえば、画像センサ１１４は、視覚データ１１６によって表現される画像を作成するために使用される情報を検出し伝達するように構成されたカメラであってもよい。画像センサ１１４は、写真の撮影およびビデオの記録が可能である。センサシステム１１２は、慣性運動ユニット（inertial motion unit：ＩＭＵ）１１５を含み得る。ＩＭＵ１１５は、コンピューティングシステム１００の動き、移動、および／または加速を検出し得る。ＩＭＵ１１５は、たとえば、加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサなど、さまざまな異なるタイプのセンサを含み得る。センサシステム１１２は、光センサ、オーディオセンサ、距離および／もしくは近接センサ、静電容量センサなどの接触センサ、タイマー、ならびに／または他のセンサおよび／もしくはセンサの異なる組み合わせ（複数可）などの他のタイプのセンサを含み得る。

いくつかの例では、コンピューティングシステム１００は、ネットワーク１５０を介してサーバコンピュータ１６０と通信するように構成されている。サーバコンピュータ１６０は、たとえば標準サーバ、そのようなサーバのグループ、またはラックサーバシステムのような、多数の異なるデバイスの形態をとるコンピューティングデバイスであってよい。いくつかの例では、サーバコンピュータ１６０は、プロセッサおよびメモリなどのコンポーネントを共有する単一のシステムである。ネットワーク１５０は、インターネットおよび／またはローカルエリアネットワーク（local area network：ＬＡＮ）、ワイドエリアネットワーク（wide area network：ＷＡＮ）、セルラーネットワーク、衛星ネットワークなどの他のタイプのデータネットワーク、または他のタイプのデータネットワークを含み得る。ネットワーク１５０はまた、ネットワーク１５０内でデータを受信および／または送信するように構成された任意の数のコンピューティングデバイス（たとえば、コンピュータ、サーバ、ルータ、ネットワークスイッチなど）を含み得る。

サーバコンピュータ１６０は、１つ以上のプロセッサ１６２を含み、これらは、１つ以上の機械実行可能命令もしくはソフトウェア、ファームウェア、またはそれらの組み合わせを実行するように構成された基板に形成され得る。プロセッサ（複数可）１６２は、半導体ベースであり得る、すなわち、プロセッサは、デジタル論理を実行できる半導体材料を含み得る。サーバコンピュータ１６０は、１つ以上のメモリデバイス１６４を含む。メモリデバイス１６４は、プロセッサ１６２によって読取および／または実行可能なフォーマットで情報を格納する主メモリを含み得る。

いくつかの例では、サーバコンピュータ１６０は、視覚的位置決めデータサービス１６１を実行するように構成されている。視覚的位置決めデータサービス１６１は、ユーザが共有可能なマルチプレイヤーまたは協調的なＡＲ体験を作成するためのクラウドアンカー（たとえば、３Ｄマップ１２４）を、ユーザが作成できるようにする拡張現実（ＡＲ）協調サービスであってよい。たとえば、ユーザは、ＡＲシーンに仮想オブジェクトを追加することができ、その後、複数のユーザが、共有物理空間内の異なる位置からこれらの仮想オブジェクトを同時に見ることができ、かつこれらと対話することができる。たとえば、ユーザは、自分の環境においてローカルアンカー（たとえば、３Ｄマップ１２４）を作成し得る。ホスティング中、コンピューティングシステム１００は、視覚的位置決めデータサービス１６１において３Ｄマップ１２４を生成するためにデータをアップロードすることができ、視覚的位置決めデータサービス１６１は、その３Ｄマップ１２４の一意の識別子を返し、当該一意の識別子を他のユーザに配布して同じＡＲ環境に参加することができる。同じ環境にいる他のユーザが、３Ｄマップ１２４（たとえば、仮想クラウドアンカー）がホストされた領域にデバイスカメラを向けると、解決要求によって、視覚的位置決めデータサービス１６１は、シーンからの視覚特徴を、作成された３Ｄマップ１２４と定期的に比較し、これを用いて、コンピューティングシステム１００は、３Ｄマップ１２４に対するユーザの位置および向きを正確に特定する。

制御可能デバイス１５２は、コンピューティングシステム１００によって制御可能な多種多様なデバイスを含み得る。図１Ａに示すように、制御可能デバイス１５２は、第１の制御可能デバイス１５２－１と第２の制御可能デバイス１５２－２とを含み得る。いくつかの例では、制御可能デバイス１５２は、コンピューティングシステム１００と同じネットワークに接続される（たとえば、制御可能デバイス１５２は、コンピューティングシステム１００と同じＷｉ－Ｆｉネットワークに接続される）。図１Ａでは２つの制御可能デバイス１５２が示されているが、コンピューティングシステム１００は、任意の数の制御可能デバイス１５２に接続され得る。制御可能デバイス１５２は、照明、スイッチ、コンセント、サーモスタット、バッジリーダー、火災または他の環境アラーム、ブラインド、テレビ、ステレオ、メディアプレーヤーなどの娯楽装置、ならびに無線ネットワークアクセスポイント、プリンタ、スキャナ、およびコピー機などのコンピューティング装置を含み得る。状況によっては、建物には、同じ種類の制御可能デバイスが複数存在する場合がある。たとえば、建物には、複数のホームスピーカまたは複数のビデオストリーミングデバイスがある場合がある。また、建物には、複数の同一またはほぼ同一の制御可能デバイス（たとえば、電球、ホームスピーカなど）が存在する場合がある。

ユーザは、コンピューティングシステム１００を使用して、制御可能デバイス１５２にアクセスし、これを制御し、または他の態様ではこれと通信することを望む場合がある。たとえば、コンピューティングシステム１００は、１つ以上の制御可能デバイス１５２（たとえば、第１の制御可能デバイス１５２－１および第２の制御可能デバイス１５２－２）へのアクセス、その制御、および／またはそれとの通信を提供し得る。ＵＩオブジェクト（複数可）１４０がディスプレイ１０８上にレンダリングされて、制御可能デバイス１５２にアクセスし、これを制御し、または他の態様ではこれと通信できるように、コンピューティングシステム１００が制御可能デバイス１５２の正確な位置を取得することを可能にするために、３Ｄマップ１２４の生成およびマップデータベース１０５への格納が可能になり、各３Ｄマップ１２４は、それぞれの制御可能デバイス１５２の視覚的位置決めデータを提供する。いくつかの例では、マップデータベース１０５は、サーバコンピュータ１６０においてメモリデバイス１６４に格納される。いくつかの例では、マップデータベース１０５は、コンピューティングシステム１００においてメモリデバイス１０６に格納される。いくつかの例では、マップデータベース１０５は、ウェアラブルデバイスに格納される。いくつかの例では、マップデータベース１０５は、ウェアラブルデバイスに（ローカルに）無線接続されたコンピューティングデバイスに格納される。

図１Ｃに示すように、マップデータベース１０５は、複数の３Ｄマップ１２４を格納することができ、各３Ｄマップ１２４は、別々の制御可能デバイス１５２に対応する。たとえば、第１の３Ｄマップ１２４－１は第１の制御可能デバイス１５２－１に対応し、第２の３Ｄマップ１２４－２は第２の制御可能デバイス１５２－２に対応する。いくつかの例では、３Ｄマップ１２４は３Ｄメッシュである。いくつかの例では、３Ｄマップ１２４は３Ｄ特徴マップである。いくつかの例では、３Ｄマップ１２４は仮想アンカーまたは仮想クラウドアンカーである。いくつかの例では、３Ｄマップ１２４は、物理空間および制御可能デバイス１５２からの視覚情報が位置決めされる座標空間を含む。

図１Ｃに示すように、３Ｄマップ１２４は、識別データ１２０に関連付けて格納され得る。識別データ１２０は、対応する制御可能デバイス１５２および／または制御可能デバイス１５２が位置する空間に関する１つ以上の特性を含み得る。いくつかの例では、図１Ｄに示すように、識別データ１２０は、制御可能デバイス１５２のデバイス名１２１を含む。いくつかの例では、デバイス名１２１は、制御可能デバイス１５２（たとえば、ネストサーモスタット、Ｇｏｏｇｌｅ ｈｏｍｅ ｍｉｎｉなど）に関連する名前である。いくつかの例では、識別データ１２０は、制御可能デバイス１５２のデバイスタイプ１２３を含む。いくつかの例では、デバイスタイプ１２３は、デバイスのタイプ、たとえば、スマートスピーカ、メディアストリーミングデバイス、スマートサーモスタットなどを特定する。いくつかの例では、識別データ１２０は、３Ｄマップ１２４に関連する空間の種類を特定する空間タイプ１２５を含む。たとえば、空間タイプ１２５は、寝室、書斎、リビングルーム、キッチンなどを指定し得る。図１Ｃに示すように、第１の３Ｄマップ１２４－１は、第１の制御可能デバイス１５２－１を特定する識別データ１２０－１に関連付けられ、第２の３Ｄマップ１２４－２は、第２の制御可能デバイス１５２－２を特定する識別データ１２０－２に関連付けられている。

いくつかの例では、３Ｄマップ１２４および対応する識別データ１２０（またはその一部）は、特定の制御可能デバイス１５２のセットアップ手順の間に生成される。いくつかの例では、３Ｄマップ１２４および対応する識別データ１２０（またはその一部）は、特定の制御可能デバイス１５２のセットアップ手順の後の時点で生成され得る。いくつかの例では、３Ｄマップ１２４および対応する識別データ１２０は、互いに同じ時間（または同じ時間前後）に生成される。いくつかの例では、識別データ１２０は、３Ｄマップ１２４の生成後に生成され、対応する３Ｄマップ１２４にリンクされている。

いくつかの例では、第１の制御可能デバイス１５２－１のセットアップ中に、コンピューティングシステム１００（たとえば、ウェアラブルデバイスまたはスマートフォンなどのモバイルデバイスであり得る）は、第１の制御可能デバイス１５２－１の位置に印を付けるために使用される。ユーザは、コンピューティングシステム１００上の画像センサ１１４を関心の中心（たとえば、第１の制御可能デバイス１５２－１）に向け、コンピューティングシステム１００を動かして、異なる視野角および位置から環境をマッピングして、第１の制御可能デバイス１５２－１の周囲の特徴点を計算し得る。コンピューティングシステム１００によって収集されたデータは、特徴点を生成するために使用される。特徴点は、ユーザの環境を表す関心点であってよい。いくつかの例では、各特徴点は、物理空間における固定された位置および向きを近似し、視覚特徴点のセットは、ユーザが物理空間をマッピングするためにデバイスを移動させるにつれて、時間と共に更新され得る。

いくつかの例では、その後、特徴点は、第１の３Ｄマップ１２４－１を生成するためにサーバコンピュータ１６０における視覚的位置決めデータサービス１６１に送信され、第１の３Ｄマップ１２４－１は、サーバコンピュータ１６０におけるマップデータベース１０５に格納される。以上説明したように、第１の３Ｄマップ１２４－１は、第１の制御可能デバイス１５２－１を特定する識別データ１２０－１（たとえば、デバイス名１２１、デバイスタイプ１２３、空間タイプ１２５など）に関連付けて格納される。第１の制御可能デバイス１５２－１がスマートスピーカである場合、識別データ１２０－１は、第１の３Ｄマップ１２４－１がスマートスピーカに関連付けられていること、スマートスピーカの名前、および／またはスマートスピーカのタイプを表し得る。いくつかの例では、サーバコンピュータ１６０における視覚的位置決めデータサービス１６１は、特徴点を分析して、どのタイプの物理空間が第１の制御可能デバイス１５２－１に関連付けられているかを判断し（たとえば、第１の制御可能デバイス１５２－１の部屋のベッドが、第１の制御可能デバイス１５２－１が寝室にあることを示す場合がある）、第１の３Ｄマップ１２４－１は空間タイプ１２５に関連付けて格納される。いくつかの例では、サーバコンピュータ１６０において第１の３Ｄマップ１２４－１を生成する代わりに、コンピューティングシステム１００は、特徴点または一般に任意のタイプの３Ｄスキャン技術を使用して、メモリデバイス１０６において第１の３Ｄマップ１２４－１（および対応する識別データ１２０－１）を生成し、マップデータベース１０５に格納し得る。

別の制御可能デバイス１５２のセットアップ中に、同じ動作を適用し得る。たとえば、第２の制御可能デバイス１５２－２のセットアップ中に、第２の制御可能デバイス１５２－２の場所を特定する第２の３Ｄマップ１２４－２が生成される。第２の３Ｄマップ１２４－２は、第２の制御可能デバイス１５２－２に関連する識別データ１２０－２（たとえば、デバイス名１２１、デバイスタイプ１２３、空間タイプ１２５など）に関連付けて格納される。第２の制御可能デバイス１５２－２がスマートサーモスタットである場合、識別データ１２０－２は、第２の３Ｄマップ１２４－２がスマートサーモスタットに関連付けられていること、スマートサーモスタットの名前、および／またはスマートサーモスタットのタイプを示し得る。いくつかの例では、サーバコンピュータ１６０における視覚的位置決めデータサービス１６１は、特徴点を分析して、どのタイプの物理空間が第２の制御可能デバイス１５２－２に関連付けられているかを判断し（たとえば、第２の制御可能デバイス１５２－２の部屋のソファが、第２の制御可能デバイス１５２－２がリビングルームにあることを示す場合がある）、第２の３Ｄマップ１２４－２は、空間タイプ１２５に関連付けて格納される。いくつかの例では、第１の制御可能デバイス１５２－１は、第２の制御可能デバイス１５２－２と同じ空間に配置されている。いくつかの例では、第１の制御可能デバイス１５２－１は、第２の制御可能デバイス１５２－２と異なる空間に配置されている。

セットアップ手順の後（たとえば、コンピューティングシステム１００の通常の使用中）、ユーザは、物理空間に入り、画像センサ１１４を使用して視覚データ１１６をキャプチャし得る。コンピューティングシステム１００は、視覚データ１１６およびマップデータベース１０５を使用して、制御可能デバイス１５２および制御可能デバイス１５２の位置１３４を検出するように構成されたデバイス検出器１２６を含む。位置１３４は、制御可能デバイス１５２の６ＤｏＦ位置１３４ａを含み得る。いくつかの例では、６ＤｏＦ位置１３４は、上下の移動（たとえば、昇降／上下動）、左右の移動（たとえば、横滑り／揺動）、前後の移動（たとえば、歩行／前後動）、左右の旋回（たとえば、偏揺れ）、前後の傾斜（たとえば、縦揺れ）、および／または左右の旋回（たとえば、回転）等の平行移動ならびに回転を記述する情報を含む。

デバイス検出器１２６は、オブジェクト認識モジュール１１８を含む。オブジェクト認識モジュール１１８は、１つ以上の画像認識アルゴリズムを含むことができ、この画像認識アルゴリズムは、１つ以上のニューラルネットワークを含み得る。いくつかの例では、オブジェクト認識モジュール１１８は、画像センサ１１４をオブジェクトに向けると、バーコード、ＱＲコード（登録商標）、ラベル、および／またはテキストを読み取ることによってオブジェクトを特定するように構成されている。オブジェクト認識モジュール１１８は、視覚データ１１６内のオブジェクトを特定し、検出されたオブジェクトに関する識別データ１２０を生成するように構成されている。オブジェクト認識モジュール１１８によって生成された識別データ１２０は、視覚データ１１６に対して解決するためのマップデータベース１０５内の３Ｄマップ１２４のどれかを選択または特定するために使用される。上記したように、識別データ１２０は、デバイス名１２１、デバイスタイプ１２３、空間タイプ１２５、および／または制御可能デバイス１５２もしくは制御可能デバイス１５２を含む空間に関する他の特性（複数可）を含み得る。

たとえば、第１の制御可能デバイス１５２－１が視覚データ１１６によってキャプチャされる場合、オブジェクト認識モジュール１１８は、第１の制御可能デバイス１５２－１のデバイス名１２１および／またはデバイスタイプ１２３を含むように識別データ１２０を生成し得る。同様に、第２の制御可能デバイス１５２－２が視覚データ１１６によってキャプチャされる場合、オブジェクト認識モジュール１１８は、第２の制御可能デバイス１５２－２のデバイス名１２１および／またはデバイスタイプ１２３を含むように識別データ１２０を生成し得る。いくつかの例では、ベッドが視覚データ１１６によってキャプチャされる場合、オブジェクト認識モジュール１１８は、空間タイプ１２５（たとえば、寝室）を含むように識別データ１２０を生成し得る。いくつかの例では、オーブンが視覚データ１１６によってキャプチャされる場合、オブジェクト認識モジュール１１８は、空間タイプ１２５（たとえば、キッチン）を含むように識別データ１２０を生成し得る。

デバイス検出器１２６は、識別データ１２０を用いてマップデータベース１０５に格納されている３Ｄマップ１２４を特定する位置特定器１３２を含む。図１Ｅに示すように、識別データ１２０が識別データ１２０－１である場合、第１の３Ｄマップ１２４－１が識別データ１２０－１に関連付けられてマップデータベース１０５に格納されているので、複数の３Ｄマップ１２４のうちの第１の３Ｄマップ１２４－１が特定され得る。いくつかの例では、識別データ１２０－１はホームスピーカを示し、第２の識別データ１２０－２はスマート電球を示し得る。位置特定器１３２で受信された識別データ１２０がホームスピーカを示す場合、第１の３Ｄマップ１２４－１が特定され得る。

次に、視覚データ１１６を特定された３Ｄマップ１２４と比較して、一致するかどうかを判定する。たとえば、特定された３Ｄマップ１２４が、画像センサ１１４によってキャプチャされた視覚データ１１６によって表現される物理空間に少なくとも部分的に対応することを判定するために、視覚データ１１６は、一致があるかどうか（たとえば、同じ物理空間を含むかどうか）判断するために、３Ｄマップ１２４と比較される。たとえば、物理空間が格納された特徴点の物理空間と同じかどうかを判断し、物理空間内の制御可能デバイス１５２の場所を計算するために、３Ｄマップ１２４内の視覚特徴点を使用して、（たとえば、視覚データ１１６から検出された）他の視覚特徴点と比較し突き合わせることができる。

一致する場合、位置特定器１３２は、３Ｄマップ１２４の視覚的位置決めデータ１４１を取得する。いくつかの例では、視覚的位置決めデータ１４１は、制御可能デバイス１５２の姿勢（たとえば、位置および向き）を含む。位置特定器１３２は、視覚的位置決めデータ１４１を使用して、コンピューティングシステム１００に対する制御可能デバイス１５２－１の位置１３４を計算する。いくつかの例では、位置特定器１３２は、視覚的位置決めデータ１４１およびＩＭＵ１１５からの情報を使用して、コンピューティングシステム１００に対する制御可能デバイス１５２－１の位置１３４を計算する。

マップデータベース１０５がサーバコンピュータ１６０におけるメモリデバイス１６４に格納されている場合、デバイス検出器１２６は、アンテナ（複数可）１１０と連動して動作して、サーバコンピュータ１６０における視覚的位置決めデータサービス１６１と通信し得る。たとえば、デバイス検出器１２６は、識別データ１２０および視覚データ１１６を、視覚的位置決めデータサービス１６１に送信し得る。視覚的位置決めデータサービス１６１は、サーバコンピュータ１６０におけるメモリデバイス１６４に格納されたマップデータベース１０５から適切な３Ｄマップ１２４を特定し、視覚データ１１６を特定した３Ｄマップ１２４と比較することができ、比較の結果が一致する場合、視覚的位置決めデータサービス１６１は、３Ｄマップ１２４の視覚的位置決めデータ１４１をデバイス検出器１２６に返し得る。

マップデータベース１０５がコンピューティングシステム１００におけるメモリデバイス１０６に格納されている場合、いくつかの例では、デバイス検出器１２６は、コンピューティングシステム１００におけるメモリデバイス１０６に格納されているマップデータベース１０５から適切な３Ｄマップ１２４を特定し、視覚データ１１６を特定した３Ｄマップ１２４と比較することができ、比較が一致する場合、位置特定器１３２は、適切な３Ｄマップ１２４から視覚的位置決めデータ１４１を取得し得る。

いくつかの例では、デバイス検出器１２６は、制御可能デバイス１５２の検出を支援するために、視覚データ１１６以外の他の信号を使用する。たとえば、デバイス検出器１２６は、１つ以上の無線信号１３０を受信し、無線信号１３０を使用して、複数の類似した外観の制御可能デバイス１５２を区別し得る。いくつかの例では、無線信号１３０は、Ｂｌｕｅｔｏｏｔｈ信号および／またはＮＦＣ信号（もしくは超音波信号）などの短距離無線信号を含む。たとえば、２つの類似した外観の制御可能デバイス１５２がユーザの領域にある場合、デバイス検出器１２６は、制御可能デバイス１５２からＢｌｕｅｔｏｏｔｈ信号を受信することができ、Ｂｌｕｅｔｏｏｔｈ信号の強度が、ユーザがどの制御可能デバイス１５２を制御しようと意図しているかを表示し得る。

コンピューティングシステム１００は、位置１３４を使用して、３Ｄ空間における制御可能デバイス１５２の位置１３４に近接する場所でディスプレイ１０８上にＵＩオブジェクト１４０をレンダリングするＵＩオブジェクトレンダラー１３６を含む。いくつかの例では、ＵＩオブジェクト１４０は、ユーザがスマートグラスを通して見る物理空間内に配置される仮想オブジェクトである。いくつかの例では、ＵＩオブジェクト１４０は、現実世界における制御可能デバイス１５２の位置１３４に近い場所に位置決めされてもよい。いくつかの例では、ＵＩオブジェクト１４０は、３Ｄ空間における制御可能デバイス１５２の位置１３４の閾値距離内にある場所で、ディスプレイ１０８上に位置決めされる。言い換えれば、ＵＩオブジェクト１４０の位置と制御可能デバイス１５２の位置１３４との間の距離は、閾値レベル未満であってよい。いくつかの例では、ＵＩオブジェクト１４０は、ＵＩオブジェクト１４０によって提供される情報が制御可能デバイス１５２に対応することをユーザが認識するであろう位置で、ディスプレイ１０８上にレンダリングされる。いくつかの例では、ＵＩオブジェクト１４０は、制御可能デバイス１５２の位置１３４に対応する場所で、ディスプレイ１０８上にレンダリングされる。いくつかの例では、ＵＩオブジェクト１４０の位置は、制御可能デバイス１５２の位置１３４を基準として使用して、判定または計算される。いくつかの例では、ＵＩオブジェクト１４０は、制御可能デバイス１５２を制御するための１つ以上のコントロールを提供する。たとえば、ＵＩオブジェクト１４０は、メディアストリーミングプレーヤでアプリケーションを起動する、スマートスピーカの音量を変更する、スマートスピーカで曲を再生する、などのための１つ以上のコントロールを提供し得る。いくつかの例では、ＵＩオブジェクト１４０は、制御可能デバイス１５２に関する追加情報を提供する。たとえば、ＵＩオブジェクト１４０は、スマートサーモスタットに関する履歴データを指定し得る。

図１Ｆ～図１Ｈは、３Ｄマップ１２４の生成および格納のさまざまな例を示す。図１Ｆは、ある態様に係るサーバコンピュータにおける第１の制御可能デバイス１５２－１のための第１の３Ｄマップ１２４－１の生成および格納を示す。図１Ｇは、ある態様に係る、コンピューティングシステム１００における第１の制御可能デバイス１５２－１のための第１の３Ｄマップ１２４－１の生成および格納を示す。図１Ｈは、別の態様に係る、コンピューティングシステム１００における第１の制御可能デバイス１５２－１のための第１の３Ｄマップ１２４－１の生成および格納を示す。

図１Ｆを参照すると、第１の制御可能デバイス１５２－１のセットアップ中に、コンピューティングシステム１００は、第１の制御可能デバイス１５２－１の位置に印を付けるために使用され得る。ユーザは、センサシステム１１２の画像センサ１１４を第１の制御可能デバイス１５２－１に向け、コンピューティングシステム１００を移動させて、異なる視野角および位置から環境をマッピングし得る。いくつかの例では、コンピューティングシステム１００は、センサシステム１１２からデータを受信し、仮想アンカーデータ１７２を生成する仮想アンカーアプリケーション１７０を含む。仮想アンカーデータ１７２は、視覚データ１７４、デバイス姿勢（複数可）１７６、およびアンカー姿勢（複数可）１７８を含み得る。いくつかの例では、視覚データ１７４は視覚データ１１６の一例である。仮想アンカーアプリケーション１７０は、（１つ以上のアプリケーションプログラミングインターフェイス（application programming interface：ＡＰＩ）を介して）サーバコンピュータ１６０における視覚的位置決めデータサービス１６１と通信するように構成されている。仮想アンカーアプリケーション１７０は、物理空間に対するその位置を検出および追跡し、異なるタイプの表面（たとえば、水平面、垂直面、角度のある面）のサイズおよび場所を検出し、環境の現在の照明条件を推定するように構成されている。仮想アンカーアプリケーション１７０は、仮想アンカーデータ１７２を（コンピューティングシステム１００が環境をマッピングすると）視覚的位置決めデータサービス１６１に送信するように構成されている。視覚的位置決めデータサービス１６１は、仮想アンカーデータ１７２に基づいて第１の３Ｄマップ１２４－１を生成するように構成された３Ｄマップ生成器１６５を含む。３Ｄマップ生成器１６５は、第１の３Ｄマップ１２４－１をマップデータベース１０５に格納するように構成されている。

いくつかの例では、仮想アンカーアプリケーション１７０は、視覚データ１７４から視覚特徴点のセットを検出し、視覚特徴点のセットの移動を経時的に追跡するように構成されている。視覚特徴点のセットは、ユーザの環境を表す複数の点（たとえば、関心点）であり、視覚特徴点のセットは、時間の経過と共に更新され得る。いくつかの例では、視覚特徴点のセットは、アンカーまたは物理的世界の物理的オブジェクトを表す永続的な視覚特徴のセットと呼ばれることがあり、視覚特徴点のセットは、マップデータベース１０５に格納され、これは、後続のセッションにおいてまたは別のユーザのために環境をローカライズするためのものであってもよい。

図１Ｇを参照すると、第１の制御可能デバイス１５２－１のセットアップの間、図１Ｆと同様に、コンピューティングシステム１００は、第１の制御可能デバイス１５２－１の場所に印を付けるために使用される。ユーザは、センサシステム１１２の画像センサ１１４を第１の制御可能デバイス１５２－１に向け、コンピューティングシステム１００を移動させて、異なる視野角および位置から環境をマッピングし得る。仮想アンカーアプリケーション１７０は、センサシステム１１２からデータを受信し、視覚データ１７４、デバイス姿勢（複数可）１７６、およびアンカー姿勢（複数可）１７８を含む仮想アンカーデータ１７２を生成する。図１Ｇの例では、コンピューティングシステム１００は、仮想アンカーデータ１７２に基づいて第１の３Ｄマップ１２４－１を生成するように構成された３Ｄマップ生成器１６５を含む。３Ｄマップ生成器１６５は、コンピューティングシステム１００において、第１の３Ｄマップ１２４－１をマップデータベース１０５に格納するように構成されている。

図１Ｈを参照すると、第１の制御可能デバイス１５２－１のセットアップ中、図１Ｆおよび図１Ｇと同様に、コンピューティングシステム１００は、第１の制御可能デバイス１５２－１の場所に印を付けるために使用される。いくつかの例では、コンピューティングシステム１００は、第１の制御可能デバイス１５２－１の環境をスキャンし、コンピューティングシステム１００においてマップデータベース１０５に格納される第１の３Ｄマップ１２４－１を作成するように構成された３Ｄスキャンモジュール１１１を含む。

図２は、別の態様に係るコンピューティングシステム２００を示す。コンピューティングシステム２００は、図１Ａ～図１Ｈのコンピューティングシステム１００を参照して説明された特徴のいずれかを含み得る。いくつかの例では、コンピューティングシステム２００は、ヘッドマウント表示デバイス２０２を含む。いくつかの例では、ヘッドマウント表示デバイス２０２は、図１Ａ～図１Ｈのコンピューティングシステム１００のコンポーネントの全てを含む。たとえば、ヘッドマウント表示デバイス２０２は、プロセッサ（複数可）１０４と、メモリデバイス（複数可）１０６と、ディスプレイ１０８と、センサシステム１１２（画像センサ１１４およびＩＭＵ１１５を含む）と、アンテナ（複数可）と、デバイス検出器１２６（およびデバイス検出器１２６のサブコンポーネント）と、図１Ａ～図１ＨのＵＩオブジェクトレンダラー１３６とを含み得る。いくつかの例では、ヘッドマウント表示デバイス２０２は、マップデータベース１０５を含む。いくつかの例では、ヘッドマウント表示デバイス２０２は、図１Ｆ～図１Ｈを参照して説明したように（たとえば、セットアップ手順の間に）３Ｄマップ１２４を生成および格納するように構成され、３Ｄマップ１２４は、ヘッドマウント表示デバイス２０２にローカルに、またはサーバコンピュータ（たとえば、図１Ａ～図１Ｈのサーバコンピュータ１６０）に、格納することができる。いくつかの例では、図１Ｆおよび図１Ｇの仮想アンカーアプリケーション１７０は、ヘッドマウント表示デバイス２０２に含まれる。いくつかの例では、３Ｄスキャンモジュール１１１は、ヘッドマウント表示デバイス２０２に含まれる。

いくつかの例では、コンピューティングシステム２００は、ヘッドマウント表示デバイス２０２およびコンピューティングデバイス２０１を含む。コンピューティングデバイス２０１は、無線接続２７５を介してヘッドマウント表示デバイス２０２に接続され得る。いくつかの例では、コンピューティングデバイス２０１は、スマートフォン、タブレット、ラップトップ、または他のウェアラブルデバイスのようなモバイルコンピューティングデバイスを含む。いくつかの例では、無線接続２７５は、近距離通信（ＮＦＣ）接続またはＢｌｕｅｔｏｏｔｈ接続などの短距離通信リンクである。いくつかの例では、無線接続２７５は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、または他のタイプのデータネットワークのようなネットワーク接続である。いくつかの例では、無線接続２７５は、ネットワーク内でデータを受信および／または送信するように構成された任意の数のコンピューティングデバイス（たとえば、コンピュータ、サーバ、ルータ、ネットワークスイッチなど）を含み得る。

いくつかの例では、図１Ａ～図１Ｈのコンピューティングシステム１００のコンポーネントの一部は、ヘッドマウント表示デバイス２０２に含まれ、図１Ａ～図１Ｈのコンピューティングシステム１００のコンポーネントの一部は、コンピューティングデバイス２０１に含まれる。いくつかの例では、図１Ａ～図１Ｈのセンサシステム１１２、プロセッサ（複数可）１０４、メモリデバイス（複数可）１０６、アンテナ（複数可）１１０、およびディスプレイ１０８は、ヘッドマウント表示デバイス２０２に含まれる。いくつかの例では、図１Ａ～図１ＨのＵＩオブジェクトレンダラー１３６は、ヘッドマウント表示デバイス２０２に含まれる。いくつかの例では、図１Ａ～図１ＨのＵＩオブジェクトレンダラー１３６は、コンピューティングデバイス２０１に含まれる。いくつかの例では、図１Ａ～図１Ｈのマップデータベース１０５は、コンピューティングデバイス２０１に格納される。いくつかの例では、図１Ａ～図１Ｈのマップデータベース１０５は、サーバコンピュータ（たとえば、図１Ａ～図１Ｈのサーバコンピュータ１６０）に格納され、コンピューティングデバイス２０１および／またはヘッドマウント表示デバイス２０２は、図１Ａ～図１Ｈのサーバコンピュータ１６０と通信するように構成されている。

いくつかの例では、図１Ａ～図１Ｈのデバイス検出器１２６は、コンピューティングデバイス２０１に含まれる。いくつかの例では、ヘッドマウント表示デバイス２０２上でセンサシステム１１２によってキャプチャされた視覚データ１１６は、無線接続２７５を介してコンピューティングデバイス２０１に送信されてもよい。デバイス検出器１２６は、制御可能デバイス１５２の位置１３４を検出し、ヘッドマウント表示デバイス２０２上のＵＩオブジェクトレンダラー１３６によって使用されるように、無線接続２７５を介して、位置１３４をヘッドマウント表示デバイス２０２に送信し得る。いくつかの例では、ＵＩオブジェクトレンダラー１３６は、コンピューティングデバイス２０１上に含まれ、ヘッドマウント表示デバイス２０２上のディスプレイ１０８上にＵＩオブジェクト１４０をレンダリングするための命令を、無線接続２７５を介して送信する。いくつかの例では、図１Ａ～図１Ｈのオブジェクト認識モジュール１１８は、ヘッドマウント表示デバイス２０２に含まれ、位置特定器１３２はコンピューティングデバイス２０１に含まれ、ヘッドマウント表示デバイス２０２は、識別データ１２０をコンピューティングデバイス２０１上の位置特定器１３２に送信する。

いくつかの例では、コンピューティングデバイス２０１は、図１Ｆ～図１Ｈを参照して説明したように（たとえば、セットアップ手順の間に）３Ｄマップ１２４を生成および格納するように構成され、３Ｄマップ１２４は、コンピューティングデバイス２０１にローカルに、またはサーバコンピュータ（たとえば、図１Ａ～図１Ｈのサーバコンピュータ１６０）に格納することができる。いくつかの例では、図１Ｆおよび図１Ｇの仮想アンカーアプリケーション１７０は、コンピューティングデバイス２０１に含まれる。いくつかの例では、図１Ｆおよび図１Ｇの仮想アンカーアプリケーション１７０は、コンピューティングデバイス２０１およびヘッドマウント表示デバイス２０２に含まれる。いくつかの例では、３Ｄスキャンモジュール１１１は、コンピューティングデバイス２０１に含まれる。

図３は、ある態様に係るヘッドマウント表示デバイス３０２の一例を示す。ヘッドマウント表示デバイス３０２は、図１Ａ～図１Ｈのコンピューティングシステム１００および／または図２のヘッドマウント表示デバイス２０２の一例であってもよい。ヘッドマウント表示デバイス３０２は、スマートグラス３９６を含む。スマートグラス３９６は、着用者が眼鏡を通して見るものと一緒に情報を追加する（たとえば、ディスプレイ３０８を投影する）眼鏡である。いくつかの例では、ディスプレイ３０８は、情報を投影するものではなくレンズ内マイクロディスプレイである。いくつかの例では、スマートグラス３９６（たとえば、眼鏡（eyeglasses, spectacles））は、人の目の前で保持するフレーム３７１に取り付けられたレンズ３７２（たとえば、ガラスまたは硬質プラスチックレンズ）を含む視覚補助具であり、典型的には鼻上のブリッジ３７３、および耳の上に載る脚部３７４（たとえば、テンプルまたはテンプル片）を利用する。スマートグラス３９６は、スマートグラス３９６の回路を含む電子機器コンポーネント３７０を含む。いくつかの例では、電子機器コンポーネント３７０は、図１Ａ～図１Ｈのコンピューティングシステム１００のコンポーネントおよび／または図２のヘッドマウント表示デバイス２０２のコンポーネントを包含する筐体を含む。いくつかの例では、電子機器コンポーネント３７０は、スマートグラス３９６の脚部３７４の一方（または脚部３７４の両方）に含まれるか統合される。

図４Ａ～図４Ｄは、（たとえば、結果として生じる視覚的印象において）検出された制御可能デバイス４５２に近接する場所に配置されたＵＩオブジェクト４４０を示すディスプレイ４０８の例を示す。いくつかの例では、制御可能デバイス４５２は、スマートスピーカを含む。しかしながら、制御可能デバイス４５２は、本明細書で議論される任意のタイプの制御可能デバイスを含み得る。いくつかの例では、ディスプレイ４０８に示される情報は、スマートグラスのレンズを通して示される視覚情報である。ＵＩオブジェクト４４０は、スマートグラスを通して示されるような物理空間に配置される仮想オブジェクトと見なされ得る。

図４Ａを参照すると、ＵＩオブジェクト４４０は、３Ｄ空間における制御可能デバイス４５２の場所を示す、制御可能デバイス４５２の周囲の視覚インジケータとしてレンダリングされ得る。図４Ｂを参照すると、ＵＩオブジェクト４４０は、制御可能デバイス４５２に近接した（たとえば、近い）位置でレンダリングされ得る。図４Ｂにおいて、ＵＩオブジェクト４４０は、制御可能デバイス４５２の周りの視覚インジケータと、ユーザが制御可能デバイス４５２と対話することを可能にするＵＩコントロールとを含む。いくつかの例では、ユーザは、音楽を再生するためのコントール等の、制御可能デバイスを制御するためのＵＩコントロールと対話し得る。図４Ｃを参照すると、ＵＩオブジェクト４４０は、ユーザが制御可能デバイス４５２と対話することを可能にするＵＩコントロールと、ディスプレイ４０８に示される他の視覚情報に関連してユーザの手（または指）が配置される領域を示す視覚インジケータとを含み得る。たとえば、ユーザは、制御可能デバイス４５２と対話するために、ＵＩオブジェクト４４０の領域で手（または指）を動かすことができる。図４Ｃの視覚インジケータは、ＵＩオブジェクト４４０に関連してユーザの身体部分がどの位置／方向に位置しているかを判断する際に、ユーザを支援し得る。図４Ｄを参照すると、ＵＩオブジェクト４４０は、ディスプレイ４０８に示される他の視覚情報に関連してユーザの手（または指）が配置される領域を示す視覚インジケータと、ユーザが制御可能デバイス４５２を制御することを可能にする複数のＵＩコントロールとを含み得る。いくつかの例では、ＵＩコントロールは、音楽の再生またはウェブの検索などの動作を含み得る。

図５は、検出された制御可能デバイス５５２に近接する場所に配置されたＵＩオブジェクト５４０を示すディスプレイ５０８の例を示す。いくつかの例では、制御可能デバイス５５２は、スマートテレビまたはメディアストリーミングデバイスを含む。しかしながら、制御可能デバイス５５２は、本明細書で議論される任意のタイプの制御可能デバイスを含み得る。いくつかの例では、ディスプレイ５０８に示される情報は、スマートグラスのレンズを通して示される視覚情報である。ＵＩオブジェクト５４０は、スマートグラスを通して示されるような物理空間内に配置される仮想オブジェクトと見なされ得る。図５を参照すると、ＵＩオブジェクト５４０は、メディアストリーミングアプリケーション等のアプリケーションを開くといった、ユーザが制御可能デバイス５５２と対話することを可能にするＵＩコントロールを含む。

図６は、検出された制御可能デバイス６５２に近接する（たとえば、近い）場所に配置されたＵＩオブジェクト６４０を示すディスプレイ６０８の例を示す。いくつかの例では、制御可能デバイス６５２は、スマートスピーカを含む。しかしながら、制御可能デバイス６５２は、本明細書で議論される任意のタイプの制御可能デバイスを含み得る。いくつかの例では、ディスプレイ６０８に示される情報は、スマートグラスのレンズを通して示される視覚情報である。ＵＩオブジェクト６４０は、スマートグラスを通して示されるような物理空間内に配置される仮想オブジェクトと見なされ得る。図６を参照すると、ＵＩオブジェクト６４０は、音楽を再生するためのコントロールなど、ユーザが制御可能デバイス６５２と対話することを可能にするＵＩコントロールを含む。

図７は、検出された制御可能デバイス７５２に近接する（たとえば、近い）場所に配置されたＵＩオブジェクト７４０を示すディスプレイ７０８の例を示す。いくつかの例では、制御可能デバイス７５２は、スマートサーモスタットを含む。しかしながら、制御可能デバイス７５２は、本明細書で議論される任意のタイプの制御可能デバイスを含み得る。いくつかの例では、ディスプレイ７０８に示される情報は、スマートグラスのレンズを通して示される視覚情報である。ＵＩオブジェクト７４０は、スマートグラスを通して示されるような物理空間に配置される仮想オブジェクトと見なされ得る。図７を参照すると、ＵＩオブジェクト７４０は、制御可能デバイス７５２に関する履歴データまたは他の情報といった、制御可能デバイス７５２に関する追加情報を提供する。

図８は、検出された制御可能デバイス８５２に近接する（たとえば、近い）場所に配置されたＵＩオブジェクト８４０を示すディスプレイ８０８の例を示す。いくつかの例では、制御可能デバイス８５２は、スマートスピーカを含む。しかしながら、制御可能デバイス８５２は、本明細書で議論される任意のタイプの制御可能デバイスを含み得る。いくつかの例では、ディスプレイ８０８に示される情報は、スマートグラスのレンズを通して示される視覚情報である。ＵＩオブジェクト８４０は、スマートグラスを通して示されるような物理空間内に配置される仮想オブジェクトと見なされ得る。図８を参照すると、ＵＩオブジェクト８４０は、スマートスピーカを制御するためのＵＩコントロールと、スマートスピーカで再生されているものについての情報とを含む。

図９は、図１Ａ～図１Ｈのコンピューティングシステム１００の動作例を示すフローチャート９００を示す。フローチャート９００は、図１Ａ～図１Ｈのコンピューティングシステム１００を参照して説明されているが、フローチャート９００は、本明細書の実施形態のいずれにも適用可能である。

動作９０２は、ウェアラブルデバイス（たとえば、コンピューティングシステム１００）上の画像センサ１１４から、視覚データ１１６を受信することを含む。動作９０４は、視覚データ１１６を用いて、第１の３次元（３Ｄ）マップ１２４－１および第２の３Ｄマップ１２４－２を含む複数の３Ｄマップ１２４を格納するマップデータベース１０５から、第１の３Ｄマップ１２４－１を特定することを含み、第１の３Ｄマップ１２４－１は第１の制御可能デバイス１５２－１に関連付けられ、第２の３Ｄマップ１２４－２は第２の制御可能デバイス１５２－２に関連付けられている。動作９０６は、第１の３Ｄマップ１２４－１に基づいて、ウェアラブルデバイスに対する空間内の第１の制御可能デバイス１５２－１の位置１３４（たとえば、６ＤｏＦ位置１３４ａ）を取得することを含む。動作９０８は、第１の制御可能デバイス１５２－１の位置１３４に近接する位置で、ウェアラブルデバイスのディスプレイ１０８上にユーザインターフェイス（ＵＩ）オブジェクト１４０をレンダリングすることを含む。

図１０は、本明細書で説明する技術と共に使用され得る例示的なコンピュータデバイス１０００および例示的なモバイルコンピュータデバイス１０５０の一例を示す。コンピューティングデバイス１０００は、プロセッサ１００２と、メモリ１００４と、ストレージデバイス１００６と、メモリ１００４および高速拡張ポート１０１０に接続する高速インターフェイス１００８と、低速バス１０１４およびストレージデバイス１００６に接続する低速インターフェイス１０１２とを含む。コンポーネント１００２，１００４，１００６，１００８，１０１０および１０１２の各々は、さまざまなバスを用いて相互接続されており、共通のマザーボードに搭載され得る、または適宜の態様で搭載され得る。プロセッサ１００２は、高速インターフェイス１００８に結合されたディスプレイ１０１６などの外部入出力デバイスにＧＵＩ用のグラフィカル情報を表示するために、メモリ１００４またはストレージデバイス１００６に格納された命令を含む、コンピューティングデバイス１０００内で実行するための命令を処理することができる。他の実現例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数のタイプのメモリと共に、適宜使用され得る。さらに、複数のコンピューティングデバイス１０００を接続することができ、各デバイスが必要な動作の一部を（たとえば、サーババンク、ブレードサーバ群、またはマルチプロセッサシステムとして）提供する。

メモリ１００４は、コンピューティングデバイス１０００内の情報を格納する。ある実現例では、メモリ１００４は、１つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ１００４は、１つまたは複数の不揮発性メモリユニットである。メモリ１００４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能媒体であってもよい。

ストレージデバイス１００６は、コンピューティングデバイス１０００に大容量ストレージを提供可能である。ある実現例では、ストレージデバイス１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス等の、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどであり得るか、またはそれらを含み得る。コンピュータプログラム製品は、情報担体において有形に具現化可能である。また、コンピュータプログラム製品は、実行されると、上述したような１つ以上の方法を実行する命令を含み得る。情報担体は、メモリ１００４、ストレージデバイス１００６、またはプロセッサ１００２上のメモリなどの、コンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ１００８は、コンピューティングデバイス１０００の帯域幅集約型の動作を管理し、低速コントローラ１０１２は、より低い帯域幅集約型の動作を管理する。そのような機能の割り当ては例示に過ぎない。ある実現例において、高速コントローラ１００８は、メモリ１００４、（たとえば、グラフィックプロセッサまたはアクセラレータを介して）ディスプレイ１０１６、およびさまざまな拡張カード（図示せず）を受け付けることができる高速拡張ポート１０１０に結合される。この実現例において、低速コントローラ１０１２は、ストレージデバイス１００６および低速拡張ポート１０１４に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入出力デバイス、またはスイッチもしくはルータなどのネットワークデバイスに、たとえば、ネットワークアダプタを介して結合され得る。

コンピューティングデバイス１０００は、図に示すように、多数の異なる形態で実現され得る。たとえば、標準的なサーバ１０２０として、またはそのようなサーバのグループ内で複数回、実現されてもよい。また、ラックサーバシステム１０２４の一部として実装されてもよい。さらに、ラップトップコンピュータ１０２２のようなパーソナルコンピュータにおいて実装されてもよい。または、コンピューティングデバイス１０００からのコンポーネントは、デバイス１０５０などのモバイルデバイス（図示せず）において、他のコンポーネントと組み合わされてもよい。このようなデバイスの各々は、コンピューティングデバイス１０００，１０５０の１つ以上を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス１０００，１０５０で構成され得る。

コンピューティングデバイス１０５０は、プロセッサ１０５２、メモリ１０６４、ディスプレイ１０５４などの入出力デバイス、通信インターフェイス１０６６、およびトランシーバ１０６８などのコンポーネントを含む。また、デバイス１０５０に、追加のストレージを提供するために、マイクロドライブなどのストレージデバイスが備えられ得る。コンポーネント１０５０，１０５２，１０６４，１０５４，１０６６および１０６８の各々は、さまざまなバスを使用して相互接続され、コンポーネントのいくつかは、共通のマザーボード上に、または適宜他の様式で実装され得る。

プロセッサ１０５２は、メモリ１０６４に格納された命令を含む、コンピューティングデバイス１０５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス１０５０によって実行されるアプリケーション、およびデバイス１０５０による無線通信など、デバイス１０５０の他のコンポーネントの調整のために提供されてもよい。

プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インターフェイス１０５８および表示インターフェイス１０５６を介して、ユーザと通信し得る。ディスプレイ１０５４は、たとえば、薄膜－トランジスタ液晶ディスプレイ（Thin-Film-Transistor Liquid Crystal Display：ＴＦＴ ＬＣＤ）または有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または他の適切なディスプレイ技術であってもよい。表示インターフェイス１０５６は、グラフィカルな情報および他の情報をユーザに提示するためにディスプレイ１０５４を駆動するための適切な回路を含み得る。制御インターフェイス１０５８は、ユーザからコマンドを受信し、プロセッサ１０５２に提示するために変換し得る。さらに、外部インターフェイス１０６２が、デバイス１０５０の他のデバイスとの近距離通信を可能にするように、プロセッサ１０５２と通信し得る。外部インターフェイス１０６２は、たとえば、いくつかの実現例では有線通信を、または他の実現例では無線通信を提供してもよく、複数のインターフェイスが使用されてもよい。

メモリ１０６４は、コンピューティングデバイス１０５０内の情報を格納する。メモリ１０６４は、１つ以上のコンピュータ読取可能媒体、１つ以上の揮発性メモリユニット、または１つ以上の不揮発性メモリユニットのうちの１つ以上として実装することができる。拡張メモリ１０７４はまた、たとえばＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含み得る拡張インターフェイス１０７２を通じてデバイス１０５０に提供および接続され得る。そのような拡張メモリ１０７４は、デバイス１０５０のための余分な記憶空間を提供してもよいし、デバイス１０５０のためのアプリケーションまたは他の情報を格納してもよい。具体的には、拡張メモリ１０７４は、上述した処理を実行または補足するための命令を含むことができ、セキュアな情報を含むこともできる。したがって、たとえば、拡張メモリ１０７４は、デバイス１０５０のセキュリティモジュールとして提供されてもよく、デバイス１０５０の安全な使用を可能にする命令でプログラムされてもよい。さらに、セキュアアプリケーションは、ＳＩＭＭカード上に識別情報をハッキングされない方法で配置すること等の追加情報と共に、ＳＩＭＭカードを介して提供されてもよい。

メモリは、たとえば、後述するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。ある実現例では、コンピュータプログラム製品は、情報担体に有形に具現化される。コンピュータプログラム製品は、実行されると、上述したような１つ以上の方法を実行する命令を含む。情報担体は、メモリ１０６４、拡張メモリ１０７４、もしくはプロセッサ１０５２上のメモリなどのコンピュータ読取可能媒体または機械読取可能媒体であり、たとえば、トランシーバ１０６８または外部インターフェイス１０６２を介して受信され得る。

デバイス１０５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス１０６６を介して、無線通信し得る。通信インターフェイス１０６６は、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、さまざまなモードまたはプロトコルでの通信を提供し得る。このような通信は、たとえば、無線周波数トランシーバ１０６８を介して行われ得る。さらに、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）を使用するなどして、短距離通信が生じてもよい。さらに、ＧＰＳ（Global Positioning System）受信機モジュール１０７０は、デバイス１０５０に追加のナビゲーション関連および位置関連の無線データを提供し、デバイス１０５０上で実行されるアプリケーションによって適切に使用され得る。

また、デバイス１０５０は、オーディオコーデック１０６０を使用して可聴的に通信することができ、オーディオコーデック１０６０は、ユーザから音声情報を受信し、それを使用可能なデジタル情報に変換し得る。同様に、オーディオコーデック１０６０は、たとえばデバイス１０５０のハンドセット内のスピーカを介するなどして、ユーザのために可聴音を生成し得る。そのような音は、音声電話からの音を含み、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでもよく、デバイス１０５０上で動作するアプリケーションによって生成された音も含んでもよい。

コンピューティングデバイス１０５０は、図示のように、多くの異なる形態で実装され得る。たとえば、携帯電話１０８０として実装されてもよい。また、スマートフォン１０８２、パーソナルデジタルアシスタント、または他の同様のモバイルデバイスの一部として実装されてもよい。

本明細書に記載のシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計された特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現することができる。これらのさまざまな実現例は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスとの間でデータおよび命令の送受信を行なうように結合された、専用または汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能なおよび／または解釈可能な１つ以上のコンピュータプログラムにおける実現例を含み得る。さらに、「モジュール」という用語は、ソフトウェアおよび／またはハードウェアを含む場合がある。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラマブルプロセッサのための機械命令を含み、高水準手続き型および／もしくはオブジェクト指向型のプログラミング言語で、ならびに／またはアセンブリ／機械言語で実装可能である。本明細書で使用する場合、「機械読取可能媒体」および「コンピュータ読取可能媒体」という用語は、機械読取可能信号として機械命令を受信する機械読取可能媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される、任意のコンピュータプログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（Programmable Logic Device：ＰＬＤ））を指す。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。

ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するための表示デバイス（たとえば陰極線管（cathode ray tube：ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）モニタ）と、ユーザによるコンピュータへの入力を可能にするキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実現可能である。他の種類のデバイスも同様に、ユーザとの対話を提供するために使用可能である。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバックまたは触覚フィードバック）であり得る。また、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信可能である。

本明細書で説明するシステムおよび技術は、バックエンドコンポーネント（たとえば、データサーバとして）を含む、またはミドルウェアコンポーネント（たとえば、アプリケーションサーバ）を含む、またはフロントエンドコンポーネント（たとえば、ユーザが本明細書に記載のシステムおよび技術の実装例と対話できるようなグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ）を含む、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントの任意の組み合わせにおいて実現することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体（たとえば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。

コンピューティングシステムは、クライアントとサーバとを含み得る。クライアントとサーバとは、一般に互いに離れており、典型的には、通信ネットワークを通じて対話する。クライアント－サーバ関係は、それぞれのコンピュータ上で実行されて互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

いくつかの実現例では、図１０に示されるコンピューティングデバイスは、仮想現実（virtual reality（ＶＲ）ヘッドセット１０９０）とインターフェイスするセンサを含み得る。たとえば、コンピューティングデバイス１０５０または図１０に示される他のコンピューティングデバイスに含まれる１つ以上のセンサは、ＶＲヘッドセット１０９０に入力を提供し、または一般に、ＶＲ空間に入力を提供することができる。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体センサ、温度センサ、湿度センサ、および周囲光センサを含み得るが、これらに限定されない。コンピューティングデバイス１０５０は、センサを使用して、次にＶＲ空間への入力として使用することができるＶＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を判定することができる。たとえば、コンピューティングデバイス１０５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想オブジェクトとしてＶＲ空間に組み込まれ得る。ＶＲ空間に組み込まれる場合のユーザによるコンピューティングデバイス／仮想オブジェクトの位置決めは、ユーザがＶＲ空間において特定の作法で仮想オブジェクトを見るためにコンピューティングデバイスを位置決めすることを可能にし得る。たとえば、仮想オブジェクトがレーザポインタを表している場合、ユーザは、コンピューティングデバイスを、実際のレーザポインタであるかのように操作することができる。ユーザは、コンピューティングデバイスを左右、上下、円形などに動かし、レーザポインタを使用するのと同様の方法でデバイスを使用することができる。

いくつかの実現例では、コンピューティングデバイス１０５０に含まれる、または接続される１つ以上の入力デバイスを、ＶＲ空間への入力として使用することができる。入力デバイスは、タッチスクリーン、キーボード、１つ以上のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイク、入力機能付きイヤフォン、ゲームコントローラ、または他の接続可能な入力デバイスを含み得るが、これらに限定されない。コンピューティングデバイスがＶＲ空間に組み込まれるとコンピューティングデバイス１０５０に含まれる入力デバイスと対話するユーザは、ＶＲ空間において特定のアクションを発生させることができる。

いくつかの実現例では、コンピューティングデバイス１０５０のタッチスクリーンは、ＶＲ空間においてタッチパッドとしてレンダリングすることができる。ユーザは、コンピューティングデバイス１０５０のタッチスクリーンと対話することができる。対話は、たとえばＶＲヘッドセット１０９０において、ＶＲ空間内のレンダリングされたタッチパッド上の動きとしてレンダリングされる。レンダリングされた動きは、ＶＲ空間内のオブジェクトを制御することができる。

いくつかの実現例では、コンピューティングデバイス１０５０に含まれる１つ以上の出力デバイスは、ＶＲ空間においてＶＲヘッドセット１０９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚的、触覚的、または聴覚的であり得る。出力および／またはフィードバックは、振動、１つ以上のライトもしくはストロボのオンおよびオフまたは点滅および／もしくは閃光、アラームを鳴らすこと、チャイムを鳴らすこと、曲の再生、ならびにオーディオファイルの再生を含み得るが、これらに限定されない。出力デバイスは、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含み得るが、これらに限定されない。

いくつかの実現例では、コンピューティングデバイス１０５０は、コンピュータが生成した３Ｄ環境において別のオブジェクトとして現われ得る。ユーザによるコンピューティングデバイス１０５０との対話（たとえば、タッチスクリーンの回転、タッチスクリーンの揺動、タッチスクリーンへの接触、タッチスクリーン上での指のスワイプ）は、ＶＲ空間内のオブジェクトとの対話として解釈することができる。ＶＲ空間内のレーザポインタの例では、コンピューティングデバイス１０５０は、コンピュータが生成した３Ｄ環境内の仮想レーザポインタとして現れる。ユーザがコンピューティングデバイス１０５０を操作すると、ＶＲ空間内のユーザにはレーザポインタの動きが見える。ユーザは、コンピューティングデバイス１０５０またはＶＲヘッドセット１０９０上のＶＲ空間内のコンピューティングデバイス１０５０との対話から、フィードバックを受け取る。

いくつかの実現例では、コンピューティングデバイスに加えて、１つ以上の入力デバイス（たとえば、マウス、キーボード）を、コンピュータが生成した３Ｄ環境においてレンダリングすることができる。レンダリングされた入力デバイス（たとえば、レンダリングされたマウス、レンダリングされたキーボード）は、ＶＲ空間内のオブジェクトを制御するためにＶＲ空間内でレンダリングされたものとして使用することができる。

コンピューティングデバイス１０００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、さまざまな形態のデジタルコンピュータを表すことを意図している。コンピューティングデバイス１０５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すことを意図している。本明細書に記載の構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものであることのみを意図しており、本明細書で記載および／または主張する発明の実現例を制限することを意図するものではない。

いくつかの実施形態を説明してきたが、本発明の精神および範囲から逸脱することなく、種々の変更が行なわれ得ることが理解されるだろう。

また、図に示される論理フローは、所望の結果を達成するために、示される特定の順序または連続した順序を必要とするものではない。さらに、他のステップが設けられてもよく、または、説明したフローからステップが排除されてもよく、説明したシステムに対して他の構成要素が追加または除去されてもよい。したがって、他の実施形態は、添付の特許請求の範囲内にある。

Claims (22)

1. ウェアラブルデバイスを用いて制御可能デバイスの位置を特定する方法であって、
   ウェアラブルデバイス上の画像センサから視覚データを受信することと、
   オブジェクト認識モジュールが、前記視覚データに基づいて識別データを生成することと、
   前記識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、前記第１の３Ｄマップを特定することとを含み、前記第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、前記第２の３Ｄマップは第２の制御可能デバイスに関連付けられ、前記方法はさらに、
   前記第１の３Ｄマップの視覚的位置決めデータに基づいて、物理空間における前記第１の制御可能デバイスの位置を取得することと、
   前記第１の制御可能デバイスの前記位置の閾値距離以内の位置で、前記ウェアラブルデバイスのディスプレイ上にユーザインターフェイス（ＵＩ）オブジェクトをレンダリングすることとを含む、方法。
2. 前記位置は、前記制御可能デバイスの６自由度位置を含む、請求項１に記載の方法。
3. 前記識別データは、前記第１の制御可能デバイスのデバイス名またはデバイスタイプの少なくとも１つを含む、請求項１または２に記載の方法。
4. 前記識別データは、前記第１の制御可能デバイスに関連付けられた前記物理空間の空間タイプを含む、請求項１～３のいずれか１項に記載の方法。
5. 前記識別データは、前記マップデータベースに、前記第１の３Ｄマップに関連付けて格納される、請求項１～４のいずれか１項に記載の方法。
6. 前記視覚データを、前記第１の３Ｄマップと比較することをさらに含む、請求項１～５のいずれか１項に記載の方法。
7. 前記第１の制御可能デバイスに関連付けられたセットアップ手順中に、前記第１の３Ｄマップを生成することをさらに含む、請求項１～６のいずれか１項に記載の方法。
8. 前記第１の３Ｄマップは、１人以上の他のユーザと共有するように構成された仮想クラウドアンカーに対応する特徴点マップを含む、請求項１～７のいずれか１項に記載の方法。
9. 前記ＵＩオブジェクトは、ユーザが前記第１の制御可能デバイスを制御することを許可する１つ以上のコントロールを含む、請求項１～８のいずれか１項に記載の方法。
10. 命令を有したプログラムであって、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
    ウェアラブルデバイス上の画像センサから視覚データを受信させ、
    オブジェクト認識モジュールによって、前記視覚データに基づいて識別データを生成させ、
    前記識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、前記第１の３Ｄマップを特定させるように構成され、前記第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、前記第２の３Ｄマップは第２の制御可能デバイスに関連付けられ、前記命令はさらに、
    前記第１の３Ｄマップの視覚的位置決めデータに基づいて、前記視覚データによって少なくとも部分的に表現される物理空間における前記第１の制御可能デバイスの位置を取得させ、
    前記第１の制御可能デバイスの前記位置の閾値距離以内の位置で、前記ウェアラブルデバイスのディスプレイ上にユーザインターフェイス（ＵＩ）オブジェクトをレンダリングさせるように構成され、前記ＵＩオブジェクトは、前記第１の制御可能デバイスを制御するための１つ以上の対話型コントロールを含む、プログラム。
11. 前記マップデータベースはサーバコンピュータに格納され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記サーバコンピュータと通信して前記マップデータベースにアクセスさせるように構成されている、請求項１０に記載のプログラム。
12. 前記マップデータベースは、前記ウェアラブルデバイスまたは前記ウェアラブルデバイスに通信可能に結合されたコンピューティングデバイスに格納され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ウェアラブルデバイスまたは前記コンピューティングデバイスとそれぞれ通信して、前記マップデータベースにアクセスさせるように構成されている、請求項１０に記載のプログラム。
13. 前記ＵＩオブジェクトは、前記第１の制御可能デバイスに関する情報を提供するように構成されている、請求項１０～１２のいずれか１項に記載のプログラム。
14. 前記識別データは、前記第１の制御可能デバイスに関連付けられたデバイス名、デバイスタイプ、または空間タイプの少なくとも１つを含む、請求項１０～１３のいずれか１項に記載のプログラム。
15. 前記命令は、前記少なくとも１つのプロセッサに、
    前記第１の制御可能デバイスに関連付けられたセットアップ手順の間に、前記第１の３Ｄマップを生成させ、
    前記第２の制御可能デバイスに関連付けられたセットアップ手順中に、前記第２の３Ｄマップを生成させる命令を含む、請求項１０～１４のいずれか１項に記載のプログラム。
16. 前記第１の３Ｄマップは、１人以上の他のユーザと共有されるように構成された仮想クラウドアンカーに対応する特徴点マップを含む、請求項１０～１５のいずれか１項に記載のプログラム。
17. 制御可能デバイスの位置を特定するためのコンピューティングシステムであって、
    視覚データを受信するように構成された画像センサと、
    前記視覚データに基づいて識別データを生成するように構成されたオブジェクト認識モジュールと、
    前記識別データを用いて、第１の３次元（３Ｄ）マップと第２の３Ｄマップとを含む複数の３Ｄマップを格納するマップデータベースから、前記第１の３Ｄマップを特定するように構成された位置特定器とを備え、前記第１の３Ｄマップは第１の制御可能デバイスに関連付けられ、前記第２の３Ｄマップは第２の制御可能デバイスに関連付けられ、前記位置特定器は、前記第１の３Ｄマップの視覚的位置決めデータに基づいて、物理空間における前記第１の制御可能デバイスの位置を取得するように構成され、前記コンピューティン
    グシステムはさらに、
    前記第１の制御可能デバイスの前記位置の閾値距離以内の位置で、ウェアラブルデバイスのディスプレイ上にＵＩオブジェクトをレンダリングするように構成されたユーザインターフェイス（ＵＩ）オブジェクトレンダラーを備える、コンピューティングシステム。
18. 前記コンピューティングシステムは、前記ウェアラブルデバイスとコンピューティングデバイスとを備え、前記コンピューティングデバイスは、無線接続を介して前記ウェアラブルデバイスに通信可能に結合される、請求項１７に記載のコンピューティングシステム。
19. 前記マップデータベースは、前記コンピューティングシステムのメモリデバイスに格納されている、請求項１７または１８に記載のコンピューティングシステム。
20. 前記マップデータベースは、サーバコンピュータに関連付けられたメモリデバイスに格納され、前記コンピューティングシステムはさらに、
    前記サーバコンピュータにおいて前記第１の３Ｄマップを特定するために、前記識別データを前記サーバコンピュータに送信するように構成されたアンテナを備え、前記アンテナは、前記サーバコンピュータから前記視覚的位置決めデータを受信するように構成されている、請求項１７または１８に記載のコンピューティングシステム。
21. 前記コンピューティングシステムは前記ウェアラブルデバイスを含み、前記ウェアラブルデバイスはスマートグラスを含む、請求項１７～２０のいずれか１項に記載のコンピューティングシステム。
22. 請求項１～９のいずれか１項に記載の方法をプロセッサに実行させるためのプログラム。

Images