JP6467039B2 - 情報処理装置 - Google Patents

Description

本発明は、ユーザーの頭部に装着される映像表示装置に映像を表示させる情報処理装置、映像表示方法、情報処理装置の制御プログラム、及び情報記憶媒体に関する。

例えばヘッドマウントディスプレイやスマートグラスなどのように、ユーザーが頭部に装着して使用する映像表示装置がある。このような映像表示装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに閲覧させる。このような映像表示装置は、臨場感のある映像をユーザーに閲覧させることができるため、バーチャルリアリティ技術などに利用されている。

上述した映像表示装置を用いてユーザーと相互作用可能な映像（すなわち、ユーザーが何らかの動作を行ってその内容を変化させられるような映像）を表示する場合、ユーザーがより直感的に映像と相互作用できるようにすることが望まれている。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの頭部に装着される映像表示装置に映像を表示させる場合に、ユーザーがより直感的に映像に対する相互作用を行うことのできる情報処理装置、映像表示方法、情報処理装置の制御プログラム、及び情報記憶媒体を提供することにある。

本発明に係る情報処理装置は、ユーザーの頭部に装着される映像表示装置と接続される情報処理装置であって、前記映像表示装置の位置を基準とした、前記ユーザーの身体の少なくとも一部の部位の相対位置の情報を取得する位置取得部と、前記部位に対応するオブジェクトを前記取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させる表示制御部と、を含むことを特徴とする。

本発明に係る映像表示方法は、ユーザーの頭部に装着される映像表示装置に表示させる映像表示方法であって、前記映像表示装置の位置を基準とした、前記ユーザーの身体の少なくとも一部の部位の相対位置の情報を取得するステップと、前記部位に対応するオブジェクトを前記取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させるステップと、を含むことを特徴とする。

本発明に係るプログラムは、ユーザーの頭部に装着される映像表示装置と接続されるコンピュータを、前記映像表示装置の位置を基準とした、前記ユーザーの身体の少なくとも一部の部位の相対位置の情報を取得する位置取得部、及び、前記部位に対応するオブジェクトを前記取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させる表示制御部、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの全体概要図である。 映像表示システムの構成を示す構成ブロック図である。 カメラによる撮像画像の一例を示す図である。 情報処理装置の機能を示す機能ブロック図である。 映像表示装置に表示される映像の一例を示す図である。 情報処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の全体概要図である。また、図２は映像表示システム１の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム１は、情報処理装置１０と、カメラ２０と、中継装置３０と、映像表示装置４０と、を含んで構成されている。

情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図２に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等であって、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

インタフェース部１３は、カメラ２０、及び中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかでカメラ２０及び中継装置３０のそれぞれと接続される。具体例として、インタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、カメラ２０によって撮像された画像のデータを受信するために、ＵＳＢ等のデータ通信インタフェースを含んでいる。

カメラ２０は、本映像表示システム１を利用するユーザーの前方に設置され、ユーザー及びその周辺を含んだ映像を撮像する。図３は、カメラ２０による撮像画像の一例を示す図である。特に本実施形態では、カメラ２０はステレオカメラであるものとし、所定距離離れて配置された２個の撮像素子を含んで構成される。この２個の撮像素子で同時に撮影された画像の差分（視差）を解析することによって、情報処理装置１０は、カメラ２０の視野内に存在する物体までの距離を測定することができる。すなわち、本実施形態においてカメラ２０は、視野範囲内に存在する物体までの距離を検出可能な距離画像センサーとして機能する。具体的に、情報処理装置１０は、カメラ２０によって撮像された２枚の画像を解析することによって、距離画像Ｄ(デプスマップ）を生成する。距離画像Ｄは、複数の画素を含んでおり、各画素の画素値として当該画素に写っている物体までの距離を示す値が設定された画像である。

中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。

映像表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、映像表示装置４０は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に互いに独立に映像を表示するものとする。図２に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、発光素子４３、モーションセンサー４４、並びに通信インタフェース４５を含んで構成される。

映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。本実施形態において映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、左右独立に配置された２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。なお、映像表示素子４１は、立体視を実現するために左眼用映像及び右目用映像として互いに異なる映像を表示してもよいし、左眼用映像及び右目用映像として互いに同じ映像を表示してもよい。

光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置４０であるものとする。

発光素子４３は、ＬＥＤ等であって、映像表示装置４０の前面に配置され、情報処理装置１０からの指示に応じて発光する。この発光素子４３の光をカメラ２０で撮影することによって、情報処理装置１０はカメラ２０の視野内における映像表示装置４０の位置を特定することができる。すなわち、情報処理装置１０は発光素子４３の光を利用して映像表示装置４０のトラッキングを行うことができる。なお、発光素子４３は複数配置されてもよい。

モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に、加速度センサーの検出結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーを用いることで、映像表示装置４０の回転運動を検出できる。

通信インタフェース４５は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。

次に、情報処理装置１０が実現する機能について図４を用いて説明する。図４に示すように、情報処理装置１０は、機能的に、装置位置取得部５１と、身体位置取得部５２と、映像表示制御部５３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

装置位置取得部５１は、映像表示装置４０の実空間内における位置の情報を取得する。また、装置位置取得部５１は、映像表示装置４０の向きも取得することとする。具体的に映像表示装置４０の位置は、前述したように発光素子４３の光をカメラ２０で撮像して得られる画像を解析することによって特定される。カメラ２０は距離画像センサーとして機能するので、カメラ２０の撮像画像を解析することで、カメラ２０の設置位置から発光素子４３の光が写っている位置までの距離が特定される。装置位置取得部５１は、発光素子４３による光の距離画像Ｄ内における位置、及び当該光の位置までの距離を用いて、カメラ２０の設置位置を基準とした映像表示装置４０の３次元的な位置を算出することができる。さらに装置位置取得部５１は、映像表示装置４０の位置を特定するために、映像表示装置４０が内蔵するモーションセンサー４４の測定結果を用いてもよい。カメラ２０の撮像画像とモーションセンサー４４の測定結果を組み合わせることで、装置位置取得部５１はより精度よく映像表示装置４０の位置を特定することができる。また、実空間内の位置座標だけでなく、映像表示装置４０の向きを精度よく特定することができる。装置位置取得部５１が取得する映像表示装置４０の位置及び向きの情報は、ユーザーの頭の位置、及び向きに対応する。

なお、以上の説明では装置位置取得部５１自身が映像表示装置４０の位置及び向きを特定することとしたが、装置位置取得部５１は、外部の装置によって算出された映像表示装置４０の位置及び向きの情報を取得することとしてもよい。

身体位置取得部５２は、映像表示装置４０の位置を基準とした、ユーザーの身体の少なくとも一部の部位の相対位置の情報を取得する。なお、以下では身体位置取得部５２が位置情報を取得する対象とするユーザーの身体の部位を注目部位という。具体的に、まず身体位置取得部５２は、カメラ２０によって得られる距離画像Ｄを用いて、カメラ２０から見た注目部位の位置を特定する。そして、装置位置取得部５１が取得した映像表示装置４０の位置及び向きの情報を用いて、特定された注目部位の位置を、映像表示装置４０を基準とした座標系内の位置に変換する。これにより、映像表示装置４０から見た注目部位の相対位置が算出される。

本システムでは、カメラ２０はユーザーを視野内に収めるように設置される。そのため、ユーザーが本システムを利用する際には、カメラ２０とユーザーとの間に遮蔽物はなく、ユーザーの身体は他の物体（壁など）と比較して前面（カメラ２０側）に位置していると考えられる。そのため、距離画像Ｄ内において、カメラ２０から映像表示装置４０までの距離の近傍、及びそれよりも手前側（カメラ２０側）に位置する物体は、ユーザーの身体の一部であると推定される。より具体的な例として、距離画像Ｄ内に写っている物体のうち、カメラ２０からの距離が映像表示装置４０よりも近い物体は、ユーザーの手であると推定できる。そこで、例えば身体位置取得部５２は、カメラ２０から見て所定距離までの範囲内に存在する物体を、注目部位として特定する。この場合における所定距離は、カメラ２０から映像表示装置４０までの距離に応じて決定されてよい。

この例では、身体位置取得部５２は、距離画像Ｄ内の単位領域ごとに、当該単位領域に写っている物体がユーザーの身体の一部であるか否かを判定する。ここで単位領域は、距離画像Ｄを構成する１つの画素であってもよいし、隣接する複数の画素を含んで構成される画素ブロックであってもよい。身体位置取得部５２は、注目する単位領域に写っている物体とカメラ２０との間の距離が所定距離範囲内に含まれる場合に、当該物体はユーザーの身体の一部であると推定して、そのカメラ２０を基準とした位置の情報を取得する。なお、単位領域が複数の画素を含む場合、単位領域に写っている物体までの距離は、単位領域に含まれる複数の画素それぞれについて算出された距離の代表値（平均値や最頻値など）であってよい。

また、身体位置取得部５２は、距離画像Ｄ内において、映像表示装置４０の位置に応じて決まる所定領域を処理対象として、当該所定領域内に含まれる単位領域について、上述した判定を行ってもよい。映像表示装置４０の位置はユーザーの頭部に相当するので、実空間内において映像表示装置４０から所定距離以上離れた位置にユーザーの身体の一部が存在することは想定しがたい。そこで身体位置取得部５２は、距離画像内において映像表示装置４０の位置を含む所定領域のみを処理対象とし、その他の領域（映像表示装置４０の位置から離れた領域）に写っている物体を処理対象から除外することで、例えばユーザー以外の人物の身体などを誤ってユーザーの身体の一部として特定してしまわないようにすることができる。また、身体位置取得部５２は、カメラ２０の撮像画像に対して画像解析を行ってユーザーの身体に対応する領域を特定するなどして、ユーザーの身体の位置を特定してもよい。

なお、以上の説明では身体位置取得部５２自身が距離画像を用いて注目部位の相対位置を特定することとしたが、情報処理装置１０の身体位置取得部５２は、外部の装置によって算出された注目部位の位置情報を取得することとしてもよい。

映像表示制御部５３は、仮想空間内の様子を示す映像を生成し、中継装置３０に供給する。これにより映像表示制御部５３は、生成した映像を映像表示装置４０に表示させ、ユーザーに閲覧させることができる。この映像は、仮想空間内に設置される視点位置から、視線方向を見た様子を示す映像である。そして、この視点位置及び視線方向は、装置位置取得部５１によって取得される映像表示装置４０の位置及び向きに応じて決定される。すなわち、ユーザーが頭の位置や向きを変化させると、それにより映像表示装置４０の位置及び向きが変化する。映像表示制御部５３は、この映像表示装置４０の位置及び向きの変化に連動して、仮想空間内における視点位置及び視線方向を変化させる。これによりユーザーは、自身の頭の動きに合わせて変化する仮想空間内の景色を閲覧することができる。

さらに本実施形態において、映像表示制御部５３が生成する映像は、身体位置取得部５２によってその位置が取得される注目部位に対応するオブジェクトを含んだ画像である。以下、ユーザーの身体の部位に対応して仮想空間内に配置されるオブジェクトを、部位オブジェクトＰと表記する。具体的に映像表示制御部５３は、身体位置取得部５２が位置情報を取得した注目部位に対応する部位オブジェクトＰを仮想空間内に配置する。この場合において、部位オブジェクトＰの配置位置は、身体位置取得部５２が取得した、映像表示装置４０の位置を基準とした注目部位の相対位置に応じて決定される。より具体的に、映像表示制御部５３は、仮想空間内に設定される視点位置及び視線方向を基準として、身体位置取得部５２が取得した相対位置と対応する仮想空間内の位置に、部位オブジェクトＰを配置する。これにより映像表示制御部５３は、あたかも自身の身体の部位が仮想空間内に存在するかのように見える映像を生成することができる。

具体例として、身体位置取得部５２が距離画像Ｄ内の単位領域ごとに注目部位の位置情報を取得した場合、映像表示制御部５３は、位置情報が取得された個々の注目部位と１対１で対応する部位オブジェクトＰを仮想空間内に配置してよい。この場合、部位オブジェクトＰは、パーティクル・システムによって仮想空間の様子を描画する場合におけるパーティクルによって構成されてもよい。このようにすると、例えばユーザーの手が距離画像Ｄ内の複数の単位領域にまたがって写っている場合に、ユーザーの手によって占められる複数の単位領域に対応して複数の部位オブジェクトＰが仮想空間内に配置されることになる。この複数の部位オブジェクトＰそれぞれの配置位置は、対応する注目部位の位置情報に応じて決定されるので、他の部位オブジェクトＰとは無関係に独立してその位置情報を決定することができる。それにもかかわらず、これらの部位オブジェクトＰは全体としてユーザーの手の形状と対応する外観を持つことになる。しかも、距離画像Ｄに含まれる距離情報を用いて部位オブジェクトＰの仮想空間内における配置位置を決定することで、カメラ２０から見える範囲の身体の部位に限られるという制約はあるものの、立体的にユーザーの身体の部位を再現することが可能となる。

図５は、ユーザーの手に対応する部位オブジェクトＰが配置された仮想空間の様子を示す映像の具体例を示している。同図においては、仮想空間に配置されるキャラクターオブジェクトＣとともに、ユーザーの手を模した形状を構成する複数の部位オブジェクトＰが右下に表示されている。これらの部位オブジェクトＰは、ユーザーが手を動かすと、その動きに連動して移動することになる。

さらに、仮想空間内に配置された部位オブジェクトＰは、仮想空間内に配置される他のオブジェクト（キャラクターオブジェクトＣや背景オブジェクトなど）と相互作用する。具体的に、例えば映像表示制御部５３は、各部位オブジェクトＰとキャラクターオブジェクトＣとの間の衝突判定を行い、両者が衝突したと判定される場合にはこれに応じて部位オブジェクトＰやキャラクターオブジェクトＣの外観（例えば色や形状、位置など）に変化を生じさせる。これにより、ユーザーは自身の手などを動かして、仮想空間内に配置されたオブジェクトに触れたりする相互作用を実現できる。

また、映像表示制御部５３は、部位オブジェクトＰと他のオブジェクトとが接触した場合に限らず、両者の距離に変化が生じた場合に、各オブジェクトの外観に変化を生じさせてもよい。例えば仮想空間内に配置されたキャラクターオブジェクトＣが部位オブジェクトＰに所定距離内まで近づいた場合、キャラクターオブジェクトＣの色や形状を変化させたり、キャラクターオブジェクトＣを構成する一部のパーティクルなどの要素を移動させたりする。これにより、ユーザーはキャラクターオブジェクトＣまでの距離を感覚的に把握することができる。

また、映像表示制御部５３は、単にユーザーの身体の部位に対応する部位オブジェクトＰを表示させるだけでなく、ユーザーの動きに応じて様々な映像を表示させてよい。一例として、身体位置取得部５２は、ユーザーの身体の部位の位置だけでなく、カメラ２０によって撮像された画像の時間変化に基づいて、ユーザーの呼吸タイミングを特定してもよい。ユーザーを撮像した画像の時間変化に基づいて、ユーザーの胸部の上下動などを検出することによって、ユーザーが息を吸っているタイミング、及び吐いているタイミングを特定する技術がある。このような技術を利用して身体位置取得部５２はユーザーの呼吸タイミングを特定し、映像表示制御部５３はこの呼吸タイミングに応じて映像表示装置４０に表示させる映像の内容を変化させてもよい。具体的に、例えば映像表示制御部５３は、ユーザーが息を吸うタイミングで視点位置に向かって所定のオブジェクトが移動したり、息を吐くタイミングで視点位置から離れる向きに所定のオブジェクトが移動したりする様子を表示してもよい。

また、本実施形態では、映像表示装置４０の位置やユーザーの身体の部位の位置を特定するために、ユーザーがカメラ２０の方向を向いていることが想定されている。しかしながら、映像表示装置４０を装着したユーザーは外界の様子を視認しにくくなるため、カメラ２０から離れた方向に顔の向きを変えてしまうこともあり得る。そこで映像表示制御部５３は、実空間において映像表示装置４０からカメラ２０の位置に向かう方向に対応する仮想空間内の方向を案内する案内画像を映像表示装置４０に表示させてもよい。具体的にこの案内画像は、仮想空間内に配置された所定のオブジェクトの画像であってもよいし、方向を指し示す標識画像であってもよい。ユーザーがこの案内画像の指し示す向きに向かって顔の向きを変化させると、実空間においてユーザーがカメラ２０の方を向くようになる。

以下、本実施形態に係る情報処理装置１０が実行する処理の流れの一例について、図６のフロー図を用いて説明する。以下のフローに例示する処理は、例えば映像表示装置４０が表示する映像のフレームレートに応じた頻度で、映像のフレームが更新されるごとに実行される。

まず、カメラ２０による最新の撮像画像に基づいて、処理の実行時点における距離画像Ｄが生成される（Ｓ１）。そして、装置位置取得部５１が、距離画像Ｄ及びモーションセンサー４４の測定結果に基づいて映像表示装置４０の位置及び向きを取得する（Ｓ２）。

次に、距離画像Ｄ内に含まれる各単位領域を処理対象領域として、以下に示す処理が実行される。すなわち、まず身体位置取得部５２が、カメラ２０から処理対象領域に写っている物体までの距離などに基づいて、当該物体がユーザーの身体の部位であるか否かを判定する（Ｓ３）。ユーザーの身体の部位ではないと判定される場合、当該処理対象領域についての処理は終了し、Ｓ７に進む。一方、ユーザーの身体の部位（注目部位）であると判定された場合、身体位置取得部５２は、処理対象領域の距離画像Ｄ内における位置、及び注目部位までの距離に基づいて、カメラ２０の設置位置を基準とした実空間内における注目部位の位置を特定する（Ｓ４）。そして、特定された位置を、Ｓ２で得られた映像表示装置４０の位置及び向きを基準とした座標系内の位置に変換する。すなわち、映像表示装置４０の位置を基準とした注目部位の相対位置を算出する（Ｓ５）。続いて映像表示制御部５３が、Ｓ５で算出された相対位置に応じて決まる仮想空間内の位置に、部位オブジェクトＰを配置して（Ｓ６）、Ｓ７に進む。

次に、全ての単位領域を処理対象領域として処理が実行されたか否かを判定する（Ｓ７）。未処理の単位領域があれば、その単位領域を新たな処理対象領域として、Ｓ３〜Ｓ６の処理を繰り返す。全ての単位領域について処理が終了すれば、注目部位に対応する単位領域のそれぞれについて、部位オブジェクトＰが仮想空間内に配置されたことになる。この状態において映像表示制御部５３は、仮想空間内に配置された部位オブジェクトＰと他のオブジェクトとの間の相互作用処理を実行する（Ｓ８）。ここで相互作用処理とは、仮想空間内に配置されたオブジェクト同士の衝突や距離の変化に応じて、各オブジェクトの位置や外観を更新する処理である。続いて映像表示制御部５３は、Ｓ２で取得された位置及び向きに対応する視線位置、及び視線方向から仮想空間内を見た様子を示す画像を生成し（Ｓ９）、生成した画像のデータを中継装置３０に出力することによって、映像表示装置４０に表示させる（Ｓ１０）。

このような処理を映像のフレームが更新されるごとに繰り返すことによって、リアルタイムでユーザーの身体の部位の動きに合わせて仮想空間内の部位オブジェクトＰも動く様子を示す映像をユーザーに閲覧させることができる。これにより、ユーザーはあたかも仮想空間内で自分の身体を動かすかのようにして、キャラクターオブジェクトＣなどに触れたりする相互作用を行うことができる。

また、上述した処理においては、距離画像Ｄ内の単位領域ごとに独立して処理が実行され、対応する部位オブジェクトＰが仮想空間内に配置される。そのため、例えばユーザーの腕などの骨格を特定し、特定された骨格に対応したモデルを仮想空間内に配置する場合などと比較して、処理の遅延が生じにくく、少ない処理負荷でユーザーの身体の形状に近いオブジェクトを仮想空間内に配置することができる。

ただし、情報処理装置１０の処理性能などによっては、身体位置取得部５２は、ユーザーの身体の部位をより精密に特定してもよい。例えば身体位置取得部５２は、カメラ２０の撮像画像を解析するなどしてユーザーの手の位置を特定し、特定された手の位置と映像表示装置４０の位置（すなわち、ユーザーの頭部の位置）とを用いて、ユーザーの肩の位置や腕の位置などを推定する。このような位置の推定は、公知のインバースキネマティクスの技術を用いて実現できる。そして、映像表示制御部５３は、推定された腕の位置などに応じて、予め用意された人の腕を模したオブジェクトを仮想空間内に配置する。このような処理によれば、よりリアルなユーザーの身体の部位に対応するオブジェクトを表示させることができる。

本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明においては、距離画像センサーとしてステレオカメラを用いることとした。しかしながらこれに限らず、例えばＴＯＦ（Time Of Flight）方式やパターン照射方式など、各種の方式の距離画像センサーを用いて距離画像Ｄを生成することとしてもよい。

また、以上の説明において中継装置３０が実現するとした映像の補正などの処理は、情報処理装置１０によって実現されてもよい。逆に、以上の説明において情報処理装置１０が実現するとした処理の少なくとも一部は、中継装置３０によって実現されてもよい。また、以上の説明において中継装置３０が実現するとした処理の一部は、映像表示装置４０に内蔵される集積回路によって実現されてもよい。さらに、以上の説明において中継装置３０が実現するとした処理の全てが情報処理装置１０及び映像表示装置４０のいずれかによって実現される場合、中継装置３０が存在せずともよい。

１ 映像表示システム、１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 距離画像センサー、３０ 中継装置、４０ 映像表示装置、４１ 映像表示素子、４２ 光学素子、４３ 発光素子、４４ モーションセンサー、４５ 通信インタフェース、５１ 装置位置取得部、５２ 身体位置取得部、５３ 映像表示制御部。

Claims (4)

1. ユーザーの頭部に装着される映像表示装置、及び距離画像センサーと接続される情報処理装置であって、
   実空間における前記映像表示装置の位置及び向きの情報を取得する装置位置取得部と、
   前記距離画像センサーによって得られる距離画像内に含まれる複数の単位領域のそれぞれについて、当該単位領域に位置する物体が前記ユーザーの身体の部位に該当するか否か判定し、該当すると判定される場合、前記取得される映像表示装置の位置及び向き、並びに前記距離画像センサーによる検出結果に基づいて、当該単位領域に位置する単位身体部分の前記映像表示装置の位置を基準とした相対位置の情報を取得する位置取得部と、
   前記位置取得部により相対位置の情報が取得される単位身体部分のそれぞれについて、当該単位身体部分に対応するオブジェクトを当該取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させる表示制御部と、
   を含むことを特徴とする情報処理装置。
2. ユーザーの頭部に装着される映像表示装置に表示させる映像表示方法であって、
   実空間における前記映像表示装置の位置及び向きの情報を取得するステップと、
   距離画像センサーによって得られる距離画像内に含まれる複数の単位領域のそれぞれについて、当該単位領域に位置する物体が前記ユーザーの身体の部位に該当するか否か判定し、該当すると判定される場合、前記取得される映像表示装置の位置及び向き、並びに前記距離画像センサーによる検出結果に基づいて、当該単位領域に位置する単位身体部分の前記映像表示装置の位置を基準とした相対位置の情報を取得する位置取得ステップと、
   前記位置取得ステップで相対位置の情報が取得される単位身体部分のそれぞれについて、当該単位身体部分に対応するオブジェクトを当該取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させるステップと、
   を含むことを特徴とする映像表示方法。
3. ユーザーの頭部に装着される映像表示装置、及び距離画像センサーと接続されるコンピュータを、
   実空間における前記映像表示装置の位置及び向きの情報を取得する装置位置取得部、
   前記距離画像センサーによって得られる距離画像内に含まれる複数の単位領域のそれぞれについて、当該単位領域に位置する物体が前記ユーザーの身体の部位に該当するか否か判定し、該当すると判定される場合、前記取得される映像表示装置の位置及び向き、並びに前記距離画像センサーによる検出結果に基づいて、当該単位領域に位置する単位身体部分の前記映像表示装置の位置を基準とした相対位置の情報を取得する位置取得部、及び、
   前記位置取得部により相対位置の情報が取得される単位身体部分のそれぞれについて、当該単位身体部分に対応するオブジェクトを当該取得される相対位置に応じて決まる仮想空間内の位置に配置した様子を示す映像を、前記映像表示装置に表示させる表示制御部、
   として機能させるためのプログラム。
4. 請求項３に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。

Images