JP6520119B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本技術は、画像処理装置および画像処理方法に関する。

近年、使用者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）が知られている。このヘッドマウントディスプレイは、原理的には、小型の表示素子に表示された画像を、拡大光学系で拡大して、観察者眼に導く構成である。つまり、ヘッドマウントディスプレイは、表示素子に表示された画像を光学的に拡大し、拡大された虚像として使用者に観察させるように構成されている。

この種のヘッドマウントディスプレイとして、観察者が、上述の虚像と共に、外界の像をも観察可能に構成された光学透過ヘッドマウントディスプレイが知られている。この光学透過ヘッドマウントディスプレイは、表示素子に表示された画像を、光学系により、外界の像に重畳して観察者眼に導く構成である。

この光学透過ヘッドマウントディスプレイで再現される虚像の視認性は、この虚像が表示される環境に依存する。例えば、この虚像の表示状態が実世界の状況と矛盾することで快適な観察が損なわれ、あるいは、この虚像の表示位置によりその視認性が損なわれるなどの問題がある。

例えば、特許文献１には、視聴者が注目する被写体を考慮し、全体の奥行きを調整すること、が記載されている。また、例えば、特許文献２には、視線検出を利用して眼の輻輳に応じて、虚像の視差を調整すること、が記載されている。

特開平０５−３２８４０８号公報 特開平１０−１８８０３４号公報

上述の特許文献１、特許文献２に記載される技術にあっては、虚像を表示する位置やサイズは考慮されていない。また、上述の特許文献１、特許文献２に記載される技術にあっては、立体（３Ｄ）画像を虚像として表示する場合については、何等考慮されていない。

本技術の目的は、表示画像を外界の像に良好に重畳表示することにある。

本技術の概念は、
表示素子に表示された表示画像を外界の像に重畳して観察者眼に導く光学系と、
上記外界の像から検出された画像重畳領域に上記表示画像が表示されるように、上記表示素子上における上記表示画像の表示サイズおよび表示位置を制御する表示制御部とを備える
画像表示装置にある。

本技術においては、表示素子に表示された画像が、光学系により、外界の像に重畳されて、観察者眼に導かれる。例えば、光学系が拡大光学系の場合、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。

表示制御部により、外界の像に重畳表示される表示画像の表示サイズおよび表示位置が制御される。この場合、外界の像から検出された画像重畳領域に表示画像が表示されるように、表示素子上における表示画像の表示サイズおよび表示位置が制御される。

例えば、画像重畳領域は、外界の像を撮像して得られる撮像画像データに基づいて検出される。この場合、例えば、外界の像に含まれるフラットな領域が画像重畳領域として検出される。この画像重畳領域の検出は、例えば、クラウド上で行われる、ようにされてもよい。

例えば、表示制御部は、表示画像を表示素子に表示するための画像データを画像重畳領域の情報に基づいて処理（幾何変換処理）することで、表示画像の表示サイズおよび表示位置を制御する、ようにされてもよい。この場合、表示画像の表示サイズおよび表示位置を電子的に制御するものであり、制御が容易となる。

このように本技術においては、外界の像から検出された画像重畳領域、例えばフラット領域に表示画像が表示されるように表示制御が行われる。そのため、観察者は、外界の像に重畳表示される表示画像の視認が容易となる。

なお、本技術において、例えば、表示制御部は、外界の像の画像重畳領域の状況に応じて、表示画像の表示状態を変更する、ようにされてもよい。例えば、表示制御部は、表示画像を表示するための画像データを、画像重畳領域の状況に応じて、観察者が観察する表示画像から外界の像の成分が取り除かれるように補正する、ようにされてもよい。この場合、外界の像の状況に依らずに、表示画像の視認性を高めることが可能となる。

また、本技術において、例えば、表示制御部は、外界の像から画像重畳領域が検出されないとき、表示画像の表示の仕方を変更する、ようにされてもよい。例えば、表示が停止される。また、例えば、ユーザに重畳位置を選択させ、その位置に重畳表示される。また、例えば、プリセットされた重畳位置に重畳表示される。また、例えば、前回表示されていた重畳位置に重畳表示される。また、例えば、非検出の継続時間に応じて、表示位置、あるいは表示のオンオフが変更される。

また、本技術において、例えば、表示制御部は、周期的に検出される画像重畳領域で決まる表示素子上の表示サイズおよび表示位置を時間方向に平滑化して、制御に係る表示サイズおよび表示位置を取得する、ようにされてもよい。この場合、周期的に、例えばフレーム毎に検出される画像重畳領域の位置や大きさの変化が大きい場合にあっても、外界の像上に表示画像を安定して重畳表示することが可能となる。

また、本技術において、例えば、表示制御部は、外界の像に変化があることが検出されるとき、表示画像の表示の仕方を変更する、ようにされてもよい。例えば、表示が停止される。また、例えば、ユーザに重畳位置を選択させ、その位置に重畳表示される。また、例えば、プリセットされた重畳位置に重畳表示される。また、例えば、前回表示されていた重畳位置に重畳表示される。また、例えば、変化検出の継続時間に応じて、表示位置、あるいは表示のオンオフが変更される。

また、本技術において、例えば、光学系は、第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系とを有し、表示制御部は、左眼画像および右眼画像により観察者が知覚する立体画像の奥行き位置が、外界の像の立体画像が重畳される領域の奥行き位置より手前になるように、左眼画像および右眼画像の視差を制御する、ようにされてもよい。この場合、表示画像（立体画像）を奥行きの矛盾が生じないように外界の像に重畳表示することが可能となる。

また、本技術の他の概念は、
表示素子に表示された表示画像を外界の像に重畳して観察者に導く光学系と、
上記外界の像のうち上記観察者の視線が集中している領域に上記表示画像が表示されるように制御する第１の制御モードと、上記外界の像のうち上記観察者の視線が集中している領域以外の領域に上記表示画像が表示されるように制御する第２の制御モードとを有する表示制御部とを備える
画像表示装置にある。

本技術においては、表示素子に表示された画像が、光学系により、外界の像に重畳されて、観察者眼に導かれる。例えば、光学系が拡大光学系の場合、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。

表示制御部により、外界の像に重畳表示される表示画像の表示が、第１の制御モードあるいは第２の制御モードで制御される。第１の制御モードでは、外界の像のうち観察者の視線が集中している領域に表示画像が表示されるように制御される。第２の制御モードでは、外界の像のうち観察者の視線が集中している領域以外の領域に表示画像が表示されるように制御される。

このように本技術においては、外界の像に重畳表示される表示画像の表示を、第１の制御モードあるいは第２の制御モードで制御できる。すなわち、外界の像のうち観察者の視線が集中している領域に表示画像を表示できる他、外界の像のうち観察者の視線が集中している領域以外の領域にも表示画像を表示でき、作業の邪魔にならないように表示画像を表示させることが可能となる。

なお、本技術において、例えば、表示制御部は、観察者が移動中でないとき第１の制御モードで制御し、観察者が移動中であるとき第２の制御モードで制御する、ようにされてもよい。この場合、観察者が移動中でない状況にあっては、自動的に第１の制御モードに切り替わり、外界の像のうち観察者の視線が集中している領域に表示画像が表示される状態となる。つまり、この場合、観察者は表示画像を集中して観察するためにモード切り替えを行うことを必要とせず、使い勝手の向上が図られる。

また、本技術において、例えば、表示制御部は、外界の像の表示画像が重畳される領域の状況に応じて、上記画像の表示状態を変更する、ようにされてもよい。例えば、表示制御部は、表示画像を表示するための画像データを、その領域状況に応じて、観察者が観察する表示画像から外界の像の成分が取り除かれるように補正する、ようにされてもよい。この場合、外界の像の状況に依らずに、表示画像の視認性を高めることが可能となる。

また、本技術において、例えば、光学系は、第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系とを有し、表示制御部は、左眼画像および右眼画像により観察者が知覚する立体画像の奥行き位置が、外界の像の立体画像が重畳される領域の奥行き位置より手前になるように、左眼画像および右眼画像の視差を制御（調整）する、ようにされてもよい。この場合、表示画像（立体画像）を奥行きの矛盾が生じないように外界の像に重畳表示することが可能となる。

また、本技術の他の概念は、
表示素子に表示された表示画像を外界の像に重畳して観察者眼に導く光学系と、
上記表示画像が重畳される上記外界の像の領域状況に応じて、該表示画像の表示状態を変更する表示制御部とを備える
画像表示装置にある。

本技術においては、表示素子に表示された画像が、光学系により、外界の像に重畳されて、観察者眼に導かれる。例えば、光学系が拡大光学系の場合、表示素子に表示された画像は、光学的に拡大され、拡大された虚像として観察者に観察される。

表示制御部により、表示画像が重畳される外界の像の領域状況に応じて、この表示画像の表示状態が変更される。例えば、外界の像の領域状況は、外界の像を撮像して得られた撮像画像データに基づいて取得される。この外界の像の領域状況の取得は、例えば、クラウド上で行われる、ようにされてもよい。例えば、表示制御部は、表示画像を表示するための画像データを、その領域状況に応じて、観察者が観察する表示画像から外界の像の成分が取り除かれるように補正する、ようにされてもよい。

このように本技術においては、表示画像が重畳される外界の像の領域状況に応じて、この表示画像の表示状態が変更されるものである。そのため、観察者が観察する表示画像から外界の像の成分を取り除くことが可能となり、外界の像の状況に依らずに、表示画像の視認性を高めることが可能となる。

また、本技術の他の概念は、
第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、
第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系と、
上記左眼画像および上記右眼画像により上記観察者が知覚する立体画像の奥行き位置が、上記外界の像の該立体画像が重畳される領域の奥行き位置より手前になるように、上記左眼画像および上記右眼画像の視差を制御する表示制御部とを備える
画像表示装置にある。

本技術においては、第１の表示素子に表示された左眼画像が、第１の光学系により、外界の像に重畳されて、観察者の左眼に導かれる。また、第２の表示素子に表示された右眼画像が、第２の光学系により、外界の像に重畳されて、観察者の右眼に導かれる。例えば、光学系が拡大光学系の場合、左眼画像、右眼画像は、光学的に拡大され、拡大された虚像として観察者に観察される。

表示制御部により、左眼画像および右眼画像の視差が制御される。この場合、左眼画像および右眼画像により観察者が知覚する立体画像の奥行き位置が、外界の像のこの立体画像が重畳される領域の奥行き位置より手前になるように、左眼画像および右眼画像の視差が制御（調整）される。

このように本技術においては、表示画像（立体画像）が重畳される外界の像の領域の奥行き位置に基づいて、表示画像（立体画像）の奥行き位置がその領域の奥行き位置より手前になるように、左眼画像および右眼画像の視差が制御されるものである。そのため、表示画像（立体画像）を奥行きの矛盾が生じないように外界の像に重畳表示することが可能となる。

本技術によれば、表示画像を外界の像に良好に重畳表示することが可能となる。

実施の形態としての光学透過ヘッドマウントディスプレイ（両眼）の概略的な構成例を示す図である。 外界の像の各画素の奥行き位置を示す視差マップと表示画像（立体画像）の各画素の奥行き位置を示す視差マップを説明するための図である。 表示画像の表示制御に係る表示サイズおよび表示位置の時間方向の平滑化処理を説明するための図である。 表示画像（立体画像）の奥行き位置において奥行き感に不整合が生じる場合を説明する図である。 表示画像（立体画像）の奥行き位置において奥行き感に不整合が生じない場合を説明する図である。 奥行き感に不整合が生じないように表示画像（立体画像）の奥行き位置を調整する際の処理例を説明するための図である。 奥行き感に不整合が生じないように表示画像（立体画像）の奥行き位置を調整する際の処理例を説明するための図である。 外界の像のうち観察者の視線が集中している領域以外の領域に表示画像（立体画像）を表示する場合を説明するための図である。 外界の像のうち青空部分に表示画像（立体画像）が重畳表示される例を示す図である。 外界の像から検出された画像重畳領域、例えばフラット領域に表示画像が表示される場合を説明するための図である。 表示制御部における表示制御の処理手順の一例を示すフローチャートである。 光学透過ヘッドマウントディスプレイの各構成要素の配置例を模式的に示す図である。 光学透過ヘッドマウントディスプレイの他の構成例を示す図である。 光学透過ヘッドマウントディスプレイの他の構成例を示す図である。 光学透過ヘッドマウントディスプレイの他の構成例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［光学透過ヘッドマウントディスプレイの構成例］
図１は、実施の形態としての光学透過のヘッドマウントディスプレイ（ＨＭＤ）１００の概略的な構成例を示している。この構成例は両眼ＨＭＤである。このＨＭＤ１００は、左側のメガネレンズ部１０１Ｌと、右側のメガネレンズ部１０１Ｒを有している。メガネレンズ部１０１Ｌとメガネレンズ部１０１Ｒは、接続部材１０２により一体的に接続されている。

メガネレンズ部１０１Ｌ，１０１Ｒは、それぞれ、メガネレンズとＨＯＥ（ホログラム光学素子：Holographic Optical Element）シートとが一体化されたものである。このＨＯＥシートは、外界光と表示光とを合成するハーフミラーのような機能と、表示画像を拡大する凹面や自由曲面の機能を併せ持っている。

メガネレンズ部１０１Ｌ，１０１Ｒには、それぞれ、赤外線センサ１０３Ｌ，１０３Ｒが取り付けられている。赤外線センサ１０３Ｌは、例えば、メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている。また、赤外線センサ１０３Ｒは、例えば、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている。

赤外線センサ１０３Ｌ，１０３Ｒのセンサ出力は、強膜反射法による眼球位置推定のために使用される。強膜反射法は、角膜（黒目）と強膜（白目）においての反射率が異なることを利用した手法である。この場合、赤外線センサは、観察者眼側に照射する微弱赤外線を水平方向にスキャンし、その反射光を検出する。角膜（黒目）と強膜（白目）における反射光の強さが大きく異なるので、センサ出力から観察者の眼球位置を推定することが可能となる。

また、メガネレンズ部１０１Ｌには、ジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４のセンサ出力は、外界の像が変化しているか否か、および、観察者（ユーザ）が移動中か否か、を判断するために使用される。また、このジャイロセンサ１０４のセンサ出力は、観察者がメガネレンズ部１０１Ｌ，１０１Ｒを通して観察する外界の像に変化があるか否かを検出するために使用される。

また、メガネレンズ部１０１Ｌには、水平方向の中心位置（左眼光学系の水平方向の中心位置）に、カメラ１０５Ｌが取り付けられている。カメラ１０５Ｌは、観察者の左眼がメガネレンズ部１０１Ｌを通して観察する外界の像（左眼像）を撮像して、撮像画像データを出力する。同様に、メガネレンズ部１０１Ｒには、水平方向の中心位置（右眼光学系の水平方向の中心位置）に、カメラ１０５Ｒが取り付けられている。カメラ１０５Ｒは、観察者の右眼がメガネレンズ部１０１Ｒを通して観察する外界の像（右眼像）を撮像して、撮像画像データを出力する。

カメラ１０５Ｌ，１０５Ｒの出力は、立体画像が重畳表示される外界の像の領域の奥行き位置の情報を得るために使用される。また、このカメラ１０５Ｌ，１０５Ｒの出力は、観察者がメガネレンズ部１０１Ｌ，１０１Ｒを通して観察する外界の像に変化があるか否かを検出するために使用することもできる。また、このカメラ１０５Ｌ，１０５Ｒの出力は、立体画像が重畳表示される外界の像の領域の状況を示す情報（輝度情報、色情報など）を得るために使用される。また、このカメラ１０５Ｌ，１０５Ｒの出力は、外界の像から画像重畳領域、この実施の形態においてはフラット領域を検出するために使用される。

また、ＨＭＤ１００は、ディスプレイドライバ１１１Ｌ，１１１Ｒと、ディスプレイ１１２Ｌ，１１２Ｒを有している。ディスプレイ１１２Ｌ，１１２Ｒは、それぞれ、例えばＬＣＤ（Liquid Crystal Display）により構成される。ディスプレイ１１２Ｌは、左眼画像データに基づいてディスプレイドライバ１１１Ｌにより駆動され、観察者にステレオ立体画像を知覚させるための左眼画像を表示する。ディスプレイ１１２Ｒは、右眼画像データに基づいてディスプレイドライバ１１１Ｒにより駆動され、観察者にステレオ立体画像を知覚させるための右眼画像を表示する。

また、ＨＭＤ１００は、眼球位置推定部１２１と、視線推定部１２２と、奥行き・構造推定部１２３と、表示制御部１２４と、表示用画像生成部１２５を有している。眼球位置推定部１２１は、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置を推定する。視線推定部１２２は、眼球位置推定部１２１における左眼、右眼の眼球位置の推定結果に基づいて、観察者の視線を推定する。

奥行き・構造推定部１２３は、カメラ１０５Ｌ，１０５Ｒからの撮像画像データに基づいて、外界の像の各画素の奥行き位置を示す視差マップを算出する。図２(ａ)は外界の像の左眼像、右眼像の一例を示し、図２（ｂ）はその左眼像、右眼像に対応した視差マップの一例を示している。なお、この例は、各画素の視差を画素データとして画像表示したものであり、明るい部分ほど奥行き位置としては手前を示す。図２（ｃ）は、画面全体の視差のヒストグラムの一例を示している。

また、奥行き・構造推定部１２３は、表示画像データである左眼、右眼の画像データに基づいて、表示画像（立体画像）の各画素の奥行き位置を示す視差マップを算出する。図２(ｄ)は左眼画像、右眼画像の一例を示し、図２（ｅ）はその左眼画像、右眼画像に対応した視差マップの一例を示している。なお、この例も、各画素の視差を画素データとして画像表示したものであり、明るい部分ほど奥行き位置としては手前を示す。図２（ｆ）は、画面全体の視差のヒストグラムの一例を示している。

また、奥行き・構造推定部１２３は、カメラ１０５Ｌ，１０５Ｒからの撮像画像データに基づいて、外界の像から画像重畳領域を検出する。奥行き・構造推定部１２３は、例えば、水平方向および垂直方向に低周波数成分のみの領域（フラット領域）を、画像重畳領域として検出する。勿論、この画像重畳領域は、表示画像を重畳表示するための領域となるので、水平、垂直に十分な大きさを持つ領域である。この場合、外界の像から、この画像重畳領域が一個だけでなく、複数個検出されることもある。

また、奥行き・構造推定部１２３は、検出された画像重畳領域に基づいて、表示画像の表示サイズおよび表示位置を決定する。ここで、奥行き・構造推定部１２３は、上述の画像重畳領域の検出を周期的に、例えばフレーム毎に行うことから、表示画像の表示サイズおよび表示位置もフレーム毎に決定する。

奥行き・構造推定部１２３は、表示画像の表示サイズおよび表示位置の安定化のために、このようにフレーム毎に決定される表示サイズおよび表示位置を時間方向に平滑化し、表示制御に係る表示サイズおよび表示位置を決定する。図３は、表示位置に対する時間方向の平滑化処理の一例を示している。座標のフィルタリング（平均、ＩＩＲ、多数決など）が行われ、時間的な安定化が図られる。例えば、平均のフィルタリングの場合には、以下の数式（１）に基づいて、実際に使用する表示領域の座標（ｘ，ｙ）が求められる。

また、奥行き・構造推定部１２３は、上述のように決定された表示制御に係る表示サイズおよび表示位置に基づいて、表示画像（立体画像）の奥行き位置を決定する。この場合、奥行き・構造推定部１２３は、表示画像の奥行き位置が、外界の像の表示画像が重畳表示される領域の奥行き位置より手前となるように、表示画像の奥行き位置を決定する。

このように奥行き位置を決定するのは、実世界である外界の像に対して表示画像（立体画像）を重畳表示する際に奥行き感に不整合が生じることを回避するためである。図４は、不整合が生じる場合を模式的に示している。外界の像の物体Ａの奥行き位置が手前で、表示画像の物体Ｂの奥行き位置が奥側にある場合、そのまま重畳表示すると、物体Ａが物体Ｂによって分断され、奥行き感が不自然になる。このように奥行き感に不整合が発生している場合には、観察者に疲労感を感じさせる等の問題がある。

図５は、表示画像（立体画像）の奥行き位置を、外界の像の表示画像が重畳表示される領域の奥行き位置より手前とすることで、奥行き感の不整合を回避することを模式的に示している。外界の像の物体Ａの奥行き位置が手前で、表示画像の物体Ｂの奥行き位置が奥側にある場合に、物体Ｂの奥行き位置を、物体Ａの奥行き位置よりも手前とすることで、物体Ａが物体Ｂによって分断されても、自然な奥行き感となる。このように奥行き感を整合させることで、観察者は疲労感なく自然に観察することが可能となる。

奥行き・構造推定部１２３は、具体的には、左眼画像、右眼画像に付与すべき視差を決定する。奥行き・構造推定部１２３は、外界の像の、上述したように決定された表示サイズおよび表示位置の表示画像が重畳表示される領域の視差の平均をＨａとする。また、奥行き・構造推定部１２３は、上述したように決定された表示サイズの表示画像の全体の視差の平均をＨｂとする。なお、このＨｂは、上述したサイズ調整前の表示画像の全体の視差の平均（図２（ｆ）参照）をｎ倍（ｎは表示サイズの倍率）することで得られる。

例えば、図６（ａ）に示すように、外界の像に表示画像を重畳表示する場合を考える。この場合、図６（ｂ）に示すように、外界の像の左眼像、右眼像の視差マップのうち、表示画像の左眼画像、右眼画像が重畳表示される領域（矩形枠で図示）の視差が用いられ、図６（ｃ）に示すように、その平均がＨａとされる。

なお、図６（ｂ）には、矩形枠が二重に示されているが、内側が上述したように決定された表示サイズおよび表示位置に一致しており、外側の矩形枠はそれに対して周辺にのりしろが付加されたものである。Ｈａを得る際の領域としては外側の矩形枠が用いられる。これは、表示画像（立体画像）の奥行き位置を外界の像の奥行き位置よりも手前とするために、後述するように、左眼画像と右眼画像の相対位置が変更されて視差調整が行われることがあるからである。

図６（ｄ）は、サイズ調整前の表示画像の全体の視差のヒストグラム（図２（ｆ）と同じ）を示している。図６（ｅ）は、表示サイズをｎ倍に縮小した場合における表示画面全体の視差のヒストグラムを示し、その視差の平均Ｈｂは、サイズ調整前の表示画面全体の視差の平均のｎ倍となる。

奥行き・構造推定部１２３は、上述したように求められた外界の像に係る視差平均Ｈａと、表示画像に係る視差平均Ｈｂとを比較する。そして、奥行き・構造推定部１２３は、表示画像（立体画像）の奥行き位置が、外界の像の対応する領域の奥行き位置から一定距離以上離れた手前にあるか否か、つまり視差平均Ｈｂの視差平均Ｈａに対する視差平均差がこの条件を満たすＨ０以上にあるか否かを判定する。

奥行き・構造推定部１２３は、視差平均差がＨ０より小さいときは、この視差平均差をＨ０以上とする視差平均Ｈｂが得られるように、左眼画像、右眼画像のいずれかあるいは双方の水平方向の表示位置を調整する。図７（ａ）は、表示位置調整前の視差平均Ｈａ，Ｈｂの一例を示しており、視差平均差がＨ０に満たない場合を示している。この場合、左眼画像、右眼画像のいずれかあるいは双方の水平方向の表示位置を調整されることで、例えば、図７（ｂ）に示すように、視差平均差がＨ０以上の状態となる。

なお、上述では、視差平均Ｈｂの視差平均Ｈａに対する視差平均差がＨ０以上となるように左眼画像、右眼画像のいずれかあるいは双方の水平方向の表示位置を調整するように説明した。この代わりに、例えば、図７（ｃ）に示すように、外界の像の視差のヒストグラムの９０％となる視差と、表示画像の視差のヒストグラムの１０％となる視差との差が所定の閾値以上となるように、左眼画像、右眼画像のいずれかあるいは双方の水平方向の表示位置を調整することも考えられる。

表示制御部１２４は、視線推定部１２２の視線推定結果、ジャイロセンサ１０４のセンサ出力および奥行き・構造推定部１２３で決定された表示画像の表示サイズおよび表示位置の情報などに基づいて、表示画像の表示を制御する。なお、図示は省略しているが、この表示制御部１２４には、ユーザ操作信号も供給される。

表示制御部１２４は、ユーザ操作によって、表示画像の表示が指示された場合、基本的には、奥行き・構造推定部１２３で決定された表示サイズおよび表示位置で表示されるように、表示画像の表示を制御する。

表示制御部１２４は、奥行き・構造推定部１２３で画像重畳領域であるフラットな領域が検出されないとき、つまり、奥行き・構造推定部１２３から表示サイズおよび表示位置の情報が供給されないとき、表示条件を変更する。

例えば、表示制御部１２４は、表示画像の表示が停止されるように制御する。また、例えば、表示条件制御部１２４は、ユーザに重畳位置を選択させ、その位置に表示画像が表示されるように制御する。また、例えば、表示条件制御部１２４は、プリセットされた重畳位置に表示画像が表示されるように制御する。また、例えば、表示条件制御部１２４は、前回表示されていた重畳位置に表示画像が表示されるように制御する。

また、例えば、表示制御部１２４は、非検出の継続時間に応じて、表示画像の表示位置、あるいはその表示のオンオフを制御する。この場合、例えば、継続時間が第１の時間までは前回表示位置に表示されるように制御し、継続時間が第１の時間を超えて第２の時間まではプリセット位置に表示されるように制御し、継続時間が第２の時間を超える場合は表示が停止されるように制御する。

また、表示制御部１２４は、ジャイロセンサ１０４に基づいて、外界の像に変化があるか否かを検出し、変化があることが検出されるとき、表示条件を変更する。例えば、表示条件制御部１２４は、表示画像の表示が停止されるように制御する。また、例えば、表示条件制御部１２４は、ユーザに重畳位置を選択させ、その位置に表示画像が表示されるように制御する。また、例えば、表示条件制御部１２４は、プリセットされた重畳位置に表示画像が表示されるように制御する。また、例えば、表示条件制御部１２４は、前回表示されていた重畳位置に表示画像が表示されるように制御する。

また、例えば、表示制御部１２４は、変化の継続時間に応じて、表示画像の表示位置、あるいはその表示のオンオフを制御する。この場合、例えば、継続時間が第１の時間までは前回表示位置に表示されるように制御し、継続時間が第１の時間を超えて第２の時間まではプリセット位置に表示されるように制御し、継続時間が第２の時間を超える場合は表示が停止されるように制御する。

また、表示制御部１２４は、視線推定部１２２からの視線推定結果に基づいて、表示条件を変更する。表示条件制御部１２４は、ユーザ（観察者）のモード設定に応じて、以下のように制御する。ユーザは、「自動制御モード」、「第１の制御モード」または「第２の制御モード」に設定できる。

「第１の制御モード」に設定されているとき、表示制御部１２４は、視線が集中している領域、つまり視線と合致する領域に表示画像が表示されるように制御する。また、「第２の制御モード」に設定されているとき、表示制御部１２４は、視線が集中している領域以外の領域、つまり視線外の領域に表示画像が表示されるように制御する。

また、「自動制御モード」に設定されているとき、表示制御部１２４は、ユーザ（観察者）が移動中であるか否かにより、以下のように制御する。すなわち、表示制御部１２４は、ユーザが移動中でない場合、「第１の制御モード」の設定時と同様に、視線が集中している領域に表示画像が表示されるように制御する。また、表示制御部１２４は、ユーザが移動中である場合、「第２の制御モード」の設定時と同様に、視線が集中している領域以外に表示画像が表示されるように制御する。なお、表示制御部１２４は、観察者が移動しているか否かを、ジャイロセンサ１０４のセンサ出力に基づいて、判断する。

また、表示用画像生成部１２５は、表示制御部１２４の制御のもと、表示画像を表示する際には、奥行き・構造推定部１２３で決定された表示サイズおよび表示位置で表示画像が表示されるように、表示用の左眼、右眼の画像データを生成する。この場合、外部から供給される左眼、右眼の画像データに対して縮小処理、移動処理（幾何変換処理）を行って、表示用の左眼、右眼の画像データを得る。また、表示用画像生成部１２５は、表示制御部１２４の制御のもと、表示画像が表示される外界の像の領域状況に応じて表示画像の表示状態が変更されるように、表示用の左眼、右眼の画像データを補正する。この場合、観察者が観察する表示画像から外界の像の要素（成分）が取り除かれるように、補正される。

表示用画像生成部１２５における画像データの補正例を説明する。外界の像をＩrealとし、表示画像をＩdispとする。Ｉdisp，ＩrealをそれぞれＮ×Ｎ画素毎のブロックに分割する。そして、外界の像Ｉrealの座標（ｉ，ｊ）の画素をＩreal(i,j)とし、表示画像Ｉdispの座標（ｉ，ｊ）の画素をＩdisp(i,j)とする。

表示用画像生成部１２５は、座標（ｓ，ｔ）のブロックの各画素のデータに関しては、以下の数式（２）に示すように、補正する。ここで、αは、補正係数であって、ユーザ（観察者）は、その値を必要に応じて調整できる。また、clip(x)は、ｘをある値域（例えば、０〜２５５）に飽和演算する関数である。なお、詳細説明は省略するが、この画素データ補正は、赤、緑、青の色データ毎に行われる。

なお、かっこ内の第２項は、以下の数式（３）に示すように、周辺ブロックの補正値を平滑化して用いてもよい。

図１に示すＨＭＤ１００の動作を説明する。表示用画像生成部１２５で生成された左眼画像データは、ディスプレイドライバ１１１Ｌに供給される。このディスプレイドライバ１１１Ｌによりディスプレイ１１２Ｌが駆動され、このディスプレイ１１２Ｌに左眼画像が表示される。また、表示用画像生成部１２５で生成された右眼画像データは、ディスプレイドライバ１１１Ｒに供給される。このディスプレイドライバ１１１Ｒによりディスプレイ１１２Ｒが駆動され、このディスプレイ１１２Ｒに右眼画像が表示される。

ディスプレイ１１２Ｌに表示された左眼画像からの光は、メガネレンズ部１０１Ｌで外界の像に重畳されて観察者の左眼に届く。これにより、外界の像（左眼像）に重畳表示された左眼画像が、観察者の左眼で観察される。同様に、ディスプレイ１１２Ｒに表示された右眼画像からの光は、メガネレンズ部１０１Ｒで外界の像に重畳されて観察者の右眼に届く。これにより、外界の像（右眼像）に重畳表示された右眼画像が、観察者の右眼で観察される。このように観察者の左眼、右眼にそれぞれ外界の像に重畳表示された左眼画像、右眼画像が観察されることで、観察者には、外界の像に重畳表示された表示画像が立体（３Ｄ）画像として知覚される。

メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｌのセンサ出力は眼球位置推定部１２１に供給される。また、メガネレンズ１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられている赤外線センサ１０３Ｒのセンサ出力は眼球位置推定部１２１に供給される。

眼球位置推定部１２１では、赤外線センサ１０３Ｌ，１０３Ｒからのセンサ出力に基づいて、観察者の左眼、右眼の眼球位置が推定される。そして、視線推定部１２２では、眼球位置推定部１２１における左眼、右眼の眼球位置の推定結果に基づいて、観察者の視線が推定される。この視線推定結果は、表示制御部１２４に供給される。

メガネレンズ部１０１Ｌに取り付けられているジャイロセンサ１０４のセンサ出力は、表示制御部１２４に供給される。メガネレンズ部１０１Ｌの水平方向の中心位置（左眼光学系の水平方向の中心位置）に取り付けられているカメラ１０５Ｌの出力（左眼撮像画像データ）は、奥行き・構造推定部１２３に供給される。

また、メガネレンズ部１０１Ｒの水平方向の中心位置（右眼光学系の水平方向の中心位置）に取り付けられているカメラ１０５Ｒの出力（右眼撮像画像データ）は、奥行き・構造推定部１２３に供給される。この奥行き・構造推定部１２３には、さらに、表示画像データである左眼、右眼の画像データが供給される。

奥行き・構造推定部１２３では、カメラ１０５Ｌ，１０５Ｒからの撮像画像データに基づいて、外界の像から画像重畳領域としてフラットな領域が検出される。そして、奥行き・構造推定部１２３では、この検出されたフラットな領域に基づいて、表示画像の表示サイズおよび表示位置が決定される。この場合、例えば、フレーム毎に決定される表示サイズおよび表示位置が時間方向に平滑化されて安定化される。

また、奥行き・構造推定部１２３では、カメラ１０５Ｌ，１０５Ｒからの撮像画像データに基づいて外界の像の各画素の奥行き位置を示す視差マップが算出され、表示画像データである左眼、右眼の画像データに基づいて表示画像（立体画像）の各画素の奥行き位置を示す視差マップを算出される。そして、奥行き・構造推定部１２３では、上述のように決定された表示制御に係る表示サイズおよび表示位置と、上述のように算出された視差マップに基づいて、表示画像（立体画像）の奥行き位置が決定される。この場合、外界の像の表示画像が重畳表示される領域の奥行き位置より手前となるように、表示画像の奥行き位置が決定される。

奥行き・構造推定部１２３では、表示画像（立体画像）の奥行き位置が、外界の像の対応する領域の奥行き位置から一定距離以上離れた手前にあるという条件を満たすか否かが判断される。そして、満たさない場合、奥行き・構造推定部１２３では、左眼画像、右眼画像のいずれかあるいは双方の水平方向の表示位置が調整され、その条件を満たすように視差調整が行われる。このように奥行き・構造推定部１２３で決定された表示制御に係る表示サイズおよび表示位置の情報は、表示制御部１２４に供給される。

表示制御部１２４では、視線推定部１２２の視線推定結果、ジャイロセンサ１０４のセンサ出力および奥行き・構造推定部１２３で決定された表示サイズおよび表示位置の情報に基づいて、表示画像の表示が制御される。この場合、表示制御部１２４では、表示画像を表示する際には、基本的には、奥行き・構造推定部１２３で決定された表示サイズおよび表示位置で表示画像が表示されるように制御することが行われる。

また、表示制御部１２４では、奥行き・構造推定部１２３で画像重畳領域であるフラットな領域が検出されないとき、表示の仕方が変更される。また、表示制御部１２４では、ジャイロセンサ１０４に基づいて、外界の像に変化があることが検出されるとき、表示の仕方が変更される。

また、表示制御部１２４では、視線推定部１２２からの視線推定結果に基づいて、表示の仕方が変更される。この制御は、ユーザ（観察者）のモード設定に応じて行われる。ユーザは、例えば、「自動制御モード」、「第１の制御モード」または「第２の制御モード」に設定可能とされる。

「第１の制御モード」に設定されている場合、視線が集中している領域に表示画像が表示されるように制御される。また、「第２の制御モード」に設定されている場合、視線が集中している領域以外の領域に表示画像が表示されるように制御される。また、「自動モード」に設定されている場合、観察者が移動中である場合には視線が集中している領域以外に表示画像が表示されるように制御され、観察者が移動中でない場合には視線が集中している領域に表示画像が表示されるように制御される。

このように、「第２の制御モード」とすることで、外界の像のうち観察者の視線が集中している領域以外の領域に表示画像（立体画像）を表示することが可能となり、作業の邪魔にならないように表示画像を表示できる。この場合、観察者は、いわゆる「ながら見」の状態で表示画像を見ることになる。図８は、この場合の表示例を示している。この表示例においては、観察者の視線が台所のコンロ部分に集中しているので、表示画像はこのコンロ部分から外れた壁部分に表示されている。

表示用画像生成部１２５には、表示画像データである左眼、右眼の画像データが供給される。また、この表示用画像生成部１２５には、カメラ１０５Ｌ，１０５Ｒからの撮像画像データが供給される。表示用画像生成部１２５では、表示制御部１２４の制御のもと、決定された表示サイズおよび表示位置で表示画像が表示されるように、表示画像を表示するための左眼、右眼の画像データが生成される。

この場合、外部から供給される左眼、右眼の画像データに対して縮小処理、移動処理が行われて、表示用の左眼、右眼の画像データを得ることが行われる。この場合、表示サイズおよび表示位置は電子的に変更されるものである。なお、表示画像の表示が停止される場合には、左眼、右眼の画像データの生成が停止される。

また、表示用画像生成部１２５では、表示画像が表示される外界の像の領域状況に応じて表示画像の表示状態が変更されるように、左眼、右眼の画像データが補正される（数式（２）参照）。このように画像データが補正されることで、外界の像の状況に依らずに、表示画像の視認性を高めることが可能となる。

例えば、図９は、外界の像のうち青空部分に表示画像（立体画像）が重畳表示される例を示している。このような場合、画像データが補正されていない場合、表示画像は、青空の影響で、観察者には青みがかった状態で観察される。しかし、本実施の形態にように画像データが補正されることで、青空の影響が軽減され、観察者は表示画像を良好な状態で見ることが可能となる。

表示用画像生成部１２５で生成された表示用の左眼画像データはディスプレイドライバ１１１Ｌに供給され、ディスプレイ１１２Ｌにこの左眼画像データによる左眼画像が表示される。また、表示用画像生成部１２５で生成された表示用の右眼画像データはディスプレイドライバ１１１Ｒに供給され、ディスプレイ１１２Ｒにこの右眼画像データによる右眼画像が表示される。

これにより、上述したように、観察者の左眼、右眼にそれぞれ外界の像に重畳表示された左眼画像、右眼画像が観察され、観察者には、外界の像に、適切な位置およびサイズで重畳表示された表示画像（立体画像）が、外界の像より手前の奥行き位置に知覚される。

この場合、基本的には、外界の像から検出された画像重畳領域、例えばフラット領域に表示画像が表示されることから、観察者は、外界の像に重畳表示される表示画像の視認が容易となる。例えば、外界の像が図１０（ａ）に示すようであり、表示画像が図１０（ｂ）に示すようである場合を考える。

この場合、図１０(ａ)に示すように、中央上側の壁部分のフラット領域が画像重畳領域として検出される。図１０（ｂ）に示す表示画像は、このフラット領域に表示されるように、図１０（ｃ）に示すように、表示サイズおよび表示位置が加工される。そして、図１０（ｄ）に示すように、外界の像に表示画像が重畳表示される。

図１１のフローチャートは、図１に示すＨＭＤ１００の表示制御部１２４における表示制御の処理手順の一例を示している。表示制御部１２４は、ステップＳＴ１において、例えばユーザのパワーオン操作に伴って、動作を開始する。そして、表示制御部１２４は、ステップＳＴ２において、表示画像の表示位置を、例えばプリセット値に初期化する。なお、このように初期化された表示位置に対して、表示サイズは一意に決められている。

次に、表示制御部１２４は、ステップＳＴ３において、画像表示か否かを判断する。表示制御部１２４は、例えば、ユーザにより画像表示の設定操作がなされるときは、画像表示であると判断する。画像表示であるとき、表示制御部１２４は、ステップＳＴ４において、ユーザのモード設定値を判断する。

モード設定値が「第２の制御モード」であるとき、表示制御部１２４は、ステップＳＴ５において、外界の像のうち視線外の領域を表示対象とする。また、モード設定値が「第１の制御モード」であるとき、表示制御部１２４は、ステップＳＴ６において、外界の像のうち視線と合致する領域を表示対象とする。

また、モード設定値が「自動モード」であるとき、表示制御部１２４は、ステップＳＴ７において、ユーザが移動中であるか否かを判断する。ユーザが移動中であるとき、表示制御部１２４は、ステップＳＴ５において、外界の像のうち視線外の領域を表示対象とする。一方、ユーザが移動中でないとき、表示制御部１２４は、ステップＳＴ６において、外界の像のうち視線と合致する領域を表示対象とする。

表示制御部１２４は、ステップＳＴ５、ステップＳＴ６の動作の後、ステップＳＴ８の処理に移る。このステップＳＴ８において、表示制御部１２４は、表示対象のうちフラットな領域を表示位置とする。なお、表示対象にフラットな領域が複数個あるときは、例えば、最大面積の領域を表示位置とする。これにより、表示画像の表示サイズおよび表示位置が決まる。

次に、表示制御部１２４は、ステップＳＴ９において、外界の像が変化しているか否かを判断する。変化しているときには、ステップＳＴ１０において、変化の継続時間を判断する。継続時間が“ｔｈ１”未満であるとき、表示制御部１２４は、ステップＳＴ１１において、表示位置を変更しない。また、継続時間が“ｔｈ１”以上、かつ“ｔｈ２”未満であるとき、表示制御部１２４は、ステップＳＴ１２において、表示位置をプリセット位置とする。また、継続時間が“ｔｈ２”以上であるとき、表示制御部１２４は、ステップＳＴ１３において、表示画像の表示を停止する。

表示制御部１２４は、ステップＳＴ１３の処理の後、ステップＳＴ２の処理に戻り、上述したと同様の処理を行う。また、表示制御部１２４は、ステップＳＴ１１、ステップＳＴ１２の処理の後、ステップＳＴ１４の処理に移る。このステップＳＴ１４において、表表示制御部１２４は、表示位置（表示サイズ）を時間方向に平滑化する。これにより、表示位置（表示サイズ）が急激に変化しても滑らかに変化させることができる。

次に、表示制御部１２４は、ステップＳＴ１５において、表示画像（立体画像）の奥行き位置を、外界の像の奥行き位置に合わせて調整する。上述したように、外界の像のフラットな領域に表示画像を表示する場合、奥行き・構造推定部１２３からの表示サイズ、表示位置に従って表示用の左眼、右眼の画像データを生成させることで、その調整がなされる。なお、表示画像をプリセット位置に表示させる場合には、そのプリセット位置における外界の像の奥行き位置に応じて、左眼、右眼の表示画像の表示位置を水平方向に移動調整する。

次に、表示制御部１２４は、ステップＳＴ１６において、外界の像の表示領域の状況に合わせて、表示用の左眼、右眼の画像データを補正する。そして、表示制御部１２４は、ステップＳＴ１７において、画像表示を行う。つまり、表示用画像生成部１２５から
ディスプレイドライバ１１１Ｌ，１１１Ｒにそれぞれ表示用の左眼、右眼の画像データ
を供給し、ディスプレイ１１２Ｌ，１１２Ｒに左眼画像、右眼画像を表示する。

その後、表示制御部１２４は、ステップＳＴ１８において、画像終了か否かを判断する。表示制御部１２４は、例えば、ユーザにより画像表示の解除操作がなされるときは、画像終了であると判断する。画像終了であるとき、表示制御部１２４は、ステップＳＴ１９において、画像表示を終了して、表示制御の処理を終了する。一方、画像終了でないとき、表示制御部１２４は、ステップＳＴ３に戻り、上述したと同様の処理を繰り返す。

上述の図１１のフローチャートに示す処理手順の一例は、説明を簡単にするため、表示対象にフラット領域が必ず存在するものとしている。しかし、ステップＳＴ５、ステップＳＴ６で表示対象とされた領域にフラット領域が存在しない場合も考えられる。その場合、上述したように、表示制御部１２４は、例えば、フラット領域の非検出の継続時間に応じて、表示画像の表示位置、あるいはその表示のオンオフを制御するようにされる。

なお、図１に示すＨＭＤ１００の各構成要素の全てをＨＭＤ本体が備える構成だけでなく、その一部を有線または無線で接続されるコントロールボックスに配置する構成、さらには、その一部を、ネットワークを介して接続されるクラウド上に配置する構成も考えられる。

図１２は、ＨＭＤ１００の各構成要素の配置例を模式的に示している。図１２（ａ）は、ＨＭＤ１００の各構成部の全てがＨＭＤ本体に配置されることを示している。また、図１２（ｂ）は、ＨＭＤ１００の各構成要素の一部がコントロールボックスに配置されることを示している。この場合、例えば、眼球位置推定部１２１、視線推定部１２２、奥行き・構造推定部１２３、表示制御部１２４および表示用画像生成部１２５はコントロールボックスに配置され、残りがＨＭＤ本体に配置される。

また、図１２（ｃ）は、ＨＭＤ１００の各構成要素の一部がクラウド上に配置されることを示している。この場合、例えば、眼球位置推定部１２１、視線推定部１２２、奥行き・構造推定部１２３、表示制御部１２４および表示用画像生成部１２５はクラウド上に配置され、残りがＨＭＤ本体に配置される。

また、図１２（ｄ）は、ＨＭＤ１００の各構成要素の一部がコントロールおよびクラウド上に配置されることを示している。この場合、例えば、眼球位置推定部１２１、視線推定部１２２および示用画像生成部１２５はコントロールボックスに配置され、奥行き・構造推定部１２３および表示制御部１２４はクラウド上に配置され、残りがＨＭＤ本体に配置される。

上述したように、図１に示すＨＭＤ１００においては、外界の像から検出された画像重畳領域、例えばフラット領域に表示画像が表示されるように表示制御が行われるため、観察者（ユーザ）は、外界の像に重畳表示される表示画像の視認が容易となる。

また、図１に示すＨＭＤ１００においては、外界の像に重畳表示される表示画像の表示を、「第１の制御モード」あるいは「第２の制御モード」で制御できる。すなわち、外界の像のうち観察者（ユーザ）の視線が集中している領域に表示画像を表示できる他、外界の像のうち観察者の視線が集中している領域以外の領域にも表示画像を表示でき、作業の邪魔にならないように表示画像を表示させることが可能となる。

また、図１に示すＨＭＤ１００においては、「自動モード」に設定することで、観察者が（ユーザ）移動中でないとき「第１の制御モード」で制御され、観察者（ユーザ）が移動中であるとき「第２の制御モード」で制御される。そのため、観察者が移動中でない状況にあっては、自動的に「第１の制御モード」に切り替わり、外界の像のうち観察者の視線が集中している領域に表示画像が表示される状態となる。つまり、この場合、観察者は表示画像を集中して観察するためにモード切り替えを行うことを必要とせず、使い勝手の向上が図られる。

また、図１に示すＨＭＤ１００においては、表示画像が重畳される外界の像の領域状況に応じて、この表示画像の表示状態が変更される。そのため、観察者（ユーザ）が観察する表示画像から外界の像の成分を取り除くことが可能となり、外界の像の状況に依らずに、表示画像の視認性を高めることが可能となる。

また、図１に示すＨＭＤ１００においては、表示画像（立体画像）が重畳される外界の像の領域の奥行き位置に基づいて、表示画像（立体画像）の奥行き位置がその領域の奥行き位置より手前になるように、左眼画像および右眼画像の視差が制御される。そのため、表示画像（立体画像）を奥行きの矛盾が生じないように外界の像に重畳表示することが可能となる。

＜２．変形例＞
なお、上述実施の形態においては、奥行き・構造推定部１２３は、カメラ１０５Ｌ，１０５Ｒからの撮像画像データに基づいて、外界の像の各画素の奥行き位置を示す視差マップを算出している。しかし、図１３に示すように、例えば、接続部材１０２の部分に測距離センサ１０６を設け、そのセンサ出力に基づいて、奥行き・構造推定部１２３が外界の像の各画素の奥行き位置を示す視差マップを算出する構成のＨＭＤ１００Ａも考えられる。

また、上述実施の形態においては、表示用の左眼、右眼の画像データを、カメラ１０５Ｌ，１０５Ｒで撮像されて得られた外界の像の左眼、右眼の撮像画像データとは異なるものとしている。しかし、図１４に示すように、表示用の左眼、右眼の画像データとして、の左眼、右眼の撮像画像データを使用する構成のＨＭＤ１００Ｂも考えられる。

また、上述実施の形態においては両眼のＨＭＤの例を示したが、本技術は、単眼のＨＭＤにも同様に適用できる。図１５は、単眼のＨＭＤ１００Ｃの構成例を示している。この図１５において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。

このＨＭＤ１００Ｃは、単眼ＨＭＤであることから、図１に示すＨＭＤ１００が２個のメガネレンズ部１０１Ｌ，１０１Ｒを有しているのに対して、１個のメガネレンズ部１０１を有している。メガネレンズ部１０１の水平方向の中心位置（光学系の水平方向の中心位置）に、図１に示すＨＭＤ１００における赤外線センサ１０３Ｌ，１０３Ｒと同様に機能する、赤外線センサ１０３が取り付けられている。この赤外線センサ１０３のセンサ出力は、眼球位置推定部１１４に送られる。

また、メガネレンズ部１０１に、ジャイロセンサ１０４が取り付けられている。ジャイロセンサ１０４のセンサ出力は、外界の像が変化しているか否か、および、観察者（ユーザ）が移動中か否か、を判断するために使用される。このジャイロセンサ１０４のセンサ出力は、表示制御部１２４に送られる。

また、メガネレンズ部１０１には、水平方向の中心位置（光学系の水平方向の中心位置）に、カメラ１０５が取り付けられている。カメラ１０５は、図１に示すＨＭＤ１００におけるカメラ１０５Ｌ，１０５Ｒと同様に機能し、観察者の左眼または右眼がメガネレンズ部１０１を通して観察する外界の像を撮像して、撮像画像データを出力する。この撮像画像データは、構造推定部１２３Ｃに送られる。

眼球位置推定部１２１では、赤外線センサ１０３からのセンサ出力に基づいて、観察者眼（左眼または右眼）の眼球位置が推定される。そして、視線推定部１２２では、眼球位置推定部１２１における眼球位置の推定結果に基づいて、観察者の視線が推定される。この視線推定結果は、表示制御部１２４に供給される。

構造推定部１２３Ｃでは、カメラ１０５からの撮像画像データに基づいて、外界の像から画像重畳領域としてフラットな領域が検出される。そして、構造推定部１２３では、この検出されたフラットな領域に基づいて、表示画像の表示サイズおよび表示位置が決定される。この場合、例えば、フレーム毎に決定される表示サイズおよび表示位置が時間方向に平滑化されて安定化される。このように構造推定部１２３Ｃで決定された表示制御に係る表示サイズおよび表示位置の情報は、表示制御部１２４に供給される。

表示制御部１２４では、視線推定部１２２の視線推定結果、ジャイロセンサ１０４のセンサ出力および構造推定部１２３Ｃで決定された表示サイズおよび表示位置の情報に基づいて、表示画像の表示が制御される。この場合、表示制御部１２４では、表示画像を表示する際には、基本的には、構造推定部１２３Ｃで決定された表示サイズおよび表示位置で表示画像が表示されるように制御することが行われる。

また、表示制御部１２４では、構造推定部１２３Ｃで画像重畳領域であるフラットな領域が検出されないとき、表示の仕方が変更される。また、表示制御部１２４では、ジャイロセンサ１０４に基づいて、外界の像に変化があることが検出されるとき、表示の仕方が変更される。

また、表示制御部１２４では、視線推定部１２２からの視線推定結果に基づいて、表示の仕方が変更される。この制御は、ユーザ（観察者）のモード設定に応じて行われる。ユーザは、例えば、「自動制御モード」、「第１の制御モード」または「第２の制御モード」に設定可能とされる。

「第１の制御モード」に設定されている場合、視線が集中している領域に表示画像が表示されるように制御される。また、「第２の制御モード」に設定されている場合、視線が集中している領域以外の領域に表示画像が表示されるように制御される。また、「自動モード」に設定されている場合、観察者が移動中である場合には視線が集中している領域以外に表示画像が表示されるように制御され、観察者が移動中でない場合には視線が集中している領域に表示画像が表示されるように制御される。

表示用画像生成部１２５には、画像データが供給される。また、この表示用画像生成部１２５には、カメラ１０５からの撮像画像データが供給される。表示用画像生成部１２５では、表示制御部１２４の制御のもと、決定された表示サイズおよび表示位置で表示画像が表示されるように、表示画像を表示するための表示用の画像データが生成される。

この場合、外部から供給される画像データに対して縮小処理、移動処理が施されて、表示用の画像データが生成される。なお、表示画像の表示が停止される場合には、画像データの生成が停止される。また、表示用画像生成部１２５では、表示画像が表示される外界の像の領域状況に応じて表示画像の表示状態が変更されるように、表示用の画像データが補正される（数式（２）参照）。

図１５に示すＨＭＤ１００Ｃのその他は、詳細説明は省略するが、図１に示すＨＭＤ１００と同様に構成され、同様に動作し、同様の効果を得ることができる。

また、上述実施の形態では、赤外線センサのセンサ出力を利用して眼球位置を推定、さらには視線を推定する例を示した。しかし、観察者（ユーザ）の視線推定を行う構成は、この構成に限定されない。例えば、例えばＥＯＧ（Electro-Oculogram）法や顔認識技術等を応用することも考えられる。

また、上述実施の形態においては、本技術を光学透過ヘッドマウントディスプレイに適用した例を示している。しかし、本技術は、光学透過ヘッドマウントディスプレイへの適用に限定されるものではなく、その他の透過型表示装置にも同様に適用できる。この場合、虚像を表示することは必須ではない。

また、本技術は、以下のような構成をとることもできる。
（１）表示素子に表示された表示画像を外界の像に重畳して観察者眼に導く光学系と、
上記外界の像から検出された画像重畳領域に上記表示画像が表示されるように、上記表示素子上における上記表示画像の表示サイズおよび表示位置を制御する表示制御部とを備える
画像表示装置。
（２）上記画像重畳領域は、上記外界の像を撮像して得られた撮像画像データに基づいて検出される
前記（１）に記載の画像表示装置。
（３）上記表示制御部は、
上記表示画像を上記表示素子に表示するための画像データを上記画像重畳領域の情報に基づいて処理することで、上記表示画像の表示サイズおよび表示位置を制御する
前記（１）または（２）に記載の画像表示装置。
（４）上記表示制御部は、
上記外界の像の上記画像重畳領域の状況に応じて、上記表示画像の表示状態を変更する
前記（１）から（３）のいずれかに記載の画像表示装置。
（５）上記表示制御部は、
上記表示画像を表示するための画像データを、上記画像重畳領域の状況に応じて、観察者が観察する表示画像から上記外界の像の要素が取り除かれるように補正する
前記（４）に記載の画像表示装置。
（６）上記表示制御部は、
上記外界の像から上記画像重畳領域が検出されないとき、上記表示画像の表示の仕方を変更する
前記（１）から（５）のいずれかに記載の画像表示装置。
（７）上記表示制御部は、
周期的に検出される画像重畳領域で決まる上記表示素子上の表示サイズおよび表示位置を時間方向に平滑化して、上記制御に係る表示サイズおよび表示位置を取得する
前記（１）から（６）のいずれかに記載の画像表示装置。
（８）上記表示制御部は、
上記外界の像に変化があることが検出されるとき、上記表示画像の表示の仕方を変更する
前記（１）から（７）のいずれかに記載の画像表示装置。
（９）上記光学系は、第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系とを有し、
上記表示制御部は、
上記左眼画像および上記右眼画像により上記観察者が知覚する立体画像の奥行き位置が、上記外界の像の該立体画像が重畳表示される領域の奥行き位置より手前になるように、上記左眼画像および上記右眼画像の視差を制御する
前記（１）から（８）のいずれかに記載の画像表示装置。
（１０）光学系により表示素子に表示された表示画像を外界の像に重畳して観察者眼に導くステップと、
上記外界の像から検出された画像重畳領域に上記表示画像が表示されるように、上記表示素子上における上記表示画像の表示サイズおよび表示位置を制御するステップとを備える
画像表示方法。
（１１）表示素子に表示された表示画像を外界の像に重畳して観察者に導く光学系と、
上記外界の像のうち上記観察者の視線が集中している領域に上記表示画像が表示されるように制御する第１の制御モードと、上記外界の像のうち上記観察者の視線が集中している領域以外の領域に上記表示画像が表示されるように制御する第２の制御モードとを有する表示制御部とを備える
画像表示装置。
（１２）上記表示制御部は、
上記観察者が移動中でないとき上記第１の制御モードで制御し、上記観察者が移動中であるとき上記第２の制御モードで制御する
前記（１１）に記載の画像表示装置。
（１３）上記表示制御部は、
上記外界の像の上記表示画像が重畳される領域の状況に応じて、上記画像の表示状態を変更する
前記（１１）または（１２）に記載の画像表示装置。
（１４）上記光学系は、第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系とを有し、
上記表示制御部は、
上記左眼画像および上記右眼画像により上記観察者が知覚する立体画像の奥行き位置が、上記外界の像の該立体画像が重畳表示される領域の奥行き位置より手前になるように、上記左眼画像および上記右眼画像の視差を制御する
前記（１１）から（１３）のいずれかに記載の画像表示装置。
（１５）光学系により表示素子に表示された表示画像を外界の像に重畳して観察者眼に導くステップと、
上記外界の像のうち上記観察者の視線が集中している領域に上記表示画像を表示する制御と、上記外界の像のうち上記観察者の視線が集中している領域以外の領域に上記表示画像を表示する制御とを選択的に行うステップとを備える
画像表示方法。
（１６）表示素子に表示された表示画像を外界の像に重畳して観察者眼に導く光学系と、
上記表示画像が重畳される上記外界の像の領域状況に応じて、該表示画像の表示状態を変更する表示制御部とを備える
画像表示装置。
（１７）上記表示制御部は、
上記外界の像を撮像して得られた撮像画像データに基づいて、上記外界の像の領域状況を取得する
前記（１６）に記載の画像表示装置。
（１８）光学系により表示素子に表示された表示画像を外界の像に重畳して観察者眼に導くステップと、
上記表示画像が重畳される上記外界の像の領域状況に応じて、該表示画像の表示状態を変更するステップとを備える
画像表示方法。
（１９）第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、
第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系と、
上記左眼画像および上記右眼画像により上記観察者が知覚する立体画像の奥行き位置が、上記外界の像の該立体画像が重畳表示される領域の奥行き位置より手前になるように、上記左眼画像および上記右眼画像の視差を制御する表示制御部とを備える
画像表示装置。
（２０）第１の光学系により第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導くステップと、
第２の光学系により第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導くステップと、
上記左眼画像および上記右眼画像により上記観察者が知覚する立体画像の奥行き位置が、上記外界の像の該立体画像が重畳表示される領域の奥行き位置より手前になるように、上記左眼画像および上記右眼画像の視差を制御するステップとを備える
画像表示方法。

１００，１００Ａ〜１００Ｃ・・・ヘッドマウントディスプレイ
１０１，１０１Ｌ，１０１Ｒ・・・メガネレンズ部
１０２・・・接続部材
１０３，１０３Ｌ，１０３Ｒ・・・赤外線センサ
１０４・・・ジャイロセンサ
１０５，１０５Ｌ，１０４Ｒ・・・カメラ
１０６・・・測距センサ
１１１，１１１Ｌ，１１１Ｒ・・・ディスプレイドライバ
１１２，１１２Ｌ，１１２Ｒ・・・ディスプレイ
１２１・・・眼球位置推定部
１２２・・・視線推定部
１２３・・・奥行き・構造推定部
１２３Ｃ・・・構造推定部
１２４・・・表示制御部
１２５・・・表示用画像生成部

Claims (3)

1. 第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の
   光学系と、
   第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の
   光学系と、
   前記左眼画像および前記右眼画像により前記観察者が知覚する立体画像全体の奥行き位
   置が、前記外界の像における、前記立体画像が重畳表示される領域の奥行き位置より手前
   になるように、前記左眼画像および前記右眼画像を生成する画像生成部と、
   前記外界の像の奥行を検出する奥行検出部と、
   前記外界の像に含まれるフラット領域を検出するフラット領域検出部を備え、
   前記立体画像の奥行き位置は、前記奥行検出部の検出結果に基づいて決定され、
   前記立体画像が前記フラット領域に重畳されて表示されるように、前記立体画像の表示サイズを前記フラット領域の大きさに合わせて調整し、前記立体画像の表示位置を前記フラット領域の位置に合わせて調整する表示制御部をさらに備える
   画像処理装置。
2. 前記フラット領域検出部は、前記外界の像を撮像して得られた画像データに基づいて、前記外界の像に含まれるフラット領域を検出する
   請求項１に記載の画像処理装置。
3. 第１の表示素子に表示された左眼画像を外界の像に重畳して観察者の左眼に導く第１の光学系と、
   第２の表示素子に表示された右眼画像を外界の像に重畳して観察者の右眼に導く第２の光学系を備える画像処理装置における画像処理方法であって、
   前記左眼画像および前記右眼画像により前記観察者が知覚する立体画像全体の奥行き位置が、前記外界の像における、前記立体画像が重畳表示される領域の奥行き位置より手前になるように、前記左眼画像および前記右眼画像を生成し、
   前記立体画像の奥行き位置を、前記外界の像の奥行きの検出結果に基づいて決定し、
   前記立体画像が外界の像に含まれるフラット領域に重畳されて表示されるように、前記立体画像の表示サイズを前記フラット領域の大きさに合わせて調整し、前記立体画像の表示位置を前記フラット領域の位置に合わせて調整する
   画像処理方法。