JP2006308674A - 画像表示装置 - Google Patents

Abstract

【課題】 観測者の視線方向の映像に対し仮想空間映像を適切に重畳して提示する画像表示装置を提供する。
【解決手段】 本発明に係る画像表示装置は、映像を表示するディスプレイ部と、前記ディスプレイ部に表示された映像を観測者の眼球に導く第１のミラー部と、観測者の眼球の向きを撮影し観測者の視線方向を検出する第１のカメラ部と、光軸が第１のカメラ部と一致し観測者の視線方向を撮影する第２のカメラ部と、前記第１のカメラ部及び前記第２のカメラ部と有線又は無線で接続し、前記第２のカメラ部により撮影される観測者の視線方向の映像と仮想の情報とを合成するコンピュータ端末とを備え、前記ディスプレイ部にコンピュータ端末により前記観測者の視線方向の映像と仮想の情報とが重畳して表示されることを特徴とする。
【選択図】図１

Description

本発明は、画像表示素子の透過光束若しくは反射光束を観察者の網膜に直接投影するとともに、観測者の視線を感知し、視線方向の映像に対し仮想空間映像を重畳して提示する眼球投射型画像表示装置に関する。

現実と仮想を融合する技術である複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の分野において、違和感なく現実仮想を融合（重畳表示）してユーザに見せる表示デバイス（画像表示装置）は、重要な機器の一つである。

そのような表示デバイスであるオプティカルシースルー方式のディスプレイの問題として、視野角、映像の鮮明さ（コントラスト）、現実と仮想映像の焦点が合う距離の違いなどが挙げられる。その中の映像の鮮明さにおいて、現実空間の映像の明るさが状況により逐次変化するのに対して、仮想映像の明るさは適切な調整がなければ観測者に違和感を与える原因になってしまう、という問題点がある。

また、従来の表示デバイスでは、観測者の視線とカメラの光軸間の視差をなくすため、撮像光学系と表示光学系を一致させている。しかし、この場合、固定された前方においてのみ臨場感のある映像が提示されているに過ぎない。

また、従来の表示デバイスにおいて、遠隔地の映像の臨場感を出すために映像提示装置と遠隔地のカメラを観察者の視線方向上に一致させているものがある（例えば、特許文献１）。しかし、この発明の場合、カメラ回転軸を眼球と物理的に同位置に設置できないことにより、眼球運動の有効範囲に合わせて実世界上の観察者の視線方向にある風景と複合現実感技術による仮想生成物とを、観察者自身の光軸と一致させて立体的に表示することが不可能であるという問題点がある。

更に、従来の画像表示装置では、該装置が実世界のある特定の位置に仮想生成物を提示したときに、観測者がその仮想生成物と異なる位置に焦点を結ぶとしても、その仮想生成物はクリアな像のまま観測者に提示される。そこで、仮想生成物のぼかし処理が不可欠となる。仮想生成物の幾何学的位置は計算機上で厳密に知ることができる。ここで、実世界の像のボケと仮想生成物のボケを位置の観点から一致させることができれば、観測者は実世界の像の中で仮想生成物の位置を適切に認識できる。

周知の画像表示装置において、視線方向の映像の臨場感を出すために視線検出装置を用いて、異なる２つの精細度の映像を観察者に提示するものがある。この装置は、観察者が実世界を観察するときに発生するボケと同様のボケを、表示装置上の仮想オブジェクトに対して付加することを目指す（例えば、特許文献２）。また、三次元仮想空間に設置されるカメラに対して被写界深度を変化させる要素によって、仮想オブジェクトに対するボケ量を算出しているものもある（例えば、特許文献３）。しかし、特許文献２に記載の発明には、実世界上のボケと仮想世界内の仮想オブジェクトとのボケとを一致させることができないという問題がある。特許文献３に記載の発明には、視界深度方向のボケを表現できないという問題がある。
特開平８−３１３８４３号公報 特開平１１−１０９２７９号公報 特開平１１−１３４０７４号公報

本発明は、観測者の視線方向の映像に対し仮想空間映像を適切に重畳して提示する画像表示装置を提供することを目的とする。

本発明は、上記の目的を達成するためになされたものである。本発明に係る画像表示装置は、
映像を表示するディスプレイ部と、
前記ディスプレイ部に表示された映像を観測者の眼球に導く第１のミラー部と、
観測者の眼球の向きを撮影し観測者の視線方向を検出する第１のカメラ部と、
光軸が第１のカメラ部と一致し観測者の視線方向を撮影する第２のカメラ部と、
前記第１のカメラ部及び前記第２のカメラ部と有線又は無線で接続し、前記第２のカメラ部により撮影される観測者の視線方向の映像と仮想の情報とを合成するコンピュータ端末とを備え、
前記ディスプレイ部にコンピュータ端末により前記観測者の視線方向の映像と仮想の情報とが重畳して表示されることを特徴とする。

本発明に係る画像表示装置は、観測者の視線を検出する手段、観測者の視線方向の映像を検出する手段を備え、観測者の視線方向の映像に対し仮想空間映像を重畳して提示することにより、観測者の視線方向に合わせて現実空間映像と仮想空間映像を重ねて観測できるので、観測者は違和感なく現実仮想を融合できる。

また、本発明に係る画像表示装置は、観測者の視点の距離に応じて、観測者の視点の距離近傍以外の仮想情報をぼかして提示することにより、観測者は仮想生成物が実世界上のどこに置かれているかを正しく知ることができる効果を奏するものである。

以下において、図面を参照しつつ本発明に係る好適な実施の形態を説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置を示す構成図である。なお、図１の構成図は、画像表示装置の片方の目（左目）のための部分を示すものである。もう一方の目（右目）のための部分も通常存在しそれは図１の部分と鏡面対象をなす。

図１の画像表示装置は、表示ユニット１０、第１の回転式駆動部７、アーム部６、第２の回転式駆動部８及びスライド式駆動部９を含む。表示ユニット１０は概ね半球形状をしており、その一端が第１の回転式駆動部７に固定され駆動部（第１の回転式駆動部７、アーム部６、第２の回転式駆動部８及びスライド式駆動部９）により方向を変える。表示ユニット１０には、ディスプレイ部１、第１のミラー部２、眼球撮影用カメラ部４及び視線方向撮影用カメラ部５が備わる。また、図示していないが映像を合成してディスプレイ部１に表示するコンピュータ端末が利用される。

実施の形態１の画像表示装置において、表示ユニット１０に内蔵されたディスプレイ部１に表示された映像は、第１のミラー部２によって反射され、眼球３に投影される。（眼球の主である）観測者は、ディスプレイ部１に表示された映像を観察する。

また、第１のミラー部２は、例えば半透明であり、眼球撮影用カメラ部４は、観測者の眼球３の向いている方向、すなわち視線を観測する。また、視線方向撮影用カメラ部５は、眼球撮影用カメラ部４と撮影部の光軸が一致しており、観測者の視線方向の現実の映像を撮影する。視線方向撮影用カメラ部５は撮影した画像情報を無線又は有線を経由してコンピュータ端末（図示せず。）に送信する。ここで、コンピュータ端末（図示せず。）により生成される仮想の映像と、視線方向撮影用カメラ部５によって撮影された現実の画像とが、明るさを調整された上で重畳され、ディスプレイ部１に表示される。このようにすれば、観測者は違和感のない現実と仮想の融合映像を観測することができる。

また、アーム部６で連結された第１の回転式駆動部７と第２の回転式駆動部８、及びスライド式駆動部９により、眼球撮影用カメラ部４が計測する観測者の視線方向に合わせて表示ユニット１０が動かされる。眼球撮影用カメラ部４が撮影した眼球の画像情報を無線又は有線を経由してコンピュータ端末（図示せず。）に送信し、コンピュータ端末が第１の回転式駆動部７と第２の回転式駆動部８、及びスライド式駆動部９をその画像情報に従い制御して駆動してもよい。これと同時に、表示ユニット１０に内蔵された視線方向撮影用カメラ部５が観測者の視線方向の現実映像を撮影する。従って、観測者は常に視線方向の現実映像を観測できると共に、仮想映像による情報提供が受けられる。

実施の形態２．
図２は、本発明の実施の形態２に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態２に係る画像表示装置は、実施の形態１に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

実施の形態２の画像表示装置において、ディスプレイ部１に表示された映像情報を含む光束は、第１のミラー部２に反射され眼球３に到達する。観測者はディスプレイ部１に表示された映像を観察する。

ここで、第１のミラー部２は半透明である。第１のミラー部２に反射され眼球３に向かうディスプレイ部１からの光束と同じ光軸上であって、第１のミラー部２の（眼球３と）反対側に、眼球撮影用カメラ部４が配置される。眼球撮影用カメラ部４は半透明の第１のミラー部２を介して観測者の眼球３を観測する。

更に、眼球撮影用カメラ部４の背後に備わる第２のミラー部１１により、視線方向撮影用カメラ部５の光軸を、第１のミラー部２に反射され眼球３に向かうディスプレイ部１からの光束と同じ光軸上に一致させる。以上のことにより、第１のミラー部２に反射され眼球３に向かうディスプレイ部１からの光束の光軸、眼球撮影用カメラ部４の光軸、及び視線方向撮影用カメラ部５の光軸が一致する。従って、眼球撮影用カメラ部４により計測された観測者の視線を、一致した光軸に合わせることで、観測者は常に視線方向の現実映像を観測できると共に、仮想映像による情報提供が受けられる。

ここで、第１のミラー部２は半透明であるとしたが、偏光分離ミラーであってもよい。更に、第１のミラー部２は、可視光反射且つ赤外光透過のミラーであってもよい。

実施の形態３．
図３は、本発明の実施の形態３に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態３に係る画像表示装置は、実施の形態１に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

実施の形態３の画像表示装置において、ディスプレイ部１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｇｉｔａｌ；液晶ディジタル）パネル等の透過型の画像表示素子１０２である。画像表示素子１０２は、光源部１０２からの光束によって照明される。画像表示素子１０２を透過した光束は、偏光ビームスプリッタ１４により、観測者の眼球３の方向に反射し、接眼レンズ１０３により眼球３内の網膜に投影される。従って、観測者は、画像表示素子１０２に表示された映像の虚像を観測できるため、視線方向撮影用カメラ部５で撮影された現実映像を、現実の距離感で観測できる。

実施の形態４．
図４及び図５は、本発明の実施の形態４に係る画像表示装置のディスプレイ部１から放射された光の光軸と眼球撮影用カメラ部４の光軸とを一致させるためのキャリブレーションの方法を示す図である。画像表示装置としては、例えば、実施の形態１、２又は３に係るものが利用されればよい。

光軸のキャリブレーション時には、ディスプレイ部１および眼球撮影用カメラ部４を利用する。キャリブレーションの手順は次の通りである。
（１）ディスプレイ部１からキャリブレーション用の信号（第１のキャリブレーション信号）４１を発光する。この信号はキャリブレーション終了後に光軸中心（眼球３の視線方向に対して垂直かつ中心を通るような一点）となるような一点に発光させる。
（２）ディスプレイ部１から発光された光は眼球３に第２のキャリブレーション信号４２として入光し、更に光は眼球３に対して反射して第３のキャリブレーション信号４３となる。
（３）反射光（第３のキャリブレーション信号４３）は、第１のミラー部２を介して眼球撮影用カメラ部４に入光する。光軸中心が一致している場合は、図５の左部に示すように、キャリブレーション用信号照射位置４４が眼球撮影用カメラ部４で撮影された映像の中心となる。光軸中心が一致していない場合は、図５の右部に示すように、中心からずれる。第３のキャリブレーション信号４３が、眼球撮影用カメラ部４へ入光しない可能性もある。

上記のようなずれの情報を利用して、ディスプレイ部１から放射された光の光軸と眼球撮影用カメラ部４の光軸を一致させることができる。即ち、眼球撮影用カメラ部４が撮影した眼球の画像情報を無線又は有線を経由してコンピュータ端末（図示せず。）に送信し、コンピュータ端末が第１の回転式駆動部７と第２の回転式駆動部８、及びスライド式駆動部９をその画像情報に従い制御して駆動してもよい。このようなキャリブレーションの手順を観測者の認識可能な時間より短い時間で定期的に行うことで、観測者の視線を計測することができる。

実施の形態５．
図６は、本発明の実施の形態５に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態５に係る画像表示装置は、実施の形態３に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

実施の形態５の画像表示装置において、眼球撮影用カメラ部４は赤外線カメラである。つまり、眼球撮影用カメラ部４に備わる赤外線光源２１が、赤外線照射２２を眼球３に照射することにより、観測者に気付かれることなく観測者の視線を計測できる。即ち、視線計測が観測者の映像観測の邪魔にならない。更に、第１のミラー部２を可視光反射赤外光透過ミラー２３にすることで、ディスプレイ部１からの光、及び眼球観測用カメラ部４で観測する光の損失を少なくできる。

実施の形態６．
図７は、本発明の実施の形態６に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態６に係る画像表示装置は、実施の形態５に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

実施の形態６に係る画像表示装置では、視線方向撮影用カメラ部５を構成するＣＣＤ、ＣＭＯＳ等の撮像デバイス２５に対して、その裏面に眼球撮影用カメラ部４の受ける光束を入射して受像処理するように、眼球撮影用カメラ部４を一体形成している。つまり、撮像デバイス２５は眼球撮影用カメラ部４の撮像（受像）処理を行う回路も含む。一般にＣＣＤ、ＣＭＯＳ等の撮像デバイス２５はシリコン基板上に形成されるが、シリコン基板を透過する赤外光が裏面から入射しても視線方向撮影用カメラ部５は撮像が可能である。

このような構成にすることにより、撮像デバイス２５及び撮像に必要な電子回路を視線方向撮影用カメラ部５と眼球撮影用カメラ部４とが共有できるため、部品点数を削減できると共に、表示ユニット１０全体を小型化若しくは軽量化できる。

また、視線方向撮影用カメラ部５の前部にはシャッター２４が備わる。視線方向撮影用カメラ部５での現実空間撮像時にはシャッター２４を開放して赤外線光源２１を消灯し、眼球撮影用カメラ部４で眼球を撮影する際にはシャッター２４を閉め赤外線光源２１を点灯することにより、現実空間映像と眼球映像が同時に撮影されない。更に、眼球撮影用カメラ部４で眼球を撮影する際にはシャッター２４が閉じていることになるが、この間に現実映像として直前に撮像した映像をディスプレイ部１に提示すれば、観測者に違和感を与えない。

実施の形態７．
図８は、本発明の実施の形態７に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態７に係る画像表示装置は、実施の形態６に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

実施の形態７に係る該像表示装置は、ディスプレイ部１の画像表示素子１０２をＬＣＤパネルやＤＬＰなどの反射型としたものである。光源１０１からの光束は、可視光偏光ビームスプリッタ２６を透過し、画像表示素子１０２で反射され、再び可視光偏光ビームスプリッタ２６により、観測者の眼球３方向に反射され、接眼レンズ１０３により眼球３内の網膜に投影される。ここで、可視光偏光ビームスプリッタ２６は赤外線を透過し、眼球撮影用カメラ部４は赤外線照射２２により眼球観測用カメラ４で眼球を観測する。

画像表示素子１０２としての反射型デバイスは、一般的に高精細化が容易であるため、観測者は高精細な映像を観測することができる。

実施の形態８．
図９は、本発明の実施の形態８に係る画像表示装置の表示ユニット１０の構成を示す図である。実施の形態８に係る画像表示装置は、実施の形態６に係る画像表示装置と略同様のものである。従って、同一部位には同一符号を付して説明を省略する。

眼球観測用カメラ４に備わる赤外線光源２１の発する赤外線は、可視光透過・赤外線反射ミラー２７及び赤外線反射・可視光ハーフミラー２８で反射し眼球３に向かう。眼球３で反射した赤外線は赤外線反射・可視光ハーフミラー２８及び可視光透過・赤外線反射ミラー２７で反射し眼球観測用カメラ４が撮像する。視線方向撮影用カメラ部５は、補正レンズ２９を介し赤外線反射・可視光ハーフミラー２８で反射して入射する現実の映像を撮影する。

実施の形態８に係る画像表示装置において、観測者は、接眼レンズ１０３と補正レンズ部２９を通して、現実空間を直接見ることができる。視線方向撮影用カメラ５は、観測者の視線方向を撮影することで、観測者の見ている現実空間の明るさが把握できる。従って、ディスプレイ部１は仮想情報のみを提示するのであるが、観測者の見ている現実空間との重畳位置および提示する明るさを調整できるので、観測者に違和感のない映像を提供できる。

実施の形態９．
図１０は、本発明の実施の形態９に係る画像表示装置の表示ユニット１０の動作を示す図である。

図１０において、表示ユニット１０は、球面である移動面５１に沿って移動する。即ち、移動面５１は、表示ユニット１０の移動可能範囲を拘束する移動球面を示す。移動球面５１は、人の眼球が様々な方向を向いたときにも、常に視線方向撮影用カメラ部５及び眼球撮影用カメラ部４の光軸を視線方向と一致させるような表示ユニット１０の配置によって形成される球面である。ここで、眼球３の回転中心５２から延ばした線に対して表示ユニット１０の光軸が平行かつ距離が一定である時に光軸が常に一致する。このような構成により、初期キャリブレーションが行われた後、移動球面５１に沿って眼球３の移動を追跡するだけで光学一致状態を維持できる。

移動球面５１に沿った表示ユニット１０の移動は、例えば、図１に示した第１の回転式駆動部７、アーム部６、第２の回転式駆動部８及びスライド式駆動部９によって行われる。

移動球面５１に沿った表示ユニット１０の移動を制御する仕組みは、別のものであってもよい。例えば、移動球面５１に沿って表示ユニット１０を移動させるための表示部移動用ガイドを配置し、表示部移動ガイドに複数の第１の位置制御磁石を配置し、表示ユニット１０に第２の位置制御磁石を配置する。ここで、第１の位置制御磁石を電磁石で構成し、第２の位置制御磁石を永久磁石で構成する。第１の位置制御磁石の磁力を調節することで、表示部移動ガイドに沿って表示ユニット１０を移動させることができる。

実施の形態１０．
図１１は、本発明の実施の形態１０に係る画像表示装置の仮想情報提示の概念を示す図である。

観測者が、目の焦点位置６２の位置を視点とし、観測者の視点にある情報６３を見ている。このとき、仮想情報６１が、目の焦点位置６２よりも観測者から離れた位置の情報である場合、現実空間であれば形状がぼやけて見えるのに対し、従来の画像表示装置では情報に基づく形状がぼやけずにクリアに見えてしまう。従って、観測者にとって、仮想的な表示位置と実際の見え方とにギャップが生じる。このギャップが観測者の認知不可を高める原因となる。

そこで、本発明の実施の形態１０に係る画像表示装置では、観測者の視点である目の焦点位置６２の距離近傍以外の仮想情報をぼやかして提示する。かように観測者の視点の距離に応じて、観測者の視点の距離近傍以外の仮想情報をぼやかして提示することにより、観測者は仮想生成物が実世界上のどこに置かれているか（置かれるべきものか）を正しく知ることができる。

実施の形態１１．
図１２は、本発明の実施の形態１１に係る視点計測の方法を示す図である。

視線交差位置３７は、右目眼球３１と左目眼球３４の視線が交わる点である。即ち、観測者の視点６２（図１１参照）に相当する。左右の眼球３１、３４内部に眼球回転中心３３、３６があり各眼球の回転中心間距離をＬとする。回転中心間線分Ｌと眼球３１、３４の視線との為す角度θ１とθ２は、眼球の回転中心のベクトルを求め且つ眼球の視線方向を計測することで計算可能である。これら３つのパラメータ（Ｌ、θ１、θ２）が決定されることにより、視線交差位置３７の座標が計算され、結果として左目中心・視線交差位置間距離Ｌ１と右目中心・視線交差位置間距離Ｌ２を導出でき、観測者の視点６２を同定できる。

図１３は、本発明の実施の形態１１に係る画像表示装置を示す構成図である。実施の形態１に係るものと同様のものでよい。表示ユニット１０に内蔵されたディスプレイ部１に表示された映像は、第１のミラー部２によって反射され、眼球３に投影され、観測者はディスプレイ部１に表示された映像を観察する。また、第１のミラー部２は、例えば半透明であり、眼球撮影用カメラ部４により、観測者の眼球３の向いている方向、すなわち視線が観測される。このような構成で、左右の眼球３１、３４の視線方向３２、３５を測定することができる。眼球撮影用カメラ部４がこれらの視線方向の情報を無線又は有線を経由してコンピュータ端末（図示せず。）に送信すれば、コンピュータ端末（図示せず。）は、観測者の視線交差位置３７及び観測者の視点の位置を算出できる。

実施の形態１２．
まず、図１４にて表示ユニット１０内のディスプレイ部１の光源１０１の指向性と観測者の見え方の概念図を示す。図１４（ａ）は、拡散光源時の見え方の概念図である。図１４（ａ）に示すように、拡散光源時は、眼球位置２００に対して、接眼レンズ１０３の位置と実際の表示位置２０１の間隔に依存して、仮想表示面２０２の眼球からの距離が決定される。

図１５は、拡散光源時のディスプレイ部１の構成の例であり、光源３０１が画像表示素子（映像板）３０２に近接して配置されている。画像表示素子（映像板）３０２を透過する照明光はあらゆる方向に拡散しているので、接眼レンズ３０３を介して観測者は、観測者の目のレンズ（即ち、水晶体）を調整することにより、画像表示素子（映像板）３０２の虚像を観測する。このとき虚像の位置は、接眼レンズ３０３の焦点距離および接眼レンズ３０３と画像表示素子（映像板）３０２との距離で決められる一定の位置になる。即ち、観測者は、虚像を常に同じ位置に見ることになるため、現実空間の映像が画像表示素子（映像板）３０２に表示されても現実の距離感が得られない。その上、画像表示素子（映像板）３０２の映像に仮想空間イメージを重畳しても、観測者は、仮想生成物の実世界上での置かれるべき位置（距離）を距離感から把握するということができない。従って、観測者の視覚イメージに違和感が生じることになる。

一方、図１４（ｂ）は、指向性光源時の見え方の概念図である。指向性光源時は、眼球位置２００に対して、接眼レンズ１０３の位置と実際の表示位置２０１の間隔に依存することなく、仮想表示面２０２の眼球からの距離が可変範囲２０３にて変化できる。即ち、観測者は、あるべき位置に虚像を見ることができる。

図１６は、指向性光源時のディスプレイ部１の構成の例であり、実施の形態１２に係る画像表示装置の表示ユニット１０の構成を示す図である。表示ユニット１０において、光源３０１から放出された光束が画像表示素子３０２を透過して、接眼レンズ３０３により観測者の眼球３の瞳孔３０８位置で光束が収束された状態で、水晶体３０６を経て網膜３０７に画像表示素子３０２に表示された映像が投影される。

図中の“ａ”は、瞳孔３０８上での光束の幅である。“ａ”が瞳孔径に比べて十分小さくなるように光源３０１から放射される光束の指向性が選択されると、いわゆるマクスウエル視の状態になる。このとき、水晶体３０６のレンズ効果に依存せずに、観測者は鮮明な像を見ることができる。即ち、このような指向性光源時では、観測者の視点６２が変わっても、映像をぼやかすことなく提示することができる。

実施の形態１乃至９で示した画像表示装置は、観測者の視線に表示ユニット１０の光軸を一致させるという視線追従の構成を有する。従って、本実施の形態１２のような構成と組み合わせることにより、観測者に常に鮮明な映像を提供できることになる。

本実施の形態１２に係る指向性光源を用いた表示ユニット１０を用いると、画像表示装置に表示された映像の虚像の位置を、現実空間の位置に対応して観測者が随意に設定できる。更に、実施の形態１０又は１１のように観測者の視点の距離に応じて観測者の視点の距離近傍以外の仮想情報をぼかして提示することにより、観測者は現実映像と仮想情報を重畳して観測できると共に、仮想生成物が実世界上のどこに置かれているかを正しく認識できる。

なお、上記の説明では、表示ユニット１０を構成する光学系をマクスウエル視の状態であるとしている。実際は、光源３０１が有限の大きさであるとともに、光源３０１から放出される光束も指向性分布を持っている。そこで、瞳孔３０８上での光束幅を瞳孔径の２倍から４倍、即ち６ｍｍから１２ｍｍ程度と設定し、光源３０１のサイズ及び光源３０１から放出される光束にも指向性分布を備えるように設定すると、マクスウエル視に近い状態となる。このとき水晶体１０６のレンズ効果の影響を受けにくくなり、しかも観測者の視線と表示ユニット１０の光軸とが多少ずれても、観測者は鮮明な像を見ることができる。こうすれば、視線追従の精度がやや緩和でき、観測者の画像表示装置の装着を容易にできる。

実施の形態１３．
図１７は、本発明の実施の形態１２に係る画像表示装置の動作の概念図である。表示ユニット１０や画像を表示させるためのコンピュータ等に障害が発生したときに行うべき対処法の概念を示す。

本発明に係る表示ユニット１０は、常に人の視線方向上かつ視線の中心に存在する。ここで、表示ユニット１０や画像を表示させるためのコンピュータ等の故障により映像を提示できなくなるといった問題が発生したとき、人の行動に対して危険性を増すことになる。けだし、表示ユニット１０が観測者の視線方向を遮った状態になるからである。

そこで、表示ユニット１０の電源が落ちると物理的に視線方向から表示ユニット１０が例えばバネにより外れるようにする。更に、画像を表示させるためのコンピュータ等から映像が送られなくなると表示ユニット１０は自動的かつ即座に表示ユニット１０の電源を落とすようにし、これにより表示ユニット１０がバネにより視線方向から外れるようにする。これらの動作により、観測者の安全を確保することができる。

本発明の実施の形態１に係る画像表示装置を示す構成図である。 本発明の実施の形態２に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態３に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態４に係る画像表示装置のディスプレイ部から放射された光の光軸と眼球撮影用カメラ部の光軸とを一致させるためのキャリブレーションの方法を示す図である。 本発明の実施の形態４に係る画像表示装置のディスプレイ部から放射された光の光軸と眼球撮影用カメラ部の光軸とを一致させるためのキャリブレーションの方法を示す図である。 本発明の実施の形態５に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態６に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態７に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態８に係る画像表示装置の表示ユニットの構成を示す図である。 本発明の実施の形態９に係る画像表示装置の表示ユニットの動作を示す図である。 本発明の実施の形態１０に係る画像表示装置の仮想情報提示の概念を示す図である。 本発明の実施の形態１１に係る視点計測の方法を示す図である。 本発明の実施の形態１１に係る画像表示装置を示す構成図である。 （ａ）は、拡散光源時の見え方の概念図である。（ｂ）は、指向性光源時の見え方の概念図である。 拡散光源時のディスプレイ部の構成の例である。 指向性光源時のディスプレイ部の構成の例である。 本発明の実施の形態１２に係る画像表示装置の動作の概念図である。

符号の説明

１ ディスプレイ部、 ２ 第１のミラー部、 ３ 眼球、 ４ 眼球撮影用カメラ部、 ５ 視線方向撮影用カメラ部、 ６ アーム部、 ７ 第１の回転式駆動部、 ８ 第２の回転式駆動部、 ９ スライド式駆動部、 １０ 表示ユニット、 １１ 第２のミラー部、 １３ 接眼レンズ、 １４ 偏光ビームスプリッタ、 ２１ 赤外線光源、 ２２ 赤外線照射、 ２３ 可視光反射赤外線透過ミラー、 ２４ シャッター、 ２５ 撮像デバイス、 ２６ 可視偏光ビームスプリッタ、赤外光透過ミラー、 ２７ 可視光透過、赤外光反射ミラー、 ２８ 赤外光反射、可視光ハーフミラー、 ２９ 補正レンズ部、 ３１ 右目眼球、 ３２ 右目視線方向、 ３３ 右目眼球回転中心、 ３４ 左目眼球、 ３５ 左目視線方向、 ３６ 左目眼球回転中心、 ３７ 視線交差位置、 ４１ 第１のキャリブレーション信号、 ４２ 第２のキャリブレーション信号、 ４３ 第３のキャリブレーション信号、 ４４ キャリブレーション信号照射位置、 ５１ 移動球面、 ５２ 眼球回転中心、 ６１ 仮想情報、 ６２ 目の焦点位置、 ６３ 観測者の視点にある情報、 ２００ 眼球位置、 ２０１ 実際の表示位置、 ２０２ 仮想表示面、 ２０３ 可変範囲、 ３０１ 光源、 ３０２ 画像表示素子（映像板）、 ３０６ 水晶体、 ３０７ 網膜、 ３０８ 瞳孔。

Claims (11)

1. 映像を表示するディスプレイ部と、
   前記ディスプレイ部に表示された映像を観測者の眼球に導く第１のミラー部と、
   観測者の眼球の向きを撮影し観測者の視線方向を検出する第１のカメラ部と、
   光軸が第１のカメラ部と一致し観測者の視線方向を撮影する第２のカメラ部と、
   前記第１のカメラ部及び前記第２のカメラ部と有線又は無線で接続し、前記第２のカメラ部により撮影される観測者の視線方向の映像と仮想の情報とを合成するコンピュータ端末とを備え、
   前記ディスプレイ部にコンピュータ端末により前記観測者の視線方向の映像と仮想の情報とが重畳して表示されることを特徴とする画像表示装置。
2. 映像を表示するディスプレイ部と、
   前記ディスプレイ部に表示された映像を観測者の眼球に導く第１のミラー部と、
   観測者の眼球の向きを撮影し観測者の視線方向を検出する第１のカメラ部と、
   光軸が第１のカメラ部と一致し観測者の視線方向を撮影する第２のカメラ部と、
   前記第１のミラー部を介して観測者に直接現実空間を見せしめる接眼レンズ及び補正レンズ部と、
   前記第２のカメラ部と有線又は無線で接続し、前記第２のカメラ部により撮影される観測者の視線方向の映像を受け、該映像の情報に基づき前記ディスプレイ部に仮想の情報を表示するコンピュータ端末とを備える画像表示装置。
3. 前記ディスプレイ部、前記第１のミラー部、前記第１のカメラ部及び前記第２のカメラ部が表示ユニットに含まれ、
   コンピュータ端末と無線又は有線により接続し表示ユニットを駆動する駆動部が更に備わり、
   前記第１のカメラ部の光軸と観測者の視線を一致させるため、前記ディスプレイ部の映像表示範囲の一部を点灯し、眼球に写った点灯位置の情報を前記第１のカメラ部が撮像してコンピュータ端末に送信し、眼球に写った点灯位置が前記眼球の瞳孔の中心になるようにコンピュータ端末が前記駆動部を制御することを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記第１のカメラ部に赤外線照射部を備え、前記赤外線照射部からの赤外線により眼球を撮影することを特徴とする請求項１〜３のうちのいずれか一つに記載の画像表示装置。
5. 前記第１のカメラ部の撮像素子と前記第２のカメラ部の撮像素子とが、一体に形成されていることを特徴とする請求項４記載の画像表示装置。
6. 前記ディスプレイ部に備わる画像表示部が反射型素子であることを特徴とする請求項１〜５のうちのいずれか一つに記載の画像評価装置。
7. 前記表示ユニットが前記観測者の眼球の回転中心を中心とした球面上を観測者の視線方向に追従して移動するように、前記コンピュータ端末が表示ユニットの駆動部を制御することを特徴とする請求項１〜６のうちのいずれか一つに記載の画像表示装置。
8. 前記コンピュータ端末による仮想の情報のうち、観測者の視点近傍以外の映像をぼやかすことを特徴とする請求項１〜７のうちのいずれか一つに記載の画像表示装置。
9. 一方の目のための第１のカメラ部から検出される第１の視線の情報と、他方の目のための第１のカメラ部から検出される第２の視線の情報がコンピュータ端末に送信され、
   コンピュータ端末が第１の視線の情報と第２の視線の情報とから観測者の視点を決定することを特徴とする請求項１〜８のうちのいずれか一つに記載の画像表示装置。
10. 前記ディスプレイ部から放射される光束が指向性を有し、且つ通常の瞳孔サイズの４倍以下の幅であることを特徴とする請求項３〜９のうちのいずれか一つに記載の画像表示装置。
11. 前記表示ユニットの表示が停止した際に、前記表示ユニットが前記観測者の眼球の前から移動することを特徴とする請求項３〜１０のうちのいずれか一つに記載の画像表示装置。
    
    

Images