WO2013179425A1 - 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 - Google Patents

Description

表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体

　本発明は、現実環境に対して情報を付加提示する技術分野に関する。

　従来から、ヘッドマウントディスプレイなどの光学透過可能な表示装置を用いて、ＣＧ（Computer Graphics）や文字等の付加情報を、現実環境に対して付加提示する拡張現実感（ＡＲ：Augment Reality）に関する技術が提案されている。また、このような光学透過可能な表示装置を用いたＡＲ（以下では適宜「光学透過式ＡＲ」と呼ぶ。）に関して、ユーザの視点から見た現実像の位置と情報の表示位置とのずれを補正するために校正を行う技術が提案されている。

　例えば、非特許文献１には、現実環境上のマーカの位置とディスプレイの表示位置とをユーザが合わせて、その際の情報に基づいて校正を行う技術が記載されている。また、特許文献１には、ユーザ毎に校正を行うのではなく、以前校正を行った際の眼球の位置と現在の眼球の位置とのずれを告知することで、再校正せずに合成位置のずれを無くすことが記載されている。

　また、特許文献２には、光学透過型ヘッドマウントディスプレイと外界撮影用のカメラと視線検出手段とを有する装置に関して、ユーザの視線の動きにより外界撮影用カメラ内の特定の範囲を選択し、その選択範囲をカメラから画像情報として取り込んで処理する技術が記載されている。この技術では、例えば、英文を朗読中に、視線による指定領域を画像処理し、判読、翻訳してデータを表示している。また、特許文献３には、医用ディスプレイ装置に関して、瞳孔位置を正確に検出して、その瞳孔の位置に応じて表示の位置を補正することが記載されている。

特開２００６－１３３６８８号公報 特開２０００－１５２１２５号公報 特開２００８－１８０１５号公報

加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，Vol.4，No.4，pp.607-616，1999

　非特許文献１に記載された技術では、現実環境上のマーカの位置とディスプレイの表示位置とを調整する作業をユーザが複数回行う必要がある。そのため、ユーザがマーカや頭を何度も移動させる必要があり、手間や時間がかかる傾向にあった。加えて、表示装置が両眼用である場合には左右の眼で別々に校正を行う必要があるため、この場合には手間や時間が更にかかる傾向にあった。

　他方で、特許文献１に記載の技術は、眼の位置を自由に調整可能な構成が必要であり、さらには、カメラや表示装置の設定や位置の変更をしたい場合には適用できなかった。また、特許文献２に記載の技術では、校正を行っていないため、所望の位置から表示の位置がずれる可能性があった。また、特許文献３に記載の技術は、カメラや表示装置の設定や位置の変更をしたい場合には適用できなかった。

　本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、容易に校正を行うことが可能な表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供することを課題とする。

　請求項１に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置は、前記現実環境に存在する対象物の位置を検出する位置検出手段と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備える。

　請求項１０に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置を検出する位置検出手段と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備える。

　請求項１１に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法は、前記現実環境に存在する対象物の位置を検出する位置検出工程と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出工程と、前記位置検出工程が検出した前記位置と前記視線方向検出工程が検出した前記視線方向とに基づいて、前記位置検出工程にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正工程と、を備える。

　請求項１２に記載の発明では、コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムは、前記コンピュータを、前記現実環境に存在する対象物の位置を検出する位置検出手段、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段、として機能させる。

　請求項１３に記載の発明では、記録媒体は、請求項１２に記載の校正プログラムを記録したことを特徴とする。

ＨＭＤの概略構成を示す外観図である。 ＨＭＤの内部構造を概略的に示す図である。 校正を行う理由を説明するための図を示す。 第１実施例で用いるマーカの一例を示す。 第１実施例に係る制御部の構成を示すブロック図である。 ＨＭＤの全体処理を示すフローチャートである。 第１実施例に係る校正処理を示すフローチャートである。 第２実施例に係る制御部の構成を示すブロック図である。 第２実施例に係る校正処理を示すフローチャートである。

　本発明の１つの観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置は、前記現実環境に存在する対象物の位置を検出する位置検出手段と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備える。

　上記の表示装置は、光学透過式ＡＲを実現可能に構成され、ユーザが視認する現実環境に対して付加情報を表示する。位置検出手段は、現実環境に存在する対象物の位置を検出し、視線方向検出手段は、ユーザが対象物に視線を向けている際の視線方向を検出する。「対象物」としては、現実環境に存在する人工特徴点（マーカなど）や自然特徴点などの種々のものが挙げられる。校正手段は、光学透過式ＡＲにおける、位置検出手段と表示装置とユーザの眼との位置や姿勢関係に起因する、ユーザの視点から見た現実像と表示との位置ずれを補正するための校正を行う。具体的には、校正手段は、位置検出手段が検出した対象物の位置と視線方向検出手段が検出した視線方向とに基づいて、位置検出手段にて規定される第１座標系から表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する。

　上記の表示装置によれば、視線方向に基づいて校正を行うため、校正時にユーザは対象物に視線を向けるといった作業を行うだけで良い。このような作業は、非特許文献１に記載されたような、表示装置やマーカを移動させて十字表示とマーカとの位置を合わせる作業よりも、校正時のユーザの負担は小さいと言える、つまり手間や時間がかからないと言える。また、表示装置が両眼用の場合、視線方向検出手段を左右それぞれに設けることで、左右の眼について同時に校正を行うことが可能となる。以上より、上記の表示装置によれば、校正時のユーザの負担を効果的に軽減することができる。

　上記の表示装置の一態様では、前記視線方向検出手段は、前記ユーザが注視したことを入力するための入力手段を操作した際に、前記視線方向を検出する。この態様では、ユーザは、ボタンなどの入力手段を操作することで注視していることを知らせる。これにより、ユーザが対象物を注視している際の視線方向を適切に検出することができる。

　上記の表示装置の他の一態様では、前記視線方向検出手段は、前記ユーザが注視動作を所定時間行った際に、前記視線方向を検出する。これにより、ボタンなどを操作して注視を知らせる場合と比較して、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

　上記の表示装置の他の一態様では、前記視線方向検出手段は、前記ユーザが瞬きを行った際に、前記視線方向を検出する。これによっても、ボタンなどを操作して注視を知らせる場合と比較して、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

　好適な例では、前記位置検出手段は、前記現実環境を画像取得装置で撮影した撮影画像に基づいて、前記位置を検出し、前記第１座標系は、前記画像取得装置を基準とした座標系である。

　好適な例では、前記対象物は、前記校正手段による前記校正データの算出のために用いられるものであり、マーカである。これにより、校正時において、対象物の位置を容易に検出することができる。

　また好適な例では、前記視線方向検出手段は、前記視線方向と前記表示装置による表示面との交点に当たる、前記第２座標系での座標を求め、前記校正手段は、前記視線方向検出手段によって求められた前記座標と前記位置検出手段が検出した前記位置とに基づいて、前記校正データを算出する。

　上記の表示装置の他の一態様では、前記ユーザに注視させるべき前記対象物を指定する指定手段を更に備え、前記視線方向検出手段は、前記指定手段によって指定された前記対象物を前記ユーザが注視している際の視線方向を検出する。これにより、ユーザは指定された対象物を注視するといった作業を行うだけで、校正を行うことが可能となる。

　上記の表示装置において好適には、前記指定手段は、前記注視させるべき対象物に応じた画像を表示させることで、当該対象物の指定を行うことができる。これにより、注視すべき対象物をユーザに適切に把握させることができる。

　本発明の他の観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置を検出する位置検出手段と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備える。

　本発明の更に他の観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法は、前記現実環境に存在する対象物の位置を検出する位置検出工程と、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出工程と、前記位置検出工程が検出した前記位置と前記視線方向検出工程が検出した前記視線方向とに基づいて、前記位置検出工程にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正工程と、を備える。

　本発明の更に他の観点では、コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムは、前記コンピュータを、前記現実環境に存在する対象物の位置を検出する位置検出手段、前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段、として機能させる。

　上記の校正プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

　以下、図面を参照して本発明の好適な実施例について説明する。

　［第１実施例］
　まず、第１実施例について説明する。

　（装置構成）
　図１は、第１実施例に係るヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）の概略構成を示す外観図である。図１に示すように、ＨＭＤ１００は、主に、透過型ディスプレイ部１と、撮像部２と、装着部３とを有する。ＨＭＤ１００は眼鏡型に構成されており、ユーザはＨＭＤ１００を頭部に装着して使用する。ＨＭＤ１００は、現実環境に設けられたマーカの位置に対応するように透過型ディスプレイ部１に、本発明における「付加情報」の一例としてのＣＧを表示させることで、ＡＲ（拡張現実）を実現する。なお、ＨＭＤ１００は、本発明における「表示装置」の一例である。

　撮像部２は、カメラを含んでなり、ユーザがＨＭＤ１００を装着した状態でユーザの前方の現実環境を撮影する。撮像部２は、左右に並んだ２つの透過型ディスプレイ部１の間に設けられている。本実施例では、撮像部２の撮影画像に基づいて、マーカの位置などを検出する。

　装着部３は、ユーザの頭部に装着可能に構成された部材（眼鏡フレーム状の部材）であり、ユーザの頭部を左右両側から挟むことが可能に構成されている。

　透過型ディスプレイ部１は、光学透過式に構成されており、ユーザの左右の眼にそれぞれ対応して１つずつ設けられている。ユーザは、透過型ディスプレイ部１を介して現実環境を見るとともに、透過型ディスプレイ部１に表示されるＣＧを見ることで、現実環境には存在しないＣＧが、現実環境にあたかも存在しているかのように感じることができる。つまり、ＡＲ（拡張現実）を実現することができる。

　なお、撮像部２の撮影画像を用いてマーカなどの３次元位置を検出するため（詳細は後述する）、好適には、撮像部２はステレオカメラにて構成される。但し、ステレオカメラを用いることに限定はされず、他の例では、撮像部２に単眼カメラを用いることができる。この場合には、大きさや特徴の既知のマーカやピクチャーマーカや３次元物体を利用したり、カメラの移動による視点の違いを利用したりして、３次元位置を検出すれば良い。更に他の例では、撮像部２にＴＯＦ（Time-of-Flight）カメラと可視光カメラとを併用して、３次元位置を検出することができる。更に他の例では、レーザやプロジェクタなどによるパターン投影とカメラを利用した三角測量を利用して、３次元位置を検出することができる。

　図２は、ＨＭＤ１００の内部構造を概略的に示す図である。図２に示すように、ＨＭＤ１００は、上記した透過型ディスプレイ部１や撮像部２以外に、制御部５、近赤外線光源６及び視線方向検出部７を有する。また、透過型ディスプレイ部１は、表示部１ａ、レンズ１ｂ及びハーフミラー１ｃを有する（破線で囲った領域を参照）。

　表示部１ａは、ＬＣＤ（Liquid Crystal Display）や、ＤＬＰ（Digital Light Processing）や、有機ＥＬなどで構成され、表示すべき画像に対応する光を出射する。なお、レーザ光源からの光をミラーでスキャンするような構成を、表示部１ａに適用しても良い。このような表示部１ａから出射された光は、レンズ１ｂで拡大等された後にハーフミラー１ｃで反射されて、ユーザの眼に入射する。これにより、ユーザは、ハーフミラー１ｃを介して、図２中の符号４で示す面（以下では適宜「表示面４」と呼ぶ。）に形成される虚像を視認することとなる。

　近赤外線光源６は、近赤外線を眼球に向けて照射する。視線方向検出部７は、角膜表面での近赤外線の反射光（プルキニエ像）および瞳孔の位置を検出することで、ユーザの視線方向を検出する。例えば、視線方向の検出には、公知の角膜反射法（１つの例では、『坂下祐輔，藤吉弘亘，平田豊，“画像処理による３次元眼球運動計測”，実験力学，Vol.6，No.3，pp.236-243，2006年9月』）などを用いることができる。この手法では、ＨＭＤ１００の表示を注視する作業を複数回行って視線方向の検出についての校正を行うことで、ユーザがＨＭＤ１００の表示上の見ている場所をより精度良く検出することができる。視線方向検出部７は、このように検出した視線方向に関する情報を制御部５に供給する。なお、視線方向検出部７は、本発明における「視線方向検出手段」の一例である。

　制御部５は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有し、ＨＭＤ１００の全体的な制御を行う。具体的には、制御部５は、撮像部２が撮影した撮影画像や視線方向検出部７が検出した視線方向に基づいて、ＣＧの表示位置を校正する処理や、表示すべきＣＧについてのレンダリングなどを行う。制御部５が行う制御については、詳細は後述する。

　なお、視線方向の検出は、上記した方法に限定はされない。他の例では、赤外線ハーフミラーで反射した眼球を撮影することで、視線方向を検出することができる。更に他の例では、単眼カメラで瞳孔や眼球や顔を検出して、視線方向を検出することができる。更に他の例では、ステレオカメラを用いて、視線方向を検出することができる。また、非接触型の視線方向の検出方法を用いることにも限定はされず、接触型の視線方向の検出方法を用いても良い。

　（校正方法）
　次に、第１実施例に係る校正方法について具体的に説明する。

　図３は、校正を行う理由を説明するための図を示す。図３（ａ）に示すように、ＨＭＤ１００では、ユーザの眼の位置と撮像部２の位置とが互いに異なるため、撮像部２によって取得される像（撮影画像）と、ユーザの眼に映る像とは互いに異なる。例えば、ユーザの眼と、撮像部２と、現実環境に設けられたマーカ２００とが、図３（ａ）に示すような位置関係にあるものとする。この場合には、撮像部２によって取得される像Ｐ１（図３（ｂ）参照）では、マーカ２００は当該像における左側に位置するが、ユーザの眼に映る像Ｐ３（図３（ｃ）参照）では、マーカ２００は当該像における右側に位置することになる。なお、マーカ２００は、現実環境の物体４００に設けられている。マーカ２００は、ＣＧなどの付加情報を提示すべき対象の１つである。

　ここで、撮像部２によって取得される像Ｐ１に基づいて、マーカ２００の位置を検出し、当該像Ｐ１における検出した位置にＣＧ３００をそのまま合成すると、ＣＧ３００とマーカ２００との位置が一致した像Ｐ２が生成されることとなる。しかしながら、ＨＭＤ１００のような光学透過式の表示装置では、ユーザの眼の位置と撮像部２の位置との差異に応じて、校正を行う必要がある。というのは、校正を行わないと、図３（ｃ）の像Ｐ４に示すように、ユーザの視点から見ると、マーカ２００とＣＧ３００との位置と姿勢（方向）がずれてしまうおそれがあるからである。

　したがって、第１実施例では、制御部５は、図３（ｃ）の像Ｐ５のように、ＣＧ３００とマーカ２００との位置と姿勢（方向）を一致させるように補正を行う。具体的には、制御部５は、撮像部２を基準とした像から眼を基準としたＨＭＤ１００の像への変換を行うことで、当該補正を行う。つまり、制御部５は、撮像部２における座標系（以下では「撮像座標系」と呼ぶ。）から、ＨＭＤ１００による表示における座標系（以下では「表示座標系」と呼ぶ。）への変換を行う。なお、撮像座標系は本発明における「第１座標系」の一例であり、表示座標系は本発明における「第２座標系」の一例である。

　第１実施例では、制御部５は、校正として、撮像座標系から表示座標系へ変換するための行列である校正データを算出する処理（以下では適宜「校正処理」と呼ぶ。）を行う。校正データは、表示面４と撮像部２と眼との位置や姿勢の関係によって決まり、表示面４と撮像部２と眼との３つが共に同じ方向、同じ角度に同じだけ動く場合には、同じ校正データを使用しても問題ない。そのため、ＨＭＤ１００では、まず最初に校正データを算出し（例えばＨＭＤ１００の使用開始時やユーザから要求があった際に校正データを算出する）、その後は算出した校正データを使用して上記したずれの補正を行う。

　具体的には、第１実施例では、制御部５は、視線方向検出部７が検出した視線方向及び撮像部２が撮影した撮影画像に基づいて、校正データを算出する。この場合、第１実施例では複数の校正用のマーカ（以下では単に「マーカ」とも表記する。）を配置させた現実環境を用いて、制御部５は、このような現実環境の撮影画像より検出された撮像座標系でのマーカの位置と、ユーザが現実環境中のマーカを注視している際に視線方向検出部７によって検出された視線方向とに基づいて、撮像座標系から表示座標系へ変換するための校正データを算出する。より詳しくは、制御部５は、撮像座標系でのマーカの位置と、ユーザの視線方向と表示面４との交点に当たる表示座標系の座標（以下では「視線方向座標」と呼ぶ。）とに基づいて、校正データを算出する。

　第１実施例では、制御部５は、複数の校正用のマーカについて、撮像座標系でのマーカの位置と視線方向座標とを得て、得られた複数のマーカの位置と複数の視線方向座標とに基づいて校正データを算出する。具体的には、制御部５は、複数のマーカの中から１つのマーカを指定して、ユーザが当該マーカを注視した後に別のマーカを指定するといった工程を所定回数行うことにより、その都度、撮像座標系でのマーカの位置と視線方向座標とを求めることで、複数のマーカの位置と複数の視線方向座標とを得る。この場合、制御部５は、注視すべきマーカを指定するための画像（以下では「注視対象画像」と呼ぶ。）を表示させ、ユーザは、注視対象画像に応じたマーカを注視した際に、校正用のユーザインターフェース（ＵＩ：User Interface）としてのボタンを押下することで、注視したことを制御部５に知らせる。

　以上述べたように、制御部５は、本発明における「位置検出手段」、「校正手段」及び「指定手段」の一例である。

　図４は、第１実施例で用いるマーカの一例を示している。図４では、０～８の数字が付された９つのマーカ２００ａ～２００ｉを用いる場合を例示している。図４（ａ）は、マーカ２００ａ～２００ｉを正面から観察した図を示し、図４（ｂ）は、マーカ２００ａ～２００ｉを上から観察した図を示している。マーカ２００ａ～２００ｉは、概ね同一のサイズを有している。

　図４（ａ）に示すように、マーカ２００ａ～２００ｉは、上下左右における位置が互いに異なるように配置されている。また、図４（ｂ）に示すように、マーカ２００ａ～２００ｅとマーカ２００ｆ～２００ｉとで前後の位置が異なるように配置されている。具体的には、マーカ２００ａ～２００ｅは奥側に配置されており、マーカ２００ｆ～２００ｉは手前側に配置されている。例えば、制御部５は、マーカ２００ａ～２００ｉの中でユーザに注視させる１つのマーカを指定する場合、当該マーカに付された数字（０～８のいずれか）を含むような注視対象画像を表示させる。

　なお、図４では矩形のマーカを用いる例を示したが、これに限定はされない。マーカは、３次元位置を検出可能でユーザが注視可能であれば、種々のものを用いることができる。例えば、円形マーカや、多角形のマーカや、反射物や発光物で構成されたマーカや、事前に登録した画像のマーカなどを用いることができる。

　また、マーカの配置は、図４に示したものに限定はされない。マーカの中心位置が同一平面上にならないような配置であれば、種々の配置を適用することができる。

　更に、複数のマーカを用いることに限定はされず、１つのマーカのみを用いても良い。１回の注視で用いるのは１つのマーカであり、複数回注視させる際の各回のマーカの位置が異なれば良いので、複数のマーカを用いなくても、１つのマーカでこれを実現することができるからである。例えば、ユーザに複数回注視させる際の各回ごとに、１つのマーカを動かしたり、１つのマーカを固定した状態でユーザの頭を動かしたりすることで、複数のマーカを用いた場合と同じことが実現できる。

　（制御部の構成）
　次に、図５を参照して、第１実施例に係る制御部５の具体的な構成について説明する。

　図５は、第１実施例に係る制御部５の構成を示すブロック図である。図５に示すように、制御部５は、主に、校正部５１と、変換行列算出部５２と、レンダリング部５３と、セレクタ（ＳＥＬ）５４とを有する。

　ボタン８は、上記したように、ユーザがマーカを注視した際に押下されるボタンである。ボタン８は、ユーザによって押下された際に、ユーザがマーカを注視したことを示す注視完了信号を視線方向検出部７及び校正部５１に出力する。なお、ボタン８は、本発明における「入力手段」の一例である。

　視線方向検出部７は、ボタン８から注視完了信号が入力された際に、この際のユーザの視線方向を検出する。具体的には、視線方向検出部７は、ユーザが注視している際の視線方向と表示面４との交点に当たる、表示座標系の座標である視線方向座標（Ｘｄ、Ｙｄ）を求めて、視線方向座標（Ｘｄ、Ｙｄ）を校正部５１に出力する。

　校正部５１は、校正制御部５１ａと、注視対象選択部５１ｂと、視線方向座標蓄積部５１ｃと、校正用マーカ位置検出部５１ｄと、マーカ位置蓄積部５１ｅと、校正データ算出部５１ｆとを有する。校正部５１は、所定のボタン（不図示）などが押下されることで校正開始トリガが入力された場合に、校正処理を行うことにより、校正データＭを算出する。

　校正制御部５１ａは、校正処理を制御する。具体的には、校正制御部５１ａは、注視対象選択部５１ｂ、校正データ算出部５１ｆ及びセレクタ５４を制御する。校正制御部５１ａは、上記の校正開始トリガが入力されると校正処理を開始する。具体的には、校正制御部５１ａは、校正開始トリガが入力されると、ボタン８からの注視完了信号に応じて、ユーザに注視させるマーカを指定する注視対象画像を更新するための表示更新信号を注視対象選択部５１ｂに出力する。また、校正制御部５１ａは、ボタン８からの注視完了信号が所定回数入力された場合に、演算トリガを校正データ算出部５１ｆに出力すると共に、モード切替信号をセレクタ５４に出力する。後述するように、校正データ算出部５１ｆは、演算トリガが入力されると、校正データＭを算出する。また、セレクタ５４は、モード切替信号が入力されると、表示部１ａに出力するデータを、注視対象画像に対応するデータ（注視対象画像データ）と、付加情報として表示すべきＣＧなどの画像データ（表示データ）とで切り替えるモード切替を行う。

　注視対象選択部５１ｂは、校正制御部５１ａから表示更新信号が入力された場合に、ユーザに注視させるマーカを指定するための注視対象画像を生成する。具体的には、注視対象選択部５１ｂは、複数のマーカの中でユーザに注視させる１つのマーカを選択し（詳しくは、今回の校正処理において未だユーザに注視させていない１つのマーカを選択）、当該マーカに応じた注視対象画像データを生成する。例えば、注視対象選択部５１ｂは、選択したマーカに付された数字や文字などを含むような注視対象画像を生成する。そして、注視対象選択部５１ｂは、生成した注視対象画像データをセレクタ５４に出力する。なお、注視対象選択部５１ｂは、本発明における「指定手段」の一例に相当する。

　視線方向座標蓄積部５１ｃは、視線方向検出部７から視線方向座標（Ｘｄ、Ｙｄ）が入力され、視線方向座標（Ｘｄ、Ｙｄ）を蓄積する。なお、視線方向座標（Ｘｄ、Ｙｄ）は、表示座標系を基準としたマーカの位置座標に相当する。

　校正用マーカ位置検出部５１ｄは、撮像部２によって撮像された撮影画像が入力され、撮影画像から校正用のマーカの３次元位置を検出する。具体的には、校正用マーカ位置検出部５１ｄは、撮影画像に対応する画像データに基づいて、校正用のマーカの位置を示す座標（Ｘｃ、Ｙｃ、Ｚｃ）を特定し、特定した座標（Ｘｃ、Ｙｃ、Ｚｃ）をマーカ位置蓄積部５１ｅに出力する。マーカ位置蓄積部５１ｅは、校正用マーカ位置検出部５１ｄから出力された座標（Ｘｃ、Ｙｃ、Ｚｃ）を蓄積する。なお、座標（Ｘｃ、Ｙｃ、Ｚｃ）は、撮像座標系を基準としたマーカの位置座標に相当する。このように、校正用マーカ位置検出部５１ｄは、本発明における「位置検出手段」の一例に相当する。

　校正データ算出部５１ｆは、校正制御部５１ａから演算トリガが入力されると、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）、及びマーカ位置蓄積部５１ｅに蓄積された複数のマーカの位置座標（Ｘｃ、Ｙｃ、Ｚｃ）を読み出す。そして、校正データ算出部５１ｆは、読み出した複数の視線方向座標（Ｘｄ、Ｙｄ）及び複数の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）に基づいて、撮像座標系から表示座標系へ変換するための行列である校正データＭを算出する。校正データ算出部５１ｆは、校正データＭを算出し終えると、その旨を示す演算終了信号を校正制御部５１ａに出力する。このように、校正データ算出部５１ｆは、本発明における「校正手段」の一例に相当する。

　次に、変換行列算出部５２は、マーカ検出部５２ａと、Ｒｍｃ算出部５２ｂとを有している。変換行列算出部５２は、マーカにおける座標系（以下では「マーカ座標系」と呼ぶ。）から撮像座標系へ変換するための変換行列Ｒｍｃを算出する。

　マーカ検出部５２ａは、撮像部２によって撮像された撮像画像中のマーカの位置及びサイズを検出する。

　Ｒｍｃ算出部５２ｂは、マーカ検出部５２ａによって検出されたマーカの位置及びサイズに基づいて、マーカ座標系から撮像座標系へ変換するための変換行列Ｒｍｃを算出する。Ｒｍｃ算出部５２ｂは、算出した変換行列Ｒｍｃをレンダリング部５３に出力する。変換行列Ｒｍｃが更新されることで、マーカに追従するようにＣＧが表示されることとなる。

　次に、レンダリング部５３は、ＣＧデータ格納部５３ａと、マーカｔｏ撮像座標変換部５３ｂと、撮像ｔｏ表示変換部５３ｃとを有している。レンダリング部５３は、表示すべきＣＧについてのレンダリングを行う。

　ＣＧデータ格納部５３ａは、表示すべきＣＧのデータ（ＣＧデータ）が格納された記憶手段である。ＣＧデータ格納部５３ａには、マーカ座標系で規定されたＣＧデータが格納されている。なお、ＣＧデータ格納部５３ａに格納されているＣＧデータは、３次元（３Ｄ）データである。以下では、ＣＧデータ格納部５３ａに格納されているＣＧデータを、「マーカ座標系データ」と適宜称する。

　マーカｔｏ撮像座標変換部５３ｂは、変換行列算出部５２から変換行列Ｒｍｃが入力され、変換行列Ｒｍｃに基づいて、ＣＧデータ格納部５３ａに格納されているＣＧデータを、マーカ座標系から撮像座標系へ変換する。以下では、マーカｔｏ撮像座標変換部５３ｂによって変換された後の撮像部２の座標系を基準とするＣＧデータを、「撮像座標系データ」と適宜称する。

　撮像ｔｏ表示変換部５３ｃは、校正部５１から校正データＭが入力され、校正データＭに基づいて、マーカｔｏ撮像座標変換部５３ｂから入力された撮像座標系データ（３Ｄ）を表示データに変換する（座標変換及び投影変換）。表示データは、表示座標系を基準とする２次元（２Ｄ）データである。撮像ｔｏ表示変換部５３ｃは、表示データをセレクタ５４に出力する。

　セレクタ５４は、校正部５１からのモード切替信号に応じて、校正部５１から入力される注視対象画像データと、レンダリング部５３から入力される表示データとを選択的に表示部１ａに出力する。セレクタ５４は、校正処理が行われるときには、注視対象画像データを表示部１ａに出力し、ＨＭＤ１００にてＣＧが表示されるべきときには、表示データを表示部１ａに出力する。表示部１ａは、注視対象画像データに基づいて注視対象画像を表示し、表示データに基づいてＣＧを表示する。

　（処理フロー）
　次に、図６及び図７を参照して、第１実施例に係る処理フローについて説明する。

　図６は、ＨＭＤ１００の全体処理を示すフローチャートである。

　まず、ステップＳ１０では、校正処理が行われる。校正処理については詳細は後述する。次に、ステップＳ２０では、撮像部２によって現実環境の撮影画像が取得される。即ち、ＨＭＤ１００は、撮像部２によって現実環境を撮影することにより、現実環境の撮影画像を取得する。

　次に、ステップＳ３０では、変換行列算出部５２によって、ＣＧなどの付加情報を提示すべき対象としてのマーカが検出され、変換行列Ｒｍｃが算出される。即ち、変換行列算出部５２のマーカ検出部５２ａが、撮像部２によって取得された現実環境の撮影画像に基づいて、現実環境に設けられたマーカの位置、姿勢（方向）及びサイズを検出し、この検出されたマーカの位置、姿勢（方向）及びサイズに基づいて、変換行列算出部５２のＲｍｃ算出部５２ｂが変換行列Ｒｍｃを算出する。

　次に、ステップＳ４０では、表示すべきＣＧの表示データを生成する描画処理が行われる。描画処理では、まず、ＣＧデータ格納部５３ａに格納されているマーカ座標系データが、マーカｔｏ撮像座標変換部５３ｂによって変換行列Ｒｍｃに基づいて撮像座標系データに変換される。次に、撮像座標系データが、撮像ｔｏ表示変換部５３ｃによって、校正データＭに基づいて表示データに変換される。このように生成された表示データは、セレクタ５４を介して表示部１ａに入力される。

　次に、ステップＳ５０では、ＨＭＤ１００によって、表示データに基づくＣＧが表示される。そして、ステップＳ６０では、ＨＭＤ１００によるＣＧの表示を終了するか否かが判定される。終了すると判定された場合には（ステップＳ６０：Ｙｅｓ）、ＣＧの表示が終了され、終了しないと判定された場合には（ステップＳ６０：Ｎｏ）、再びステップＳ１０に係る処理が行われる。

　図７は、上記したステップＳ１０の校正処理を示すフローチャートである。

　まず、ステップＳ１０１では、ユーザがＨＭＤ１００の表示を注視する作業を複数回行うことで視線方向の検出についての校正を行う。

　次に、ステップＳ１０２では、校正部５１によって、ユーザに注視させるマーカが指定される。具体的には、校正部５１の注視対象選択部５１ｂによって選択されたマーカに応じた注視対象画像が表示される。そして、ステップＳ１０３では、ボタン８が押下されたか否かが判定される。つまり、ユーザが、指定されたマーカを注視したか否かが判定される。

　ボタン８が押下された場合（ステップＳ１０３：Ｙｅｓ）、処理はステップＳ１０４に進む。これに対して、ボタン８が押下されていない場合（ステップＳ１０３：Ｎｏ）、再びステップＳ１０３に係る判定が行われる。つまり、ボタン８が押下されるまで、ステップＳ１０３の判定が繰り返し行われる。

　ステップＳ１０４では、視線方向検出部７によってユーザの視線方向が検出される。具体的には、視線方向検出部７は、ユーザの視線方向と表示面４との交点に当たる、表示座標系の座標である視線方向座標（Ｘｄ、Ｙｄ）を求める。

　次に、ステップＳ１０５では、撮像部２によって現実環境の撮影画像が取得される。そして、ステップＳ１０６では、校正部５１の校正用マーカ位置検出部５１ｄによって、撮影画像から校正用のマーカの３次元位置が検出される。具体的には、校正用マーカ位置検出部５１ｄは、撮影画像に対応する画像データに基づいて、撮像座標系を基準としたマーカの位置座標である座標（Ｘｃ、Ｙｃ、Ｚｃ）を求める。

　次に、ステップＳ１０７では、ステップＳ１０４で得られた視線方向座標（Ｘｄ、Ｙｄ）と、ステップＳ１０６で得られたマーカの位置座標（Ｘｃ、Ｙｃ、Ｚｃ）とが蓄積される。具体的には、視線方向座標（Ｘｄ、Ｙｄ）は視線方向座標蓄積部５１ｃに蓄積され、マーカの位置座標（Ｘｃ、Ｙｃ、Ｚｃ）はマーカ位置蓄積部５１ｅに蓄積される。

　次に、ステップＳ１０８では、ステップＳ１０２～Ｓ１０７の処理が所定回数行われたか否かが判定される。判定に用いる所定回数は、例えば校正処理の精度などに応じて定められる。

　ステップＳ１０２～Ｓ１０７の処理が所定回数行われた場合（ステップＳ１０８：Ｙｅｓ）、校正部５１の校正データ算出部５１ｆによって、校正データＭが算出される（ステップＳ１０９）。具体的には、校正データ算出部５１ｆは、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）と、マーカ位置蓄積部５１ｅに蓄積された複数のマーカの位置座標（Ｘｃ、Ｙｃ、Ｚｃ）とに基づいて、校正データＭを算出する。そして、処理は終了する。他方で、ステップＳ１０２～Ｓ１０７の処理が所定回数行われていない場合（ステップＳ１０８：Ｎｏ）、再びステップＳ１０２に係る処理が行われる。

　なお、人間の視線方向は注視している時でも安定しない傾向にあるため、ボタン８が押下されたタイミングの視線方向のみを使用する校正処理では、校正データＭの誤差が大きくなる可能性がある。したがって、ボタン８が押下されたタイミングの前後１秒程度の間の視線方向のデータを取得して、このデータに対して平均化処理やヒストグラム処理などを行って、視線方向を決定すると良い。こうすることで、校正データＭの誤差を低減することが可能となる。

　（作用・効果）
　ここで、上記した第１実施例の作用・効果について、前述した非特許文献１に記載された技術と比較しながら説明する。非特許文献１に記載された技術では、校正時にユーザが表示の十字と現実のマーカの位置とを合わせて、ボタンを利用して演算器に知らせる作業を繰り返す必要があった。そのため、ユーザは、表示装置やマーカを移動させ、表示とマーカとの位置調整を繰り返す必要があっため、手間や時間がかかる傾向にあった。加えて、表示装置が両眼用である場合には左右の眼で別々に校正を行う必要があるため、この場合には手間や時間が更にかかる傾向にあった。

　これに対して、第１実施例では、視線方向検出機能を利用することで、十字表示や現実のマーカを注視するだけで校正が可能となる。第１実施例のような注視する作業は、非特許文献１に記載されたような、表示装置やマーカを移動させて十字表示とマーカとの位置を合わせる作業よりも、校正時のユーザの負担は小さいと言える、つまり手間や時間がかからないと言える。また、ＨＭＤ１００が両眼用の場合、第１実施例に係る視線方向検出部７を左右それぞれに設けることで、校正処理を左右同時に行うことが可能となる。以上より、第１実施例によれば、非特許文献１に記載された技術と比較して、校正時のユーザの負担を軽減することができる。

　また、第１実施例は、前述した特許文献１、３に記載の技術と異なり、撮像部２やＨＭＤ１００の設定や位置の変更、また眼の位置の変更にも適切に対応して校正することができる。

　［第２実施例］
　次に、本発明の第２実施例について説明する。第１実施例では、マーカを用いて校正を行っていたが、第２実施例では、マーカといった人工特徴点を用いる代わりに、現実環境に存在する自然特徴点を用いて校正を行う。つまり、第２実施例では、ユーザに、周囲の自然特徴点を順次注視させることで校正を行う。具体的には、第２実施例では、撮像部２によって周囲の現実環境を撮影して、校正処理に最適な自然特徴点が含まれるような撮像部２の撮影方向（以下では「最適な撮影方向」又は「最適方向」と呼ぶ。）を用いて校正を行う。

　ここで、最適な撮影方向について具体的に説明する。校正データＭを正確に求めるためには、ユーザに注視させる自然特徴点のリストが、撮像部２に対して水平方向・垂直方向・奥行き方向に散らばっていることが望ましい。そのため、撮像部２の撮影方向は、自然特徴点が散らばって多数存在する方向が良いと言える。また、３次元位置を検出しやすい自然特徴点リストであることが望ましい。自然特徴点の３次元位置検出には、複数視点から撮影した画像内での自然特徴点の正確なマッチングが必要になる。例えば、壁のタイルなど同じ様な模様であると、画像間でマッチングのエラーが多くなる傾向にある。また、例えば、木の葉などの移動する物であると、撮影タイミングの異なる画像間では３次元位置が異なるため、３次元位置が正確に求められないと言える。以上より、上記した最適な撮影方向としては、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を用いることが望ましい。

　図８は、第２実施例に係る制御部５ｘの構成を示すブロック図である。なお、図５に示した制御部５と同一の符号を付した構成要素は同一の意味を有するものとし、その説明を省略する。また、ここで特に説明しない構成要素や処理などについては、第１実施例と同様であるものとする。

　図８に示すように、制御部５ｘは、校正部５１の代わりに、校正部５１ｘを有する。校正部５１ｘは、校正制御部５１ａｘと、注視対象選択部５１ｂｘと、視線方向座標蓄積部５１ｃと、特徴点位置検出部５１ｄｘと、特徴点位置蓄積部５１ｅｘと、校正データ算出部５１ｆと、最適方向判定部５１ｇとを有する。

　最適方向判定部５１ｇは、撮像部２によって撮像された撮影画像が入力され、撮影画像に、校正処理に最適な撮影方向が含まれているか否かを判定する。具体的には、最適方向判定部５１ｇは、周囲を撮影した撮影画像を画像解析することで、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を検出する。最適方向判定部５１ｇは、撮影画像から最適な撮影方向を検出した場合には、撮影画像に最適な撮影方向が含まれていることを示す最適方向検出信号を校正制御部５１ａｘに出力する。このように、最適方向判定部５１ｇは、本発明における「判定手段」の一例に相当する。

　校正制御部５１ａｘは、最適方向判定部５１ｇから最適方向検出信号が入力されると、ボタン８からの注視完了信号に応じて、ユーザに注視させる自然特徴点を指定する注視対象画像を更新するための表示更新信号を注視対象選択部５１ｂｘに出力する。

　注視対象選択部５１ｂｘは、校正制御部５１ａｘから表示更新信号が入力された場合に、撮影画像（最適な撮影方向に対応する画像）に含まれる自然特徴点の中で、ユーザに注視させる自然特徴点を選択し、当該自然特徴点に応じた注視対象画像データを生成する。例えば、注視対象選択部５１ｂｘは、撮影画像を縮小した画像において、ユーザに注視させる自然特徴点を強調表示した画像（１つの例では、注視させる自然特徴点を特定の色で表示させた画像や、当該自然特徴点を丸などで囲った画像）を生成する。そして、注視対象選択部５１ｂｘは、生成した注視対象画像データをセレクタ５４に出力する。なお、注視対象選択部５１ｂｘは、本発明における「指定手段」の一例に相当する。

　特徴点位置検出部５１ｄｘは、撮像部２によって撮像された撮影画像が入力され、撮影画像から、ユーザに注視させる自然特徴点の３次元位置を検出する。具体的には、特徴点位置検出部５１ｄｘは、撮影画像に対応する画像データに基づいて、注視対象選択部５１ｂｘによって選択された自然特徴点の位置を示す座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）を特定し、特定した位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）を特徴点位置蓄積部５１ｅｘに出力する。特徴点位置蓄積部５１ｅｘは、特徴点位置検出部５１ｄｘから出力された位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）を蓄積する。なお、位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）は、撮像座標系を基準とした自然特徴点の位置座標に相当する。このように、特徴点位置検出部５１ｄｘは、本発明における「位置検出手段」の一例に相当する。

　校正データ算出部５１ｆｘは、校正制御部５１ａｘから演算トリガが入力されると、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）、及び特徴点位置蓄積部５１ｅｘに蓄積された複数の自然特徴点の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）を読み出す。そして、校正データ算出部５１ｆｘは、読み出した複数の視線方向座標（Ｘｄ、Ｙｄ）及び複数の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）に基づいて、撮像座標系から表示座標系へ変換するための行列である校正データＭを算出する。このように、校正データ算出部５１ｆｘは、本発明における「校正手段」の一例に相当する。

　次に、図９を参照して、第２実施例に係る処理フローについて説明する。図９は、第２実施例に係る校正処理を示すフローチャートである。この校正処理は、上記したステップＳ１０において（図６参照）、図７に示した校正処理の代わりに実行されるものである。

　まず、ステップＳ１１１では、ユーザがＨＭＤ１００の表示を注視する作業を複数回行うことで視線方向の検出についての校正を行う。

　次に、ステップＳ１１２では、撮像部２によって現実環境の撮影画像が取得される。具体的には、ＨＭＤ１００は、撮像部２によってユーザの周囲の現実環境を撮影することで得られた、比較的広い範囲における現実環境の撮影画像を取得する。

　次に、ステップＳ１１３では、校正部５１ｘの最適方向判定部５１ｇによって、撮影画像に含まれる最適な撮影方向が検出される。具体的には、最適方向判定部５１ｇは、撮影画像を画像解析することで、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を検出する。撮影画像に最適な撮影方向が含まれている場合（ステップＳ１１４：Ｙｅｓ）、処理はステップＳ１１６に進む。これに対して、撮影画像に最適な撮影方向が含まれていない場合（ステップＳ１１４：Ｎｏ）、処理はステップＳ１１５に進む。この場合には、ユーザに場所の移動が指示され（ステップＳ１１５）、再びステップＳ１１１に係る処理が行われる。つまり、ユーザに場所を移動してもらい、周囲の撮影を再度行ってもらう。

　ステップＳ１１６では、ユーザの頭の向きを、検出された最適な撮影方向へ誘導する。例えば、最適な撮影方向を指し示す矢印の画像などを表示させることで、ユーザの頭の向きを誘導する。

　次に、ステップＳ１１７では、校正部５１ｘによって、ユーザに注視させる自然特徴点が指定される。具体的には、校正部５１ｘの注視対象選択部５１ｂｘによって選択された自然特徴点に応じた注視対象画像が表示される。そして、ステップＳ１１８では、ボタン８が押下されたか否かが判定される。つまり、ユーザが、指定された自然特徴点を注視したか否かが判定される。

　ボタン８が押下された場合（ステップＳ１１８：Ｙｅｓ）、処理はステップＳ１１９に進む。これに対して、ボタン８が押下されていない場合（ステップＳ１１８：Ｎｏ）、再びステップＳ１１８に係る判定が行われる。つまり、ボタン８が押下されるまで、ステップＳ１１８の判定が繰り返し行われる。

　ステップＳ１１９では、視線方向検出部７によってユーザの視線方向が検出される。具体的には、視線方向検出部７は、ユーザの視線方向と表示面４との交点に当たる、表示座標系の座標である視線方向座標（Ｘｄ、Ｙｄ）を求める。

　次に、ステップＳ１２０では、撮像部２によって現実環境の撮影画像（最適な撮影方向に対応する画像）が取得される。そして、ステップＳ１２１では、校正部５１ｘの特徴点位置検出部５１ｄｘによって、撮影画像から、ユーザが注視した自然特徴点の３次元位置が検出される。具体的には、特徴点位置検出部５１ｄｘは、撮影画像に対応する画像データに基づいて、注視対象選択部５１ｂｘによって選択された自然特徴点の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）を求める。

　次に、ステップＳ１２２では、ステップＳ１１９で得られた視線方向座標（Ｘｄ、Ｙｄ）と、ステップＳ１２１で得られた自然特徴点の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）とが蓄積される。具体的には、視線方向座標（Ｘｄ、Ｙｄ）は視線方向座標蓄積部５１ｃに蓄積され、自然特徴点の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）は特徴点位置蓄積部５１ｅｘに蓄積される。

　次に、ステップＳ１２３では、ステップＳ１１７～Ｓ１２２の処理が所定回数行われたか否かが判定される。判定に用いる所定回数は、例えば校正処理の精度などに応じて定められる。

　ステップＳ１１７～Ｓ１２２の処理が所定回数行われた場合（ステップＳ１２３：Ｙｅｓ）、校正部５１ｘの校正データ算出部５１ｆｘによって、校正データＭが算出される（ステップＳ１２４）。具体的には、校正データ算出部５１ｆｘは、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）と、特徴点位置蓄積部５１ｅｘに蓄積された複数の自然特徴点の位置座標（Ｘｃ’、Ｙｃ’、Ｚｃ’）とに基づいて、校正データＭを算出する。そして、処理は終了する。他方で、ステップＳ１１７～Ｓ１２２の処理が所定回数行われていない場合（ステップＳ１２３：Ｎｏ）、再びステップＳ１１７に係る処理が行われる。

　以上説明した第２実施例によっても、第１実施例と同様に、校正時のユーザの負担を適切に軽減することができる。また、第２実施例によれば、第１実施例と異なり、自然特徴点を用いることで、マーカが無いような環境においても適切に校正を行うことができる。

　［変形例］
　以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。

　（変形例１）
　上記した実施例では、ユーザが注視した際にボタン８を押下することでＨＭＤ１００に注視を知らせていた。しかしながら、ボタン８を押す作業を行うと、その作業により集中力が削がれ視線方向が乱れたり、ボタン８を押す動作で頭部の位置にも影響が現れたりする。そのため、他の例では、ボタン８で注視の完了を知らせる代わりに、ユーザが注視動作を所定時間行った場合に、注視の完了とすることができる。つまり、ユーザが注視動作を所定時間行ったタイミングで、視線方向を検出することができる。これにより、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

　更に他の例では、ユーザが注視動作中に瞬きを行った場合に、注視の完了とすることができる。つまり、ユーザが瞬きを行ったタイミングで、視線方向を検出することができる。これによっても、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

　なお、ユーザが注視動作を所定時間行ったこと、及び、ユーザが注視動作中に瞬きを行ったこと、のうちのいずれかの条件が成立した際に、注視の完了と扱うこととしても良い。

　（変形例２）
　上記した実施例では、視線方向の検出についての校正を手動で行う例を示したが、当該校正を自動で行っても良い。その場合には、図７及び図９に示した校正処理において、ステップＳ１０１及びＳ１１１の処理を行う必要はない。また、視線方向の検出についての校正が不要なような検出方法を用いた場合には、ステップＳ１０１及びＳ１１１の処理を行う必要はない。

　（変形例３）
　上記した実施例では、撮像部２（カメラ）の撮影画像に基づいて、マーカや自然特徴点の３次元位置を検出していたが、撮像部２の代わりに、磁気センサや、超音波センサや、ジャイロセンサや、加速度センサや、角速度センサや、ＧＰＳ受信機や、無線通信装置を用いて、ターゲット（対象物）の３次元位置を検出しても良い。この場合には、マーカ等のターゲットの位置を固定するか、若しくはターゲットにもセンサを取り付けて、環境の基準位置に対してのＨＭＤ１００に取り付けたセンサ自体の位置や方向等を検出すれば良い。なお、上記した実施例のように撮像部２（カメラ）を用いる場合には、ターゲットの位置を検出する方法、及び、カメラの位置と方向とを検出して固定のターゲットの位置を推定する方法のどちらも適用可能である。

　また、マーカ検出部５２ａは、上記したようなマーカ検出以外に、画像マーカを利用しても良いし、自然特徴点を利用しても良い。

　更に、３次元位置検出に、複数の検出手法を併用しても良い。但し、校正用マーカ位置検出部５１ｄとマーカ検出部５２ａとで同じセンサの出力を利用する必要がある。

　（変形例４）
　本発明は、ＨＭＤ１００への適用に限定はされない。本発明は、光学透過式ＡＲを実現可能な種々のシースルーディスプレイに適用することができる。例えば、ヘッドアップディスプレイ（ＨＵＤ）やシースルーディスプレイなどに適用することができる。

　本発明は、ヘッドマウントディスプレイなどの光学透過式の表示装置に利用することができる。

　１　透過型ディスプレイ部
　１ａ　表示部
　２　撮像部
　３　装着部
　４　表示面
　５　制御部
　６　近赤外線光源
　７　視線方向検出部
　５１　校正部
　５２　変換行列算出部
　５３　レンダリング部
　１００　ヘッドマウントディスプレイ（ＨＭＤ）
　２００　マーカ

Claims (13)

1. 　ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置であって、
   　前記現実環境に存在する対象物の位置を検出する位置検出手段と、
   　前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、
   　前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備えることを特徴とする表示装置。
2. 　前記視線方向検出手段は、前記ユーザが注視したことを入力するための入力手段を操作した際に、前記視線方向を検出することを特徴とする請求項１に記載の表示装置。
3. 　前記視線方向検出手段は、前記ユーザが注視動作を所定時間行った際に、前記視線方向を検出することを特徴とする請求項１に記載の表示装置。
4. 　前記視線方向検出手段は、前記ユーザが瞬きを行った際に、前記視線方向を検出することを特徴とする請求項１に記載の表示装置。
5. 　前記位置検出手段は、前記現実環境を画像取得装置で撮影した撮影画像に基づいて、前記位置を検出し、
   　前記第１座標系は、前記画像取得装置を基準とした座標系であることを特徴とする請求項１乃至４のいずれか一項に記載の表示装置。
6. 　前記対象物は、前記校正手段による前記校正データの算出のために用いられるものであり、マーカであることを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
7. 　前記視線方向検出手段は、前記視線方向と前記表示装置による表示面との交点に当たる、前記第２座標系での座標を求め、
   　前記校正手段は、前記視線方向検出手段によって求められた前記座標と前記位置検出手段が検出した前記位置とに基づいて、前記校正データを算出することを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
8. 　前記ユーザに注視させるべき前記対象物を指定する指定手段を更に備え、
   　前記視線方向検出手段は、前記指定手段によって指定された前記対象物を前記ユーザが注視している際の視線方向を検出することを特徴とする請求項１乃至７のいずれか一項に記載の表示装置。
9. 　前記指定手段は、前記注視させるべき対象物に応じた画像を表示させることで、当該対象物の指定を行うことを特徴とする請求項８に記載の表示装置。
10. 　ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイであって、
    　前記現実環境に存在する対象物の位置を検出する位置検出手段と、
    　前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段と、
    　前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段と、を備えることを特徴とするヘッドマウントディスプレイ。
11. 　ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法であって、
    　前記現実環境に存在する対象物の位置を検出する位置検出工程と、
    　前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出工程と、
    　前記位置検出工程が検出した前記位置と前記視線方向検出工程が検出した前記視線方向とに基づいて、前記位置検出工程にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正工程と、を備えることを特徴とする校正方法。
12. 　コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムであって、
    　前記コンピュータを、
    　前記現実環境に存在する対象物の位置を検出する位置検出手段、
    　前記ユーザが前記対象物に視線を向けている際の視線方向を検出する視線方向検出手段、
    　前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記位置検出手段にて規定される第１座標系から前記表示装置による表示にて規定される第２座標系へ変換するための校正データを算出する校正手段、として機能させることを特徴とする校正プログラム。
13. 　請求項１２に記載の校正プログラムを記録したことを特徴とする記録媒体。

Images