JP7521845B1

JP7521845B1 - 頭部装着型視線検出装置および視線画像表示システム

Info

Publication number: JP7521845B1
Application number: JP2023113264A
Authority: JP
Inventors: 健人近藤
Original assignee: KONDO LABO., INC.
Current assignee: KONDO LABO., INC.
Priority date: 2023-07-10
Filing date: 2023-07-10
Publication date: 2024-07-24
Anticipated expiration: 2043-07-10
Also published as: JP2025010944A

Abstract

【課題】装着者の目線で画像を撮像できると共に、該画像における装着者の視線位置を取得し得る頭部装着型視線検出装置、および視線画像表示システムを提案する。【解決手段】装着者の左右の視線Ｓ１，Ｓ２を夫々前方へ通過させる第一，第二プリズム３３，４３と、左右一方の第一プリズム３３に隣接配置された近赤外線カメラ３４と、左右他方の第二プリズム４３に隣接配置された眼球用カメラ４４とを備え、左右一方の第一プリズム３３が近赤外線カメラ３４の光軸Ｐ１を前方へ屈折させて左右一方の視線Ｓ１に一致できると共に、左右他方の第二プリズム４３が眼球用カメラ４４の光軸Ｐ２を後方へ屈折させて左右他方の眼球を撮像可能とする。そして、眼球用カメラ４４で撮像した画像データに基づいて、近赤外線カメラ３４で撮像した画像における視線位置の情報を取得するようにした。【選択図】図７

Description

本発明は、装着者の視線を検出する頭部装着型視線検出装置、および該頭部装着型視線検出装置を備えた視線画像表示システムに関する。

例えば特許文献１では、装着者の眼球の動きを撮像して、該装着者の注視点を検出する構成が提案されている。かかる従来構成は、装着者の前方を撮像する視野用カメラと、ダイクロイックミラーを介して眼球の動きを撮像する眼球用カメラとを備え、眼球用カメラで撮像されたデータを演算処理して得た注視位置を、視野用カメラで撮像した画像に重ね合わせてモニターで表示する。

特開２０１４－１７１５８６号公報

ところで、前述した特許文献１の従来構成は、眼球用カメラによって、眼前に配置されたダイクロイックミラーを介して眼球の動きを正確に撮像できる一方、視野用カメラが両眼の上方に配置されていることから、該視野用カメラの光軸が装着者の視線と異なるために、該視野用カメラで撮像した画像が装着者の見ている像と一致しない。そのため、眼球用カメラで撮像したデータから得た注視位置を視野用カメラで撮像した画像に重ね合わせる場合に、該注視位置を正確に表示することが難しかった。

本発明は、装着者の前方を撮像した画像における、該装着者の視線位置を正確かつ安定して取得し得る頭部装着型視線検出装置、および視線画像表示システムを提案するものである。

本発明の第一発明は、装着者の頭部に装着される頭部装着部と、前記頭部装着部に取り付けられ、前記装着者の左右の視線を夫々前方へ通過させる左右の視線通過部材と、左右一方の視線通過部材に隣接して配設され、当該視線通過部材を介して装着者の前方を撮像する視野撮像手段と、左右他方の視線通過部材に隣接して配設され、当該視線通過部材を介して装着者の眼球を撮像する眼球撮像手段と、前記視野撮像手段により撮像された視野画像の情報と前記眼球撮像手段により撮像された眼球画像の情報とに基づいて、該視野画像における視線位置の情報を取得する視線情報取得手段とを備え、前記左右一方の視線通過部材は、前記装着者の視線を前方へ通過させると共に、前記視野撮像手段の光軸を前方へ屈折させるプリズムを備えたものであり、前記左右他方の視線通過部材は、前記装着者の視線を前方へ通過させると共に、前記眼球撮像手段の光軸を後方へ屈折させて、該眼球撮像手段により左右他方の眼球を撮像可能としたプリズムを備えたものであることを特徴とする頭部装着型視線検出装置である。

かかる構成にあっては、視野用撮像手段の光軸を左右一方の視線と一致させることができ、該一致によって装着者の目線で撮像した視野画像を得ることができると共に、眼球撮像手段が眼球画像の情報によって視線の向きを正確に得ることが可能である。そして、視野画像の情報と眼球画像の情報（視線の向き）とにより該視野画像における視線位置の情報を正確かつ安定して取得できる。こうして取得した視野画像における視線位置の情報に従って、モニター等の画像表示装置で該視野画像に重ねて視線位置を表示すれば、該画像表示装置を見る者に、装着者が見ている対象を同じ目線で示すことができ且つ該装着者の注視点を正確に示すことができる。これにより、例えば、医療現場で手術の執刀医が本発明の構成を使用すれば、アシスタントや見学者が該執刀医と同じ目線で手術の情報を見ることができると共に手術中における該執刀医の注視点を確認できることから、見学者等が手術の情報を正確に理解し易い。こうしたことは医療現場に限らず、教育現場や研究開発現場などでの教育や技術継承などで有益である。

本発明の第二発明は、前記第一発明の頭部装着型視線検出装置と、画像を表示する画像表示装置と、前記画像表示装置で画像を表示させる制御を行う画像制御手段とを備え、前記画像制御手段は、前記頭部装着型視線検出装置の視野撮像手段により撮像された視野画像の情報に基づいて、前記画像表示装置で視野画像を表示させる視野画像表示手段と、前記頭部装着型視線検出装置の視線情報取得手段により取得された視線位置の情報に基づいて、前記画像表示装置で、視野画像表示手段により表示される視野画像に該視線位置を示す視線画像を重ねて表示させる視線画像表示手段とを備えたものであることを特徴とする視線画像表示システムである。

かかる構成にあっては、画像表示装置で表示する視野画像によって、頭部装着型視線検出装置の装着者と同じ目線で該装着者と同じものを見せることができると共に、該視野画像に重ねて表示した視線画像によって、該装着者の注視する注視点を正確に示すことができる。これにより、画像表示装置を見る者に、装着者が注視する位置を正確に伝えることができる。したがって、例えば医療現場、教育現場、および研究開発現場などで適用されることにより、教育や技術継承を効率的に行うことができる。

本発明の頭部装着型視線検出装置にあっては、前述したように、視野用撮像手段が装着者の目線で撮像できることから、該視野用撮像手段により撮像した視野画像における視線位置を正確かつ安定して示すことができる。したがって、視野画像と視線位置を示す視線画像とを画像表示装置等に表示すれば、該画像表示装置を見る者に、装着者の注視点を正確に伝えることができるため、医療現場等での教育や技術継承で有益である。

本発明の視線画像表示システムにあっては、前述したように、装着者の目線で撮像した視野画像と視点画像とを画像表示装置で表示できることから、該装着者の注視点を正確に伝えることができ、医療現場等での教育や技術継承を効率的に行うことができる。

実施例の頭部装着型視線検出装置１を示す斜視図である。頭部装着型視線検出装置１の、（Ａ）平面図と、（Ｂ）正面図である。頭部装着型視線検出装置１を装着した状態を示す側面図である。右側の視線撮像本体２２の、（Ａ）右側筐体３１を切り欠いて示す平面図と、（Ｂ）右側筐体３１を切り欠いて示す正面図である。左側の視線撮像本体２３の、（Ａ）左側筐体４１を切り欠いて示す平面図と、（Ｂ）左側筐体４１を切り欠いて示す正面図と、（Ｃ）正面図である。（Ａ）右側の視線撮像本体２２の第一プリズム３３を示す斜視図と、（Ｂ）第一プリズム３３の分解斜視図と、（Ｃ）左側の視線撮像本体２３の第二プリズム４３，４３を示す斜視図と、（Ｄ）第二プリズム４３，４３の分解斜視図である。頭部装着型視線検出装置１における、装着者の視線Ｓ１，Ｓ２と近赤外線カメラ３４の光軸Ｐ１とを示す説明図である。視線画像表示システム６１を示す説明図である。視線画像表示システム６１の画像表示装置６４での表示例を示す説明図である。

本発明を具体化した実施例を、添付図面を用いて説明する。尚、実施例にあって、前後方向は、実施例の頭部装着型視線検出装置１を装着した装着者における前後方向を示し、左右は、同様に該装着者における左右を示す。そして、前後方向と上下方向（縦方向）とに直交する左右方向を左右横方向という。また、左右方向にあって、左右の外側から装着者の中心に向かう方向を、内方とする。さらに、実施例にあって、前面と正面とは、同じ意味で用いている。

実施例の頭部装着型視線検出装置１は、図１～３に示すように、装着者１０１の両眼前方に配設されて両眼を覆う透明なシールド部４と、該装着者の両耳に掛けられることによって該装着者の頭部に装着されるフレーム部３とが一体的に設けられた保護メガネ２を備える。そして、前記フレーム部３の中央部に連結部材５を介して取り付けられた視線撮像ユニット６および照明装置７を備え、該視線撮像ユニット６と照明装置７とが一体的に設けられている。

前記連結部材５は、前記保護メガネ２のフレーム部３に固定される基部１１と、該基部１１に上下方向へ傾動可能に設けられた支持杆部１２と、該支持杆部１２を挿通させた上下方向の長孔が設けられた摺動部１３とを備える。支持杆部１２の先端部には位置決め部１５が回転可能に螺着されており、該位置決め部１５を締結することによって、該支持杆部１２に対する摺動部１３の上下位置を固定できる一方、該位置決め部１５の締結解除によって、摺動部１３を支持杆部１２に対して上下方向へ移動できる。摺動部１３には、前記照明装置７が上下方向へ傾動可能に取り付けられており、該照明装置７に前記視線撮像ユニット６が一体的に取り付けられている。こうした連結部材５は、支持杆部１２を基部１１に対して傾動させることによって、該支持杆部１２と摺動部１３と照明装置７および視線撮像ユニット６とを一体的に前後方向へ傾動できる。この視線撮像ユニット６の傾動により、装着者１０１の両眼との距離を変更できる。また、摺動部１３を支持杆部１２に対して上下方向へ摺動させることによって、該摺動部１３と照明装置７および視線撮像ユニット６とを一体的に上下方向へ摺動できる。さらにまた、照明装置７を摺動部１３に対して上下方向へ傾動させることによって、該照明装置７と視線撮像ユニット６とを一体的に上下方向へ傾動でき、これらを装着者に対して所望の角度で傾斜できる。

照明装置７は、前記摺動部１３に傾動可能に取り付けられた照明支持部１７と、可視光を照射する可視光ライト１８と、近赤外光（近赤外波長域の光）を照射する近赤外光ライト１９とを備え、可視光ライト１８と近赤外光ライト１９とが照明支持部１７に支持されている。可視光ライト１８と近赤外光ライト１９とは、前記視線撮像ユニット６の第一，第二プリズム３３，４３を介して見る対象物（装着者の視点Ｔ）に夫々光りを照射するように配置されている。可視光ライト１８が可視光を照射することによって、前記対象物の視認性を向上できる一方、近赤外光ライト１９が近赤外光を照射することによって、後述する近赤外線カメラ３４が近赤外線画像を撮像できる。尚、これらライト１８，１９には、図示しないＯＮ／ＯＦＦスイッチや電源などがケーブルを介して夫々接続されている。

次に、本発明の要部にかかる視線撮像ユニット６について説明する。
視線撮像ユニット６は、図１～３に示すように、前記照明装置７の照明支持部１７に取り付けられた案内支持部材２１と、該案内支持部材２１に夫々支持された左右の視線撮像本体２２，２３とを備える。

案内支持部材２１は、左右方向に長尺状に形成され、左右方向の中央部が前記照明支持部１７に固結されている。この案内支持部材２１は、中央部に対して左右対称に形成されており、左右両側に第一案内長孔部２５と第二案内長孔部２６とが夫々設けられている。第一案内長孔部２５は、左右横方向へ直線状に開口された長孔であり、案内支持部材２１を上下方向に貫通している。左右の第一案内長孔部２５は、装着者に装着された状態で、該装着者の左右両眼に対応する各両眼の前方位置に夫々設けられている。また、第二案内長孔部２６は、前記第一案内長孔部２５の外側に、該第一案内長孔部２５に対して前方へ直線状に傾斜された長孔であり、案内支持部材２１を上下方向に貫通している。

右側の視線撮像本体２２は、前記案内支持部材２１に左右方向へ摺動可能に支持された右側筐体３１と、該右側筐体３１の前部に取り付けられたルーペ部３２と、該右側筐体３１の内部に配設された第一プリズム３３（図４参照）とを夫々備える。さらに、右側筐体３１の内部には、近赤外線カメラ３４が配設されている（図４参照）。右側筐体３１は、内側（照明装置７寄り）に配置された第一筐体部３１ａと、該第二筐体部３１ｂの外方に連結筒部３１ｃを介して連結された第二筐体部３１ｂとを備え、第一筐体部３１ａの内部と第二筐体部３１ｂの内部とが連結筒部３１ｃの内部を介して連通されている。

ここで、第一筐体部３１ａに配設された第一プリズム３３は、図６（Ａ），（Ｂ）に示すように、二個の直角プリズム３８，３８が互いの斜面３８ａ，３８ａ同士を重ね合わせて接合された立方体であり、いわゆるキューブ型のビームスプリッターである。この第一プリズム３３の斜面３８ａには、透過率（透明度）を０～５０％とするミラーコーティングが施されている。この第一プリズム３３は、図４，７に示すように、装着者の眼前で斜面３８ａを内側前方へ傾斜させるようにして第一筐体部３１ａの内部に配設される。そして、第一プリズム３３の前面が、第一筐体部３１ａの前部に取り付けられたルーペ部３２に対向配置される。この第一プリズム３３には、前面、後面、および右側面に反射防止コーティングが施されると共に、その他の三面に、光の入出力を抑制する黒色コーティングが施される。

第一筐体部３１ａには、図４に示すように、前面部と後面部とに、内部の第一プリズム３３を臨む開口部（図示せず）が夫々形成されており、該前面部に前記ルーペ部３２が配設されている。ルーペ部３２は、略截頭円錐状の鏡筒と該鏡筒の前後端部に並設された二枚のレンズを備えた構成であり、後端部のレンズが前記第一筐体部３１ａの前面部の開口部に対向するように、該第一筐体部３１ａに一体的に取り付けられている。

さらに、第一筐体部３１ａには、図１～４に示すように、上面から上方へ突出されて、前記案内支持部材２１の第一案内長孔部２５に挿通される杆部と、該第一案内長孔部２５上で該杆部の上部に螺着されて、該第一案内長孔部２５に挿通不能な固定部とを有する支持杆部３５が設けられている。この支持杆部３５の固定部を締め付けることによって、第一筐体部３１ａを案内支持部材２１に位置決め固定できる一方、該固定部の締め付けを解除することによって、該第一筐体部３１ａを第一案内長孔部２５に沿って相対移動できる。同様に、第二筐体部３１ｂには、その上面から上方へ突出されて、前記案内支持部材２１の第二案内長孔部２６に挿通される杆部と、該第二案内長孔部２６上で該杆部の上部に螺着されて、該第二案内長孔部２６に挿通不能な固定部とを有する支持杆部３６が設けられている。この支持杆部３６の固定部を締め付けることによって、第二筐体部３１ｂを案内支持部材２１に位置決め固定できる一方、該固定部の締め付けを解除することによって、該第二筐体部３１ｂを第二案内長孔部２６に沿って相対移動できる。

こうした右側の視線撮像本体２２は、案内支持部材２１の第一，第二案内長孔部２５，２６に挿通された支持杆部３５，３６により夫々吊持される。そして、視線撮像本体２２は、両支持杆部３５，３６の固定部が締め付けられていない状態で、左右横方向へ移動可能であり、少なくとも一方の支持杆部３５，３６の固定部を締め付けることによって、位置決めされる。この締め付けられていない状態で視線撮像本体２２を左右へ移動させると、該視線撮像本体２２が左右横方向へ移動しつつ、第一案内長孔部２５に挿通された夫々の支持杆部３５を中心として前後方向へ傾動する。

一方、左側の視線撮像本体２３は、前記案内支持部材２１に左右方向へ摺動可能に支持された左側筐体４１と、該左側筐体４１の内側寄り前部に取り付けられたルーペ部３２と、該左側筐体４１の内部に配設された第二プリズム４３，４３（図５参照）とを夫々備える。さらに、左側筐体４１の内部には、眼球用カメラ４４が配設されると共に、モニター５１とレンズ５２とが前後に並んで配設されている（図５参照）。

ここで、左側筐体４１の内部には、図５に示すように、二個の第二プリズム４３，４３が左右方向に並設されており、一方の第二プリズム４３が前記ルーペ部３２の直後方に対向配置され、他方の第二プリズム４３が一方の第二プリズム４３の左方（外方）に配置されている。これら第二プリズム４３，４３は、図６（Ｃ），（Ｄ）に示すように、前記した第一筐体部３１ａの第一プリズム３３と同様に二個の直角プリズム３８，３８で形成された立方体であり、斜面３８ａに、透過率（透明度）を０～５０％とするミラーコーティングが施されている。二個の第二プリズム４３，４３は、図４に示すように、装着者の眼前で斜面３８ａを内側後方へ傾斜させるようにして左側筐体４１の内部に配設される。そして、一方（ルーペ部３２の直後方）の第二プリズム４３は、前面、後面、および左側面に反射防止コーティングが施されると共に、その他の三面に、光の入出力を抑制する黒色コーティングが施される。他方の第二プリズム４３は、前面、右側面、および左側面に反射防止コーティングが施されると共に、その他の三面に、光の入出力を抑制する黒色コーティングが施される。

左側筐体４１には、図５に示すように、前面部と後面部とに、前記した一方（内側）の第二プリズム４３を臨む開口部（図示せず）が夫々形成されており、該前面部に前記ルーペ部３２が配設されている。このルーペ部３２は、前記右側の視線撮像本体２２に配設されたものと同じ構成であり、後端部のレンズが前記左側筐体４１の前面部の開口部に対向するように、該左側筐体４１に一体的に取り付けられている。さらに、この左側筐体４１には、内側寄りの上面から上方へ突出された支持杆部３５と、外側寄りの上面から上方へ突出された支持杆部３６とが設けられている。これら支持杆部３５，３６は、前記した右側の視線撮像本体２２に設けられた支持杆部３５，３６と夫々同じ構成のものである。

こうした左側の視線撮像本体２３は、前述した右側の視線撮像本体２２と同様に、案内支持部材２１の第一，第二案内長孔部２５，２６に挿通された支持杆部３５，３６により夫々吊持される。視線撮像本体２３は、両支持杆部３５，３６の少なくとも一方の固定部を締め付けることによって、位置決めされる。そして、両支持杆部３５，３６が締め付けられていない状態で視線撮像本体２３を左右へ移動させると、該視線撮像本体２３が左右横方向へ移動しつつ、支持杆部３５を中心として前後方向へ傾動する。

尚、視線撮像本体２２，２３の支持杆部３５，３６と案内支持部材２１の第一，第二案内長孔部２５，２６との夫々の位置や寸法形状等は、該視線撮像本体２２，２３の移動によって、後述するように第一，第二プリズム３３，４３を通過する視線Ｓ１，Ｓ２の交わる位置Ｔ（以下、視点という）が略変わらないように、設定されている。

また、前述した右側の視線撮像本体２２には図４に示すように、、第二筐体部３１ｂおよび連結筒部３１ｃに近赤外線カメラ３４が配設されている。近赤外線カメラ３４は、近赤外線波長域の光を受光して撮像できるものであり、撮像素子が設けられた本体部とレンズが設けられた鏡筒部とを備え、撮像素子とレンズとの相対距離を変えることによってピント調整ができる。こうした近赤外線カメラ３４は、鏡筒部のレンズが、前記第一プリズム３３の右側面に対向するように設けられている。また、本実施例にあっては、連結筒部３１ｃに、ピント調整するための円盤状の操作板部３７が設けられている。こうした近赤外線カメラ３４は、ルーペ部３２を介した装着者の視点Ｔでピント調整できるように、焦点距離とＦ値（絞り）等が定められている。

近赤外線カメラ３４には、ケーブル４０が接続されており、該ケーブル４０を介して通信制御装置３９に接続されている。このケーブル４０は、図１，４に示すように、第二筐体部３１ｂから差し出されて、前記保護メガネ２のフレーム部３に連結され、装着者に保持された通信制御装置３９に接続される。近赤外線カメラ３４と通信制御装置３９との間では、ケーブル４０を介して、該近赤外線カメラ３４に撮像を指示する信号と該近赤外線カメラ３４で撮像した画像データとが送受信されると共に、該通信制御装置３９から近赤外線カメラ３４に電力が供給される。通信制御装置３９は、近赤外線カメラ３４に撮像させるスイッチ、電源、および無線通信機能などを備えており、該無線通信機能によって、近赤外線カメラ３４から入力した画像データをネットワークを介して通信することができる。

左側の視線撮像本体２３の左側筐体４１には、図５に示すように、前記他方（外側）の第二プリズム４３の外方に、眼球用カメラ４４が配設されている。眼球用カメラ４４は、可視光波長域の光を受光して撮像できるものであり、撮像素子が設けられた本体部とレンズが設けられた鏡筒部とを備え、該鏡筒部のレンズが、前記外側の第二プリズム４３の左側面に対向するように設けられている。ここで、眼球用カメラ４４は、第二プリズム４３，４３を介して装着者の眼球でピント調整できるように、焦点距離とＦ値（絞り）等が定められている。

さらに、左側筐体４１の内部には、前記外側の第二プリズム４３の直前方にモニター５１が配設されると共に、当該第二プリズム４３と該モニター５１との間にレンズ５２が配設されている。ここで、レンズ５２は、前記外側の第二プリズム４３の前面に対向状に配置され、モニター５１は、該レンズ５２を介して当該第二プリズム４３の前面に対向状に配置されている。ここで、モニター５１は、後述するように、前記した近赤外線カメラ３４で撮像した画像が表示される極小型のものであり、レンズ５２は、モニター５１で表示する画像を拡大表示させるものである。

前記した眼球用カメラ４４とモニター５１とには、図１，５に示すように、夫々ケーブル４８，４９が接続されており、該ケーブル４８，４９を介して前記通信制御装置３９に接続されている。そして、眼球用カメラ４４とモニター５１とは、前述した近赤外線カメラ３４と同様に、通信制御装置３９との間でケーブル４８，４９を介して信号やデータとが送受信されると共に、該通信制御装置３９から電力が供給される。ここで、モニター５１では、前記通信制御装置３９によって、近赤外線カメラ３４で表示された画像が表示される。すなわち、通信制御装置３９は、近赤外線カメラ３４から送信された画像データに基づいて、モニター５１で画像表示する表示制御手段が設けられている。これにより、モニター５１では、近赤外線カメラ３４で撮像した画像（以下、近赤外線画像という）を、リアルタイムで表示することができる。

このように左右の視線撮像本体２２，２３は、前記第一，第二プリズム３３，４３を備えた構成であることから、装着者の視線Ｓ１，Ｓ２で前方に位置する対象物をルーペ部３２，３２によって拡大視できると共に、近赤外線カメラ３４および眼球用カメラ４４により撮像することと、モニター５１で表示された近赤外線画像を装着者が見ることとができるようになっている。

詳述すると、右側の視線撮像本体２２では、ルーペ部３２を介して正面から入射する入射光が第一プリズム３３により、該第一プリズム３３の斜面３８ａを透過する透過光と、該斜面３８ａで外方（右方）へ反射する反射光とに分かれる。これにより、図７に示すように、右眼の視線Ｓ１が第一プリズム３３を通過すると共に、近赤外線カメラ３４の光軸Ｐ１が、該第一プリズム３３を通過する右眼の視線Ｓ１と一致できることから、該近赤外線カメラ３４が装着者の目線で撮像できる。

左側の視線撮像本体２３では、ルーペ部３２を介して正面から入射する入射光が内側の第二プリズム４３を透過すると共に、前記モニター５１で発する光が、外側の第二プリズム４３の斜面３８ａで反射して内方（右方）へ屈折して、内側の第二プリズム４３の斜面３８ａで反射して後方へ屈折する。これにより、左眼の視線Ｓ２が、内側の第二プリズム４３を通過すると共にモニター５１で表示された近赤外線画像を見ることができるから、左眼では、視点Ｔの対象物と該近赤外線画像とを重ねて見ることができる。ここで、前述したように、モニター５１では前記近赤外線カメラ３４で撮像された近赤外線画像をリアルタイムで表示することから、装着者は、左右の視線Ｓ１，Ｓ２で目視する像（可視光で見る像）と近赤外線カメラ３４で撮像した像（近赤外波長域の光で見える像）とが重ねられて見える。尚、モニター５１の直後方に配置されたレンズ５２は、モニター５１で表示された近赤外線画像を、ルーペ部３２を介して目視するサイズに合わせるために用いられる。

さらに、外側の第二プリズム４３は、前述のようにモニター５１の光を斜面３８ａで反射すると共に、該斜面３８ａで左右方向へ光を透過する。これにより、眼球用カメラ４４の光軸Ｐ２が、外側の第二プリズム４３を通過して内側の第二プリズム４３で後方へ屈折することから、装着者の左の眼球を略正面から撮像することからできる。この眼球用カメラ４４は、左眼にピントを合わせて、該左眼の動画を撮像し、該動画の画像データを前記通信制御装置３９へ送信する。

本実施例の頭部装着型視線検出装置１は、保護メガネ２が装着者の頭部に装着されて、視線撮像ユニット６が該装着者の眼前に配置されることにより、該装着者に使用される（図３参照）。そして、装着者が、連結部材５を操作して、視線撮像ユニット６を昇降動させたり前後方向へ傾動させたりすることにより、該視線撮像ユニット６と照明装置７とを所望位置とする。さらに、左右の視線撮像本体２２，２３を操作して、各視線撮像本体２２，２３の第一，第二プリズム３３，４３（およびルーペ部３２，３２）を、左右夫々の眼前に配置する。このように左右の視線撮像本体２２，２３を、装着者の両眼に合わせて位置決めすることにより、図７に示すように、視線Ｓ１，Ｓ２が第一，第二プリズム３３，４３とルーペ部３２，３２とを通過して、両視線Ｓ１，Ｓ２が交わる視点Ｔで対象物を拡大視できる。

このように視線撮像本体２２，２３を位置合わせすることによって、装着者の視線Ｓ１が第一プリズム３３の中心または略中心を通過すると、該視線Ｓ１と近赤外線カメラ３４の光軸Ｐ１とが一致する。これにより、近赤外線カメラ３４が、装着者の目線で対象物を撮像できる。すなわち、前記した近赤外光ライト１９により近赤外光（近赤外波長域の光）を対象物（視点Ｔ）へ照射した状態で、近赤外線カメラ３４で撮像することにより、該対象物の近赤外線画像の画像データを生成できる。そして、通信制御装置３９が、近赤外線カメラ３４で撮像された画像データを受信すると、該画像データに基づいた近赤外線画像をモニター５１で表示する制御を行う。これにより、モニター５１で、近赤外線カメラ３４で撮像された近赤外線画像をリアルタイムで表示する。こうしてモニター５１で表示される近赤外線画像を装着者が左眼で見ることにより、左右の眼で第一，第二プリズム３３，４３とルーペ部３２，３２とを介して見る視点Ｔの対象物に、近赤外線カメラ３４で撮像された近赤外線画像（可視光で視認不能かつ近赤外波長域の光で視認可能な画像）を重ねて、リアルタイムで視認できる。

次に、前述した頭部装着型視線検出装置１を有する視線画像表示システム６１について説明する。
視線画像表示システム６１は、図８に示すように、頭部装着型視線検出装置１と、該頭部装着型視線検出装置１の通信制御装置３９から送信された画像データを受信して所定の処理を行うコンピュータ６２と、該コンピュータ６２を介して該画像データを記憶する記憶装置６３と、該画像データに基づいて動画や静止画を表示する画像表示装置６４とを備える。尚ここで、通信制御装置３９から送信される画像データには、前記近赤外線カメラ３４により撮像された画像データと、前記眼球用カメラ４４により撮像された画像データとが含まれる。

前記コンピュータ６２は、データを送受信する手段、画像表示装置６４で動画や静止画を表示させる画像制御手段６６などを備える。画像制御手段６６は、前記近赤外線カメラ３４から送信された画像データに基づいて画像表示装置６４で近赤外線画像７２（図９参照）を表示させる近赤外画像表示手段６７と、眼球用カメラ４４から送信された画像データに基づいて取得した視線位置を示す視線画像７３（図９参照）を画像表示装置６４で表示させる視線画像表示手段６８とを備える。ここで、視線画像表示手段６８は、眼球用カメラ４４から送信された画像データと、近赤外線カメラ３４から送信された画像データとに基づいて、前記近赤外線画像上における眼球の視線位置を所定の演算により取得し、該視線位置を示す視線画像７３を生成する。そして、この視線画像７３を前記近赤外線画像７２に重ねて画像表示装置６４で表示する。こうした画像制御手段６６によって、画像表示装置６４で近赤外線画像７２と視線画像７３とをリアルタイムで表示できる。

視線画像表示手段６８による視線位置を取得する所定の演算は、ルーペ部３２，３２の倍率や、眼球用カメラ４４で撮像した画像データに表示される眼球（瞳孔）の位置などから予め設定されており、近赤外線カメラ３４で撮像された画像データにより表示する近赤外線画像７２における視線位置を求めることができる。ここで、眼球用カメラ４４は、前述したように、左眼の略正面から眼球の動画を撮像できることから、視線画像表示手段６８は、該動画の画像データを解析することによって、当該眼球の動きを正確に求めることができ、前記視線位置の位置データ（情報）を正確かつ安定して取得できる。

さらに、コンピュータ６２は、近赤外線カメラ３４から受信した画像データと、眼球用カメラ４４から受信した画像データとを時系列的に対応付けて、前記記憶装置６３に記憶する処理を行う。そして、管理者等により操作されることによって、記憶装置６３に記憶された前記画像データを選択的に読み込んで、前述したように近赤外線画像と視線画像とを重ねて画像表示装置６４で表示する。

こうした視線画像表示システム６１は、図９に示すように、頭部装着型視線検出装置１の近赤外線カメラ３４で撮像した画像データによって、画像表示装置６４で近赤外線画像７２を表示できると共に、眼球用カメラ４４で撮像した画像データから取得した視線画像７３を、前記近赤外線画像７２に重ねて該画像表示装置６４で表示できる。これにより、画像表示装置６４を見る者が、該装着者と同様に、近赤外波長域の光で視認可能なものを含む対象物７１を見ることができると共に、該装着者の視線位置を視認することができる。

本実施例の頭部装着型視線検出装置１は、前述したように、装着者が、肉眼で見る（可視光で見る）対象物に近赤外波長域の光で見える近赤外線画像を重ねて見ることができるから、該近赤外線画像を正確に視認できる。ここで、近赤外線カメラ３４の光軸Ｐ１が第一プリズム３３で屈折されて装着者の視線Ｓ１と一致することから、装着者は、肉眼で見る対象物に近赤外線画像を違和感無く重ねて見ることができる。さらに、本実施例の視線画像表示システム６１は、頭部装着型視線検出装置１の近赤外線カメラ３４で撮像した近赤外線画像に、眼球用カメラ４４で撮像した画像データから得た視点画像を重ねて、画像表示装置６４で表示することから、該画像表示装置６４を見る者が、装着者と同じ目線で近赤外線画像を見ることができると共に、視点画像によって該装着者の注視点を視認できる。こうした本実施例の構成は、医療現場で適用することができ、例えば、採血や点滴等を行う医療従事者が頭部装着型視線検出装置１を装着することによって、血管を肉眼で視認し難い患者であっても該血管の位置を正確かつ容易に視認できる。また、手術の執刀医が頭部装着型視線検出装置１を装着することによって、肉眼で視認できない癌等を正確かつ容易に視認することができる。そして、こうした手術中に近赤外線カメラ３４で撮像した近赤外線画像と眼球用カメラ４４の撮像に基づく視点画像とを画像表示装置６４で表示することによって、アシスタントや見学者等が執刀医と同じ目線で手術の状況を見ることができると共に、該執刀医の注視点を知得できる。これにより、手術中にリアルタイムで表示すれば、前記アシスタントや見学者が手術状況を正確に知ることができるため、手術状況に応じて的確なアドバイス等を行うことができる。または、見学者等に、執刀医による手術の流れや注視点を正確に伝えることができる。同様に、手術後に記憶装置６３に記憶した画像データを読み込んで画像表示装置６４で表示することによって、学生や他の医療関係者に様々手術状況に関する知見を広めることに役立つ。

本実施例にあって、保護メガネ２が本発明にかかる頭部装着部に相当する。右側の視線撮像本体２２に配設された第一プリズム３３と、左側の視線撮像本体２３に配設された内側の第二プリズム４３（ルーペ部３２の直後方に位置するもの）とが、本発明にかかるプリズムに相当し、本発明の視線通過部材を構成している。近赤外線カメラ３４が、本発明にかかる視野撮像手段に相当し、眼球用カメラ４４が、本発明にかかる眼球撮像手段に相当する。コンピュータ６２の視線画像表示手段６８が、本発明にかかる視線情報取得手段に相当する。そして、コンピュータ６２の近赤外画像表示手段６７が、本発明にかかる視野画像表示手段に相当し、該コンピュータ６２の画像制御手段６６が、本発明にかかる視野画像表示手段と視線画像表示手段とを備えた画像制御手段に相当する。近赤外線画像が、本発明の視野画像に相当し、近赤外線カメラ３４で撮像された画像データが、本発明にかかる視野画像の情報に相当する。眼球用カメラ４３で撮像された画像データが、本発明にかかる眼球画像の情報に相当し、画像制御手段が当該画像データに基づいて求めた視線位置の位置データが、本発明にかかる視線位置の情報に相当する。

本発明は、前述した実施例に限定されず、本発明の趣旨を逸脱しない範囲内で適宜変更することが可能である。例えば、前述の実施例における各部の寸法形状は、適宜変更することができる。

前述の実施例は、右側の視線撮像本体に近赤外線カメラを備えたものであるが、これに限らず、該近赤外線カメラに代えて、可視光波長域の光を撮像するカメラが配設された構成であっても良い。こうした構成では、カメラが肉眼で目視できるものを撮像することから、実施例におけるモニター、レンズ、および外側のプリズムを備えない構成とできる。さらには、近赤外波長域を含む不可視光を受光して撮像できるカメラ（本発明の視野撮像手段）を備えた構成とすることもできる。この構成では、実施例の近赤外線カメラに限らず、近赤外領域を除く波長域の光（不可視光）を受光して撮像できるカメラが配設された構成であっても良い。

前述の実施例は、コンピュータの画像制御手段が、眼球用カメラで撮像した画像データに基づいて視点位置の位置データを求めるようにしたが、これに限らず、通信制御装置が、視点位置の位置データを求める手段（視線情報取得手段）を備える構成であっても良い。

前述の実施例は、左側の視線撮像本体が、モニターとプリズムとの間にレンズを配設した構成であるが、これに限らず、レンズを設けない構成であっても良い。このレンズは、モニターで表示される画像のスケールを、ルーペ部を介して装着者が見る対象物に合わせるためのものであることから、モニターのサイズや画像の表示サイズを調整すれば、レンズは設ける必要が無い。

前述の実施例は、左右の視線撮像本体が夫々ルーペ部を備えた構成であるが、ルーペ部の無い構成であっても良い。

１頭部装着型視線検出装置
２保護メガネ（頭部装着部）
３３第一プリズム
４３第二プリズム
３４近赤外線カメラ（視野撮像手段）
４４眼球用カメラ（眼球撮像手段）
６４画像表示装置
６６画像制御手段
６７近赤外画像表示手段（視野画像表示手段）
６８視線画像表示手段
Ｐ１，Ｐ２光軸
Ｓ１，Ｓ２視線

Claims

装着者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記装着者の左右の視線を夫々前方へ通過させる左右の視線通過部材と、
左右一方の視線通過部材に隣接して配設され、当該視線通過部材を介して装着者の前方を撮像する視野撮像手段と、
左右他方の視線通過部材に隣接して配設され、当該視線通過部材を介して装着者の眼球を撮像する眼球撮像手段と、
前記視野撮像手段により撮像された視野画像の情報と前記眼球撮像手段により撮像された眼球画像の情報とに基づいて、該視野画像における視線位置の情報を取得する視線情報取得手段と
を備え、
前記左右一方の視線通過部材は、
前記装着者の視線を前方へ通過させると共に、前記視野撮像手段の光軸を前方へ屈折させるプリズムを備えたものであり、
前記左右他方の視線通過部材は、
前記装着者の視線を前方へ通過させると共に、前記眼球撮像手段の光軸を後方へ屈折させて、該眼球撮像手段により左右他方の眼球を撮像可能としたプリズムを備えたものである頭部装着型視線検出装置と、
画像を表示する画像表示装置と、
前記画像表示装置で画像を表示させる制御を行う画像制御手段と
を備え、
前記画像制御手段は、
前記頭部装着型視線検出装置の視野撮像手段により撮像された視野画像の情報に基づいて、前記画像表示装置で視野画像を表示させる視野画像表示手段と、
前記頭部装着型視線検出装置の視線情報取得手段により取得された視線位置の情報に基づいて、前記画像表示装置で、視野画像表示手段により表示される視野画像に該視線位置を示す視線画像を重ねて表示させる視線画像表示手段と
を備え、
前記視野撮像手段は、不可視光を受光して撮像できるものであり、該視野撮像手段により撮像された前記視野画像に前記視線画像を重ねて前記画像表示装置で表示する
ものであることを特徴とする視線画像表示システム。