JP7017385B2 - 頭部装着型表示装置、表示システム及び表示方法 - Google Patents

Description

本発明は、医療用に好適な頭部装着型表示装置、表示システム及び表示方法に関する。

従来より、内視鏡装置が医療分野において広く利用されている。内視鏡装置は、細長い可撓性を有する挿入部を有する医療機器であり、術者は、その挿入部を被検体内に挿入して、被検体内を観察することができる。内視鏡によって撮像された被検体内の内視鏡画像は、モニタに表示可能である。近年、内視鏡画像を表示するモニタとして、頭部に装着してユーザの視界内に配置した表示ユニットに映像を表示する頭部装着型表示装置が採用されることがある。

頭部装着型表示装置は、装着者の視野内に仮想表示領域を配置し、仮想表示領域上に映像信号に基づく虚像を表示するように構成されている。頭部装着型表示装置として、シースルー光学系を採用した装置も開発されており、この表示装置を用いることで、外界の視界を遮ることなく各種情報の表示が可能である。

例えば、手術等においてこのようなシースルー光学系を採用した頭部装着型表示装置を採用した場合には、シースルー光学系を介して患者を直接観察すると同時に、仮想表示領域に表示された内視鏡画像を確認することができる。

しかしながら、医療従事者は、常に内視鏡映像を見るとは限らず、手術室内の他のスタッフや機材等を見る場合もある。この場合には、頭部装着型表示装置に表示されている内視鏡画像が視界の妨げになることがある。頭部装着型表示装置の筐体表面に触れることで、仮想表示領域の表示をオフにできる機能を有するものもあるが、筐体表面は非滅菌領域であることから、ドクターやスクラブナースは表示のオンオフ操作を行うことができない。

そこで、特許文献１においては、使用者の視線方向を検出し、検出した視線方向に応じて、外形を優先する外形優先表示と虚像を優先する虚像優先表示を切り替える技術が開示されている。

特開２０１７－１３８６０９号公報

しかしながら、特許文献１の提案では、複数人で連携して例えば患者への処置を行う医療現場等での使用は考慮されておらず、一人の使用者の作業モードのみに応じて優先する表示の切り替えが行われるようになっている。このため、医療現場等においては、必ずしも有効な表示制御を行うことができるとは限らないという問題があった。

本発明は、複数の設定を保持し利用者毎に最適な設定を読出して表示制御を行うことにより、複数人で連携して作業をする場合に効果的な表示を行うことができる頭部装着型表示装置、表示システム及び表示方法を提供することを目的とする。

本発明の一態様による頭部装着型表示装置は、内視鏡外科手術による内視鏡画像を受信する画像受信部と、装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記内視鏡画像に基づく虚像を形成する表示部と、前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶部と、画像解析部の解析結果により、前記筐体がいずれの装着者に装着されているかを設定する設定部と、前記筐体の傾斜角度を検出する角度検出部と、前記角度検出部によって検出された傾斜角度と、前記設定部により設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御部と、前記制御部の判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定部により設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御部とを具備する頭部装着型表示装置において、前記制御部は、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにする。

本発明の一態様による表示システムは、複数の頭部装着型表示装置と前記複数の頭部装着型表示装置の装着者の情報を送信するシステムコントローラとを具備した表示システムにおいて、前記複数の頭部装着型表示装置は、それぞれ制御情報の送受信を行う送受信部と、画像を受信する画像受信部と、装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記画像に基づく虚像を形成する表示部と、前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶部と、前記筐体がいずれの装着者に装着されているかを設定する設定部と、前記筐体の傾斜角度を検出する角度検出部と、前記角度検出部によって検出された傾斜角度と、前記設定部により設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御部と、前記制御部の判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定部により設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御部と、前記筐体の位置情報を取得して前記送受信部により前記システムコントローラに出力する位置検出部とを具備し、前記システムコントローラは、前記複数の頭部装着型表示装置から受信した各位置情報に基づいて、前記複数の頭部装着型表示装置のそれぞれの装着者を判定して判定結果を各頭部装着型表示装置の前記設定部に与え、前記制御部は、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにする。

本発明の一態様による表示方法は、画像を受信する画像受信ステップと、装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記画像に基づく虚像を形成する表示ステップと、前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶ステップと、前記筐体がいずれの装着者に装着されているかを設定する設定ステップと、前記筐体の傾斜角度を検出する角度検出ステップと、前記角度検出ステップにおいて検出された傾斜角度と、前記設定ステップにより設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御ステップ、前記制御ステップの判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定ステップにより設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御ステップとを具備し、前記制御ステップは、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにする。

本発明によれば、複数の設定を保持し利用者毎に最適な設定を読出して表示制御を行うことにより、複数人で連携して作業をする場合に効果的な表示を行うことができるという効果を有する。

第１の実施の形態に係る頭部装着型表示装置を含む表示システムを示すブロック図。 図１の頭部装着型表示装置をユーザが装着した状態を説明するための説明図。 設定情報の内容を説明するための説明図。 図３の設定内容に対する制御部１１の表示制御を説明するための説明図。 図３の設定内容に対する制御部１１の表示制御を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。 第２の実施の形態において記憶部１２に記憶される設定情報の内容を説明するための説明図。 ナースの目に視認される仮想表示領域上の虚像の表示領域を説明するための説明図。 本発明の第３の実施の形態に係る頭部装着型表示装置を示すブロック図。 第３の実施の形態において記憶部１２に記憶される設定情報の内容を説明するための説明図。 第３の実施の形態において採用される動作フローを示すフローチャート。 本発明の第４の実施の形態に係る頭部装着型表示装置を含む表示システムを示すブロック図。 第４の実施の形態における装着者の判定方法を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る頭部装着型表示装置を含む表示システムを示すブロック図である。また、図２は図１の頭部装着型表示装置をユーザが装着した状態を説明するための説明図である。

本実施の形態は、シースルー型の頭部装着型表示装置を採用し、連携して作業を行う頭部装着型表示装置の装着者毎に、最適な虚像の表示制御を可能にするものである。なお、本実施の形態においては、内視鏡観察下において、患者の腹腔内の患部等に対して複数の術者が連携して処置を行う手術の例について説明するが、本実施の形態はこのような手術に利用される装置に限定されるものではない。

なお、一般的な手術の現場では、患者の執刀医及び助手の２人以上のドクターとドクターに器具を手渡しするスクラブナース（以下、単にナースともいう）の３人以上で手術が行われることが多いが、本実施の形態はこれに限らず頭部装着型表示装置を装着する２人以上の作業者の連携作業を支援するものである。

本実施の形態の表示システムは、図１に示すように、ｎ個（ｎは２以上の整数）の頭部装着型表示装置Ｄ１～Ｄｎ（以下、それぞれを区別する必要がない場合には、頭部装着型表示装置Ｄという）を有する。

先ず図２を参照して、ドクターやナース等の装着者５０が頭部装着型表示装置Ｄを装着する様子について説明する。図２に示す頭部装着型表示装置Ｄは、眼鏡型により構成された例を示しているが、帽子型やゴーグル型等の各種形状の装置を採用することができる。頭部装着型表示装置Ｄは、図１の回路を内蔵した筐体を頭部５０ａに取り付けるための支持部を有している。例えば、頭部装着型表示装置Ｄが眼鏡型で構成された場合には、図２に示すように、眼鏡フレーム６１のツル６１ａ及び鼻当て６１ｂが主な支持部となり、頭部装着型表示装置Ｄは装着者５０の頭部５０ａに十分な固定力で支持される。これにより、頭部装着型表示装置Ｄは、ユーザの５０の頭部５０ａの動きに合わせて移動し、顔の向きに応じて向きを変える。

図２において、眼鏡フレーム６１の一部には、図１の頭部装着型表示装置Ｄ中の各回路が収納される回路収納部６１ｃが設けられている。また、眼鏡フレーム６１の側部には、例えば装着者の視界と同様の視野範囲を撮像する撮像部２０（図１参照）を収納する撮像部収納部２０ａが配設されている。撮像部２０は撮像して得た撮像画像を記録部２１に与える。記録部２１は、供給された撮像画像を記録するようになっている。

眼鏡フレーム６１の左右のリムに嵌込まれる左右のレンズ６１ｄは、シースルー光学系を構成する。レンズ６１ｄは、観察対象物からの光を透過させて装着者の目に入射させることで、透過した光の知覚による像（以下、実像という）を形成可能とする。

また、回路収納部６１ｃ内には、後述する表示部１３及び表示制御部１４が設けられており、レンズ６１ｄは表示部１３の一部を構成する。表示制御部１４は映像信号に基づく映像光を表示部１３から出射させる。表示部１３を構成するレンズ６１ｄは、映像光を導光してその出射方向を装着者の目の方向に向ける。これにより、装着者５０の目による視界の一部に、目から所定距離に知覚される仮想表示領域が形成され、この仮想表示領域において映像信号に基づく画像（虚像）が視認されることになる。

なお、上記説明では、レンズ６１ｄが表示部１３を構成するものとして説明したが、レンズ６１ｄは単に観察対象物からの光を透過させる機能のみを備え、レンズ６１ｄとは別体の導光部材によって映像信号に基づく映像光を目に導くようになっていてもよい。更に、レンズ６１ｄを省略して、空気によってシースルー光学系を構成してもよい。本実施の形態におけるシースルー型の頭部装着型表示装置は、装着者の目に実像と虚像の両方を知覚させることができるものであれば、光学系の構成はどのようなものであってもよい。

術野には、例えば、図１の内視鏡２５、プロセッサ３０、システムコントローラ４０及び複数の頭部装着型表示装置Ｄが配設される。内視鏡２５は、被検体の体腔内に挿入される細長で可撓性を有する図示しない挿入部と、挿入部の基端に接続され、各種操作器が設けられた図示しない操作部とを有している。操作部からは図示しないケーブルが延設され、このケーブルを介して内視鏡２５とプロセッサ３０とを電気的に接続されるようになっている。

内視鏡２５は、挿入部の先端部から被検体に照明光を照射する。挿入部の先端部には図示しない撮像素子が配置されており、撮像素子の受光面には、被検体によって反射された被検体からの反射光（戻り光）が被写体光学像として結像するようになっている。撮像素子はこの光学像を光電変換して撮像信号を得る。内視鏡２５は、撮像素子によって取得した撮像信号をプロセッサ３０に出力するようになっている。

プロセッサ３０は制御部３１を有している。制御部３１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

プロセッサ３０は信号処理部３２を有しており、この信号処理部３２は制御部３１に制御されて、内視鏡２５からの撮像信号を受信して信号処理を行い内視鏡画像（動画像及び静止画像）を得る。プロセッサ３０は、信号処理部３２による信号処理後の内視鏡画像を送信部３３に与える。送信部３３は、制御部３１に制御されて、入力された内視鏡画像をシステムコントローラ４０に送信するようになっている。

システムコントローラ４０は制御部４１を有している。制御部４１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

システムコントローラ４０の信号受信部４２は、制御部４１に制御されて、プロセッサ３０の送信部３３から送信された内視鏡画像を受信するようになっている。システムコントローラ４０は、頭部装着型表示装置Ｄ１，Ｄ２，…，Ｄｎにそれぞれ対応した画像送信部４３Ｂ１，４３Ｂ２，…，４３Ｂｎ（以下、それぞれを区別する必要がない場合には、画像送信部４３Ｂという）を備えている。画像送信部４３Ｂ１，４３Ｂ２，…４３Ｂｎは、制御部４１に制御されて、信号受信部４２において受信した内視鏡画像をそれぞれ頭部装着型表示装置Ｄ１，Ｄ２，…Ｄｎに供給することができるようになっている。

システムコントローラ４０は、頭部装着型表示装置Ｄ１，Ｄ２，…，Ｄｎにそれぞれ対応した制御情報送受信部４３Ａ１，４３Ａ２，…，４３Ａｎ（以下、それぞれを区別する必要がない場合には、制御情報送受信部４３Ａという）を備えている。制御情報送受信部４３Ａ１，４３Ａ２，…４３Ａｎは、制御部４１からの各種制御情報をそれぞれ頭部装着型表示装置Ｄ１，Ｄ２，…Ｄｎに送信すると共に、頭部装着型表示装置Ｄ１，Ｄ２，…Ｄｎからの各種制御情報を受信して制御部４１に供給することができるようになっている。制御部４１は、各頭部装着型表示装置Ｄとの間で制御情報を送受信することで、各頭部装着型表示装置Ｄへの内視鏡画像の送信を個別に制御することができるようになっている。

頭部装着型表示装置Ｄ１，Ｄ２，…Ｄｎは、相互に同一構成である。頭部装着型表示装置Ｄは制御部１１を備えており、制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、記憶部１２に記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

頭部装着型表示装置Ｄは、制御情報送受信部１５を備えている。制御情報送受信部１５は、制御部１１からの各種制御情報をプロセッサ４０に送信すると共に、プロセッサ４０からの各種制御情報を受信して制御部１１に供給することができるようになっている。また、頭部装着型表示装置Ｄは、画像受信部１６を備えている。画像受信部１６は、制御部１１に制御されて、プロセッサ４０からの内視鏡画像を受信して表示制御部１４に供給するようになっている。

表示制御部１４は、入力された内視鏡画像（映像信号）を表示部１３に与える。表示部１３は、この映像信号に基づく映像光を出射し、レンズ６１ｄの図示しない導光部材によって、映像光を装着者５０の目に入射させる。こうして、装着者５０の目による視界の一部の、目から所定距離に知覚される仮想表示領域に、映像信号に基づく内視鏡画像が虚像として視認されることになる。

本実施の形態においては、表示制御部１４は、内視鏡画像を表示部１３に出力して虚像を表示させる状態（以下、オン状態ともいう）と、内視鏡画像の表示部１３への出力を停止して虚像を非表示とする状態（以下、オフ状態ともいう）とが制御部１１によって制御されるようになっている。制御部１１は、表示制御部１４のオン，オフ状態の表示制御を、記憶部１２に記憶された設定情報に基づいて行うようになっている。

本実施の形態においては、記憶部１２には、複数の制御対象（装着者）に関する設定情報が制御対象毎に記憶されるようになっている。図３はこの設定情報の内容を説明するための説明図である。図３の例では、装着者がドクター、ドクター助手及びスクラブナースについて個別に設定内容が登録されていることを示している。図３の例では、ドクター及びドクター助手については、水平方向を基準として、術者の視線方向が－１０度未満の場合に虚像を表示させるオン状態にし、－１０度以上の場合に虚像の表示を停止するオフ状態に設定することを示している。なお、視線方向は、水平方向を０度とし、上方の角度を正、下方の角度を負とする。

また、図３の例では、スクラブナースについては、水平方向を基準として、術者の視線方向が－１０度以上の場合に虚像を表示させるオン状態にし、－１０度未満の場合に虚像の表示を停止するオフ状態に設定することを示している。このように、記憶部１２の設定情報は、装着者毎に個別に設定されている。

なお、記憶部１２に記憶させる設定情報は、ユーザ操作によって更新可能である。

図４Ａ及び図４Ｂは図３の設定内容に対する制御部１１の表示制御を説明するための説明図である。制御部１１は、装着者５０の視線方向と記憶部１２に記憶されている設定情報中の閾値（角度）との比較によって、虚像のオン，オフ制御を行う。この表示制御のために、頭部装着型表示装置Ｄには角度検出部１７が設けられている。角度検出部１７は加速度センサによって構成することができ、頭部装着型表示装置Ｄの傾斜角度を求めて角度情報を制御部１１に出力するようになっている。制御部１１は、角度検出部１７の検出結果に基づいて、頭部装着型表示装置Ｄの装着者の視線方向を判定する。

頭部装着型表示装置Ｄは、主にツル６１ａと鼻当て６１ｂとによって装着者５０の頭部５０ａに略固定されるようになっており、装着者５０の視線方向に対する傾斜角度は略規定されている。従って、制御部１１は、角度検出部１７が検出した頭部装着型表示装置Ｄの傾斜角度に基づいて、装着者５０の視線方向を判定することが可能である。

なお、制御部１１はキャリブレーションによって、視線方向の判定精度を向上させてもよい。例えば、装着者５０に視線を水平方向に向かせた状態で操作部１９の操作を行うことで、制御部１１は当該操作時点における傾斜角度を水平方向と判定するようにしてもよい。なお、操作部１９は、図示しないスイッチ、キー、ボタン等により構成されており、ユーザ操作を受け付けて操作信号を制御部１１に供給するようになっている。

例えば、図４Ａはドクター及びドクター助手（以下、両者を単にドクターという）に対する設定を示している。制御部１１は、ドクターが視線を水平方向を基準に－１０度よりも下方に向けた（－１０度未満）ものと判定した場合には、オン状態にするように表示制御部１４を制御する。逆に、ドクターが水平方向を基準に下方１０度以上に上方に視線を向けた（－１０度以上）ものと判定した場合には、オフ状態にするように表示制御部１４を制御する。

これに対し、図４Ｂはスクラブナースに対する設定を示している。制御部１１は、ナースが視線を水平方向を基準に－１０度よりも下方に向けた（－１０度未満）ものと判定した場合には、オフ状態にするように表示制御部１４を制御する。逆に、ナースが水平方向を基準に下方１０度以上に上方に視線を向けた（－１０度以上）ものと判定した場合には、オン状態にするように表示制御部１４を制御する。

患者に対する執刀はドクターが行う。一般的に、この執刀作業においては、図示しないベッドに横たわった患者の方向に対してドクターは視線を向ける。即ち、ドクターの視線方向は、水平方向を基準に－１０度未満になることが多い。内視鏡観察下での執刀作業では、患者の方向にドクターの視線が向くと同時に、当該患者の内視鏡画像を観察可能であることが好ましい。逆に、ドクターが例えば水平よりも上方に視線を向ける場合には、処置具の受け渡し等のために、虚像の表示をオフ状態にして実像のみ視認できる方が好ましい。そこで、ドクターについては、水平を基準に－１０度未満でオン状態を設定し、－１０度以上でオフ状態を設定する。

一方、スクラブナースは、基本的にドクターと同様の内視鏡画像を確認できた方がよい。しかし、必要な処置具をドクターに手渡すために、処置具が載置された処置具台上から処置具を選択する必要があり、一般的に水平方向よりも下方に位置する台上に視線を向ける場合には、虚像をオフ状態にした方が正確な選択作業が可能である。そこで、ナースについては、水平を基準に－１０度未満でオフ状態を設定し、－１０度以上でオン状態を設定する、ドクターとは異なる制御を行う。

なお、上記説明では、オン，オフ制御のための閾値の角度は予め定めた－１０度に設定した例を示したが、例えば、装着者毎に、虚像のオン，オフ制御の判定に用いる視線方向に視線を向けさせた状態で操作部１９の操作を行わせて傾斜角度を求めることで、各装着者が希望する閾値の設定情報を記憶部１２に記憶させておくことも可能である。

本実施の形態においては、制御部１１が記憶部１２内のいずれの設定情報を用いるかを設定するための設定部１８が設けられている。設定部１８は、装着者が図３のいずれの対象（装着者）であるかを設定するようになっている。設定部１８は、例えば、操作部１９の図示しない設定ボタンの操作に基づいて、表示制御の対象となる装着者を制御部１１に指定することができるようになっている。制御部１１は、設定部１８に指定された装着者について、記憶部１２に記録された設定情報を読出す。制御部１１は、角度検出部１７が検出した傾斜角度と記憶部１２に記憶されている指定された装着者についての設定内容とに基づいて、頭部装着型表示装置Ｄ毎に虚像の表示制御を行う。

次に、このように構成された実施の形態の動作について図５を参照して説明する。図５は頭部装着型表示装置Ｄの動作を説明するためのフローチャートである。

例えば、２人のドクターと、スクラブナースとが参加する内視鏡観察下手術を行う場合について説明する。図示しない手術台上には患者が横たわり、例えばこの患者の両側に２人のドクターが位置し、執刀医であるドクターに対して処置具等を手渡せるようにスクラブナースが待機しているものとする。２人のドクターとスクラブナースとは、それぞれ頭部装着型表示装置Ｄ１～Ｄ３を装着しているものとする。

内視鏡２５は、挿入部が例えば患者の体腔内に挿入されて、体腔内を撮像して撮像信号をプロセッサ３０に出力する。プロセッサ３０は、信号処理部３２によって撮像信号に対する信号処理を行って、内視鏡画像を生成する。送信部３３は、生成された内視鏡画像をシステムコントローラ４０に送信する。システムコントローラ４０の制御部４１は、信号受信部４２において内視鏡画像を受信させる。一方、ドクター及びナースが装着している頭部装着型表示装置Ｄ１～Ｄ３の制御部１１は、制御情報送受信部１５により内視鏡画像の伝送をシステムコントローラ４０に要求する。制御部４１は、制御情報送受信部４３Ａにより受信した制御情報に基づいて、内視鏡画像を画像送信部４３Ｂ１～４３Ｂ３から頭部装着型表示装置Ｄ１～Ｄ３に送信させる。

こうして、頭部装着型表示装置Ｄ１～Ｄ３の画像受信部１６において、内視鏡画像が受信されて表示制御部１４に供給される。制御部１１がオン状態の制御を行った場合には、表示制御部１４は、制御部１１に制御されて内視鏡画像に基づく映像信号を表示部１３に供給する。これにより、表示部１３により各装着者の目に内視鏡画像が虚像として視認される。制御部１１がオフ状態の制御を行った場合には、表示制御部１４は、制御部１１に制御されて内視鏡画像の表示部１３への出力を停止し、虚像の表示をオフにする。この場合には、装着者に虚像が視認されることはなく、装着者は実像を見やすくなる。

このような虚像のオン，オフ制御のために、先ず設定部１８において制御対象の設定が行われる。即ち、頭部装着型表示装置Ｄ１，Ｄ２の設定部１８は、例えば操作部１９の操作によって、装着者がドクターであることを設定する。また、頭部装着型表示装置Ｄ３の設定部１８は、例えば操作部１９の操作によって、装着者がスクラブナースであることを設定する。

図５のステップＳ１において、制御部１１は設定部１８の設定に従って表示制御の対象を決定する。即ち、頭部装着型表示装置Ｄ１，Ｄ２の制御部１１は対象をドクターに設定し、頭部装着型表示装置Ｄ３の制御部１１は対象をスクラブナースに設定する。

ステップＳ２において、頭部装着型表示装置Ｄ１，Ｄ２の制御部１１は、記憶部１２からドクターに関する設定情報を読出し、頭部装着型表示装置Ｄ３の制御部１１は、記憶部１２からナースに関する設定情報を読出す。各頭部装着型表示装置Ｄの制御部１１は、ステップＳ３において、角度検出部１７の角度検出結果を読出し、ステップＳ４において、それぞれ装着者の視線方向を判定する。

次のステップＳ５において、制御部１１は、角度検出結果に基づく視線方向の角度と、記憶部１２から読出した設定情報に含まれる閾値の角度との比較を行う（ステップＳ５）。この比較の結果、制御部１１は虚像のオン制御又はオフ制御を行う。

いま、例えば、ドクターが執刀の最中であるものとする。この場合には、ドクターは、患者に視線を向ける。この場合の視線方向は、水平方向を基準に－１０度未満である場合が多く、頭部装着型表示装置Ｄ１，Ｄ２の制御部１１は、図３の設定情報から表示制御部１４に対してオン状態を指示する（ステップＳ６）。これにより、ドクターは患者を確認すると同時に、仮想表示領域に表示された内視鏡画像（虚像）を確認することができる。ドクターは、執刀を行う対象の方向、即ち手先の方向に視線を向けたままで内視鏡画像を手元側で確認することができ、ハンドアイコーディネーションが可能となる。

このようなドクターによる執刀時に、ナースは、処置具を選択するために処置具台上に視線を向けるものとする。そうすると、この場合の視線方向は、水平方向を基準に－１０度未満であることが多く、頭部装着型表示装置Ｄ３の制御部１１は、図３の設定情報から表示制御部１４に対してオフ状態を指示する（ステップＳ７）。これにより、ナースが装着する頭部装着型表示装置Ｄ３においては、表示部１３による虚像は表示されず、ナースは処置具台上を見やすくなり、処置具の確実な選択が可能となる。

このように、本実施の形態においては、ドクターが装着する頭部装着型表示装置Ｄ１，Ｄ２における表示制御と、ナースが装着する頭部装着型表示装置Ｄ３における表示制御とを個別に行うことが可能である。

なお、ドクターが処置具の受け渡し等のために、視線を水平方向を基準に－１０度の角度よりも上方に向けた場合には、制御部１１はオフ状態を設定し、表示部１３による虚像は非表示となる。これにより、不要に内視鏡画像が表示されることを防止して、作業性を向上させることが可能である。

また、ナースは処置具台上に視線を落とさない場合には、ドクターと同様の内視鏡画像を確認することができ、ドクターの指示等に対する理解を深めることが可能である。

このように、本実施の形態においては、表示制御の対象毎の設定情報を記憶すると共に、表示制御の対象をそれぞれ設定することができることから、連携して作業を行う装着者毎に、その作業の内容に応じた個別の表示制御が可能である。これにより、複数人で連携して作業をする場合の作業効率を向上させることができる。

（第２の実施の形態）
図６は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。図６において図５と同一の手順には同一符号を付して説明を省略する。本実施の形態におけるハードウェア構成は図１と同様である。

第１の実施の形態においては、設定情報としてはオン状態、オフ状態の閾値となる視線方向と比較する角度のみを設定して、虚像のオン制御又はオフ制御を行うものとして説明した。本実施の形態は、虚像のオン，オフ制御だけでなく、オン状態における表示態様についても制御するようにしたものである。

即ち、図６に示すように、制御部１１は、ステップＳ５においてオン判定を行うと、次のステップＳ８において、表示制御の対象がナースであるか否かを判定する。制御部１１は、表示制御の対象がドクターである場合にはステップＳ９において通常の全画面表示を行い、表示制御の対象がナースである場合にはステップＳ１０において子画面表示を行う。

次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は本実施の形態において記憶部１２に記憶される設定情報の内容を説明するための説明図である。また、図８はナースの目に視認される仮想表示領域上の虚像の表示領域を説明するための説明図である。

図７において、ドクター及びドクター助手に関する設定情報は図３と同様である。図７の例では、ナースに関する設定情報が図３と異なり、スクラブナースについては、水平方向を基準として－１０度未満でオフ状態、－１０度以上でオン状態が設定されるだけでなく、オン状態において子画面での表示が行われることを示している。

いま、例えばドクターに渡す処置具の選択のために、ナースが視線を水平方向を基準に－１０度の角度よりも下方に向けるものとする。この場合には、ナースが装着する頭部装着型表示装置Ｄの制御部１１は、ステップＳ５から処理をステップＳ７に移行してオフ状態を設定し、表示部１３による虚像は非表示とする。これにより、不要に内視鏡画像が表示されることを防止して、ナースによる確実な選択作業を可能にする。

次に、ナースは、選択した処置具をドクターに渡すために、視線を水平方向を基準に－１０度の角度よりも上方に向けるものとする。そうすると、ナースが装着する頭部装着型表示装置Ｄの制御部１１は、ステップＳ５においてオン判定を行った後、ステップＳ８おいて対象がナースであることを判定して処理をステップＳ１０に移行する。ステップＳ１０において、制御部１１は、表示制御部１４を制御して、表示部１３に内視鏡画像を子画面表示させる。

図８はこの場合における虚像の表示領域を示しており、表示部１３において形成可能な仮想表示領域ＤＶに対して、ナースに視認させる内視鏡画像（虚像）の表示領域７２は十分に小さい子画面である。ナースについては、処置具の受け渡しのために、内視鏡画像の視認性を向上させるよりも、ドクターの実像の視認性を良好にした方がよい場合がある。ナースについては子画面である表示領域７２において虚像を視認させることにより、処置具の受け渡し等に際して、内視鏡画像によりドクターの実像の視認性が悪化することを防止することができる。

なお、ドクターについては、ドクターが装着する頭部装着型表示装置Ｄの制御部１１は、ステップＳ８からステップＳ９に処理を移行して、第１の実施の形態と同様に、虚像を図８の表示領域７１に全画面表示する。

このように本実施の形態においては、第１の実施の形態と同様に、虚像の表示のオン，オフ制御を装着者毎に可能にすることができるという効果だけでなく、虚像の表示態様についても、装着者毎に個別に設定可能であるという利点を有する。例えば、ナースについては、虚像を子画面表示することができ、ナースの視界が内視鏡画像によって阻害されることを防止して、ナースの作業性を向上させることができる。

（第３の実施の形態）
図９は本発明の第３の実施の形態に係る頭部装着型表示装置を示すブロック図である。図９において図１と同一の構成要素には同一符号を付して説明を省略する。

第１及び第２の実施の形態においては、設定情報としては視線方向と比較する角度のみをオン状態、オフ状態の閾値として設定する例を説明した。本実施の形態は、視線方向と比較する角度だけでなく、受信画像や撮像して得た画像に基づいて、オン，オフ制御を行うものである。

頭部装着型表示装置ＤＧは、特徴記録部２２を備えた点が図１の頭部装着型表示装置Ｄと異なる。なお、図１の頭部装着型表示装置Ｄに代えて頭部装着型表示装置ＤＧを採用した表示システムを構築してもよく、頭部装着型表示装置Ｄと頭部装着型表示装置ＤＧとが混在する表示システムを採用してもよい。

特徴記録部２２には、表示制御を判定するための画像に関する画像特徴が記録されている。例えば、特徴記録部２２には、内視鏡画像に特有の画像特徴、例えば、臓器の画像の画像特徴の情報が記録されている。また、特徴記録部２２には、被写体がドクターである場合に特有の画像特徴の情報が記録されている。

撮像部２０は、頭部装着型表示装置ＤＧを装着する装着者の視界と同様の視野範囲を撮像して、撮像画像を記録部２１に与えると共に、制御部１１にも出力する。また、画像受信部１６は受信した内視鏡画像を制御部１１に出力する。

制御部１１は、公知の画像認識処理によって、撮像部２０からの撮像画像の画像特徴と特徴記録部２２に記録されている画像特徴との比較を行い、撮像部２０からの撮像画像にドクターの画像が含まれるか否かを判定するようになっている。また、制御部１１は、画像認識処理によって、画像受信部１６において受信した画像の画像特徴と特徴記録部２２に記録されている画像特徴との比較を行い、受信した画像が有効な内視鏡画像であるか否かを判定する。例えば、内視鏡２５の挿入部が体内に挿入されていない場合等においては、画像受信部１６において受信する画像は体腔内を撮像して得た有効な内視鏡画像ではない。

図１０は本実施の形態において記憶部１２に記憶される設定情報の内容を説明するための説明図である。図１０において、ドクター及びナースに関する視線方向と比較する角度に関する設定情報は図３と同様である。図１０の例では、画像認識結果に応じて、虚像のオン，オフ制御を行うことを示している。

即ち、装着者がドクターである場合の頭部装着型表示装置ＤＧの制御部１１は、画像認識結果によって有効な内視鏡画像が受信されていないと判定した場合には、装着者の視線方向の角度に拘わらず、虚像の表示をオフにするように、表示制御部１４を制御する。

また、装着者がナースである場合の頭部装着型表示装置ＤＧの制御部１１は、画像認識結果によって撮像部２０の被写体がドクターであるものと判定した場合には、装着者の視線方向の角度に拘わらず、虚像の表示をオフにするように、表示制御部１４を制御する。

なお、制御部１１は、受信する画像及び撮像した画像の両方についての画像認識結果に基づいて表示制御を行う例について説明したが、いずれか一方についての画像認識結果に基づいて表示制御を行うようになっていてもよい。

次に、このように構成された実施の形態の動作について図１１を参照して説明する。図１１は第３の実施の形態において採用される動作フローを示すフローチャートである。図１１において図５と同一の手順には同一符号を付して説明を省略する。図１１のフローは、ステップＳ１１～Ｓ１５の手順を付加した点が図５のフローと異なる。

即ち、図１１に示すように、制御部１１は、ステップＳ４において視線方向を判定した後、ステップＳ１１において、自機の装着者がドクターかナースかを判定する。装着者がドクターである場合の頭部装着型表示装置ＤＧの制御部１１は、次のステップＳ１２において、画像受信部１６において受信している画像についての画像認識処理を実行し、有効な内視鏡画像が入力されているか否かを判定する。制御部１１は、有効な内視鏡画像が入力されていない場合には、装着者の視線方向の角度に拘わらず、虚像の表示をオフにするように、表示制御部１４を制御する（ステップＳ７）。これにより、観察する必要の無い画像を虚像として表示することで、実像の視認性が悪化してしまうことを防止することができる。なお、制御部１１は、有効な内視鏡画像が入力されていると判定した場合には、ステップＳ５において角度検出結果と閾値との比較に基づく判定を行う。

一方、装着者がナースである場合の頭部装着型表示装置ＤＧの制御部１１は、ステップＳ１１からステップＳ１４に処理を移行し、撮像部２０において撮像して得た撮像画像についての画像認識処理を実行し、撮像画像中にドクターの画像が含まれるか否か、即ち、ナースが顔をドクターに向けているか否かを判定する（ステップＳ１５）。制御部１１は、ナースが顔をドクターに向けていると判定した場合には、装着者の視線方向の角度に拘わらず、虚像の表示をオフにするように、表示制御部１４を制御する（ステップＳ７）。なお、制御部１１は、ナースが顔をドクターに向けていないと判定した場合には、ステップＳ５において角度検出結果と閾値との比較に基づく判定を行う。

これにより、ナースが処置具等をドクターに手渡すためにドクターに顔を向けた場合等においては、虚像の表示をオフにすることができ、実像の視認性を向上させて確実な手渡し作業等を可能にする。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、画像認識によって、虚像の表示が必要ない場合を判定し、実像の視認性を向上させることができる。これにより、作業性を向上させることが可能である。

（第４の実施の形態）
図１２は本発明の第４の実施の形態に係る頭部装着型表示装置を含む表示システムを示すブロック図である。図１２において図１と同一の構成要素には同一符号を付して説明を省略する。

上記各実施の形態においては、表示制御の対象となる装着者については、設定部１８が操作部１９のユーザ操作に基づいて設定するものと説明した。これに対し、本実施の形態は設定部１８が自動的に装着者を判定して装着者の設定を行う例を示している。なお、本実施の形態における表示制御については、上記第１乃至第３の実施の形態のいずれの制御方法を採用してもよい。

図１２の表示システムは、システムコントローラ４０に代えてシステムコントローラ８０を採用すると共に、頭部装着型表示装置Ｄに代えて頭部装着型表示装置ＤＨ（ＤＨ１，ＤＨ２，…ＤＨｎ）を採用するものである。頭部装着型表示装置ＤＨは、位置検出部２４を採用すると共に、設定部１８は、制御情報送受信部１５が受信したシステムコントローラ８０からの情報に基づいて装着者を設定する点が第１の実施の形態と異なる。

位置検出部２４は、例えばＧＰＳ（global positioning system）を利用して、頭部装着型表示装置ＤＨの位置を検出し、検出結果を制御部１１に供給することができるようになっている。制御部１１は位置の検出結果を制御情報送受信部１５を介してシステムコントローラ８０に転送する。

システムコントローラ８０の制御部４１は、各頭部装着型表示装置ＤＨからそれぞれの位置検出結果が制御情報送受信部４３Ａを介して与えられる。制御部４１は受信した各位置検出結果に基づいて、各頭部装着型表示装置ＤＨの装着者がドクターであるかスクラブナースであるかを判定し、判定結果を制御情報送受信部４３Ａを介して各頭部装着型表示装置ＤＨに送信するようになっている。設定部１８は制御情報送受信部１５を介して受信した判定結果を制御部１１に設定するようになっている。

例えば、制御部４１は、位置検出結果に基づいて各頭部装着型表示装置ＤＨ同士の距離関係を求め、求めた距離関係に基づいてドクターであるかナースであるかを判定してもよい。

図１３はこの場合の判定方法を説明するための説明図である。図１３は出入り口９２を有する手術室９１の平面形状を示し、手術室９１内におけるドクター及びナースの位置関係を示している。図１３中の「Ｄｒ」を囲った丸印９５はドクターの位置を示し、「助」を囲った丸印９６，９７はドクター助手の位置を示し、「看」を囲った丸印９８はナースの位置を示している。通常、手術に際して、ドクター及びドクター助手は、図１３の丸印９５～９７に示すように、患者が横たわるベッド９３の近傍に位置し、ナースは、丸印９８に示すように、処置具台９４の近傍に位置することが多い。

制御部４１は、ドクター及びナースが装着する各頭部装着型表示装置ＤＨの位置検出結果を用いて、各頭部装着型表示装置ＤＨを基準に他の各頭部装着型表示装置ＤＨまでの距離を求める。制御部４１は、各頭部装着型表示装置ＤＨについて求めた他の頭部装着型表示装置ＤＨまでの距離の和が最も大きい頭部装着型表示装置ＤＨについて、装着者はナースであると判定する。図１３に示すように、ドクター同士は比較的近接した位置に位置するのに対し、ナースは、ドクター及びドクター助手から比較的離れた位置に位置する。従って、他の頭部装着型表示装置ＤＨまでの距離の和が最も大きい頭部装着型表示装置ＤＨは、ナースが装着しているものと判定することができる。また、ナースが装着している頭部装着型表示装置ＤＨ以外の頭部装着型表示装置ＤＨは、ドクター又はドクター助手が装着するものであると考えられる。

制御部４１は、各頭部搭載型表示装置ＤＨについての装着者の情報を各頭部搭載型表示装置ＤＨに送信させる。こうして、各頭部搭載型表示装置ＤＨの設定部１８はシステムコントローラ８０からの情報に基づいて、自動的に自機の装着者を設定することができる。

システムコントローラ８０は、画像解析部８１を備えた点がシステムコントローラ４０と異なる。また、図１２の表示システムはカメラ９０を備える。なお、上述した位置検出結果を用いる判定方法を採用する場合には、画像解析部８１及びカメラ９０は省略可能である。

カメラ９０は、例えば手術室の天井に配置されており、手術室内のドクター、ドクター助手及びナースを撮像することができるようになっている。カメラ９０が撮像して得た撮像画像は画像解析部８１に供給される。画像解析部８１は入力された撮像画像に対する画像解析処理によって画像特徴を抽出し、図示しないメモリに記録されている画像特徴の情報との比較に基づいて、撮像画像中の人物を特定し、画像解析結果を制御部４１に出力する。制御部４１は、人物の画像解析結果に基づいて、例えば、図１３と同様の判定方法によって、ドクターとナースとを判定し、その位置の検出結果を取得することが可能である。

また、画像解析部８１は、ドクターとナースとの画像特徴を用いて、撮像画像中のドクターとナースとを判定することができる場合もある。この場合には、制御部４１は、画像解析部８１の解析結果に基づいて、ドクターの位置とナースの位置との検出結果を得ることができる。

制御部４１は、これらの手法によって求めたドクターとナースについての位置の検出結果と、制御情報送受信部４３Ａを介して各頭部装着型表示装置ＤＨから受信した位置検出結果との比較に基づいて、各頭部装着型表示装置ＤＨの装着者がドクターであるかナースであるかを判定して、判定結果を各頭部装着型表示装置ＤＨに送信する。

こうして、設定部１８は、自機の装着者をシステムコントローラ８０からの情報に基づいて自動的に設定することができる。

なお、上記説明では、各頭部装着型表示装置ＤＨからの位置検出結果をシステムコントローラ８０に与え、システムコントローラ８０において各頭部装着型表示装置ＤＨを装着する装着者を判定し、判定結果を各頭部装着型表示装置ＤＨに送信する例を説明したが、システムコントローラ８０の制御部４１の制御を、いずれか１つ又は複数の頭部装着型表示装置ＤＨの制御部１１において実行するようになっていてもよい。この場合には、虚像の表示制御のためのシステムコントローラ８０は省略可能である。

更に、図９の頭部装着型表示装置ＤＧにおいては、単独でドクターが装着しているかナースが装着しているかを画像認識によって判定可能である。例えば、スクラブナースがドクターに受け渡す鉗子、スコープ、ガーゼ等の器具等の画像特徴を特徴記録部２２に記録させる。頭部装着型表示装置ＤＧの制御部１１は、撮像部２０によって撮像して得た撮像画像の画像特徴と特徴記録部２２から読み出した画像特徴との比較によって、スクラブナースがドクターに受け渡す器具が撮像されているか否かを判定する。例えば、制御部１１は、所定比率以上の期間、器具が撮像されていることを判定した場合には、当該頭部装着型表示装置ＤＧの装着者がナースであり、その他の頭部装着型表示装置ＤＧの装着者はドクターであると判定してもよい。

また、患者の術部の画像特徴、例えば、ドレープやトラカール等の画像特徴を特徴記録部２２に記録した場合には、頭部装着型表示装置ＤＧの制御部１１は、撮像部２０によって撮像して得た撮像画像の画像特徴と特徴記録部２２から読み出した画像特徴との比較によって、患者術部が撮像されているか否かを判定することができる。例えば、所定比率以上の期間、患者術部が撮像されていることを判定した場合には、当該頭部装着型表示装置ＤＧの装着者はドクターであり、その他の頭部装着型表示装置ＤＧの装着者はナースであると判定してもよい。

これらの場合において、画像上の特徴部分のサイズが所定の閾値よりも大きいか否かによって、特徴記録部２２から読出した画像特徴に対応する画像が検出されたか否かを判定するようになっていてもよい。

表示制御等の他の作用については、上記各実施の形態と同様である。

このように本実施の形態においては、表示制御の対象となる装着者を自動的に特定することができる。これにより、ユーザの設定作業を必要とすることなく、自動的に、装着者毎に、装着者の作業に適した虚像の表示制御が可能であり、作業性を著しく向上させることができる。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、上記各実施の形態においては、虚像のオン，オフ制御の閾値として水平方向を基準とした－１０度を採用した例を示したが、これに限定されるものではなく適宜設定可能であることは明らかである。

１１…制御部、１２…記憶部、１３…表示部、１４…表示制御部、１５…制御情報送受信部、１６…画像受信部、１７…角度検出部、１８…設定部、１９…操作部、２０…撮像部、Ｄ…頭部装着型表示装置。

Claims (11)

1. 内視鏡外科手術による内視鏡画像を受信する画像受信部と、
   装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記内視鏡画像に基づく虚像を形成する表示部と、
   前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶部と、
   画像解析部の解析結果により、前記筐体がいずれの装着者に装着されているかを設定する設定部と、
   前記筐体の傾斜角度を検出する角度検出部と、
   前記角度検出部によって検出された傾斜角度と、前記設定部により設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御部と、
   前記制御部の判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定部により設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御部とを具備する頭部装着型表示装置において、
   前記制御部は、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにする頭部装着型表示装置。
2. 前記記憶部は、装着者がドクター又はナースである場合の前記設定情報を保持することを特徴とする請求項１に記載の頭部装着型表示装置。
3. 前記設定部は、ユーザ操作に基づいて、前記装着者の設定を行うことを特徴とする請求項１に記載の頭部装着型表示装置。
4. 前記設定部は、手術室内に設けられ手術室内の人物を撮像する撮像部により撮像された撮像画像を解析し撮像画像中の人物を特定する画像解析部の解析結果に基づいて得られる前記筐体がいずれの装着者に装着されているかの判定結果に応じて、前記装着者の設定を行うことを特徴とする請求項１に記載の頭部装着型表示装置。
5. 前記制御部は、ユーザ操作に基づいて、前記設定情報を変更することを特徴とする請求項１に記載の頭部装着型表示装置。
6. 前記設定情報として、装着者毎の視線方向を示す角度が閾値として設定されており、
   前記制御部は、前記傾斜角度から求めた装着者の視線方向の角度と前記設定情報中の角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定することを特徴とする請求項１に記載の頭部装着型表示装置。
7. 前記設定情報は、前記画像の種類に応じた虚像の表示制御の情報を含み、
   前記制御部は、前記画像受信部が受信した画像の種類によっては、前記角度検出部によって検出された傾斜角度に拘わらず、前記虚像の表示をオフにする判定を行うことを特徴とする請求項１に記載の頭部装着型表示装置。
8. 周辺を撮像して撮像画像を得る撮像部を更に具備し、
   前記設定情報は、前記撮像画像の種類に応じた虚像の表示制御の情報を含み、
   前記制御部は、前記撮像画像の種類によっては、前記角度検出部によって検出された傾斜角度に拘わらず、前記虚像の表示をオフにする判定を行うことを特徴とする請求項１に記載の頭部装着型表示装置。
9. 周辺を撮像して撮像画像を得る撮像部を更に具備し、
   前記設定部は、前記撮像画像の画像解析に基づいて前記装着者を判定して設定することを特徴とする請求項１に記載の頭部装着型表示装置。
10. 複数の頭部装着型表示装置と前記複数の頭部装着型表示装置の装着者の情報を送信するシステムコントローラとを具備した表示システムにおいて、
    前記複数の頭部装着型表示装置は、それぞれ
    制御情報の送受信を行う送受信部と、
    画像を受信する画像受信部と、
    装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記画像に基づく虚像を形成する表示部と、
    前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶部と、
    前記筐体がいずれの装着者に装着されているかを設定する設定部と、
    前記筐体の傾斜角度を検出する角度検出部と、
    前記角度検出部によって検出された傾斜角度と、前記設定部により設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御部と、
    前記制御部の判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定部により設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御部と、
    前記筐体の位置情報を取得して前記送受信部により前記システムコントローラに出力する位置検出部とを具備し、
    前記システムコントローラは、
    前記複数の頭部装着型表示装置から受信した各位置情報に基づいて、前記複数の頭部装着型表示装置のそれぞれの装着者を判定して判定結果を各頭部装着型表示装置の前記設定部に与え、
    前記制御部は、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにすることを特徴とする表示システム。
11. 画像を受信する画像受信ステップと、
    装着者の頭部に装着される筐体に取り付けられ前記装着者の眼前に前記画像に基づく虚像を形成する表示ステップと、
    前記筐体の複数の装着者毎の前記虚像の表示制御のための設定情報を保持する記憶ステップと、
    前記筐体がいずれの装着者に装着されているかを設定する設定ステップと、
    前記筐体の傾斜角度を検出する角度検出ステップと、
    前記角度検出ステップにおいて検出された傾斜角度と、前記設定ステップにより設定された装着者についての前記設定情報に含まれる角度の閾値との比較に基づいて、前記虚像の表示のオン，オフを判定する制御ステップ、
    前記制御ステップの判定結果に基づいて、前記虚像の表示のオン，オフ制御を行うと共に、前記設定ステップにより設定された装着者に基づいて、表示がオンの前記虚像の表示サイズを設定する表示制御ステップとを具備し、
    前記制御ステップは、前記装着者が外科手術を執刀するドクターである場合には、外科手術実施時に前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオンにし、前記所定の角度よりも上方に向いている場合に前記虚像の表示をオフにすると共に、外科手術実施時に前記装着者が必要な処置具を選択するナースである場合には、前記装着者の視線が水平方向よりも下方の所定の角度よりも下方に向いている場合に前記虚像の表示をオフにし、所定の角度よりも上方に向いている場合に前記虚像の表示をオンにすることを特徴とする表示方法。

Images