JP6402366B2 - ３次元表示装置および３次元表示方法 - Google Patents

Description

本開示は、３次元表示装置および３次元表示方法に関する。

動画あるいは静止画を表示する表示装置において、画像に付加情報を重ね書きして呈示し、利便性を高める場合がある。特許文献１は、表示装置が３次元画像（例えば、左眼用画像および右眼用画像）を表示するものである場合には、表示画像上に奥行方向のものさしを表示する方法を開示している。これにより、オブジェクトの奥行位置を判りやすくしている。特許文献２は、表示画像に隣接する外枠部分に画角からはずれた鉗子の情報を表示する方法を開示している。これによりユーザは表示外にある鉗子の位置や状態の情報をも得ることができる。

特開平６−２９２２４０号公報 特表２００９−５４２３６２号公報

しかしながら、上記特許文献１および特許文献２では更なる改善が必要であった。

本開示の一態様に係る３次元表示装置は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する禁止領域決定部とを備え、前記表示領域候補決定部は、さらに、前記禁止領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示にかかる態様発明によれば、更なる改善を実現できた。

図１は、実施の形態１における３次元表示装置の機能構成を示すブロック図である。 図２Ａは、付加画像位置情報の一例を示す図である。 図２Ｂは、実施の形態１における座標系の一例を示す模式図である。 図３は、付加画像のサイズ情報の一例を示す図である。 図４は、付加画像の領域情報の一例を示す図である。 図５は、実施の形態１における３次元表示装置の処理動作を示すフローチャートである。 図６Ａは、メイン画像と付加画像の奥行に矛盾が無い場合の視線の一例を示す模式図である。 図６Ｂは、メイン画像と付加画像の奥行に矛盾がある場合の視線の一例を示す模式図である。 図７は、実施の形態２における３次元表示装置の機能構成を示すブロック図である。 図８は、実施の形態２における３次元表示装置の処理動作を示すフローチャートである。 図９は、実施の形態２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図１０Ａは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｂは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｃは、実施の形態２における付加画像の表示位置の一例を示す模式図である。 図１０Ｄは、実施の形態２におけるメイン画像の一例を示す模式図である。 図１１Ａは、実施の形態２における付加画像と境界領域の一例を示す模式図である。 図１１Ｂは、実施の形態２における左眼用画像の付加画像の表示位置の一例を示す模式図である。 図１１Ｃは、実施の形態２における右眼用画像の一例を示す模式図である。 図１２Ａは、実施の形態２における付加画像の境界領域の部分領域に付与されたＩＤの一例を示す模式図である。 図１２Ｂは、実施の形態２における境界領域の視差情報の一例を示す図である。 図１３Ａは、実施の形態２における付加画像の表示領域と、付加画像表示禁止領域と、境界領域の一例を示す模式図である。 図１３Ｂは、実施の形態２における付加画像の表示禁止領域からの距離の情報を含んだ付加画像表示候補領域の奥行情報の一例を示す図である。 図１４Ａは、実施の形態２における付加画像の小さい枠の一例を示す模式図である。 図１４Ｂは、実施の形態２における付加画像の大きい枠の一例を示す模式図である。 図１５は、実施の形態２の変形例１における３次元表示装置の機能構成を示すブロック図である。 図１６は、実施の形態２の変形例１における表示禁止領域情報の一例を示す図である。 図１７は、実施の形態２の変形例１における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図１８は、実施の形態２の変形例２における３次元表示装置の機能構成を示すブロック図である。 図１９は、実施の形態２の変形例２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２０Ａは、実施の形態２の変形例２における、付加画像の表示領域候補の境界面と、境界領域と、境界隣接領域との一例を示した模式図である。 図２０Ｂは、実施の形態２の変形例２における、境界領域と境界隣接領域とのそれぞれの部分領域のＩＤの一例を示す図である。 図２１は、実施の形態２の変形例２における境界領域と境界面隣接領域の視差情報の一例を示す図である。 図２２は、実施の形態２の変形例２における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２３は、実施の形態２の変形例３における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２４は、実施の形態２の変形例４における３次元表示装置の部分の詳細な機能構成を示すブロック図である。 図２５は、実施の形態２の変形例４における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図２６は、実施の形態２の変形例５における３次元表示装置の処理動作を示すフローチャートである。 図２７Ａは、実施の形態２の変形例５における入力部の一例を示す模式図である。 図２７Ｂは、実施の形態２の変形例５における入力部の説明のためのディスプレイ表示の一例を示す模式図である。 図２８Ａは、実施の形態２の変形例６における付加画像サイズ入力の説明のためのディスプレイ表示の一例を示す模式図である。 図２８Ｂは、実施の形態２の変形例６における付加画像サイズ入力の説明のためのディスプレイ表示の一例を示す模式図である。 図２９は、実施の形態２の変形例６における３次元表示装置の機能構成を示すブロック図である。 図３０は、付加画像領域記憶部に記憶された記憶内容の一例を示す模式図である。 図３１は、実施の形態２の変形例７における３次元表示装置の処理動作を示すフローチャートである。 図３２Ａは、実施の形態２の変形例８における３次元表示装置の処理動作を示すフローチャートである。 図３２Ｂは、実施の形態２の変形例８における３次元表示装置の処理動作を示すフローチャートである。 図３３は、実施の形態２の変形例８における表示領域候補決定部の詳細な機能構成を示すブロック図である。 図３４は、実施の形態２の変形例８における表示領域候補決定部の処理動作を示すフローチャートである。 図３５は、実施の形態２の変形例９における３次元表示装置の機能構成を示すブロック図である。 図３６は、実施の形態２の変形例９における３次元表示装置の処理動作を示すフローチャートである。 図３７は、実施の形態２の変形例９における表示領域候補決定部の詳細な機能構成を示すブロック図である。 図３８Ａは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３８Ｂは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３８Ｃは、実施の形態２の変形例９における付加画像のレイアウトの一例を示す模式図である。 図３９は、実施の形態２の変形例９における表示領域候補決定部の処理動作を示すフローチャートである。 図４０Ａは、実施の形態２の変形例５〜９における、付加画像の表示領域候補をすべてディスプレイに表示する場合の一例を示す模式図である。 図４０Ｂは、実施の形態２の変形例５〜９における、付加画像の表示領域候補をすべてディスプレイに表示し、表示された付加画像の表示領域候補のうち１つを選択するための操作入力部の一例を示す模式図である。 図４１は、実施の形態３における３次元表示装置の機能構成を示すブロック図である。 図４２は、実施の形態３における付加画像の表示領域ごとの奥行差の情報の一例を示す図である。 図４３は、実施の形態３における３次元表示装置の処理動作の部分の動作を示すフローチャートである。 図４４は、実施の形態３における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図４５は、実施の形態３における３次元表示装置の処理動作の部分の詳細な動作を示すフローチャートである。 図４６は、実施の形態４における３次元表示装置の機能構成を示すブロック図である。 図４７は、実施の形態４における３次元表示装置の処理動作を示すフローチャートである。

（本開示にかかる発明の各態様を想到するに至った経緯）
まず、本発明者らが本開示にかかる各態様の発明をするにあたって、検討した事項を説明する。

本発明者らは、従来の方法では以下に記載する問題が生じることを見出した。

３次元画像の一部に特許文献１のものさしのような新たなオブジェクトを表示する場合、左眼用の画像のオブジェクトの位置と右眼用の画像のオブジェクトの位置との視差によって決定されるオブジェクトの表示奥行位置と、元の３次元画像に表示されたオブジェクトの奥行位置との差が大きすぎる、あるいは奥行位置の矛盾（奥行位置がより手前にあるオブジェクトを、奥行位置がより奥にあるオブジェクトが隠す）が起きる場合がある。同様に特許文献２の外枠部分への表示についても、画面上の表示画像と外枠上の表示画像との奥行位置の差が大きすぎる、あるいは画面上の表示画像と外枠上の表示画像との間に奥行位置の矛盾が起きる場合がある。このような大きすぎる奥行の差や奥行位置の矛盾は、ユーザに違和感や疲労を生じさせ、ユーザにとって高い負荷となるという課題があった。

以上の検討を踏まえ、本発明者らは、以下に記載する各態様の発明を想到するに至った。

即ち、本開示にかかる一の態様は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する。

この態様によれば、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。また、例えば、極端に手前に飛び出している領域に付加領域が表示されることで生じる奥行の矛盾を解消することができる。このため、ユーザの違和感や疲労を防ぐことができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下において必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

（実施の形態１）
＜構成＞
図１は、実施の形態１における３次元表示装置１０の機能構成を示すブロック図である。３次元表示装置１０は、３次元画像を表示する。つまり、３次元表示装置１０は、画像を立体的に表示する。具体的には、３次元表示装置１０は、ヘッドマウントディスプレイ（ＨＭＤ）方式により３次元画像を表示する。ＨＭＤ方式とは、ユーザの眼に近接したディスプレイにより３次元画像を表示するものである。ＨＭＤ方式では、視差を有する左眼用画像および右眼用画像を用い、ユーザの右眼に近接したディスプレイには右眼用画像を表示し、左眼に近接したディスプレイには左眼用画像を表示する。右眼用画像は左眼からは見ることができないように、かつ、左眼用画像は右眼では見ることができないように左右のディスプレイが配置されている。また例えば、メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッタメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する左眼用画像および右眼用画像を表示する方式である。また例えば、３次元表示装置１０は、裸眼式の立体表示方式により３次元画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。

図１に示すように、３次元表示装置１０は、メイン画像取得部１１０と、付加情報取得部１２０と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０とを備える。

メイン画像取得部１１０は、左右の視差を有する３次元表示用の画像情報（３次元画像）を取得する。画像は例えば平行に並べられた２つのカメラで同時に撮像された画像である。一方のカメラの画像は右眼用画像であり、他方のカメラの画像は左眼用画像である。画像は撮像中のものであっても、予め記録されたものであっても良い。なお、左右の視差を有する３次元表示用の画像は、１つのカメラで撮像された画像から、画像処理によって視差のある左右の画像を生成したものであっても良い。

付加情報取得部１２０は、メイン画像取得部１１０が取得する画像情報に付随する情報である付加情報を取得する。付加情報は、例えば、メイン画像を撮像するカメラ近傍に設置されたカメラ以外のセンサによって取得した、画像情報と時間的に同期した情報である。また、付加情報は、例えば、メイン画像とは別途作成された３次元画像である。

奥行情報生成部１３０は、メイン画像取得部１１０が取得した３次元画像の左右の視差を求め、メイン画像の奥行情報を生成する。例えば、奥行情報生成部１３０は右眼用画像と左眼用画像との間で対応点を抽出し、対応点の左右の視差を求めて奥行を計算する。

付加画像位置記憶部１４０は、付加情報取得部１２０で取得された付加情報を、ディスプレイ１９０の画面上に表示する際の位置を記憶する。例えば、付加画像位置記憶部１４０は、３次元画像が表示される際の３次元空間の座標を、上記位置として記憶する。また、付加画像位置記憶部１４０は、右眼用画像と左眼用画像とのそれぞれのディスプレイ１９０上の表示位置を、上記位置として記憶しても良い。図２Ａは、付加画像位置記憶部１４０に記憶される付加画像位置情報の一例を示す。図２Ｂは、付加画像位置を特定するための３次元座標の例を模式的に示したものである。図２Ａに示すように、付加画像位置記憶部１４０には、付加画像（付加情報を示す画像）の位置を識別する付加画像位置ＩＤと、付加画像位置ＩＤに対応する付加画像の重心位置とが記憶される。当該重心位置は、３次元空間を示す図２Ｂのように構成された座標軸上の点を示す。

付加画像サイズ記憶部１５０は、付加情報取得部１２０で取得された付加情報を付加画像として、ディスプレイ１９０の画面上に表示する際のサイズを記憶する。図３は、付加画像サイズ記憶部１５０に記憶される付加画像のサイズ情報の一例を示す。図３の例では、付加画像サイズ記憶部１５０は、付加画像のサイズ情報を識別する付加画像サイズＩＤと、付加画像の縦の長さと横の長さとを記憶している。実施の形態１では、付加画像の形状は長方形であり、縦の辺の長さと横の辺の長さによりサイズが指定されている。付加画像のサイズの表現方法は付加画像の形状に応じて異なる。例えば、付加画像の形状が楕円の場合には、長径と短径とによりサイズが指定される。

なお、ここでは付加画像位置記憶部１４０及び付加画像サイズ記憶部１５０がそれぞれ付加画像の位置及びサイズを記憶するものとしたが、付加画像の位置とサイズを１つの記憶部、例えば、付加画像領域記憶部に記憶しても良い。例えば、付加画像が多角形である場合には、付加画像領域記憶部には、各頂点の３次元空間中の座標位置が記憶される。これにより位置とサイズが合わせて記憶できる。図４は、付加画像の位置とサイズを領域として記憶する場合の、付加画像領域記憶部の記憶内容の一例を示す。付加画像はディスプレイ１９０の画面の４辺に４辺が平行な長方形であり、４つの頂点の座標位置が付加画像の領域を識別するＩＤに対応して記憶されている。

表示領域候補決定部１６０は、１つ以上の付加情報を付加画像としてディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。以下の説明では、単に、表示領域と言った場合には、付加情報または付加画像の表示領域を意味する。

奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成されたメイン画像の奥行情報とから、付加画像の表示領域とメイン画像のうち付加画像の表示領域の周辺部分との間の、奥行の違いに対して、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。

画像合成部１８０は、メイン画像取得部１１０が取得した３次元画像をディスプレイ１９０の画面に表示し、付加情報取得部１２０が取得した付加情報を、表示領域候補決定部１６０が決定した表示領域の候補のうちの少なくとも１つに、付加画像として表示するために、メイン画像及び付加画像を合成する。

ディスプレイ１９０は、画像合成部１８０により合成された画像を画面に表示する。

＜動作＞
図５は、実施の形態１における３次元表示装置１０の処理動作を示すフローチャートである。

まず、メイン画像取得部１１０は、左右の視差を有する３次元表示用の画像情報を取得し、また、付加情報取得部１２０は、画像情報が示すメイン画像に対応する付加情報を取得する（ステップＳ１１００）。付加情報はメイン画像と時間同期する情報であっても、時間同期しない情報であっても良い。

次に、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。付加画像のサイズと位置との情報は、１つ以上記憶されているものとし、表示領域候補決定部１６０は付加画像の表示領域候補を１つ以上決定するものとする。表示領域の候補決定方法は、例えば、付加画像位置記憶部１４０に記憶された付加画像の位置情報からいずれか１つを選択することで表示位置を決定し、さらに、付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報からいずれか１つを選択することで付加画像のサイズを決定する。

奥行適合判定部１７０は、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出する。境界面はディスプレイ１９０の平面に直交する奥行方向の面である。奥行適合判定部１７０は、ステップＳ１１００で取得されたメイン画像中の、付加画像との境界線あるいは境界面に隣接する部分を特定し、奥行情報を抽出する（ステップＳ１３００）。メイン画像の奥行情報については、ステップＳ１１００でメイン画像取得部１１０がメイン画像を取得し、ステップＳ１３００で奥行適合判定部１７０が奥行情報を抽出するまでの間に、奥行情報生成部１３０が奥行情報を生成して保持しているものとする。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶されている付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。奥行差は、例えば飛び出し側すなわちディスプレイ１９０からユーザ側へ向かって数値が大きくなるような奥行の座標軸上で表現される。この場合、付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、正である場合は、付加画像がより手前、すなわちユーザ側にとびだし、メイン画像が付加画像より奥にあることになる。付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、負である場合、付加画像の奥行の値の方が小さく、メイン画像のほうが手前に飛び出す位置にあることを示している。付加画像はメイン画像の一部を隠して表示されるため、隠れたメイン画像がより奥にあり、隠した付加画像がメイン画像より手前にあって、メイン画像に上書きされている状態になる。しかしながら、設定されている付加画像の奥行位置はメイン画像より奥になっているという奥行の矛盾が起っていることを示す。奥行の矛盾はユーザの疲労や酔いの原因となるため、例えば１ｃｍを超える奥行の矛盾は許容できないものとして許容範囲を設定する。一方、奥行の矛盾が無い場合であっても、近接する部分で奥行が大きく違う場合もユーザの疲労の原因になることが知られている。そこで、例えば、１５ｃｍを超える奥行の差は許容できないものとして許容範囲を設定する。例えば、許容範囲は、−１ｃｍ以上１５ｃｍ以下である。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

なお、奥行差の許容範囲はここでは−１ｃｍ以上１５ｃｍ以下のように固定の値とするが、付加画像の奥行位置により、異なる許容範囲が設定されているものとしても良い。付加画像の奥行が大きい場合、すなわち付加画像の飛び出しが大きくユーザの目前に迫っているほど、許容範囲が狭く、付加画像の奥行座標が小さくユーザから遠くに見えるほど奥行差の許容範囲が大きくなるように設定するものとする。

ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を変更する（ステップＳ１６００）。表示位置の変更は、付加画像位置記憶部１４０に記憶された表示位置のうち、ステップＳ１２００において表示位置候補として選択されていない表示位置を選択することにより行われる。ステップＳ１６００の後、ステップＳ１２００へ戻る。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する（ステップＳ１７００）。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像を、ステップＳ１２００で決定した表示領域候補を表示領域として当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置１０は、画像および付加情報を処理単位ごとに取得して、画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。

＜効果等＞
以上のように、本実施の形態によれば、３次元表示装置１０は、３次元画像に重ねてあるいは隣接して付加情報（付加画像）を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより、奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。

なお、実施の形態１では許容範囲を奥行の差で設定したが、視差の差によって設定することも可能である。

図６Ａおよび図６Ｂは、ディスプレイ１９０に表示されるメイン画像と付加画像の奥行位置と視差との関係を模式的に示したものである。

図６Ａは、奥行に矛盾が無く、メイン画像より手前に付加画像が表示されている状態を示している。

図６Ｂは、奥行が矛盾しており、付加画像がメイン画像より奥に表示されているにもかかわらず、手前のメイン画像に隠されることなく表示されている状態を示している。ディスプレイ上の座標は、ディスプレイに向かって右側が値が大きく、向かって左側が値が小さくなるように設定されている。視差を右眼用画像のｘ座標の値から左眼用画像のｘ座標の値を減じたものとして計算する場合、ディスプレイ表面上に表示される点は視差が０となり、図６Ａおよび図６Ｂの左向き矢印で示すようにディスプレイ表面より奥に見える点での視差は正の値となる。一方ディスプレイ表面より手前に見える点での視差は、図６Ａおよび図６Ｂの右向き矢印で示すように負の値となる。上記のような関係にある場合、付加画像の表示領域内部の視差から付加画像の表示領域外部の視差を減じた値が負の場合は、付加画像の表示領域内部の奥行は付加画像の表示領域の外部の奥行より浅い。すなわち、付加画像の表示領域が表示領域の外部より手前にあり、メイン画像取得部１１０で取得されたメイン画像より手前に付加画像が呈示されていることになり、奥行の矛盾は無い。逆に、図６Ｂに示すように、表示領域内部の視差から表示領域の外の視差を減じた値が正の場合は、メイン画像取得部１１０で取得されたメイン画像より奥、すなわち本来メイン画像によって隠されるはずの奥行位置に付加画像が呈示されていることになり、奥行の矛盾が生じている。表示領域内部の視差から表示領域の外の視差を減じた値が正の場合の許容範囲を小さく設定し、上記減じた値が負の場合には、一定の値を超えて減じた値が小さくならないよう許容範囲を設定する。表示領域内部の視差から表示領域の外の視差を減じた値が負の場合は、表示領域内部の視差から表示領域の外の視差を減じた値が小さくなる（絶対値が大きくなる）ことは、視差の差が広がることを示しており、奥行の差が大きくなることを示している。一定以上奥行の差が大きくならないように視差の差の範囲を定めることで、奥行の許容範囲を視差によって設定することができる。

なお、本実施の形態１では奥行適合判定部１７０は付加画像の境界面を挟んだメイン画像と付加画像との奥行の差が許容範囲外であるか否かの２値の判断を行ったが、当該のメイン画像と付加画像との奥行の差と許容範囲との差のサイズに従って、適合度を求め、適合度に従って、付加画像の表示領域の調整を行うものとしても良い。適合度は、メイン画像及び付加画像の奥行の差と適合度との関係を示す関数、あるいは対応表等によって示されているものとする。

（実施の形態２）
実施の形態１では３次元画像（メイン画像）および付加画像は特定の種類の画像および情報ではなかったが、３次元画像が内視鏡手術の画像であり、付加画像が示す付加情報は手術中の心拍や血圧等のバイタル情報を含むものでもよい。付加画像はさらに術前に撮像されたＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）やＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）等の画像情報を含んでもよい。

実施の形態２では、３次元画像はステレオカメラを用いた内視鏡による手術中の患部およびその周辺のリアルタイム画像であり、付加情報は当該手術中の患者のバイタル情報と、手術以前に撮像され記憶されたＭＲＩ画像の情報である。付加情報の種類については一例であり、これ以外の情報を付加情報として表示するものとしても良い。

＜構成＞
図７は、実施の形態２における３次元表示装置２０の機能構成を示すブロック図である。メイン画像取得部１１０が内視鏡カメラ１１１に置き換わり、付加情報取得部１２０がバイタルセンサ１２１に置き換わり、ＭＲＩ画像記憶部１２２、３次元画像合成部１２３、表示禁止領域記憶部２１０、入力部２００がつけ加わった以外は実施の形態１の図１と同様である。図１に同様の部分には図１と同一の符号を付し、説明を省略する。

３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。

内視鏡カメラ１１１は、ステレオカメラを含む３次元画像用の内視鏡カメラである。

バイタルセンサ１２１は、手術中の患者の身体に取りつけられたセンサであり、例えば、体温計、心電計、血圧計、血中酸素濃度計、脳波計等である。本実施の形態ではバイタルセンサは心電計と血圧計とする。

ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。なお、本実施の形態では術前に記録された画像情報としてＭＲＩシステムにより記録された画像情報を用いるが、エックス線写真の画像情報、ＣＴ画像情報等であってもよい。

３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。

表示禁止領域記憶部２１０は、予め定められた手術対象である患部を撮影している領域を示す情報、付加画像の表示禁止領域を示す情報として記憶している。ユーザすなわち術者は手術の間、患部を観視する必要がある。したがって、付加画像は患部を表示する領域以外に表示されるべきである。本実施の形態２では、付加画像の表示禁止領域は、ディスプレイ１９０の画面中心を中心とした長方形の固定領域とし、表示禁止領域記憶部２１０は、付加画像の表示禁止領域を示す情報として、長方形の４つの頂点の座標位置を記憶している。内視鏡カメラ１１１はガイドパイプによって手術対象である患部を観視しやすい位置に設置される。内視鏡カメラ１１１はガイドパイプの軸方向に沿って、患部へ近づくズームインと、患部から遠ざかるズームアウトとの動作が可能である。ガイドパイプは手術中固定であるため、内視鏡カメラ１１１がガイドパイプの軸と異なる方向に動くことは無い。

なお、本実施の形態２では、表示禁止領域は固定の領域としたが、カメラと患部との距離によって領域を変えるものとしても良い。この場合、表示禁止領域記憶部２１０は、カメラと患部との距離に対応する表示禁止領域を示す情報を記憶する。例えば、表示禁止領域記憶部２１０は、カメラと患部との距離の範囲ごとに、表示禁止領域の各頂点の座標を記憶する。

入力部２００は、ユーザが付加画像を表示するか否かの指示、および付加画像として表示する内容の条件を入力する処理部である。ユーザすなわち術者は手術中、入力部２００を用いて指示を入力することにより、必要な場合にバイタルセンサ１２１で取得した情報や、ＭＲＩによる画像を表示することができ、付加画像が不要な場合には付加画像の表示を中止することができる。また、ユーザすなわち術者はＭＲＩによる画像に対して２次元画像としてのスライスを表示するか３次元画像を表示するか、どの範囲を表示するか等の条件を、入力部２００を用いて指示することができる。

なお、本実施の形態２では、付加情報は、手術中にバイタルセンサ１２１より取得されているバイタル情報と、術前に記憶されたＭＲＩ画像情報との２種類であり、２種類の付加情報はそれぞれ別の付加画像として、それぞれの表示領域に表示されるものとする。

また、本実施の形態２ではバイタル情報とＭＲＩ画像情報とをそれぞれ別の付加画像として表示するものとしたが、複数種類の付加情報をまとめて１つの付加画像を生成して表示するものとしても良い。

＜動作＞
図８は、実施の形態２における３次元表示装置２０の処理動作を示すフローチャートである。ステップＳ１１１０とステップＳ１２１０が付け加わった以外は実施の形態１の図５と同様である。図５と同様の部分には図５と同一の符号を付し、説明を省略する。

まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として取得し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。

入力部２００は、ユーザ入力による表示制御信号を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像表示指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１２００へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像のないメイン画像である内視鏡カメラ画像を表示用画像として合成する。

ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせのうち、未選択の組み合わせの中から任意に１つを選択することにより、選択した組み合わせで示される領域を表示領域の候補として決定する。

表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６００へ進む。ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。つまり、表示領域候補決定部１６０は、表示領域候補が表示禁止領域を含まれないような位置に、付加画像の表示位置を移動させても良いし、予め定められた方向に予め定められた距離だけ付加画像の表示位置を移動させても良い。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。

ステップＳ１２００、ステップＳ１２１０、ステップＳ１６００を繰り返すことで表示禁止領域を回避して表示領域候補を決定する。ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。例えば、許容範囲は、実施の形態１と同様、−１ｃｍ以上１５ｃｍ以下である。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲に含まれると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動し、移動した表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１６００の後、ステップＳ１２００へ戻る。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する（ステップＳ１７００）。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像を、ステップＳ１２００で決定した表示領域候補を表示領域として当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置２０は、メイン画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。

＜奥行適合判定部１７０：ステップＳ１３００―Ｓ１５００の詳細＞
本実施の形態２においては、付加画像が２つの例を説明する。なお、付加画像の数は１つあるいは３つ以上であっても良い。本実施の形態２の付加画像のうち１つは、バイタルセンサ１２１で計測した心電位と血圧をグラフ化したものである。これをここではバイタル情報画像とする。バイタル情報画像におけるグラフでは、例えば、横軸に経過時間をとり、縦軸には血圧表示のための血圧の表示単位であるヘクトパスカル（ＨＰａ）と、心電位表示のための心電位の表示単位であるマイクロボルト（μＶ）とをとる。グラフは２次元画像として合成される。もう１つの付加画像は術前に記録されたＭＲＩによる画像情報であり、ＣＧ（コンピュータグラフィックス）により構成される３次元画像である。これをここではＣＧ画像という。ＭＲＩ画像記憶部１２２には、例えばポリゴンデータのような３次元情報を含むＣＧ画像の画像情報が記憶されている。３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された情報を元に、ＣＧ画像として表示する範囲とＣＧ画像の視点とを決定することで、視点から見た３次元のＣＧ画像を生成することができる。本実施の形態２においては、バイタル情報画像はディスプレイ平面より２ｃｍ飛び出した位置に置かれた平面状の画像として表示される。ＣＧ画像はディスプレイ平面を３次元オブジェクトの重心とした奥行位置に表示される。ＣＧによる３次元オブジェクトの奥行距離は一定となるよう画像が生成されている。例えば、奥行距離は、ディスプレイ平面より奥３ｃｍからディスプレイ平面より手前３ｃｍの、合わせて６ｃｍである。

図９は、実施の形態２における３次元表示装置２０の部分の詳細な構成を示すブロック図である。奥行適合判定部１７０は、境界抽出部１７１と、周辺奥行抽出部１７２と、付加画像奥行記憶部１７３と、奥行差計算部１７４と、基準記憶部１７５と、判定部１７６とを備える。

境界抽出部１７１は、ステップＳ１２００で表示領域候補決定部１６０が決定した付加画像の表示領域と、付加画像奥行記憶部１７３に記憶された各々の付加画像の奥行情報とから、各々の付加画像の表示領域についてメイン画像との境界面を求める。例えば、付加画像が、付加画像の４辺がディスプレイの４辺と平行な長方形である場合には、境界面は、図２Ｂに示す座標上のｘｚ平面とｙｚ平面として求められる。付加画像が、４辺がディスプレイの４辺と平行な長方形でない場合、境界面はディスプレイ平面に直交しｚ軸に平行な面である。

周辺奥行抽出部１７２は、奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺のメイン画像の奥行情報を抽出する。さらに、周辺奥行抽出部１７２は、付加画像奥行記憶部１７３に記憶された各々の付加画像の奥行情報から、境界面周辺の付加画像の奥行情報を抽出する。

奥行差計算部１７４は、周辺奥行抽出部１７２が抽出した付加画像領域の境界面周辺における、メイン画像の奥行と付加画像の奥行について、境界面ごとにメイン画像の奥行と付加画像の奥行との差を計算する。奥行の差は例えば以下のようにして求める。奥行差計算部１７４は、１つの境界面を挟むメイン画像側と付加画像側との各々について、画像内オブジェクトあるいは２次元画像の場合は画像の平面と境界面との１つ以上の接触位置を求める。奥行差計算部１７４は、メイン画像側と付加画像側との各々について、接触位置におけるｚ軸座標値を抽出する。奥行差計算部１７４は、メイン画像側と付加画像側との各々について、接触位置のｚ軸座標値の最大値を抽出する。奥行差計算部１７４は、付加画像側の最大値からメイン画像側の最大値を減じた値を奥行の差として計算する。領域ごとに複数の境界面がある場合には、奥行差計算部１７４は、奥行の差の最大値を当該領域の奥行差として判定部１７６に出力する。

なお、ここでは奥行の差を、境界面との接触位置のｚ軸座標値の最大値を元に決定したが、ｚ軸座標値の平均値等他の値を用いるものとしても良い。

なお、ここでは奥行の差を境界面との接触位置の座標値より求めたが、境界面を含む３次元の座標領域を設定し、座標領域内のオブジェクトを構成する点のｚ軸の座標値を元に奥行の差を計算するとしても良い。座標領域内のオブジェクトの座標についてもｚ軸の最大値や平均値等の値を用いることができる。

基準記憶部１７５は、予め定められた奥行の差の許容範囲を記憶している。

判定部１７６は、ステップＳ１４００において奥行差計算部１７４で計算された境界面を挟んだ奥行の差を基準記憶部１７５に記憶された許容範囲と比較して、付加画像表示領域の境界の内外の画像の奥行の差が許容範囲外か許容範囲内かを判定する。

＜ステップＳ１２００の説明＞
図１０Ａ、図１０Ｂおよび図１０Ｃは、表示領域候補決定部１６０が決定する表示領域候補の例である。図１０Ｄはメイン画像であるステレオの内視鏡カメラ１１１で取得された画像の一例である。図１０Ａは候補領域Ａの例であり、図１０Ｂは候補領域Ｂの例であり、図１０Ｃは候補領域Ｃの例である。ここでは、表示領域候補決定部１６０は、候補領域Ａ、候補領域Ｂ、候補領域Ｃの３つの候補領域を決定する。候補領域は１つ以上の任意の数でよい。ステップＳ１２００では、表示領域候補決定部１６０は表示領域の候補を決定する。各候補領域の位置情報は、付加画像位置記憶部１４０に記憶されている。

＜奥行情報生成部１３０と周辺奥行抽出部１７２の動作：ステップＳ１３００の詳細＞
奥行適合判定部１７０はステップＳ１３００において、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、奥行情報を抽出する。境界面の奥行情報を抽出するために、周辺奥行抽出部１７２は奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから境界面周辺のメイン画像の奥行情報を抽出する。

図１１Ａは図１０Ａに示した候補領域Ａの境界面周辺部すなわち、境界領域を示した模式図である。図１１Ｂは図１１Ａの左眼用画像である。図１１Ｃは図１１Ａの右眼用画像である。図１１Ｂには図１１Ａの境界領域を分割した分割領域を示している。

奥行情報生成部１３０は、左眼用画像と右眼用画像との対応点を抽出する。対応点の抽出は、ステップＳ１１００からステップＳ１３００までの間に行われていれば良い。対応点は、例えば、左眼用画像と右眼用画像の各々のエッジ抽出を行い、左右の画像で抽出されたエッジの位置と形状から対応を取ることで求められる。また、左右の画像の色領域を求め、色領域の対応を取ることで、対応点を求めても良い。図１１Ｂと図１１Ｃの対応点ａ、対応点ｂは、左眼用画像と右眼用画像との対応点の例である。対応点ａは左右の画像とも画面中同様の位置にあり、対応点ｂは左右の画像で画面中の位置が異なっている。奥行情報生成部１３０は、画面に描かれる左右の対応点における視差、すなわち左右の画像における水平位置のずれの情報を生成する。周辺奥行抽出部１７２は、左右の各画像内にある対応点のうち、左右の画像のいずれか一方の境界領域内にある対応点を抽出する。ここでは左眼用画像中の境界領域にある対応点を抽出するものとする。

周辺奥行抽出部１７２は、左眼用画像の境界領域内にある特定の点とその点に対応する右眼用画像内の点との水平位置の差を求める。水平位置の差は、例えば、図２Ｂのような座標系でのｘｙ平面上でのｘ座標の差として表現される。ここでは右眼用画像上の点のｘ座標の値から左眼用画像上の点のｘ座標の値を減じた値を水平位置のずれ、すなわち視差とする。この場合、視差が正の値の場合、その点は画面平面より奥に見え、視差が負の値の場合は、その点は画面平面より手前に見える。

図１２Ａは、左眼用画像上で設定された境界領域を示す模式図である。境界領域は部分領域に分割され、分割領域ごとにＩＤが設定されている。図１２Ａの例では、Ｄ１，１からＤ７，１０のＩＤが示されている。

図１２Ｂは、周辺奥行抽出部１７２が、左眼用画像の境界領域内で抽出した対応点から求めた、分割領域ごとの視差の一例を示したものである。周辺奥行抽出部１７２は、例えば、図１２Ｂのような情報を奥行差計算部１７４へ出力する。

奥行差計算部１７４は、周辺奥行抽出部１７２が抽出した付加画像領域の境界面周辺における、メイン画像の奥行と付加画像の奥行について、境界面ごとにメイン画像の奥行と付加画像の奥行との差を計算する。例えば、図１２ＡのＤ１，１からＤ１，１０の境界領域については、付加画像とメイン画像の境界のうちのｘｚ平面をなす部分の境界領域であるＤ１，１からＤ１，１０までの最大視差から奥行が求められる。奥行差計算部１７４は、求められた境界領域の奥行と付加画像の奥行との差を、付加画像の候補領域Ａのｘｚ境界面の奥行差とする。奥行差計算部１７４は、Ｄ１，１０からＤ７，１０までの領域についても同様の計算を行い、候補領域Ａのｙｚ境界面の奥行差を計算する。なお、ここでは境界領域の奥行を、境界面を構成する境界領域の最大視差より求めたが、境界面を構成する境界領域の平均視差等の値を用いても良い。

＜効果等＞
以上のように、本実施の形態２によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。特にステレオ内視鏡を用いた内視鏡手術の３次元画像においては、手術の対象となる患部が画面中央付近に表示されるのに対して、画面周辺部には鉗子のアームが表示されることが多い。鉗子はステレオ内視鏡と同方向から患部に向けて挿入されている場合が多く、アームは奥行方向に長く伸びるオブジェクトとして撮像される。画面手前に大きく飛び出した鉗子の画像に重ねてディスプレイ平面に近い奥行位置の付加画像を表示すると鉗子のアームにめり込んだように付加画像が表示されることとなる。このような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。

なお、本実施の形態２では、表示領域候補決定部１６０が表示禁止領域記憶部２１０に記憶された付加画像表示禁止領域を含まない表示領域の候補を決定し、奥行適合判定部１７０は表示禁止領域の情報を利用しなかったが、奥行適合判定部１７０が表示領域候補ごとの表示禁止領域からの距離の指標を取得し、表示禁止領域からの距離が遠い表示領域候補を優先して処理対象としても良い。

図１３Ａは、メイン画像上に候補領域Ａと境界領域および付加画像表示禁止領域とを示した模式図である。

図１３Ｂは、表示領域候補決定部１６０が奥行適合判定部１７０へ出力する候補領域ごとの奥行差の情報と禁止領域からの距離の情報の一例である。図１０Ａ、図１０Ｂ、図１０Ｃに示した候補領域ごとに禁止領域からの距離と境界面周辺のメイン画像と付加画像との奥行差の情報が含まれる。

図１３Ｂの例では、まず、候補領域Ｃは奥行差の許容範囲の下限である−１ｃｍを下回っているため、付加画像の表示領域として選択されない。候補領域Ａと候補領域Ｂとを比較すると、奥行差のみを考慮した場合には、候補領域Ｂの方が奥行差がより小さく、付加画像の表示領域として適している。しかしながら、候補領域Ｂは候補領域Ａに比べ付加画像表示禁止領域からの距離が小さい。例えば、付加画像表示禁止領域からの距離に対して、５０ピクセルまでは奥行差に５を加算し、７５ピクセルまでは３を加算し、１００ピクセルまでは２を加算し、２００ｐまでは１を加算するとする。表示禁止領域からの距離が２００ピクセル以上である場合には加算は無いものとする。このような補正値を当てはめた場合、図１３Ｂの例では候補領域Ｂの奥行差は奥行差６に５が加算されて１１となり、候補領域Ａの奥行差は奥行差７に２が加算されて９となる。この場合、奥行適合判定部１７０は、付加画像の表示領域として候補領域Ａを最適領域として選択することとなる。

付加画像表示禁止領域からの距離に基づく奥行差の補正の値と、補正の仕方についてはこれ以外の方法であっても良い。

なお、本実施の形態２では、奥行適合判定部１７０は付加画像表示領域の候補領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲内であるか否かを判定したが、許容範囲をわずかに超える奥行の差がある場合について、付加画像の表示領域に通常より太い枠を付け、奥行の差に対する緩衝領域を設けることで、緩衝領域を付加画像の表示可能な領域として、奥行差を判定しても良い。許容範囲をわずかに超えるとは、例えば、許容範囲を超えた奥行差の分量、つまり、奥行差と許容範囲との差が所定の値以下の場合を示す。

図１４Ａは、奥行適合判定部１７０が付加画像表示領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲内と判定した場合の付加画像を示し、当該の付加画像の枠の幅は小さい。

図１４Ｂは、奥行適合判定部１７０が付加画像表示領域の境界面付近でのメイン画像の奥行と付加画像の奥行との差が許容範囲外で、緩衝領域が必要と判定した場合の付加画像を示す。当該の付加画像の枠の幅は太く、枠の内外の奥行の差に対して緩衝領域となっている。

枠を太く設定する方法としては、メイン画像を遮蔽する領域を変化させない場合は付加画像を縮小して表示し、枠を太くすることができる。また、メイン画像の遮蔽領域を拡大しても良い場合は付加画像のサイズを変化させず、枠を太くすることができる。図１４Ｂの例では、付加画像を縮小し、且つ遮蔽領域を拡大している。

（実施の形態２の変形例１）
実施の形態２における３次元表示装置２０は、内視鏡カメラ１１１は撮像位置を変えることは無く、内視鏡カメラ１１１と患部との距離を変える、すなわちズームインおよびズームアウトをすることは無い。本変形例では内視鏡カメラ１１１が患部との距離を変更する場合について説明する。

内視鏡カメラ１１１が患部との距離を変更する場合、３次元画像の奥行情報が変化する。また、患部を中心とした、付加画像による遮蔽を禁止する領域が拡大または縮小する。そのため、付加画像の表示領域も変化する必要がある。実施の形態２の変形例１では内視鏡カメラ１１１から取得した画像より、カメラから患部までの距離を計算し、距離に応じた付加画像の表示禁止領域を決定して、付加画像の表示領域を決定する方法について説明する。

図１５は実施の形態２の変形例１の３次元表示装置２０の機能構成を示すブロック図である。表示禁止領域記憶部２１０が表示禁止領域記憶部２１１に置き換わり、禁止領域決定部２１２が付け加わった以外は、図７に示す実施の形態２の３次元表示装置２０と同様である。図７に同様の部分には同一の符号を付し、説明を省略する。

＜構成＞
３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１１と、禁止領域決定部２１２と、入力部２００を備える。

表示禁止領域記憶部２１１は、付加画像の表示を禁止する領域を記憶する。禁止領域は画面中心周辺である。画面中心周辺には手術対象である患部が撮影されているが、内視鏡カメラ１１１が患部に対して近づいた場合には、相対的に画面の広い範囲が患部周辺の画像となり、付加画像の表示禁止領域が広くなる。逆に、内視鏡カメラ１１１が患部から遠ざかった場合には、相対的に画面の中心部分の狭い範囲のみが患部周辺画像となって、付加画像の表示禁止領域が狭くなる。表示禁止領域記憶部２１１は、内視鏡カメラ１１１と画面中心のオブジェクトとの距離に対応した付加画像の表示禁止領域を記憶する。図１６は表示禁止領域記憶部２１１の記憶内容の一例を示す。内視鏡カメラ１１１と画面中心のオブジェクトとの距離の範囲と、その距離範囲に対応する表示禁止領域とが記憶されている。領域は図２Ｂのような３次元画像の座標で示されている。表示禁止領域は、ｘｙ平面上の領域として示されており、ｚ軸の値は任意である。ディスプレイ平面に直交する柱状の領域が表示禁止領域となる。

禁止領域決定部２１２は、奥行情報生成部１３０より出力されるメイン画像の奥行情報に従って内視鏡カメラ１１１と画面中心のオブジェクトとの距離を求める。禁止領域決定部２１２は、表示禁止領域記憶部２１１に記憶されている情報から、内視鏡カメラ１１１と画面中心のオブジェクトとの距離に対応する表示禁止領域を抽出して、付加画像の表示禁止領域を決定する。これにより、内視鏡カメラ１１１のズームインまたはズームアウトの動作に伴う、付加画像による遮蔽を禁じる領域の変化に対応して付加画像の表示領域を決定することができる。

以下に、奥行情報生成部１３０の詳細な構成と画面中心のオブジェクトとの距離の計算方法を示す。

図１７は、実施の形態２の変形例１の３次元表示装置２０の部分の詳細を示すブロック図である。

奥行情報生成部１３０は、対応点抽出部１３１と、視差計算部１３２と、奥行計算部１３３とを備える。

対応点抽出部１３１は、内視鏡カメラ１１１で取得されたステレオ３次元画像より、右眼用画像と左眼用画像との対応点を求める。すなわち、右眼用画像と左眼用画像において同一被写体の同一点を撮像した点を抽出する。対応点抽出の方法として、例えば左右の画像の輝度分布の相関から対応点を求める相関法や、左右の画像に対してエッジ抽出を行って、対応点を求める方法が利用可能である。

視差計算部１３２は、対応点抽出部１３１で抽出された各対応点について、右画像中での位置と左画像中での位置とを抽出して、左右の画像中での水平方向の位置の差を求める。例えば、ディスプレイ平面で水平方向をｘ軸とし、上下方向をｙ軸とし、ディスプレイの重心点を原点とする座標軸で、右方向をｘ軸の正、左方向をｘ軸の負とし、上方向をｙ軸の正、下方向をｙ軸の負とするｘｙ平面座標に従って左右の画像中の各対応点を示す。対応点の右眼用画像のｘ座標の値から左眼用画像のｘ座標の値を減じたものを視差として計算する。オブジェクトがディスプレイ平面上の位置にあれば、視差は０となり、オブジェクトがディスプレイ平面から飛び出した位置にある場合は、視差は負の値となる。オブジェクトがディスプレイ平面より奥へ引き込んだ位置にある場合は、視差は正の値となる。

奥行計算部１３３は、視差計算部１３２が計算した視差に基づいて、撮像時の内視鏡カメラ１１１とオブジェクトとの距離と、画像表示時の画像中オブジェクトの奥行位置とを計算する。奥行計算部１３３は、撮像時の内視鏡カメラ１１１とオブジェクトとの距離を禁止領域決定部２１２へ出力し、画像表示時の画像中オブジェクトの奥行位置を奥行適合判定部１７０へ出力する。

なお、本変形例１では、内視鏡カメラ１１１と画面中心オブジェクトすなわち患部との距離を、ステレオ３次元画像の視差を用いて計算したが、左右いずれかの画像内の、サイズが不動のオブジェクトを定め、当該オブジェクトの画像内のサイズから内視鏡カメラ１１１と画面中心オブジェクトとの距離を求めるとしても良い。

なお、本変形例１では、表示禁止領域記憶部２１１は内視鏡カメラ１１１とオブジェクトとの距離に対応する表示禁止領域とを記憶しているが、表示禁止領域記憶部２１１は表示禁止領域記憶部２１０と同様に標準の表示禁止領域のみを記憶していても良い。この場合、禁止領域決定部２１２が、当該の内視鏡カメラ１１１とオブジェクトとの距離と標準の距離との比に基づいて、表示禁止領域記憶部２１１に記憶された表示禁止領域のサイズを拡大又は縮小するとしても良い。

＜効果＞
本変形例では、表示禁止領域記憶部２１１にカメラと患部との距離に対応した付加画像表示禁止領域を記憶し、内視鏡カメラ１１１で取得した画像から、カメラと患部との距離が計算され、その距離に対応した付加画像の表示禁止領域が選択される。これにより、内視鏡カメラ１１１と患部との距離が変化して、すなわち内視鏡カメラ１１１がズームインあるいはズームアウトして、手術中に遮蔽されるべきでない患部とその周辺部との画像の領域が変化しても、付加画像が患部とその周辺部を遮蔽することなく、メイン画像と付加画像とが表示される。

（実施の形態２の変形例２）
実施の形態２では付加画像の奥行は固定であったが、本変形例では表示内容によって付加画像の奥行が変化する。付加画像の奥行が固定の場合、奥行適合判定部１７０は付加画像の表示領域の境界面およびその周辺領域の奥行について、メイン画像の奥行範囲のみを抽出し、予め定められた付加画像の奥行と比較を行った。しかしながら付加画像の奥行範囲が表示内容に伴って変化する場合、付加画像の奥行範囲を計算し、比較する必要がある。

図１８は実施の形態２の変形例２の３次元表示装置２０の機能構成を示すブロック図である。３次元画像合成部１２３が３次元画像合成部１２４に置き換わり、表示領域候補決定部１６０が表示領域候補決定部２６０に置き換わり、奥行適合判定部１７０が奥行適合判定部２７０に置き換わった以外は、図７に示した実施の形態２の３次元表示装置２０と同様である。図７に同様の部分には同一の符号を付し、説明を省略する。

＜構成＞
３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２４と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部２６０と、奥行適合判定部２７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。

表示領域候補決定部２６０は、入力部２００より入力された付加画像のサイズ指示情報に従って付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報より付加画像のサイズを選択する。また、表示領域候補決定部２６０は、付加画像位置記憶部１４０に記憶された付加画像位置の情報と表示禁止領域記憶部２１０に記憶された付加画像表示禁止領域の情報とに基づいて、付加画像の表示領域の候補を決定し、決定した候補を示す情報を、奥行適合判定部２７０と３次元画像合成部１２４へ出力する。

３次元画像合成部１２４は、ＭＲＩ画像記憶部１２２に記憶された画像情報を、入力部２００より入力された、例えば、表示範囲、表示倍率、ＭＲＩ画像の種別（２次元画像か３次元画像か）のような表示内容に対する指示に基づいて、表示領域候補決定部２６０で決定された付加画像の表示領域に表示可能な画像に合成する。３次元画像合成部１２４は、さらに、合成された画像の奥行情報を奥行適合判定部２７０に出力する。

奥行適合判定部２７０は、表示領域候補決定部２６０が決定した表示領域の候補の情報に基づいて、付加画像表示領域の境界面を抽出し、奥行情報生成部１３０で生成されたメイン画像の奥行情報から、境界面周辺のメイン画面の奥行を抽出する。奥行適合判定部２７０は、さらに、３次元画像合成部１２４が合成する画像の奥行情報から境界面周辺の付加画像の奥行情報を抽出する。奥行適合判定部２７０は、抽出した付加画像表示領域の境界面のメイン画面側と付加画像側との奥行の違いを比較し、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。

図１９は実施の形態２の変形例２の３次元表示装置２０の部分の詳細を示したブロック図である。図１９は、周辺奥行抽出部１７２が周辺奥行抽出部２７２に置き換わり、付加画像奥行記憶部１７３がなくなった以外は、実施の形態２の図９と同様である。図９と同じ部分については同一の符号を付し、説明を省略する。

奥行適合判定部２７０は、境界抽出部１７１と、周辺奥行抽出部２７２と、奥行差計算部１７４と、基準記憶部１７５と、判定部１７６とを備える。

周辺奥行抽出部２７２は、奥行情報生成部１３０が生成したメイン画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺のメイン画像の奥行情報を抽出する。さらに周辺奥行抽出部２７２は、３次元画像合成部１２４が生成した付加画像の奥行情報と、境界抽出部１７１が求めた境界面の情報とから、境界面周辺の付加画像の奥行情報を抽出する。

図２０Ａは、メイン画像に、付加画像表示候補領域と、付加画像表示領域の周辺領域であるメイン画像上の境界領域と、付加画像側境界面周辺領域である境界面隣接領域とを示したものである。

図２０Ｂは、図２０Ａの境界領域と境界面隣接領域とについて、それぞれの分割領域とそのＩＤとの例を示したものである。

境界領域の奥行の求め方については実施の形態２と同様とする。境界面隣接領域の奥行情報の計算方法について説明する。３次元画像合成部１２４は、表示領域候補決定部２６０から付加画像の表示領域候補の表示領域の情報を取得し、指定された表示領域にコンピュータグラフィックスによる３次元画像を表示するための画像情報を生成する。画像情報は、左眼用画像および右眼用画像の対応点と対応点ごとの視差情報とを含む。周辺奥行抽出部２７２は、左眼用画像あるいは右眼用画像のいずれか一方の画像について、図２０Ａに示すように、メイン画像との境界面から予め定められた一定の距離以内の領域を境界面隣接領域として抽出する。さらに、周辺奥行抽出部２７２は、境界面隣接領域を、例えば図２０Ｂのように部分領域に分割する。ここでは左眼用画像上で境界面隣接領域を設定し、部分領域（境界領域）Ｃ１から部分領域（境界領域）Ｃ３を設定するものとする。なお、右眼用画像上で境界面隣接領域とその部分領域を設定するものとしても良い。周辺奥行抽出部２７２は、３次元画像合成部１２４が生成した画像情報より、境界面隣接領域内に表示されるオブジェクトを構成する点とその右眼用画像上の対応点との間の視差を抽出する。周辺奥行抽出部２７２は、オブジェクトの各点の視差について、部分領域ごとに視差の最大値を求める。なお、ここでは部分領域の視差の代表値として最大値を用いるが、平均等他の統計的値を用いても良い。

なお、メイン画像内では、奥行の幅が広く、かつ奥行の変化が激しい。このため、隣接する境界領域間でも奥行の違いが大きくなる場合がある。よって、境界領域のサイズを小さくすることにより、境界領域における奥行を正確に算出することができる。これに対して、付加画像内では、メイン画像内に比べて、奥行の幅が狭く、かつ奥行の変化が緩やかである。このため、境界面隣接領域のサイズをある程度大きくしても、境界面隣接領域における奥行を正確に算出することができる。

図２１は、周辺奥行抽出部２７２の出力する情報の一例である。境界領域、境界面隣接領域ともに、部分領域ごとの視差の最大値が、領域の視差の代表値として抽出されている。奥行差計算部１７４は、図２１に示すような視差の情報に基づき、境界領域Ｄ１，１からＤ１，４までの視差の絶対値が最大の視差と境界面隣接領域Ｃ１の視差とから、それぞれの領域の奥行位置を計算し、メイン画像側である境界領域と付加画像側である境界面隣接領域との奥行の差を求める。同様に、奥行差計算部１７４は、境界領域Ｄ１，５からＤ１，１０と境界面隣接領域Ｃ２、境界領域Ｄ２，１０からＤ７，１０と境界面隣接領域Ｃ３のそれぞれの奥行の差を求める。

図２２は実施の形態２の変形例２の３次元表示装置２０の部分の詳細を示したブロック図である。

表示領域候補決定部２６０は、付加画像位置選択部２６１と、付加画像サイズ選択部２６２と、領域決定部２６３とを備える。

付加画像位置選択部２６１は、入力部２００より指定された数の付加画像位置の情報を、付加画像位置記憶部１４０に記憶された付加画像の位置の情報から選択する。

付加画像サイズ選択部２６２は、入力部２００より指定された付加画像のサイズの情報に従って、付加画像サイズ記憶部１５０に記憶された情報から、付加画像のサイズ情報を選択する。

領域決定部２６３は付加画像位置選択部２６１で選択された付加画像の位置と付加画像サイズ選択部２６２で選択された付加画像のサイズとに基づいて、付加画像を表示する領域の候補を決定し、３次元画像合成部１２４と奥行適合判定部２７０とに出力する。

＜効果＞
表示領域候補決定部２６０は入力部２００より入力された付加画像の表示条件のうち、付加画像のサイズの情報に従って付加画像領域の候補を決定する、一方、３次元画像合成部１２４は、入力部２００より入力された付加画像の表示条件に従って、表示領域候補決定部２６０が決定した画像サイズで付加画像を合成する。奥行適合判定部２７０は、付加画像表示領域の境界面のメイン画像側の奥行情報を奥行情報生成部１３０から、付加画像側の奥行情報を３次元画像合成部１２４から、それぞれに抽出して、表示領域の境界面を挟んだ奥行の差が適合範囲にあるか否かを判定する。この構成により、付加画像として表示される画像の奥行がユーザの指示によって変動しても、付加画像の表示領域の境界を挟んだ奥行の差が適合範囲を超えないように、付加画像の表示範囲を設定することができる。

（実施の形態２の変形例３）
実施の形態２では表示禁止領域記憶部２１３は、予め定められた禁止領域を記憶するのみであったが、本変形例３では、内視鏡カメラ１１１で撮像された画像より、新たな表示禁止領域を設定して記憶する。内視鏡による手術の場合、内視鏡カメラおよび手術用器具は数本のガイドチューブを通して体内に挿入される。手術ごとにガイドチューブの位置及び方向は変わるが、手術中にガイドチューブが移動することはほとんど無い。そのため、手術中に手術用器具が挿入されているか挿入されていないかの変化はあるが、カメラと挿入された手術用器具の位置関係や、カメラと体内の構造との位置関係が大きく変わることは無い。そこで、手術開始から内視鏡カメラ１１１が撮像するメイン画像に対して、付加画像によって遮蔽することで付加画像との奥行の矛盾や大きすぎる奥行差が生じる可能性がある奥行を持つ画像を検出し、付加画像の表示禁止領域として記憶していく。このことにより、付加画像の表示領域の探索範囲を限定し、付加画像の表示領域決定の負荷を減らすことができる。さらに、付加画像の表示領域の移動を減らすことができ、付加画像の表示が安定する。

図２３は、実施の形態２の変形例３の３次元表示装置２０の部分の詳細を示したブロック図である。

図２３は、実施の形態２の変形例１の図１７において、表示禁止領域記憶部２１１が表示禁止領域記憶部２１３に入れ替わり、禁止領域決定部２１２が禁止領域決定部２１４に入れ替わった以外は実施の形態２の変形例１と同様である。図１７と同様の部分には同一の符号を付し、説明を省略する。

実施の形態２の変形例３の３次元表示装置２０は、実施の形態２の変形例１の図１５において、表示禁止領域記憶部２１１が表示禁止領域記憶部２１３に入れ替わり、禁止領域決定部２１２が禁止領域決定部２１４に入れ替わった以外は実施の形態２の変形例１と同様である。このため、３次元表示装置２０の機能を示すブロック図の説明は省略する。

表示禁止領域記憶部２１３は付加画像の表示を禁止する領域の情報を記憶する。つまり、表示禁止領域記憶部２１３は、付加画像の表示を禁止する領域の情報として、予め定められた画面中心周辺の領域の情報と、内視鏡カメラ１１１で撮像された画像より検出された、奥行が極端に大きい部分の情報、すなわち大きく奥へ引っ込んだ部分または奥行が極端に小さい部分、すなわち大きく手前へ飛び出した部分の情報とを記憶する。

禁止領域決定部２１４は、表示禁止領域記憶部２１３が記憶している、付加画像の表示を禁止する領域の情報を抽出し、表示領域候補決定部１６０へ出力する。禁止領域決定部２１４は、さらに、奥行情報生成部１３０で生成された、内視鏡カメラ１１１で撮像されたオブジェクトあるいは背景の奥行情報を含む表示領域の情報に基づいて、新たな禁止領域を決定し、決定した禁止領域を表示禁止領域記憶部２１３に出力する。

禁止領域決定部２１４による、新たな禁止領域の決定は、以下のようにして行われる。つまり、予め定められた奥行の範囲を超えて奥へ引っ込んだ領域と、奥行の範囲を超えて手前へ飛び出した領域について、その領域が表示禁止領域記憶部２１３に記憶された表示禁止領域に含まれない場合には、その領域が新たな表示禁止領域とされる。例えば、消化管のように管状の構造を管の向きに沿った方向で撮像する場合、メイン画像は管を覗き込む状態の画像となり、画面奥への引っ込みが極端に大きくなる。付加画像の奥行範囲の最大の奥行を超えて予め定めた値以上に奥行が大きい場合には、付加画像とメイン画面との奥行の差が大きくなりすぎる可能性がある。このため、このような領域が付加画像の表示禁止領域とされる。例えば、付加画像の奥行範囲が、ディスプレイより奥、図２Ｂのｚ軸上−５ｃｍからディスプレイより手前ｚ軸上５ｃｍとすると、ディスプレイより奥ｚ軸上−２０ｃｍより奥にオブジェクトあるいは背景が撮像されている領域についてはメイン画像と付加画像との奥行の差が１５ｃｍを超える可能性がある。このため、その領域を付加画像の表示禁止領域とする。また、例えば、ディスプレイの手前ｚ軸上１６ｃｍよりも手前にオブジェクト、例えば鉗子のアームが撮像されている領域については、メイン画像と付加画像との奥行の矛盾が−１ｃｍをこえて生じる可能性がある。このため、このような領域が付加画像の表示禁止領域とされる。

＜効果＞
体内の構造や鉗子等医療器具の挿入によって生ずる、メイン画像と付加画像との奥行の矛盾や大きすぎる奥行差に対して、以下の措置がとられる。つまり、メイン画像中に撮像される体内の構造や医療器具の奥行位置を検出し、奥行適合範囲を超える可能性があると判断される領域については、医療器具等が取り除かれている場合であっても付加画像を表示しない、付加画像の表示禁止領域として記憶される。これにより、鉗子の挿入の有無により、一時的にメイン画像と付加画像との奥行差の矛盾等が解消されるような場合に、付加画像が一時的に奥行差の矛盾等が解消された領域に表示され、鉗子の挿入によって奥行差の矛盾が生じ付加画像の位置が大きく変化する、といった不都合が解消される。また、付加画像表示領域の探索領域範囲が狭まり、計算時の負荷が軽減される。

（実施の形態２の変形例４）
実施の形態２の変形例３では、予め定められた付加画像表示禁止領域と、内視鏡カメラ１１１で撮像された画像より決定された付加画像表示禁止領域とを同様に取り扱ったが、予め定められた付加画像表示禁止領域と撮像された画像より決定された付加画像表示禁止領域との取扱を異なるものとしても良い。予め定められた付加画像禁止領域は、画面中心の手術の対象である患部とその周辺部分であり、術中必ずメイン画像が表示されているべき領域である。しかし、撮像された画像より決定された付加画像表示禁止領域は、メイン画像と付加画像との奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域である。したがって、撮像された画像より決定された付加画像表示禁止領域は、奥行の矛盾や大きすぎる奥行差が生じる可能性がある領域であり、そのような領域を、付加画像によって遮蔽することにより、メイン画像と付加画像との奥行の矛盾あるいは大きすぎる奥行差の発生を防ぐことができる。なお、本変形例においては奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域を不適合可能性領域とする。

＜構成＞
図２４は、実施の形態２の変形例４の３次元表示装置の部分の詳細を示すブロック図である。

表示禁止領域記憶部２１３が表示禁止領域記憶部２１５に置き換わり、表示領域候補決定部１６０が表示領域候補決定部１６１に置き換わり、禁止領域決定部２１４が不適合可能性領域決定部２１７に置き換わり、不適合可能性領域記憶部２１６が付け加わった以外は図２２と同様である。図２２と同一の部分には同一の符号を付して、説明を省略する。

表示禁止領域記憶部２１５は、予め定められた付加画像表示禁止領域の情報を記憶している。

不適合可能性領域決定部２１７は、奥行情報生成部１３０より出力された内視鏡カメラ１１１で撮像した画像の奥行情報より、メイン画像と付加画像との奥行の矛盾が発生する可能性が高い領域、又は、奥行差が大きくなりすぎる可能性が高い領域を決定する。つまり、２１７は、メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出している領域と、奥行が前記所定の奥行の範囲を超えて奥に引っ込んでいる領域とを決定する。

不適合可能性領域記憶部２１６は、不適合可能性領域決定部２１７が決定した領域を記憶している。

表示領域候補決定部１６１は、付加画像位置記憶部１４０より取得した付加画像の位置情報と、付加画像サイズ記憶部１５０より取得した付加画像のサイズの情報と、表示禁止領域記憶部２１５より取得した予め定められた付加画像の表示禁止領域と、不適合可能性領域記憶部２１６より取得した、内視鏡カメラ１１１で撮像された画像中で、奥行の矛盾が発生するか、奥行差が大きくなりすぎる可能性が高い領域の情報とから、付加画像の表示領域を決定する。

＜動作＞
図２５は、表示領域候補決定部１６１が付加画像の表示領域を決定する動作を示すフローチャートである。図２５の動作は、予め定められた付加画像表示禁止領域と撮像された画像より決定された付加画像表示禁止領域との取扱を異なるものとした場合の、図８のステップＳ１２００およびステップＳ１２１０に当たる動作の詳細を示したものである。

表示領域候補決定部１６１は、まず、付加画像サイズ記憶部１５０に記憶された付加画像のサイズ情報に従って付加画像サイズを設定する（ステップＳ１２０１）。

次に、表示領域候補決定部１６１は、不適合可能性領域記憶部２１６より取得した不適合可能性領域とステップＳ１２０１で設定した付加画像のサイズとを比較し、不適合可能性領域が付加画像で遮蔽可能か否かを判定する（ステップＳ１２０２）。ステップＳ１２０２において不適合可能性領域が付加画像で遮蔽可能であると判定された場合、すなわちステップＳ１２０２においてｙｅｓの場合、ステップＳ１２０３に進む。ステップＳ１２０２において不適合可能性領域が付加画像で遮蔽できないと判定された場合、すなわちステップＳ１２０２においてｎｏの場合、ステップＳ１２０４に進む。

ステップＳ１２０３において、表示領域候補決定部１６１は付加画像位置記憶部１４０に記憶された位置情報より、付加画像の位置を設定する（ステップＳ１２０３）。表示領域候補決定部１６１はステップＳ１２０１で設定された付加画像のサイズとステップＳ１２０３で設定された付加画像の位置とによって決定された付加画像の領域が、表示禁止領域記憶部２１５に記憶された付加画像の表示が禁止された領域を含むか否かを判定する（ステップＳ１２１０ａ）。ステップＳ１２１０ａにおいて設定した付加画像領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１２１０ａにおいてｙｅｓの場合、ステップＳ１２０３に戻る。ステップＳ１２１０ａにおいて付加画像領域が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０ａにおいてｎｏの場合、ステップＳ１２０８に進む。

一方ステップＳ１２０４において、表示領域候補決定部１６１はステップＳ１２０１で設定した付加画像のサイズが予め定められた付加画像のサイズの限界値以上であるか否かを判定する（ステップＳ１２０４）。ステップＳ１２０４において付加画像のサイズが限界値以上であると判定された場合、すなわちステップＳ１２０４においてｙｅｓの場合には、ステップＳ１２０５に進む。ステップＳ１２０４において付加画像のサイズが限界値以上で無いと判定された場合、すなわちステップＳ１２０４においてｎｏの場合、ステップＳ１２０１に戻る。

ステップＳ１２０５において、表示領域候補決定部１６１は、付加画像サイズ記憶部１５０を参照して、付加画像のサイズを再設定する（ステップＳ１２０５）。さらに、表示領域候補決定部１６１は、付加画像位置記憶部１４０に記憶された位置情報より、付加画像の位置を設定する（ステップＳ１２０６）。

表示領域候補決定部１６１はステップＳ１２０５で再設定された付加画像のサイズとステップＳ１２０６で設定された付加画像の位置とによって決定された付加画像の領域が、表示禁止領域記憶部２１５に記憶された情報が示す付加画像の表示が禁止された領域を含むか否かを判定する（ステップＳ１２１０ｂ）。ステップＳ１２１０ｂにおいて、設定した付加画像領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１２１０ｂにおいてｙｅｓの場合、ステップＳ１２０６に戻る。ステップＳ１２１０ｂにおいて付加画像領域が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０ｂにおいてｎｏの場合、ステップＳ１２０７に進む。

ステップＳ１２０７において、表示領域候補決定部１６１は、設定された付加画像の領域が、不適合可能性領域記憶部２１６に記憶された領域を含むか否かを判定する（ステップＳ１２０７）。ステップＳ１２０７において付加画像の表示領域が不適合可能性領域を含むと判定された場合、すなわちステップＳ１２０７においてｙｅｓの場合、ステップＳ１２０６に戻る。ステップＳ１２０７において付加画像の表示領域が不適合可能性領域を含まないと判定された場合、すなわちステップＳ１２０７においてｎｏの場合、ステップＳ１２０８に進む。ステップＳ１２０８において、表示領域候補決定部１６１は、設定したサイズと位置の付加画像の表示領域を、表示領域候補として決定する（ステップＳ１２０８）。

＜効果等＞
以上のように、付加画像のサイズと位置を調節することにより、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のあるメイン画像の領域を、付加画像で遮蔽する。または、メイン画像の当該領域を遮蔽できない場合は、付加画像を、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のある領域を避けた位置に表示する。これにより、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる表示を避け、ユーザに負荷の無い自然な３次元画像を呈示することができる。

なお、本実施の形態２の変形例４では付加画像のサイズを自動で変更したが、入力部２００より付加画像のサイズを変更する入力があった場合にのみ付加画像のサイズを調整するとしても良い。特に付加画像のサイズの拡大を指示する入力があった場合に、メイン画像と付加画像との間で奥行の矛盾や大きすぎる奥行差が生じる可能性のあるメイン画像の領域を、付加画像で遮蔽するための処理を行うものとしても良い。

なお、付加画像のサイズの変更については、画面周辺部分の、撮像された鉗子のアーム部分が、極端な飛び出しのある画像となっている領域を遮蔽するように、付加画像の形状を画面水平方向に引き伸ばした形状にするものとしても良い。これにより、極端な飛び出しによる大きな視差のあるオブジェクトに対しても右眼用画像と左眼用画像の両画像上の領域を遮蔽することができる。

（実施の形態２の変形例５）
実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶された付加画像の表示位置を基本として、表示禁止領域記憶部２１０に記憶された表示禁止領域を回避し、付加画像の表示領域の境界面周辺での奥行の不適合を回避しうる位置へ移動した。本変形例では、ユーザが入力部２００より付加画像のサイズを入力し、指定する場合について説明する。

本変形例５の３次元表示装置の構成は、入力部２００の出力が付加画像サイズ記憶部１５０へ入力される以外は実施の形態２と同様であるので、図示と説明を省略する。

図２６は、実施の形態２の変形例５における３次元表示装置２０の動作を示すフローチャートである。図２６はステップＳ１１８０とステップＳ１１９０が付け加わった以外は、実施の形態２の図８と同様である。図８と同様の部分には図８と同一の符号を付し、説明を省略する。

まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。

入力部２００は、ユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１８０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。

ステップＳ１１８０では、入力部２００はさらに、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合、すなわちステップＳ１１８０においてｙｅｓの場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合、すなわちステップＳ１１８０においてｎｏの場合はステップＳ１２００に進む。

ステップＳ１１９０では、入力部２００は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像のサイズの情報を、付加画像サイズ記憶部１５０へ出力する。付加画像サイズ記憶部１５０は入力部２００が出力した付加画像のサイズの情報を記憶する（ステップＳ１１９０）。

ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像位置記憶部１４０に記憶された付加画像の位置のうち、未選択のものから任意に１つを選択し、選択した付加画像の位置と付加画像サイズ記憶部１５０に記憶された付加画像のサイズとの組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像サイズ記憶部１５０に記憶された付加画像の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１９０が実行されている場合は、ステップＳ１１９０で記憶されたサイズ情報を用いて表示領域の候補が決定される。

表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６００へ進む。ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。

ステップＳ１２００、ステップＳ１２１０、ステップＳ１６００を繰り返すことで表示禁止領域を回避して表示領域候補を決定する。

ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進み、ステップＳ１６００を実行後、ステップＳ１２００へ戻る。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置２０は、メイン画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。本実施の形態は、メイン画像および付加画像の内容が動画である場合にも対応可能である。

なお、入力部２００は、例えば、図２７Ａに示すようなスイッチボックスであっても良い。ユーザは、スイッチボックスに含まれる予め定められた複数のサイズに対応したボタン（大、中、小ボタン）のうち、いずれかのボタンを押すことにより、サイズを選択することができる。また、入力部２００は、マウスやペン入力装置のようなポインティングデバイスであっても良い。例えば、図２７Ｂに示すような付加画像サイズ指定画面において、ユーザは、ポインティングデバイスを操作することにより、付加画像領域の頂点に示された矢印を移動させる。これにより、画面上の付加画像を引き伸ばしたり縮めたりして任意の付加画像のサイズを指定することができる。また、入力部２００は、ユーザを撮影するカメラと、カメラで撮影されたユーザの画像から、ユーザの動作を判別する画像処理装置を含んでいても良い。これによると、ユーザの動作により、サイズを指示することが可能である。また、入力部２００は、タッチパネル等画面平面上あるいは３次元空間上の座標位置と移動方向および移動量とを入力可能な入力装置を含んでいても良い。なお、付加画像が長方形の場合には、縦と横の辺の長さを数値で入力することにより、サイズを指定しても良い。このようはサイズ指定を行う場合には、３次元表示装置２０として、キーボードのような数値入力可能な文字入力装置を用いることができる。３次元表示装置２０は、タッチパネルやペン入力装置による手書き文字認識装置や、音声認識による音声入力装置であっても良い。なお、付加画像の領域が長方形以外の形状であっても、辺の長さや対角線の長さ等によりサイズを指定することができる。

＜効果＞
以上のように、本実施の形態２の変形例５によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示サイズを指定した場合に、ユーザのサイズ指定に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域が決定される。これにより、ユーザすなわち術者が必要とするサイズで付加画像を表示し、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。

（実施の形態２の変形例６）
実施の形態２の変形例５における３次元表示装置２０は、入力部２００より入力される付加画像のサイズ指定に従ってサイズを決定した。実施の形態２の変形例５の入力部２００は、画面平面上あるいは３次元空間上の座標位置と移動方向および移動量とを入力可能な入力装置を含み、一般的な環境で使用される入力インタフェース装置を含む。実施の形態２の変形例６では、ステレオ内視鏡カメラの映像を利用して、鉗子の動きから付加画像のサイズの変更を指示する方法について説明する。

図２８Ａ及び図２８Ｂは、鉗子を入力部２００の一部として用い、鉗子の動きから付加画像表示領域のサイズを調整する様子を模式的に示した図である。図２８Ａ及び図２８Ｂに示すように、患部にかけられたワイヤと鉗子とのメイン画像が画面に表示され、メイン画像に重ねて付加画像であるバイタルデータが横軸に時間経過をとったグラフとして表示されている。図２８Ａ及び図２８Ｂの左側に見える鉗子の先端はいずれも付加画像と重なっていない。図２８Ｂでは、図２８Ａに比べて付加画像の領域は小さくなっている。例えば、術者が鉗子を手前に引くことで、その先端は付加画像の表示領域（付加画像とメイン画像との境界）を通過する。鉗子の先端が付加画像の表示領域を領域外から領域内へ通過したことを検出した場合には、入力部２００は、付加画像の表示領域を鉗子の移動方向にあわせて変形させる。例えば、器具の先端が領域外から領域内への方向で通過する際には、その先端の移動を付加画像の表示領域のサイズを小さくさせるための入力とみなし、器具の先端が領域内から領域外へ通過する際は、その移動を付加画像の表示領域のサイズを大きくする入力とみなす。

図２９は実施の形態２の変形例６における３次元表示装置２０の機能構成を示すブロック図である。図２９は、入力部４００の機能構成として表示領域記憶部４０１と、器具先端検出部４０２と、通過検出部４０３と、操作入力部４０４と、表示制御信号生成部４０５とが付け加わった以外は、図２に示す実施の形態１の３次元表示装置１０と同様である。図７と同様の部分には図７と同一の符号を付し、説明を省略する。

３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部４００を備える。入力部４００は表示領域記憶部４０１と、器具先端検出部４０２と、通過検出部４０３と、操作入力部４０４と、表示制御信号生成部４０５とを備える。

内視鏡カメラ１１１は、ステレオカメラを含む３次元画像用の内視鏡カメラである。

バイタルセンサ１２１は、手術中の患者の身体に取りつけられたセンサであり、本実施の形態２の変形例６では心電計と血圧計とする。

ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。

３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。

付加画像位置記憶部１４０は、付加情報を付加画像として画像上に表示する際の位置を記憶する。

付加画像サイズ記憶部１５０は付加情報を付加画像として画像上に表示する際のサイズを記憶する。

表示禁止領域記憶部２１０は、予め定められた手術対象である患部を撮影している領域を、付加画像の表示禁止領域として記憶している。本実施の形態２の変形例６では、表示禁止領域は、画像中心を中心とした長方形の固定領域とする。

表示領域候補決定部１６０は、１つ以上の付加情報を付加画像としてディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。本実施の形態１では、付加情報は、手術中にバイタルセンサ１２１より取得されているバイタル情報と、術前に記憶されたＭＲＩ画像情報との２種類であり、２種類の付加情報はそれぞれ別の付加画像として、それぞれの表示領域に表示されるものとする。

奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成されたメイン画像の奥行情報とから、付加画像の表示領域とメイン画像のうち付加画像の表示領域の周辺部分との間の、奥行の違いに対して、予め定められた値より大きな奥行差、あるいは奥行の矛盾を検出する。例えば、許容範囲は−１ｃｍ以上１５ｃｍ以下である。

画像合成部１８０は、内視鏡カメラ１１１が取得した３次元画像をディスプレイ１９０の画面に表示し、表示領域候補決定部１６０が決定した領域のうちの少なくとも１つにバイタルセンサ１２１が取得した付加情報を付加画像として表示するように、３次元画像と付加画像とを合成する。

ディスプレイ１９０は、画像合成部１８０により合成された画像を画面に表示する。

操作入力部４０４は、ユーザが付加画像を表示するか否かの指示、および付加画像として表示する際の条件を入力するために用いる手段である。

表示制御信号生成部４０５は、ユーザが操作入力部４０４より入力した付加画像に対する操作を取得し、画像合成部１８０による画像合成を制御する制御信号を生成する。

表示領域記憶部４０１は、現在、付加情報を付加画像として表示している表示領域を示す情報を記憶する。図３０は、表示領域記憶部４０１の記憶内容の一例を示す。表示領域記憶部４０１には、付加画像領域のＩＤと、ＩＤごとの付加情報の内容と、長方形の平面としての表示領域を記述するための４つの頂点の３次元座標とを記憶する。

器具先端検出部４０２は、内視鏡カメラ１１１により撮像された画像中の、手術器具の先端を検出する。ここでは手術器具のうち、鉗子の先端を検出するものとする。検出方法は、以下のとおりである。器具先端検出部４０２は、内視鏡カメラ１１１により撮像された画像の色領域から金属色の領域を器具の領域として抽出する。器具先端検出部４０２は、抽出した領域について左右の画像の対応点を求める。器具先端検出部４０２は、求めた対応点から器具領域の奥行を求める。器具先端検出部４０２は、色が連続する色領域のうち、もっとも奥行が大きい部分を先端部として抽出する。これ以外にも、金属色の領域の抽出の後、抽出した領域の輪郭線と、予め用意された器具の輪郭線とのパタンマッチングを行い、先端を決定することもできる。これ以外の画像処理により器具の先端を検出しても良い。

通過検出部４０３は、表示領域記憶部４０１に記憶された情報により示される付加画像の表示領域内を器具先端検出部４０２が検出した器具の先端部が通過したことを検出する。通過の検出方法は、以下のとおりである。通過検出部４０３は、奥行情報生成部１３０で生成された画像中のオブジェクトの３次元座標位置の情報より、器具先端検出部４０２が検出した器具の先端部の３次元座標位置を抽出する。例えば、器具の先端部の３次元座標が表示領域記憶部４０１に記憶された付加画像平面を通過あるいは接触した場合に、通過検出部４０３は、付加画像領域内を器具の先端部が通過したことを検出する。通過検出部４０３は、検出時には、器具先端の通過の方向、すなわち、付加画像領域内から領域外への通過の方向か、あるいは付加画像領域外から領域内への通過の方向かを判断する。通過検出部４０３は、器具先端部の付属画面の通過情報を通過方向とともに表示制御信号生成部２２０へ出力する。

なお、ここでは通過検出部４０３は、器具の先端部が付加画像領域内を通過するのを検出するために３次元座標を用い、３次元座標上で器具の先端部が付属画面平面を通過することを検出したが、付加画像領域の３次元座標と器具の先端の３次元座標とをディスプレイ平面へ写像して、ディスプレイ平面の２次元座標上で器具の先端部の通過を検出するものとしても良い。例えば、ディスプレイ平面に写像された付加画像領域内に、ディスプレイ平面に写像された器具の先端位置が含まれるあるいは接触する場合に、器具の先端が付加画像を通過したとみなして、通過を検出するとしても良い。

器具先端部の付加画像領域の通過とその通過方向の情報は、サイズ指定する付加画像を特定し、付加画像のサイズ変更情報を示す。サイズ変更時には、１回の変更あたりのサイズ変更量あるいはサイズ変更比を一定としても良い。また、器具の先端の移動速度や移動距離に応じてサイズの変更量を決定するものとしても良い。通過検出部４０３は、器具先端検出部４０２が出力する器具先端の３次元座標情報と、表示領域記憶部４０１に記憶された付加画像ごとの領域の座標情報に基づき、術者の器具操作による、特定の付加画像のサイズ指定入力の情報を、表示制御信号生成部４０５に出力する。

実施の形態２の変形例６における３次元表示装置２０の動作は図２９に示す実施の形態２の変形例５と同様である。

ステップＳ１１１０において付加画像を表示する指示入力が検出された場合はステップＳ１１８０へ進む。ステップＳ１１８０では表示制御信号生成部４０５は、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。すなわち、表示制御信号生成部４０５は、器具先端検出部４０２が出力する器具先端の３次元座標情報と、表示領域記憶部４０１に記憶された付加画像ごとの領域の座標情報に基づき、術者の器具操作による、特定の付加画像のサイズ指定入力の情報を、通過検出部４０３が出力するのを検出する。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合はステップＳ１２００に進む。

＜効果＞
以上のように、本実施の形態２の変形例６によれば、３次元表示装置２０が、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、術者であるユーザは、内視鏡カメラが映している使用中の手術器具を利用して、付加画像の表示サイズを指定することができる。ユーザのサイズ指定に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域が決定される。これにより、ユーザすなわち術者が必要とするサイズで付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。それのみでなく、さらに、ユーザは特別なインタフェース装置を使用することなく、手術に用いている器具を利用して、付加画像のサイズを指定することができる。すなわち、術者であるユーザは手術用機具から手を離すことなく付加画像のサイズを指示することができる。このため、手術の効率を落とすことなく３次元表示装置を操作することができる。

（実施の形態２の変形例７）
実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶されている付加画像の表示位置であって、かつ表示禁止領域記憶部２１０に記憶された表示禁止領域を回避した位置に、付加画像を表示させた。本変形例では、ユーザが、操作入力部４０４を用いて付加画像の表示位置を入力することにより、表示位置を指定する場合について説明する。

本変形例７の３次元表示装置の構成は、表示制御信号生成部４０５の出力が付加画像位置記憶部１４０へ入力される以外は実施の形態２の変形例６と同様であるので、図示と説明を省略する。

図３１は、実施の形態２の変形例７における３次元表示装置２０の動作を示すフローチャートである。図３０はステップＳ１６００が削除され、ステップＳ１１２０と、ステップＳ１１３０と、ステップＳ１６１０と、ステップＳ１６２０とステップＳ１６３０が付け加わった以外は、実施の形態２の図８と同様である。図８と同様の部分には図８と同一の符号を付し、説明を省略する。

まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。

表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。

ステップＳ１１２０では、表示制御信号生成部４０５はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１２００に進む。

ステップＳ１１３０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部４０５が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。

ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズのうち、未選択のものから任意に１つを選択し、選択した付加画像のサイズと付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１３０が実行されている場合は、ステップＳ１１３０で記憶された位置情報を用いて、表示領域の候補が決定される。

表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６１０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。

ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。

ステップＳ１６１０では、表示領域候補決定部１６０は、付加画像のサイズを変更し、変更後のサイズを付加画像サイズ記憶部１５０に記憶する（ステップＳ１６１０）。例えば、表示領域候補決定部１６０は、付加画像の表示位置を変更せず、付加画像の表示領域が表示禁止領域を含まないよう、すなわち、付加画像の表示領域が表示禁止領域外になるよう付加画像のサイズを縮小する。サイズ変更は、例えば、付加画像の表示領域の重心位置を維持して、表示領域の外周が重心に近づく方向に表示領域を縮小することで行われる。または、付加画像表示領域のうち表示禁止領域を含まない一辺を固定して付加画像の表示領域を縮小するものとしても良い。

表示領域候補決定部１６０は、ステップＳ１６１０で変更された付加画像のサイズが予め定められた一定の範囲内であるかを判定する（ステップＳ１６２０）。ステップＳ１６２０において付加画像のサイズが予め定められた範囲内であると判定された場合、すなわちステップＳ１６２０においてｙｅｓの場合は、ステップＳ１２００へ戻る。ステップＳ１６２０において付加画像のサイズが予め定められた範囲外であると判定された場合、すなわちステップＳ１６２０においてｎｏの場合は、ステップＳ１６３０へ進む。例えば、付加画像が長方形の場合には、予め定められた付加画像のサイズの範囲は、縦の辺が３ｃｍから１０ｃｍであり、横の辺が５ｃｍから１３ｃｍである。ステップＳ１６１０で縮小された付加画像のサイズが前記の範囲に含まれていれば、例えば、縦の辺が４ｃｍ、横の辺が７ｃｍのサイズであれば、ステップＳ１２００へ進む。また、ステップＳ１６１０で縮小された付加画像のサイズが前記の範囲に含まれていなければ、例えば、付加画像の縦の辺が２ｃｍ、横の辺が４ｃｍであれば、ステップＳ１６３０へ進む。

ステップＳ１６３０では、表示領域候補決定部１６０は、付加画像のサイズが予め定められた範囲外であること示す信号を、画像合成部１８０へ送信する。画像合成部１８０は、当該信号に応答して、ユーザに付加画像の表示位置を再入力することを促すメッセージの画像を生成する。ディスプレイ１９０は、画像合成部１８０が生成したメッセージ画像を表示する（ステップＳ１６３０）。ステップＳ１６３０の実行後は、ステップＳ１１１０に戻る。

ステップＳ１２００からステップＳ１６１０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定する。

さらにステップＳ１１１０からステップＳ１６３０を繰り返すことで、付加画像の境界面の内外での奥行の差が許容範囲を超えない付加画像の表示領域を決定することができる。

なお、操作入力部４０４を用いて付加画像の位置を入力する方法については、以下のような方法であっても良い。例えば、ユーザが、予め定められた表示位置の中から、いずれか１つの表示位置を選択するとしてもよい。また、ユーザが、付加画像表示領域の重心点を指定するとしても良い。また、ユーザが、付加画像表示領域の辺の位置を指定するとしても良い。

＜効果＞
以上のように、本実施の形態２の変形例７によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示位置を指定する。３次元表示装置１０は、ユーザが指定した位置に従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。これにより、ユーザすなわち術者が必要とする位置に付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。

（実施の形態２の変形例８）
実施の形態２における３次元表示装置２０は、ユーザが付加画像の位置を操作することは無く、付加画像位置記憶部１４０に記憶されている付加画像の表示位置であって、かつ表示禁止領域記憶部２１０に記憶された表示禁止領域を回避した位置に、付加画像を表示させた。本変形例では、ユーザが、操作入力部４０４を用いて付加画像の表示位置とサイズを入力することにより、表示位置とサイズを指定する場合について説明する。なお、ユーザが入力した表示位置とサイズによって指定される付加画像の表示領域が表示禁止領域を含む場合と、付加画像の表示領域の境界面の内外での奥行の差が許容範囲外である場合とには、３次元表示装置は、付加画像の表示領域の位置とサイズを自動調整する。ユーザが自動調整結果に不満足である場合や、自動調整の範囲では表示領域の不具合がある場合には、３次元表示装置は、ユーザに付加画像の表示領域の位置とサイズを再入力することを要求する。

本変形例８の３次元表示装置の構成は、表示制御信号生成部４０５の出力が付加画像位置記憶部１４０と付加画像サイズ記憶部１５０とへ入力される以外は実施の形態２の変形例６と同様であるので、図示と説明を省略する。

図３２Ａおよび図３２Ｂは、実施の形態２の変形例８における３次元表示装置２０の動作を示すフローチャートである。

まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。

表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。

ステップＳ１１２０では表示制御信号生成部４０５はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１１８０に進む。

ステップＳ１１３０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部４０５が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。

ステップＳ１１８０では、表示制御信号生成部４０５はさらに、付加画像のサイズを操作する入力を検出する（ステップＳ１１８０）。ステップＳ１１８０において付加画像のサイズを指定する入力が検出された場合、すなわちステップＳ１１８０においてｙｅｓの場合はステップＳ１１９０へ進む。ステップＳ１１８０において付加画像のサイズを指定する入力が検出されなかった場合、すなわちステップＳ１１８０においてｎｏの場合はステップＳ１２００に進む。

ステップＳ１１９０では、表示制御信号生成部４０５は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像のサイズの情報を、付加画像サイズ記憶部１５０へ出力する。付加画像サイズ記憶部１５０は表示制御信号生成部４０５が出力した付加画像のサイズの情報を記憶する（ステップＳ１１９０）。

ステップＳ１２００では、表示領域候補決定部１６０は付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。つまり、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。ステップＳ１２００では、付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうちの最新の情報と、付加画像サイズ記憶部１５０に記憶された付加画像のサイズの情報のうちの最新の情報とを用いて表示領域の候補が決定される。したがって、ステップＳ１１３０が実行されている場合はステップＳ１１３０で記憶された位置情報が用いられる。

表示領域候補決定部１６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ１６４０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。

ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。

ステップＳ１６４０では、表示領域候補決定部１６０は、付加画像の位置およびサイズの調整が可能かどうかを判定する（ステップＳ１６４０）。ステップＳ１６４０における判定の方法については後述する。ステップＳ１６４０において付加画像の位置およびサイズの調整が可能であると判定された場合、すなわちステップＳ１６４０においてｙｅｓの場合は、ステップＳ１６５０へ進む。ステップＳ１６４０において付加画像の位置およびサイズの調整が不可能であると判定された場合、すなわちステップＳ１６４０においてｎｏの場合は、ステップＳ１６７０へ進む。

ステップＳ１６５０では、画像合成部１８０は、奥行適合判定部１７０より出力された付加画像表示領域をメイン画像に重ねた仮表示画像を合成し、ディスプレイ１９０は画像合成部１８０で合成された仮表示画像を表示する（ステップＳ１６５０）。仮表示画像の付加画像として、実際の付加情報を表示しても良いが、実際の付加情報を表示せず、領域を仮表示するための一様な平面の画像や、固定のテスト用画像を表示しても良い。ステップＳ１６５０でディスプレイ１９０に表示された付加画像領域の仮表示に対して、表示制御信号生成部４０５は、操作入力部４０４よりユーザの付加画像に対する操作を取得し、仮表示された位置およびサイズが調整された付加画像の領域を承認する指示入力を検出する（ステップＳ１６６０）。ステップＳ１６６０において仮表示された付加画像の表示領域を承認する指示入力が検出された場合、すなわちステップＳ１６６０においてｙｅｓの場合、ステップＳ１７００へ進む。ステップＳ１６６０において仮表示された付加画像の表示領域を承認する指示入力が検出されない場合、すなわちステップＳ１６６０においてｎｏの場合は、ステップＳ１６７０へ進む。

ステップＳ１６７０では、画像合成部１８０は、ユーザに対してユーザが指示した付加画像の位置とサイズでは付加画像が表示できない旨を示し、かつ、付加画像の位置とサイズを再指定するよう促すためのメッセージ画面を生成し、ディスプレイ１９０は画像合成部１８０で生成されたメッセージ画面を表示する（ステップＳ１６７０）。ステップＳ１６７０でメッセージ画面が表示された後に、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１６３０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定し、付加画像の境界面の内外での奥行の差が許容範囲を超えない付加画像の表示領域を決定することができる。

＜ステップＳ１６４０詳細＞
図３３は実施の形態２の変形例８における３次元表示装置２０の部分の詳細な構成を示すブロック図である。

表示領域候補決定部１６０は、位置調整範囲記憶部１６６と、サイズ調整範囲記憶部１６２と、領域決定部１６３と、距離計算部１６４と、領域記憶部１６５とを備える。

位置調整範囲記憶部１６６は、ユーザが指定した付加画像の表示位置を自動調整可能な範囲として、付加画像を移動させることが可能な予め定められた範囲を記憶している。例えば、自動調整可能な範囲は、ユーザが指定した付加画像の、長辺方向または長軸方向に、長辺の長さの２０％以下の範囲と、短辺方向または短軸方向に短辺の長さの２０％以下の範囲とする。例えば、付加画像が横長の長方形である場合、長辺の２０％以下の範囲内で左右方向に表示位置を移動させ、短辺の２０％以下の範囲内で上下方向に表示位置を移動させることにより、付加画像の表示位置を調整することができる。ここでは、付加画像の奥行方向の表示位置については変更しないものとする。

サイズ調整範囲記憶部１６２は、ユーザが指定した付加画像の表示サイズを自動調整可能な範囲として、予め定められた自動調整可能な範囲を記憶している。例えば、予め定められた自動調整可能な範囲は、ユーザが指定した付加画像の長軸および短軸の長さの増減を１５％以下とする範囲である。例えば、付加画像が横長の長方形である場合、ユーザが指定したサイズに対して、長辺及び短辺とも８５％から１１５％までの範囲内で長さを調整することができる。ただし、ここでは長辺と短辺の変化率は同じとする。すなわち付加画像表示領域の変形（縦横比が変化するサイズ変更）は行わないものとする。また、ここでは付加画像の奥行方向のサイズについては調整しないものとする。

領域決定部１６３は、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、距離計算部１６４と、位置調整範囲記憶部１６６と、サイズ調整範囲記憶部１６２と、距離計算部１６４と、領域記憶部１６５と、奥行適合判定部１７０とからの入力を受け、付加画像の表示領域候補に関する情報を、距離計算部１６４及び領域記憶部１６５に出力する。領域決定部１６３は、付加画像位置記憶部１４０と付加画像サイズ記憶部１５０とから、ユーザが指定した、付加画像の表示位置と付加画像のサイズとを取得して、付加画像の表示領域を決定する。領域決定部１６３は、さらに、距離計算部１６４からの入力あるいは奥行適合判定部１７０からの入力に従って、位置調整範囲記憶部１６６に記憶された付加画像の表示位置の調整範囲とサイズ調整範囲記憶部１６２に記憶された付加画像の表示サイズの調整範囲とに基づいて、付加画像の表示領域の位置及びサイズを調整する。

距離計算部１６４は、領域決定部１６３より取得した付加画像の表示領域候補と、表示禁止領域記憶部２１０が記憶している表示禁止領域との、画像表示空間内での距離を計算する。例えば、距離計算部１６４は、画像表示空間内における表示禁止領域と付加画像の表示領域候補とを、それぞれディスプレイ平面へ写像し、ディスプレイ平面上での両者の位置を比較することにより両者の距離を計算する。距離計算部１６４は、ディスプレイ平面上、例えば図２Ｂに示すような座標系のｘｙ平面上で、ｘ座標の差とｙ座標の差とから領域同士の距離を求めることができる。距離計算部１６４は、計算結果を領域決定部１６３に出力する。

領域記憶部１６５は、領域決定部１６３によって決定された付加画像の表示領域候補に関する情報を記憶する。

図３４は、本実施の形態２の変形例８における３次元表示装置２０の動作のうち、ステップＳ１６４０の詳細な動作を示すフローチャートである。ステップＳ１６４０では、表示領域候補決定部１６０は、付加画像の位置およびサイズの調整が可能かどうかを判定する。

距離計算部１６４は、領域決定部１６３で決定された最新の付加画像の表示領域候補と、表示禁止領域記憶部２１０に記憶された表示禁止領域との間の距離を計算する（ステップＳ１６４１）。距離は、ディスプレイ平面へ写像された２つの領域が分離していれば正の値、２つの領域が重なっている場合は負の値で示されるものとする。例えば２つの領域に重なりが無い場合には、領域間の距離は、２つの領域において最も近接した位置間の距離とする。また、２つの領域が重なっている場合には、重なり合った領域に当てはめることのできる最長の直線の長さの負の値を領域間の距離とする。領域決定部１６３は、ステップＳ１６４１で計算された領域間距離に基づいて、最新の付加画像の表示領域候補が、表示禁止領域記憶部２１０に記憶された表示禁止領域を含んでいるか否かを判定する（ステップＳ１６４２）。距離が負の値の場合は２つの領域が重なっている、すなわち付加画像の表示領域が表示禁止領域を含んでいることを示す。ステップＳ１６４２において付加画像の表示領域候補が表示禁止領域を含んでいると判定された場合、すなわちステップＳ１６４２においてｙｅｓの場合は、ステップＳ１６４３へ進む。ステップＳ１６４２において付加画像の表示領域候補が表示禁止領域を含んでいないと判定された場合、すなわちステップＳ１６４２においてｎｏの場合は、ステップＳ１６４７へ進む。

ステップＳ１６４３では、領域決定部１６３は、ステップＳ１６４１で計算された負の領域間距離すなわち領域の重なりの距離と、位置調整範囲記憶部１６６に記憶された位置の調整範囲とから、表示領域候補を、表示禁止領域を含まない位置へ移動させることができるか否かを判断する（ステップＳ１６４３）。この判断は、例えば領域間距離の絶対値が位置調整範囲内にあるか否かによって行うものとする。ステップＳ１６４３で、表示領域候補を表示禁止領域を含まない位置へ移動させることができると判断された場合、すなわちステップＳ１６４３においてｙｅｓの場合は、ステップＳ１６４４へ進む。ステップＳ１６４３において表示領域候補を表示禁止領域を含まない位置へ移動させることができないと判断された場合、すなわちステップＳ１６４３においてｎｏの場合は、ステップＳ１６４５へ進む。

ステップＳ１６４４では、領域決定部１６３は、当該の付加画像の表示領域候補を移動させて、当該の表示領域候補が表示禁止領域を含まない位置を、表示領域候補の位置として再設定する（ステップＳ１６４４）。ステップＳ１６４４の実行後はステップＳ１６４１へ戻る。

ステップＳ１６４５では、領域決定部１６３は、ステップＳ１６４１で計算された負の領域間距離すなわち領域の重なりの距離と、サイズ調整範囲記憶部１６２に記憶されたサイズの調整範囲とから、表示領域候補のサイズを調整することで、表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができるか否かを判断する（ステップＳ１６４５）。この判断は、例えば、領域間距離の絶対値が、サイズ調整範囲を長さの調整範囲として表した場合の長さの調整範囲以内であるか否かによって行うものとする。位置を変更せずに、サイズ変更によって付加画像の表示領域候補が表示禁止領域を含まないようにするためには、例えば、位置の基準となっている表示領域候補の重心位置を変えずに、表示領域候補のサイズを縮小する。ステップＳ１６４５において付加画像の表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができると判断された場合、すなわちステップＳ１６４５においてｙｅｓの場合は、ステップＳ１６４６へ進む。ステップＳ１６４５において、付加画像の表示領域候補が表示禁止領域を含まないように表示領域候補のサイズを変更することができないと判断された場合は、すなわちステップＳ１６４５においてｎｏの場合は、ステップＳ１６７０へ進む。

ステップＳ１６４６では、領域決定部１６３は、当該の付加画像の表示領域候補のサイズを変更して、当該の表示領域候補が表示禁止領域を含まない領域サイズを、表示領域候補のサイズとして再設定する（ステップＳ１６４６）。ステップＳ１６４６の実行後はステップＳ１６４１へ戻る。ステップＳ１６４１からステップＳ１６４４または１６４６を繰り返すことで、予め定められた調整範囲内で位置あるいはサイズを調整することにより、表示禁止領域を含まない、付加画像の表示領域候補が決定される。予め定められた調整範囲内での位置あるいはサイズの調整では表示禁止領域を含まない、付加画像の表示領域候補を決定することができない場合には、画像合成部１８０は、付加画像の表示領域の位置とサイズの再指定の要求をユーザに示す（ステップＳ１６７０）。例えば、画像合成部１８０は、ディスプレイ１９０の画面に再指定の要求メッセージを表示する。

一方、ステップＳ１６４７では、奥行適合判定部１７０は、領域決定部１６３が決定した付加画像の表示領域候補について、表示領域候補の境界面において境界面の内外の奥行の差が許容範囲外であるか否かを判定する（ステップＳ１６４７）。ステップＳ１６４７の動作はステップＳ１３００からステップＳ１５００の動作と同一である。ステップＳ１６４７において境界面の内外の奥行の差が許容範囲外であると判定された場合、すなわちステップＳ１６４７においてｙｅｓの場合、ステップＳ１６４８へ進む。ステップＳ１６４７において境界面の内外の奥行の差が許容範囲内であると判定された場合、すなわちステップＳ１６４７においてｎｏの場合、ステップＳ１６５０へ進む。

ステップＳ１６４８では、領域決定部１６３は、位置調整範囲記憶部１６６に記憶された位置調整範囲内で、付加画像の表示領域候補の位置を移動させることができるか否かを判定する（ステップＳ１６４８）。つまり、領域決定部１６３は、ステップＳ１１２０でユーザの入力により指定された付加画像の表示位置に対して、位置調整範囲記憶部１６６に記憶された表示領域の調整範囲、例えば、指定された表示位置から、移動方向の付加画像領域の長さの２０％である調整範囲を超えない移動の可能性があるか否かを判定する。例えば、付加画像が長方形であり、指定された表示位置から、右方向へ水平軸の１０％移動、２０％移動、左方向へ水平軸の１０％移動、２０％移動の４つの選択が可能であり、上方向へ垂直軸の１０％移動、２０％移動、下方向へ垂直軸の１０％移動、２０％移動の４つの選択が可能であるとする。この場合、水平方向の４種の移動と垂直方向の４種の移動との組み合わせのいずれかについて位置の調整動作が行われていない場合には、領域決定部１６３は、表示領域候補の位置を移動させることができると判定する。一方、全ての組み合わせについて、調整動作が行われている場合には、領域決定部１６３は、表示領域候補の位置を移動することができないと判定する。

ステップＳ１６４８において表示領域候補の位置を移動させることができると判定された場合、すなわちステップＳ１６４８においてｙｅｓの場合には、ステップＳ１６４９へ進む。ステップＳ１６４８において表示領域候補の位置を移動させることができないと判定された場合、すなわちステップＳ１６４８においてｎｏの場合は、ステップＳ１９０１に進む。

ステップＳ１６４９では、領域決定部１６３は、選択可能な、付加画像の表示領域候補の表示位置のうち１つを選択して、付加画像の表示領域候補の表示位置を移動させる（ステップＳ１６４９）。ステップＳ１６４９実行後はステップＳ１６４１へ戻る。

ステップＳ１９０１では、領域決定部１６３は、サイズ調整範囲記憶部１６２に記憶されたサイズ調整範囲内で、付加画像の表示領域候補のサイズを変更することができるか否かを判定する（ステップＳ１９０１）。つまり、領域決定部１６３は、ステップＳ１１２０でユーザの入力により指定された付加画像の表示領域のサイズを、サイズ調整範囲記憶部１６２に記憶された表示領域の調整範囲内で変更することができるか否かを判定する。例えば、領域決定部１６３は、ユーザ指定された付加画像の表示領域のサイズを、当該表示領域の長軸方向あるいは短軸方向に、１５％以内の伸張あるいは圧縮の可能性があるか否かを判定する。付加画像が長方形であり、長方形の重心を中心として、付加画像の面積ではなく、付加画像の長さで、５％伸張、１０％伸張、１５％伸張、５％圧縮、１０％圧縮、または１５％圧縮させることができるとする。これら６種類のうち、いずれかのサイズ変更の選択肢が残っている場合には、領域決定部１６３は、表示領域候補のサイズ変更が可能であると判定する。６種類のサイズ変更の選択肢の全ての調整動作が完了している場合は、領域決定部１６３は、表示領域候補のサイズ変更が不可能であると判定する。

ステップＳ１９０１において付加画像の表示領域候補のサイズを変更することができると判定された場合、すなわちステップＳ１９０１においてｙｅｓの場合はステップＳ１９０２へ進む。ステップＳ１９０１において付加画像の表示領域候補のサイズを変更することができないと判定された場合、すなわちステップＳ１９０１においてｎｏの場合はステップＳ１６７０へ進む。

ステップＳ１９０２では、領域決定部１６３は、選択可能な、付加画像の表示領域候補のサイズのうち１つを選択して、付加画像の表示領域候補のサイズを変更する（ステップＳ１９０２）。ステップＳ１９０２実行後はステップＳ１６４１へ戻る。

ステップＳ１６４１からステップＳ１６４９またはステップＳ１９０２を繰り返すことで、付加画像の境界面の内外の奥行差を許容範囲内に調整することができる。予め定められた調整範囲内の位置あるいはサイズの調整では、付加画像の境界面の内外の奥行差が許容範囲内にならない場合には、画像合成部１８０は、付加画像の表示領域の位置とサイズの再指定の要求をユーザに示す（ステップＳ１６７０）。例えば、画像合成部１８０は、ディスプレイ１９０の画面に再指定の要求メッセージを表示する。

なお、本実施の形態２の変形例８において、表示領域候補決定部１６０は、奥行方向の表示位置を調整しないものとしたが、水平方向、垂直方向と同様に奥行方向に表示位置を移動させて調整するとしても良い。特に、付加画像の境界面において、許容範囲をわずかに超える奥行差があるような場合、付加画像の表示領域を奥行方向に移動させることが有効な場合がある。この場合、奥行の調整範囲を、例えば、元の奥行範囲の１０％以下に設定する、あるいは、例えば、元の平均奥行位置あるいは最小奥行位置のディスプレイ平面からの距離の１０％以下に設定することにより、付加画像を前後に移動させて奥行方向の調整を行うことができる。

＜効果＞
以上のように、本実施の形態２の変形例８によれば、３次元表示装置２０は、ステレオ内視鏡による３次元画像に重ねて、あるいは隣接して付加画像を表示する際に、ユーザが付加画像の表示位置を指定する。３次元表示装置２０は、ユーザが指定した位置におおよそ従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。これにより、ユーザすなわち術者が必要とする位置に付加画像が表示され、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾が回避される。このため、ユーザすなわち術者の疲労を防ぐことができる。

（実施の形態２の変形例９）
実施の形態２の変形例５〜８では、ユーザが指定した付加画像の表示領域の位置とサイズとを調整することにより、付加画像の境界面の内外の奥行差が許容範囲を超えないようにした。しかしながら、実施の形態２の変形例５〜８においては、付加画像の表示領域の変形を行うことはない。本変形例９では、付加画像の表示領域を変形させることにより、付加画像の境界面の内外の奥行差が許容範囲を超えることを防止する。本実施の形態２の変形例９においては、付加画像の表示領域の変形に伴って、付加情報の表示の構成を変更する。この場合、付加情報が画像情報のように空間上の構成を変形させることのできない情報である場合には、表示領域の変形は有効ではない。本実施の形態では、バイタル情報の例を用いて、表示の構成の変更を伴う、表示領域の変形について説明する。

＜構成＞
図３５は、実施の形態２における３次元表示装置２０の機能構成を示すブロック図である。

図３５の３次元表示装置２０は、実施の形態２の図８に示す３次元表示装置２０の表示領域候補決定部１６０が表示領域候補決定部３６０に置き換わり、付加画像形状記憶部３１０が付け加わり、入力部２００として表示制御信号生成部２２０と操作入力部２２１が加わり、表示制御信号生成部２２０の出力が付加画像位置記憶部１４０へ入力され、奥行情報生成部１３０の出力が表示領域候補決定部３６０へ入力される以外は、図８と同様である。図８と同様の処理部には同じ符号を付し、説明を省略する。

３次元表示装置２０は、内視鏡カメラ１１１と、バイタルセンサ１２１と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、付加画像形状記憶部３１０と、表示領域候補決定部３６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０と、表示禁止領域記憶部２１０と、入力部２００とを備える。入力部２００は、表示制御信号生成部２２０と、操作入力部２２１とを備える。

付加画像形状記憶部３１０は、付加画像の表示領域の形状を記憶する。例えば付加画像の表示領域が長方形である場合、付加画像形状記憶部３１０は、縦横の辺の長さの比を記憶している。これ以外にも、付加画像形状記憶部３１０は、付加画像の表示領域が楕円形である場合には、長径と短径の比を記憶する等、付加画像の形状を決定しうる情報を記憶している。

表示領域候補決定部３６０は、付加画像位置記憶部１４０、付加画像サイズ記憶部１５０、付加画像形状記憶部３１０および表示禁止領域記憶部２１０に記憶されている情報を参照し、さらに、奥行情報生成部１３０が生成する、メイン画像である内視鏡カメラ１１１で取得された画像の奥行情報を取得して、付加画像表示領域の候補の位置とサイズと形状とを決定する。

＜動作＞
図３６は、実施の形態２の変形例９における３次元表示装置２０の処理動作を示すフローチャートである。

図３６は、実施の形態２の変形例７における図３１に示した３次元表示装置２０の処理動作のフローチャートにおいて、ステップＳ１６００からステップＳ１６２０が削除され、ステップＳ２０１０が付け加わった以外は、図３１と同様である。図３１と同じ動作については同じ符号を付し、説明を省略する。

以下、図３６に従って、実施の形態２の変形例９における３次元表示装置２０の処理動作を説明する。

まず、内視鏡カメラ１１１は、左右の視差を有する３次元表示用の画像情報をメイン画像として生成し、バイタルセンサ１２１は、付加情報として現在の患者の心電位と血圧とを計測する（ステップＳ１１００）。

表示制御信号生成部２２０は、操作入力部２２１よりユーザの付加画像に対する操作を取得し、付加画像を表示する指示入力を検出する（ステップＳ１１１０）。ステップＳ１１１０において付加画像を表示する指示入力が検出された場合、すなわちステップＳ１１１０においてｙｅｓの場合はステップＳ１１２０へ進む。ステップＳ１１１０において付加画像を表示する指示入力が検出されなかった場合、すなわちステップＳ１１１０においてｎｏの場合はステップＳ１７００に進む。ステップＳ１７００では、画像合成部１８０は、付加画像を含まないメイン画像である内視鏡カメラ画像を表示用画像として合成する。

ステップＳ１１２０では、表示制御信号生成部２２０はさらに、付加画像の位置を操作する入力を検出する（ステップＳ１１２０）。ステップＳ１１２０において付加画像の位置を指定する入力が検出された場合、すなわちステップＳ１１２０においてｙｅｓの場合はステップＳ１１３０へ進む。ステップＳ１１２０において付加画像の位置を指定する入力が検出されなかった場合、すなわちステップＳ１１２０においてｎｏの場合はステップＳ１２００に進む。

ステップＳ１１３０では、表示制御信号生成部２２０は、ステップＳ１１１０で取得した付加画像の表示に関する指示入力中の付加画像の位置の情報を、付加画像位置記憶部１４０へ出力する。付加画像位置記憶部１４０は表示制御信号生成部２２０が出力した付加画像の位置の情報を記憶する（ステップＳ１１３０）。

ステップＳ１２００では、表示領域候補決定部３６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を１つ決定する（ステップＳ１２００）。例えば、表示領域候補決定部３６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズのうち、未選択のものから任意に１つを選択し、選択した付加画像のサイズと付加画像位置記憶部１４０に記憶された付加画像の位置との組み合わせで示される領域を、表示領域の候補として決定する。なお、ステップＳ１２００では付加画像位置記憶部１４０に記憶された付加画像の位置の情報のうち、最新の情報を用いて、表示領域の候補を決定するものとする。したがって、ステップＳ１１３０が実行されている場合は、ステップＳ１１３０で記憶された位置情報を用いて、表示領域の候補が決定される。

表示領域候補決定部３６０は、ステップＳ１２００で決定した表示領域の候補が表示禁止領域記憶部２１０に記憶された表示禁止領域を含むか否かを判定する（ステップＳ１２１０）。ステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、ステップＳ２０１０へ進む。ステップＳ１２１０において表示領域候補が表示禁止領域を含まないと判定された場合、すなわちステップＳ１２１０においてｎｏの場合、ステップＳ１３００に進む。

ステップＳ１３００では、奥行適合判定部１７０はステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出し、境界線あるいは境界面の周辺の奥行情報を抽出する（ステップＳ１３００）。

さらに、奥行適合判定部１７０は、表示領域候補決定部３６０が、付加画像位置記憶部１４０に記憶された付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ２０１０に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ１７００に進む。

ステップＳ１７００では、画像合成部１８０は、ステップＳ１１００で取得したメイン画像と、ステップＳ１１００で取得した付加情報を示す付加画像とを合成する。具体的には、画像合成部１８０は、メイン画像をディスプレイ１９０の画面に表示し、メイン画像に重ねて、付加画像をステップＳ１２００で決定した表示領域候補を表示領域として、当該表示領域に表示するよう画像を合成する。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。

ステップＳ２０１０では、表示領域候補決定部３６０は、付加画像の形状を変形させ、変形後の形状を付加画像形状記憶部３１０に記憶する（ステップＳ２０１０）。例えば、表示領域候補決定部３６０は、付加画像の表示位置を変更せず、付加画像の表示領域が表示禁止領域を含まないよう、すなわち、付加画像の表示領域が表示禁止領域外になるよう付加画像の形状を変形する。例えば、付加画像の表示領域が長方形である場合に、付加画像の表示領域の上部が表示禁止領域と重なり合う場合には、長方形の縦の辺を短くし、横の辺を伸ばし、表示領域をより横長の長方形に変形することにより、付加画像が表示禁止領域を含まないようにする。付加画像の表示領域の変形処理（ステップＳ２０１０）の詳細については後述する。ステップＳ２０１０の実行後はステップＳ１２００に戻る。

ステップＳ１２００からステップＳ２０１０を繰り返すことで、表示禁止領域を回避して表示領域候補を決定し、さらに奥行差が許容範囲を超えない付加画像の表示領域を決定することができる。

図３７は、実施の形態２の変形例９の３次元表示装置２０の部分の詳細を示した機能ブロック図である。

表示領域候補決定部３６０は、領域決定部３６３と、距離計算部１６４と、領域記憶部１６５と、形状決定部３６１と、レイアウト決定部３６２とを備える。

領域決定部３６３は、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、形状決定部３６１と、距離計算部１６４と、領域記憶部１６５と、レイアウト決定部３６２と、奥行適合判定部１７０とからの入力を受け、付加画像の表示領域候補に関する情報を、距離計算部１６４及び領域記憶部１６５に出力する。領域決定部３６３は、付加画像位置記憶部１４０からユーザが指定した付加画像の表示位置を取得し、付加画像サイズ記憶部１５０から、予め定められた付加画像のサイズを取得する。領域決定部３６３は、取得した表示位置とサイズが示す領域を、付加画像の表示領域として決定する。領域決定部３６３は、さらに、距離計算部１６４からの入力あるいは奥行適合判定部１７０及びレイアウト決定部３６２からの入力に従って、付加画像の表示領域を変形し、変形した表示領域内の付加情報の表示レイアウトを調整する。

距離計算部１６４は、領域決定部３６３より取得した付加画像の表示領域候補と、表示禁止領域記憶部２１０が記憶している表示禁止領域との、画像表示空間内での距離を計算する。例えば、距離計算部１６４は、画像表示空間内における表示禁止領域と付加画像の表示領域候補とを、それぞれディスプレイ平面へ写像し、ディスプレイ平面上での両者の位置を比較することにより両者の距離を計算する。距離計算部１６４は、ディスプレイ平面上、例えば図２Ｂに示すような座標系のｘｙ平面上で、ｘ座標の差とｙ座標の差とから領域同士の距離を求めることができる。距離計算部１６４は、計算結果を領域決定部３６３に出力する。

領域記憶部１６５は、領域決定部３６３によって決定された付加画像の表示領域候補に関する情報を記憶する。

形状決定部３６１は、距離計算部１６４より取得した表示禁止領域と当該の付加画像の表示領域候補との間の距離と、奥行情報生成部１３０より取得した、メイン画像である内視鏡カメラ１１１が撮像した３次元画像の奥行情報と、付加画像形状記憶部３１０に記憶された付加画像の形状情報と、付加画像位置記憶部１４０に記憶された付加画像の位置と、付加画像サイズ記憶部１５０に記憶された付加画像のサイズとから、付加画像の表示領域候補の形状とサイズとを決定し、決定した表示領域候補の形状とサイズとをレイアウト決定部３６２と、領域決定部３６３へ出力する。

レイアウト決定部３６２は、形状決定部３６１より取得した、付加画像の表示領域候補の形状とサイズに対して、付加画像表示領域内でのバイタル情報を表示するためのレイアウトを決定する。図３８Ａは、バイタル情報を標準形状の付加画像の表示領域に表示した一例を示す模式図である。図３８Ｂはバイタル情報を、標準形状より横に長い長方形の付加画像の表示領域に表示した一例を示す模式図である。図３８Ｃは、バイタル情報を、血圧と心電図との二つの付加画像の表示領域に表示した例を示す模式図である。バイタル情報が血圧と心電図である場合、横軸が時間を示し、縦軸が気圧を示す血圧のグラフと、横軸が時間を示し、縦軸が電位を示す心電図のグラフとが、バイタル情報として表示される。両グラフともに横軸は時間を示す。図３８Ａに示す標準形状である長方形の表示領域候補では、２つのグラフを縦に並べることにより、２つのグラフの横軸をそろえ、時間の同期が見やすいレイアウトにしている。一方、図３８Ｂに示す横長長方形の表示領域候補では、２つのグラフを横に並べることにより、縦の長さが短い領域であっても、グラフの縦軸を圧縮しすぎることなく、２つのグラフを観察可能なレイアウトとしている。図３８Ｃでは、２つのグラフを２つの領域に分割して表示し、１つずつの領域を小さくして、付加画像の表示位置の自由度を高くし、グラフを圧縮しすぎることなく見やすく表示するレイアウトとしている。

図３９は、実施の形態２の変形例９における３次元表示装置２０の動作の部分の詳細を示したフローチャートである。

図３９に従って、ステップＳ２０１０の動作を説明する。

図３６のステップＳ１２１０において表示領域候補が表示禁止領域を含むと判定された場合、すなわちステップＳ１２１０においてｙｅｓの場合、あるいは、ステップＳ１５００において奥行の差が許容範囲外である場合と判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、表示領域候補決定部３６０は、ステップＳ２０１０の動作を行う。

まず、形状決定部３６１は、奥行情報生成部１３０より取得したメイン画像の奥行情報より、画像中の画面からの飛び出しの大きい部分を抽出する（ステップＳ２０１１）。図２Ｂのように画像中のオブジェクトの位置を示す座標が設定されており、奥行方向のｚ軸については、画面からの飛び出し方向が正の値で、画面から奥側が負の値である場合には、形状決定部３６１は、ｚ座標の値が例えば５０ｃｍを超えるオブジェクト部分を、飛び出しの大きい部分として抽出する。

形状決定部３６１は、ステップＳ２０１１で抽出した飛び出しの大きい部分と、当該の付加画像の表示領域候補との間の距離を計算する（ステップＳ２０１２）。例えば、形状決定部３６１は、飛び出しの大きい部分と、付加画像の表示領域とを、図２Ｂの座標上のｘｙ平面すなわち、ディスプレイ平面に写像し、この平面上で、２つの領域が最も近接する部分の距離を求める。

形状決定部３６１は、ステップＳ２０１１で求められた飛び出しの大きい部分の形状と、ステップＳ２０１２で求められた距離とに基づいて、飛び出しの大きい部分を、付加画像で遮蔽するか否かを判断する（ステップＳ２０１３）。例えば、形状決定部３６１は、飛び出しの大きい部分のｘｙ平面への写像部分が連続しており、かつ写像部分の面積が予め定められた値を下回る場合や、飛び出しの大きい部分のｘｙ平面への写像部分が連続していなくてもその分布範囲が、予め定められた面積の連続する任意の領域に重なる場合や、飛び出しの大きい部分のｘｙ平面への写像と当該付加画像の表示領域候補のｘｙ平面への写像とが重なっている場合に、飛び出しの大きい部分を付加画像で遮蔽すると判断する。

ステップＳ２０１３において飛び出しの大きい部分を付加画像で遮蔽すると判断した場合、すなわちステップＳ２０１３においてｙｅｓの場合、ステップＳ２０１４に進む。

ステップＳ２０１４では、形状決定部３６１は、遮蔽すべき飛び出し部分の範囲を含む形状とサイズに当該付加画像の領域を変形する（ステップＳ２０１４）。ここでは付加画像は長方形である。このため、例えば、形状決定部３６１は、遮蔽すべき部分についてディスプレイ平面すなわち図２Ｂのｘｙ平面に写像した図形の、水平方向すなわち図２Ｂのｘ軸方向の左端と右端の間の距離を横の辺の長さとする。同様に遮蔽すべき部分の垂直方向すなわち図２Ｂのｙ軸方向の上端と下端の間の距離を縦の辺の長さとする。縦の辺の長さと横の変の長さとから変形後の付加画像の表示領域の形状とサイズが決定される。

ステップＳ２０１３において飛び出しの大きい部分を付加画像で遮蔽しないと判断した場合、すなわちステップＳ２０１３においてｎｏ場合、ステップＳ２０１５に進む。

ステップＳ２０１５では、形状決定部３６１は、距離計算部１６４で計算された当該の付加画像の表示領域候補と、表示禁止領域との間の距離に基づいて、当該の付加画像の表示領域候補が表示禁止領域を含んでいるか否かを判定する（ステップＳ２０１５）。ステップＳ２０１５において付加画像表示領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ２０１５においてｙｅｓの場合は、ステップＳ２０１６へ進む。ステップＳ２０１５において付加画像の表示領域が表示禁止領域を含んでいないと判定された場合、すなわちステップＳ２０１５においてｎｏの場合は、ステップＳ２０１７へ進む。

ステップＳ２０１６では、形状決定部３６１は、距離計算部１６４で計算された当該の付加画像の表示領域候補と表示禁止領域との間の距離に応じて、付加画像の表示領域候補の形状を変形する（ステップＳ２０１６）。形状決定部３６１は、例えば、長辺と短辺の変更で付加画像の表示領域と表示禁止領域との重なりが無くなる変形であって、付加画像表示領域の変形に伴う付加画像の表示領域の重心の変化が最も少ない変形を行うものとする。

ステップＳ２０１７では、形状決定部３６１は、ステップＳ２０１２で計算された飛び出し部分と当該の付加画像の表示領域候補との距離に従って、当該の付加画像の表示領域候補の形状を変形する（ステップＳ２０１７）。例えば、形状決定部３６１は、当該の付加画像の表示領域候補と隣接あるいは重複する全ての飛び出し部分と、当該の付加画像の表示領域候補との距離の和が最大となるように、表示領域候補の長辺と短辺の変更を行う。あるいは、形状決定部３６１は、飛び出し部分との重複を解消するための長辺と短辺の変更であって、付加画像表示領域の変形に伴う付加画像の表示領域の重心の変化が最も少ない変形を行うとしても良い。

ステップＳ２０１８では、レイアウト決定部３６２は、ステップＳ２０１４、ステップＳ２０１６、またはステップＳ２０１７で変形された当該の付加画像の表示領域候補の縦横比に応じて、付加情報の表示レイアウトを変更する（ステップＳ２０１８）。例えば、付加画像の表示領域が長方形であり、かつ、表示領域の縦の辺が８ｃｍを下回った場合に、レイアウト決定部３６２は、図３８Ｂに示すように、横軸が時間である複数のグラフを、横に並べたレイアウトに変更する。また、表示領域の縦の辺が８ｃｍ以上の場合には、レイアウト決定部３６２は、図３８Ａに示すように、２つのグラフの時間軸を揃えて縦に並べて表示するレイアウトに変更する。

なお、ステップＳ２０１５において付加画像表示領域が表示禁止領域を含んでいると判定された場合、すなわちステップＳ２０１５においてｙｅｓの場合は、形状決定部３６１は、表示禁止領域を避けるように表示領域候補の形状を変形することとした（ステップＳ２０１６）。しかし、このような変形をすると、表示候補領域の形状の面積が所定閾値以下となり、当該面積が極端に小さくなってしまうような場合には、形状決定部３６１が、面積が極端に小さいことを示す信号を画像合成部１８０に送信してもよい。画像合成部１８０は、受信した当該信号に応答して、ユーザに付加画像の表示位置の再指定を促すメッセージを、ディスプレイ１９０に表示する。

以上のように、本実施の形態２の変形例９によれば、３次元表示装置２０は、ステレオ内視鏡により撮像された３次元画像に、付加画像を重ねて表示する際に、ユーザが付加画像の表示位置を指定した場合に、付加画像の表示領域の形状と表示領域内の付加情報のレイアウトを変更する。これにより、ユーザの位置指定におおよそ従い、且つ、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて、付加画像の表示領域を決定する。または、付加画像によってメイン画像を遮蔽することで付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を回避する。これにより、ユーザすなわち術者が必要とする位置に付加画像を表示し、且つ付加画像が鉗子のアームにめり込んだような奥行の矛盾を回避し、ユーザすなわち術者の疲労を防ぐことができる。

なお、本実施の形態２の変形例９では、表示領域候補決定部３６０は、前記候補領域の位置を変更しても奥行適合判定部１７０により奥行差が許容範囲に含まれないと判定される場合に、生体データのグラフのレイアウトを変更したが、前記候補領域のサイズを変更しても奥行適合判定部１７０により奥行差が許容範囲に含まれないと判定される場合に、生体データのグラフのレイアウトを変更するようにしても良い。

なお、実施の形態２の変形例９では、付加画像がメイン画像中の飛び出しの大きい部分を遮蔽するよう付加画像の表示領域の形状を変形させた。その他、表示領域の変形と同時に、付加画像を表示する際の奥行を変更し、付加画像とメイン画像との境界面での、付加画像とメイン画像との奥行の差を最小にする奥行位置に、付加画像の表示位置を調整するものとしても良い。奥行の差を最小にするとは、奥行の差の平均を最小にする、あるいはメイン画像側の奥行最大位置に付加画像の奥行位置を合わせることを指す。

なお、実施の形態２の変形例５〜９において、表示領域候補決定部１６０または表示領域候補決定部３６０が決定した複数の表示領域候補の中から、ユーザにいずれかの表示領域候補を選択させても良い。例えば、全ての表示領域候補に付加画像を付してディスプレイに表示し、ユーザが入力部２００を用いて特定の表示領域を選択する処理を追加しても良い。図４０Ａは、表示領域候補決定部１６０または表示領域候補決定部３６０が設定した、４つの付加画像の表示領域候補を画面に表示した表示例を示す図である。この例では、付加画像の表示領域候補はディスプレイの４つの隅に接触する位置に設定される。各々の付加画像の領域は、実施の形態２の変形例７の図３１に示すステップＳ１２１０からステップＳ１６１０と同様の動作により、付加画像位置をディスプレイの隅に固定し、表示禁止領域記憶部２１０に記憶された領域を含まず、付加画像の表示領域の内外での奥行差が許容範囲内になるよう、サイズを調整されている。図４０Ａのようにサイズを調整された付加画像の表示領域候補がすべてディスプレイに表示され、ユーザは最も好ましい位置とサイズを持つ表示領域を選択する。図４０Ｂは、表示領域候補を選択するための操作入力部２２１の一例である。図４０Ｂの例では、操作入力部２２１は、ディスプレイ上の位置に対応する４つのボタンと、十字キーとを備えている。ユーザは、ディスプレイ上の位置に対応する４つのボタンのうち、最も好ましい位置とサイズを持つ表示領域に対応するボタンを押すことで付加画像の表示領域を４つの候補から選択することができる。あるいは、ユーザは、十字キーの操作により４つの表示領域候補のうち１つを選択することもできる。

なお、実施の形態２の変形例１〜９において、ステレオ内視鏡カメラ画像及びバイタル情報はリアルタイムで取得され、表示されるものとして説明したが、ステレオ内視鏡カメラにより撮像され、録画された画像と、画像に同期して取得され、記録されたバイタル情報とを、表示するものとしても良い。その場合には、内視鏡カメラ１１１、バイタルセンサ１２１はそれぞれ画像記憶部とバイタルデータ記憶部とに置き換えられる。予め記録された画像を用いる場合には、奥行情報は予め生成され、画像情報と同期したデータとして記憶されているものとしても良い。

（実施の形態３）
実施の形態２およびその変形例では、３次元表示装置２０は、ステレオの内視鏡カメラ１１１で撮像している内視鏡手術の手術中画像をリアルタイムで表示するものである。実施の形態３はステレオ内視鏡カメラで撮像され、記憶された画像をメイン画像として表示するものである。なお、手術中にステレオ内視鏡カメラでの撮像と同時に記録された情報が、ステレオ内視鏡カメラの画像と時間同期した付加情報として記憶されている。

＜構成＞
図４１は、実施の形態３における３次元表示装置３０の機能構成を示すブロック図である。

３次元表示装置３０は、図１の３次元表示装置１０の構成において、メイン画像取得部１１０が内視鏡画像記憶部１１２に置き換わり、付加情報取得部１２０がバイタル記憶部１２５と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３とに置き換わり、適合判定結果記憶部３４０と、最適表示計画決定部３２０と、付加画像表示計画記憶部３３０とが加えられたものである。それ以外の構成は、図１の３次元表示装置１０と同様である。図１と同様の部分には同じ符号を付し説明を省略する。

３次元表示装置３０は、内視鏡画像記憶部１１２と、バイタル記憶部１２５と、ＭＲＩ画像記憶部１２２と、３次元画像合成部１２３と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、適合判定結果記憶部３４０と、最適表示計画決定部３２０と、付加画像表示計画記憶部３３０と、画像合成部１８０と、ディスプレイ１９０とを備える。

内視鏡画像記憶部１１２は、ステレオ内視鏡を使用した手術中の画像を記憶している。画像は、手術に用いたステレオ内視鏡カメラの画像を動画として記憶したステレオ３次元画像であり、時間の同期が取られた右眼用画像と左眼用画像として記憶されている。

バイタル記憶部１２５は、内視鏡画像記憶部１１２の撮像と同時に手術中の患者の身体に取りつけられたセンサにより計測され、記憶された体温、心電位、血圧、血中酸素濃度、脳波等のバイタル情報を記憶している。これらのバイタル情報は内視鏡画像記憶部１１２に記憶された画像と時間の同期が取られている。

ＭＲＩ画像記憶部１２２は、術前にＭＲＩシステムにより記録された、手術の対象となる患部の画像を含む３次元画像情報を記憶している。

３次元画像合成部１２３は、ＭＲＩ画像記憶部１２２に記憶された画像情報を指定された切断面（スライス）や、指定された範囲の立体画像としてディスプレイ１９０に表示可能な形式の画像に合成する。

奥行情報生成部１３０は、内視鏡画像記憶部１１２に記憶された３次元画像の左右の視差を求め、画像の奥行情報を生成する。

付加画像位置記憶部１４０は、バイタル記憶部１２５に記憶されたバイタル情報またはＭＲＩ画像記憶部１２２に記憶されたＭＲＩ画像情報を、ディスプレイ１９０の画面上に表示する際の位置を記憶する。

付加画像サイズ記憶部１５０は、付加情報取得部１２０で取得された付加情報を、付加画像として、ディスプレイ１９０の画面上に表示する際のサイズを記憶する。

表示領域候補決定部１６０は、１つ以上の付加情報を、付加画像として、ディスプレイ１９０の画面上に表示するための表示領域の候補を決定する。

奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０で生成された内視鏡画像の奥行情報とから、付加画像の表示領域の境界面の周辺での付加画像とメイン画像との奥行の違いが、予め定められた値より大きな奥行差、あるいは奥行の矛盾がある状態を検出する。

適合判定結果記憶部３４０は、奥行適合判定部１７０が各表示領域候補について所定時間ごとに判定した付加画像とメイン画像との奥行の差の値を記憶している。

図４２は、適合判定結果記憶部３４０に記憶される情報の例を示す。図４２は、各時間における各付加画像の表示領域に対する奥行適合判定部１７０の判定結果を示している。

最適表示計画決定部３２０は、内視鏡画像記憶部１１２に記憶された画像のすべての時間に対して奥行適合判定部１７０が判定した結果を、適合判定結果記憶部３４０に記憶されている情報から検索する。最適表示計画決定部３２０は、各時間の各表示領域候補から、時間ごとに最適な表示領域を選択する。最適表示計画決定部３２０は、内視鏡画像記憶部１１２に記憶された画像の各時間に対して、選択された最適な付加画像の表示領域を、表示計画として決定する。最適な表示領域の決定は、例えば、全ての時間を通して、付加画像の表示位置が変化する回数が最も少ないものや、全ての時間を通して、付加画像の表示位置の変化量が最も少ないものといった判断基準に基づいて行われる。

付加画像表示計画記憶部３３０は、最適表示計画決定部３２０が決定した表示計画を記憶している。

画像合成部１８０は、内視鏡画像記憶部１１２に記憶された３次元画像をディスプレイ１９０の画面に表示し、バイタル記憶部１２５に記憶されたバイタル情報と、ＭＲＩ画像記憶部１２２に記憶されたＭＲＩ画像の情報とを、付加画像表示計画記憶部３３０に記憶された表示計画に示される各時間における付加画像の表示領域に表示するように、画像を合成する。

ディスプレイ１９０は、生成された画像を表示する。

＜動作＞
図４３は、実施の形態３における３次元表示装置３０の動作を示すフローチャートである。

図４４、図４５は、実施の形態３における３次元表示装置３０の動作の一部の詳細を示すフローチャートである。

図４１、図４３、図４４、および図４５に従って実施の形態３の３次元表示装置３０の動作を説明する。

３次元表示装置３０は、まず、メイン画像である内視鏡画像記憶部１１２に記憶された画像と合わせて表示する付加画像の、表示領域の時間系列すなわち、付加画像の表示計画を決定する（ステップＳ３１００）。次に、３次元表示装置３０は、実際にメイン画像と付加画像とを合成し、合成した３次元画像を表示する（ステップＳ３２００）。

以下、ステップＳ３１００の動作について詳細を説明する。

図４４を参照して、奥行情報生成部１３０は、内視鏡画像記憶部１１２に記憶されたステレオ３次元画像から処理のための単位時間の画像を取得し、内視鏡画像記憶部１１２内に未処理の画像が残っているか否かを判断する（ステップＳ３１１０）。処理の単位時間は例えばデジタル動画の１サンプルである。ステップＳ３１１０において、内視鏡画像記憶部１１２に未処理の画像があると判断された場合には（ステップＳ３１１０でｙｅｓ）、ステップＳ１２００へ進む。ステップＳ３１１０において内視鏡画像記憶部１１２に未処理の画像が残っていないと判断された場合には（ステップＳ３１１０でｎｏ）、ステップＳ３１３０へ進む。

ステップＳ１２００では、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。

奥行情報生成部１３０は、内視鏡画像記憶部１１２より取得した処理単位分の画像の奥行情報を生成する（ステップＳ１３００）。

奥行適合判定部１７０は、付加画像位置記憶部１４０に記憶されている情報より求めた表示領域の奥行と、ステップＳ１３００で抽出した付加画像との境界線あるいは境界面に隣接する部分の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示される奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ３１２０に進む。

ステップＳ１６００において、表示領域候補決定部１６０は、付加画像の表示位置を移動させ、移動させた表示位置を付加画像位置記憶部１４０に記憶する（ステップＳ１６００）。ステップＳ１６００の後、ステップＳ１２００へ戻る。

ステップＳ３１２０では、奥行適合判定部１７０は、内視鏡画像記憶部１１２に記憶されたメイン画像と同期する時間情報と、付加画像表示領域候補の領域の情報と、ステップＳ１４００で求められた付加画像の領域境界線あるいは境界面を挟んで表示されるメイン画像と付加画像の奥行差とを、適合判定結果記憶部３４０に記憶する。記憶内容は例えば図４２のように構成される。ステップＳ３１２０の後、ステップＳ３１１０へ戻る。

ステップＳ３１１０からステップＳ３１２０を反復することで、内視鏡画像記憶部１１２内に記憶された画像の全時間に対して、付加画像の表示領域の候補が単位時間ごとに記憶される。

ステップＳ３１３０では、最適表示計画決定部３２０が、適合判定結果記憶部３４０に記憶された時間ごとの付加画像表示領域候補から、時間ごとに、付加画像を表示する表示領域を決定する。付加画像の表示領域の選択方法は、例えば、メイン画像の全時間に対して、付加画像の表示領域の移動回数が最も少なくなるように、各時間での付加画像の表示領域を選択する。付加画像の表示領域の選択方法は、これ以外にも例えば、メイン画像の全時間に対して、付加画像の表示領域の総移動距離が最も少なくなるように各時間での付加画像の表示領域を選択するとしても良い。また、移動回数と移動距離を組み合わせた基準を用いて最適化するものとしても良い。最適表示計画決定部３２０は、このようにして最適化した、時間ごとの付加画像の表示領域、すなわち付加画像の表示計画を付加画像表示計画記憶部３３０に記憶する（ステップＳ３１４０）。

ステップＳ３１１０からステップＳ３１４０の処理を行うことで、内視鏡画像記憶部１１２に記憶されたメイン画像の全ての時間について、メイン画像に重ねて表示する付加画像の表示領域が全て決定される。

次に、図４５を参照して、ステップＳ３２００の詳細な動作を説明する。

画像合成部１８０は、内視鏡画像記憶部１１２に記憶されたステレオ３次元画像から表示のための単位時間の画像を取得し、内視鏡画像記憶部１１２内に未処理の画像が残っているか否かを判断する（ステップＳ３２１０）。ステップＳ３２１０において内視鏡画像記憶部１１２に未処理の画像があると判断された場合には（ステップＳ３２１０でｎｏ）、ステップＳ３２２０へ進む。ステップＳ３２１０において内視鏡画像記憶部１１２に未処理の画像が残っていないと判断された場合には（ステップＳ３２１０でｙｅｓ）、ステップＳ３２５０へ進む。

ステップＳ３２２０では、画像合成部１８０は付加画像表示計画記憶部３３０より、当該の時間に対応する付加画像の表示領域を取得する（ステップＳ３２２０）。

ステップＳ３２３０において、画像合成部１８０は、バイタル記憶部１２５より当該の時間に対応するバイタル情報を取得する。また、画像合成部１８０は、表示テンプレートに従って、ステップＳ３２２０で取得した付加画像の表示領域内に画像を生成する。表示テンプレートは、例えば横軸が時間を示し、縦軸が体温や血圧等の値を示すグラフのテンプレートである。さらに画像合成部１８０は、３次元画像合成部１２３から、ＭＲＩ画像記憶部１２２に記憶された情報を元にコンピュータグラフィックスで生成されたステレオ３次元の画像情報を取得する。画像合成部１８０は、取得した画像情報から、ステップＳ３２２０で取得した付加画像の表示領域内にコンピュータグラフィックス画像を生成する（ステップＳ３２３０）。

画像合成部１８０は、ステップＳ３２３０で生成した付加画像をステップＳ３２１０で取得したメイン画像と合成し、全体の画像を生成する（ステップＳ３２４０）。

ディスプレイ１９０は、ステップＳ３２４０で生成された画像を表示する（ステップＳ１８００）。

ステップＳ３２１０からステップＳ１８００を反復することで内視鏡画像記憶部１１２に記憶された画像と対応する付加画像とをすべて表示することができる。内視鏡画像記憶部１１２に記憶された画像がすべて表示されると、３次元表示装置３０は動作を終了する（ステップＳ３２５０）。

＜効果等＞
以上のように、本実施の形態によれば、３次元表示装置３０は、３次元画像に重ねてあるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。さらに、メイン画像と付加画像の全表示時間を通して、付加画像の表示領域を最適化することで、付加画像の表示領域が頻繁に移動したり、大きく移動したりすることによるユーザの負担を避けてユーザの疲労を防ぐことができる。

なお、実施の形態３では、表示領域候補決定部１６０は、付加画像位置記憶部１４０と付加画像サイズ記憶部１５０に記憶された情報に基づいて表示領域の候補を決定したが、実施の形態２や実施の形態２の変形例３、変形例４のように、表示禁止領域記憶部２１０に付加画像による遮蔽を禁止する領域の情報を記憶させておき、例えば、手術対象である患部を遮蔽する領域を、付加画像の表示領域として設定しないようにしても良い。

また、実施の形態３では付加画像は自動的に表示され、ユーザが付加画像に対する操作することは無いものとしたが、実施の形態２や実施の形態２の変形例２のように入力部２００よりユーザが付加画像に対する操作を入力することで、付加画像の領域を変更させるようにしても良い。

実施の形態３では、録画済のメイン画像を対象として、付加画像の表示領域の移動回数または総移動距離が最も少なくなるように、各時間での付加画像の表示領域を選択したが、実施の形態１及び２で説明したリアルタイムに撮像されたメイン画像についても、付加画像の表示領域の移動回数または総移動距離を最も少なくするために、以下の処理を行っても良い。例えば、図１に示した表示領域候補決定部１６０は、付加画像の表示領域候補を決定する際に、直前に表示されていた付加画像の表示位置に最も近い表示領域候補を優先して、付加画像の表示領域候補を決定するようにしても良い。

（実施の形態４）
実施の形態２とその変形例および実施の形態３では、メイン画像はステレオ内視鏡カメラで撮像した画像であり、付加画像はメイン画像と時間同期したバイタル情報の画像と、ＭＲＩ画像等の事前に取得された画像とであった。これに対し、実施の形態４の３次元表示装置では、遠隔操作ロボットに取り付けられたステレオカメラで撮像した画像をメイン画像とし、当該ロボットの動作範囲の地図情報と、当該ロボットの現在位置情報とから生成される現在位置の地図を付加画像とする。３次元表示装置は、遠隔操作ロボットのオペレータが観視するものとする。３次元表示装置３０は、付加画像として、現在位置の地図以外に、ロボットの動作環境の気温、湿度、気圧、放射線量等の周辺環境情報の画像を表示しても良い。周辺環境情報の画像を付加画像として表示する場合は、実施の形態２のバイタル情報画像のように、グラフ表示する等の表示が可能である。

＜構成＞
図４６は、実施の形態４における３次元表示装置４０の機能構成を示すブロック図である。

図４６は、図１の実施の形態１の３次元表示装置１０の構成において、メイン画像取得部１１０がステレオカメラ１１３に置き換わり、付加情報取得部１２０が地図記憶部１２６と、位置センサ１２７と、３次元地図合成部１２８とに置き換わったものである。それ以外の構成は、図１の３次元表示装置１０と同様である。図１と同様の部分には同じ符号を付し説明を省略する。

３次元表示装置４０は、ステレオカメラ１１３と、地図記憶部１２６と、位置センサ１２７と、３次元地図合成部１２８と、奥行情報生成部１３０と、付加画像位置記憶部１４０と、付加画像サイズ記憶部１５０と、表示領域候補決定部１６０と、奥行適合判定部１７０と、画像合成部１８０と、ディスプレイ１９０とを備える。

ステレオカメラ１１３は、遠隔操作ロボットに取り付けられたステレオ３次元画像撮像用のカメラである。

地図記憶部１２６は、予め定められた、当該ロボットが活動する範囲の地図情報を記憶している。地図は、例えば特定の建物の設計図であり、各階の部屋の情報を含む。

位置センサ１２７は、当該遠隔操作ロボットの現在位置を計測するセンサである。具体的には、例えばＧＰＳセンサと高度計である。平面上の位置がＧＰＳセンサにより計測され、建物内の階層が高度計により計測される。

３次元地図合成部１２８は、地図記憶部１２６に記憶された地図情報と、位置センサ１２７で計測された当該ロボットの位置情報とから、３次元表示された建物内の画像に、当該ロボットの現在位置を示す画像を合成する。３次元地図合成部１２８は、例えば壁等の建物の構造物を半透明で示し、当該ロボットを三角柱のような前後方向が分かる形状で表示するための画像を生成する。

奥行情報生成部１３０は、ステレオカメラ１１３で撮影された３次元画像の左右の視差を求め、画像の奥行情報を生成する。

付加画像位置記憶部１４０は、３次元地図合成部１２８で合成された画像をディスプレイ１９０の画面上に表示する際の位置を記憶する。

付加画像サイズ記憶部１５０は３次元地図合成部１２８で合成された画像を画面上に表示する際のサイズを記憶する。

表示領域候補決定部１６０は、１つ以上の付加情報を付加画像として画面上に表示するための表示領域の候補を決定する。

奥行適合判定部１７０は、表示領域候補決定部１６０が決定した表示領域の候補の情報と、奥行情報生成部１３０が生成した３次元画像の奥行情報とから、付加画像の表示領域の境界面の周辺での付加画像とメイン画増との奥行の違いが、予め定められた値より大きな奥行差、あるいは奥行の矛盾がある状態を検出する。

画像合成部１８０は、ステレオカメラ１１３で撮像された３次元画像と３次元地図合成部１２８で合成された画像とを合成することにより、ディスプレイ１９０に表示する画像を生成する。

ディスプレイ１９０は、画像合成部１８０により生成された画像を表示する。

＜動作＞
図４７は、実施の形態４における３次元表示装置１０の処理動作を示すフローチャートである。図４７は実施の形態１の図５に示した動作にステップＳ４１００が付け加わった以外は図５と同様である。

以下、図４６と図４７に従って実施の形態４の３次元表示装置４０の動作を説明する。

まず、ステレオカメラ１１３は、左右の視差を有する３次元表示用の画像情報を取得し、位置センサ１２７は、ロボットの現在位置の情報を取得する（ステップＳ１１００）。現在位置情報は、平面位置と高度との情報を含む。

次に、表示領域候補決定部１６０は、付加画像サイズ記憶部１５０に記憶された、予め定められた付加画像のサイズと、付加画像位置記憶部１４０に記憶された付加画像の位置とから、表示領域の候補を決定する（ステップＳ１２００）。実施の形態４では、付加画像サイズ記憶部１５０は１つの付加画像のサイズを記憶しており、付加画像位置記憶部１４０は１つ以上の表示位置を記憶しているものとする。

奥行適合判定部１７０は、ステップＳ１２００で決定された付加画像の表示領域候補の境界線あるいは境界面を抽出する。境界面はディスプレイ１９０の平面に直交する奥行方向の面である。奥行適合判定部１７０は、ステップＳ１１００で取得された３次元画像中の、付加画像との境界線あるいは境界面に隣接する部分を特定し、奥行情報を抽出する（ステップＳ１３００）。メイン画像の奥行情報については、ステップＳ１１００でメイン画像取得部１１０がメイン画像を取得し、ステップＳ１３００で奥行適合判定部１７０が奥行情報を抽出するまでの間に、奥行情報生成部１３０が奥行情報を生成して保持しているものとする。

さらに、奥行適合判定部１７０は、表示領域候補決定部１６０が、付加画像位置記憶部１４０に記憶されている付加画像の位置の情報より求めた付加画像の表示領域の奥行と、ステップＳ１３００で抽出された付加画像との境界線あるいは境界面に隣接する部分のメイン画像の奥行とを比較する（ステップＳ１４００）。

奥行適合判定部１７０は、境界線あるいは境界面をはさんで表示されるメイン画像及び付加画像の奥行差が予め定められた許容範囲を超えているかどうかを判断する（ステップＳ１５００）。奥行差は、例えば、付加画像の奥行の値から、境界線近傍のメイン画像の奥行の値を減じた値が、−１ｃｍ以上１５ｃｍ以下の場合を許容範囲とする。ステップＳ１５００において奥行の差が許容範囲外であると判断された場合、すなわちステップＳ１５００においてｙｅｓの場合、ステップＳ１６００に進む。ステップＳ１５００において奥行の差が許容範囲内であると判断された場合、すなわちステップＳ１５００においてｎｏの場合、ステップＳ４１００に進む。

ステップＳ１６００では、表示領域候補決定部１６０は付加画像の表示位置を変更する（ステップＳ１６００）。表示位置の変更は、付加画像位置記憶部１４０に記憶された表示位置のうち、ステップＳ１２００において表示位置候補として選択されていない表示位置を選択することにより行われる。ステップＳ１６００の後、ステップＳ１２００へ戻る。

ステップＳ４１００では、３次元地図合成部１２８が、地図記憶部１２６に記憶された建物の構造の情報に基づいて、３次元の建物のコンピュータグラフィックスを生成し、生成した建物のコンピュータグラフィックス内に、当該ロボットの現在位置を描き込む（ステップＳ４１００）。３次元地図合成部１２８は、位置センサ１２７より取得した、ロボットの平面位置と高度より、ロボットの現在位置に対応する建物のコンピュータグラフィックス内の座標位置を計算して、建物のコンピュータグラフィックス内の当該座標位置にロボットの記号、例えば三角柱を配置する。

続いて、画像合成部１８０は、ステップＳ１１００で取得したステレオ画像に重ねて、ステップＳ４１００で生成した地図とロボットの現在位置を、ステップＳ１２００で決定した表示領域候補を表示領域として表示するよう画像を合成する（ステップＳ１７００）。

ディスプレイ１９０は、ステップＳ１７００で合成された３次元画像を表示する（ステップＳ１８００）。ステップＳ１８００で３次元画像をディスプレイ１９０に表示した後に、ステップＳ１１００に戻る。ステップＳ１１００からステップＳ１８００を繰り返すことで、３次元表示装置４０は、画像および付加情報を処理単位ごとに取得して、３次元画像の表示を続ける。

＜効果等＞
以上のように、本実施の形態によれば、３次元表示装置４０は、３次元画像に重ねてあるいは隣接して付加画像を表示する際に、付加画像の表示領域の境界の内側と外側とで、奥行の大きな差がある状態や、奥行の矛盾がある状態を避けて付加画像の表示領域を決定する。これにより、３次元画像のメイン画像上にさらに３次元画像であるコンピュータグラフィックスを表示する際にも、奥行の大きすぎる差や奥行の矛盾による違和感や疲労を防ぐことができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

以上、一つまたは複数の態様に係る３次元表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

なお、上述した実施の形態には以下の態様を有する発明が主に含まれている。

本開示にかかる一の態様は、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定するものである。

この態様によれば、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。また、例えば、極端に手前に飛び出している領域に付加領域が表示されることで生じる奥行の矛盾を解消することができる。このため、ユーザの違和感や疲労を防ぐことができる。

また、上記態様においては、前記表示領域候補決定部は、さらに、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定された場合には、前記候補領域を決定しなおしてもよい。

この場合、奥行差が許容範囲内となる候補領域が決定される。これにより、メイン画像と付加画像との間の奥行の大きすぎる差や奥行の矛盾による、ユーザの違和感や疲労を防ぐことができる。

また、上記態様においては、前記奥行適合判定部は、前記境界領域を所定数の部分領域に分割し、部分領域ごとに、当該部分領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差を算出し、算出した前記奥行差の最大値が前記許容範囲に含まれるか否かを判定することにより、前記境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定してもよい。

また、上記態様においては、前記画像合成部は、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に、第１枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示し、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定され、かつ、前記奥行差と前記許容範囲との差が所定の値以下の場合に、前記メイン画像上の前記候補領域に、第１枠よりも幅の広い第２枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示してもよい。

この場合、奥行差が大きく、奥行差が許容範囲に含まれない場合であっても、幅の広い枠をつけることにより、ユーザの違和感や疲労を防ぐことができる。

また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定してもよい。

この場合、メイン画像中の重要な部分が付加画像で遮蔽されてしまい見えなくなってしまうのを防止することができる。

また、上記態様においては、前記奥行適合判定部は、前記候補領域から前記表示禁止領域までの距離が近いほど大きな補正値を前記奥行差に加えた上で、前記奥行差が前記許容範囲に含まれるか否かを判定してもよい。

この場合、同じ奥行差であっても、表示禁止領域から遠い候補領域ほど選ばれやすくすることができる。

また、上記態様においては、前記表示禁止領域は、前記メイン画像を撮像したカメラと、当該表示禁止領域に表示されているオブジェクトとの距離が小さいほどサイズが大きくてもよい。

この場合、上記距離が近いほどオブジェクトが画面中に大きく表示される。このため、オブジェクトのサイズに合わせて表示禁止領域のサイズが変更される。

また、上記態様においては、さらに、不適合可能性領域記憶部を備え、前記不適合可能性領域決定部は、前記第１領域及び前記第２領域を不適合可能性領域として前記不適合可能性領域記憶部に書き込んでもよい。

また、上記態様においては、前記表示領域候補決定部は、直前に前記画面に表示された前記付加画像の表示領域に最も近い位置の候補を優先して、前記候補領域を決定してもよい。

この場合、付加画像の表示領域の位置が大きく変化するのを防ぐことができる。

また、上記態様においては、前記メイン画像は、録画済の３次元映像であり、前記奥行適合判定部は、前記付加画像の表示領域の前記複数の候補の各々について、所定時間ごとに、前記メイン画像の奥行と前記付加画像の奥行との奥行差が、前記許容範囲に含まれるか否かを判定し、前記３次元表示装置は、さらに、前記奥行適合判定部での判定結果に従い、前記奥行差が前記許容範囲に含まれる候補領域の中から、前記メイン画像の再生開始から再生終了に亘って、前記付加画像の表示領域の移動距離又は移動回数が最小となるように、前記所定時間ごとに候補領域を決定する最適表示計画決定部を備え、前記画像合成部は、前記最適表示計画決定部が決定した前記所定時間ごとの前記候補領域に前記付加画像が表示されるように、前記メイン画像上に前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示してもよい。

この場合、録画済のメイン画像を再生する際に、付加画像の表示領域の位置が大きく変化するのを防ぐことができる。

また、上記態様においては、前記メイン画像は、内視鏡カメラより撮像された３次元映像であってもよい。

この場合、３次元表示装置を内視鏡手術に用いることができる。

また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定し、前記表示禁止領域は、前記メイン画像のうち、手術の対象とされる患部の像を含む領域であってもよい。

この場合、付加画像で患部の像が隠されてしまい、手術に影響が生じるのを防ぐことができる。

また、上記態様においては、前記付加画像は、手術中の患者の血圧、血中酸素分圧、呼吸、呼気、体温、心電位、脳波および脈波のうちの少なくとも１つを示す画像であってもよい。

この場合、手術時に必要な付加情報を示す付加画像を画面に表示することができる。このため、医師の手術を支援することができる。

また、上記態様においては、さらに、前記画面に表示される前記付加画像の表示領域の位置およびサイズの少なくとも一方の指示を受け付ける入力部を備え、前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記付加画像の表示領域の候補領域を決定してもよい。

この場合、付加画像の境界線を挟んだメイン画像と付加画像との奥行差が許容範囲内である場合に、付加画像が表示される。そのため、ユーザが指定した位置またはサイズを有する表示領域に付加画像が表示される際に、メイン画像と付加画像との間の奥行の大きすぎる差や奥行の矛盾による、ユーザの違和感や疲労を防ぐことができる。

また、上記態様においては、前記入力部は、さらに、前記表示領域のサイズ変更の指示を受け付け、前記表示領域候補決定部は、前記入力部が受け付けた前記サイズ変更の指示に従って、前記表示領域の候補領域のサイズを変更してもよい。

この場合、付加画像の表示領域のサイズを変更することができる。

また、上記態様においては、前記メイン画像は、患者の体内の映像であってもよい。

この場合、３次元表示装置を手術に用いることができる。

また、上記態様においては、前記メイン画像には、手術用器具の像が表示されており、前記入力部は、前記メイン画像中の前記手術用器具の位置の情報を用いて、前記位置の入力を受け付けてもよい。

この場合、ユーザは特別なインタフェース装置を使用することなく、手術に用いている器具を利用して、付加画像のサイズを指定することができる。すなわち、術者であるユーザは手術用機具から手を離すことなく付加画像のサイズを指示することができる。このため、手術の効率を落とすことなく３次元表示装置を操作することができる。

また、上記態様においては、前記入力部は、前記メイン画像中の前記手術用器具の先端が、前記付加画像の表示領域を通過したかを検出する通過検出部と、前記通過検出部が前記通過を検出した場合に、当該手術用器具の通過の方向に応じて、前記表示領域の候補領域のサイズを変更する表示制御信号生成部とを有してもよい。

この場合、手術用器具の先端が付加画像に隠されないように候補領域のサイズを変更することができる。これにより、付加画像により手術用器具の先端が隠されてしまい、手術に影響が生じるのを防ぐことができる。

また、上記態様においては、前記入力部は、さらに、前記表示領域の位置変更の指示を受け付け、前記表示領域候補決定部は、前記入力部が受け付けた前記位置変更の指示に従って、前記表示領域の候補領域の位置を変更してもよい。

この場合、付加画像の表示領域の位置を変更することができる。

また、上記態様においては、さらに、前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない、前記候補領域を決定してもよい。

この場合、メイン画像中の重要な部分が付加画像で遮蔽されてしまい見えなくなってしまうのを防止することができる。

また、上記態様においては、前記メイン画像は、患者の体内の映像であり、前記付加画像は、時間によって変化する、前記患者の複数種類の生体データのグラフの画像であってもよい。

この場合、手術時に必要な複数種類の生体データのグラフ示す付加画像を画面に表示することができる。このため、医師の手術を支援することができる。

また、上記態様においては、前記表示領域候補決定部は、前記複数種類の生体データのグラフのレイアウトに対応する形状を有する前記候補領域を決定してもよい。

この場合、グラフのレイアウトに応じて付加画像の表示領域を変更することができる。

また、上記態様においては、前記レイアウトは、前記複数種類の生体データのグラフを縦に並べるレイアウト、または、前記複数種類の生体データのグラフを横に並べるレイアウトを含んでもよい。

また、上記態様においては、前記表示領域候補決定部は、前記候補領域の位置またはサイズを変更しても前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定される場合に、前記複数種類の生体データのグラフのレイアウトを変更してもよい。

また、上記態様においては、前記表示領域候補決定部は、前記メイン画像中で、奥行が所定の値を超える部分を、前記画面からの飛び出しの大きい部分として抽出し、前記画面からの飛び出しの大きい部分を遮蔽する、前記付加画像の表示領域の候補領域を決定してもよい。

この場合、例えば、極端に手前に飛び出している部分を付加領域で遮蔽することができる。このため、メイン画像と付加画像との奥行の矛盾あるいは大きすぎる奥行差の発生を防ぐことができる。

ここで、上記各実施の形態の３次元表示装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示するためのプログラムであり、コンピュータに、前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定ステップと、前記表示領域候補決定ステップにおいて決定された前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定ステップと、前記奥行適合判定ステップにおいて前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成ステップと、前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定ステップとを実行させ、前記表示領域候補決定ステップでは、さらに、前記不適合可能性領域決定ステップにおいて決定された前記第１領域及び前記第２領域を遮蔽する候補領域を決定させる。

本発明は、３次元画像または３次元映像を表示する表示装置として有用であり、特に、ステレオ内視鏡カメラで撮像された画像等の表示装置、ステレオ内視鏡カメラにより撮像され、録画された録画コンテンツの表示装置、その他、医療用３次元画像表示装置、遠隔操作ロボットによるモニタ表示装置等に有用である。

１０，２０，３０，４０ ３次元表示装置
１１０ メイン画像取得部
１１１ 内視鏡カメラ
１１２ 内視鏡画像記憶部
１１３ ステレオカメラ
１２０ 付加情報取得部
１２１ バイタルセンサ
１２２ ＭＲＩ画像記憶部
１２３，１２４ ３次元画像合成部
１２５ バイタル記憶部
１２６ 地図記憶部
１２７ 位置センサ
１２８ ３次元地図合成部
１３０ 奥行情報生成部
１３１ 対応点抽出部
１３２ 視差計算部
１３３ 奥行計算部
１４０ 付加画像位置記憶部
１５０ 付加画像サイズ記憶部
１６０，１６１，２６０，３６０ 表示領域候補決定部
１６２ サイズ調整範囲記憶部
１６３，３６３ 領域決定部
１６４ 距離計算部
１６５ 領域記憶部
１６６ 位置調整範囲記憶部
１７０，２７０ 奥行適合判定部
１７１ 境界抽出部
１７２，２７２ 周辺奥行抽出部
１７３ 付加画像奥行記憶部
１７４ 奥行差計算部
１７５ 基準記憶部
１７６ 判定部
１８０ 画像合成部
１９０ ディスプレイ
２００，４００ 入力部
２１０，２１１，２１３，２１５ 表示禁止領域記憶部
２１２，２１４ 禁止領域決定部
２１６ 不適合可能性領域記憶部
２１７ 不適合可能性領域決定部
２２０，４０５ 表示制御信号生成部
２２１，４０４ 操作入力部
２６１ 付加画像位置選択部
２６２ 付加画像サイズ選択部
２６３ 領域決定部
３１０ 付加画像形状記憶部
３２０ 最適表示計画決定部
３３０ 付加画像表示計画記憶部
３６１ 形状決定部
３６２ レイアウト決定部
３４０ 適合判定結果記憶部
４０１ 表示領域記憶部
４０２ 器具先端検出部
４０３ 通過検出部

Claims (27)

1. ３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置であって、
   前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定部と、
   前記表示領域候補決定部が決定した前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定部と、
   前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成部と、
   前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定部とを備え、
   前記表示領域候補決定部は、さらに、前記不適合可能性領域決定部が決定した前記第１領域及び前記第２領域を遮蔽する候補領域を決定する、
   ３次元表示装置。
2. 前記表示領域候補決定部は、さらに、前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定された場合には、前記候補領域を決定しなおす、
   請求項１に記載の３次元表示装置。
3. 前記奥行適合判定部は、前記境界領域を所定数の部分領域に分割し、部分領域ごとに、当該部分領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差を算出し、算出した前記奥行差の最大値が前記許容範囲に含まれるか否かを判定することにより、前記境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する、
   請求項１または２に記載の３次元表示装置。
4. 前記画像合成部は、
   前記奥行適合判定部により前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に、第１枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示し、
   前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定され、かつ、前記奥行差と前記許容範囲との差が所定の値以下の場合に、前記メイン画像上の前記候補領域に、第１枠よりも幅の広い第２枠を有する前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示する、
   請求項１〜３のいずれか１項に記載の３次元表示装置。
5. さらに、
   前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
   前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定する、
   請求項１〜４のいずれか１項に記載の３次元表示装置。
6. 奥行適合判定部は、前記候補領域から前記表示禁止領域までの距離が近いほど大きな補正値を前記奥行差に加えた上で、前記奥行差が前記許容範囲に含まれるか否かを判定する、
   請求項５に記載の３次元表示装置。
7. 前記表示禁止領域は、前記メイン画像を撮像したカメラと、当該表示禁止領域に表示されているオブジェクトとの距離が小さいほどサイズが大きい、
   請求項５または６に記載の３次元表示装置。
8. さらに、不適合可能性領域記憶部を備え、
   前記不適合可能性領域決定部は、前記第１領域及び前記第２領域を不適合可能性領域として前記不適合可能性領域記憶部に書き込む禁止領域決定部を備える、
   請求項５〜７のいずれか１項に記載の３次元表示装置。
9. 前記表示領域候補決定部は、直前に前記画面に表示された前記付加画像の表示領域に最も近い位置の候補を優先して、前記候補領域を決定する、
   請求項１〜８のいずれか１項に記載の３次元表示装置。
10. 前記メイン画像は、録画済の３次元映像であり、
    前記奥行適合判定部は、前記付加画像の表示領域の前記複数の候補の各々について、所定時間ごとに、前記メイン画像の奥行と前記付加画像の奥行との奥行差が、前記許容範囲に含まれるか否かを判定し、
    前記３次元表示装置は、さらに、
    前記奥行適合判定部での判定結果に従い、前記奥行差が前記許容範囲に含まれる候補領域の中から、前記メイン画像の再生開始から再生終了に亘って、前記付加画像の表示領域の移動距離又は移動回数が最小となるように、前記所定時間ごとに候補領域を決定する最適表示計画決定部を備え、
    前記画像合成部は、前記最適表示計画決定部が決定した前記所定時間ごとの前記候補領域に前記付加画像が表示されるように、前記メイン画像上に前記付加画像を重畳した画像を合成し、合成した前記画像を前記画面に表示する、
    請求項１に記載の３次元表示装置。
11. 前記メイン画像は、内視鏡カメラより撮像された３次元映像である、
    請求項１０に記載の３次元表示装置。
12. さらに、
    前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
    前記表示領域候補決定部は、前記付加画像の表示領域の複数の候補の中から、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない一の候補領域を決定し、
    前記表示禁止領域は、前記メイン画像のうち、手術の対象とされる患部の像を含む領域である、
    請求項１１に記載の３次元表示装置。
13. 前記付加画像は、手術中の患者の血圧、血中酸素分圧、呼吸、呼気、体温、心電位、脳波および脈波のうちの少なくとも１つを示す画像である、
    請求項１〜１２のいずれか１項に記載の３次元表示装置。
14. さらに、
    前記画面に表示される前記付加画像の表示領域の位置およびサイズの少なくとも一方の指示を受け付ける入力部を備え、
    前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記付加画像の表示領域の候補領域を決定する、
    請求項１に記載の３次元表示装置。
15. 前記入力部は、さらに、前記表示領域のサイズ変更の指示を受け付け、
    前記表示領域候補決定部は、前記入力部が受け付けた前記サイズ変更の指示に従って、前記表示領域の候補領域のサイズを変更する、
    請求項１４に記載の３次元表示装置。
16. 前記メイン画像は、患者の体内の映像である、
    請求項１４または１５に記載の３次元表示装置。
17. 前記メイン画像には、手術用器具の像が表示されており、
    前記入力部は、前記メイン画像中の前記手術用器具の位置の情報を用いて、前記位置の入力を受け付ける、
    請求項１６に記載の３次元表示装置。
18. 前記入力部は、
    前記メイン画像中の前記手術用器具の先端が、前記付加画像の表示領域を通過したかを検出する通過検出部と、
    前記通過検出部が前記通過を検出した場合に、当該手術用器具の通過の方向に応じて、前記表示領域の候補領域のサイズを変更する表示制御信号生成部とを有する、
    請求項１７に記載の３次元表示装置。
19. 前記入力部は、さらに、前記表示領域の位置変更の指示を受け付け、
    前記表示領域候補決定部は、前記入力部が受け付けた前記位置変更の指示に従って、前記表示領域の候補領域の位置を変更する、
    請求項１４〜１８のいずれか１項に記載の３次元表示装置。
20. さらに、
    前記付加画像の表示を禁止する前記画面上の領域である表示禁止領域を記憶している表示禁止領域記憶部を備え、
    前記表示領域候補決定部は、前記入力部が受け付けた前記指示に基づいて、前記表示禁止領域記憶部に記憶されている前記表示禁止領域とオーバーラップしない、前記候補領域を決定する、
    請求項１４〜１９のいずれか１項に記載の３次元表示装置。
21. 前記メイン画像は、患者の体内の映像であり、
    前記付加画像は、時間によって変化する、前記患者の複数種類の生体データのグラフの画像である、
    請求項１６に記載の３次元表示装置。
22. 前記表示領域候補決定部は、前記複数種類の生体データのグラフのレイアウトに対応する形状を有する前記候補領域を決定する、
    請求項２１に記載の３次元表示装置。
23. 前記レイアウトは、前記複数種類の生体データのグラフを縦に並べるレイアウト、または、前記複数種類の生体データのグラフを横に並べるレイアウトを含む、
    請求項２２に記載の３次元表示装置。
24. 前記表示領域候補決定部は、前記候補領域の位置またはサイズを変更しても前記奥行適合判定部により前記奥行差が前記許容範囲に含まれないと判定される場合に、前記複数種類の生体データのグラフのレイアウトを変更する、
    請求項２２または２３に記載の３次元表示装置。
25. 前記表示領域候補決定部は、前記メイン画像中で、奥行が所定の値を超える部分を、前記画面からの飛び出しの大きい部分として抽出し、前記画面からの飛び出しの大きい部分を遮蔽する、前記付加画像の表示領域の候補領域を決定する、
    請求項１４〜２４のいずれか１項に記載の３次元表示装置。
26. ３次元画像のメイン画像と、当該メイン画像の一部を遮蔽する付加画像とを同時に画面に表示する３次元表示装置における表示方法であって、
    前記３次元表示装置は、
    前記付加画像の前記画面上での表示領域の複数の候補の中から、一の候補領域を決定する表示領域候補決定ステップと、
    前記表示領域候補決定ステップにおいて決定された前記候補領域に前記付加画像を表示すると仮定した場合に、当該候補領域の境界線から所定距離以内の前記メイン画像上の領域である境界領域に表示される前記メイン画像の奥行と、前記付加画像の奥行との奥行差が、予め定められた許容範囲に含まれるか否かを判定する奥行適合判定ステップと、
    前記奥行適合判定ステップにおいて前記奥行差が前記許容範囲に含まれると判定された場合に、前記メイン画像上の前記候補領域に前記付加画像を重畳することにより、前記メイン画像と前記付加画像とを合成し、合成の結果得られる画像を前記画面に表示する画像合成ステップと、
    前記メイン画像中で、奥行が所定の奥行の範囲を超えて手前に飛び出す可能性のある第１領域と、前記奥行が前記所定の奥行の範囲を超えて奥に引っ込む可能性のある第２領域とを決定する不適合可能性領域決定ステップとを実行し、
    前記表示領域候補決定ステップでは、さらに、前記不適合可能性領域決定ステップにおいて決定された前記第１領域及び前記第２領域を遮蔽する候補領域を決定する、
    ３次元表示装置における表示方法。
27. 請求項２６に記載の３次元表示装置における表示方法をコンピュータに実行させるためのプログラム。
    

Images