WO2019244255A1 - 内視鏡画像処理装置および内視鏡画像処理方法 - Google Patents

Abstract

内視鏡画像処理装置（３）は、画像取得部（３１）と、注目領域検出部（３３）と、検出途絶判定部（３４）と、表示判定部（３５）と、表示出力部（３６）とを備えている。検出途絶判定部（３４）は、注目領域検出部（３３）における注目領域の検出が途絶したか否かを判定する。表示判定部（３５）は、検出途絶判定部（３４）において途絶判定が得られた場合に、検出が途絶した注目領域が表示部（４）の画面上に復帰するように支援する支援情報を表示部（４）に表示するか否かの判定である表示可否判定を行う。

Description

内視鏡画像処理装置および内視鏡画像処理方法

　本発明は、内視鏡画像処理装置および内視鏡画像処理方法に関する。

　従来、内視鏡装置では、術者が、観察画像を見て病変部の有無等を判断している。術者が観察画像を見る際に病変部の見落としを抑止するために、内視鏡検査を支援するための情報（以下、支援情報と言う。）を表示する技術が提案されている。例えば、日本国特開２０１１－２５５００６号公報には、画像処理により検出された注目領域にアラート画像を付加して観察画像を表示する内視鏡装置が開示されている。

　また、例えば、日本国特許第５５９７０２１号公報には、画像内の複数の局所領域において算出した特徴量に基づいて注目領域を検出し、検出した注目領域が表示対象範囲から消失する前に得られた注目領域の情報を用いて表示対象範囲から消失した注目領域の位置を推定し、消失した注目領域への誘導情報である消失方向情報を表示する内視鏡システムの画像処理装置が開示されている。

　支援情報であるアラート画像や消失方向情報は、観察画像と共に表示部に表示される。支援情報の対象となる注目領域に対して、詳細観察が完了していない場合には、支援情報を表示させることにより、病変部の検出率を向上させたり、病変部を検出する時間を短縮させたりすることができる。しかし、詳細観察が完了している場合には、表示部に不要な支援情報が表示されることで術者の負担となったり、支援情報が観察画像を隠したりして、内視鏡検査の妨げとなる場合があった。

　そこで、本発明は、支援情報を適切に表示させることができる内視鏡画像処理装置および内視鏡画像処理方法を提供することを目的とする。

　本発明の一態様の内視鏡画像処理装置は、内視鏡によって撮影された被写体の画像を取得する画像取得部と、少なくとも前記画像取得部によって取得された前記画像を含む表示用画像を表示部に出力する表示出力部と、前記画像取得部によって取得された前記画像に含まれる注目領域を検出する注目領域検出部と、前記注目領域検出部における前記注目領域の検出が途絶したか否かを判定する検出途絶判定部と、前記検出途絶判定部において前記注目領域の検出が途絶したと判定された判定結果である途絶判定が得られた場合に、検出が途絶した前記注目領域が前記表示部の画面上に復帰するように支援する支援情報を前記表示部に表示するか否かの判定である表示可否判定を行う表示判定部とを備え、前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示出力部は、前記表示用画像として、前記支援情報を更に含む画像を前記表示部に出力し、前記表示可否判定において前記支援情報を表示しないと判定された場合には、前記表示出力部は、前記表示用画像として、前記支援情報を含まない画像を前記表示部に出力する。

　また、本発明の一態様の内視鏡画像処理装置方法は、内視鏡によって撮影された被写体の画像を取得するステップと、少なくとも取得された前記画像を含む表示用画像を表示部に出力するステップと、取得された前記画像に含まれる注目領域を検出するステップと、前記注目領域の検出が途絶したか否かを判定するステップと、前記注目領域の検出が途絶したと判定された判定結果である途絶判定が得られた場合に、検出が途絶した前記注目領域が前記表示部の画面上に復帰するように支援する支援情報を前記表示部に表示するか否かの判定である表示可否判定を行うステップとを含み、前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示用画像として、前記支援情報を更に含む画像を前記表示部に出力し、前記表示可否判定において前記支援情報を表示しないと判定された場合には、前記表示用画像として、前記支援情報を含まない画像を前記表示部に出力する。

本発明の第１の実施の形態に係わる画像処理装置を含む内視鏡システムの概略の構成を示す説明図である。 図１に示した本体部と画像処理装置のハードウェア構成の一例を示す説明図である。 本発明の第１の実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。 本発明の第１の実施の形態における表示判定部の構成を示す機能ブロック図である。 本発明の第１の実施の形態における詳細観察判定部、視認性判定部、重要性判定部および経過時間判定部において行われる表示可否判定を示すフローチャートである。 本発明の第１の実施の形態における表示指示判定部において行われる表示可否判定を示すフローチャートである。 本発明の第１の実施の形態における表示用画像の一例を示す説明図である。 本発明の第１の実施の形態における観察画像の第１の例を示す説明図である。 図８に示した観察画像から注目領域が消失した状態を示す説明図である。 本発明の第１の実施の形態における観察画像の第２の例を示す説明図である。 図１０に示した観察画像から注目領域が消失した状態を示す説明図である。 本発明の第２の実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。 本発明の第２の実施の形態における表示判定部の構成を示す機能ブロック図である。 本発明の第２の実施の形態における支援情報の第１の例を示す説明図である。 本発明の第２の実施の形態における支援情報の第２の例を示す説明図である。 本発明の第３の実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。 本発明の第３の実施の形態における表示用画像の一例を示す説明図である。

　以下、図面を参照して、本発明の実施の形態を説明する。

［第１の実施の形態］
（内視鏡システムの構成）
　始めに、本発明の第１の実施の形態に係わる内視鏡画像処理装置を含む内視鏡システムの概略の構成について説明する。図１は、内視鏡システム１００の概略の構成を示す説明図である。図１に示したように、内視鏡システム１００は、内視鏡１と、本体部２と、本実施の形態に係わる内視鏡画像処理装置（以下、単に画像処理装置と記す。）３と、表示部４と、光源駆動部５とを備えている。内視鏡１は、本体部２に接続されている。光源駆動部５は、内視鏡１と本体部２に接続されている。本体部２は、画像処理装置３に接続されている。画像処理装置３は、表示部４に接続されている。

　内視鏡１は、被検体内に挿入される挿入部を有している。挿入部の先端部には、撮像部１０が設けられている。撮像部１０は、光源部１１と撮像素子１２とを有している。光源部１１は、ＬＥＤ等の発光素子によって構成されており、被写体に照射される照明光を発生する。照明光が照射された被写体の反射光は、図示しない観察窓を介して撮像素子１２に取り込まれる。撮像素子１２は、例えばＣＣＤまたはＣＭＯＳによって構成されており、被写体の反射光を光電変換して、撮像信号を生成する。

　撮像素子１２によって生成された撮像信号は、撮像部１０に設けられた図示しないＡＤ変換器によって、アナログ信号からデジタル信号に変換される。撮像部１０は、デジタル信号に変換された撮像信号を、本体部２に出力する。

　本体部２は、ビデオプロセッサとして構成されており、内視鏡１と光源駆動部５を制御すると共に撮像信号に対して所定の画像処理を行う制御部２１を含んでいる。所定の画像処理としては、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整がある。制御部２１は、所定の画像処理が行われた撮像信号を、観察画像Ｇ１として画像処理装置３に順次出力する。

　光源駆動部５は、光源部１１を駆動する回路であり、内視鏡１の光源部１１と本体部２の制御部２１とに接続されている。光源駆動部５は、本体部２の制御部２１から制御信号が入力されると、光源部１１に対して駆動信号を出力し、光源部１１を駆動して照明光を発生させる。

　画像処理装置３は、本体部２の制御部２１から出力された観察画像Ｇ１に基づいて表示用画像Ｇを構成し、表示用画像Ｇを表示部４に出力する。表示部４１は、モニタ装置等によって構成されており、画像処理装置３から出力された表示用画像Ｇを画面上に表示する。画像処理装置３の構成については、後で説明する。

　内視鏡システム１００は、更に、本体部２に接続された表示指示部６を備えている。表示指示部６については、後で説明する。

　ここで、図２を参照して、本体部２と画像処理装置３のハードウェア構成について説明する。図２は、本体部２と画像処理装置３のハードウェア構成の一例を示す説明図である。図２に示した例では、本体部２は、プロセッサ２Ａと、メモリ２Ｂと、入出力部２Ｃとによって構成されている。また、画像処理装置３は、プロセッサ３Ａと、メモリ３Ｂと、入出力部３Ｃとによって構成されている。

　プロセッサ２Ａは、制御部２１等の本体部２の構成要素の機能を実行するために用いられる。プロセッサ３Ａは、後述する画像処理装置３の複数の構成要素（記憶部を除く。）の機能を実行するために用いられる。プロセッサ２Ａ，３Ａの各々は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）によって構成されている。制御部２１等の本体部２の構成要素の少なくとも一部と、画像処理装置３の複数の構成要素の少なくとも一部は、それぞれ、ＦＰＧＡにおける回路ブロックとして構成されていてもよい。

　メモリ２Ｂ，３Ｂの各々は、例えば、ＲＡＭ等の書き換え可能な記憶素子によって構成されている。入出力部２Ｃは、本体部２と外部との間で信号の送受信を行うために用いられる。入出力部３Ｃは、画像処理装置３と外部との間で信号の送受信を行うために用いられる。

　なお、プロセッサ２Ａ，３Ａの各々は、中央演算処理装置（以下、ＣＰＵと記す。）によって構成されていてもよい。この場合、制御部２１等の本体部２の構成要素の機能は、ＣＰＵがメモリ２Ｂまたは図示しない記憶装置からプログラムを読み出して実行することによって実現されてもよい。同様に、画像処理装置３の複数の構成要素の各々の機能は、ＣＰＵがメモリ３Ｂまたは図示しない記憶装置からプログラムを読み出して実行することによって実現されてもよい。

　また、本体部２と画像処理装置３のハードウェア構成は、図２に示した例に限られない。例えば、制御部２１と本体部２の制御部２１以外の構成要素の各々は、別個の電子回路として構成されていてもよい。また、本体部２と画像処理装置３は、一体化された装置として構成されていてもよい。

（画像処理装置の構成）
　次に、図３を参照して、画像処理装置３の構成について説明する。図３は、画像処理装置３の構成を示す機能ブロック図である。画像処理装置３は、画像取得部３１と、画像保存部３２と、注目領域検出部３３と、検出途絶判定部３４と、表示判定部３５と、表示出力部３６とを備えている。

　画像取得部３１は、内視鏡１によって撮影された被写体の画像として、本体部２から出力された観察画像Ｇ１を取得する。また、画像取得部３１は、取得した観察画像Ｇ１を、画像保存部３２、注目領域検出部３３および表示出力部３６に出力する。

　画像保存部３２には、画像取得部３１によって取得された観察画像Ｇ１が入力される。画像保存部３２は、例えば、図２に示したメモリ３Ｂおよび図示しない記憶装置のうちの少なくとも１つによって構成されており、観察画像Ｇ１を保存する。表示出力部３６は、画像保存部３２に保存された観察画像Ｇ１を読み出すことができるように構成されている。

　注目領域検出部３３には、画像取得部３１によって取得された観察画像Ｇ１が入力される。注目領域検出部３３は、観察画像Ｇ１に含まれる注目領域を検出する。また、注目領域検出部３３は、注目領域の検出結果を、検出途絶判定部３４および表示出力部３６に出力する。本実施の形態では、注目領域検出部３３は、注目領域として、病変候補領域Ｌを検出する。注目領域検出部３３の詳細な構成と、病変候補領域Ｌの検出方法については、後で説明する。

　検出途絶判定部３４には、注目領域検出部３３の検出結果が入力される。検出途絶判定部３４は、入力された検出結果に基づいて、注目領域検出部３３における注目領域の検出が途絶したか否かを判定する。また、検出途絶判定部３４は、その判定結果を、表示判定部３５に出力する。以下、注目領域の検出が途絶したと判定された判定結果を、途絶判定と言う。検出途絶判定部３４における判定の方法については、後で説明する。

　表示判定部３５には、検出途絶判定部３４の判定結果が入力される。表示判定部３５は、途絶判定が得られた場合に、検出が途絶した注目領域が表示部４の画面上に復帰するように支援する支援情報を表示部４に表示するか否かの判定である表示可否判定を行う。また、表示判定部３５は、表示可否判定の結果を、表示出力部３６に出力する。表示判定部３５の詳細な構成と、表示可否判定の内容については、後で説明する。

　表示出力部３６は、画像保存部３２に保存された観察画像Ｇ１を読み出して、少なくとも観察画像Ｇ１を含む表示用画像Ｇを構成し、構成した表示用画像Ｇを表示部４に出力する。なお、表示出力部３６は、画像保存部３２に保存された観察画像Ｇ１の代わりに、画像取得部３１によって出力された観察画像Ｇ１を用いて、表示用画像Ｇを構成してもよい。

　また、表示出力部３６には、表示判定部３５の表示可否判定の結果が入力される。表示可否判定において支援情報を表示部４に表示すると判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を含む画像を構成し、構成した画像を表示部４に出力する。一方、表示可否判定において支援情報を表示部４に表示しないと判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を含まない画像を構成し、構成した画像を表示部４に出力する。表示出力部３６の詳細な構成と、表示用画像Ｇの構成については、後で説明する。

（注目領域検出部の構成）
　次に、図３を参照して、注目領域検出部３３の構成について説明する。本実施の形態では、注目領域検出部３３は、特徴量算出部３３１と、病変候補検出部３３２と、記憶部３３３とを含んでいる。記憶部３３３は、例えば図２に示したメモリ３Ｂまたは図示しない記憶装置によって構成されている。

　特徴量算出部３３１には、画像取得部３１によって取得された観察画像Ｇ１が入力される。特徴量算出部３３１は、観察画像Ｇ１に含まれる画素の特徴量を算出し、算出した特徴量を病変候補検出部３３２に出力する。特徴量は、例えば、観察画像Ｇ１上の所定の小領域毎に、所定の小領域内の各画素と、当該画素に隣接する画素との変化量、すなわち、傾き値を演算して算出される。

　病変候補検出部３３２には、特徴量算出部３３１によって算出された特徴量が入力される。病変候補検出部３３２は、特徴量に基づいて、観察画像Ｇ１の病変候補領域Ｌを検出し、病変候補領域Ｌの検出結果、具体的には病変候補領域Ｌの位置および大きさ等の情報を含む病変候補情報を、検出途絶判定部３４および表示出力部３６に出力する。

　なお、注目領域検出部３３の構成は、上記の例に限られない。例えば、注目領域検出部３３は、深層学習等の機械学習の手法によって注目領域である病変候補領域Ｌを検出するように構成されていてもよい。

（病変候補領域の検出方法）
　以下、病変候補検出部３３２における病変候補領域Ｌの検出方法について説明する。病変候補領域Ｌの検出は、特徴量と、病変モデル情報とを比較することによって行われる。病変モデル情報は、多くの病変画像が共通して持つ特徴の特徴量によって構成される。記憶部３３３には、予め、複数の病変モデル情報が記憶されている。病変候補検出部３３２は、記憶部３３３から複数の病変モデル情報を読み出して、入力された特徴量と、複数の病変モデル情報とを比較して、病変候補領域Ｌを検出する。

　具体的には、病変候補検出部３３２は、例えば、特徴量検出部から入力される所定の小領域毎の特徴量と、病変モデル情報とを比較し、互いの特徴量が一致した領域を、病変候補領域Ｌとして検出する。

（検出途絶判定部における判定方法）
　次に、検出途絶判定部３４における判定方法について説明する。前述のように、検出途絶判定部３４は、注目領域検出部３３の検出結果に基づいて、注目領域検出部３３における注目領域の検出が途絶したか否かを判定する。注目領域の検出が途絶したか否かの判定は、注目領域検出部３３において、注目領域が継続して検出されているか否かを監視することによって行われる。注目領域が継続して検出されている場合には、検出途絶判定部３４は、注目領域検出部３３における注目領域の検出が途絶していないと判定する。一方、注目領域の検出が途絶した場合には、検出途絶判定部３４は、注目領域検出部３３における注目領域の検出が途絶したと判定する。

　以下、病変候補領域Ｌを例にとって、具体的な判定方法の一例について説明する。検出途絶判定部３４には、注目領域検出部３３の検出結果として、病変候補領域Ｌの位置および大きさ等の情報を含む病変候補情報が入力される。検出途絶判定部３４は、まず、現在の観察画像Ｇ１から検出された病変候補情報（以下、第１の病変候補情報と言う。）と、過去の観察画像Ｇ１、例えば現在の観察画像Ｇ１の１フレーム前の観察画像Ｇ１から検出された病変候補情報（以下、第２の病変候補情報と言う。）とを用いて、第１の病変候補情報によって示される病変候補領域Ｌと、第２の病変候補情報によって示される病変候補領域Ｌが、同一であるか否かを判定する。同一であるか否かの判定は、例えば、２つの病変候補領域Ｌの重なり具合に基づいて行われる。２つの病変候補領域Ｌが同一であると判定された場合には、検出途絶判定部３４は、病変候補領域Ｌの検出が途絶していないと判定する。

　一方、２つの病変候補領域Ｌが同一でないと判定された場合には、検出途絶判定部３４は、第２の病変候補情報によって示される病変候補領域Ｌの検出が途絶したと判定する。また、検出途絶判定部３４は、第１の病変候補情報が得られない場合にも、第２の病変候補情報によって示される病変候補領域Ｌの検出が途絶したと判定する。

　なお、検出途絶判定部３４は、第２の病変候補情報を記憶する図示しない記憶部を含んでいてもよい。図示しない記憶部は、例えば図２に示したメモリ３Ｂまたは図示しない記憶装置によって構成されている。

（表示判定部の構成）
　次に、図４を参照して、表示判定部３５の構成について説明する。図４は、表示判定部３５の構成を示す機能ブロック図である。表示判定部３５は、途絶判定が得られた場合に表示可否判定を行う複数の判定部を含んでいる。本実施の形態では、表示判定部３５は、詳細観察判定部３５１と、視認性判定部３５２と、重要性判定部３５３と、表示指示判定部３５４と、経過時間判定部３５５と、記憶部３５６とを含んでいる。記憶部３５６は、例えば図２に示したメモリ３Ｂまたは図示しない記憶装置によって構成されている。

　詳細観察判定部３５１は、注目領域である病変候補領域Ｌが詳細に観察されているか否かによって変化する詳細観察パラメータを算出し、算出された詳細観察パラメータに基づいて表示可否判定を行う。詳細観察パラメータは、例えば、内視鏡１の使用者が病変候補領域Ｌを詳細に観察した可能性が高くなるに従って大きな数値になるように規定される。

　本実施の形態では、詳細観察パラメータは、病変候補領域Ｌの形状変化量、病変候補領域Ｌの移動量および内視鏡１の観察モードのうちの少なくとも１つに基づいて算出される。病変候補領域Ｌの形状変化量と病変候補領域Ｌの移動量は、検出が途絶したと判定された病変候補領域Ｌに対応する複数の病変候補情報を用いて算出することができる。形状変化量と移動量が少ない場合、使用者が病変候補領域Ｌを詳細に観察した可能性が高くなる。従って、この場合には、詳細観察パラメータは、大きな数値なるように算出される。

　なお、記憶部３５６は、病変候補情報を記憶するように構成されている。詳細観察判定部３５１は、記憶部３５６から、検出が途絶したと判定された病変候補領域Ｌに対応する複数の病変候補情報を読み出して、病変候補領域Ｌの形状変化量と病変候補領域Ｌの移動量を算出してもよい。

　内視鏡１の観察モードは、例えば、操作ボタンや操作スイッチ等の任意の操作手段によって指定することができる。操作手段としては、例えば、図２に示した操作手段６３を用いることができる。操作手段６３は、本体部２の入出力部２Ｃに接続されている。本体部２の制御部２１は、内視鏡１の観察モードの情報を画像処理装置３に出力する。詳細観察判定部３５１には、制御部２１が出力した内視鏡１の観察モードの情報が入力される。例えば、検出が途絶したと判定された病変候補領域Ｌが、狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）モードや被検体内を染色して観察するモードの選択時に得られた観察画像Ｇ１から検出された場合には、使用者が病変候補領域Ｌを詳細に観察した可能性が高くなる。従って、この場合には、詳細観察パラメータは、大きな数値なるように算出される。

　視認性判定部３５２は、注目領域である病変候補領域Ｌの視認のしやすさによって変化する視認性パラメータを算出し、算出された視認性パラメータに基づいて表示可否判定を行う。視認性パラメータは、例えば、病変候補領域Ｌが視認しやすいほど、大きな数値になるように規定される。

　本実施の形態では、視認性パラメータは、病変候補領域Ｌの色、形状およびテクスチャのうちの少なくとも１つに基づいて算出される。病変候補領域Ｌの色、形状およびテクスチャは、例えば、検出が途絶したと判定された病変候補領域Ｌの位置および大きさ等の情報と、この病変候補領域Ｌが検出された観察画像Ｇ１から取得することができる。病変候補領域Ｌの色、形状およびテクスチャが特徴的であるほど、病変候補領域Ｌが視認しやすくなる。従って、視認性パラメータは、病変候補領域Ｌの色、形状およびテクスチャが特徴的な場合、大きな数値なるように算出される。

　なお、前述のように、記憶部３５６は、病変候補情報を記憶するように構成されている。視認性判定部３５２は、記憶部３５６から、検出が途絶したと判定された病変候補領域Ｌに対応する病変候補情報を読み出すと共に、画像保存部３２から、この病変候補情報が検出された観察画像Ｇ１を読み出して、病変候補領域Ｌの色、形状およびテクスチャを取得してもよい。

　重要性判定部３５３は、注目領域である病変候補領域Ｌの医学的な重要度を算出し、算出された重要度に基づいて表示可否判定を行う。本実施の形態では特に、重要性判定部３５３は、重要度と対応関係を有する重要度パラメータに基づいて表示可否判定を行う。重要度パラメータは、重要度が高くなるすなわち医学的な危険性が高くなるほど小さな数値になり、重要度が低くなるすなわち医学的な危険性が低くなるほど大きな数値になるように規定される。

　重要度は、病変候補領域Ｌの色、形状およびテクスチャのうちの少なくとも１つに基づいて算出される。重要性判定部３５３は、記憶部３５６から、検出が途絶したと判定された病変候補領域Ｌに対応する病変候補情報を読み出すと共に、画像保存部３２から、この病変候補情報が検出された観察画像Ｇ１を読み出して、病変候補領域Ｌの色、形状およびテクスチャを取得してもよい。

　表示指示判定部３５４は、途絶判定が得られた場合に、内視鏡１の使用者による支援情報を表示するか否かの指示に基づいて表示可否判定を行う。支援情報を表示するか否かの指示は、例えば、図１に示した表示指示部６を介して取得される。本体部２の制御部２１は、取得した指示の内容を画像処理装置３に出力する。表示指示判定部３５４には、制御部２１が出力した指示の内容が入力される。

　本実施の形態では、支援情報を表示するか否かの指示は、使用者の視線、使用者の発言および使用者による指示手段の操作のうちの少なくとも１つによって行われる。図２に示したように、表示指示部６は、例えば、使用者の視線を検出するカメラ６１、使用者の発言を検出するマイク６２、および指示手段としての操作ボタンや操作スイッチ等の操作手段６３とを含んでいる。

　なお、表示指示部６は、画像処理装置３に接続されていてもよい。この場合、表示指示判定部３５４が、直接、表示指示部６から指示の内容を取得してもよい。なお、この場合、図２に示したカメラ６１、マイク６２および操作手段６３は、画像処理装置３の入出力部３Ｃに接続される。

　経過時間判定部３５５は、途絶判定が得られた時点からの経過時間を計測し、計測した経過時間に基づいて表示可否判定を行う。

　表示判定部３５は、詳細観察判定部３５１、視認性判定部３５２、重要性判定部３５３、表示指示判定部３５４および経過時間判定部３５５の各々の判定結果に基づいて、表示出力部３６に出力する判定結果の内容を決定し、決定した判定結果を表示出力部３６に出力する。

　ここで、判定結果の内容の決定方法について説明する。判定結果の内容の決定は、例えば、以下のようにして行われる。まず、詳細観察判定部３５１、視認性判定部３５２、重要性判定部３５３および経過時間判定部３５５の各々において表示可否判定に用いられたパラメータを規格化して４つの規格化パラメータを算出する。これらの規格化パラメータは、例えば、支援情報を表示しないと判定される可能性が最も高くなる場合が１になり、支援情報を表示すると判定される可能性が最も低くなる場合が０になるように規格化される。また、表示指示判定部３５４において表示可否判定に用いられた指示を数値化して、規格化パラメータとする。この規格化パラメータは、支援情報を表示しない指示の場合は１であり、支援情報を表示する指示の場合は０である。そして、上記の５つの規格化パラメータのうち、最も数値が大きい規格化パラメータに基づいて、判定結果の内容を決定する。

　具体的には、例えば、最も数値が大きい規格化パラメータと所定の閾値（０よりも大きく１未満の値）とを比較する。最も数値が大きい規格化パラメータが所定の閾値以上の場合、表示判定部３５は、表示出力部３６に出力する判定結果を、支援情報を表示しないという内容に決定する。一方、最も数値が大きい規格化パラメータが所定の閾値未満の場合、表示判定部３５は、表示出力部３６に出力する判定結果を、支援情報を表示するという内容に決定する。

　なお、判定結果の内容の決定方法は、上記の方法に限られない。例えば、上記の５つの規格化パラメータを加重平均し、加重平均された規格化パラメータに基づいて、判定結果の内容を決定してもよい。

　また、表示判定部３５の構成は、図４に示した例に限られない。例えば、表示判定部３５は、図４に示した複数の判定部のうちの一部のみを含んでいてもよいし、図４に示した複数の判定部以外の判定部を含んでいてもよい。

（表示可否判定の内容）
　次に、詳細観察判定部３５１、視認性判定部３５２、重要性判定部３５３、表示指示判定部３５４および経過時間判定部３５５の各々において行われる表示可否判定の内容について説明する。始めに、図５を参照して、詳細観察判定部３５１において行われる表示可否判定について説明する。図５は、詳細観察判定部３５１、視認性判定部３５２、重要性判定部３５３および経過時間判定部３５５において行われる表示可否判定を示すフローチャートである。

　詳細観察判定部３５１は、途絶判定が得られた場合に、まず、詳細観察パラメータを算出する（ステップＳ１１）。次に、詳細観察パラメータと所定の閾値とを比較する（ステップＳ１２）。詳細観察パラメータが所定の閾値以上の場合（ＹＥＳ）、詳細観察判定部３５１は、支援情報を表示しないと判定する（ステップＳ１３）。一方、詳細観察パラメータが所定の閾値未満の場合（ＮＯ）、詳細観察判定部３５１は、支援情報を表示すると判定する（ステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、詳細観察判定部３５１において行われる表示可否判定に対応する。

　なお、詳細観察パラメータが所定の閾値以上の場合は、病変候補領域Ｌが詳細に観察されていると推定される場合に相当する。詳細観察パラメータが所定の閾値未満の場合は、病変候補領域Ｌが詳細に観察されていないと推定される場合に相当する。

　視認性判定部３５２、重要性判定部３５３および経過時間判定部３５５において行われる表示可否判定の内容は、基本的には、詳細観察判定部３５１において行われる表示可否判定の内容と同様である。すなわち、視認性判定部３５２は、途絶判定が得られた場合に、まず、視認性パラメータを算出する（ステップＳ１１）。次に、視認性パラメータと所定の閾値とを比較する（ステップＳ１２）。視認性パラメータが所定の閾値以上の場合（ＹＥＳ）、視認性判定部３５２は、支援情報を表示しないと判定する（ステップＳ１３）。一方、視認性パラメータが所定の閾値未満の場合（ＮＯ）、視認性判定部３５２は、支援情報を表示すると判定する（ステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、視認性判定部３５２において行われる表示可否判定に対応する。

　なお、視認性パラメータが所定の閾値以上の場合は、病変候補領域Ｌが視認しやすいものである場合に相当する。視認性パラメータが所定の閾値未満の場合は、病変候補領域Ｌが視認しにくいものである場合に相当する。

　また、重要性判定部３５３は、途絶判定が得られた場合に、まず、重要度を算出し、重要度と対応関係を有する重要度パラメータを算出する（ステップＳ１１）。次に、重要度パラメータと所定の閾値とを比較する（ステップＳ１２）。重要度パラメータが所定の閾値以上の場合（ＹＥＳ）、すなわち重要度が低い場合には、重要性判定部３５３は、支援情報を表示しないと判定する（ステップＳ１３）。一方、重要度パラメータが所定の閾値未満の場合（ＮＯ）、すなわち重要度が高い場合には、重要性判定部３５３は、支援情報を表示すると判定する（ステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、重要性判定部３５３において行われる表示可否判定に対応する。

　また、経過時間判定部３５５は、途絶判定が得られた場合に、まず、途絶判定が得られた時点からの経過時間を計測する。経過時間は、図５のステップＳ１１におけるパラメータに対応する。次に、パラメータである経過時間と所定の閾値とを比較する（ステップＳ１２）。経過時間が所定の閾値以上の場合（ＹＥＳ）、経過時間判定部３５５は、支援情報を表示しないと判定する（ステップＳ１３）。一方、経過時間が所定の閾値未満の場合（ＮＯ）、経過時間判定部３５５は、支援情報を表示すると判定する（ステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、経過時間判定部３５５において行われる表示可否判定に対応する。なお、経過時間判定部３５５において行われる表示可否判定は、例えば、途絶判定後、所定の間隔で繰り返し実行されてもよい。

　次に、図６を参照して、表示指示判定部３５４において行われる表示可否判定について説明する。図６は、表示指示判定部３５４において行われる表示可否判定を示すフローチャートである。表示指示判定部３５４は、途絶判定が得られた場合に、まず、支援情報を表示するか否かの指示の内容を取得する（ステップＳ２１）。表示指示判定部３５４は、次に、取得した指示の内容に基づいて表示可否判定を行う（ステップＳ２２）。取得した指示の内容が支援情報を表示しないという内容である場合、表示指示判定部３５４は、支援情報を表示しないと判定する。取得した指示の内容が支援情報を表示するという内容である場合、表示指示判定部３５４は、支援情報を表示すると判定する。なお、表示指示判定部３５４において行われる表示可否判定は、例えば、途絶判定後、所定の間隔で繰り返し実行されてもよい。

（表示出力部の構成）
　次に、図３を参照して、表示出力部３６の構成について説明する。本実施の形態では、表示出力部３６は、強調処理部３６１と支援情報処理部３６２とを含んでいる。表示出力部３６は、画像保存部３２から読み出した観察画像Ｇ１と、病変候補検出部３３２から入力される病変候補領域Ｌの検出結果すなわち病変候補情報と、表示判定部３５から入力される判定結果に基づいて、強調処理および支援情報表示処理を行うことが可能である。

　強調処理部３６１は、病変候補検出部３３２において病変候補領域Ｌが検出された場合に、観察画像Ｇ１に対して強調処理を行う。強調処理は、病変候補領域Ｌの位置を強調して示す表示を行う処理である。具体的には、例えば、強調処理部３６１は、強調処理として、観察画像Ｇ１に対して、病変候補領域Ｌを囲むマーカ画像を付加する処理を行ってもよいし、病変候補領域Ｌの明るさや色調を周辺領域とは異なるものとする処理を行ってもよい。

　支援情報処理部３６２は、表示判定部３５から入力された判定結果が、支援情報を表示するという内容である場合に、観察画像Ｇ１に対して支援情報表示処理を行う。支援情報表示処理は、注目領域である病変候補領域Ｌが表示部４の画面上から消失した場合に、病変候補領域Ｌの位置を示す表示を行う処理である。具体的には、例えば、支援情報処理部３６２は、支援情報表示処理として、観察画像Ｇ１に対して、消失した病変候補領域Ｌの位置や方向を示すアラート画像を付加する処理を行ってもよいし、観察画像Ｇ１の外枠の色を変化させる処理を行ってもよい。

　病変候補検出部３３２において病変候補領域Ｌが検出され、表示判定部３５における判定結果が、支援情報を表示するという内容である場合、表示出力部３６は、表示用画像Ｇとして、強調処理および支援情報表示処理が行われた観察画像Ｇ１、すなわち病変候補領域Ｌの位置を強調して示す表示と、支援情報として病変候補領域Ｌの位置を示す表示を含む画像を、表示部４（図１参照）に出力する。

　また、病変候補検出部３３２において病変候補領域Ｌが検出されず、表示判定部３５における判定結果が、支援情報を表示するという内容である場合、表示出力部３６は、表示用画像Ｇとして、強調処理が行われず支援情報表示処理が行われた観察画像Ｇ１、すなわち支援情報として病変候補領域Ｌの位置を示す表示を含むが、病変候補領域Ｌの位置を強調して示す表示は含まない画像を、表示部４に出力する。

　また、病変候補検出部３３２において病変候補領域Ｌが検出されず、表示判定部３５における判定結果が、支援情報を表示しないという内容である場合、表示出力部３６は、表示用画像Ｇとして、強調処理と支援情報表示処理が行われていない観察画像Ｇ１、すなわち病変候補領域Ｌの位置を強調して示す表示と、支援情報として病変候補領域Ｌの位置を示す表示を含まない画像を、表示部４に出力する。

（表示用画像の構成）
　次に、表示用画像Ｇの構成について説明する。図７は、表示用画像Ｇの構成の一例を示す説明図である。図７に示したように、表示出力部３６から出力される表示用画像Ｇ上には、観察画像Ｇ１が配置される。図７には、観察画像Ｇ１の一例として、病変候補領域Ｌを有する大腸の内壁を表している。

　ここで、観察画像Ｇ１に対して行われる支援情報表示処理の第１の例と第２の例について説明する。図８は、観察画像Ｇ１の第１の例を示す説明図である。図１０は、観察画像Ｇ１の第２の例を示す説明図である。

　図８に示したように、観察画像Ｇ１には、病変候補領域Ｌが表示されている。

　図９は、図８に示した観察画像Ｇ１から注目領域である病変候補領域Ｌが消失した状態を示している。図９では、特に、病変候補領域Ｌが、観察画像Ｇ１の外縁よりも外側に移動した例を示している。この状態では、病変候補領域Ｌは、表示部４の画面上には表示されない。観察画像Ｇ１に対して支援情報表示処理を行う場合、支援情報処理部３６２は、観察画像Ｇ１に対してアラート画像Ｇ２を付加する。図９には、アラート画像Ｇ２として、病変候補領域Ｌの位置と方向を三角形の頂点で示す画像を付加した例を示している。なお、アラート画像Ｇ２は、矢印等の他の画像であってもよい。

　図１０は、観察画像Ｇ１の第２の例を示す説明図である。図１０に示したように、観察画像Ｇ１には、ひだＦの近傍に、病変候補領域Ｌが表示されている。

　図１１は、図１０に示した観察画像Ｇ１から病変候補領域Ｌが消失した状態を示している。図１１では、特に、病変候補領域Ｌが、ひだＦの裏側に隠れた例を示している。この状態では、病変候補領域Ｌは、表示部４の画面上には表示されない。観察画像Ｇ１に対して支援情報表示処理を行う場合、支援情報処理部３６２は、観察画像Ｇ１に対してアラート画像Ｇ２を付加する。図９には、アラート画像Ｇ２として、ひだＦの裏側に隠れた病変候補領域Ｌが存在すると推定される位置と方向を三角形の頂点で示す画像を付加した例を示している。

　なお、観察画像Ｇ１に対して支援情報表示処理を行わない場合、すなわち、表示判定部３５から入力される判定結果が、支援情報を表示しないという内容の場合、支援情報処理部３６２は、観察画像Ｇ１に対してアラート画像Ｇ２を付加しない。

（作用および効果）
　次に、本実施の形態に係わる画像処理装置３の作用および効果について説明する。本実施の形態では、表示判定部３５は、途絶判定が得られた場合に、支援情報を表示部４に表示するか否かの判定である表示可否判定を行う。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。具体的には、前述のように、表示可否判定において支援情報を表示すると判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を更に含む画像を表示部４に出力する。一方、表示可否判定において支援情報を表示しないと判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を含まない画像を表示部４に出力する。以下、本実施の形態の効果について詳しく説明する。

　注目領域である病変候補領域Ｌが表示部４の画面上から消失した場合であって、病変候補領域Ｌに対する詳細な観察が完了している場合には、内視鏡１の使用者の負担を軽減したり、支援情報によって他の病変候補領域Ｌが隠れないようにしたりする観点から、支援情報を表示しないことが好ましい。本実施の形態では、表示判定部３５には、詳細観察判定部３５１が設けられている。詳細観察判定部３５１は、詳細観察パラメータに基づいて、病変候補領域Ｌが詳細に観察されていると推定される場合には、支援情報を表示しないと判定し、病変候補領域Ｌが詳細に観察されていないと推定される場合には、支援情報を表示すると判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　また、消失した病変候補領域Ｌが視認しやすいものである場合、病変候補領域Ｌに対する詳細な観察が完了している可能性がある。一方、消失した病変候補領域Ｌが視認しにくいものである場合、病変候補領域Ｌを見落としている可能性がある。本実施の形態では、表示判定部３５には、視認性判定部３５２が設けられている。視認性判定部３５２は、視認性パラメータに基づいて、病変候補領域Ｌが視認しやすいものである場合には、支援情報を表示しないと判定し、病変候補領域Ｌが視認しにくいものである場合には、支援情報を表示すると判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　また、消失した病変候補領域Ｌの重要度が低い場合には、消失した病変候補領域Ｌを復帰させて観察する必要性は少ない。しかし、消失した病変候補領域Ｌの重要度が高い場合には、消失した病変候補領域Ｌを復帰させて詳細に観察することが好ましい。本実施の形態では、表示判定部３５には、重要性判定部３５３が設けられている。重要性判定部３５３は、重要度が低い場合には、支援情報を表示しないと判定し、重要度が高い場合には、支援情報を表示すると判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　また、本実施の形態では、表示判定部３５には、表示指示判定部３５４が設けられている。表示指示判定部３５４は、内視鏡１の使用者による支援情報を表示するか否かの指示によって基づいて表示可否判定を行う。すなわち、本実施の形態によれば、直接的な指示によって、支援情報を表示するか否かの選択を行うことができる。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　また、病変候補領域Ｌが消失してからの時間が十分に長い場合には、消失した病変候補領域Ｌを復帰させて観察する意思がない可能性が高い。本実施の形態では、表示判定部３５には、経過時間判定部３５５が設けられている。経過時間判定部３５５は、病変候補領域Ｌが消失してからの時間がある程度長くなった場合には、支援情報を表示しないと判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　なお、表示指示判定部３５４以外の判定部によって行われる表示可否判定は、いずれも、使用者の指示がない場合であっても、自動的に、支援情報を表示するか否かの選択を行うものである。これにより、本実施の形態によれば、使用者の負担を低減することができる。

［第２の実施の形態］
（画像処理装置の構成）
　次に、本発明の第２の実施の形態に係わる画像処理装置について説明する。図１２は、本実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。本実施の形態に係わる画像処理装置３は、位置推定部３７を備えている。位置推定部３７は、記憶部３７１を含んでいる。記憶部３７１は、例えば、第１の実施の形態における図２に示したメモリ３Ｂまたは図示しない記憶装置によって構成されている。

　位置推定部３７には、検出途絶判定部３４の判定結果が入力される。また、位置推定部３７は、画像保存部３２に保存された観察画像Ｇ１を読み出すことができるように構成されている。位置推定部３７は、途絶判定後の注目領域である病変候補領域Ｌの位置を推定し、病変候補領域Ｌの推定位置を表示判定部３５に出力する。病変候補領域Ｌの位置の推定方法については、後で説明する。

　また、図１３は、本実施の形態における表示判定部３５の構成を示す機能ブロック図である。第１の実施の形態で説明したように、表示判定部３５は、検出が途絶した注目領域である病変候補領域Ｌが表示部４の画面上に復帰するように支援する支援情報を表示部４に表示するか否かの判定である表示可否判定を行う。本実施の形態では、表示判定部３５は、第１の実施の形態における複数の判定部と記憶部３５６の他に、復帰動作判定部３５７と、枠外距離判定部３５８とを含んでいる。

　復帰動作判定部３５７は、注目領域である病変候補領域Ｌが表示部４の画面上に復帰するように内視鏡１を操作する復帰動作が行われているか否かによって変化する復帰動作パラメータを算出し、算出された復帰動作パラメータに基づいて表示可否判定を行う。復帰動作パラメータは、例えば、復帰動作が行われている可能性が低くなるに従って大きな数値になるように規定される。

　本実施の形態では、復帰動作パラメータは、位置推定部３７によって推定された病変候補領域Ｌの推定位置の変化に基づいて算出される。病変候補領域Ｌの推定位置が、現在の観察画像Ｇ１上の任意の点から遠ざかるように変化している場合には、復帰動作が行われている可能性は低い。従って、この場合には、復帰動作パラメータは、大きな数値になるように算出される。

　枠外距離判定部３５８は、観察画像Ｇ１の外縁から位置推定部３７によって推定された病変候補領域Ｌの推定位置までの距離である枠外距離を算出し、算出した枠外距離に基づいて表示可否判定を行う。

　本実施の形態では、表示判定部３５は、少なくとも、復帰動作判定部３５７および枠外距離判定部３５８の各々の判定結果に基づいて、表示出力部３６に出力する判定結果の内容を決定し、決定した判定結果を表示出力部３６に出力する。判定結果の内容の決定方法は、第１の実施の形態における、表示判定部３５の複数の判定部の各々の判定結果に基づいて判定結果の内容を決定する方法と同様である。

　また、第１の実施の形態で説明したように、表示可否判定において支援情報を表示部４に表示すると判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を含む画像を構成し、構成した画像を表示部４に出力する。本実施の形態では、位置推定部３７において注目領域である病変候補領域Ｌの位置が推定され且つ表示可否判定において支援情報を表示すると判定された場合には、表示出力部３６の支援情報処理部３６２は、支援情報表示処理として、病変候補領域Ｌの推定位置に応じて支援情報を変化させる処理を行う。この場合、支援情報処理部３６２には、位置推定部３７から病変候補領域Ｌの推定位置が入力される。なお、位置推定部３７は、表示判定部３５を介して病変候補領域Ｌの推定位置を支援情報処理部３６２に出力してもよいし、直接、病変候補領域Ｌの推定位置を支援情報処理部３６２に出力してもよい。

（病変候補領域の位置の推定方法）
　次に、位置推定部３７における病変候補領域Ｌの位置の推定方法について説明する。位置推定部３７は、第１の変位情報と第２の変位情報を生成し、第１の変位情報と第２の変位情報に基づいて、病変候補領域Ｌの位置を推定する。

　始めに、第１の変位情報について説明する。位置推定部３７は、病変候補領域Ｌが継続して検出されている場合、すなわち、検出途絶判定部３４において病変候補領域Ｌの検出が途絶していないと判定された場合に、病変候補領域Ｌの変位量および変位方向を示す情報である第１の変位情報を生成する。

　位置推定部３７は、例えば、以下のようにして第１の変位情報を生成する。まず、位置推定部３７は、連続する２フレームの観察画像Ｇ１の各々から検出された病変候補情報から、病変候補領域Ｌの重心を算出する。次に、位置推定部３７は、連続する２フレーム間における重心の動きを表す第１の動きベクトルを算出する。次に、位置推定部３７は、第１の動きベクトルに基づいて重心の速度および加速度を算出する。次に、位置推定部３７は、算出された重心の速度および加速度のうちの少なくとも１つに基づいて、第１の変位情報を生成する。

　位置推定部３７は、病変候補領域Ｌが継続して検出されている間、第１の変位情報を繰り返し生成する。生成された第１の変位情報は、記憶部３７１に記憶される。

　次に、第２の変位情報について説明する。位置推定部３７は、病変候補領域Ｌの検出が途絶した場合、すなわち、検出途絶判定部３４において病変候補領域Ｌの検出が途絶したと判定された途絶判定が得られた場合に、観察画像Ｇ１の任意の点の変位量および変位方向を示す情報である第２の変位情報を生成する。

　位置推定部３７は、例えば、以下のようにして第２の変位情報を生成する。まず、位置推定部３７は、画像保存部３２から、現在の観察画像Ｇ１（以下、第１の観察画像Ｇ１と記す。）を読み出す。次に、位置推定部３７は、第１の観察画像Ｇ１において位置推定部３７が追跡可能な任意の点（以下、追跡点と記す。）を設定する。次に、位置推定部３７は、画像保存部３２から、第１の観察画像Ｇ１の次のフレームの観察画像Ｇ１（以下、第２の観察画像Ｇ１と記す。）を読み出す。次に、位置推定部３７は、第２の観察画像Ｇ１における追跡点の位置を検出する。位置推定部３７は、第１の観察画像Ｇ１と第２の観察画像Ｇ１の間における追跡点の動きを表す第２の動きベクトルを算出する。次に、位置推定部３７は、第２の動きベクトルに基づいて追跡点の速度および加速度を算出する。次に、位置推定部３７は、算出された追跡点の速度および加速度のうちの少なくとも１つに基づいて、第２の変位情報を生成する。

　位置推定部３７は、病変候補領域Ｌの検出が途絶している間、第２の変位情報を繰り返し生成する。生成された第２の変位情報は、記憶部３７１に記憶される。

　次に、病変候補領域Ｌの位置の推定方法について説明する。位置推定部３７は、第１の変位情報と第２の変位情報に基づいて、途絶判定が得られた時点よりも後の病変候補領域Ｌの位置を推定する。より具体的に説明すると、位置推定部３７は、第２の変位情報を用いて、途絶判定が得られた時点よりも後の観察画像Ｇ１に含まれる被写体の動きを検出し、検出された被写体の動きを第１の変位情報に合成することによって、途絶判定が得られた時点よりも後の病変候補領域Ｌの位置を推定する。

　なお、位置推定部３７は、途絶判定が得られる直前の第１の変位情報に基づいて、病変候補領域Ｌが、観察画像Ｇ１の外縁よりも外側に位置するのか、観察画像Ｇ１の外縁よりも内側に位置するのかを判定する。病変候補領域Ｌが観察画像Ｇ１の外縁よりも外側に位置することが判定された場合、位置推定部３７は、第２の変位情報に基づいて、観察画像Ｇ１の外縁よりも外側の領域に存在する病変候補領域Ｌの位置を推定する。病変候補領域Ｌが観察画像Ｇ１の外縁よりも内側に位置することが判定された場合、位置推定部３７は、第２の変位情報に基づいて、観察画像Ｇ１中に存在する病変候補領域Ｌの位置を推定する。

（表示可否判定の内容）
　次に、復帰動作判定部３５７および枠外距離判定部３５８の各々において行われる表示可否判定について説明する。第１の実施の形態において図５に示したフローチャートは、復帰動作判定部３５７および枠外距離判定部３５８の各々において行われる表示可否判定も示している。

　始めに、復帰動作判定部３５７において行われる表示可否判定について説明する。復帰動作判定部３５７は、途絶判定が得られた場合に、まず、復帰動作パラメータを算出する（図５のステップＳ１１）。次に、復帰動作パラメータと所定の閾値とを比較する（図５のステップＳ１２）。復帰動作パラメータが所定の閾値以上の場合（ＹＥＳ）、復帰動作判定部３５７は、支援情報を表示しないと判定する（図５のステップＳ１３）。一方、復帰動作パラメータが所定の閾値未満の場合（ＮＯ）、復帰動作判定部３５７は、支援情報を表示すると判定する（図５のステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、復帰動作判定部３５７において行われる表示可否判定に対応する。

　なお、復帰動作パラメータが所定の閾値以上の場合は、復帰動作が行われていないと推定される場合に相当する。復帰動作パラメータが所定の閾値未満の場合は、復帰動作が行われていると推定される場合に相当する。復帰動作判定部３５７において行われる表示可否判定は、例えば、途絶判定後、所定の間隔で繰り返し実行されてもよい。

　次に、枠外距離判定部３５８において行われる表示可否判定について説明する。枠外距離判定部３５８は、途絶判定が得られた場合に、まず、枠外距離を算出する。枠外距離は、図５のステップＳ１１におけるパラメータに対応する。次に、パラメータである枠外距離と所定の閾値とを比較する（図５のステップＳ１２）。枠外距離が所定の閾値以上の場合（ＹＥＳ）、枠外距離判定部３５８は、支援情報を表示しないと判定する（図５のステップＳ１３）。一方、枠外距離が所定の閾値未満の場合（ＮＯ）、枠外距離判定部３５８は、支援情報を表示すると判定する（図５のステップＳ１４）。図５に示したステップＳ１２，Ｓ１３，Ｓ１４が、枠外距離判定部３５８において行われる表示可否判定に対応する。

　なお、枠外距離判定部３５８において行われる表示可否判定は、例えば、途絶判定後、所定の間隔で繰り返し実行されてもよい。

（支援情報の例）
　次に、位置推定部３７において注目領域である病変候補領域Ｌの位置が推定され且つ表示可否判定において支援情報を表示すると判定された場合に行われる、病変候補領域Ｌの推定位置に応じて支援情報を変化させる処理の例について説明する。図１４は、支援情報の第１の例を示す説明図である。図１４は、第１の実施の形態における図９と同様に、病変候補領域Ｌが観察画像Ｇ１の外縁よりも外側に移動することによって、観察画像Ｇ１から病変候補領域Ｌが消失した状態を示している。図１４には、位置推定部３７によって推定される病変候補領域Ｌの位置が、図９に示した状態よりも、観察画像Ｇ１の外縁からより遠い場合を示している。図９および図１４に示したように、支援情報処理部３６２は、観察画像Ｇ１の外縁から病変候補領域Ｌまでの距離が大きくなるに従って、支援情報であるアラート画像Ｇ２（三角形）を大きくしてもよい。

　図１５は、支援情報の第２の例を示す説明図である。図１５は、第１の実施の形態における図１１と同様に、病変候補領域ＬがひだＦの裏側に隠れることによって、観察画像Ｇ１から病変候補領域Ｌが消失した状態を示している。図１５には、位置推定部３７によって推定される病変候補領域Ｌの位置が、図９に示した状態から変化した例を示している。図１１および図１５に示したように、支援情報処理部３６２は、病変候補領域Ｌの推定位置の変化に追従するように、支援情報であるアラート画像Ｇ２（三角形）の位置を変化させてもよい。

（作用および効果）
　次に、本実施の形態特有の作用および効果について説明する。本実施の形態では、位置推定部３７によって、途絶判定が得られた時点よりも後の注目領域である病変候補領域Ｌの位置が推定される。表示判定部３５は、少なくとも、病変候補領域Ｌの推定位置に基づいて、表示可否判定を行う。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。以下、この効果について詳しく説明する。

　注目領域である病変候補領域Ｌが表示部４の画面上から消失した場合であって、復帰動作が行われていない場合には、内視鏡１の使用者の負担を軽減したり、支援情報によって他の病変候補領域Ｌが隠れないようにしたりする観点から、支援情報を表示しないことが好ましい。本実施の形態では、表示判定部３５には、復帰動作判定部３５７が設けられている。復帰動作判定部３５７は、病変候補領域Ｌの推定位置の変化に基づいて復帰動作パラメータを算出し、算出した復帰動作パラメータに基づいて、復帰動作が行われていないと推定される場合には、支援情報を表示しないと判定し、復帰動作が行われていると推定される場合には、支援情報を表示すると判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　なお、復帰動作は、内視鏡１の使用者が、途絶判定後に消失した病変候補領域Ｌを復帰させて観察する意思がある場合に実行されるものである。本実施の形態によれば、復帰動作判定部３５７によって、途絶判定後の使用者の意思を推定することができる。

　また、病変候補領域Ｌが観察画像Ｇ１の外縁の外側に移動し、観察画像Ｇ１の外縁から病変候補領域Ｌまでの距離が十分に大きい場合には、消失した病変候補領域Ｌを復帰させて観察する意思がない可能性が高い。本実施の形態では、表示判定部３５には、枠外距離判定部３５８が設けられている。枠外距離判定部３５８は、枠外距離がある程度大きくなった場合には、支援情報を表示しないと判定する。これにより、本実施の形態によれば、支援情報を適切に表示させることができる。

　本実施の形態におけるその他の構成、作用および効果は、第１の実施の形態と同様である。

［第３の実施の形態］
　次に、本発明の第３の実施の形態に係わる画像処理装置について説明する。図１６は、本実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。本実施の形態に係わる画像処理装置３は、逆再生表示部３８を備えている。

　逆再生表示部３８には、検出途絶判定部３４の判定結果が入力される。また、逆再生表示部３８は、画像保存部３２に保存された観察画像Ｇ１を読み出すことができるように構成されている。逆再生表示部３８は、検出途絶判定部３４において途絶判定が得られた第１の時点からこの第１の時点よりも後の第２の時点までに画像保存部３２に時系列順に保存された複数の観察画像Ｇ１を読み出す。そして、逆再生表示部３８は、読み出した複数の観察画像Ｇ１を用いて、表示部４（図１参照）において上記の時系列とは逆の順序で表示される動画像Ｇ３を生成し、生成した動画像Ｇ３を表示出力部３６に出力する。

　また、第１の実施の形態で説明したように、表示判定部３５における表示可否判定において支援情報を表示部４に表示すると判定された場合には、表示出力部３６は、表示用画像Ｇとして、支援情報を含む画像を構成し、構成した画像を表示部４に出力する。本実施の形態では、表示出力部３６は、支援情報として、第１の実施の形態で説明したアラート画像Ｇ２の他に、動画像Ｇ３を用いる。

　図１７は、本実施の形態における表示用画像Ｇの一例を示している。図１７には、第１の実施の形態における図９と同様に、病変候補領域Ｌが観察画像Ｇ１の外縁よりも外側に移動して、観察画像Ｇ１から注目領域である病変候補領域Ｌが消失した状態を示している。図１７に示した例では、動画像Ｇ３は、観察画像Ｇ１の横に表示されている。

　なお、動画像Ｇ３を表示するか否かの判定は、アラート画像Ｇ２を表示するか否かの判定とは別に行われてもよい。この場合、表示判定部３５は、例えば、動画像Ｇ３を表示するか否かの指示に基づいて、動画像Ｇ３を表示するか否かの判定を行う。動画像Ｇ３を表示するか否かの指示は、例えば、第１の実施の形態における図１に示した表示指示部６を介して取得されてもよい。

　本実施の形態におけるその他の構成、作用および効果は、第１の実施の形態と同様である。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、画像処理装置３のハードウェア構成は、図２を参照して説明した例に限られない。具体的には、例えば、画像処理装置３の画像取得部３１、注目領域検出部３３、検出途絶判定部３４、表示判定部３５、表示出力部３６、位置推定部３７（第２の実施の形態）および逆再生表示部３８（第３の実施の形態）は、１つのプロセッサによって実現されてもよいし、複数のプロセッサによって実現されてもよい。後者の場合、画像取得部３１、注目領域検出部３３、検出途絶判定部３４、表示判定部３５、表示出力部３６、位置推定部３７および逆再生表示部３８は、それぞれ別々のプロセッサによって実現されてもよい。

Claims (17)

1. 　内視鏡によって撮影された被写体の画像を取得する画像取得部と、
   　少なくとも前記画像取得部によって取得された前記画像を含む表示用画像を表示部に出力する表示出力部と、
   　前記画像取得部によって取得された前記画像に含まれる注目領域を検出する注目領域検出部と、
   　前記注目領域検出部における前記注目領域の検出が途絶したか否かを判定する検出途絶判定部と、
   　前記検出途絶判定部において前記注目領域の検出が途絶したと判定された判定結果である途絶判定が得られた場合に、検出が途絶した前記注目領域が前記表示部の画面上に復帰するように支援する支援情報を前記表示部に表示するか否かの判定である表示可否判定を行う表示判定部とを備え、
   　前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示出力部は、前記表示用画像として、前記支援情報を更に含む画像を前記表示部に出力し、
   　前記表示可否判定において前記支援情報を表示しないと判定された場合には、前記表示出力部は、前記表示用画像として、前記支援情報を含まない画像を前記表示部に出力することを特徴とする内視鏡画像処理装置。
2. 　前記表示判定部は、詳細観察判定部を含み、
   　前記詳細観察判定部は、前記注目領域が詳細に観察されているか否かによって変化する詳細観察パラメータを算出し、前記詳細観察パラメータに基づいて前記表示可否判定を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
3. 　前記詳細観察パラメータは、前記注目領域の形状変化量、前記注目領域の移動量および前記内視鏡の観察モードのうちの少なくとも１つに基づいて算出されることを特徴とする請求項２に記載の内視鏡画像処理装置。
4. 　前記表示判定部は、視認性判定部を含み、
   　前記視認性判定部は、前記注目領域の視認のしやすさによって変化する視認性パラメータを算出し、前記視認性パラメータに基づいて前記表示可否判定を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
5. 　前記視認性パラメータは、前記注目領域の色、形状およびテクスチャのうちの少なくとも１つに基づいて算出されることを特徴とする請求項４に記載の内視鏡画像処理装置。
6. 　前記表示判定部は、重要性判定部を含み、
   　前記重要性判定部は、前記注目領域の重要度を算出し、前記重要度に基づいて前記表示可否判定を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
7. 　前記重要度は、前記注目領域の色、形状およびテクスチャのうちの少なくとも１つに基づいて算出されることを特徴とする請求項６に記載の内視鏡画像処理装置。
8. 　前記表示判定部は、表示指示判定部を含み、
   　前記表示指示判定部は、前記途絶判定が得られた場合に、前記内視鏡の使用者による前記支援情報を表示するか否かの指示に基づいて前記表示可否判定を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
9. 　前記指示は、前記使用者の視線、前記使用者の発言および前記使用者による指示手段の操作のうちの少なくとも１つによって行われることを特徴とする請求項８に記載の内視鏡画像処理装置。
10. 　前記表示判定部は、経過時間判定部を含み、
    　前記経過時間判定部は、前記途絶判定が得られた時点からの経過時間を計測し、前記経過時間に基づいて前記表示可否判定を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
11. 　更に、前記途絶判定後の前記注目領域の位置を推定する位置推定部を備え、
    　前記位置推定部において前記注目領域の位置が推定され且つ前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示出力部は、前記注目領域の推定位置に応じて前記支援情報を変化させることを特徴とする請求項１に記載の内視鏡画像処理装置。
12. 　前記表示判定部は、復帰動作判定部を含み、
    　前記復帰動作判定部は、前記注目領域が前記表示部の画面上に復帰するように前記内視鏡を操作する復帰動作が行われているか否かによって変化する復帰動作パラメータを算出し、前記復帰動作パラメータに基づいて前記表示可否判定を行うことを特徴とする請求項１１に記載の内視鏡画像処理装置。
13. 　前記復帰動作パラメータは、前記位置推定部によって推定された前記注目領域の位置の変化に基づいて算出されることを特徴とする請求項１２に記載の内視鏡画像処理装置。
14. 　前記表示判定部は、枠外距離判定部を含み、
    　前記枠外距離判定部は、前記画像の外縁から前記位置推定部によって推定された前記注目領域の位置までの距離を算出し、前記距離に基づいて前記表示可否判定を行うことを特徴とする請求項１１に記載の内視鏡画像処理装置。
15. 　更に、前記画像取得部によって取得された前記画像を保存する画像保存部と、
    　逆再生表示部とを備え、
    　前記逆再生表示部は、前記途絶判定が得られた第１の時点から前記第１の時点よりも後の第２の時点までに前記画像保存部に時系列順に保存された複数の前記画像を用いて、前記表示部において前記時系列とは逆の順序で表示される動画像を生成することを特徴とする請求項１に記載の内視鏡画像処理装置。
16. 　前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示出力部は、前記支援情報として、前記動画像を用いることを特徴とする請求項１５に記載の内視鏡画像処理装置。
17. 　内視鏡によって撮影された被写体の画像を取得するステップと、
    　少なくとも取得された前記画像を含む表示用画像を表示部に出力するステップと、
    　取得された前記画像に含まれる注目領域を検出するステップと、
    　前記注目領域の検出が途絶したか否かを判定するステップと、
    　前記注目領域の検出が途絶したと判定された判定結果である途絶判定が得られた場合に、検出が途絶した前記注目領域が前記表示部の画面上に復帰するように支援する支援情報を前記表示部に表示するか否かの判定である表示可否判定を行うステップとを含み、
    　前記表示可否判定において前記支援情報を表示すると判定された場合には、前記表示用画像として、前記支援情報を更に含む画像を前記表示部に出力し、
    　前記表示可否判定において前記支援情報を表示しないと判定された場合には、前記表示用画像として、前記支援情報を含まない画像を前記表示部に出力することを特徴とする内視鏡画像処理方法。

Images