JP6067264B2 - 画像処理装置及び内視鏡装置 - Google Patents

Description

本発明は、内視鏡診断用の画像処理装置及び該画像処理装置を備えた医療用の内視鏡装置に関連し、特にカラー内視鏡画像の色情報に基づいて病変部に関する情報を取得して表示する機能を備えた装置に関する。

病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。そこで、病変部の識別を容易にするために、白色光を使用して撮像した内視鏡画像データに対して、色の違いを強調する色変換処理を行う機能を備えた電子内視鏡装置が提案されている（特許文献１）。

特開２００９−１０６４２４号公報

特許文献１の電子内視鏡装置が生成する画像は、通常の内視鏡画像に比べれば病変部等を識別し易いものの、正常な粘膜組織と病変部等との境界における色の変化は連続的であり、また疾患の種類によっては正常な粘膜組織との色の違いが僅かであるため、やはり経験の浅い術者には病変部等の識別が難しい場合もあった。また、特許文献１の電子内視鏡装置を使用した場合でも、病変部かどうかの判断は、色覚という曖昧な感覚に基づいた術者の主観に委ねられており、客観的かつ再現性のある（術者のスキルに依存しない）検査結果を得ることができなかった。

本発明の実施形態によれば、カラー内視鏡画像データを取得する取得手段と、カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするＨＳＩ色空間、又は、色相、彩度及び明度を基底とするＨＳＶ色空間に変換する色空間変換手段と、カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、病変画素判定手段が病変部の画素と判定した画素の色を変更するオーバーレイ処理を行うオーバーレイ処理手段と、カラー内視鏡画像にオーバーレイ処理を施したオーバーレイ画像を表示するオーバーレイ画像表示手段と、を備えた画像処理装置が提供される。

この構成によれば、病変部と正常部の相違が明瞭に現れるＨＳＶ色空間において病変部の判定が行われるため、病変部と正常部との正確な判別が可能になる。また、病変部の画素の色を変更したオーバーレイ画像を表示することにより、術者が病変部をより明確に識別することが可能になり、より正確かつ再現性の高い診断が可能になる。

病変画素判定手段が、複数種類の病変のそれぞれについて、病変部の画素であるか否かを判定し、オーバーレイ画像表示手段が、病変の種類に応じて病変部の画素の色を変更する構成としてもよい。

この構成によれば、例えば炎症性腸疾患のように、複数種類の病変の発現を伴う疾患の診断をより的確に行うことが可能になる。

上記の画像処理装置において、オーバーレイ処理手段が、病変部と判定された画素の画素値に、病変の種類に応じた所定値を加算する構成としてもよい。

この構成によれば、種類の異なる病変部が色別表示され、より詳細な疾患の状態に関する情報を、直感的かつ正確に把握することが可能になる。

上記の画像処理装置において、オーバーレイ画像表示手段が、カラー内視鏡画像と、オーバーレイ画像とを同時に表示する構成としてもよい。

この構成によれば、カラー内視鏡画像に写された病変部の識別が容易になる。

上記の画像処理装置において、カラー内視鏡画像を構成する各画素について、画素値が所定の範囲内にあるか否かに基づいて、画素値が有効か否かを判定する有効性判定手段を更に備え、病変画素判定手段が、有効性判定手段が有効と判定した画素について、病変部の画素であるか否かを判定する構成としてもよい。

この構成によれば、有効でない画素（例えば、画素値が極度に高い場合や、極端に低い場合など、画素値の精度が低い画素）を判定の対象から外すことにより、より正確な病変部の識別が可能になる。

上記の画像処理装置において、画素が病変部と判定される画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、病変画素判定手段が、トーン強調処理後の画素値に基づいて判定を行う構成としてもよい。

この構成によれば、病変部の判定の境界（閾値）近傍におけるダイナミックレンジが広げられるため、より精密な判定が病変部の判定が可能になる。

上記の画像処理装置において、カラー内視鏡画像データに対して、ＲＧＢ色空間においてトーン強調処理を施した後、ＨＳＩ色空間又はＨＳＶ色空間に変換する構成としてもよい。

上記の画像処理装置において、トーン強調手段が、各原色の輝度値Ｒ、Ｇ、Ｂに対して個別の利得曲線を適用してトーン強調処理を行う構成としてもよい。

この構成によれば、自由度の高いトーン強調処理により、より正確な病変部の判定が可能になる。

上記の画像処理装置において、病変が、炎症性腸疾患における炎症及び潰瘍を含む構成としてもよい。

また、本発明の実施形態の構成によれば、上記の画像処理装置と、カラー内視鏡画像データを生成して、画像処理装置に出力する内視鏡と、を備えた内視鏡装置が提供される。

以上のように、本発明の実施形態の構成によれば、病変部と正常部との正確な判別を容易に行うことが可能になる。

本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る画像処理ユニットの概略構成を示すブロック図である。 画像メモリ２２４の記憶領域の概略構成を示す図である。 メモリ２２６の記憶領域の概略構成を示す図である。 画像処理ユニットが行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標にプロットした散布図である。 オーバーレイ処理の手順を示すフローチャートである。 画面表示処理によって生成される表示画面の一例である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は、本発明の実施形態に係る電子内視鏡装置１の概略構成を示すブロック図である。図１に示すように、本実施形態の電子内視鏡装置１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡装置１の全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）からの指示に応じて、電子内視鏡装置１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡装置１内の各種回路に出力する。

また、電子内視鏡用プロセッサ２００は、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２に白色光束である照明光を供給する光源装置２３０を備えている。光源装置２３０は、ランプ２３２、ランプ電源２３４、集光レンズ２３６及び調光装置２４０を備えている。ランプ２３２は、ランプ電源２３４から駆動電力の供給を受けて照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが使用される。ランプ２３２が放射した照明光は、集光レンズ２３６により集光された後、調光装置２４０を介してＬＣＢ１０２に導入される。

調光装置２４０は、システムコントローラ２０２の制御に基づいてＬＣＢ１０２に導入する照明光の光量を調整する装置であり、絞り２４２、モータ２４３及びドライバ２４４を備えている。ドライバ２４４は、モータ２４３を駆動するための駆動電流を生成して、モータ２４３に供給する。絞り２４２は、モータ２４３によって駆動され、照明光が通過する開口を変化させて、開口を通過する照明光の光量を調整する。

入射端からＬＣＢ１０２に導入された照明光は、ＬＣＢ１０２内を伝播し、電子スコープ１００の先端に配置されたＬＣＢ１０２の出射端から出射して、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じた３原色Ｒ，Ｇ，Ｂ各色の撮像信号を生成する。生成された撮像信号は、電子スコープ１００の接続部内に設けられたドライバ信号処理回路１１２において、増幅、された後、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像信号に変換され、更にデジタル信号に変換された後、電子内視鏡用プロセッサ２００の画像処理ユニット２２０に送られる。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４から読み出した固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成した制御信号を用いて、電子内視鏡用プロセッサ２００に接続された電子スコープ１００に適した処理がなされるように、電子内視鏡用プロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び画像処理ユニット２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

電子内視鏡用プロセッサ２００の画像処理ユニット２２０は、システムコントローラ２０２による制御の下、電子スコープ１００のドライバ信号処理回路１１２から送られてくる画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。術者は、モニタ３００に表示された内視鏡画像を確認しながら例えば消化管内の観察や治療を行う。

電子内視鏡用プロセッサ２００は、ネットワークインタフェース２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００から取得してモニタ３００や操作パネル２０８に表示し、内視鏡検査結果（内視鏡画像データ、検査条件、後述の画像解析結果、術者所見等）をサーバ６００に送信して、蓄積する。

また、電子内視鏡装置１は、複数の内視鏡画像の静止画を撮像箇所（すなわち、撮像時の電子スコープ１００の先端部の位置（挿入長））の情報と関連付けて記録する機能を備えている。電子スコープ１００の挿入部１３０の外周には、複数の光センサ１３２が長さ方向に等間隔（例えば５ｃｍ間隔）で設けられている。光センサ１３２は、フォトダイオード等の受光素子であり、外光（内視鏡検査が行われる部屋の室内照明）を検出する。挿入部１３０の消化管内に挿入され部分に設けられた光センサ１３２は外光を検出せず、消化管内に挿入されていない部分に設けられた光センサ１３２は外光を検出する。そのため、光を検出していない光センサの分布長を消化管内に挿入された挿入部１３０の長さと判定することで、電子スコープ１００先端部の位置（挿入長）の情報を取得することができる。光センサ１３２は、ドライバ信号処理回路１１２に接続されており、検出した光量を示すセンサ信号をドライバ信号処理回路１１２に送信する。ドライバ信号処理回路１１２は、光センサ１３２からのセンサ信号に基づいて、電子スコープ１００の先端部の位置（挿入長）Ｐｏｓを計算する。

また、電子スコープ１００の操作部１２０に対して静止画取得を指示するユーザ操作が行われると、操作部１２０からドライバ信号処理回路１１２に操作信号が送信される。システムコントローラ２０２は、操作部１２０から静止画取得の操作信号を取得すると、現在の電子スコープ１００先端部の位置情報（挿入長）Ｐｏｓと共に静止画取得の指令を画像処理ユニット２２０に送信する。これにより、画像処理ユニット２２０において、撮像時の電子スコープ１００の位置情報Ｐｏｓと関連付けられて内視鏡観察画像の静止画が記録される。画像処理ユニット２２０が静止画を記録する処理の詳細は後述する。

図２は、画像処理ユニット２２０の概略構成を示すブロック図である。画像処理ユニット２２０は、第１画像処理回路２２２、画像メモリ２２４、メモリ２２６及び第２画像処理回路２２８を備えている。第１画像処理回路２２２は、ドライバ信号処理回路１１２からの画像信号に対して種々の画像処理を施して、画像メモリ２２４に出力する。

図２に示すように、第１画像処理回路２２２は、ＲＧＢ変換部２２２ａ、ＴＥ処理部２２２ｂ、有効画素判定部２２２ｃ、色空間変換部２２２ｄ、病変判定部（閾値処理部）２２２ｅ及びオーバーレイ処理部２２２ｆを備えている。また、第２画像処理回路２２８は、表示画面生成部２２８ａを備えている。第１画像処理回路２２２及び第２画像処理回路２２８の各部が行う具体的な処理については後述する。

図３は、画像メモリ２２４が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２４には、７つの記憶領域群Ｐｋ（ｋ＝０〜６）が設けられている。各憶領域群Ｐｋは、通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂをそれぞれ記憶する通常画像メモリ領域ｋｎＲ，ｋｎＧ，ｋｎＢ（ｋ＝０〜６）と、後述するＴＥ処理Ｓ３により生成されるトーン強調画像データＥの原色信号Ｒ’，Ｇ’，Ｂ’をそれぞれ記憶するトーン強調画像メモリ領域ｋｅＲ，ｋｅＧ，ｋｅＢ（ｋ＝０〜６）と、後述するオーバーレイ処理Ｓ７により生成されるオーバーレイ画像データＳの３原色信号Ｒ”，Ｇ”，Ｂ”をそれぞれ記憶するオーバーレイ画像メモリ領域ｋｓＲ，ｋｓＧ，ｋｓＢ（ｋ＝０〜６）を備えている。すなわち、画像メモリ２２４は、通常観察画像データＮとトーン強調画像データＥとオーバーレイ画像データＳのデータセットを最大７セット記憶することができる。画像メモリ２２４は、第１画像処理回路２２２から出力された画像データ（通常観察画像データＮ、トーン強調画像データＥ又はオーバーレイ画像データＳ）を、システムコントローラ２０２の制御に従い、記憶領域群Ｐ０〜Ｐ６のいずれかに記憶させるように構成されている。なお、記憶領域Ｐ０には、第１画像処理回路２２２から順次出力される画像データが上書きされ、常にリアルタイムの動画を構成する画像データが保持される。一方、記憶領域群Ｐ１〜Ｐ６には、システムコントローラ２０２から指令があった時にのみ、第１画像処理回路２２２から出力された画像データが書き込まれる。すなわち、画像メモリ２２４には最大６枚の静止画を記録することができる。

図４は、メモリ２２６が備える記憶領域の概略構成を示す図である。メモリ２２６は、ＲＧＢマトリクス記憶領域２２６ａ、フラグ記憶領域２２６ｂ及び設定情報記憶領域２２６ｃを備えている。ＲＧＢマトリクス記憶領域２２６ａには後述するＲＧＢ変換処理Ｓ１において使用されるＲＧＢ変換マトリクス係数Ｍが格納され、フラグ記憶領域２２６ｂには第１画像処理回路２２２での処理に使用されるフラグテーブルＦが格納される。なお、フラグテーブルＦは、画像データを構成する各画素（ｘ，ｙ）に関する解析結果を示すフラグｆ（ｘ，ｙ）から構成された数値テーブルである。設定記憶領域２２６ｃには、画像処理ユニット２２０での処理に使用される各種設定値が記録されている。

なお、記憶領域群Ｐｋは、電子スコープの先端部の位置情報（挿入長）Ｐｏｓの値と関連付けられている。具体的には、記憶領域群Ｐ１は検査範囲の最奥部（例えば横行結腸の右結腸曲付近）に相当する挿入長Ｐｏｓの範囲に対応し、ｋ値が大きくなるほど対応する挿入長Ｐｏｓが短くなり、記憶領域群Ｐ６が直腸付近に相当する挿入長Ｐｏｓの範囲に対応する。すなわち、検査範囲の最奥部から電子スコープ１００の挿入部１３０を引き抜きながら静止画を取得していくと、取得した順にｋ＝１〜６の記憶領域に静止画が記録される。位置情報Ｐｏｓと記憶領域群Ｐｋ（ｋ＝１〜６）との対応関係を規定する設定情報は、設定情報記憶領域２２６ｃに記録されている。画像データが記録される記憶領域群Ｐｋは、画像データの位置情報Ｐｏｓ（撮像時の電子スコープ１００先端部の位置）に応じて決定される。

第２画像処理回路２２８は、画像メモリ２２４に記憶された画像信号を使用してモニタ表示用のビデオ信号を生成し、モニタ３００に出力する。

次に、画像処理ユニット２２０が行う処理の詳細を説明する。図５は、画像処理ユニット２２０が行う処理の手順を示すフローチャートである。画像処理ユニット２２０の処理が開始すると、先ず、第１画像処理回路２２２のＲＧＢ変換部２２２ａによりＲＧＢ変換処理Ｓ１が行われる。ＲＧＢ変換処理Ｓ１では、ＲＧＢ変換部２２２ａが、ドライバ信号処理回路１１２から送られてくる輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをそれぞれ増幅した後、３原色信号Ｒ，Ｇ，Ｂに変換する。ＲＧＢ変換処理Ｓ１は、メモリ２２６のＲＧＢマトリクス記憶領域２２６ａに格納されたＲＧＢ変換マトリクス係数Ｍを使用して行われる。ＲＧＢ変換マトリクス係数Ｍは、撮像に用いる照明光のスペクトル特性に応じて予め設定されており、Ｙ，Ｃｂ，Ｃｒ信号からＲ，Ｇ，Ｂ信号への信号形式の変換と同時に、照明光のスペクトル特性の補正が行われる。また、ＲＧＢ変換処理Ｓ１が完了すると、生成された通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂは画像メモリ２２４に出力され、それぞれ通常画像メモリ領域０ｎＲ，０ｎＧ，０ｎＢに記憶される。

次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報（特に色相及び彩度）を解析し、色情報の解析結果から所定の判定基準に基づいて病変部の画素であるか否かを判定し、病変部の画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である潰瘍（白苔や膿様粘液を含む白色病変）及び炎症（浮腫や易出血性を含む赤変病変）の観察像にそれぞれ特有の色域にある画素を抽出して、識別表示するものである。

なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１２０や電子内視鏡用プロセッサ２００の操作パネル２０８に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ８に進む。

画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にトーン強調（ＴＥ）処理部２２２ｂによるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定する病変に特有の色域（特に境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図６に示すような単調増加の非線形のゲインを与えて原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）を取得する処理が行われる。例えば、潰瘍に特有な色域の境界のＲ空間への写像を境界領域Ｒ_Ａとし、炎症に特有な色域の境界のＲ空間への写像を境界領域Ｒ_Ｂとすると、境界領域Ｒ_Ａ及びＲ_Ｂの付近においてゲイン曲線の傾きが最も急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域Ｒ_Ａ及びＲ_Ｂの付近における原色信号Ｒ’（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。

ここで、各原色信号Ｒ，Ｇ，Ｂに対してそれぞれ異なるゲイン調整を行ってもよい。さらにまた、各原色信号Ｇ，Ｂは同じ非線形のゲインを与え、原色信号Ｒにはこれらとは異なる非線形のゲインを与える処理であってもよい。また、ＴＥ処理Ｓ３により生成された３原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）は、画像メモリ２２４に出力され、それぞれトーン強調画像メモリ領域０ｅＲ，０ｅＧ，０ｅＢに記憶される。

なお、ＴＥ処理Ｓ３により、炎症部が赤く、潰瘍部が白く、正常部が緑色に色味が変化する。そのため、ＴＥ処理Ｓ３により生成されたトーン強調画像データＥをモニタ３００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮよりも病変部（炎症部や潰瘍部）を容易に視認することができる。

ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２ｃによる有効画素判定処理Ｓ４が行われる。図７は、有効画素判定処理Ｓ４の手順を示すフローチャートである。図７に示す有効画素判定処理Ｓ４は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。

なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、後述する適正露出判定Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。

次に、各画素について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）に基づいて、露出の適否（画像解析に必要な露出レベルか否か）を判定する（Ｓ４２）。適正露出判定Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定されており、数式３により各原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の下限値が規定されている。

画素（ｘ，ｙ）について、数式２又は数式３を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２ｃは、メモリ２２６のフラグ記憶領域２２６ｂに格納されているフラグテーブルＦの画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。なお、フラグｆ（ｘ，ｙ）は、０〜３のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：病変無し（正常）又は病変未判定（画素データ有効）
２：病変Ａ（炎症）
３：病変Ｂ（潰瘍）

また、適正露出判定Ｓ４２において、数式２、数式３のいずれの条件も満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２ｃは、フラグテーブルＦのフラグｆ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。

次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。

有効画素判定処理Ｓ４が完了すると、次に色空間変換部２２２ｄにより色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間のトーン強調された画素データを、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素データに変換する処理である。具体的には、色空間変換処理Ｓ５において、トーン強調画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。なお、本実施形態では、以降の処理において輝度Ｉ（ｘ，ｙ）が使用されないため、輝度Ｉ（ｘ，ｙ）の計算は行わず、色相Ｈ（ｘ，ｙ）及び彩度Ｓ（ｘ，ｙ）のみを計算して処理効率を高めている。

また、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグｆ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。

色空間変換処理Ｓ５が完了すると、次に病変判定部２２２ｅにより病変判定処理Ｓ６が行われる。本発明の実施形態に係る病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、後述する図９の領域Ｉ〜IIIのいずれにプロットされるかによって、その画素に対応する部位に推測される状態（正常、炎症、潰瘍）を判定する処理である。

図８は、病変判定処理Ｓ６の手順を示すフローチャートである。図８に示す病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦを参照して、各画素（ｘ，ｙ）のデータが有効か否かを判断する（Ｓ６１）。フラグｆ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグｆ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６６へ進む。

ここで、炎症判定処理Ｓ６２及び後述する潰瘍判定処理Ｓ６４について説明する。図９は、複数の炎症性腸疾患患者の内視鏡画像データから抽出した生体組織像の画素データ（色相Ｈ（ｘ，ｙ）と彩度Ｓ（ｘ，ｙ）からなるデータ対）をプロットした散布図である。図９の散布図は、左側の破線で囲まれた領域III、右側下方の一点鎖線で囲まれた領域II、及びそれ以外の領域Ｉに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって潰瘍と判断された部位の画素の大半が図９の領域IIIにプロットされ、炎症と判断された部位の画素の大半が図９の領域IIにプロットされ、正常と判断された部位の画素の大半が領域Ｉにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（潰瘍や炎症）を高い精度で判別できることを意味している。

炎症判定処理Ｓ６２においては、各画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、図９の領域IIにプロットされるか否かが判定される。具体的には、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、以下の数式４及び数式５を満たす場合に、領域IIにプロットされる（すなわち炎症部の画素である）と判定される。なお、δ_Ｈ１、δ_Ｓ１及びδ_Ｓ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６６に進む。また、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIにプロットされない場合は（Ｓ６２：Ｎｏ）、続いて潰瘍判定処理Ｓ６４が行われる。

潰瘍判定処理Ｓ６４では、各画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が、図９の領域IIIにプロットされるか否かが判定される。具体的には、Ｈ（ｘ，ｙ）、Ｓ（ｘ，ｙ）が、以下の数式６を満たすか、若しくは数式７及び数式８を満たす場合に、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされる（すなわち潰瘍部の画素である）と判定される。なお、δ_Ｓ３、δ_Ｓ４、δ_Ｈ２及びδ_Ｈ３は術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。

画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされる場合は（Ｓ６４：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値が「３」（潰瘍）に書き換えられ（Ｓ６５）、処理Ｓ６６に進む。また、画素値（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ））が領域IIIにプロットされない場合は（Ｓ６４：Ｎｏ）、正常組織と判定され、フラグｆ（ｘ，ｙ）の値「１」（正常）は書き換えられず、そのまま処理Ｓ６６に進む。

処理Ｓ６６では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１〜Ｓ６６が繰り返される。

病変判定処理Ｓ６が完了すると、次にオーバーレイ処理部２２２ｆにより本発明の実施形態に係るオーバーレイ処理Ｓ７が行われる。オーバーレイ処理Ｓ７は、病変判定処理Ｓ６により炎症や潰瘍といった病変部と判定された画素について、正常（病変を有しない）と判定された画素と容易に識別できるように、その病変（フラグ値）と関連付けられた色調に色を変更する処理である。本実施形態では、炎症と判定された画素に対して赤みを強め（具体的には、Ｒ成分を増加させ）、潰瘍と判定された画素に対して黄みを強める（具体的には、Ｇ、Ｂ成分を増加させる）処理が行われる。

図１０は、オーバーレイ処理Ｓ７の手順を示すフローチャートである。図１０に示すオーバーレイ処理Ｓ７は、通常観察画像データＮを構成する全ての画素（ｘ，ｙ）について順次行われる。オーバーレイ処理Ｓ７では、まずフラグテーブルＦを参照して、各画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を判断する（Ｓ７１、Ｓ７２、Ｓ７４）。フラグｆ（ｘ，ｙ）の値が「０」（画素データ無効）の場合は（Ｓ７１：Ｙｅｓ）、直接処理Ｓ７７へ進む。フラグｆ（ｘ，ｙ）の値が「１」（正常）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｙｅｓ）、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ），Ｇ”（ｘ，ｙ），Ｂ”（ｘ，ｙ）の値として（Ｓ７３）、処理Ｓ７７へ進む。フラグｆ（ｘ，ｙ）の値が「２」（炎症）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｎｏ、Ｓ７４：Ｙｅｓ）、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ）の値に１００を加えたものをオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ）の値とし、通常観察画像データＮの原色信号Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）の値をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｇ”（ｘ，ｙ）及びＢ”（ｘ，ｙ）の値として（Ｓ７５）、処理Ｓ７７へ進む。また、フラグｆ（ｘ，ｙ）の値が「３」（潰瘍）の場合は（Ｓ７１：Ｎｏ、Ｓ７２：Ｎｏ、Ｓ７４：Ｎｏ）、通常観察画像データＮの原色信号Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）の値にそれぞれ１００を加えたものをオーバーレイ画像データＳの原色信号Ｇ”（ｘ，ｙ）及びＢ”（ｘ，ｙ）の値とし、通常観察画像データＮの原色信号Ｒ（ｘ，ｙ）の値をそのまま変更せずにオーバーレイ画像データＳの原色信号Ｒ”（ｘ，ｙ）の値として（Ｓ７６）、処理Ｓ７７へ進む。ここで、本実施形態のオーバーレイ処理Ｓ７には通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂを用いているが、別の実施形態では、トーン強調画像データＥの原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ）およびＢ’（ｘ，ｙ）を用いてもよい。

処理Ｓ７７では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１〜Ｓ７７が繰り返される。

オーバーレイ処理Ｓ７が完了すると、オーバーレイ処理Ｓ７により生成されたオーバーレイ画像データＳが、画像メモリ２２４に出力され、それぞれオーバーレイ画像メモリ領域０ｓＲ，０ｓＧ，０ｓＢ（ｋ＝０〜６）に記憶される。

次に、静止画保存の指令が出されているか否かの判定Ｓ８（図５）が行われる。画像処理ユニット２２０は、ドライバ信号処理回路１１２から静止画保存の指令と共に電子スコープ１００先端部の位置情報Ｐｏｓを受け取ると（Ｓ８：Ｙｅｓ）、画像メモリ２２４の記憶領域群Ｐ０に記憶された通常観察画像データＮ、トーン強調画像データＥ及びオーバーレイ画像データＳの複製を、位置情報Ｐｏｓに対応する記憶領域群Ｐ１〜６のいずれかに記憶させ（Ｓ９）、次いで画面表示処理Ｓ１０が行われる。ドライバ信号処理回路１１２から静止画保存の指令が無ければ（Ｓ８：Ｎｏ）、処理Ｓ９を行わずに画面表示処理Ｓ１０に進む。

次の画面表示処理Ｓ１０は、モニタ３００に表示するための表示画面データを生成し、ビデオ信号に変換して出力する処理であり、第２画像処理回路２２８の表示画面生成部２２８ａによって行われる。表示画面生成部２２８ｂは、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。

図１１は、画面表示処理Ｓ１０によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮像日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３２２と、通常観察画像データＮ（又はトーン強調画像データＥ）を表示する通常画像表示領域３２４と、オーバーレイ画像データＳ（オーバーレイ処理Ｓ７後の観察画像）を表示する解析画像表示領域３２５を備えている。

画面表示処理Ｓ１０において、表示画面生成部２２８ａは、画像メモリ２２４の記憶領域群Ｐ０からリアルタイムの通常観察画像データＮ（又はトーン強調画像データＥ）及びオーバーレイ画像データＳを読み取り、それぞれ通常画像表示領域３２４及び解析画像表示領域３２５に表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。

術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３２５に表示されるオーバーレイ画像データＳを参照しつつ、通常画像表示領域３２４に表示される通常観察画像データＮ（又はトーン強調画像データＥ）を見ながら内視鏡観察を行う。オーバーレイ画像データＳにおいて色付けされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。

次に、内視鏡観察を継続するか否かが判断される（Ｓ１１）。電子内視鏡用プロセッサ２００の操作パネル２０８に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１１：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１１が繰り返される。

以上が、本実施形態の説明であるが、本発明は、本実施形態の構成に限定されるものではなく、特許請求の範囲の記載によって表現された技術的思想の範囲内で様々な変形が可能である。

上記の実施形態では、ＨＳＩ空間において病変の判定が行われるが、ＨＳＩ空間の代わりに色相（hue）、彩度（saturation）及び明度（value（又はbrightness））を基底とするＨＳＶ（ＨＳＢ）空間において病変の判定を行う構成としてもよい。

また、上記の実施形態では、ＴＥ処理Ｓ３がＲＧＢ空間上で行われているが、色空間変換処理Ｓ５の後にＨＳＩ空間上でＴＥ処理Ｓ３を行う構成としてもよい。

また、上記の実施形態では、光センサ１３２を使用して電子スコープ１００先端部の位置（撮像位置）の情報を取得する構成が採用されているが、本発明はこの構成に限定されず、他の手段によって撮像位置の情報を取得する構成としてもよい。例えば、光センサ１３２に替えて、光源と受光素子を備えた光学式近接センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合、光学式近接センサが消化管内に挿入されたときに、消化管の内壁で反射したセンサ光が受光素子で検出され、近接を検出する。そのため、上記の実施形態とは逆に、受光素子が光を検出している光学式近接センサの分布長を消化管内に挿入された挿入部１３０の長さと判断することで、電子スコープ１００先端部の位置の情報を取得することができる。

また、光センサ１３２に替えて、光学式マウスと同じ原理により移動量（移動の距離及び方向）を検出する移動量センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合には、移動量センサは挿入部１３０の先端付近に一つだけ設ければよい。

なお、光学式近接センサや移動量センサの光源には、近赤外線から可視光域の範囲の任意の波長の光源（例えばＬＤやＬＥＤ）を使用することができるが、ヘモグロビンによる吸収が少なく、生体組織表面での反射率の高い赤色領域の光源を使用することで、高い検出精度を得ることができる。

また、内視鏡検査中に被検者の体外から磁気共鳴画像、Ｘ線画像又は超音波画像を取得して、これらの画像から内視鏡先端部の位置を決定することもできる。また、内視鏡画像の画像解析により、内視鏡先端部の消化管内での移動量を計算することで、内視鏡先端部の位置を決定することもできる。

また、上記の実施形態は炎症性腸疾患の内視鏡検査に本発明を適用した例であるが、当然ながら他の疾患の内視鏡検査にも本発明を適用することができる。

また、上記の実施形態は、術者の手動操作によって静止画が記録される構成であるが、電子スコープ１００の挿入部１３０が検査範囲の最奥部から引き抜かれる際に、挿入部１３０の先端が予め設定された静止画取得位置（観察ポイント）に達した時に、ドライバ信号処理回路１１２が自動的に静止画保存の指令を出して、自動的に静止画を保存する構成としてもよい。

また、上記の実施形態では、固体撮像素子１０８としてＣＣＤイメージセンサが用いられているが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の別の構成の固体撮像素子を用いた構成としてもよい。

また、上記の実施形態では、Ｒ，Ｇ，Ｂのベイヤ配列カラーフィルタ１０８ｂを有する固体撮像素子１０８が使用されているが、補色系のＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（グリーン）のフィルタを有する固体撮像素子を用いた構成としてもよい。

１ 電子内視鏡装置
１００ 電子スコープ
１３２ 移動量センサ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２２０ 画像処理ユニット
２２２ 第１画像処理回路
２２２ａ ＲＧＢ変換部
２２２ｂ ＴＥ処理部
２２２ｃ 有効画素判定部
２２２ｄ 色空間変換部
２２２ｅ 病変判定部（閾値処理部）
２２２ｆ オーバーレイ処理部
２２４ 画像メモリ
２２６ メモリ
２２８ 第２画像処理回路
２２８ａ 表示画面生成部
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (9)

1. カラー内視鏡画像データを取得する取得手段と、
   前記カラー内視鏡画像データの色空間を、色相、彩度及び輝度を基底とするＨＳＩ色空間、又は、色相、彩度及び明度を基底とするＨＳＶ色空間に変換する色空間変換手段と、
   前記カラー内視鏡画像を構成する各画素について、色相と彩度に基づいて病変部の画素であるか否かを判定する病変画素判定手段と、
   前記病変画素判定手段が前記病変部の画素と判定した画素の色を変更するオーバーレイ処理を行うオーバーレイ処理手段と、
   前記カラー内視鏡画像に前記オーバーレイ処理を施したオーバーレイ画像を表示するオーバーレイ画像表示手段と、
   を備え、
   前記病変画素判定手段が、複数種類の病変のそれぞれについて、前記病変部の画素であるか否かを判定し、
   前記オーバーレイ処理手段が、前記病変部と判定された画素の画素値に、その病変の種類に応じた所定値を加算する、
   画像処理装置。
2. 前記オーバーレイ画像表示手段が、前記カラー内視鏡画像と、前記オーバーレイ画像とを同時に表示する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記カラー内視鏡画像を構成する各画素について、前記画素値が所定の範囲内にあるか否かに基づいて、該画素値が有効か否かを判定する有効性判定手段を更に備え、
   前記病変画素判定手段が、前記有効性判定手段が有効と判定した画素について、前記病変部の画素であるか否かを判定する、
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記画素が病変部と判定される前記画素値の領域の境界近傍のダイナミックレンジが広がるように、非線形な利得を前記画素値に与えるトーン強調処理を行うトーン強調手段を更に備え、
   前記病変画素判定手段が、前記トーン強調処理後の画素値に基づいて判定を行う、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記カラー内視鏡画像データに対して、ＲＧＢ色空間において前記トーン強調処理を施した後、前記ＨＳＩ色空間又は前記ＨＳＶ色空間に変換する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記トーン強調手段が、各原色の輝度値Ｒ、Ｇ、Ｂに対して個別の利得曲線を適用して前記トーン強調処理を行う、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記病変が、炎症性腸疾患における炎症及び潰瘍を含む、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
8. 前記カラー内視鏡画像データが、白色光の照明下で撮像された通常観察画像データである、
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理装置。
9. 請求項１から請求項８のいずれか一項に記載の画像処理装置と、
   前記カラー内視鏡画像データを生成して、前記画像処理装置に出力する内視鏡と、
   を備えた内視鏡装置。