JP2008023266A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Abstract

【課題】局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることのできる医療用画像処理装置及び医療用画像処理方法を提供する。
【解決手段】本発明の医療用画像処理装置は、生体組織の三次元モデルを推定する三次元モデル推定部と、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、検出対象領域に含まれる各ボクセルの凹凸の状態を示す形状特徴量を算出する形状特徴量算出部と、隆起形状を有する第１のボクセル及び凹型形状を有する第２のボクセルを検出する三次元形状検出部と、第１のボクセルと第２のボクセルとが互いに近接し、かつ、第１のボクセルと第２のボクセルとの間に、陥凹部位を形成するボクセル群が存在することを検出した場合、第１のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部とを有する。
【選択図】図１

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する医療用画像処理装置及び医療用画像処理方法に関するものである。

従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。

また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。

さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特許文献１に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。

特許文献１に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。
特開２００５−１９２８８０号公報

一般的に、一の画像内において、憩室等の陥凹部位が存在する周辺の部位が盛り上がることにより、局所的な隆起形状が生じる場合がある。しかし、特許文献１に記載されている画像処理方法は、一の画像内において検出した局所的な隆起形状各々が、病変に由来するものであるか、または、陥凹部位が存在する周辺部位の盛り上がりに由来するものであるかを判別することができない。その結果、特許文献１に記載されている画像処理方法は、局所的な隆起形状を有する病変を検出する場合における、検出精度の低下及び誤検出の発生といった課題を有している。

本発明は、前述した点に鑑みてなされたものであり、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明における第１の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量を算出する形状特徴量算出部と、前記第１の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第１のボクセル及び凹型形状を有する第２のボクセルを検出する三次元形状検出部と、前記第１のボクセルから前記第２のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第１のボクセルから前記第２のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第１のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部と、を有することを特徴とする。

本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする。

本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、さらに、前記形状特徴量算出部は、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出し、前記隆起形状判別部は、前記第１のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第１の形状特徴量及び前記第２の形状特徴量に基づき、前記第２の形状特徴量が初めて所定の閾値以上となる第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする。

本発明における第４の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出部と、前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理部と、前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別部と、を有することを特徴とする。

本発明における第５の医療用画像処理装置は、前記第４の医療用画像処理装置において、前記三次元形状検出部は、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出することを特徴とする。

本発明における第１の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量を算出する形状特徴量算出ステップと、前記第１の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第１のボクセル及び凹型形状を有する第２のボクセルを検出する三次元形状検出ステップと、前記第１のボクセルから前記第２のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第１のボクセルから前記第２のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第１のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別ステップと、を有することを特徴とする。

本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする。

本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、さらに、前記形状特徴量算出ステップは、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出し、前記隆起形状判別ステップは、前記第１のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第１の形状特徴量及び前記第２の形状特徴量に基づき、前記第２の形状特徴量が初めて所定の閾値以上となる第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする。

本発明における第４の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出ステップと、前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理ステップと、前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別ステップと、を有することを特徴とする。

本発明における第５の医療用画像処理方法は、前記第４の医療用画像処理方法において、前記三次元形状検出ステップは、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出することを特徴とする。

本発明における医療用画像処理装置及び医療用画像処理方法によると、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる。

以下、図面を参照して本発明の実施の形態を説明する。図１から図１０は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の医療用画像処理装置が本実施形態において行う処理の手順を示すフローチャートである。図３は、図１の医療用画像処理装置により推定される三次元モデルの一例を示す図である。図４は、図１の医療用画像処理装置が行う隆起形状判別処理の手順の一例を示すフローチャートである。図５は、図１の医療用画像処理装置が行う三次元データ点列設定処理の手順を示すフローチャートである。図６は、図３の三次元モデルにおいて、凹型形状を有するボクセル群が存在する位置の一例を示す図である。図７は、顆粒型ＬＳＴ（Ｌａｔｅｒａｌｌｙ Ｓｐｒｅａｄｉｎｇ Ｔｕｍｏｒ）の一例を示す模式図である。図８は、図１の医療用画像処理装置が行う隆起形状判別処理の手順の、図４とは異なる例を示すフローチャートである。図９は、図２のフローチャートに示す処理において、隆起形状を有するボクセル群として検出された各ボクセルの三次元座標の一例を示す図である。図１０は、図９に示す各ボクセルがクラスタ化された状態を示す図である。

内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。

また、医療用観察装置２は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。

内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対し、撮像した被写体の像に応じた撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元画像として表示される。

医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２が行う画像処理における演算結果等を記憶する解析情報記憶部２５とを有する。

また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。

次に、内視鏡システム１の作用について説明を行う。

まず、ユーザは、内視鏡システム１が有する各部の電源を投入した後、被検体の体腔内に内視鏡６の挿入部１１を挿入する。

そして、ユーザにより挿入部１１が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された被写体の像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体の像を二次元画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

そして、三次元モデル推定部としてのＣＰＵ２２は、画像入力部２１から出力される二次元画像に対し、例えば、ＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇ法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像に応じた三次元モデルを推定する（図２のステップＳ１）。なお、本実施形態において、ＣＰＵ２２は、図２のステップＳ１に示す処理を画像入力部２１から出力される二次元画像に対して行うことにより、例えば、図３に示すような三次元モデルを得るものであるとする。

次に、検出対象領域設定部としてのＣＰＵ２２は、画像入力部２１から出力される二次元画像の色調変化と、図２のステップＳ１の処理により推定した三次元モデルの隆起性変化とを検出することにより、該三次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、処理対象領域を設定する（図２のステップＳ２）。具体的には、ＣＰＵ２２は、例えば、画像入力部２１から出力される二次元画像を、Ｒ（赤）画像、Ｇ（緑）画像及びＢ（青）画像の各プレーン画像に分離した後、該Ｒ画像に応じて推定した三次元モデルのデータに基づいて隆起性変化を検出するとともに、該Ｒ画像及びＧ画像の色度に基づいて色調変化を検出する。そして、ＣＰＵ２２は、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記処理対象領域として設定する。

その後、形状特徴量算出部としてのＣＰＵ２２は、三次元モデルの処理対象領域に存在する各ボクセルに対し、（三次元形状）の形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を算出する処理を行う（図２のステップＳ３）。

なお、前述したＳｈａｐｅＩｎｄｅｘ値は、三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であり、０以上１以下の範囲内の数値として示される。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、ＳｈａｐｅＩｎｄｅｘ値が０に近い場合には凹型形状の存在が示唆され、また、ＳｈａｐｅＩｎｄｅｘ値が１に近い場合には凸型形状の存在が示唆される。また、前述したＣｕｒｖｅｄｎｅｓｓ値は、三次元モデルが有する各ボクセルにおける曲率を示すための値である。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、Ｃｕｒｖｅｄｎｅｓｓ値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Ｃｕｒｖｅｄｎｅｓｓ値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。さらに、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセル（または一のボクセル群）におけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。

三次元形状検出部としてのＣＰＵ２２は、三次元モデルの処理対象領域に存在する各ボクセルにおいて、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の各値と、該各値に応じた所定の閾値との比較処理を行うことにより、該各ボクセルのうち、隆起形状を有するボクセル群として、例えば、Ｎ個のボクセルを検出する（図２のステップＳ４）。具体的には、ＣＰＵ２２は、三次元モデルの処理対象領域に存在する各ボクセルのうち、例えば、ＳｈａｐｅＩｎｄｅｘ値が閾値Ｔ１より大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値が閾値Ｔ２より大きいＮ個のボクセルを、隆起形状を有するボクセル群として検出する。

そして、ＣＰＵ２２は、三次元モデルにおいて隆起形状を有するボクセル群として検出したＮ個のボクセル各々が、ポリープ等の病変に由来する隆起形状、または、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状のうち、いずれに該当するボクセルであるかを判別するための処理として、以降に記す隆起形状判別処理を行う（図２のステップＳ５）。

三次元形状検出部としてのＣＰＵ２２は、図２のステップＳ４の処理を行った後、三次元モデルの処理対象領域に存在する各ボクセルにおいて、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の各値と、該各値に応じた所定の閾値との比較処理を行うことにより、該各ボクセルのうち、Ｍ個のボクセルを、凹型形状を有するボクセル群として検出する（図４のステップＳ１１）。これにより、ＣＰＵ２２は、例えば、図６に示す各位置に存在する各ボクセルを、凹型形状を有するボクセル群として検出する。

次に、ＣＰＵ２２は、ｉ＝１（図４のステップＳ１２）に設定した後、隆起形状が存在するボクセル群が有するＮ個のボクセルから、一のボクセルＢｉ（ｉ＝１，２，・・・，Ｎ−１，Ｎ）を抽出する（図４のステップＳ１３）とともに、凹型形状を有するボクセル群が有するＭ個のボクセルのうち、該ボクセルＢｉに最も近い位置に存在するボクセルＲｋ（ｋ＝１，２，・・・，Ｍ−１，Ｍ）を検出する。具体的には、ＣＰＵ２２は、一のボクセルＢｉと、凹型形状を有するボクセル群が有するＭ個のボクセル各々との間の距離を算出するとともに、該距離が最小値ＤｍｉｎとなるボクセルＲｋを検出する（図４のステップＳ１４）。なお、図４のステップＳ１４に示す処理において用いられる距離は、道のり距離であるとする。

その後、隆起形状判別部としてのＣＰＵ２２は、一のボクセルＢｉとボクセルＲｋとの間の距離Ｄｍｉｎと、該距離に関する閾値Ｄｔｈとの比較処理を行う。そして、ＣＰＵ２２は、距離Ｄｍｉｎが閾値Ｄｔｈ以上であることを検出した場合（図４のステップＳ１５）、一のボクセルＢｉにおける隆起形状を、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状ではなく、ポリープ等の病変に由来する隆起形状であると判別した（図４のステップＳ２２）後、後述する図４のステップＳ２３に示す処理を行う。

また、ＣＰＵ２２は、距離Ｄｍｉｎが閾値Ｄｔｈより小さいことを検出した場合（図４のステップＳ１５）、さらに、一のボクセルＢｉからボクセルＲｋに至るまでの三次元データ点列を生成するための処理として、以降に記す三次元データ点列設定処理を行う（図４のステップＳ１６）。

ＣＰＵ２２は、前記三次元データ点列設定処理として、まず、一のボクセルＢｉからボクセルＲｋへの方向ベクトルＶ０を算出する（図５のステップＳ３１）。

次に、ＣＰＵ２２は、注目ボクセルとしての一のボクセルＢｉに接する各ボクセルのうち、ボクセルＲｋの方向に存在するＰ個のボクセルを抽出する（図５のステップＳ３２）とともに、注目ボクセルとしての一のボクセルＢｉから該Ｐ個のボクセル各々への方向ベクトルＶｑ（ｑ＝１，２，・・・，Ｐ−１，Ｐ）を算出する（図５のステップＳ３３）。

さらに、ＣＰＵ２２は、方向ベクトルＶ０と、各方向ベクトルＶｑとがなす角度θｑ（ｑ＝１，２，・・・，Ｐ−１，Ｐ）を算出した（図５のステップＳ３４）後、該算出結果に基づき、Ｐ個のボクセルのうち、最小の角度θｑｍｉｎを与えるボクセルＢｑを検出する（図５のステップＳ３５）。

ＣＰＵ２２は、ボクセルＢｑを検出した後、該ボクセルＢｑがボクセルＲｋと同一であるか否かの判定を行う。そして、ＣＰＵ２２は、ボクセルＢｑがボクセルＲｋと同一でないことを検出した（図５のステップＳ３６）場合、該ボクセルＢｑを次の注目ボクセルとして設定し（図５のステップＳ３７）、さらに、該ボクセルＢｑに対して図５のステップＳ３２からステップＳ３６までの処理を行う。また、ＣＰＵ２２は、ボクセルＢｑがボクセルＲｋと同一であることを検出した（図５のステップＳ３６）場合、一のボクセルＢｉからボクセルＲｋに至るまでに検出した各ボクセル（一のボクセルＢｉ、ボクセルＲｋ、及び前述した処理により得られた各注目ボクセル）を三次元データ点列として設定し（図５のステップＳ３８）、三次元データ点列設定処理を終了する。

その後、ＣＰＵ２２は、三次元データ点列として設定した各ボクセルのＣｕｒｖｅｄｎｅｓｓ値を算出する（図４のステップＳ１７）。さらに、ＣＰＵ２２は、三次元データ点列として設定した各ボクセルを、一のボクセルＢｉからボクセルＲｋへと順次辿りつつ、初めてＣｕｒｖｅｄｎｅｓｓ値が閾値Ｃｔｈ以上となるボクセルＢｆを検出する（図４のステップＳ１８）。換言すると、ＣＰＵ２２は、三次元データ点列が有する各ボクセルを一のボクセルＢｉからからボクセルＲｋへと順次トレースしつつ、Ｃｕｒｖｅｄｎｅｓｓ値が閾値Ｃｔｈ以上となる部位である、平坦部位の存在が初めて示唆されるボクセルＢｆを検出する。

ＣＰＵ２２は、三次元データ点列のうち、ボクセルＢｆからボクセルＲｋまでに含まれる各ボクセルを抽出するとともに、該各ボクセルにおけるＳｈａｐｅＩｎｄｅｘ値を算出する（図４のステップＳ１９）。

さらに、ＣＰＵ２２は、ボクセルＢｆからボクセルＲｋまでに含まれる各ボクセルのＳｈａｐｅＩｎｄｅｘ値が全て閾値Ｓｔｈより小さいか否かの判定を行う。なお、本実施形態においては、閾値Ｓｔｈの値は０．４であるとする。

そして、隆起形状判別部としてのＣＰＵ２２は、ボクセルＢｆからボクセルＲｋまでに含まれる各ボクセルのＳｈａｐｅＩｎｄｅｘ値が全て閾値Ｓｔｈより小さいことを検出した場合（図４のステップＳ２０）、一のボクセルＢｉにおける隆起形状を、病変に由来する隆起形状ではなく、例えば、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状であると判別する（図４のステップＳ２１）。

換言すると、隆起形状判別部としてのＣＰＵ２２は、ボクセルＢｆからボクセルＲｋまでに含まれる各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合、該各ボクセルを、陥凹部位を形成するボクセル群であるとする。そして、ＣＰＵ２２は、一のボクセルＢｉからボクセルＲｋに至るまでの間に、前記陥凹部位を形成するボクセル群が存在することを検出した場合、該一のボクセルＢｉの隆起形状を、病変に由来する隆起形状ではないと判別する。

また、ＣＰＵ２２は、ボクセルＢｆからボクセルＲｋまでに含まれる各ボクセルのＳｈａｐｅＩｎｄｅｘ値のうち、閾値Ｓｔｈ以上となるものが１つ以上存在することを検出した場合、一のボクセルＢｉにおける隆起形状を、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状ではなく、ポリープ等の病変に由来する隆起形状であると判別する（図４のステップＳ２２）。

その後、ＣＰＵ２２は、Ｎ個のボクセルＢｉ全てに対して前述した処理が行われたか否か、すなわち、変数ｉ＝Ｎであるか否かの判定を行う。そして、ＣＰＵ２２は、ｉ＝Ｎではないことを検知した場合（図４のステップＳ２３）、変数ｉに１を加える処理を行った（図４のステップＳ２４）後、前述した、図４のステップＳ１３からステップＳ２３までに示す処理を再度行う。また、ＣＰＵ２２は、ｉ＝Ｎであることを検知した場合（図４のステップＳ２３）、隆起形状判別処理を終了する。

ＣＰＵ２２は、図４に示す隆起形状判別処理の処理結果に基づき、Ｎ個のボクセルのうち、ポリープ等の病変に由来する隆起形状の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部２８に対して行った（図２のステップＳ６）後、以上に述べた一連の処理を終了する。

これにより、モニタ４には、ポリープ等の病変に由来する隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。

本実施形態の医療用画像処理装置３は、以上に述べた、図２、図４及び図５に示す一連の処理を行うことにより、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる。

ところで、内視鏡を用いて大腸の観察を行う際に、病変として、例えば、顆粒型ＬＳＴの存在が確認される場合がある。具体的には、顆粒型ＬＳＴは、例えば、図７に示すように、比較的小さな隆起形状が狭い領域内に複数生じている状態として確認される。そのため、大腸内に顆粒型ＬＳＴを有する被検体に対して観察を行うユーザにとっては、例えば、各隆起形状の隆起径に関する情報が得られることよりも、該各隆起形状が、顆粒型ＬＳＴに由来するものであるか、または、非顆粒型ＬＳＴに由来するものであるかを判別するための情報が得られることの方が有益な場合がある。そこで、医療用画像処理装置３は、図２のステップＳ５に示す隆起形状判別処理として、以降に記すような、観察対象となる各隆起形状が、顆粒型ＬＳＴに由来するものであるか、または、非顆粒型ＬＳＴに由来するものであるかを判別するための処理を行うものであっても良い。

ＣＰＵ２２は、隆起形状を有するボクセル群として、図２のステップＳ４の処理において検出したＮ個のボクセル各々の三次元座標を検出し（図８のステップＳ１０１）、解析情報記憶部２５に記憶させる。そして、クラスタリング処理部としてのＣＰＵ２２は、解析情報記憶部２５に記憶されたＮ個のボクセル各々の三次元座標に基づき、相互に近接する距離に存在するボクセルを同一のクラスタに属するボクセルとしてクラスタ化する処理を行うことにより、Ａ個のクラスタを得る（図８のステップＳ１０２）。なお、図８のステップＳ１０２に示す処理において用いられる距離は、ユークリッド距離であるとする。

具体例を用いつつ換言すると、隆起形状を有するボクセル群として検出された、例えば、図９に示すような三次元座標に位置する各ボクセルに対し、図８のステップＳ１０２に示す処理が施されることにより、該各ボクセルは、図１０に示すように、３つのクラスタとしてクラスタ化される。

その後、ＣＰＵ２２は、ｊ＝１（図８のステップＳ１０３）に設定した後、クラスタｊに属するボクセルの数ｂを算出し（図８のステップＳ１０４）、該ボクセルの数ｂと、閾値ｂｔｈとの比較処理を行う。

そして、病変判別部としてのＣＰＵ２２は、クラスタｊに属するボクセルの数ｂが閾値ｂｔｈよりも大きいことを検出した場合（図８のステップＳ１０５）、該クラスタｊに属する各ボクセルの隆起形状が顆粒型ＬＳＴに由来するものであるものであると判別し、該クラスタｊを顆粒型クラスとして分類する（図８のステップＳ１０６）。また、ＣＰＵ２２は、クラスタｊに属するボクセルの数ｂが閾値ｂｔｈ以下であることを検出した場合（図８のステップＳ１０５）、該クラスタｊに属する各ボクセルの隆起形状が顆粒型ＬＳＴに由来するものではないと判別し、該クラスタｊを非顆粒型クラスとして分類する（図８のステップＳ１０７）。

その後、ＣＰＵ２２は、Ａ個のクラスタ全てに対して前述した処理が行われたか否か、すなわち、変数ｊ＝Ａであるか否かの判定を行う。そして、ＣＰＵ２２は、ｊ＝Ａではないことを検知した場合（図８のステップＳ１０８）、変数ｊに１を加える処理を行った（図８のステップＳ１０９）後、前述した、図８のステップＳ１０４からステップＳ１０８までに示す処理を再度行う。また、ＣＰＵ２２は、ｊ＝Ａであることを検知した場合（図８のステップＳ１０８）、隆起形状判別処理を終了する。

具体例を用いつつ換言すると、図１０に示す３つのクラスタに対し、図８のステップＳ１０３以降に示す処理が施された場合、例えば、属するボクセルの数が比較的多いクラスタ１が顆粒型クラスに分類されるとともに、属するボクセルの数が比較的少ないクラスタ２及びクラスタ３が非顆粒型クラスに分類される。

そして、ＣＰＵ２２は、図８に示す隆起形状判別処理の処理結果に基づき、Ｎ個のボクセルのうち、顆粒型クラスに分類された各ボクセル、すなわち、顆粒型ＬＳＴに由来する隆起形状の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部２８に対して行った（図２のステップＳ６）後、以上に述べた一連の処理を終了する。

本実施形態の医療用画像処理装置３は、以上に述べた、図２及び図８に示す一連の処理を行うことにより、局所的な隆起形状を有する病変のうち、特に、顆粒型ＬＳＴの検出を行う場合の検出精度を、従来に比べて向上させることができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。 図１の医療用画像処理装置が本実施形態において行う処理の手順を示すフローチャート。 図１の医療用画像処理装置により推定される三次元モデルの一例を示す図。 図１の医療用画像処理装置が行う隆起形状判別処理の手順の一例を示すフローチャート。 図１の医療用画像処理装置が行う三次元データ点列設定処理の手順を示すフローチャート。 図３の三次元モデルにおいて、凹型形状を有するボクセル群が存在する位置の一例を示す図。 顆粒型ＬＳＴの一例を示す模式図。 図１の医療用画像処理装置が行う隆起形状判別処理の手順の、図４とは異なる例を示すフローチャート。 図２のフローチャートに示す処理において、隆起形状を有するボクセル群として検出された各ボクセルの三次元座標の一例を示す図。 図９に示す各ボクセルがクラスタ化された状態を示す図。

符号の説明

１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４・・・モニタ、６・・・内視鏡、７・・・光源装置、８・・・ＣＣＵ、９・・・モニタ、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２２・・・ＣＰＵ、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・解析情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス

Claims (10)

1. 医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
   前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、
   前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量を算出する形状特徴量算出部と、
   前記第１の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第１のボクセル及び凹型形状を有する第２のボクセルを検出する三次元形状検出部と、
   前記第１のボクセルから前記第２のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第１のボクセルから前記第２のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第１のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部と、
   を有することを特徴とする医療用画像処理装置。
2. 前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする請求項１に記載の医療用画像処理装置。
3. さらに、前記形状特徴量算出部は、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出し、
   前記隆起形状判別部は、前記第１のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第１の形状特徴量及び前記第２の形状特徴量に基づき、前記第２の形状特徴量が初めて所定の閾値以上となる第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする請求項２に記載の医療用画像処理装置。
4. 医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
   前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、
   前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出部と、
   前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出部と、
   前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理部と、
   前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別部と、
   を有することを特徴とする医療用画像処理装置。
5. 前記三次元形状検出部は、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出することを特徴とする請求項４に記載の医療用画像処理装置。
6. 医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
   前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
   前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量を算出する形状特徴量算出ステップと、
   前記第１の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第１のボクセル及び凹型形状を有する第２のボクセルを検出する三次元形状検出ステップと、
   前記第１のボクセルから前記第２のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第１のボクセルから前記第２のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第１のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別ステップと、
   を有することを特徴とする医療用画像処理方法。
7. 前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする請求項６に記載の医療用画像処理方法。
8. さらに、前記形状特徴量算出ステップは、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出し、
   前記隆起形状判別ステップは、前記第１のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第１の形状特徴量及び前記第２の形状特徴量に基づき、前記第２の形状特徴量が初めて所定の閾値以上となる第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第３のボクセルから前記第２のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする請求項７に記載の医療用画像処理方法。
9. 医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
   前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
   前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出ステップと、
   前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出ステップと、
   前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理ステップと、
   前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別ステップと、
   を有することを特徴とする医療用画像処理方法。
10. 前記三次元形状検出ステップは、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第１の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第２の形状特徴量を算出することを特徴とする請求項９に記載の医療用画像処理方法。

Images