WO2007102296A1

WO2007102296A1 - 医療用画像処理装置及び医療用画像処理方法

Info

Publication number: WO2007102296A1
Application number: PCT/JP2007/052347
Authority: WO
Inventors: Ryoko Inoue; Hirokazu Nishimura; Hideki Tanaka; Kenji Nakamura; Miho Sawa
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2006-03-08
Filing date: 2007-02-09
Publication date: 2007-09-13
Anticipated expiration: 2008-09-08
Also published as: CN101394780B; CN101394780A; JP2007236630A; EP1992274A4; EP1992274B1; EP1992274A1; JP4981336B2

Abstract

　本発明の医療用画像処理装置は、入力される生体組織の像の二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、三次元モデルが所定の形状として推定されたボクセル群を抽出する三次元形状抽出部と、前記ボクセル群を前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群とする隆起形状検出部とを有する。

Description

明細書

医療用画像処理装置及び医療用画像処理方法

技術分野

[0001] 本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。

背景技術

[0002] 内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該揷入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行

[0003] また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

[0004] さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、日本国特開平 11— 337845号公報に記載されているような内視鏡装置が提案されている。

[0005] 一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、 Shapelndex及び Curvednessといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、 US Patent Application No. 20030223627に記載されてヽる方法が提案されて、る。

[0006] 特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にォクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のォクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。

[0007] その結果、従来の画像処理としての、例えば、日本国特開平 11— 337845号公報の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなつてしまうと、う課題が生じて、る。

[0008] また、 US Patent Application No. 20030223627【こお!ヽて提案されて!ヽるポリープ等の病変部位を検出するための方法は、例えば、 CT (Computed Tomog rapy)を用いた観察により得られる、ォクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、 US Patent Application No. 20030223627において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、ォクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、 US Patent A pplication No. 20030223627において提案されている方法力採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなつてしまうという課題が生じている。

[0009] 本発明は、前述した点に鑑みてなされたものであり、ォクルージョンを有する二次元画像に基づ、て推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

発明の開示

課題を解決するための手段

[0010] 本発明における第 1の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するェッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボタセルの位置に基づき、形状特徴量の算出対象となる所定のボタセル群を抽出するボタセル抽出部と、前記ボタセル抽出部により抽出された前記所定のボタセル群のうち、少なくとも一部のボタセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記少なくとも一部のボタセルのうち、三次元モデルが所定の形状として推定されたボタセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボタセル群として検出する隆起形状検出部と、を有することを特徴とする。

[0011] 本発明における第 2の医療用画像処理装置は、前記第 1の医療用画像処理装置において、前記所定のボタセル群は、前記エッジが存在する各ボタセルに含まれる所定の一のボタセルよりも、前記医療用撮像装置の視野方向手前側に存在するボタセル群であることを特徴とする。

[0012] 本発明における第 3の医療用画像処理装置は、前記第 2の医療用画像処理装置において、前記所定の一のボタセルは、前記エッジが存在する各ボタセルのうち、前記視野方向の最も奥側に存在する一のボタセルであることを特徴とする。

[0013] 本発明における第 4の医療用画像処理装置は、前記第 1乃至第 3の医療用画像処理装置において、前記所定の形状は、凸型形状であることを特徴とする。

[0014] 本発明における第 5の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線ィ匕して抽出するエッジ抽出部と、前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、を有することを特徴とする。

[0015] 本発明における第 6の医療用画像処理装置は、前記第 5の医療用画像処理装置において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における 2つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。

[0016] 本発明における第 1の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するェッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルの一部として推定された前記エッジが存在する各ボタセルの位置に基づき、形状特徴量の算出対象となる所定のボタセル群を抽出するボタセル抽出ステップと、前記ボタセル抽出ステップにより抽出された前記ボタセル群のうち、少なくとも一部のボタセルについて前記形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記少なくとも一部のボタセルのうち、三次元モデルが所定の形状として推定されたボタセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボタセル群として検出する隆起形状検出ステップと、を有することを特徴とする。

[0017] 本発明における第 2の医療用画像処理方法は、前記第 1の医療用画像処理方法において、前記所定のボタセル群は、前記エッジが存在する各ボタセルに含まれる所定の一のボタセルよりも、前記医療用撮像装置の視野方向手前側に存在するボタセル群であることを特徴とする。

[0018] 本発明における第 3の医療用画像処理方法は、前記第 2の医療用画像処理方法において、前記所定の一のボタセルは、前記エッジが存在する各ボタセルのうち、前記視野方向の最も奥側に存在する一のボタセルであることを特徴とする請求項 8に記載の医療用画像処理方法。

[0019] 本発明における第 4の医療用画像処理方法は、前記第 1乃至第 3の医療用画像処理方法において、前記所定の形状は、凸型形状であることを特徴とする。

[0020] 本発明における第 5の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線ィ匕して抽出するエッジ抽出ステツプと、前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、前記奥行情報と前記高さ情報とに基づき、前記生体糸且織が隆起形状を有する力否かを検出する隆起形状検出ステップと、を有することを特徴とする。

[0021] 本発明における第 6の医療用画像処理方法は、前記第 5の医療用画像処理方法において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における 2つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。

図面の簡単な説明

[0022] [図 1]本発明の各実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。

[図 2]図 1の内視鏡が管状器官内に挿入された場合の状態を示す模式図。

[図 3]図 2の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図。

[図 4]生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図 1の医療用画像処理装置が第 1の実施形態において行う処理の手順を示すフローチャート。 [図 5]生体組織の三次元モデルにおける隆起形状を検出する場合に、図 1の医療用画像処理装置が第 1の実施形態において行う処理の手順を示すフローチャート。

[図 6]図 1の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図。

[図 7]図 5のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図。

[図 8]図 5のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図 7とは異なる例を示す図。

[図 9]図 1の医療用画像処理装置が第 2の実施形態において行う処理の手順の概要を示すフローチャート。

[図 10]図 9における注目点抽出処理の具体的な手順を示すフローチャート。

[図 11]図 9における隆起形状検出処理の具体的な手順を示すフローチャート。

[図 12]図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線ィ匕された場合の一例を示す図。

[図 13]図 12の細線ィ匕された二次元画像における、各注目点の位置関係の一例を示す図。

[図 14]図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図。

[図 15]図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図 14とは異なる一例を示す図。

発明を実施するための最良の形態

[0023] 以下、図面を参照して本発明の実施の形態を説明する。

[0024] (第 1の実施形態）

図 1から図 8は、本発明の第 1の実施形態に係るものである。図 1は、本実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図 2は、図 1の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図 3は、図 2の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図である。図 4は、生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図 1の医療用画像処理装置が行う処理の手順を示すフローチヤートである。図 5は、生体組織の三次元モデルにおける隆起形状を検出する場合に、図 1の医療用画像処理装置が行う処理の手順を示すフローチャートである。図 6は、図 1の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図である。図 7は、図 5のフローチャートにおいて、生体糸且織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図である。図 8 は、図 5のフローチャートにおいて、生体糸且織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図 7とは異なる例を示す図である。

[0025] 内視鏡システム 1は、図 1に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置 2と、パーソナルコンピュータ等により構成され、医療用観察装置 2から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置 3と、医療用画像処理装置 3から出力される画像信号に基づく画像を表示するモニタ 4とを有して要部が構成されて、る。

[0026] また、医療用観察装置 2は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡 6と、内視鏡 6により撮像される被写体を照明するための照明光を供給する光源装置 7と、内視鏡 6に対する各種制御を行うとともに、内視鏡 6から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、 CCUと略記する） 8と、 CCU8 力も出力される二次元画像の映像信号に基づき、内視鏡 6により撮像された被写体の像を画像表示するモニタ 9とを有して要部が構成されている。

[0027] 医療用撮像装置としての内視鏡 6は、体腔内に挿入される挿入部 11と、挿入部 11 の基端側に設けられた操作部 12とを有して構成されている。また、挿入部 11内の基端側から、挿入部 11内の先端側の先端部 14にかけての部分には、光源装置 7から供給される照明光を伝送するためのライトガイド 13が挿通されている。

[0028] ライトガイド 13は、先端側が内視鏡 6の先端部 14に配置されるとともに、後端側が光源装置 7に接続される。ライトガイド 13がこのような構成を有することにより、光源装置 7から供給される照明光は、ライトガイド 13により伝送された後、挿入部 11の先端部 14の先端面に設けられた、図示しない照明窓力も出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される

[0029] 内視鏡 6の先端部 14には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系 15と、対物光学系 15の結像位置に配置され、例えば、 CCD (電荷結合素子)等により構成される撮像素子 16とを有する撮像部 17が設けられている。このような構成により、対物光学系 15により結像された被写体の像は、撮像素子 16により撮像された後、撮像信号として出力される。

[0030] 撮像素子 16は、信号線を介して CCU8に接続されている。そして、撮像素子 16は、 CCU8から出力される駆動信号に基づいて駆動するとともに、 CCU8に対して撮像信号を出力する。

[0031] また、 CCU8に入力された撮像信号は、 CCU8の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。 CCU8から出力された二次元画像の映像信号は、モニタ 9及び医療用画像処理装置 3に対して出力される。これにより、モニタ 9には、 CCU8から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

[0032] 医療用画像処理装置 3は、医療用観察装置 2から出力される二次元画像の映像信号に対し、 AZD変換を行って出力する画像入力部 21と、画像入力部 21から出力される映像信号に対して画像処理を行う、中央演算処理装置としての CPU22と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部 23と、画像入力部 21から出力される映像信号等を記憶する画像記憶部 24と、 CPU22の画像処理結果としての画像データ等を記憶する情報記憶部 25とを有する。

[0033] また、医療用画像処理装置 3は、記憶装置インターフェース 26と、記憶装置インタ一フェース 26を介して CPU22の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク 27と、 CPU22の画像処理結果としての画像データに基づき、該画像データをモニタ 4に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部 28と、 C PU22が行う画像処理におけるパラメータ及び医療用画像処理装置 3に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部 29とを有する。そして、モニタ 4は、表示処理部 28から出力される画像信号に基づく画像を表示する。

[0034] なお、医療用画像処理装置 3の画像入力部 21、 CPU22、処理プログラム記憶部 2 3、画像記憶部 24、情報記憶部 25、記憶装置インターフェース 26、表示処理部 28 及び入力操作部 29は、データバス 30を介して相互に接続されている。

[0035] 次に、内視鏡システム 1の作用について説明を行う。

[0036] まず、ユーザは、図 2に示すように、例えば、大腸等である管状器官 31内に内視鏡 6の挿入部 11を挿入する。そして、ユーザにより挿入部 11が管状器官 31に挿入されると、例えば、管状器官 31の内壁に存在する病変部位である生体組織 31Aの像が、先端部 14に設けられた撮像部 17により、図 3に示すような像として撮像される。そして、図 3に示すような像として撮像部 17により撮像された、管状器官 31及び生体組織 31Aの像は、撮像信号として CCU8に対して出力される。

[0037] CCU8は、図示しない信号処理回路において、撮像部 17の撮像素子 16から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ 9は、 CCU8から出力される映像信号に基づき、管状器官 31及び生体組織 31 Aの像を、例えば、図 3に示すような二次元の画像として表示する。また、 CCU8は、撮像部 17の撮像素子 16から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置 3に対して出力する。

[0038] 医療用画像処理装置 3に対して出力された二次元画像の映像信号は、画像入力部 21において AZD変換された後、 CPU22に入力される。

[0039] CPU22は、画像入力部 21から出力された二次元画像の映像信号と、処理プログラム記憶部 23に書き込まれた処理プログラムとに基づき、例えば、以降に述べるような処理を行うことにより、該二次元画像における生体組織 31Aのエッジ部を抽出する

[0040] まず、エッジ抽出部としての機能を有する CPU22は、画像入力部 21から出力された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図 4のステップ Sl)。

[0041] その後、エッジ抽出部としての機能を有する CPU22は、抽出した全てのエッジ部を細線ィ匕する（図 4のステップ S2)とともに、細線ィ匕した該全てのエッジ部のうち、一のエッジ部 Eの長さ Lを算出する（図 4のステップ S3)。さらに、 CPU22は、一のエッジ部 Eの長さ Lが、閾値 thLlより長ぐかつ、閾値 thL2より短いか否かの判断を行う。

[0042] そして、 CPU22は、一のエッジ部 Eの長さ L力所定の閾値 thLl以下の長さであること、または、閾値 thL2以上であることを検出した場合（図 4のステップ S4)、後述する図 4のステップ S 11に示す処理を行う。また、 CPU22は、一のエッジ部 Eの長さが、閾値 thLlより長ぐかつ、閾値 thL2より短いことを検出した場合（図 4のステップ S4 )、該一のエッジ部 Eを制御点 Cn(n= l, 2, · ··, N)により N等分する（図 4のステップ S5)。

[0043] さらに、 CPU22は、一のエッジ部 Eの中点 Ccから引いた法線 NCcを取得するとともに、各制御点 Cnから引いた N本の法線 NCnを取得する（図 4のステップ S6)。その後、 CPU22は、 N本の法線 NCnのうち、法線 NCcと交わるものの本数 Naを検出する（図 4のステップ S 7)。

[0044] また、 CPU22は、 N本の法線 NCnのうち、法線 NCcと交わるものの本数 Naが、閾値 thaより多いか否かの判断を行う。そして、 CPU22は、法線 NCcと交わるものの本数 Naが閾値 thaより多いことを検出した場合（図 4のステップ S8)、一のエッジ部 Eに含まれるピクセル群 ipを生体組織 31 Aのエッジ部に含まれるピクセル群であると判断し、該ピクセル群 ipが有する各ピクセルにおける変数 edge (i)の値を ONとする（図 4 のステップ S9)。さらに、そして、 CPU22は、法線 NCcと交わるものの本数 Naが閾値 tha以下であることを検出した場合（図 4のステップ S8)、一のエッジ部 Eに含まれるピクセル群 ipを生体組織 31 Aのエッジ部に含まれるピクセル群ではな、と判断し、該ピクセル群 ipが有する各ピクセルにおける変数 edge (i)の値を OFFとする（図 4のステツプ S10)。

[0045] CPU22は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、 CPU22は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図 4のステップ S11)、他の一のエッジ部に対し、前述した、図 4のステップ S3から図 4のステップ S10までの処理を行う。また、 CPU22は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図 4のステップ S11)、二次元画像における生体組織 31Aのエッジ部を抽出するための一連の処理を終了する。

[0046] その後、 CPU22は、前述した、二次元画像における生体組織 31 Aのエッジ部を抽出するための一連の処理を行うことにより得た処理結果としての、二次元画像の各ェッジ部に含まれるピクセル群 ipにおける変数 edge (i)の値を、情報記憶部 25に一時的に記憶させる。

[0047] そして、三次元モデル推定部としての機能を有する CPU22は、例えば、幾何学的な変換等の処理により、画像入力部 21から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官 31及び生体組織 31Aの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う。換言すると、 CPU22は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボタセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群 ipは、前述した処理によりボタセル群 ibとして変換される。

[0048] CPU22は、前述した処理により、図 3に示した生体組織 31 Aの三次元モデルを推定するための画像データとして、変数 edge (i)が ONであるボタセル群 ibを含む平面である生体組織境界部 3 lbのデータを得る。これにより、生体組織 31Aは、例えば、 z軸方向を内視鏡 6による観察時の視野方向とした場合、図 6に示すような形状を有する三次元モデルとして推定される。

[0049] その後、 CPU22は、生体組織境界部 3 lbのデータに基づき、さらに、以降に述べるような処理を行うことにより、生体組織 31 Aの三次元モデルにおける隆起形状を検出する。

[0050] まず、 CPU22は、処理プログラム記憶部 23に書き込まれた処理プログラムと、生体組織境界部 31bのデータとに基づき、変数 edge (i)が ONであるボタセル群 ibのうち、内視鏡 6の視野方向の最も奥側に存在する所定の一のボタセルとして、 z座標が最大である一のボタセルを抽出するとともに、該一のボタセルの z座標を Maxzとして設定する（図 5のステップ S 21 )。

[0051] そして、 CPU22は、管状器官 31及び生体組織 31 Aの三次元モデルを推定するための画像データとして得た全てのボタセルのうち、前記一のボタセルの位置よりも内視鏡 6の視野方向手前側に存在するボタセルとして、 z座標が Maxzよりも小さいボタセル群 rbを検出する（図 5のステップ S 22)。

[0052] なお、前述したボタセル群 rbは、図 7に示す、隆起形状検出対象領域 AR内に含まれるボタセル群、すなわち、形状特徴量の算出対象となるボタセル群であるとともに、

R個のボタセルを有するボタセル群であるとする。

[0053] また、前述した、図 5のステップ S21及び S22の処理を換言すると、ボタセル抽出部としての機能を有する CPU22は、変数 edge (i)が ONであるボタセル群 ibが有する各ボタセルの位置に基づき、隆起形状検出対象領域 AR内に含まれる、 R個のボクセルを有するボタセル群 rbを、形状特徴量の算出対象となる所定のボタセル群として抽出する。

[0054] さらに、形状特徴量算出部としての機能を有する CPU22は、変数 aを 1に設定した

(図 5のステップ S23)後、ボタセル群 rbが有する R個のボタセルのうち、一のボタセルである Ba (a= l, 2, · ··, R— 1, R)を抽出するとともに（図 5のステップ S24)、該一のボタセル Baにおける形状特徴量として、 Shapelndex値 SBa及び Curvedness値 C Baを算出する（図 5のステップ S25)。

[0055] なお、前述した Shapelndex値及び Curvedness値は、例えば、 US Patent Ap plication No. 20030223627に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボタセル Baにおける S hapelndex値及び Curvedness値の算出方法に関しては、説明を省略する。

[0056] また、 CPU22は、 Shapelndex値 SBaと、予め設定された Shapelndex値の閾値 Sthとの比較を行うとともに、 Curvedness値 CBaと、予め設定された Curvedness値の閾値 Cthとの比較を行う。換言すると、隆起形状検出部としての機能を有する CP U22は、前述した処理を行うことにより、生体組織 31 Aが隆起形状であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボタセル群を抽出する処理を行う。なお、図 5に示す一連の処理においては、隆起形状として凸型形状を有する生体組織 31Aを検出するために、例えば、閾値 Sthは 0. 9として設定されているとし、また、閾値 Cthは 0. 2として設定されているとする。

[0057] そして、隆起形状検出部としての機能を有する CPU22は、 Shapelndex値 SBa力 S 閾値 Sthより大きく、かつ、 Curvedness値 CBaが閾値 Cthより大きいことを検出した場合（図 5のステップ S26)、一のボタセル Baを隆起形状の一部を構成するボタセルであると判断し、該一のボタセル Baにおける変数 ryuuki(Ba)の値を ONとする（図 5 のステップ S27)。

[0058] また、 CPU22は、 Shapelndex値 SBaが閾値 Sth以下であること、または、 Curve dness値 CBaが閾値 Cth以下であることを検出した場合（図 5のステップ S26)、一のボタセル Baを隆起形状の一部を構成するボタセルではな、と判断し、該一のボクセル Baにおける変数 ryuuki (Ba)の値を OFFとする（図 5のステップ S28)。

[0059] その後、 CPU22は、 R個のボタセル全てにおいて、前述した処理が行われたかどう力すなわち、変数 a =Rである力否かの判定を行う。

[0060] そして、 CPU22は、 a=Rではないことを検知した場合（図 5のステップ S29)、変数 iに 1を加える処理を行った（図 5のステップ S30)後、前述した、図 5のステップ S24からステップ S29に示す処理を再度行う。

[0061] また、 CPU22は、 a=Rであることを検知した場合（図 5のステップ S29)、生体組織 31Aの三次元モデルにおける隆起形状を検出するための一連の処理を完了する。

[0062] そして、 CPU22は、例えば、 ryuuki (Ba)の値が ONであるボタセルを有する三次元モデルにぉ、て、生体組織 31Aが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部 28に対して行う。これにより、モニタ 4には、隆起形状を有する生体組織 31 Aをユーザが容易に発見可能であるような、管状器官 31及び生体組織 31 Aの三次元モデルが画像表示される。

[0063] また、 CPU22は、 ryuuki (Ba)の値が ONである各ボタセルの位置に基づき、該各ボタセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織 31Aが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部 28に対して行うものであっても良い。

[0064] なお、前述した一連の処理にぉ、て、隆起形状検出対象領域 ARは、 z座標が Ma xzよりも小さいボタセル群を含む領域として定められるものに限らず、例えば、図 8に示すように、生体組織境界部 3 lb近傍に存在するボタセル群のみを含む領域として定められるものであっても良い。

[0065] 本実施形態の医療用画像処理装置 3は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

[0066] また、本実施形態の医療用画像処理装置 3は、前述した、生体組織 31Aの隆起形状を検出するための処理を、三次元モデルにおける隆起形状検出対象領域 AR内に含まれるボタセル群に対してのみ行う。そのため、本実施形態の医療用画像処理装置 3は、生体組織 31Aの隆起形状の検出を高速に行うことができる。

[0067] (第 2の実施形態）

図 9から図 15は、本発明の第 2の実施形態に係るものである。なお、第 1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム 1の構成は、第 1の実施形態と同様である。

[0068] 図 9は、図 1の医療用画像処理装置が第 2の実施形態において行う処理の手順の概要を示すフローチャートである。図 10は、図 9における注目点抽出処理の具体的な手順を示すフローチャートである。図 11は、図 9における隆起形状検出処理の具体的な手順を示すフローチャートである。図 12は、図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線化された場合の一例を示す図である。図 13は、図 12の細線ィ匕された二次元画像における、各注目点の位置関係の一例を示す図である。図 14は、図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図である。図 15は、図 1の医療用画像処理装置が第 2の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図 14とは異なる一例を示す図である。 [0069] まず、エッジ抽出部としての機能を有する CPU22は、画像入力部 21から出力される、管状器官 31及び生体組織 31Aが撮像された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図 9のステップ S31)。

[0070] その後、エッジ抽出部としての機能を有する CPU22は、抽出した全てのエッジ部を 2値化及び細線化する（図 9のステップ S32)ととも〖こ、細線化された二次元画像における注目点抽出処理を行う（図 9のステップ S33)。

[0071] 具体的には、エッジ部が細線ィ匕された二次元画像として、例えば、図 12に示すような生体組織 31 Aの一のエッジ部 E1が含まれている画像を取得した場合、まず、エツジ情報取得部としての機能を有する CPU22は、該一のエッジ部 E1の細線における、一のエッジの端部となる位置の位置情報として、端点 K1及び K2を取得する（図 10 のステップ S331)。

[0072] 次に、エッジ情報取得部としての機能を有する CPU22は、一のエッジ部 E1の形状に関する形状情報として、該一のエッジ部 E1の細線の線分長 LE1を算出する（図 10 のステップ S332)とともに、 LEI X 1Z2となる中点 KEを取得する（図 10のステップ S 333) o

[0073] また、エッジ情報取得部としての機能を有する CPU22は、一のエッジ部 E1の形状に関する形状情報として、端点 K1と端点 K2とを結ぶ直線 F1を抽出し、該直線の長さ LF1を算出する（図 10のステップ S334)とともに、 LF1 X 1Z2となる中点 KFを取得する（図 10のステップ S335)。

[0074] そして、 CPU22は、端点 Kl、端点 Κ2、中点 KE及び中点 KFを、一のエッジ部 E1 における注目点として抽出する（図 10のステップ S336)。なお、一のエッジ部 E1における端点 Kl、端点 Κ2、中点 KE及び中点 KFは、例えば、各々が図 13に示すような位置関係を有する注目点として抽出される。

[0075] CPU22は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。

そして、 CPU22は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図 10のステップ S337)、他の一のエッジ部に対し、前述した、図 10のステップ S331から図 10のステップ S336までの処理を行う。また、 CPU22は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合 (図 10のステップ S337)、二次元画像における注目点抽出処理を終了する。

[0076] そして、 CPU22は、前述した、二次元画像における注目点抽出処理を行うことにより得た処理結果として、該二次元画像の各エッジ部が有する注目点である、端点 K1 、端点 K2、中点 ΚΕ及び中点 KFのデータを、情報記憶部 25に一時的に記憶させる

[0077] 三次元モデル推定部としての機能を有する CPU22は、二次元画像における注目点抽出処理を行った後、例えば、幾何学的な変換等の処理により、画像入力部 21から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官 31及び生体組織 31 Αの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う（図 9のステップ S34)。換言すると、 CPU22は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボタセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。

[0078] さらに、 CPU22は、情報記憶部 25に記憶されている各注目点のデータである、端点 Kl、端点 Κ2、中点 ΚΕ及び中点 KFのデータに基づき、生体組織 31Aの一のエツジ部 E1の三次元モデルにおける該各注目点の座標を推定する（図 9のステップ S35 ) oなお、一のエッジ部 E1の三次元モデルにおける端点 Kl、端点 Κ2、中点 ΚΕ及び中点 KFは、前述した処理により、例えば、各々が図 14に示すような位置関係を有するとして推定される。

[0079] そして、 CPU22は、前述した処理により推定された各注目点の座標に基づき、さらに、以降に述べるような隆起形状検出処理を行うことにより、生体組織 31Aの三次元モデルにおける隆起形状を検出する（図 9のステップ S 36)。

[0080] 具体的には、まず、三次元モデル情報取得部としての機能を有する CPU22は、生体組織 31 Αの三次元モデルにおける奥行情報として、一のエッジ部 E1の三次元モデル〖こおける、中点 KFの z座標 KFzと、端点 K1の z座標 Klzと、端点 K2の z座標 K 2zとを抽出する（図 11のステップ S361)。

[0081] 次に、隆起形状検出部としての機能を有する CPU22は、中点 KFの z座標 KFzの値と、端点 Klの z座標 Klzの値及び端点 K2の z座標 K2zの値との比較を行う。そして、 CPU22は、中点 KFの ζ座標 KFzの値が端点 K1の ζ座標 Klzの値よりも小さく、かつ、中点 KFの z座標 KFzの値が端点 K2の z座標 K2zの値よりも小さ!/、ことを検出した場合（図 11のステップ S362)、後述する、図 11のステップ S363に示す処理をさらに行う。また、 CPU22は、中点 KFの z座標 KFzの値が端点 K1の z座標 Klzの値以上であるか、または、中点 KFの z座標 KFzの値が端点 K2の z座標 K2zの値以上であることを検出した場合（図 11のステップ S362)、生体組織 31 Αの一のエッジ部 Ε 1を、隆起形状を構成するエッジ部ではないと判断し、後述する、図 11のステップ S3 67に示す処理を行う。

[0082] 三次元モデル情報取得部としての機能を有する CPU22は、中点 KFの z座標 KFz の値が端点 Klの z座標 Klzの値よりも小さぐかつ、中点 KFの z座標 KFzの値が端点 K2の z座標 K2zの値よりも小さいことを検出した場合（図 11のステップ S362)、三次元モデルにおける端点 K1と端点 Κ2とを結ぶ直線 F2を抽出するとともに、三次元モデルにおける中点 ΚΕと該直線 F2とを結ぶ直線である垂直線 F3を取得する（図 1 1のステップ S363)。その後、 CPU22は、生体糸且織 31 Aの三次元モデルにおける高さ情報として、垂直線 F3の線分長 LF3を取得する（図 11のステップ S364)とともに、該線分長 LF3と、該線分長 LF3の閾値 thLF3との比較を行う。

[0083] そして、隆起形状検出部としての機能を有する CPU22は、線分長 LF3の値が閾値 thLF3よりも大きヽことを検出した場合（図 11のステップ S 365)、生体組織 31 Aの一のエッジ部 E1を、隆起形状を構成するエッジ部であると判断するとともに、該一のェッジ部 E1が有するボタセル群全てにおける変数 ryuuki (E1)の値を ONとする（図 11 のステップ S366)。また、 CPU22は、線分長 LF3の値が閾値 thLF3以下であることを検出した場合（図 11のステップ S365)、生体組織 31Aの一のエッジ部 E1を、隆起形状を構成するエッジ部ではないと判断するとともに、該一のエッジ部 E1が有するボクセル群全てにおける変数 ryuuki (El)の値を OFFとする（図 11のステップ S 367)。

[0084] CPU22は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。

そして、 CPU22は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図 11のステップ S368)、他の一のエッジ部に対し、前述した、図 11のステップ S361から図 11のステップ S367までの処理を行う。また、 CPU22は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図 11のステップ S368)、生体組織 31Aの三次元モデルにおける隆起形状検出処理を終了する。

[0085] そして、 CPU22は、前述した、図 11に示す隆起形状検出処理が終了した時点において、図 9に示す一連の画像処理を完了する。

[0086] なお、前述した隆起形状検出処理の、図 11のステップ S362に示す処理において、 CPU22は、各注目点の z座標の値に基づく比較及び判断を行うものに限らず、例えば、以降に記すような、各注目点の赤色成分値に基づく比較及び判断を行うものであっても良い。

[0087] 具体的には、まず、 CPU22は、中点 KFにおける赤色成分値 RKFと、端点 K1における赤色成分値 RK1と、端点 K2における赤色成分値 RK2とを抽出する。そして、 CPU22は、中点 KFにおける赤色成分値 RKFが端点 K1における赤色成分値 RK1 よりも大きぐかつ、中点 KFにおける赤色成分値 RKFが端点 K2における赤色成分値 RK2よりも大きいことを検出した場合、前述した、図 11のステップ S363の処理をさらに行う。また、 CPU22は、中点 KFにおける赤色成分値 RKFが端点 K1における赤色成分値 RK1以下であるか、または、中点 KFにおける赤色成分値 RKFが端点 K2 における赤色成分値 RK2以下であることを検出した場合、生体組織 31Aの一のエツジ部 E1を、隆起形状を構成するエッジ部ではないと判断し、前述した、図 11のステツプ S367の処理を行う。

[0088] そして、 CPU22は、例えば、 ryuuki (El)の値が ONであるボタセルを有する三次元モデルにぉ、て、生体組織 31Aが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部 28に対して行う。これにより、モニタ 4には、隆起形状を有する生体組織 31 Aをユーザが容易に発見可能であるような、管状器官 31及び生体組織 31 Aの三次元モデルが画像表示される。

[0089] また、 CPU22は、 ryuuki (E1)の値が ONである各ボタセルの位置に基づき、該各ボタセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織 31Aが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部 28に対して行うものであっても良い。

[0090] 本実施形態の医療用画像処理装置 3は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。

[0091] また、本実施形態の医療用画像処理装置 3は、前述した、生体組織 31Aが隆起形状であるか否かを、隆起形状特有の値を算出しつつ定量的に検出する。そのため、本実施形態の医療用画像処理装置 3は、生体組織 31Aの隆起形状の検出を精度良く行うことができる。

[0092] なお、本発明は、上述した各実施形態に限定されるものではなぐ発明の趣旨を逸脱しな、範囲内にお、て種々の変更や応用が可能であることは勿論である。

[0093] 本出願は、 2006年 3月 8日に日本国に出願された特願 2006— 63234号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 医療用撮像装置力も入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、

前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、

前記三次元モデルの一部として推定された前記エッジが存在する各ボタセルの位置に基づき、形状特徴量の算出対象となる所定のボタセル群を抽出するボタセル抽出部と、

前記ボタセル抽出部により抽出された前記所定のボタセル群のうち、少なくとも一部のボタセルについて前記形状特徴量を算出する形状特徴量算出部と、

前記形状特徴量に基づき、前記少なくとも一部のボタセルのうち、三次元モデルが所定の形状として推定されたボタセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボタセル群として検出する隆起形状検出部と、

を有することを特徴とする医療用画像処理装置。

[2] 前記所定のボタセル群は、前記エッジが存在する各ボタセルに含まれる所定の一のボタセルよりも、前記医療用撮像装置の視野方向手前側に存在するボタセル群であることを特徴とする請求項 1に記載の医療用画像処理装置。

[3] 前記所定の一のボタセルは、前記エッジが存在する各ボタセルのうち、前記視野方向の最も奥側に存在する一のボタセルであることを特徴とする請求項 2に記載の医療用画像処理装置。

[4] 前記所定の形状は、凸型形状であることを特徴とする請求項 1乃至請求項 3のいずれかーに記載の医療用画像処理装置。

[5] 入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエツジを細線ィ匕して抽出するエッジ抽出部と、

前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、

前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、

前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、

を有することを特徴とする医療用画像処理装置。

[6] 前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における 2つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項 5に記載の医療用画像処理装置。

[7] 医療用撮像装置力入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、

前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、

前記三次元モデルの一部として推定された前記エッジが存在する各ボタセルの位置に基づき、形状特徴量の算出対象となる所定のボタセル群を抽出するボタセル抽出ステップと、

前記ボタセル抽出ステップにより抽出された前記ボタセル群のうち、少なくとも一部のボタセルについて前記形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記少なくとも一部のボタセルのうち、三次元モデルが所定の形状として推定されたボタセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボタセル群として検出する隆起形状検出ステップと、

を有することを特徴とする医療用画像処理方法。

[8] 前記所定のボタセル群は、前記エッジが存在する各ボタセルに含まれる所定の一のボタセルよりも、前記医療用撮像装置の視野方向手前側に存在するボタセル群であることを特徴とする請求項 7に記載の医療用画像処理方法。

[9] 前記所定の一のボタセルは、前記エッジが存在する各ボタセルのうち、前記視野方向の最も奥側に存在する一のボタセルであることを特徴とする請求項 8に記載の医療用画像処理方法。

[10] 前記所定の形状は、凸型形状であることを特徴とする請求項 7乃至請求項 9の、ずれかーに記載の医療用画像処理方法。

[11] 入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエツジを細線ィ匕して抽出するエッジ抽出ステップと、

前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、

前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、

前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出ステップと、

を有することを特徴とする医療用画像処理方法。

[12] 前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における 2つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項 11に記載の医療用画像処理方法。