[go: up one dir, main page]

JP4388121B2 - 3次元画像ボリューム内のポリープの検出方法 - Google Patents

3次元画像ボリューム内のポリープの検出方法 Download PDF

Info

Publication number
JP4388121B2
JP4388121B2 JP2007536744A JP2007536744A JP4388121B2 JP 4388121 B2 JP4388121 B2 JP 4388121B2 JP 2007536744 A JP2007536744 A JP 2007536744A JP 2007536744 A JP2007536744 A JP 2007536744A JP 4388121 B2 JP4388121 B2 JP 4388121B2
Authority
JP
Japan
Prior art keywords
classifier
subvolume
probability
image volume
polyp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007536744A
Other languages
English (en)
Other versions
JP2008515595A (ja
Inventor
ツー、ズーウェン
セアン ズー、キシアン
バーブ、アドリアン
ボゴニ、ルカ
コマニチュ、ドーリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Siemens Corporate Research Inc
Original Assignee
Siemens Medical Solutions USA Inc
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc, Siemens Corporate Research Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2008515595A publication Critical patent/JP2008515595A/ja
Application granted granted Critical
Publication of JP4388121B2 publication Critical patent/JP4388121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

[関連出願の相互参照]
本出願は、参照により全体に組み込まれる2004年10月12日に出願された米国仮出願第60/617,879号の利益を主張する。
本発明は、3次元画像ボリューム内のポリープの検出方法、より詳細には、確率的アプローチを使用することにより3次元結腸画像ボリューム内のポリープを自動的に検出する方法に関する。
結腸癌は米国における主な死亡原因の一つである。死者の数は、ポリープが検出されて、その進行の初期ステージで治療され得るならば、大幅に削減される。仮想結腸内視鏡は、医者が3次元(3D)コンピュータ断層撮影(CT)画像データ内のポリープを見つけるのを助けるために開発されている新しいテクノロジーである。しかし、仮想結腸内視鏡は、目下のところ、CTスキャンの前に結腸が物理的に洗浄されることを要求する。これは非常に不都合であり、仮想結腸内視鏡が多数の人にとって一般的な検査ツールになることを妨げる。その上、医者が3次元CT画像内のポリープを正しく識別するために何年もの訓練が必要とされる。
ポリープのサイズはその直径により測定される。通常、6mmより小さなポリープはあまり臨床的有意性がない。9mmより大きなポリープは癌である可能性が非常に高く、医者によって容易に識別される可能性がある。最も重要であるのは、ポリープ検出システムが、癌に進行するかもしれない6〜9mmの範囲内のポリープを検出できることである。
自動ポリープ検出のタスクは非常に興味深い。第一に、CTデータは患者への不都合を最小限に抑えるために腸洗浄無しで取得される。大便のような標識物質は、画像中では殆どの場合に明るい領域として描かれるが、大きな障害物である。第二に、着目中のポリープは非常に小さく、固有の強度パターンがなく、特別の形状ももたない。特に、ポリープが標識物質によって囲まれているときにポリープを結腸壁から識別することは難しい。第三に、処理されるべきボリュームデータは大規模(例えば、400×512×512)であり、このことはコンピュータを利用した費用のかかる方法を使用する可能性を排除する。ポリープの基礎的発生プロセスを捕捉するために生成モデルを使用することにより、3次元結腸画像データ内のポリープの検出方法が必要である。
[発明の要約]
本発明は、解剖学的構造の3次元(3D)画像ボリューム内の目標対象の検出方法に関する。画像ボリューム内の1組の候補位置が獲得される。候補位置毎に、少なくとも2つの異なるスケールのサブボリュームが取出される。各サブボリュームは複数のボクセルを含む。各サブボリューム毎に、各サブボリュームは少なくとも2つの異なる方位に回転される。各サブボリュームに形状分類器が適用される。サブボリューム内のボクセルが形状分類器を通過するならば、勾配方向がボクセルに対し計算される。ボクセルの勾配方向が予め定められた方位のうちの一つであるならば、ボクセルに確率分類器が適用される。確率分類器によって計算された確率測度がサブボリュームの信頼性測度として使用される。信頼性測度が予め定められた閾値を上回るならば、サブボリュームが目標対象を含むと決定される。
本発明の好ましい実施形態は、添付図面を参照して以下でより詳細に説明され、類似した参照番号が類似した要素を示す。
[発明の説明]
本発明は、3次元ボリューム内の肺結節検出のための学習に基づくアプローチを使用することにより、3次元(3D)結腸画像ボリューム内のポリープの検出方法に関する。一般的な生成モデルがポリープのような対象の基礎的発生プロセスを捕捉するために定められる。積分ボリューム及び3次元ハールフィルタが特徴の高速計算のために設計される。確率的ブースティングツリー(PBT)のカスケードが分類器を学習するために採用される。本発明は、50,000個の候補特徴のプールから数千個の特徴を自動的に選択することができる。本発明はデータの事前セグメンテーションを必要とせず、このことが洗浄されていない結腸のような浄化されていないデータ内のポリープを検出する際に特に役立つ。
3次元ボリューム画像データは、コンピュータ断層撮影(CT)、X線、又は、磁気共鳴画像化(MRI)のような異なった画像化モダリティを使用して獲得される。図1は結腸のいくつかの数の図を示す。最初の画像102は結腸の選択の完全なCTボリュームを表す。結腸内部には2種類の対象すなわち空気と大便が存在する。空気と大便の殆どは、タグ付けが成功するならば、非常に暗く(例えば空気)又は非常に明るく見えるが、残留物質の大部分は依然としてタギング(tagging)が不足しているので正常組織と同じような強度値を有する。残留物質(例えば大便)はCTの下で明るく見えるようにタグ付けされ、電子的に取り除かれ得る。中間の画像104は物理的に洗浄された結腸のCT画像を表す。画像106はタグ付けされた洗浄されていない結腸のCT画像を表す。
本発明は、ブースティングに基づき、弱い候補分類器として組み合わされる1次元、2次元及び3次元の特徴を用いる検出方法を使用する。強調する規則性を直接的に考慮する特別な特徴が組み込まれる。すべての特徴は異なるコストを有し、本発明は特徴選択を決定する際に関連したコストを自動的に考慮する。本発明は、全体的な誤差関数を最小限に抑えるように特徴を組み合わせる方法を探求するために複数の連鎖として特徴選択を遂行する。
図2は本発明による典型的なコンピュータ断層撮影(CT)システムを概略的に示す。CTシステムは、コンピュータ支援検出(CAD)システムと併せて、様々な病状を選別するために患者に非侵襲性処置を実行するために使用され得る。このような処置の例は、仮想結腸内視鏡又は病変、あるいはもしかすると癌組織の存在の胸部スクリーニングである。その上、CTシステムは、リンパ節及び肺内のポリープを検出するために使用され得る。その他の画像化モダリティが本発明の範囲及び精神から逸脱することなく使用され得ることは当業者によって理解されるべきである。例えば、磁気共鳴画像化(MRI)、蛍光透視又は超音波画像化もまた画像を獲得するために使用され得る。説明のために、本発明は、典型的なコンピュータ断層撮影(CT)システムを使用する状況において記載される。結腸のCT画像が獲得され、次にセグメント化され、ポリープを検出するために使用される。しかし、前述の通り、本発明の方法は肺結節又はリンパ節のポリープの検出にも使用され得る。
CTはピラミッド形のX線ビーム2を放出するX線源1を装備し、X線ビームの縁部光線は図2では鎖線によって表現され、検査対象3、例えば患者を貫通し、放射線検出器4に入射する。X線源1及び放射線検出器4は典型的な実施形態では互いに対向して環状ガントリ7に搭載される。
X線源1及び放射線検出器4は、このようにして、患者3が上記システム軸線8に関して様々な投影角でX線を照射され得るように、システム軸線8の周りに回転可能な測定システムを形成する。個々の検出素子の検出出力信号はデータ収集システム10によって読み出される。信号は患者3の画像を計算する信号プロセッサ12へ送信され、次に患者3の画像がモニタ13に表示される。
CTシステムによって走査され信号プロセッサ12によって計算された画像はさらなる処理のためにCADシステム20へ伝送される。CADシステム20は、電子的に取り除かれた又は取り除かれなかった残留物質をタグ付けする。学習ベースのアプローチが結腸内のポリープを検出するために使用される。
本発明によれば、ポリープはタグ付けされた物質を伴う原データ内で直接的に検出される。図3は65個の陽性サンプルからの12個のポリープを表す。このアプローチは、タグ付けされた物質が著しい障害物になるので、より興味深い。殆どのポリープはまげ形を有するように見えるが、ポリープは、特にタグ付けされた物質によって囲まれているとき、通常は小形であり、識別が困難であり、襞を伴う。非常に明るい大便が除去され、次に、検出手順がポリープを見つけるために利用される中間的なアプローチを使用することも実行可能である。
本発明によれば、OpenGL Volumizerに基づくインターフェイスが3次元結腸データを可視化し処理するために使用される。しかし、その他のインターフェイスが本発明の範囲及び精神から逸脱することなく使用され得ることは当業者によって理解されるべきである。図4はインターフェイスのスナップショットを示している。右下のウィンドウ408はボリューム全体の3次元視覚化を表す。ユーザは、ボリュームを回転し、異なったスライスを見るために切断することが可能である。その他の3個のウィンドウ402〜406は、XY平面、YZ平面及びXZ平面におけるスライスを表示する。
結腸の3次元画像データが獲得されると、画像は、画像内で高次の曲率を有する対象を探索するために走査される。これらの対象は、後でより詳しく説明されるように、それらの対象がポリープであるかどうかを決定するために解析されるべき候補として収集される。次に、ポリープを検出するために使用される分類器が訓練される。各3次元入力画像ボリュームは等方性であると仮定される。ポリープの検出は、ポリープの形状に大きなばらつきがあるので難しい。小形又は中間サイズのポリープでは、半球体の規則的な形状がしばしば観察される。ポリープが大きくなると、ポリープは、結腸壁及びその他の構造体との相互作用に起因して多種多様な形状を成長し始める。
その上、ポリープは結腸壁上の考えられるすべての方位に現れる。生成モデルが1群の分類器を訓練するために作られる。ディクショナリΨが定義され、ここで、Ψ=(Δ1,Δ2,...)であり、Δiは2次元/3次元テンプレートである。各対象インスタンスxは、Ψ上の変換関数Tによって発生させられると仮定する。Tにおける1群の典型的なパラメータであるΘ={l,s,θ,φ,α}は、使用されるテンプレートの個数l、スケールs、回転θ、変形φ、及び、それ他αである。yがxのラベルであるならば、xが着目中の対象であるとき(陽性)、y=+1であり、xが着目中の対象でないとき(陰性)、y=−1である。xの確率は次の式(1)として生成モデルによってモデル化され得る。
Figure 0004388121
なお、‖‖で囲まれた式はxとT(Θ,Ψ)との間の距離測度を定義し、Zは分配関数
Figure 0004388121
である。
ディスクリマティブ(discrimative)アプローチでは、サンプルxは、事後分布
Figure 0004388121
に基づいて分類される。
代替的なアプローチでは、Θにおけるパラメータは明示的に計算される。
Figure 0004388121
式(3)によれば、一つの目的は訓練サンプルの複雑さを低減することである。パラメータはΘ1={s,θ,α}であるように選択され、ここで、sはスケールであり、θは方位であり、αはポリープの奥行き、高さ及び幅に関するアスペクト比である。サイズ24×24×16のテンプレートが作成され、その2次元図が図5aに表されている。方位球が14個のゾーン(区域)に分割され、そのうちの4個のゾーンが図5bに表されているように主軸に沿っている。各候補対象又はポリープは図5cに表されているように主方位に配列される。
方位ゾーンr1において、考えられる細かい方位(θ1,θ2)が訓練データを拡張するためにサンプリングされる。その結果、特定の(θ1,θ2)の値を探索する必要がない。さらに、訓練サンプルは、130個から13,000個まで拡張され、過剰適合の可能性を低下させる。図6は、整列後の典型的なポリープサンプルと、その3次元拡張データとを示す。
本発明によれば、24×24×16のテンプレートに基づくサブボリュームが分類される。陽性サンプルが主方位の一つの先端に配列され拡張される。ポリープ検出に使用される特徴は多数の特性を有するべきである。特徴はある程度変化しないスケール及びアスペクト比であるべきである。これを実現するために、後で詳しく説明されるように、考えられる様々なスケール及びアスペクト比が検出段階において使用される。特徴は高速かつ簡単に計算できなければならない。特徴は着目中の対象に関する情報を与えなければならない。
本発明によれば、積分ボリューム及び3次元ハールフィルタがポリープ検出に使用される。図7は、本発明において使用される1次元、2次元及び3次元のハールフィルタを示している。各位置(x1,y1,z1)において、積分ボリューム
Figure 0004388121
が計算される。ハールフィルタを計算する計算コストは、積分ボリューム内のハールフィルタのコーナーの値の合計だけが計算されればよいので、非常に削減される。データを整列し分類器を訓練する手続は時間がかかるので、特徴は好ましくはある程度回転不変性である。すなわち、1つの主方向r1に対する分類器が訓練されると、他の方位に対する分類器は自動的に導出される。ハールフィルタは、図9に表されているように、6個の主方位に関してこの要件を満たす。その他の8個の方位に関して、検出ステージにおける3次元データは、それらのための別の1群の分類器を有するよりもむしろ回転させられる。これは、実質的に1個の分類器だけが訓練されるので、訓練の労力と過剰適合の可能性を低下させる。
本発明によれば、確率的ブースティングツリー(Probabilistic Boosting Tree;PBT)が識別モデルを明示的に計算するために使用される。訓練ステージでは、ツリーは再帰的に構築され、各ツリーノードが強力な分類器である。入力訓練セットは学習済の分類器に従って左側セットと右側セットの二つのセットに分割される。二つのセットのうちのそれぞれは、次に、左側サブツリー及び右側サブツリーを再帰的に訓練するために使用される。ツリーの各レベルは拡張変数である。クラスタリングは、クラスタが自動的に発見され、階層的に形成された学習状態に本質的に埋め込まれている。PBTは分断攻略手法で訓練とテストを実行し、全体的な識別モデル
Figure 0004388121
として出力する。
PBTの例は図8及び10に表されている。各ツリーレベルliは拡張変数である。ブートストラッピングのプロセルを容易化し、PBTの陰性の個数を削減するために、カスケードアプローチが図10に表されているように使用される。PBTの各ステージは閾として確率を有する。その確率より大きなp〜(y?x)を有するPBTは次のステージに入る。
以下では、本発明によるポリープ分類器を訓練する実施例を説明する。この実施例では、80個のボリュームが訓練のために使用され、放射線医によって130個のポリープが注釈を付けられ、セグメント化された。第一に、アダブースト(AdaBoost)分類器は、ボクセルがポリープの表面にあるか否かを分類するために訓練された。この分類器は平坦な表面上にあるボクセルの大部分を素早く選別するために使用される。使用された特徴は、強度、勾配、ガウス曲率、平均曲率などである。一般的なAdaBoostアルゴリズムがこれらの特徴を組み合わせるために訓練された。結果の一部が図11に示されている。
第二に、PBT分類器のカスケードを備える分類器が訓練される。ポリープのセグメント化及びその先端上の注釈付けに基づいて、ポリープ用のバウンディングボックスが正確に位置づけられる。訓練サンプルは整列させられ、サイズ24×24×16の13,000個の陽性まで拡張される。80個の訓練ボリューム内で、主方位r1に沿う勾配を持つボクセルがランダムにサンプリングされ、第1の基本形状分類器を通過した。さらに、これらのボクセルは注釈を付けられたポリープの表面に存在すべきでない。3次元サブボリュームが、次に、これらのボクセルをテンプレート内の先端位置に配列させるサイズ24×24×16から取出される。全部で30,000個の陰性サンプルが獲得される。これらの陽性及び陰性を使用して、PBTは、AdaBoostノード毎に最大で9個のレベルと22個の弱い分類器とを用いて訓練される。
PBTが訓練されると、PBTは、より多くの陰性を獲得すべくブートストラッピングを実行するための訓練用ボリュームを全部調べるために使用される。5個のレベルのカスケードを生成する訓練済の5個のPBTが存在する。各PBTが識別モデルp〜(y?Θ1,x)を計算するので、閾は、検出レートと偽陽性の個数との間のバランスを保つために容易に調整される。最初の2個のレベルはほぼ100%の検出レートを有するように設定される。各PBTはハールフィルタ上に約1000個の弱い分類器を備える。訓練済のPBTのカスケードに基づいて、その他の5個のカスケードが、図9に示されているように、ハールフィルタを回転させることにより獲得される。
本発明によれば、今度は、ポリープ検出方法が図12及び図13a,13bを参照して説明される。候補生成方法は1組の候補位置を獲得するために使用される(ステップ1302)。候補位置の実施例が図12に示されている。候補位置毎に9個のサブボリュームが作られる。9個のサブボリュームは図12に示されているようにスケールの異なる3個のボリュームを備え、各ボリュームが3方位に回転させられる。図12の上の行は3個の異なるスケールでサブボリュームを表す。これは大きなスケールで異なるサイズの可能性を網羅するために行われる。下の行は異なる方位で3個のサブボリュームを表す。同図の右側は、r1,r2,r3の定義と、回転したボリュームがどのように獲得されるかとを表している。
最も詳細には、ボリューム内の候補位置毎に、サブボリュームが異なるスケールで取出される(ステップ1304)。例えば、サブボリュームは、原スケールの半分である1個のサブボリュームと、原スケールである1個のサブボリュームと、原スケールの1.5倍である第3のサブボリュームとが存在するように、スケール変更される。ポリープ検出方法で使用される3つのスケールは、臨床結果に基づき、かつ、本発明の範囲及び精神から逸脱することなく誤った陽性を検出する可能性を低下させるために異なることが当業者によって理解されるべきである。次に、3個のサブボリュームは60×60×60のボリュームにサイズ変更される(ステップ1306)。
3個のサブボリュームのそれぞれについて、3個の付加的なサブボリュームが異なる方位で獲得される。各サブボリュームは方向r2から方向r1へ回転させられる。サブボリュームは方向r3から方向r1へも回転させられる(ステップ1308)。これにより、候補位置毎に9個のサブボリュームが作成される。
9個のサブボリュームのそれぞれについて、第1層の形状分類器は、ポリープの表面上に存在しないボクセルを除外するために作動させられる(ステップ1310)。形状分類器を通過するボクセル毎に、その勾配方向が計算される(ステップ1312)。勾配方向が6個の主方位のうちの一つに分類されるならば、対応するPBT分類器のカスケードが作動させられる(ステップ1314)。次に、サイズおよびアスペクト比が異なるテンプレートの96個の組み合わせの可能性がテンプレートの先端にある現在のボクセルを考慮することによって試行される(ステップ1316)。96個の可能性は、オフラインで計算された96個のハールフィルタと対応する。異なる個数の可能性が本発明の範囲及び精神から逸脱することなくボクセルを解析するために使用され得ることが理解されるべきである。
ボクセルがカスケードを通過するならば、バウンディングボックスが想起され、その対応する確率が信頼性測度としてカスケードの最後の層において出力される(ステップ1318)。このプロセスは9個のサブボリュームのそれぞれについて繰り返される(ステップ1320)。各サブボリュームが解析された後にバウンディングボックスが存在するならば、最大の信頼性測度を有するバウンディングボックスが使用され、候補はポリープであると決定される(ステップ1322)。
より多くの時間が訓練用サンプルの複雑さを低減する検出ステージにおいて消費される。その上、PBTのカスケードのうちr1のためのカスケードだけが訓練され、すべての他の方向のために使用される。これは、検出器の一般性を高めるために役立ち、より高い効率をもたらす。サンプルが斜めより右上にあるならば、特徴が非常に容易に獲得できることがわかる。サブボリューム内のボクセル毎に、形状分類器がスケール及びアスペクト比の異なるカスケードPBTと共に作動される。最良のバウンディングボックスは、ポリープであることが分かるならば、出力される。
3次元結腸画像データ内のポリープの検出方法の実施形態が記載されているが、変更及び変形が上記の教示を考慮して当業者によってなされることに注意すべきである。したがって、開示された発明の特定の実施形態において特許請求の範囲に記載されたような発明の範囲及び精神に含まれる変更がなされることが理解されるであろう。以上の通り、特許法によって要求された細部項目及び詳細内容と共に発明が記載されているが、特許証によって権利が主張され保護されることが望まれる内容は添付の特許請求の範囲に記載されている。
結腸の3次元CT画像を示す図 本発明による典型的なコンピュータ断層撮影(CT)システムの概略図 65個の陽性サンプルからの12個のポリープを示す図 本発明による3次元結腸データを可視化し処理するために使用されるインターフェイスのスナップショットを示す。 候補データが本発明によってどのように配列させられるかを示す図 本発明による典型的なポリープとその拡張データを示す図 本発明による1次元、2次元及び3次元ハールウェーブレットフィルタの例を示す図 本発明による確率ブースティングツリーを示す図 本発明による6個の主方位に従って回転させられた図7のハールウェーブレットフィルタのうちの一つを示す図 本発明による確率ブースティングツリーとそのカスケードを示す図 本発明による訓練済の形状分類器を示す図 本発明による3通りの異なるスケール及び3通りの異なる方位で表されたサブボリュームを示す図 本発明によるポリープ検出方法を説明するフローチャート 本発明によるポリープ検出方法を説明するフローチャート
符号の説明
1 X線源
2 X線ビーム
3 検査対象
4 放射線検出器
7 ガントリ
8 システム軸線
10 データ収集システム
12 信号プロセッサ
20 コンピュータ支援検出システム

Claims (22)

  1. 解剖学的構造の3次元画像ボリューム内の目標対象の検出方法において、
    画像ボリューム内で1組の候補位置を獲得するステップと、
    候補位置毎に、複数のボクセルを含む少なくとも2つの異なるスケールのサブボリュームを取出すステップと、
    サブボリューム毎に、少なくとも2つの異なる方位に各サブボリュームを回転させるステップと、
    各サブボリュームに形状分類器を適用するステップと、
    サブボリューム内のボクセルが形状分類器を通過するならば、ボクセルの勾配方向を計算するステップと、
    ボクセルの勾配方向が予め定められた方位のうちの一つであるならば、ボクセルに確率分類器を適用するステップと、
    確率分類器によって計算された確率測度をサブボリュームの信頼性測度として使用するステップと、
    信頼性測度が予め定められた閾値を上回るならば、サブボリュームが目標対象を含むと決定するステップと、
    を備えることを特徴とする3次元画像ボリューム内の目標対象の検出方法。
  2. 確率分類器がアダブースト(AdaBoost)分類器であることを特徴とする請求項1に記載の方法。
  3. 確率分類器が確率的ブースティングツリー(PBT)分類器であることを特徴とする請求項1に記載の方法。
  4. 確率分類器をボクセルに適用するステップが、複数のフィルタをサブボリュームに適用するステップをさらに備えることを特徴とする請求項1に記載の方法。
  5. 複数のフィルタがハールフィルタであることを特徴とする請求項1に記載の方法。
  6. フィルタが3次元ハールフィルタであることを特徴とする請求項5に記載の方法。
  7. ハールフィルタがサイズおよびアスペクト比の異なるテンプレートの複数の組み合わせに対応することを特徴とする請求項5に記載の方法。
  8. ハールフィルタがオフラインで計算されることを特徴とする請求項5に記載の方法。
  9. 3次元画像ボリュームがコンピュータ断層撮影(CT)画像ボリュームであることを特徴とする請求項1に記載の方法。
  10. 解剖学的構造が結腸であることを特徴とする請求項1に記載の方法。
  11. 解剖学的構造が肺であることを特徴とする請求項1に記載の方法。
  12. 解剖学的構造がリンパ節であることを特徴とする請求項1に記載の方法。
  13. 目標対象がポリープであることを特徴とする請求項1に記載の方法。
  14. 解剖学的構造の3次元画像ボリューム内で識別された候補位置がポリープに対応するかどうかの決定方法において、
    各候補位置の3次元画像ボリュームからサブボリュームを取出すステップと、
    複数のスケールで複数のボクセルを含む各サブボリュームをスケーリングするステップと、
    候補位置毎に1組のサブボリュームを生じる少なくとも2つの異なる方位にスケーリングされた各サブボリュームを回転させるステップと、
    各サブボリュームに形状分類器を適用するステップと、
    サブボリューム内のボクセルが形状分類器を通過するならば、ボクセルの勾配方向を計算するステップと、
    ボクセルの勾配方向が予め定められた方位のうちの一つであるならば、ボクセルに確率分類器を適用するステップと、
    確率分類器によって計算された確率測度をサブボリュームの信頼性測度として使用するステップと、
    信頼性測度が予め定められた閾値を上回るならば、サブボリュームがポリープを含むと決定するステップと、
    を備えることを特徴とする3次元画像ボリューム内で識別された候補位置がポリープに対応するかどうかの決定方法。
  15. 確率分類器が確率的ブースティングツリー(PBT)分類器であることを特徴とする請求項14に記載の方法。
  16. 確率分類器をボクセルに適用するステップが、複数のハールフィルタをサブボリュームに適用するステップをさらに備えることを特徴とする請求項14に記載の方法。
  17. ハールフィルタがサイズおよびアスペクト比の異なるテンプレートの複数の組み合わせに対応することを特徴とする請求項16に記載の方法。
  18. ハールフィルタがオフラインで計算されることを特徴とする請求項16に記載の方法。
  19. 3次元画像ボリュームがコンピュータ断層撮影(CT)画像ボリュームであることを特徴とする請求項14に記載の方法。
  20. 解剖学的構造が結腸であることを特徴とする請求項14に記載の方法。
  21. 解剖学的構造が肺であることを特徴とする請求項14に記載の方法。
  22. 解剖学的構造がリンパ節であることを特徴とする請求項14に記載の方法。
JP2007536744A 2004-10-12 2005-10-07 3次元画像ボリューム内のポリープの検出方法 Expired - Fee Related JP4388121B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61787904P 2004-10-12 2004-10-12
US11/244,798 US7558413B2 (en) 2004-10-12 2005-10-06 Method for detecting polyps in a three dimensional image volume
PCT/US2005/036123 WO2006044242A2 (en) 2004-10-12 2005-10-07 Method for detecting polyps in a three dimensional image volume

Publications (2)

Publication Number Publication Date
JP2008515595A JP2008515595A (ja) 2008-05-15
JP4388121B2 true JP4388121B2 (ja) 2009-12-24

Family

ID=36010996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007536744A Expired - Fee Related JP4388121B2 (ja) 2004-10-12 2005-10-07 3次元画像ボリューム内のポリープの検出方法

Country Status (7)

Country Link
US (1) US7558413B2 (ja)
EP (1) EP1800249A2 (ja)
JP (1) JP4388121B2 (ja)
CN (1) CN101116089B (ja)
AU (1) AU2005296007B2 (ja)
CA (1) CA2583886C (ja)
WO (1) WO2006044242A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589344B2 (en) 2012-12-28 2017-03-07 Hitachi, Ltd. Volume data analysis system and method therefor

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590271B2 (en) * 2004-10-28 2009-09-15 Siemens Medical Solutions Usa, Inc. System and method for automatic detection and localization of 3D bumps in medical images
WO2007044504A1 (en) * 2005-10-05 2007-04-19 Siemens Medical Solutions Usa, Inc. Automatic cad algorithm selection
US7903857B2 (en) * 2006-04-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Robust click-point linking with geometric configuration context: interactive localized registration approach
US8055047B2 (en) * 2006-08-14 2011-11-08 The Board Of Trustees Of The Leland Stanford Junior University Polyp detection using smoothed shape operators
US20080071711A1 (en) * 2006-09-20 2008-03-20 Siemens Corporate Research, Inc. Method and System for Object Detection Using Probabilistic Boosting Cascade Tree
US7983463B2 (en) * 2006-11-22 2011-07-19 General Electric Company Methods and apparatus for suppressing tagging material in prepless CT colonography
US8160395B2 (en) * 2006-11-22 2012-04-17 General Electric Company Method and apparatus for synchronizing corresponding landmarks among a plurality of images
US8244015B2 (en) * 2006-11-22 2012-08-14 General Electric Company Methods and apparatus for detecting aneurysm in vasculatures
US8023710B2 (en) * 2007-02-12 2011-09-20 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Virtual colonoscopy via wavelets
US8396531B2 (en) * 2007-03-27 2013-03-12 Siemens Medical Solutions Usa, Inc. System and method for quasi-real-time ventricular measurements from M-mode echocardiogram
US8396533B2 (en) * 2007-08-21 2013-03-12 Siemens Aktiengesellschaft Method and system for catheter detection and tracking in a fluoroscopic image sequence
US8073215B2 (en) 2007-09-18 2011-12-06 Siemens Medical Solutions Usa, Inc. Automated detection of planes from three-dimensional echocardiographic data
US8184888B2 (en) * 2007-09-19 2012-05-22 Siemens Medical Solutions Usa, Inc. Method and system for polyp segmentation for 3D computed tomography colonography
US8116548B2 (en) * 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
CN102934127B (zh) * 2010-04-28 2016-11-16 基文影像公司 用于显示体内图像部分的系统和方法
DE102011002927A1 (de) * 2011-01-20 2012-07-26 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
JP2017185007A (ja) * 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
CN106529188B (zh) * 2016-11-25 2019-04-19 苏州国科康成医疗科技有限公司 应用于手术导航的图像处理方法
JP7595292B2 (ja) * 2020-08-31 2024-12-06 グローリー株式会社 教師データ生成装置、教師データ生成方法、学習済みモデルの製造方法、およびプログラム
EP4002266A1 (en) * 2020-11-19 2022-05-25 Koninklijke Philips N.V. Suppression of tagged elements in medical images
CN113837989B (zh) * 2021-05-25 2023-03-24 苏州慧维智能医疗科技有限公司 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法
WO2025240968A1 (en) * 2024-05-17 2025-11-20 The General Hospital Corporation Systems and methods for automated detection of colon polyps using depth-in-color encoding and machine learning

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220640A (en) * 1990-09-20 1993-06-15 Motorola, Inc. Neural net architecture for rate-varying inputs
US6546379B1 (en) * 1999-10-26 2003-04-08 International Business Machines Corporation Cascade boosting of predictive models
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US7020316B2 (en) * 2001-12-05 2006-03-28 Siemens Corporate Research, Inc. Vessel-feeding pulmonary nodule detection by volume projection analysis
US7424141B2 (en) * 2003-08-29 2008-09-09 Agilent Technologies, Inc. System and method for performing auto-focused tomosynthesis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589344B2 (en) 2012-12-28 2017-03-07 Hitachi, Ltd. Volume data analysis system and method therefor

Also Published As

Publication number Publication date
AU2005296007B2 (en) 2009-08-13
WO2006044242A2 (en) 2006-04-27
CN101116089A (zh) 2008-01-30
US7558413B2 (en) 2009-07-07
JP2008515595A (ja) 2008-05-15
CN101116089B (zh) 2013-03-27
CA2583886C (en) 2013-04-02
WO2006044242A3 (en) 2006-05-26
AU2005296007A1 (en) 2006-04-27
US20060079761A1 (en) 2006-04-13
CA2583886A1 (en) 2006-04-27
EP1800249A2 (en) 2007-06-27

Similar Documents

Publication Publication Date Title
JP4388121B2 (ja) 3次元画像ボリューム内のポリープの検出方法
US8023710B2 (en) Virtual colonoscopy via wavelets
CN101061510B (zh) 检测和识别医学图像数据内所关心部位和/或体积的方法和系统
JP5864542B2 (ja) 画像の異常を検出するための画像データの処理方法、システムおよびプログラム
US7515743B2 (en) System and method for filtering a medical image
US7583831B2 (en) System and method for using learned discriminative models to segment three dimensional colon image data
US20080002870A1 (en) Automatic detection and monitoring of nodules and shaped targets in image data
JP2009502230A (ja) 医用画像における傷病部位の検知
JP2004536367A (ja) コンピュータ利用画像分析
Gopinath et al. Enhanced lung cancer classification and prediction based on hybrid neural network approach
Dawoud Lung segmentation in chest radiographs by fusing shape information in iterative thresholding
Gupta et al. Detection and staging of lung cancer from CT scan images by deep learning
Lee et al. A straightforward approach to computer-aided polyp detection using a polyp-specific volumetric feature in CT colonography
Qian et al. Knowledge-based automatic detection of multitype lung nodules from multidetector CT studies
Taher et al. MASK-RCNN on the diagnoses of lung cancer in Kurdistan Region of Iraq
Wang et al. Combining statistical and geometric features for colonic polyp detection in CTC based on multiple kernel learning
Bhotika et al. Part-based local shape models for colon polyp detection
Tan et al. Detection of breast cancer in automated 3D breast ultrasound
Sharma et al. A Swift and Accurate Approach to Breast Cancer Recognition Using CNN and Decision Tree Method
Shaffie et al. Computer-Assisted Image Processing System for Early Assessment of Lung Nodule Malignancy. Cancers 2022, 14, 1117
Zhou Computer aided diagnosis of lung ground glass opacity nodules and large lung cancers in CT
Naeppi et al. Computer-aided detection of polyps and masses for CT colonography
Yao Computer-Aided Detection of Colonic Polyps in CT Colonography

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091001

R150 Certificate of patent or registration of utility model

Ref document number: 4388121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees