JP6847011B2 - ３次元画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は、被検体を撮影して得られた３次元画像を用いて気管支のような体内の管路への内視鏡の挿入を支援する３次元画像処理装置および方法並びにプログラムに関するものである。

近年、撮影装置の進歩に伴い、撮影装置で撮影された画像データの分解能が向上しており、画像データに基づいて被検体の詳細な解析が可能になっている。たとえば、マルチスライスＣＴ（Multi Detector-row Computed Tomography）は、一度に複数枚の断層画像を撮影することが可能であり、薄いスライス厚で断層画像を撮影することが可能である。スライス厚が薄くなることで、複数の断層画像を積層した３次元画像の体軸方向の分解能が上がり、より詳細な３次元画像を得ることができる。このような３次元画像を表示し解析することで、これまで見つけることが困難であった病変などを見つけることも可能になっている。

上述したような３次元画像を用いた表示方法の１つとして、仮想内視鏡表示がある（たとえば特許文献１および特許文献２参照）。仮想内視鏡表示とは、管腔の内部に視点位置を設定し、その視点位置に基づいて透視投影画像を生成して表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点位置を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することができる。

特に、内視鏡を用いた検査である気管支鏡検査では、気管支の分岐が非常に複雑であるため、上述した仮想内視鏡表示を「地図」として参照しながら、内視鏡を挿入することが行われている。この際、実際の内視鏡の動きに合わせて、仮想内視鏡表示を手動で順次変更するのは煩わしいため、内視鏡の先端が体内のどこになるかを推定して、仮想内視鏡画像を作成することが行われている。

たとえば特許文献１においては、内視鏡の先端位置を推定するために、仮想内視鏡画像と、内視鏡によって実際に撮影された内視鏡画像との位置合わせ処理を行うことが提案されている。

国際公開第２０１４／１４１９６８号 特開平１１−１２０３２７号公報 特開２０１３−１９２７４１号公報

ここで、ナビゲーションのために内視鏡の先端位置の推定を行うには、複数の視点からの仮想内視鏡画像を生成し、それらを実際に撮影された内視鏡画像と位置合わせ処理をして最も一致するものを選ぶ必要がある。

しかしながら、内視鏡の先端位置の推定精度や安定性を上げるには、仮想内視鏡画像を大量に生成する必要があるが、仮想内視鏡画像を生成する処理であるボリュームレンダリング処理は非常に時間がかかる。

なお、特許文献３においては、気管支の３次元画像からグラフ構造を生成し、そのグラフ構造に含まれる複数の分岐点のそれぞれについて、その分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成することが提案されているが、その投影画像は、分岐先を示す模式的な画像であり、気管支の穴の形状などを正確に表した画像ではないため、上述したような内視鏡画像との位置合わせ処理には適していない。

本発明は、上記事情に鑑み、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した画像を高速な処理によって生成することができる３次元画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本発明の３次元画像処理装置は、被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、管状構造物内における視点情報を取得する視点情報取得部と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部とを備える。

また、上記本発明の３次元画像処理装置において、投影点特定部は、グラフ構造上の１つの点を起点として特定し、その起点からグラフ構造をたどり、予め設定された範囲内に含まれる点を投影候補点として特定し、投影候補点の中から投影点を特定することができる。

また、上記本発明の３次元画像処理装置において、投影点特定部は、輪郭情報の形状情報に基づいて、投影点を特定することができる。

また、上記本発明の３次元画像処理装置において、投影画像生成部は、投影点が属する枝の情報を取得し、枝の情報を投影画像に付加することができる。

また、上記本発明の３次元画像処理装置においては、投影画像と、その投影画像とは異なる画像との間の位置合わせ処理の結果と投影画像の視点情報とに基づいて、異なる画像の視点情報を推定する視点情報推定部を備えることができる。

また、上記本発明の３次元画像処理装置においては、投影画像と、その投影画像とは異なる画像との間の位置合せ処理の結果に基づいて、投影画像に含まれる輪郭情報に対応する異なる画像に含まれる輪郭情報を推定する輪郭情報推定部を備えることができる。

また、上記本発明の３次元画像処理装置において、投影画像とは異なる画像は、被検体を撮影した２次元画像とすることができる。

また、上記本発明の３次元画像処理装置において、上記２次元画像は、内視鏡によって撮影された画像とすることができる。

また、上記本発明の３次元画像処理装置においては、投影画像を表示装置に表示させる表示制御部を備えることができる。

また、上記本発明の３次元画像処理装置において、管状構造物は気管支とすることができる。

本発明の３次元画像処理方法は、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得し、管状構造物内における視点情報を取得し、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。

本発明の３次元画像処理プログラムは、コンピュータを、被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、管状構造物内における視点情報を取得する視点情報取得部と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部として機能させる。

本発明の他の３次元画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサを備え、プロセッサが、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成する処理と、グラフ構造上の各点における管状構造物の輪郭情報を取得する処理と、管状構造物内における視点情報を取得する処理と、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する処理と、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する処理とを実行するように構成されている。

本発明の３次元画像処理装置および方法並びプログラムによれば、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得する。そして、管状構造物内における視点情報を取得し、視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。

したがって、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した投影画像を、高速な処理によって生成することができる。

本発明の３次元画像処理装置の一実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 グラフ構造の一例を示す図 グラフ構造上の各点における気管支の輪郭情報の一例を示す図 投影点の特定方法を説明するためのフローチャート 投影点の特定方法を説明するための説明図 グラフ構造上の各点の輪郭情報の一例を示す図 投影画像の一例を示す図 最初の分岐の気管支の輪郭情報を用いて生成された投影画像の一例を示す図 輪郭情報が重ならないように生成された投影画像の一例を示す図 最終的に特定された投影点の輪郭情報を用いて生成された投影画像の一例を示す図 投影画像に対して枝の情報を付加して表示させた例を示す図 本発明の３次元画像処理装置のその他の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 投影画像と内視鏡画像とのずれ量と、投影画像の視点情報とに基づいて、内視鏡画像の視点情報を推定する方法を説明するための説明図 投影画像に含まれる輪郭情報に対応する内視鏡画像に含まれる穴（輪郭情報）を推定する方法を説明するための説明図 内視鏡画像から穴の輪郭を抽出した輪郭画像の一例を示す図

以下、本発明の３次元画像処理装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。

本実施形態の内視鏡画像診断支援システム１は、図１に示すように、３次元画像処理装置１０と、表示装置２０と、入力装置３０と、３次元画像保管サーバ４０とを備えている。

３次元画像処理装置１０は、コンピュータに本実施形態の３次元画像処理プログラムをインストールすることによって構成されたものである。

そして、３次元画像処理装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した３次元画像処理プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって

、図１に示すような３次元画像取得部１１、グラフ構造生成部１２、輪郭情報取得部１３、視点情報取得部１４、投影点特定部１５、投影画像生成部１６、気管支３次元画像生成部１７および表示制御部１８が構成されている。そして、ハードディスクにインストールされた３次元画像処理プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。

３次元画像取得部１１は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像を取得するものである。３次元画像としては、たとえばＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータ、並びにＭＳ（Multi Slice）ＣＴ装置およびコーンビー

ムＣＴ装置から出力されたボリュームデータなどがある。３次元画像は、３次元画像保管サーバ４０に被検体の識別情報と併せて予め保管されており、３次元画像取得部１１は、入力装置３０において入力された被検体の識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出すものである。

グラフ構造生成部１２は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に含まれる管状構造物のグラフ構造を生成するものである。本実施形態においては、管状構造物のグラフ構造として気管支のグラフ構造を生成する。以下、このグラフ構造の生成方法の一例を説明する。

３次元画像に含まれる気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは管状の構造物であると考えられる。そこで、画素毎にＣＴ値の分布に基づく形状の構造解析を行なって気管支を抽出する。

気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支を検出することができるように、三次元画像を多重解像度変換したガウシアンピラミッド画像、つまり異なる解像度の複数の三次元画像を予め生成し、その生成したガウシアンピラミッドの画像毎に検出アルゴリズムを走査することで異なるサイズの管状構造物を検出する。

まず、各解像度の三次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（三次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍などの影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、三次元画像全体の判別が終了後、検出された管状構造物が一定の距離内にあり、かつ抽出された二つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とが成す角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、抽出したグラフ構造を、開始点、端点、分岐点および枝に分類し、開始点、端点および分岐点を枝で連結することによって、気管支を表すグラフ構造を得ることができる。本実施形態においては、このグラフ構造の各位置における気管支の径や各枝の長さ（気管支の分岐点間の長さ）などの特徴量もグラフ構造と併せて取得する。図２は、グラフ構造の一例を示すものである。図２では、Ｓｐが開始点であり、分岐点Ｂｐを白丸、端点Ｅｐを黒丸、枝Ｅを線で表している。

なお、グラフ構造の生成方法としては、上述した方法に限らず、その他の公知な方法を用いることができる。

輪郭情報取得部１３は、グラフ構造上の各点における気管支の輪郭情報を取得するものである。本実施形態の輪郭情報取得部１３は、上述したように気管支のグラフ構造を生成する際に検出された管状構造物の輪郭情報を取得するものである。輪郭情報は、グラフ構造の各点について取得されるが、各点の間隔は、気管支の分岐点間よりも小さい間隔を任意に設定することができる。たとえば１ｍｍ〜２ｍｍ程度に設定することが好ましい。図３は、グラフ構造上の各点における気管支の輪郭情報の一例を示す図である。なお、図３では、気管支のグラフ構造も含まれている。

視点情報取得部１４は、気管支内における視点情報を取得するものである。視点情報は、ユーザが入力装置３０を用いて任意に設定入力されるものであり、視点情報取得部１４は、入力装置３０において受け付けられた視点情報を取得するものである。視点情報の設定入力は、たとえば表示装置２０に表示された気管支の３次元画像上においてユーザがマウスなどの入力装置３０を用いて指定するようにすればよい。

なお、本実施形態においては、視点情報をユーザが設定入力するようにしたが、これに限らず、予め設定された条件に基づいて、自動的に視点情報を設定するようにしてもよい。具体的には、たとえば気管支の基端部に視点情報を設定するようにしてもよいし、基端部から最初の分岐に視点情報を設定するようにしてもよい。

投影点特定部１５は、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定するものである。以下、投影点特定部１５による投影点の特定について、図４に示すフローチャートおよび図５〜図１０を参照しながら説明する。

投影点特定部１５は、まず、図５に示すように、ユーザによって設定入力された視点情報Ｓから最も近いグラフ構造上の点を起点Ｎｓとして特定する（Ｓ１０）。そして、起点Ｎｓから気管支の下流側（基端側とは反対側）に向けてグラフ構造をたどり、予め設定された範囲ＮＲ内に含まれる点を投影候補点として特定する（Ｓ１２）。範囲ＮＲとしては、たとえば起点Ｎｓからの予め設定された距離の範囲としたり、起点Ｎｓからグラフ構造をたどった際に、通過する分岐点が予め設定された数となる範囲とすることができる。

次に、投影点特定部１５は、予め設定された範囲ＮＲ内に含まれる複数の投影候補点の中から、予め設定された投影点条件に基づいて一部の投影点を特定する（Ｓ１４）。予め設定された条件としては、たとえば範囲ＮＲにおけるグラフ構造における各枝の中央の点、最初の点または最後の点を投影点として特定することができる。なお、最初の点および最後の点とは、グラフ構造を下流側にたどった際の各辺の最初の点および最後の点である。また、範囲ＮＲにおけるグラフ構造における各枝について、分岐点から予め設定された距離以上離れた最初の点を投影点として特定することができる。図４は、Ｓ１４において特定された投影点Ｎｐの一例を点線丸印で示している。

次いで、投影点特定部１５は、Ｓ１４において特定された投影点が、予め設定された投影画像条件を満たすか否かを確認する（Ｓ１６）。図６は、範囲ＮＲ内のグラフ構造上の各点の輪郭情報の一例を示す図である。なお、図６においては、見やすくするために一部の点の輪郭情報を図示省略している。また、図６に示す０〜６の数値は、各枝に付加された枝番号であり、各輪郭情報の近傍に示す数値は、グラフ構造上の各点に付加されたノード番号である。ここでは、たとえば上述した起点Ｎｓが図６に示すノード８０にある場合の投影点の特定方法について説明する。

まず、Ｓ１４において特定された投影点が、図６に示すノード９８とノード９９である場合、この２つのノード点の輪郭情報を２次元平面上に投影して投影画像を生成すると図７に示すような投影画像となる。なお、上記２次元平面とは、被検体の体軸方向に直交する平面である。図７に示す投影画像では、２つの輪郭情報が重なり合ってしまっているので投影画像としてはあまり好ましくない。これはＳ１４によって特定された投影点が分岐点に対して近すぎるからである。

そこで、投影点特定部１５は、図７に示す投影画像のように２つの輪郭情報が重なり合う場合には、投影点を変更し、その変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、その投影画像の輪郭情報が重なり合うか否かを確認する。具体的には、ノード９８とノード９９の投影点の少なくとも一方を分岐点から遠い投影点に変更し、変更後の投影点の輪郭情報を用いて、再び投影画像を生成する。たとえばノード９８の投影点をノード１０７の投影点に変更し、ノード９９の投影点をノード１１０の投影点に変更する。

すなわち、投影点特定部１５は、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすか否かを確認し、投影画像条件を満たさない場合には（Ｓ１６，ＮＯ）、投影点を予め設定された条件に基づいて変更する（Ｓ１８）。そして、変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、投影画像条件を満たすか否かを確認し、投影画像条件を満たすまで投影点の変更と投影画像の生成とを繰り返す。図８は、投影画像条件を満たすノード１２３とノード１１９の投影点の輪郭情報を用いて生成された投影画像を示す図である。

そして、図６に示す枝１の先に繋がる枝３および枝４と、枝２に繋がる枝５および枝６とについても、上記と同様に、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすまで、投影点の変更と投影画像の生成とを繰り返す。その結果、図９に示すような投影画像が生成されたとすると、親の枝である枝１のノード１２３からはみ出した枝４のノード２８９および枝３のノード２９６と、親の枝である枝２のノード１１９の輪郭情報からはみ出した枝６のノード２１４の輪郭情報とについては、起点であるノード８０から実際に気管支内を撮影した内視鏡画像上では見えない輪郭情報であるので削除することが好ましい。

したがって、投影点特定部１５は、子の枝については、親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されるという投影画像条件を満たす投影点を特定する。なお、子の枝についての投影画像条件としては、これに限らず、たとえば親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されていない場合でも、親の枝のノードの輪郭情報と子の枝の輪郭情報との距離が予め設定された閾値以内である場合には、削除することなく、最終的な投影点として残すようにしてもよい。具体的には、図９に示す枝６のノード２１４の輪郭情報については、枝２のノード１１９の輪郭情報に近いので残すようにしてもよい。また、子の枝のノードの輪郭情報が、親の枝のノードの輪郭情報内に包含されていたとしても、その輪郭情報の形状が、図９に示すノード２８９の輪郭情報のように、長径に対する短径の比率が予め設定された閾値以下の楕円である場合、または子の枝のノードの輪郭情報が投影できない場合もしくは親の枝のノードの輪郭情報の大きさに対する子の枝のノードの輪郭情報の大きさの比率が閾値以下であって、子の枝のノードの輪郭情報が小さすぎる場合には、その輪郭情報を削除するようにしてもよい。

上述したようにして投影画像条件を満たすように投影点の変更および削除を繰り返して行って最終的な投影点を特定する（Ｓ２０）。図１０は、最終的に特定された投影点の輪郭情報を用いて生成された投影画像を示す図である。

なお、上述した投影画像条件を満たしているか否かの確認については、投影点の輪郭情報の形状情報を用いるようにすればよい。具体的には、形状情報として、輪郭情報の径（半径、直径、短径および長径など）および中心間の距離などを用いるようにすればよい。

また、上記説明では、仮に特定した投影点の輪郭情報を用いて投影画像を一旦生成し、その投影画像が、投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、必ずしも投影画像を生成しなくてもよく、仮の特定した投影点の３次元座標空間上における位置関係とその投影点の輪郭情報の大きさとに基づいて、投影画像条件を満たすか否かを確認するようにしてもよい。

また、上記説明では、仮に特定した投影点の輪郭情報が投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、投影画像条件については必ずしも確認しなくてもよく、Ｓ１４において投影点条件に基づいて特定された投影点を最終的な投影点とし、その輪郭情報を用いて投影画像を生成するようにしてもよい。

図１に戻り、気管支３次元画像生成部１７は、３次元画像取得部１１において取得された３次元画像に対してボリュームレンダリング処理を施すことによって、気管支の形態を表す気管支３次元画像を生成し、この気管支３次元画像を表示制御部１８に出力するものである。

表示制御部１８は、投影画像生成部１６によって生成された投影画像および気管支３次元画像生成部１７によって生成された気管支３次元画像を表示装置２０に表示させるものである。

表示装置２０は、たとえば液晶ディスプレイなどを備えたものである。また、表示装置２０をタッチパネルによって構成し、入力装置４３と兼用するようにしてもよい。

入力装置３０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。

上記実施形態の内視鏡画像診断支援システムによれば、被検体を撮影して得られた３次元画像を取得し、３次元画像に含まれる管状構造物のグラフ構造を生成し、グラフ構造上の各点における管状構造物の輪郭情報を取得する。そして、管状構造物内における視点情報を取得し、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成する。

したがって、内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した投影画像を、高速な処理によって生成することができる。

また、上記実施形態においては、投影画像生成部１６が、投影点が属する枝の情報を取得し、その枝の情報を投影画像に付加することによって、投影画像上に枝の情報を表示させるようにしてもよい。図１１は、投影画像に対して枝の情報として「Ａ」〜「Ｄ」を付加して表示させた例を示す図である。

また、上記実施形態において、さらに内視鏡装置５０によって実際に気管支内を撮影した２次元画像の内視鏡画像を取得し、その内視鏡画像と投影画像との関係に基づいて、内視鏡画像の視点情報（内視鏡の先端位置に相当する）を推定するようにしてもよい。すなわち、図１２に示すように、視点情報推定部２１を設けるようにしてもよい。視点情報推定部２１は、具体的には、投影画像生成部１６によって生成された投影画像Ａと、内視鏡装置５０から出力された内視鏡画像Ｂとの間で位置合わせ処理を行う。位置合わせ処理としては、たとえば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。

そして、視点情報推定部２１は、図１３に示すように、位置合わせ処理によって得られた投影画像Ａと内視鏡画像Ｂとのずれ量と、投影画像Ａの視点情報とに基づいて、内視鏡画像Ｂの視点情報ｂを推定する。なお、位置合わせ処理の対象の投影画像Ａは、たとえばグラフ構造の分岐点毎に生成されており、その複数の投影画像Ａのうち、ずれ量が最も小さい投影画像Ａとその視点情報とに基づいて、内視鏡画像の視点情報ｂが推定されるものとする。内視鏡画像Ｂの視点情報ｂの推定方法としては、たとえば投影画像Ａに含まれる輪郭情報の大きさと内視鏡画像Ｂに含まれる気管支の穴の大きさだけが異なる場合には、その大きさの拡縮率と投影画像Ａの視点情報ａと投影面との距離に基づいて、視点情報ａを投影面に対して移動させることによって視点情報ｂを推定することができる。なお、視点情報ｂの推定方法としては、このような方法に限らず、幾何学的な関係に基づく種々の推定方法を用いることができる。

視点情報推定部２１によって推定された視点情報ｂは、たとえばその３次元座標を表示装置２０に表示させるようにしてもよいし、表示装置２０に表示された気管支３次元画像上に表示させるようにしてもよい。

また、投影画像に含まれる輪郭情報とその輪郭情報に付加された枝の情報に基づいて、内視鏡装置５０から出力された内視鏡画像に含まれる穴に対して、枝の情報を付加するようにしてもよい。すなわち、図１２に示すように、輪郭情報推定部２２を設けるようにしてもよい。輪郭情報推定部２２は、具体的には、投影画像生成部１６によって生成された投影画像Ａと、内視鏡装置５０から出力された内視鏡画像Ｂとの間で位置合わせ処理を行う。位置合わせ処理としては、たとえば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。そして、輪郭情報推定部２２は、位置合わせ処理を行うことによって、図１４に示すように、投影画像Ａに含まれる輪郭情報に対応する内視鏡画像Ｂに含まれる穴（輪郭情報）を推定する。そして、輪郭情報推定部２２は、投影画像Ａの各輪郭情報に付加された枝の情報「Ａ」〜「Ｄ」を内視鏡画像に含まれる対応する穴に付加する。内視鏡画像の各穴に付加された枝の情報は、たとえば内視鏡画像と併せて表示装置２０に表示される。

また、上記説明では、視点情報推定部２１および輪郭情報推定部２２において、位置合わせ処理を行う際、内視鏡装置５０から出力された内視鏡画像そのものを用いるようにしたが、これに限らず、図１５に示すように、内視鏡画像から穴の輪郭を抽出した輪郭画像を用いるようにしてもよい。輪郭画像の生成方法としては、たとえば輝度が閾値以下の画素が円状に分布している領域を内視鏡画像から検出し、その領域の輪郭を穴の輪郭として抽出して輪郭画像を生成するようにすればよい。

１ 内視鏡画像診断支援システム
１０ ３次元画像処理装置
１１ ３次元画像取得部
１２ グラフ構造生成部
１３ 輪郭情報取得部
１４ 視点情報取得部
１５ 投影点特定部
１６ 投影画像生成部
１７ 気管支３次元画像生成部
１８ 表示制御部
２０ 表示装置
２１ 視点情報推定部
２２ 輪郭情報推定部
３０ 入力装置
４０ ３次元画像保管サーバ
４３ 入力装置
５０ 内視鏡装置
Ｂｐ 分岐点
Ｅ 枝
Ｅｐ 端点
Ｎｐ 投影点
ＮＲ 予め設定された範囲
Ｎｓ 起点
Ｓ 視点情報

Claims (13)

1. 被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、
   前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
   前記グラフ構造上の各点における前記管状構造物の径および形状を表す輪郭情報を取得する輪郭情報取得部と、
   前記管状構造物内における視点情報を取得する視点情報取得部と、
   前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から、該各点の前記輪郭情報を前記視点情報に基づく視点の方向にある２次元平面上に投影した場合に、前記輪郭情報が重なり合わないという条件を満たす点を投影点に特定する投影点特定部と、
   前記投影点の前記輪郭情報を前記２次元平面上に投影した投影画像を生成する投影画像生成部とを備えた３次元画像処理装置。
2. 前記投影画像生成部が、前記投影点が属する枝を特定する情報を取得し、前記投影画像に含まれる前記輪郭情報に、前記枝を特定する情報を付加する請求項１記載の３次元画像処理装置。
3. 前記投影点特定部が、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる前記グラフ構造上の点を投影候補点として特定し、前記投影候補点の中から投影点を特定する請求項１または２記載の３次元画像処理装置。
4. 前記投影点特定部が、前記グラフ構造上の各点における前記輪郭情報により表される前記管状構造物の輪郭の径および該輪郭の中心間の距離に基づいて、前記投影点を特定する請求項１から３のいずれか１項記載の３次元画像処理装置。
5. 前記投影画像と、前記投影画像とは異なる画像との間の位置合わせ処理の結果と前記投影画像の視点情報とに基づいて、前記異なる画像の視点情報を推定する視点情報推定部を備えた請求項１から４いずれか１項記載の３次元画像処理装置。
6. 前記投影画像と、前記投影画像とは異なる画像との間の位置合せ処理の結果に基づいて、前記投影画像に含まれる前記輪郭情報に対応する前記異なる画像に含まれる輪郭情報を推定する輪郭情報推定部を備えた請求項１から５いずれか１項記載の３次元画像処理装置。
7. 前記投影画像とは異なる画像が、前記被検体を撮影した２次元画像である請求項１から６いずれか１項記載の３次元画像処理装置。
8. 前記２次元画像が、内視鏡によって撮影された画像である請求項７記載の３次元画像処理装置。
9. 前記投影画像を表示装置に表示させる表示制御部を備えた請求項１から８いずれか１項記載の３次元画像処理装置。
10. 前記管状構造物が気管支である請求項１から９いずれか１項記載の３次元画像処理装置。
11. 前記投影画像生成部は、複数の前記輪郭情報が重なり合わない条件を満たすように、前記投影画像を生成する請求項１から１０いずれか１項記載の３次元画像処理装置。
12. 被検体を撮影して得られた３次元画像を取得し、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
    前記グラフ構造上の各点における前記管状構造物の径および形状を表す輪郭情報を取得し、
    前記管状構造物内における視点情報を取得し、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から、該各点の前記輪郭情報を前記視点情報に基づく視点の方向にある２次元平面上に投影した場合に、前記輪郭情報が重なり合わないという条件を満たす点を投影点に特定し、
    前記投影点の前記輪郭情報を前記２次元平面上に投影した投影画像を生成する３次元画像処理方法。
13. コンピュータを、
    被検体を撮影して得られた３次元画像を取得する３次元画像取得部と、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
    前記グラフ構造上の各点における前記管状構造物の径および形状を表す輪郭情報を取得する輪郭情報取得部と、
    前記管状構造物内における視点情報を取得する視点情報取得部と、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から、該各点の前記輪郭情報を前記視点情報に基づく視点の方向にある２次元平面上に投影した場合に、前記輪郭情報が重なり合わないという条件を満たす点を投影点に特定する投影点特定部と、
    前記投影点の前記輪郭情報を前記２次元平面上に投影した投影画像を生成する投影画像生成部として機能させる３次元画像処理プログラム。

Images