JP3847744B2 - 挿入支援システム - Google Patents

Description

本発明は、内視鏡の挿入を支援する挿入支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて目的部位の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
特開２０００−１３５２１５号公報

しかしながら、目的部位である生体組織は一般的に広がりがあるために、生検する際の生検位置を指定しても、その生検位置に至る挿入ルートは一意的には定まらず、複数の挿入ルートが設定可能であるが、従来装置では、複数の挿入ルートのうち挿入支援を行う際の最適な挿入ルートを決定することができないといった問題がある。

本発明は、上記事情に鑑みてなされたものであり、複数の挿入ルートのうち挿入支援を行う際の最適な挿入ルートを検証することのできる挿入支援システムを提供することを目的としている。

本発明の挿入支援システムは、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、内視鏡の前記被検体内の体腔路への挿入ルートの始点を設定するルート始点設定手段と、前記被検体内の関心部位の領域を設定する関心領域設定手段と、前記始点から前記関心部位の領域に至る複数の前記挿入ルートを抽出するルート抽出手段と、前記ルート抽出手段が抽出した複数の前記挿入ルートを検証するルート検証手段とを備えて構成される。

本発明の挿入支援システムは、複数の挿入ルートのうち挿入支援を行う際の最適な挿入ルートを検証することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図３９は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１のルート設定部の機能構成を示すブロック図、図３は図１の挿入支援装置による挿入支援準備処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３の処理で展開されるルート設定画面を示す第３の図、図７は図３の処理で展開されるルート設定画面を示す第４の図、図８は図３の処理で展開されるルート設定画面を示す第５の図、図９は図３のルート設定処理の流れを示すフローチャート、図１０は図９の処理を説明する第１の図、図１１は図９の処理を説明する第２の図、図１２は図９の処理で展開されるルート設定画面を示す第１の図、図１３は図９の処理を説明する第３の図、図１４は図９の処理で展開されるルート設定画面を示す第２の図、図１５は図９の処理を説明する第４の図、図１６は図９の処理で展開されるルート設定画面を示す第３の図、図１７は図２のルート設定部のルート検証機能が生成するＭＰＲ画像によるルート検証ウインドウを示す図、図１８は図１７のルート検証ウインドウの作用を説明する第１の図、図１９は図１７のルート検証ウインドウの作用を説明する第２の図、図２０は図１７のルート検証ウインドウの作用を説明する第３の図、図２１は図１７のルート検証ウインドウの作用を説明する第４の図、図２２は図１７のルート検証ウインドウの作用を説明する第５の図、図２３は図１７のルート検証ウインドウの作用を説明する第６の図、図２４は図１７のルート検証ウインドウの作用を説明する第７の図、図２５は図１７のルート検証ウインドウの作用を説明する第８の図、図２６は図１７のルート検証ウインドウの作用を説明する第９の図、図２７は図２６のＶＢＳ表示フレームを説明する第１の図、図２８は図２６のＶＢＳ表示フレームを説明する第２の図、図２９は図２６のＶＢＳ表示フレームを説明する第３の図、図３０は図２６のＶＢＳ表示フレームの変形例を説明する図、図３１は図２のルート設定部のルート検証機能が生成する細線化モデル画像によるルート検証ウインドウを示す図、図３２は図３１の細線化モデル画像を説明する図、図３３は図３１のルート検証ウインドウの作用を説明する第１の図、図３４は図３１のルート検証ウインドウの作用を説明する第２の図、図３５は図３１のルート検証ウインドウの作用を説明する第３の図、図３６は図３１のルート検証ウインドウの作用を説明する第４の図、図３７は図３１のルート検証ウインドウの作用を説明する第５の図、図３８は図３１のルート検証ウインドウの作用を説明する第６の図、図３８は図２の処理で展開される挿入支援画面を示す図である。

図１に示すように、本実施例の気管支挿入支援システム１は、気管支内視鏡装置３と、挿入支援装置５とから構成される。

挿入支援装置５はＣＴ画像データに基づき気管支内部の仮想の内視像（以下、ＶＢＳ画像と記す）を生成すると共に気管支内視鏡装置３により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ６に表示し気管支内視鏡装置３の気管支へ挿入支援を行う。

また、気管支内視鏡装置３は、図示はしないが、撮像手段を有する気管支鏡と、気管支鏡に照明光を供給する光源と、気管支鏡からの撮像信号を信号処理するカメラコントロールユニット等から構成され、気管支鏡を患者体内の気管支に挿入し気管支内を撮像し気管支末端の目的組織を生検すると共に、ライブ画像とＶＢＳ画像を合成してモニタ７に表示する。

モニタ７はタッチパネルからなる入力部８が設けられ、挿入手技を行いながら容易にタッチパネルからなる入力部８を操作することが可能となっている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれたＣＴ画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきＭＰＲ画像（多断面再構築画像：コロナル像、アキシャル像、サジタル像）を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支内視鏡装置３の気管支への支援ルート（以下、単にルートとも記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想画像生成手段としてのＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支内視鏡装置３からの撮像信号及び入力部８からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述する挿入支援画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成した挿入支援画面をモニタ６に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる入力装置１９とから構成される。

気管支内視鏡装置３は、挿入支援装置５の画像処理部１７からＶＢＳ画像及びサムネイルＶＢＳ画像を受け取りライブ画像と合成して、挿入支援装置５がモニタ６に表示する挿入支援画面と同等の画面をモニタ７に表示すると共に、モニタ７のタッチセンサからなる入力部８からの入力情報を挿入支援装置５の画像処理部１７に出力するようになっている。

なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

ルート設定部１４は、図２に示すように、気管支挿入の挿入始点を設定するルート始点設定手段としてのルート始点設定機能１４ａと、気管支挿入の挿入終点である関心領域を設定する関心領域設定手段としての関心領域設定機能１４ｂと、挿入始点から挿入終点に至る挿入ルートを抽出するルート抽出手段としてのルート抽出機能１４ｃと、抽出した挿入ルートの検証を行うルート検証手段としてのルート検証機能１４ｄとを備えて構成される。これら機能の詳細は後述する。

このように構成された本実施の形態の作用について説明する。

図３に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者のＣＴ画像データを取り込み、ステップＳ２で取り込んだＣＴ画像データをＣＴ画像データ格納部１２に格納する。

ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ６に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面再構築画像からなるＭＰＲ画像であるコロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃ（以下、単にＭＰＲ画像２３とも記す）が生成され、ステップＳ５でこのコロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃがルート設定画面２１に表示される。ルート設定画面２１にはＶＢＳ画像を表示するＶＢＳ画像表示エリア２３ｄが設けられている。

なお、患者情報タグ画面２２での患者情報の選択は、入力装置１９により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を入力装置１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。

上記のステップＳ１〜Ｓ８の処理により、気管支鏡による観察・処置時の挿入支援装置４による挿入支援の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図６ないし図９を用いて説明する。

ルート設定画面２１において、ルート探索ボタンが選択されると、ステップＳ６のルート設定処理が開始される。具体的には、ルート設定部１４のルート始点設定機能１４ａにより、図６に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点７１を設定する。始点７１を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点７１が設定されると共に、ＶＢＳ画像表示エリア２３ｄには始点７１におけるＶＢＳ画像が表示され、図７に示すようなルートの終点である生検エリア７２の設定を促す生検エリア入力指示ウインドウ３２がルート設定画面２１上に表示される。

次に、ルート設定部１４の関心領域設定機能１４ｂにより、この図６のルート設定画面２１上においてカーソル３０を用いてＭＰＲ画像２３のうちいずれかの２つの断層像上で関心領域である生検エリア７２を２次元的になぞって設定する。このとき設定する生検エリア７２の数は１つに限らず複数指定でき、図７では２つの生検エリア７２ａ，７２ｂを指定した状態を示している。

そして、生検エリア７２の設定が終了すると、ルート設定部１４のルート抽出機能１４ｃにより、図８に示すような１つの生検エリア７２あたりの探索するルートの数を設定するルート数設定ウインドウ３３がルート設定画面２１上に表示される。１つの生検エリア７２あたりの探索するルートの数を設定することで、ナビゲーション対象の生検エリア７２へのアプローチルートが複数探索されることになる。

すなわち、図６ないし図８により始点、生検エリア７２及び探索ルート数が設定されると、図９の処理に従ってルート抽出機能１４ｃによりルートが探索される。

すなわち、図９に示すように、ステップＳ１１において設定された生検エリア７２の数を検出し、ステップＳ１２において探索ルート数ｎを読み込み、ステップＳ１３で始点７１の位置を読み込む。

そして、ステップＳ１４において生検エリア７２の重心位置を抽出し、ステップＳ１５で重心位置を中心とした球の半径を表すｒを初期値ｒ0とした後、ステップＳ１６で半径ｒの球内を探索エリアに指定する。

ステップＳ１７において探索エリア内に気管支があるかどうか判断し、気管支がある場合にはステップＳ１８においてその位置を終点としたルート候補を決定する。

ルート候補が決定されると、ステップＳ１９において決定したルート候補が登録済みかどうか判断し、未登録の場合にはステップＳ２０において始点から終点に至る分岐点名に基づくルート名を生成して支援ルートとして登録する。

そして、ステップＳ２１において登録したルートの数がステップＳ１２で読み込んだルート数ｎ未満かどうか判断する。

なお、ステップＳ１７において探索エリア内に気管支がないと判断した場合、またステップＳ１９において決定したルート候補が登録済みの場合、あるいはステップステップＳ２１において登録したルートの数がルート数ｎ未満場合は、ステップＳ２２においてｒをｒ＋Δｒとして探索エリアを拡大してステップＳ１６に戻る。

登録したルートの数がステップＳ２で読み込んだルート数ｎに達すると、ステップＳ２３において設定された全ての生検エリアを探索したかどうか判断し、全ての生検エリアを探索したならば処理を終了し、未探索の生検エリアがある場合には、ステップＳ２３において次の生検エリアの重心位置を抽出し、ステップＳ１５に戻る。

具体的には、図１０に示すように気管支１０１の端部に生検エリア７２が指定されると、生検エリア７２の重心１０３が抽出される。

そして、図１１に示すように、この重心１０３を中心とする円を探索エリア１０４とし、探索エリア１０４内に気管支が位置するまで探索エリア１０４を拡大し、最初に探索エリア１０４内に気管支が位置した点を終点１０５とし、図１２に示すように始点７１とこの終点１０５とを結ぶ第１のルート候補１０６が決定され、該第１の ルート候補１０６が未登録ならば第１の 支援ルートとして登録を行う。このときのルート名は通過する分岐点名に基づき命名される。

第１の 支援ルートが決定されると、図１３に示すように重心１０３を中心とする探索エリア１０４の半径を増加させ、探索エリア１０４を拡大し、次に探索エリア１０４内に気管支が位置した点を終点１０７とし、図１４に示すように始点７１とこの終点１０７とを結ぶ第２のルート候補１０８が決定され、該第２の ルート候補１０８が未登録ならば第２の 支援ルートとして登録を行う。図１４においては第２の ルート候補１０８が図１２の第１の 支援ルートと異なるので、第２の ルート候補１０８が第２の 支援ルートとなる。このときのルート名も通過する分岐点名に基づき命名される。

本実施例では、ルート数が３なので、全く同様に、第２の 支援ルートが決定されると、図１５に示すように重心１０３を中心とする探索エリア１０４の半径をさらに増加させ、探索エリア１０４を拡大し、次に探索エリア１０４内に気管支が位置した点を終点１０９とし、図１６に示すように始点７１とこの終点１０９とを結ぶ第３のルート候補１１０が決定され、該第３の ルート候補１１０が未登録ならば第３の 支援ルートとして登録を行う。図１６においては第３の ルート候補１１０が第１及び第２の 支援ルートと異なるので、第３の ルート候補１１０が第３の 支援ルートとなる。このときのルート名も通過する分岐点名に基づき命名される。

このように指定したルートの数だけの支援ルートを設定できる。これらの処理が全ての生検エリア７２に対して実行されることになり、生検エリア７２毎に指定したルート数分の支援ルートが設定される。

次に、ルート設定部１４のルート検証機能１４ｄによる、設定された複数の支援ルートのうち、最適な支援ルートの選択ついて説明する。

ルート設定部１４のルート検証機能１４ｄは、入力装置１９から検証開始信号が入力されると、図１７に示すようなルート検証ウインドウ２００をモニタ６に表示する。ルート検証ウインドウ２００は、ＭＰＲ画像であるコロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃと、ＶＢＳ画像を表示するＶＢＳ画像表示エリア２３ｄと、設定された複数の支援ルートを指定するチェックボックス２０１と、ＶＢＳ画像表示エリア２３ｄに表示されるＶＢＳ画像を支援ルートに沿った動画として再生させる再生ボタン２０２とからなる。このルート検証ウインドウ２００のコロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃには設定された複数、図１７の場合３本の支援ルートが表示されている。

入力装置１９を操作して、例えばチェックボックス２０１で３本の支援ルートのうちの第１の支援ルートをチェックすると、図１８に示すように、コロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃ上の第１の支援ルートの始点位置にポインタ２１０がマークされ、このポインタ２１０が位置する第１の支援ルートの位置のＶＢＳ画像がＶＢＳ画像表示エリア２３ｄに表示される。なお、ポインタ２１０は第１の支援ルート上のみを移動可能となっており、ポインタ２１０の近傍には第１の支援ルートのポインタであることを示す文字データ「１」が併記されている。

入力装置１９を操作して、例えばコロナル像２３ａ上でポインタ２１０を第１の支援ルートに沿って任意の位置に移動させると、図１９に示すようにＶＢＳ画像表示エリア２３ｄに表示されるＶＢＳ画像が移動したポインタ２１０が位置する第１の支援ルートの位置でのＶＢＳ画像に変化する。なお、図１８のＶＢＳ画像から図１９のＶＢＳ画像へは、ポインタ２１０の移動に伴ったＶＢＳ画像の動画像として変遷する。

また、例えば図２０に示すように、第１の支援ルートの始点位置にポインタ２１０がマークされた状態で、再生ボタン２０２を入力装置１９によりクリックすると、ポインタ２１０が始点位置より終点位置まで支援ルートに沿って移動し、ＶＢＳ画像が動画像としてＶＢＳ画像表示エリア２３ｄに表示されながら、最終的に図２１に示すようにＶＢＳ画像表示エリア２３ｄに表示されるＶＢＳ画像が終点位置のＶＢＳ画像となる。

なお、ポインタ２１０は第１の支援ルートの任意の位置にマークされている場合に、再生ボタン２０２がクリックされると、該位置から終点位置まで支援ルートに沿って移動し、ＶＢＳ画像が動画像としてＶＢＳ画像表示エリア２３ｄに表示されながら、やはり最終的に図２１に示すようにＶＢＳ画像表示エリア２３ｄに表示されるＶＢＳ画像が終点位置のＶＢＳ画像となる。

このようにすることで、第１の支援ルートでのＶＢＳ画像を確認することができるので、該第１の支援ルートが支援に適したルートであるかどうかを検証することができる。

これらの過程を第２の支援ルート及び第３の支援ルートに対しても適用することで支援に最も適したルートを検証・選択することができる。

また、ルート検証ウインドウ２００では、複数の支援ルートを同時に検証することができる。すなわち、図２２に示すように、例えばチェックボックス２０１で３本の支援ルート全てをチェックすると、コロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃ上の支援ルートの始点位置にポインタ２１０がマークされるが、３本の支援ルートの始点位置は同一なので、ポインタ２１０の表示は１つになる。このとき、ポインタ２１０の近傍には第１ないし第３の支援ルートのポインタであることを示す文字データ「１」、「２」、「３」が併記される。

また、この図２２のルート検証ウインドウ２００では、ＶＢＳ画像表示エリア２３ｄの代わりにぞれぞれのルートのＶＢＳ画像を表示するための３つのＶＢＳ画像表示エリア２３ｄ１，ＶＢＳ画像表示エリア２３ｄ２，ＶＢＳ画像表示エリア２３ｄ３が設けられている。そして、ＶＢＳ画像表示エリア２３ｄ１，ＶＢＳ画像表示エリア２３ｄ２，ＶＢＳ画像表示エリア２３ｄ３には、ぞれぞれのルート上のポインタ２１０が位置するＶＢＳ画像が表示される。図２２ではぞれぞれのルート上のポインタ２１０が始点位置に位置するために、第１の挿入ルート用のＶＢＳ画像表示エリア２３ｄ１，第２の挿入ルート用のＶＢＳ画像表示エリア２３ｄ２，第３の挿入ルート用のＶＢＳ画像表示エリア２３ｄ３に表示されるＶＢＳ画像は、皆同一で始点位置でのＶＢＳ画像が表示される。

そして、この状態で、例えばポインタ２１０の近傍の文字データ「３」をクリックして、第３の挿入ルートに沿って移動させると、図２３に示すように、第３の挿入ルート上に第３の挿入ルートのポインタ２１０にマークされると共に、ＶＢＳ画像表示エリア２３ｄ３には第３の挿入ルートのポインタ２１０が位置するＶＢＳ画像が表示される。このときＶＢＳ画像表示エリア２３ｄ１，ＶＢＳ画像表示エリア２３ｄ２には、そのまま始点位置でのＶＢＳ画像が表示される。

これらの文字データのクリック操作は、各挿入ルート上で可能であって、挿入ルートでこのような操作を行うことで、操作を行った挿入ルートに対応したＶＢＳ画像表示エリアに、該挿入ルートのポインタ２１０が位置するＶＢＳ画像が表示される。ポインタ２１０の移動に伴うＶＢＳ画像は、上述したように動画として変遷する。

また、図２４に示すように、再生ボタン２０２をクリックすると、全ての挿入ルートに沿ってそれぞれのポインタ２１０が移動し、ＶＢＳ画像が動画像として第１の挿入ルート用のＶＢＳ画像表示エリア２３ｄ１，第２の挿入ルート用のＶＢＳ画像表示エリア２３ｄ２，第３の挿入ルート用のＶＢＳ画像表示エリア２３ｄ３に表示されながら、最終的に図２１に示すように第１の挿入ルート用のＶＢＳ画像表示エリア２３ｄ１，第２の挿入ルート用のＶＢＳ画像表示エリア２３ｄ２，第３の挿入ルート用のＶＢＳ画像表示エリア２３ｄ３に表示されるＶＢＳ画像が終点位置のＶＢＳ画像となる。

図２５に示すように、挿入ルートが４本の場合には、第４の挿入ルート用のＶＢＳ画像表示エリア２３ｄ４が表示されるが、その際の作用は図２２ないし図２４と同様になる。

また、挿入ルートが５本以上の場合には、同時にＶＢＳ画像を表示すると、表示したＶＢＳ画像が小さくなりすぎるため、図２６に示すように、ＶＢＳ表示フレーム２２０をルート検証ウインドウ２００に表示する。

このＶＢＳ表示フレーム２２０は、図２７に示すように、例えば６つの支援ルート内の任意の支援ルートを指定するチェックボックス２２１と、チェックボックス２２１で選択した支援ルートが４つ以下の場合のＶＢＳ画像を表示するＶＢＳ画像表示エリアからなるＶＢＳ画像表示部２２２とからなる。例えばチェックボックス２２１において、第１の支援ルート、第３の支援ルート、第４の支援ルート、第６の支援ルートが選択されると、ＶＢＳ画像表示部２２２のＶＢＳ画像表示エリアの左上に支援ルートの番号が表記され、このＶＢＳ画像表示エリアに各支援ルート上のポインタ２１０の位置するＶＢＳ画像が表示される。ＶＢＳ画像の表示方法は上述した図２２ないし図２４と同様である。

また、チェックボックス２２１により、例えば６本全ての支援ルートが選択されると、図２８及び図２９に示すように、ＶＢＳ画像表示部２２２にスクロールバー２２３が表示される。ＶＢＳ画像表示部２２２に表示されるＶＢＳ画像表示エリアは４つに限定されるが、スクロールバー２２３を操作することにより、順次６つのＶＢＳ画像表示エリアのＶＢＳ画像を確認できる。図２８は第１ないし第４の挿入ルート上のＶＢＳ画像が表示可能な状態を示し、図２９は第３ないし第６の挿入ルート上のＶＢＳ画像が表示可能な状態を示している。

なお、チェックボックス２２１の代わりに、図３０に示すように、入力装置１９を操作することで、ＶＢＳ表示フレーム２２０上にポップアップウインドウ２２４を表示させ、ポップアップウインドウ２２４上で挿入ルートを選択させるようにしてもよく、その際は選択数を４つ以下に限定することで、表示するＶＢＳ画像のサイズを確認可能な大きさにすることが可能となる。

また、本実施例のルート設定部１４のルート検証機能１４ｄでは、入力装置１９からルート表示変更信号が入力されると、図３１に示すようなルート検証ウインドウ２００をモニタ６に表示する。

ルート検証機能１４ｄは、図３２に示すようにＣＴ画像データに基づく気管支の３次元画像３００を細線化することで、気管支の細線化モデル画像３０１を生成し、図３１のルート検証ウインドウ２００では、コロナル像２３ａ、アキシャル像２３ｂ、サジタル像２３ｃの代わりに、細線化モデル画像３０１を３Ｄ画像表示エリア３１０に表示することができる。

この３Ｄ画像表示エリア３１０の下段には細線化モデル画像３０１をＣ軸回りに回転させるための左回転ボタン３１１と、右回転ボタン３１２とが設けられており、その他は図１７と同じである。

図３３に示すように、例えばチェックボックス２０１で第１の挿入ルートを選択すると、細線化モデル画像３０１上の始点位置にポインタ２１０がマークされ、ＶＢＳ画像表示エリア２３ｄには始点位置での第１の挿入ルートのＶＢＳ画像が表示される。

このとき、回転ボタン３１１あるいは右回転ボタン３１２をクリックすると、クリックに対応した時間だけ細線化モデル画像３０１がＣ軸回りに左あるいは右に回転する。ＶＢＳ画像表示エリア２３ｄのＶＢＳ画像は固定された始点からの画像であるので、細線化モデル画像３０１がＣ軸回りに回転すると、その回転に同期してＶＢＳ画像が回転される。これによりＶＢＳ画像を気管支管内で任意に回転させてＶＢＳ画像を確認することができる。

また、図３４に示すように、細線化モデル画像３０１上のポインタ２１０を任意の挿入ルート上の位置に移動させることができ、この場合上述したように、ＶＢＳ画像が動画として変遷しながらポインタ２１０が位置する挿入ルートのＶＢＳ画像をＶＢＳ画像表示エリア２３ｄに表示する。

同様に、再生ボタン２０２をクリックすることで、例えば図３５のように始点位置にポインタ２１０が位置した状態から、図３６に示すような終点位置にポインタ２１０が位置した状態に移動し、その際にこのポインタ２１０の移動に連動して、ＶＢＳ画像をＶＢＳ画像表示エリア２３ｄにＶＢＳ画像が動画として表示される。

さらに、図３７のように、例えばチェックボックス２０１で３つの挿入ルートを選択すると、細線化モデル画像３０１上にそれぞれのポインタ２１０が表示される。なお、ＶＢＳ画像の表示は、ＭＰＲ画像にて挿入ルート上でポインタ２１０等を操作した際と同様であって、４本の挿入ルートまでは、図３７の形式のルート検証ウインドウ２００が用いられる。

挿入ルート５本以上になると、図３８に示すように、ルート検証ウインドウ２００にはＶＢＳ表示フレーム２２０が表示されるが、このＶＢＳ表示フレーム２２０については上述したので、説明は省略する。

このように仮想画像検証機能１４ｄにより選択された最適な支援ルートにおける挿入支援装置５による挿入支援下での気管支内視鏡検査を開始すると、モニタ７に図３９に示すような挿入支援画面５１を表示する。なお、モニタ６にもモニタ７と同様な挿入支援画面５１が表示される。

この挿入支援画面５１は、気管支内視鏡装置３からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像像５３ａを表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像像５３ａを縮小して分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、ライブ画像が位置する分岐点に対応した仮想画像であるＶＢＳ画像像５３ａがＶＢＳ画像表示エリア５３に表示される。

ここで、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。

図４０ないし図４４は本発明の実施例２に係わり、図４０はルート検証機能によるルート設定シミュレーション処理の流れを示すフローチャート、図４１は図４０のルート設定シミュレーション処理を説明する第１の図、図４２は図４０のルート設定シミュレーション処理を説明する第２の図、図４３は図４０のルート設定シミュレーション処理を説明する第３の図、図４４は図４０のルート設定シミュレーション処理を説明する第４の図である。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

実施例２のルート設定部１４のルート検証機能１４ｄは、ルート設定シミュレーション機能を有しおり、該ルート設定シミュレーション機能は、ルート設定終了後に、対象となる患者の気管支の構造と、過去の気管支構造データの類似性を比較し、気管支構造が所定の類似度以上に類似した気管支構造データがＣＴ画像データ格納部１２に存在し、かつ終点位置が類似した挿入支援時の挿入支援画面５１上での操作データがＶＢＳ画像格納部１６に存在する際に、その旨を表示し、該気管支構造データ及び操作データを用いた挿入支援のシミュレーションを行うことを可能とし、術者に対して設定したルートの検証をより適切に実施することを可能とする。

具体的には、図４０に示すように、ルート検証機能１４ｄは、ステップＳ１０１にてＣＴ画像データ格納部１２に格納されている対象となる患者の気管支構造を分析し、ステップＳ１０２にてＣＴ画像データ格納部１２上に構築されている過去の気管支構造データからなるデータベースより類似構造の気管支構造データを検索する。

そして、ステップＳ１０３にてルート検証機能１４ｄは、対象となる患者の気管支構造データに所定の類似度以上に類似する過去の気管支構造データが存在するかどうか判断し、存在する場合は、ステップＳ１０４にて所定の類似度以上のに一致するルート範囲を表示する。表示方法としては、例えば、
（１）図４１に示すようなＭＰＲ画像上
（２）図４２に示すような細線化モデル画像上
（３）図４３に示すようなボリュームデータ画像上
等の各画像上でのルート範囲表示によりなされる。

なお、図４１ないし図４３における各画像上では、終点範囲１０００に至るまでのルート上で一致するルート範囲１００１と一致しないルート範囲１００２を色分けして表示する。

そして、ステップＳ１０５にて表示されたルートに対して過去の気管支構造データに基づくＶＢＳ画像によるシミュレーションを実施するかどうか判断し、シミュレーションを実施を実施すると、ステップＳ１０６にて図４４に示すようなＶＢＳ画像のように、一致するルート範囲での対象となる患者のＶＢＳ画像と過去のＶＢＳ画像の比較表示によるシミュレーションが実施され、ステップＳ１０７にて過去の気管支構造データがシミュレーション対象データとしてＣＴ画像データ格納部１２のデータベースに登録され処理を終了する。

なお、図４４では、対象となる患者（今のデータ）のＶＢＳ画像を表示する第１ＶＢＳ画像表示エリア１０１０と、類似する（過去データ）のＶＢＳ画像を表示する第２ＶＢＳ画像表示エリア１０１１と、これらＶＢＳ画像の表示フレームを指定するためのスライダバー１０１２とからなる画面により表示される。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図 図１のルート設定部の機能構成を示すブロック図 図１の挿入支援装置による挿入支援準備処理の流れを示すフローチャート 図３の処理で展開されるルート設定画面を示す第１の図 図３の処理で展開されるルート設定画面を示す第２の図 図３の処理で展開されるルート設定画面を示す第３の図 図３の処理で展開されるルート設定画面を示す第４の図 図３の処理で展開されるルート設定画面を示す第４の図 図９は図３のルート設定処理の流れを示すフローチャート 図９の処理を説明する第１の図 図９の処理を説明する第２の図 図９の処理で展開されるルート設定画面を示す第１の図 図９の処理を説明する第３の図 図９の処理で展開されるルート設定画面を示す第２の図 図９の処理を説明する第４の図 図９の処理で展開されるルート設定画面を示す第３の図 図２のルート設定部のルート検証機能が生成するＭＰＲ画像によるルート検証ウインドウを示す図 図１７のルート検証ウインドウの作用を説明する第１の図 図１７のルート検証ウインドウの作用を説明する第２の図 図１７のルート検証ウインドウの作用を説明する第３の図 図１７のルート検証ウインドウの作用を説明する第４の図 図１７のルート検証ウインドウの作用を説明する第５の図 図１７のルート検証ウインドウの作用を説明する第６の図 図１７のルート検証ウインドウの作用を説明する第７の図 図１７のルート検証ウインドウの作用を説明する第８の図 図１７のルート検証ウインドウの作用を説明する第９の図 図２６のＶＢＳ表示フレームを説明する第１の図 図２６のＶＢＳ表示フレームを説明する第２の図 図２６のＶＢＳ表示フレームを説明する第３の図 図２６のＶＢＳ表示フレームの変形例を説明する図 図２のルート設定部のルート検証機能が生成する細線化モデル画像によるルート検証ウインドウを示す図 図３１の細線化モデル画像を説明する図 図３１のルート検証ウインドウの作用を説明する第１の図 図３１のルート検証ウインドウの作用を説明する第２の図 図３１のルート検証ウインドウの作用を説明する第３の図 図３１のルート検証ウインドウの作用を説明する第４の図 図３１のルート検証ウインドウの作用を説明する第５の図 図３１のルート検証ウインドウの作用を説明する第６の図 図２の処理で展開される挿入支援画面を示す図 本発明の実施例２に係るルート検証機能によるルート設定シミュレーション処理の流れを示すフローチャート 図４０のルート設定シミュレーション処理を説明する第１の図 図４０のルート設定シミュレーション処理を説明する第２の図 図４０のルート設定シミュレーション処理を説明する第３の図 図４０のルート設定シミュレーション処理を説明する第４の図

符号の説明

１…気管支挿入支援システム
３…気管支内視鏡装置
５…挿入支援装置
６，７…モニタ
８…入力部
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１４ａ…ルート始点設定機能
１４ｂ…関心領域設定機能
１４ｃ…ルート抽出機能
１４ｄ…ルート検証機能
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…入力装置
２１…ルート設定画面
２３ａ…コロナル像
２３ｂ…アキシャル像
２３ｃ…サジタル像
２３ｄ…ＶＢＳ画像表示エリア
２００…ルート検証ウインドウ
２０１…チェックボックス
２０２…再生ボタン
２１０…ポインタ
代理人 弁理士 伊藤 進

Claims (6)

1. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   内視鏡の前記被検体内の体腔路への挿入ルートの始点を設定するルート始点設定手段と、
   前記被検体内の関心部位の領域を設定する関心領域設定手段と、
   前記始点から前記関心部位の領域に至る複数の前記挿入ルートを抽出するルート抽出手段と、
   前記ルート抽出手段が抽出した複数の前記挿入ルートを検証するルート検証手段と
   を備えたことを特徴とする挿入支援システム。
2. 前記ルート検証手段は、前記ルート抽出手段が抽出した前記挿入ルート上の任意の位置を指定する位置指定手段と、
   前記位置指定手段が指定した前記位置での前記仮想画像を表示する表示手段と
   を有することを特徴とする請求項１に記載の挿入支援システム。
3. 前記位置指定手段が指定した前記位置を移動させる位置移動手段
   を有することを特徴とする請求項２に記載の挿入支援システム。
4. 前記ルート抽出手段は、前記関心領域の近傍に位置する前記体腔路の位置への前記挿入ルートを複数抽出する
   ことを特徴とする請求項２に記載の挿入支援システム。
5. 前記表示手段は、前記３次元領域の画像データに基づく多断面再構築画像上に前記ルート抽出手段が抽出した前記挿入ルートを表示する
   ことを特徴とする請求項２に記載の挿入支援システム。
6. 前記表示手段は、前記３次元領域の画像データに基づく前記被検体内の体腔路の３次元再構築画像上に前記ルート抽出手段が抽出した前記挿入ルートを表示する
   ことを特徴とする請求項２に記載の挿入支援システム。
   

Images