JP2016039874A - 内視鏡画像診断支援装置、システム、方法およびプログラム - Google Patents

Abstract

【課題】内視鏡画像診断支援装置、システム、方法およびプログラムにおいて、内視鏡先端と特定点および関心領域との距離を分かりやすくする。
【解決手段】画像取得部７１が実内視鏡画像Ｔ０を取得し、仮想内視鏡画像生成部７４が、実内視鏡画像Ｔ０の視点に対応する仮想内視鏡画像Ｋ０を生成する。投影像生成部７５が、気管支内部に設定された特定点を基準として、気管支内壁に関心領域を投影した第１の投影像Ｒ１と、内視鏡の先端３Ｂの位置を基準として、気管支内壁に関心領域を投影した第２の投影像とを生成する。表示制御部７６は、内視鏡を関心領域に導くためのナビゲーション画像を生成し、ナビゲーション画像に第１および第２の投影像Ｒ１，Ｒ２を重畳してディスプレイ８４に表示する。
【選択図】図３

Description

本発明は、被検体を撮影して得られた３次元画像を用いて、気管支のような体内の管腔状臓器への内視鏡の挿入および生検を支援する内視鏡画像診断支援装置、システム、方法およびプログラムに関するものである。

近年、患者の大腸や気管支等の管腔状臓器を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管腔状臓器内部の色や質感が鮮明に表現された画像が得られる一方で、管腔状臓器の内部を２次元の画像に表すものである。このため、内視鏡画像が管腔状臓器内のどの位置を表しているものかを把握することが困難である。

そこで、ＣＴ（Computed Tomography）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、管腔状臓器内において、異常部位である関心領域が存在する目標とする地点までの経路を予め取得する技術が提案されている。この仮想内視鏡画像は、内視鏡を目標とする位置まで導くためのナビゲーション画像として用いられる。

一方、関心領域の組織のサンプルを採取して生検を行うために、先端に穿刺針が取り付けられた内視鏡が提案されている。このような内視鏡を用いて生検のために組織のサンプルを採取する場合、内視鏡を操作するオペレータは、ナビゲーション画像を見ながら関心領域の位置まで内視鏡を挿入し、穿刺針を用いて関心領域を穿刺することにより、関心領域の組織のサンプルを採取する。そして採取した組織のサンプルを用いて生検が行われる。

しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する管路内を通って、穿刺を行う関心領域の位置まで内視鏡の先端を短時間で到達させるのは困難である。また、関心領域が気管支の外側にあると、内視鏡先端と穿刺を行う位置との距離を把握しにくい。

このため、内視鏡先端と穿刺を行う位置との関係を明示して、管腔状臓器における目標とする位置までの内視鏡の経路をナビゲーションする各種手法が提案されている。例えば特許文献１には、気管支の仮想内視鏡画像に、サンプルを採取する関心領域を重畳表示する手法が提案されている。とくに特許文献１の手法においては、内視鏡先端から関心領域までの距離が小さくなるほど、関心領域が大きく表示されるため、内視鏡先端から関心領域までの距離を把握することができる。また、特許文献２には、関心領域への内視鏡先端の接近に応じて、仮想内視鏡画像の色調を変更することにより、内視鏡先端から関心領域までの距離を把握する手法が提案されている。また、特許文献３には、気管支等の管腔状臓器の仮想内視鏡画像において、内視鏡先端から管腔状臓器の壁の外側にある関心領域を、内壁とは異なる画素値により内壁上に表示する手法が提案されている。さらに、特許文献４には、気管支壁の外側にある関心領域を、視点位置からの実内視鏡画像または仮想内視鏡画像に融合させて表示する手法が提案されている。特許文献１〜４の手法によれば、仮想内視鏡画像あるいは実内視鏡画像中の気管支の内壁に、内視鏡先端の位置を基準とした関心領域を表示することができるため、内視鏡を関心領域まで容易に導くことができる。

国際公開２０１１／１０２０１２号 特開２００５−１３１３１９号公報 特開２００５−３４９１９９号公報 特表２０１０−５１７６３２号公報

しかしながら、特許文献１〜４に記載された手法においては、内視鏡の先端を基準とした関心領域の位置は分かるものの、内視鏡先端と関心領域との距離が分かりにくい。また、穿刺を行う際には、予め設定された穿刺を行うのに好ましい、内視鏡の先端が到達すべき位置（以下特定点とする）と内視鏡先端とを一致させる必要があるが、特許文献１〜４に記載された手法においては、内視鏡先端を特定点と精度よく一致させることは困難である。

本発明は、上記事情に鑑みなされたものであり、内視鏡画像診断支援装置、システム、方法およびプログラムにおいて、内視鏡先端と特定点および関心領域との距離を分かりやすくすることを目的とする。

本発明による内視鏡画像診断支援装置は、被検体の３次元画像に含まれる管腔状臓器を抽出する管腔状臓器抽出手段と、
管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、管腔状臓器の内壁を表す実内視鏡画像、および３次元画像から生成された、内視鏡の先端に対応する３次元画像中の位置から見た管腔状臓器の内壁を表す仮想内視鏡画像を取得する画像取得手段と、
３次元画像を用いて、管腔状臓器内部に設定された特定点を基準として、管腔状臓器の内壁に、管腔状臓器に関連する関心領域を投影した第１の投影像を生成し、かつ内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第２の投影像を生成する投影像生成手段と、
実内視鏡画像および仮想内視鏡画像の少なくとも一方に第１および第２の投影像を重畳させて表示手段に表示する表示制御手段とを備えたことを特徴とするものである。

「管腔状臓器に関連する関心領域」とは、気管支、小腸、大腸等の管腔状臓器に関連する腫瘍、結節およびリンパ節等の構造物の領域を意味する。

なお、本発明による内視鏡画像診断支援装置においては、第１の投影像を、特定点または第１の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとしてもよい。

この場合、第１の投影像を、第１の投影像の輪郭線、不透明度および色の少なくとも１つを変更することにより強調されてなるものとしてもよい。

また、本発明による内視鏡画像診断支援装置においては、第２の投影像を、内視鏡の先端または第２の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとしてもよい。

この場合、第２の投影像を、第２の投影像の輪郭線、不透明度および色の少なくとも１つを変更することにより強調されてなるものとしてもよい。

「特定点あるいは内視鏡の先端もしくは第１または第２の投影像の投影位置と関心領域の表面との距離に応じて強調される」とは、距離が変化した際に投影像の強調の程度を変更することをいう。例えば、距離が小さくなるほど、投影像がより強調されるように強調の程度を変更することが好ましい。より具体的には、距離が小さくなるほど、投影像の輪郭線をより濃くあるいは太くしたり、投影像の不透明度をより１に近づけるようにしたり、色の濃度をより大きくしたりすることが考えられる。

なお、投影位置と関心領域の表面との距離としては、投影位置の中心から関心領域の表面までの距離としてもよく、関心領域の表面と投影位置における各投影点との距離の平均値としてもよい。

また、本発明による内視鏡画像診断支援装置においては、第１および第２の投影像の少なくとも一方を、内視鏡の先端と特定点とが特定の距離以下となった場合に、特定の距離より大きい場合よりも強調されてなるものとしてもよい。

この場合、特定の距離を、関心領域の穿刺を行うために内視鏡の先端に取り付けられた穿刺針による穿刺可能となる距離としてもよい。

「特定の距離」とは、内視鏡に取り付けられた穿刺針により、関心領域の穿刺を行うことが可能となる距離、すなわち穿刺針の稼動範囲となる距離である。具体的には、穿刺針の先端の数ミリ程度が関心領域に穿刺されれば、組織のサンプルを採取することができるため、特定の距離は、穿刺針の長さから数ミリ程度短い距離とすることが考えられる。

また、本発明による内視鏡画像診断支援装置においては、特定点を、関心領域の生検を行うための施術前に設定された点としてもよい。

また、特定点を、関心領域の生検を行うための施術中に設定された点としてもよい。

また、表示制御手段を、第１の投影像および第２の投影像の少なくとも一方の表示および非表示を切り替え可能な手段としてもよい。

また、画像取得手段を実内視鏡画像を取得する手段とし、
３次元画像から仮想内視鏡画像を生成する仮想内視鏡画像生成手段をさらに備えるものとしてもよい。

また、管腔状臓器内に挿入された内視鏡の先端の位置を検出する位置検出手段をさらに備えるものとしてもよい。

また、３次元画像から関心領域を抽出する関心領域抽出手段をさらに備えるものとしてもよい。

本発明による内視鏡画像診断支援システムは、内視鏡と、
内視鏡により被検体の３次元画像に含まれる管腔状臓器の内面を撮影することにより、管腔状臓器の内面を表す実内視鏡画像を生成する実内視鏡画像生成手段と、
本発明による内視鏡画像診断支援装置とを備えたことを特徴とするものである。

本発明による内視鏡画像診断支援方法は、被検体の３次元画像に含まれる管腔状臓器を抽出し、
管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、管腔状臓器の内壁を表す実内視鏡画像、および３次元画像から生成された、内視鏡の先端に対応する３次元画像中の位置から見た管腔状臓器の内壁を表す仮想内視鏡画像を取得し、
３次元画像を用いて、管腔状臓器の内部に設定された特定点を基準として、管腔状臓器の内壁に、管腔状臓器に関連する関心領域を投影した第１の投影像を生成し、かつ内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第２の投影像を生成し、
実内視鏡画像および仮想内視鏡画像の少なくとも一方に第１および第２の投影像を重畳させて表示手段に表示することを特徴とするものである。

なお、本発明による内視鏡画像診断支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、３次元画像から、管腔状臓器内部に設定された特定点を基準として、管腔状臓器の内壁に関心領域を投影した第１の投影像が生成され、内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影した第２の投影像が生成される。そして、実内視鏡画像および仮想内視鏡画像の少なくとも一方に第１および第２の投影像が重畳されて表示手段に表示される。

ここで、第１の投影像は特定点を基準として、管腔状臓器の内壁に関心領域を投影することにより生成され、第２の投影像は、内視鏡の先端を基準として、管腔状臓器の内壁に関心領域を投影することにより生成される。このため、実内視鏡画像および仮想内視鏡画像の少なくとも一方に重畳される第１の投影像と第２の投影像との間隔は、特定点と内視鏡の先端との距離を表すものとなる。これにより、内視鏡を管腔状臓器内において特定点へ向けて移動させると、第１の投影像と第２の投影像との間隔が徐々に小さくなる。したがって、本発明によれば、第１の投影像と第２の投影像との間隔により、内視鏡の先端と特定点との距離、さらには関心領域との距離を容易に把握することができる。

また、第１の投影像と第２の投影像とが重なるように内視鏡を移動させることにより、内視鏡の先端を特定点と精度よく一致させることができる。このため、管腔状臓器内のより好ましい位置において、関心領域の穿刺を行って、関心領域の組織のサンプルを採取することができる。

本発明の実施形態による内視鏡画像診断支援装置を適用した、内視鏡画像診断支援システムの概要を示すハードウェア構成図 内視鏡の先端の拡大図 ワークステーションに内視鏡画像診断支援プログラムをインストールすることにより実現された内視鏡画像診断支援装置の概略構成を示す図 気管支と関心領域との位置関係を模式的に示す図 第１の投影像の生成を説明するための図 投影像の強調の例を説明するための図 投影像の強調の他の例を説明するための図 本実施形態において行われる処理を示すフローチャート ナビゲーション画像の例を示す図 ナビゲーション画像の他の例を示す図 ナビゲーション画像のさらに他の例を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による内視鏡画像診断支援装置を適用した、内視鏡画像診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６、および内視鏡画像診断支援装置８とが、ネットワーク９を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管腔状臓器の内部を撮影する内視鏡スコープ３１、撮影により得られた信号に基づいて管腔状臓器の内部の画像を生成するプロセッサ装置３２、並びに内視鏡スコープ３１の先端の位置および向きを検出する位置検出装置３４等を備える。

内視鏡スコープ３１は、操作部３Ａに管腔状臓器内に挿入される挿入部が連続して取り付けられたものであり、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、後述する穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡の先端３Ｂと称するものとする。

図２は内視鏡の先端３Ｂの拡大図である。図２に示すように、内視鏡の先端３Ｂには、撮像レンズ３５および撮像レンズ３５に入射する気管支内壁の像を、プロセッサ装置３２に案内するための光ファイバ３６が設けられている。また、気管支に関連する関心領域の組織の生検を行うために、関心領域を穿刺して組織のサンプルを採取する穿刺針３７が取り付けられている。穿刺針３７は、操作部３Ａの操作により、矢印Ａ方向に往復移動可能に先端３Ｂに取り付けられている。オペレータは、気管支内に設定された特定点に向けて内視鏡スコープ３１の挿入部を移動する。そして特定点において操作部３Ａを操作することにより、内視鏡の先端３Ｂから、穿刺針３７を関心領域に向けて進出させて関心領域を穿刺する。そしてこれにより、関心領域の組織のサンプルを採取することができる。

位置検出装置３４は、被検体の体内における内視鏡の先端３Ｂの位置および向きを検出するものである。具体的には、被検体の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡の先端３Ｂの特徴的な形状を検出することで、被検体の体内における内視鏡の先端３Ｂの相対的な位置および向きを検出し、検出した先端３Ｂの位置および向きの情報をプロセッサ装置３２に供給するものである（例えば、特開２００６−６１２７４号公報参照）。検出した先端３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向に該当する。

プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。なお、プロセッサ装置３２が実内視鏡画像生成手段に対応する。内視鏡画像Ｔ０は、位置検出装置３４により検出されたその撮影時における先端３Ｂの位置および向きの情報が付帯情報として付加され、画像保管サーバ６あるいは内視鏡画像診断支援装置８に送信される。

３次元画像撮影装置５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging ）装置、ＰＥＴ(Positron Emission Tomography )、超音波診断装置等である。この３次元画像撮影装置５により生成された３次元画像Ｖ０は画像保管サーバ６に送信され、保存される。本実施形態では、３次元画像撮影装置５は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。

画像保管サーバ６は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ６は、ネットワーク９を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された内視鏡画像Ｔ０および３次元画像撮影装置５で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像Ｔ０は、内視鏡の先端３Ｂの移動に応じて撮影される動画像データとなる。このため、内視鏡画像Ｔ０は、画像保管サーバ６を経由することなく、内視鏡画像診断支援装置８に送信されることが好ましい。なお、画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。

内視鏡画像診断支援装置８は、１台のコンピュータに、本発明の内視鏡画像診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡画像診断支援プログラムは、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図３は、ワークステーションに内視鏡画像診断支援プログラムをインストールすることにより実現された内視鏡画像診断支援装置の概略構成を示す図である。図３に示すように、内視鏡画像診断支援装置８は、標準的なワークステーションの構成として、ＣＰＵ８１、メモリ８２およびストレージ８３を備えている。また、内視鏡画像診断支援装置８には、本発明の表示手段であるディスプレイ８４と、マウス等の入力装置８５とが接続されている。

ストレージ８３には、ネットワーク９を経由して内視鏡装置３、３次元画像撮影装置５および画像保管サーバ６等から取得した実内視鏡画像Ｔ０、３次元画像Ｖ０および内視鏡画像診断支援装置８での処理によって生成された画像等が記憶されている。

また、メモリ８２には、内視鏡画像診断支援プログラムが記憶されている。内視鏡画像診断支援プログラムは、ＣＰＵ８１に実行させる処理として、内視鏡装置３が取得した実内視鏡画像Ｔ０および３次元画像撮影装置５が取得した３次元画像Ｖ０の画像取得処理、管腔状臓器および関心領域の抽出処理、３次元画像Ｖ０からの仮想内視鏡画像生成処理、投影像生成処理、並びに表示制御処理を規定している。そして、ＣＰＵ８１がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、画像取得部７１、気管支抽出部７２、関心領域抽出部７３、仮想内視鏡画像生成部７４、投影像生成部７５および表示制御部７６として機能する。なお、内視鏡画像診断支援装置８は、画像取得処理、管腔状臓器および関心領域の抽出処理、仮想内視鏡画像生成処理、投影像生成処理、並びに表示制御処理をそれぞれ行うＣＰＵを備えるものであってもよい。また、気管支抽出部７２が、本発明の管腔状臓器抽出手段に対応する。

画像取得部７１は、内視鏡装置３により気管支内を所定の視点位置において撮影した内視鏡画像Ｔ０および３次元画像Ｖ０を取得する。ここで、以降の説明において、内視鏡装置３により撮影した内視鏡画像Ｔ０を、後述する仮想内視鏡画像と区別するために実内視鏡画像Ｔ０と称するものとする。画像取得部７１は、実内視鏡画像Ｔ０および３次元画像Ｖ０が既にストレージ８３に記憶されている場合には、ストレージ８３から取得するようにしてもよい。実内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像Ｔ０は必要に応じて表示制御部７６に出力される。

気管支抽出部７２は、３次元画像Ｖ０から気管支を抽出する。具体的には、気管支抽出部７２は、例えば特開２０１０-２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を気管支として抽出するものである。以下、このグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素ごとに画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支抽出部７２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像ごとに検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度の３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、検出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、気管支抽出部７２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表すグラフ構造を得ることができる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。

関心領域抽出部７３は、３次元画像Ｖ０から、気管支に関連する結節、腫瘍およびリンパ節等を関心領域として抽出する。ここで、関心領域抽出部７３は、結節、腫瘍およびリンパ節等の関心領域の種類ごとに、３次元画像Ｖ０中の各画素がその関心領域を示す画素であるかどうかを識別する識別器を備える。識別器は、各種類の関心領域を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。関心領域抽出部７３は、識別器を用いて、３次元画像Ｖ０から関心領域を抽出する。なお、関心領域抽出部７３を、公知のコンピュータ支援診断ＣＡＤ（computer-aided diagnosis）システムを備えるものとし、ＣＡＤシステムを用いて関心領域を抽出するようにしてもよい。また、オペレータがその３次元画像Ｖ０を読影して発見した関心領域の位置を、入力装置８５を用いて入力したものを受けて、関心領域を抽出するようにしてもよい。

仮想内視鏡画像生成部７４は、３次元画像Ｖ０から、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する。具体的には、仮想内視鏡画像生成部７４は、まず実内視鏡画像Ｔ０に付帯された先端３Ｂの位置および向き、すなわち実内視鏡画像Ｔ０の視点および視線方向の情報を取得する。また、気管支の内壁の形状が忠実に描写されるよう、気管支の内壁の画素に、一般的なボリュームレンダリングにおいて与えられる不透明度として１に近い値を与える。なお、不透明度は０〜１の値により定義されるものとする。そして、位置Ｐに対応する３次元画像Ｖ０中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖ０から生成する。投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。以上の処理により、生成される投影画像は、実内視鏡画像Ｔ０と同一の構図を有する仮想内視鏡画像Ｋ０となる。仮想内視鏡画像Ｋ０は、必要に応じて表示制御部７６に出力される。

投影像生成部７５は、３次元画像Ｖ０を用いて、気管支内部に設定された特定点を基準として、気管支内壁に関心領域を投影した第１の投影像を生成し、かつ内視鏡の先端３Ｂの位置を基準として、気管支内壁に関心領域を投影した第２の投影像を生成する。まず、第１の投影像の生成について説明する。

まず、投影像生成部７５は、操作者による入力装置８５を用いての特定点の設定を受け付ける。特定点とは、内視鏡の先端３Ｂに設けられた穿刺針３７により、関心領域の穿刺を行うのに好ましい気管支内部の地点であり、オペレータにより予め設定される。例えば、オペレータは、内視鏡を用いた生検の施術前に、３次元画像Ｖ０に含まれる肺野領域をディスプレイ８４にボリュームレンダリング表示等して、気管支に関連する関心領域、すなわち腫瘍、結節およびリンパ節等を特定する。

図４は気管支と関心領域との位置関係を模式的に示す図である。図４に示すように、関心領域９１は気管支９０の外側であって、気管支９０に隣接して存在する。このため、オペレータは、ディスプレイ８４に表示された画像を見ながら、穿刺針３７の稼動範囲、内視鏡の先端３Ｂの湾曲可能な角度範囲等を考慮して、穿刺針３７を最も効率よく関心領域に到達させることができる位置を特定点に設定する。例えば、図４に示す点Ｐ０を特定点に設定する。なお、特定点Ｐ０の位置は、位置検出装置３４が用いた、被検体の特定部位の位置を基準点とした３次元座標により表される。このように設定された特定点の情報、すなわち特定点の３次元座標は、ストレージ８３に保存される。投影像生成部７５はストレージ８３から特定点の位置の情報を取得する。

次に投影像生成部７５は、特定点Ｐ０を基準として関心領域９１を気管支内壁に投影した第１の投影像を生成する。図５は第１の投影像の生成を説明するための図である。図５に示すように、投影像生成部７５は、特定点Ｐ０から関心領域９１の表面を構成する各画素に至る投影線、および投影線と気管支９０の内壁面９２との交点を求める。そして、関心領域９１を交点に投影することにより第１の投影像Ｒ１を取得する。

続いて、投影像生成部７５は、第２の投影像Ｒ２を生成する。なお、第２の投影像Ｒ２の生成は、第１の投影像Ｒ１を生成する際の基準位置が特定点Ｐ０ではなく、内視鏡の先端３Ｂの位置、すなわち実内視鏡画像Ｔ０の視点である点を除いて、第１の投影像Ｒ１の生成と同一であるため、ここでは詳細な説明は省略する。

表示制御部７６は、気管支内部のナビゲーション画像に第１および第２の投影像Ｒ１，Ｒ２を重畳してディスプレイ８４に表示する。ナビゲーション画像は、内視鏡を特定点Ｐ０、すなわち穿刺を行う位置まで導くための画像であり、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０の少なくとも一方から生成される。なお、本実施形態においては、仮想内視鏡画像Ｋ０をナビゲーション画像として用いるものとするが、実内視鏡画像Ｔ０をナビゲーション画像として用いてもよい。また、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０を並べてナビゲーション画像を生成してもよく、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０を重畳してナビゲーション画像を生成してもよい。なお、ナビゲーション画像が実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０を並べたものである場合、第１および第２の投影像Ｒ１，Ｒ２は、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０のいずれか一方のみに重畳してもよく、双方に重畳してもよい。

また、入力装置８５からの指示により、ナビゲーション画像Ｇ１において、仮想内視鏡画像Ｋ０、実内視鏡画像Ｔ０、仮想内視鏡画像Ｋ０と実内視鏡画像Ｔ０とを並べたもの、および仮想内視鏡画像Ｋ０と実内視鏡画像Ｔ０とを重畳したものを切り替えられるようにしてもよい。

なお、第１の投影像Ｒ１と第２の投影像Ｒ２とを区別するために、表示制御部７６は、第１および第２の投影像Ｒ１，Ｒ２を、それぞれ異なる画素値を有するように表示することが好ましい。この場合、第１の投影像Ｒ１を青色、第２の投影像Ｒ２を赤色となるように表示してもよい。また、画素値のみならず、第１および第２の投影像Ｒ１，Ｒ２とで輪郭線の種類を、例えば破線と実線というように異なるものとしてもよく、第１および第２の投影像Ｒ１，Ｒ２のそれぞれに異なる模様を付与して表示するようにしてもよい。

また、第１および第２の投影像Ｒ１，Ｒ２を生成する際の、基準となる位置と関心領域９１の表面との距離である投影距離に応じて、第１および第２の投影像Ｒ１，Ｒ２を強調して表示してもよい。例えば、第１の投影像Ｒ１に関して、図６に示すように、投影距離が小さいほど、段階的に第１の投影像Ｒ１の色の濃度を大きくするようにしてもよい。逆に、投影距離が小さいほど、段階的に第１の投影像Ｒ１の濃度を小さくするようにしてもよい。なお、図６においては投影距離を４段階に分け、投影距離が小さいほど大きい濃度となる４段階の濃度により第１の投影像Ｒ１が表されている。

また、図７に示すように、投影距離が小さいほど、徐々に第１の投影像Ｒ１の濃度を濃くするようにしてもよい。また、投影距離が小さいほど、第１の投影像Ｒ１の輪郭線が太くあるいは濃くなるように第１の投影像Ｒ１を生成してもよい。さらに、また、投影距離が小さいほど、第１の投影像Ｒ１の不透明度が１に近づくように第１の投影像Ｒ１を表示してもよい。

また、表示制御部７６は、内視鏡の先端３Ｂの位置の情報を位置検出装置３４から取得し、先端３Ｂの位置と特定点Ｐ０との距離が特定の距離以下となった場合に、特定の距離より大きい場合よりも、第１および第２の投影像Ｒ１，Ｒ２を強調して表示してもよい。具体的には、不透明度が０から１の間の値で定義される場合、先端３Ｂと特定点Ｐ０との距離が特定の距離より大きい場合には、第１および第２の投影像Ｒ１，Ｒ２の不透明度を、例えば０．５以下となるように小さい値とし、特定の距離以下となった場合に、第１および第２の投影像Ｒ１，Ｒ２の不透明度を１に近い値とすればよい。これにより、先端３Ｂと特定点Ｐ０との距離が特定の距離より大きい場合には、第１および第２の投影像Ｒ１，Ｒ２は透明に見え、特定の距離以下の場合には、第１および第２の投影像Ｒ１，Ｒ２は不透明に見えることとなる。

この場合、第１および第２の投影像Ｒ１，Ｒ２の双方を強調して表示してもよいが、第１の投影像Ｒ１のみ、あるいは第２の投影像Ｒ２のみを強調して表示してもよい。

なお、先端３Ｂの位置と特定点Ｐ０との距離が小さくなるほど、不透明度を大きくするようにしてもよい。また、不透明度のみならず、先端３Ｂの位置と特定点Ｐ０との距離が特定の距離以下となった場合に、輪郭線を太くしたり輪郭線の種類を変更したりして第１および第２の投影像Ｒ１，Ｒ２を強調表示してもよい。また、第１および第２の投影像Ｒ１，Ｒ２の色をそれまでとは異なるものとなるように変更したり、色の濃度を大きくしたりすることにより、第１および第２の投影像Ｒ１，Ｒ２を強調表示してもよい。本実施形態においては、内視鏡の先端３Ｂと特定点Ｐ０との距離が特定の距離より大きい場合に不透明度を０．５程度の第１の不透明度に設定し、特定の距離以下となった場合に、１に近い第２の不透明度に設定するものとして説明する。

ここで、特定の距離としては、穿刺針３７により関心領域９１の穿刺を行うことが可能となる距離である。具体的には、穿刺針３７の先端の数ミリ程度が関心領域に穿刺されれば、組織のサンプルを採取できるため、特定の距離は、穿刺針の長さから数ミリ程度短い距離とすることが考えられる。

なお、表示制御部７６において、投影距離に応じて第１および第２の投影像Ｒ１，Ｒ２を強調して表示するのに代えて、投影像生成部７５において、投影距離に応じて強調された第１および第２の投影像Ｒ１，Ｒ２を生成してもよい。この場合、表示制御部７６は、強調された第１および第２の投影像Ｒ１，Ｒ２をナビゲーション画像に重畳して表示すればよいこととなる。

次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は画像取得部７１により取得されてストレージ８３に保存されているものとする。また、気管支抽出部７２により３次元画像Ｖ０から気管支が抽出され、関心領域抽出部７３により３次元画像Ｖ０から関心領域が抽出され、その情報がストレージ８３に保存されているものとする。また、特定点Ｐ０はオペレータにより設定され、特定点Ｐ０の情報がストレージ８３に保存されているものとする。

オペレータによる処理開始の指示が入力装置５からなされると、画像取得部７１が実内視鏡画像Ｔ０を取得する（ステップＳＴ１）。そして、仮想内視鏡画像生成部７４が、実内視鏡画像Ｔ０の視点に対応する仮想内視鏡画像Ｋ０を生成する（ステップＳＴ２）。さらに、投影像生成部７５が、気管支内部に設定された特定点を基準として、気管支内壁に関心領域を投影した第１の投影像Ｒ１を生成し（ステップＳＴ３）、内視鏡の先端３Ｂの位置を基準として、気管支内壁に関心領域を投影した第２の投影像を生成する（ステップＳＴ４）。なお、第１の投影像Ｒ１は、内視鏡の先端３Ｂの位置に応じて変化するものではないため、予め生成してストレージ８３に保存しておくようにしてもよい。

次いで、表示制御部７６は、仮想内視鏡画像Ｋ０をナビゲーション画像として生成する（ステップＳＴ５）。続いて、表示制御部７６は、先端３Ｂの位置と特定点Ｐ０との距離を算出し、算出した距離が特定の距離以下となったか否かを判定する（ステップＳＴ６）。ステップＳＴ６が否定されると、表示制御部７６は第１および第２の投影像Ｒ１，Ｒ２の不透明度を第１の不透明度に設定し（ステップＳＴ７）、設定された第１の不透明度により、第１および第２の投影像Ｒ１，Ｒ２をナビゲーション画像に重畳して、ディスプレイ８４に表示し（ステップＳＴ８）、ステップＳＴ１にリターンする。

一方、ステップＳＴ６が肯定されると、表示制御部７６は第１および第２の投影像Ｒ１，Ｒ２の不透明度を第２の不透明度に設定し（ステップＳＴ９）、設定された第２の不透明度により、第１および第２の投影像Ｒ１，Ｒ２をナビゲーション画像に重畳して、ディスプレイ８４に表示し（ステップＳＴ８）、ステップＳＴ１にリターンする。

以下、本実施形態においてディスプレイ８４に表示されるナビゲーション画像について説明する。図９〜図１１は、ナビゲーション画像の例を示す図である。内視鏡の先端３Ｂが特定点から離れている場合、内視鏡の先端３Ｂから特定点Ｐ０を臨むことができないため、図９に示すように、ナビゲーション画像Ｇ１には、第１の投影像Ｒ１は表示されず、第２の投影像Ｒ２のみが表示されている。また、第２の投影像Ｒ２の不透明度は第１の不透明度となっている。なお、図９においては、第２の投影像Ｒ２の輪郭を破線とすることにより、第２の投影像Ｒ２の不透明度が第１の不透明度であることを示している。

さらに、内視鏡を特定点に向けて進め、内視鏡の先端３Ｂから特定点が臨めるようになると、第１の投影像Ｒ１がナビゲーション画像Ｇ１に表示され、さらに内視鏡の先端３Ｂと特定点Ｐ０との距離が特定の値以下となると、図１０に示すように、ナビゲーション画像Ｇ１には、第１および第２の投影像Ｒ１，Ｒ２がそれぞれ第２の不透明度にて表示される。また、ナビゲーション画像における第１および第２の投影像Ｒ１，Ｒ２との間隔に基づいて、オペレータは内視鏡の先端３Ｂと特定点Ｐ０との距離を容易に認識することができる。

さらに、内視鏡の先端３Ｂが特定点Ｐ０に近づくと、図１１に示すように、ナビゲーション画像Ｇ１において、第１および第２の投影像Ｒ１，Ｒ２が重なるようになる。そして、第１および第２の投影像Ｒ１，Ｒ２の位置を一致させることにより、内視鏡の先端３Ｂを特定点Ｐ０に到達させることができる。

この状態において、オペレータは内視鏡スコープ３１の操作部３Ａを操作して、穿刺針３７を関心領域９１に穿刺して、関心領域９１の組織のサンプルを採取することができる。ここで、本実施形態においては、第１および第２の投影層Ｒ１，Ｒ２は、関心領域９１の表面と特定点Ｐ０または内視鏡の先端３Ｂとの距離に応じて強調表示されている。このため、第１および第２の投影像Ｒ１，Ｒ２における最も強調された部分を狙って穿刺を行うことにより、より少ない移動量により穿刺針７６を関心領域９１に到達させることができるため、より容易に関心領域９１の組織のサンプルを採取することができる。

なお、穿刺を行う際には、穿刺の状態を確認するために、ナビゲーション画像Ｇ１を、仮想内視鏡画像Ｋ０から実内視鏡画像Ｔ０に切り替えるようにしてもよい。また、穿刺を行うための操作部３Ａの操作を受けて、ナビゲーション画像Ｇ１を仮想内視鏡画像Ｋ０から実内視鏡画像Ｔ０に切り替えられるようにすることが好ましい。

このように、本実施形態においては、気管支の内部に設定された特定点Ｐ０を基準とした第１の投影像Ｒ１、および内視鏡の先端３Ｂを基準とした第２の投影像Ｒ２を生成し、ナビゲーション画像Ｇ１に第１および第２の投影像Ｒ１，Ｒ２を重畳して表示するようにしたものである。このため、ナビゲーション画像Ｇ１に表示される第１の投影像Ｒ１と第２の投影像Ｒ２との間隔は、特定点Ｐ０と内視鏡の先端３Ｂとの距離を表すものとなる。これにより、穿刺を行う際に、内視鏡を気管支内において特定点Ｐ０へ向けて移動させると、第１の投影像Ｒ１と第２の投影像Ｒ２との間隔が徐々に小さくなる。したがって、本実施形態によれば、第１の投影像Ｒ１と第２の投影像Ｒ２との間隔により、内視鏡の先端３Ｂと特定点Ｐ０との距離、さらには関心領域９１との距離を容易に把握することができる。

また、第１の投影像Ｒ１と第２の投影像Ｒ２とが重なるように内視鏡を移動させることにより、内視鏡の先端３Ｂを特定点Ｐ０と精度よく一致させることができる。このため、気管支内のより好ましい位置において、穿刺を行うことができる。

なお、上記実施形態においては、生検を行うための施術前に特定点を設定しているが、施術中に特定点Ｐ０を設定してもよい。この場合、設定した特定点Ｐ０に対して改めて第１の投影像Ｒ１が生成されることとなる。

また、上記実施形態においては、第１および第２の投影像Ｒ１，Ｒ２をナビゲーション画像Ｇ１に重畳して表示しているが、入力装置８５からの指示により、第１および第２の投影像Ｒ１，Ｒ２の表示および非表示を切り替えられるようにしてもよい。これにより、オペレータが所望とするように、ナビゲーション画像に第１および第２の投影像Ｒ１，Ｒ２を重畳して表示することができる。

なお、上記実施形態においては、内視鏡画像診断支援装置８が仮想内視鏡画像生成部７４を備えているが、外部の装置において仮想内視鏡画像Ｋ０を生成するようにし、画像取得部７１により実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０の双方を取得するようにしてもよい。この場合、内視鏡画像診断支援装置８には、仮想内視鏡画像生成部７４は不要となる。

また、上記実施形態においては、本発明の内視鏡画像診断支援装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、大腸、小腸、食道および血管等の他の管腔状臓器を内視鏡により観察する場合にも、本発明を適用できる。

また、上記実施形態においては、投影距離に応じて第１および第２の投影像Ｒ１，Ｒ２を強調して表示しているが、第１および第２の投影像Ｒ１，Ｒ２の投影位置と関心領域９１の表面との距離に応じて、第１および第２の投影像Ｒ１，Ｒ２を強調して表示してもよい。この場合、投影位置と関心領域９１の表面との距離としては、例えば投影位置の中心から関心領域９１の表面までの距離としてもよく、関心領域の表面と投影位置における各投影点との距離の平均値としてもよい。

以下、本発明の実施態様の作用効果について説明する。

第１の投影像を、特定点または第１の投影像の投影位置と関心領域の表面との距離に応じて強調されてなるものとすることにより、特定点から見た関心領域表面までの距離の把握が容易となる。このため、内視鏡先端を特定点と一致させて穿刺を行う際に、特定点からできるだけ近い位置にある関心領域の表面に向けて穿刺を行うことができる。したがって、穿刺針の移動量が小さくなり、これにより穿刺を容易に行うことができる。

また、第２の投影像を、内視鏡の先端または第２の投影像と関心領域の表面との距離に応じて強調されてなるものとすることにより、内視鏡の先端から見た関心領域表面までの距離の把握が容易となる。このため、内視鏡先端を特定点と一致させて穿刺を行う際に、特定点からできるだけ近い位置にある関心領域の表面に向けて穿刺を行うことができる。したがって、穿刺針の移動量が小さくなり、これにより穿刺を容易に行うことができる。

また、第１および第２の投影像の少なくとも一方を、内視鏡の先端と特定点とが特定の距離以下となった場合に、特定の距離より大きい場合よりも強調されてなるものとすることにより、穿刺を行う際に、内視鏡の先端が特定点に近づいたことを容易に認識することができる。

また、第１の投影像および第２の投影像の少なくとも一方の表示および非表示を切り替え可能とすることにより、オペレータが所望とするように第１および第２の投影像をナビゲーション画像に重畳して表示することができる。

３ 内視鏡装置
５ ３次元画像撮影装置
６ 画像保管サーバ
８ 内視鏡画像診断支援装置
３４ 位置検出装置
７１ 画像取得部
７２ 気管支抽出部
７３ 関心領域抽出部
７４ 仮想内視鏡画像生成部
７５ 投影像生成部
７６ 表示制御部
８１ ＣＰＵ
８２ メモリ
８３ ストレージ
８４ ディスプレイ
８５ 入力装置

Claims (16)

1. 被検体の３次元画像に含まれる管腔状臓器を抽出する管腔状臓器抽出手段と、
   前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記３次元画像から生成された、前記内視鏡の先端に対応する前記３次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得する画像取得手段と、
   前記３次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第１の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第２の投影像を生成する投影像生成手段と、
   前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第１および前記第２の投影像を重畳させて表示手段に表示する表示制御手段とを備えたことを特徴とする内視鏡画像診断支援装置。
2. 前記第１の投影像は、前記特定点または該第１の投影像の投影位置と前記関心領域の表面との距離に応じて強調されてなる請求項１記載の内視鏡画像診断支援装置。
3. 前記第１の投影像は、該第１の投影像の輪郭線、不透明度および色の少なくとも１つを変更することにより強調されてなる請求項２記載の内視鏡画像診断支援装置。
4. 前記第２の投影像は、前記内視鏡の先端または該第２の投影像の投影位置と前記関心領域の表面との距離に応じて強調されてなる請求項１から３のいずれか１項記載の内視鏡画像診断支援装置。
5. 前記第２の投影像は、該第２の投影像の輪郭線、不透明度および色の少なくとも１つを変更することにより強調されてなる請求項４記載の内視鏡画像診断支援装置。
6. 前記第１および前記第２の投影像の少なくとも一方は、前記内視鏡の先端と前記特定点とが特定の距離以下となった場合に、該特定の距離より大きい場合よりも強調されてなる請求項１から５のいずれか１項記載の内視鏡画像診断支援装置。
7. 前記特定の距離は、前記関心領域の穿刺を行うために前記内視鏡の先端に取り付けられた穿刺針による穿刺可能となる距離である請求項６記載の内視鏡画像診断支援装置。
8. 前記特定点は、前記関心領域の生検を行うための施術前に設定された点である請求項１から７のいずれか１項記載の内視鏡画像診断支援装置。
9. 前記特定点は、前記関心領域の生検を行うための施術中に設定された点である請求項１から７のいずれか１項記載の内視鏡画像診断支援装置。
10. 前記表示制御手段は、前記第１の投影像および前記第２の投影像の少なくとも一方の表示および非表示を切り替え可能な手段である請求項１から９のいずれか１項記載の内視鏡画像診断支援装置。
11. 前記画像取得手段は、前記実内視鏡画像を取得する手段であり、
    前記３次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成手段をさらに備えた請求項１から１０のいずれか１項記載の内視鏡画像診断支援装置。
12. 前記管腔状臓器内に挿入された前記内視鏡の先端の位置を検出する位置検出手段をさらに備えた請求項１から１１のいずれか１項記載の内視鏡画像診断支援装置。
13. 前記３次元画像から前記関心領域を抽出する関心領域抽出手段をさらに備えた請求項１から１２のいずれか１項記載の内視鏡画像診断支援装置。
14. 内視鏡と、
    前記内視鏡により被検体の３次元画像に含まれる管腔状臓器の内面を撮影することにより、該管腔状臓器の内面を表す実内視鏡画像を生成する実内視鏡画像生成手段と、
    請求項１から１３のいずれか１項記載の内視鏡画像診断支援装置とを備えたことを特徴とする内視鏡画像診断支援システム。
15. 被検体の３次元画像に含まれる管腔状臓器を抽出し、
    前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記３次元画像から生成された、前記内視鏡の先端に対応する前記３次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得し、
    前記３次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第１の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第２の投影像を生成し、
    前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第１および前記第２の投影像を重畳させて表示手段に表示することを特徴とする内視鏡画像診断支援方法。
16. 被検体の３次元画像に含まれる管腔状臓器を抽出する手順と、
    前記管腔状臓器内に挿入された内視鏡を用いて撮影を行うことにより生成された、該管腔状臓器の内壁を表す実内視鏡画像、および前記３次元画像から生成された、前記内視鏡の先端に対応する前記３次元画像中の位置から見た前記管腔状臓器の内壁を表す仮想内視鏡画像を取得する手順と、
    前記３次元画像を用いて、前記管腔状臓器の内部に設定された特定点を基準として、前記管腔状臓器の内壁に、該管腔状臓器に関連する関心領域を投影した第１の投影像を生成し、かつ前記内視鏡の先端を基準として、前記管腔状臓器の内壁に前記関心領域を投影した第２の投影像を生成する手順と、
    前記実内視鏡画像および前記仮想内視鏡画像の少なくとも一方に前記第１および前記第２の投影像を重畳させて表示手段に表示する手順とをコンピュータに実行させることを特徴とする内視鏡画像診断支援プログラム。