JP2003265408A

JP2003265408A - 内視鏡誘導装置および方法

Info

Publication number: JP2003265408A
Application number: JP2002075882A
Authority: JP
Inventors: Kiyoshi Yoda; 潔依田; Atsushi Nagata; 敦永田; Yukio Kosugi; 幸夫小杉; Eiju Watanabe; 英寿渡辺; Hiroyuki Aoki; 宏之青木
Original assignee: Mitsubishi Electric Corp; Rikogaku Shinkokai
Current assignee: Mitsubishi Electric Corp; Rikogaku Shinkokai
Priority date: 2002-03-19
Filing date: 2002-03-19
Publication date: 2003-09-24
Anticipated expiration: 2022-03-19
Also published as: JP4171833B2

Abstract

(57)【要約】【課題】簡便かつ高精度に内視鏡先端部の位置を判断
できるようにする。【解決手段】内視鏡の誘導のため、検査対象の仮想内
視鏡画像と内視鏡先端の位置および姿勢の情報をデータ
ベースに記憶しておく。検査対象の実軟性内視鏡画像を
取得すると、前記実内視鏡画像を前記データベース内の
仮想内視鏡画像と比較して、前記内視鏡画像と最も類似
度が高い仮想内視鏡画像を決定する。そして、決定され
た仮想内視鏡画像の情報から、前記実内視鏡画像に対応
する軟性内視鏡先端部の位置と姿勢を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自在に屈折する軟
性内視鏡のナビゲーションに関する。

【０００２】

【従来の技術】脳神経外科などの手術の際には、患者の
手術操作部位とコンピュータ連動断層撮影（ＣＴ）、磁
気共鳴撮像（ＭＲＩ）などの断層画像（３次元画像）の
位置関係を把握できるように術者を支援するナビゲーシ
ョン装置が利用されている。これにより、術者は、操作
位置と、診断時に撮影された医用画像との相対的位置関
係の認識が可能となる。

【０００３】このナビゲーション装置を利用した操作部
位の３次元位置計測の主なものとして、機械方式（例え
ば、Kosugi et al., An Articulated Neurosurgical Na
vigation System Using MRI and CT Images (IEEE Tran
sactions of Biomedical Engineering, Vol. 35, No.
2, February 1988)、および米国特許5050608号 (E. Wat
anabe, Y. Kosugi and S. Manaka: System for indicat
ing a position to beoperated in a patient's body）
と、ステレオビジョン方式 (例えば、特許3152810号；
小杉、渡辺、鈴木、川上、中川：光学式３次元位置検出
装置) がある。機械方式は、ロータリーエンコーダを有
する多関節アームナビゲーション装置により先端位置座
標を求めるものである。また、ステレオビジョン方式
は、複数個のＣＣＤカメラによりプローブに設置された
輝点像を認識し、三角測量の原理に基づいてプローブの
３次元的位置を算出するものである。

【０００４】

【発明が解決しようとする課題】しかし、これらの装置
で内視鏡先端の位置を測定しようとした場合、機械方式
にあっては、アームと内視鏡先端の位置が機械的に剛性
の保たれた形で接続されていることが必要であり、形状
が自在に変わり得るファイバー式の軟性内視鏡ではこの
ような使用条件が満たされない。また、ステレオビジョ
ン方式にあっては、体内に置かれた内視鏡先端に仮に発
光部を装着したとしても、体外に位置するＣＣＤカメラ
との間に不透明の生体組織が存在することから、位置の
確定は不可能である。

【０００５】軟性内視鏡を用いた手術装置において、内
視鏡先端部の位置測定をおこなうためには、１) 体内の
３次元位置に対応した画像をいかにして生成・登録する
かという問題、２) 登録された画像と内視鏡から観測さ
れる画像の照合をいかにして行うかという問題、３) 手
術環境下で内視鏡の進むべき方向を術者に的確に与える
ヒューマンインターフェースをどのように構成すれば良
いかという問題がある。また、４) 手術時に簡便かつ高
精度に実時間で内視鏡先端部の位置測定を実行するため
の計算アルゴリズムおよび付属機器の開発を行う必要が
ある。

【０００６】この発明の目的は、自在に屈折する軟性内
視鏡を用いた手術などにおいて、簡便かつ高精度に内視
鏡先端部の位置を判断できるようにすることである。

【０００７】

【課題を解決するための手段】本発明に係る内視鏡誘導
装置は、検査対象の仮想内視鏡画像と内視鏡先端の位置
および姿勢の情報からなるデータベースを記憶する記憶
手段と、検査対象の実軟性内視鏡画像を取得する入力手
段と、前記実内視鏡画像を前記データベース内の仮想内
視鏡画像と比較して、前記内視鏡画像と最も類似度が高
い仮想内視鏡画像を決定する比較手段と、決定された仮
想内視鏡画像の情報から、前記実内視鏡画像に対応する
軟性内視鏡先端部の位置と姿勢を決定する決定手段とを
有する。ここで、実軟性内視鏡画像とは、本物の軟性内
視鏡で観測される画像であり、実内視鏡画像とは、本物
の内視鏡で観測される画像である。

【０００８】前記の内視鏡誘導装置において、たとえ
ば、前記の仮想内視鏡画像は、検査対象の３次元画像デ
ータに基づいて生成された画像である。

【０００９】前記の内視鏡誘導装置において、たとえ
ば、前記の仮想内視鏡画像と内視鏡先端の位置および姿
勢の情報は、硬性内視鏡により得られた画像と、その画
像を得たときの硬性内視鏡先端の位置および姿勢の情報
である。

【００１０】前記の内視鏡誘導装置において、たとえ
ば、さらに、決定手段により決定された内視鏡先端部の
位置と姿勢を、２次元断面表示または３次元表示された
検査対象の画像に重畳して表示装置の画面に表示する表
示手段とを備える。

【００１１】前記の内視鏡誘導装置において、たとえ
ば、前記の表示手段は、さらに、実内視鏡画像またはそ
れと最も類似度が高い仮想内視鏡画像に、当該画像では
表示されていない体内の患部を重畳して表示する。

【００１２】前記の内視鏡誘導装置において、たとえ
ば、さらに、検査対象の３次元画像データに基づいて仮
想内視鏡画像を計算する画像生成手段を備え、この画像
生成手段は、設定された内視鏡先端の位置と姿勢ごと
に、それに基いて３次元画像データの補間演算とレンダ
リング演算を実行して仮想内視鏡画像を取得する。多数
の内視鏡先端の位置と姿勢を設定して演算することによ
り大規模な仮想内視鏡画像のデータベースを構築でき
る。

【００１３】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、画素位置(i,j)における実内視
鏡画像の画素値と仮想内視鏡画像の画素値を、実内視鏡
画像の画素値と仮想内視鏡画像の画素位置を座標軸とす
る２次元グラフにプロットしたときに最も少ない面積上
に分布する仮想内視鏡画像をデータベースから探索し、
最も類似度が高い仮想内視鏡画像とする。

【００１４】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、相互情報量が最大の仮想内視鏡
画像を仮想内視鏡画像データベースから探索し、最も類
似度が高い仮想内視鏡画像とする。

【００１５】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、回転に不変な複素数画像連想処
理を用いる。

【００１６】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、適応的非線形写像を実施した後
の最終マッチングスコアによる類似度を用いる。

【００１７】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、内視鏡を前進させた場合に、探
索範囲を常に前回の探索範囲の近傍とし、前回と今回の
内視鏡の挿入距離の差分に相当する探索半径を基に、仮
想内視鏡画像のデータベース内の探索を実施する。

【００１８】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、実内視鏡画像と仮想内視鏡画像
をそれぞれ極座標系に変換した後、最も類似度が高い仮
想内視鏡画像を選ぶ。

【００１９】前記の内視鏡誘導装置において、たとえ
ば、前記の比較手段は、類似度の評価において、あらか
じめ実内視鏡画像と仮想内視鏡画像の各画像の画素強度
の最大値を１に規格化した後、対応する画素後との強度
差の２乗和を用いる。

【００２０】前記の内視鏡誘導装置において、たとえ
ば、前記の決定手段は、前記の比較手段により得られた
内視鏡先端の推定位置が、過去に推定した内視鏡先端位
置を時系列で並べたときに外挿される現在の予測位値か
ら著しく逸脱した位置である場合にその推定位置を採用
しない。なお、前述の内視鏡誘導装置における種々の構
成要素は、可能な限り組み合わせることができる。

【００２１】本発明に係る内視鏡誘導方法では、検査対
象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情
報をデータベースに記憶しておく。検査対象の実軟性内
視鏡画像を取得すると、前記実内視鏡画像を前記データ
ベース内の仮想内視鏡画像と比較して、前記内視鏡画像
と最も類似度が高い仮想内視鏡画像を決定する。そし
て、決定された仮想内視鏡画像の情報から、前記実内視
鏡画像に対応する軟性内視鏡先端部の位置と姿勢を決定
する。

【００２２】前記の内視鏡誘導方法において、好ましく
は、さらに、決定された内視鏡先端部の位置と姿勢を、
２次元断面表示または３次元表示された検査対象の画像
に重畳して表示装置の画面に表示する。

【００２３】前記の内視鏡誘導方法において、好ましく
は、さらに、実内視鏡画像またはそれと最も類似度が高
い仮想内視鏡画像に、当該画像では表示されていない体
内の患部を重畳して表示する。なお、前述の内視鏡誘導
装置における種々の構成要素は、内視鏡誘導方法の構成
要素としても組み合わせることができる。

【００２４】

【発明の実施の形態】以下、添付の図面を参照して本発
明の実施の形態を説明する。本発明は、自由に屈折する
内視鏡の誘導（ナビゲーション）に関する。近年脳神経
外科領域をはじめとして多くの医療分野で内視鏡を用い
た手術が行われるようになったが、術者は内視鏡先端が
患者のどの位置にあるかを見失う場合がある。そこで、
ヒトはＧＰＳなどの特別な位置検出機器を用いなくて
も、見慣れた街中を迷わずに自由に移動することができ
ることに着眼した。これは、「この光景は見たことがあ
る」という既視感と、その光景から場所の情報を連想的
に検索できる人間の脳に備わった機能によるものであ
る。本発明では、このような画像の印象より位置情報を
検索する機能をコンピュータのアルゴリズム上で実現し
た。ここで、コンピュータ連動断層撮影（ＣＴ）、磁気
共鳴撮像（ＭＲＩ）などの断層写真群からボリュームレ
ンダリング、手術用ナビゲーションシステムなどの画像
表示によって得られた位置と画像の関係のデータを蓄積
しておき、特に手術などの施行者が操作する内視鏡先端
の３次元的位置情報を、過去に登録済みの画像から推定
して術者に提供する。

【００２５】発明の実施の形態１．図１は、発明の実施
の形態１に係る内視鏡誘導装置の構成を示す。この装置
は、自在に屈折する軟性内視鏡（図示しない）に接続さ
れ、患者の手術操作部位と断層画像（３次元画像）の位
置関係を把握できるように術者を支援する。さらに説明
すると、この装置において、ネットワークコントローラ
１０は、ＣＴ画像、ＭＲＩ画像などの３次元画像、本物
の内視鏡からの画像（内視鏡画像）などの診断画像を外
部から読み込む。これらの診断画像は、ハードディスク
１２内に記憶される。ＣＰＵ１４は、キーボード、マウ
スなどの入力装置１６からの指示に基づき、内視鏡誘導
プログラムに従い計算機処理を実行する。ここで、ハー
ドディスク装置１２内のハードディスク（記録媒体）に
格納された内視鏡誘導プログラムは、実行時にメモリ１
８にロードされる。処理結果の画像は、ビデオコントロ
ーラ２０を経由し、ディスプレーモニタ２２で表示され
る。

【００２６】図２は、内視鏡誘導プログラムにおける機
能ブロックを表している。仮想内視鏡画像データベース
計算ステップ（Ｓ１０）で、検査対象のＭＲＩ、ＣＴな
どの３次元画像データを入力して、入力した３次元画像
データに基づいて仮想内視鏡画像を計算し、ハードディ
スク装置１２内のデータベースに記憶しておく。手術な
どにおいて、検査対象の内視鏡画像データが入力される
と、比較ステップ（Ｓ１２）で、データベース内の仮想
内視鏡画像と本物の内視鏡で観測した検査対象の画像
（実内視鏡画像）とを比較して、現在の内視鏡先端部の
位置と姿勢を実時間で決定する。次に、表示ステップ
（Ｓ１４）で、比較ステップで得られた現在の内視鏡先
端部の位置と姿勢を、モニタ２２の画面上に表示してい
るＭＲＩ画像またはＣＴ画像上に重畳して表示する。

【００２７】仮想内視鏡画像の計算では、検査対象のＭ
ＲＩ、ＣＴなどの３次元画像データに基いて仮想内視鏡
画像を計算する必要がある。これについては、３次元画
像データをボリュームレンダリングする方法が公知であ
り、その方法を用いてもよい。その方法の詳細は、たと
えば、Rubin, Perspective Volume Rendering of CTand
MRI Images: Applications for Endoscopic Imaging
(Radiology、１９９巻、３２１〜３３０ページ、１９９
６年) に記載されている。簡単に説明すると、検査対象
のＭＲＩ、ＣＴなどの３次元画像データは３次元のボリ
ュームデータである。内視鏡を検査対象に挿入したとき
に、内視鏡先端のカメラで観測できる画像は、この点に
観測点をセットして、そこから光の束を発散させて各光
の直進路にしたがって検査対象の体積要素に関する色と
透明度の計算を行うと、シミュレーション可能である。
たとえば、ＭＲＩの各体積要素内の値が小さいときは、
空気領域または骨領域であることが一般的である。ま
た、ＭＲＩの各体積要素内の値が大きいときは、軟組織
など水分が豊富な領域であることが一般的である。した
がって、ＭＲＩの各体積要素内の値が小さいときは透明
度をあげて、ＭＲＩの各体積要素内の値が大きくなるに
従い透明度を下げれば、空気領域と軟組織領域をコント
ラストよく区別して３次元表示できる。

【００２８】仮想内視鏡画像データベース計算（図２、
Ｓ１０）では、上記の観測点（視点）と観測姿勢（仮想
的なカメラの方向）を種々変化させて、多数の内視鏡画
像をシミュレートした画像（仮想内視鏡画像）を得て、
仮想内視鏡画像および視点情報をハードディスク装置１
２内のデータベースに蓄積しておく。図３に、その処理
をより詳細に流れ図として示した。まず、病院内ネット
ワークで標準的に使用されているＤＩＣＯＭ形式のＣＴ
またはＭＲＩ画像を読み込む（Ｓ１００）。次に、ボク
セル値に対する不透明度と色テーブルを定義する（ステ
ップＳ１０２）。ボクセル値に対する不透明度に関して
は、所定のしきい値以下の不透明度をゼロ（完全透
明）、前記しきい値以上の不透明度を１（完全不透明）
とすると、レンダリング速度が増大した。次に、補間計
算法を設定する（ステップＳ１０４）。補間計算法とし
ては、３次元の線形補間を用いた。次に、陰影処理パラ
メータを設定し（ステップＳ１０６）、レンダリング方
法を選択する（ステップＳ１０８）。陰影処理パラメー
タは複数の値で試行錯誤的に調整した。また、レンダリ
ング方法としてレイキャスティング法によるボリューム
レンダリングを採用した。なお、光線上の計算刻み幅を
表示にアーチファクトが入らない範囲でなるべく大きく
することにより、高速計算が達成できた。次に、視点
（カメラ）位置・回転中心・鉛直上向きの視点情報を設
定する（ステップＳ１１０）。視点情報は、カメラ位置
を体外位置とした平行投影による対象となる画像全体の
ボリュームレンダリング表示に基づき決定した。次に、
視野角を設定する（ステップＳ１１２）。視野角として
は同時に用いる内視鏡における視野角の値を入力した。
次に、レンダリングを実行し、仮想内視鏡画像を取得す
る（ステップＳ１１４）。最後に、仮想内視鏡画像と視
点情報をデータベース用ファイルに保存する（ステップ
Ｓ１１６）。視点情報（観測点と観測姿勢）を種々変化
させて、ステップＳ１１０〜Ｓ１１６の処理を繰り返し
て、多数の内視鏡画像をシミュレートした画像（仮想内
視鏡画像）を得る。

【００２９】図４は、仮想内視鏡画像データベースを生
成する処理（図２、Ｓ１０）における視点情報の設定を
具体的に示す。この処理は、図３のステップＳ１１０と
Ｓ１１２に対応する。ここで、種々の位置と姿勢に仮想
カメラを設置する必要がある。カメラ位置については、
１）まず本物の内視鏡で探索する場合に想定されるカメ
ラ位置の領域を決定し（Ｓ１２０）、その後この領域内
をたとえば１０ｍｍステップで３軸方向に移動した点を
すべてカメラ位置として採用する（Ｓ１２２）。次に、
カメラの姿勢については、２）カメラ画像の回転を５度
おきに設定し、３）カメラ画像の端部位置を画像サイズ
の１/１０ずつ平行移動し、４）さらに仮想カメラによ
る画像の拡大・縮小率を５０％から２００％まで２０％
ずつ変化させる（Ｓ１２４）。これらの１）から４）の
パラメータを独立に変化させて（Ｓ１２６）、多数のカ
メラ位置と姿勢を与える。これに基いてレンダリング画
像を生成することより、大規模な仮想内視鏡画像データ
ベースを生成する。なお、仮想内視鏡画像を計算する場
合は、仮想内視鏡の視野角および仮想内視鏡のカメラ回
転中心とカメラ位置の相対的配置を実内視鏡と同一にす
ることが好ましい。

【００３０】このようなデータベースを用いれば、画像
比較ステップ（図２、Ｓ１２）において、計算した仮想
内視鏡画像と本物の内視鏡で観測がされる画像（実内視
鏡画像）を比較して、本物の内視鏡画像と一致度が最も
高い仮想内視鏡画像をデータベース内部から探索でき
る。画像比較ステップ（図２、Ｓ１２）では、仮想内視
鏡画像データベース内に蓄積された画像と現時点の内視
鏡画像の一致度合いを調べ、最も一致する仮想内視鏡画
像データベース内に蓄積された画像を決定して、これに
対応する仮想カメラ位置と姿勢を得る。この結果、現時
点の内視鏡先端部が検査対象（たとえば、人体の脳内）
のどの位置で、どの方向に向いているかを知ることがで
きる。この情報を、モニタ２２の２次元または３次元の
ＭＲＩ画像またはＣＴ画像上に重畳して表示することに
より、内視鏡手術従事者は、位置と方向の判断を誤るこ
となく複雑な手術を続行できる。

【００３１】具体的な方法は、図５の流れ図に示す。ま
ずオフラインで仮想内視鏡画像をグレースケール表示し
て、仮想内視鏡画像の濃淡変化を、同一場所で撮像した
本物の内視鏡画像となるべく一致するように調整する
（Ｓ１３０）。具体的には、内視鏡を体内に入れながら
ＭＲＩまたはＣＴ撮像を行い、同一部位の実内視鏡画像
と仮想内視鏡画像を取得すれば、上記の色の調整が対話
的に可能になる。仮想内視鏡の画素強度をグレースケー
ルに変換する関数を対話的に定義すれば、仮想内視鏡画
像の濃淡を任意に変更できる。次に、相関係数が最大に
なる仮想内視鏡画像を仮想内視鏡画像データベースから
探索する（Ｓ１３２）。次に、求まった仮想内視鏡画像
に対する内視鏡先端の位置と姿勢の情報を出力する（Ｓ
１３４）。

【００３２】より詳細に説明すると、一致度の判定に
は、通常よく用いられる画像間の相関係数を計算する方
法が適している。仮想内視鏡と本物の内視鏡画像では、
色情報の相関は一般には高くないので、相関計算は、カ
ラー画像からグレースケール画像に変換した後に実施す
ることが望ましい。そこで、オフラインで仮想内視鏡画
像をグレースケール化して、仮想内視鏡画像の濃淡変化
を同一場所で撮影した本物の内視鏡画像となるべく一致
するように調整する。仮想内視鏡の画素強度をグレース
ケールに変換する関数を定義すれば、濃淡を任意に定義
できる。カラー画像（Ｒ，Ｇ，Ｂ色の強度をそれぞれＩ
_R, Ｉ_G, Ｉ_Bとする）からグレースケール画像（強度I）
に変換する方法は、たとえば、次の式（１）で計算すれ
ばよい。

【数１】

【００３３】次に、仮想内視鏡画像と内視鏡画像の相関
計算を行う。画素位置(i,j)における内視鏡画像画素値
Ａ(i,j)と仮想内視鏡画像画素値Ｂ(i,j)について、相関
係数ｒは次の式（２）で定義される。

【数２】ここで、ＵとＶはベクトルであり、内視鏡画像および仮
想内視鏡画像の画素値を並べたものであり、具体的に
は、次式（３）、（４）で定義される。

【数３】Ｕ = (A(1,1), A(1,2), ... , A(2,1), A(2,2), ..., A(m,n)) （３）

【数４】Ｖ = (B(1,1), B(1,2), ... , B(2,1), B(2,2), ..., B(m,n)) （４）また、Ｕ・ＶはベクトルＵとＶの内積を表し、|Ｕ|は
ベクトルＵの大きさを表す。相関係数ｒは、ベクトルＵ
とＶの平均値を引いていない点が通常の統計学の相関係
数と異なるが、直流成分を含めて２つの画像の一致度を
評価する場合は、上式（２）が好ましい。なお、もし残
差の２乗平均を評価関数に用いる場合は、あらかじめ |
Ｕ|= |Ｖ|= 1 としておけばよい。こうしないと、互い
にスケールが異なる画像の間で画素の差分を評価するこ
とになり、意味が見出せない。

【００３４】ところで、仮想内視鏡画像と本物の内視鏡
画像では、互いに異種画像であるために、画素強度は互
いに比例していないことが一般的である。相関係数を計
算するために、２種類の画像では対応する画素強度は、
互いに比例すると相関が最大になるので、比例させるよ
うに前処理をする必要がある。このような問題は、患者
ごと、部位ごとに経験的な方法で対処することが可能で
ある。

【００３５】図６は、最も一致する仮想内視鏡画像デー
タベース内に蓄積された画像を決定した処理の一例を示
す。左側が、現時点の内視鏡画像３０であり、右側がデ
ータベース内の最も一致する仮想内視鏡画像３２であ
る。

【００３６】図７は、表示ステップ（図２、Ｓ１４）
で、得られた現時点の内視鏡先端部の３次元位置および
カメラの向きを、直交３平面画像４０a,４０b,４０c上
に矢印として重畳して表示した結果である。矢印の大き
さは３平面への投影長さで表示する。たとえば、矢印４
２a,４２b,４２cの出発点に内視鏡先端位置を対応さ
せ、矢印のベクトルをカメラの方向ベクトルとする。こ
の結果、治療医は内視鏡先端位置を正しく認識し、正確
な位置で内視鏡手術を実施できる。図８は、同様の表示
を３次元レンダリング画像に重畳して表示した場合を示
す。３次元レンダリング画像としては、ボリュームレン
ダリングまたはサーフェスレンダリングを用いることが
できる。ボリュームレンダリングを用いた場合は、組織
ごとの輪郭抽出が不要であるという利点を有する。

【００３７】発明の実施の形態２．図９は、発明の実施
の形態２における内視鏡誘導プログラムを示す。ここ
で、図２の処理の後で、さらに、内視鏡では見えない体
内表層下の患部（腫瘍など）を仮想内視鏡画像上でボリ
ュームレンダリングにより表層を半透明表示し、内視鏡
との位置合わせをおこなう（Ｓ１６）。この結果、内視
鏡画像にも体内表層下の患部（腫瘍など）を追加表示で
き、正確な内視鏡下での手術を実施できる。このような
体内の腫瘍をボリュームレンダリングで表示することが
できる条件は、正常組織と腫瘍組織のＭＲＩ画像強度が
大きく異なることであるが、この条件は多くの場合に成
立することが知られている。

【００３８】１例として、図１０に、図６に示した画像
に体内表層下の患部（ここでは腫瘍）の位置を重畳して
表示した例を示す。体内表層下の患部を、仮想内視鏡画
像３２上でボリュームレンダリングにより表層を半透明
に表示して重畳して表示している。また、内視鏡画像３
０に、体内表層下の患部３４を追加表示している。

【００３９】発明の実施の形態３．前述の実施の形態１
では、仮想内視鏡像をグレースケール化していた（図
５、Ｓ１２０）。ところで、実内視鏡画像のグレースケ
ール表示は組織表層の色（Ｒ，Ｇ，Ｂの比率およびスケ
ーリング値つまり明度）で決まり、患者の組織表層の血
流状態と代謝状態で色が決まる。一方、ＣＴまたはＭＲ
Ｉ画像から仮想内視鏡画像を構成した場合の色は、ＣＴ
値またはＭＲＩ強度と表示色の対応関数で決まる。この
対応関数は任意に設定できる。このことから、患者が変
わった場合は、組織表層の色は個体差があるので、発明
の実施の形態３で説明した方法で、別の患者のオフライ
ン測定結果を用いることは一般には不適切であることが
わかる。また、同一患者でも組織が異なれば、組織表層
の血流状態と代謝状態が変化するため、同一患者の別組
織のオフライン測定結果を用いることは一般には不適切
であることも理解できる。

【００４０】このような事情があるので、実内視鏡画像
と仮想内視鏡画像のグレースケールの濃淡合わせまたは
色合わせは、理想的には、適応的に画像ごとに自動計算
する必要がある。しかし、これは煩雑であるので、これ
を避ける本実施の形態の処理を説明する。ここでは、ジ
ョイントヒストグラムまたは２次元ヒストグラムと呼ば
れる図を用いるが、この方法は異種画像の位置合わせ手
法として公知である。たとえば２００１年にCRC Press
社から刊行された単行本、Medical Image Registratio
n, ５７〜５９ページ、に記載されている。

【００４１】図１１は、この実施形態における画像比較
処理を示す。具体的には、図１２の(ａ)のように、画素
位置(i,j)における実内視鏡画像の画素値Ａ(i,j)と仮想
内視鏡画像の画素値Ｂ(i,j)を用いて、点（Ａ(i,j)、Ｂ
(i,j)）としてグラフに２次元プロットしていき（Ｓ１
３１）、最も少ない面積上に分布する仮想内視鏡画像を
データベースから探索する（Ｓ１３３）。そして、求ま
った仮想内視鏡画像に対応するカメラの位置と姿勢の情
報を出力する（Ｓ１３４）。最も少ない面積の判定に
は、対話的に操作者が行う方法、プロットされた点を含
む閉曲線を描く方法および発明の実施の形態１で説明し
たベクトルの内積演算による相関係数の計算などがあ
る。なお、最も少ない面積上に分布するということは、
実内視鏡画像で表示された画素値と仮想内視鏡画像で表
示された画素値の強い関連性があることを示している。
強い関連性とは、いわゆる正の相関が強い場合や負の相
関が強い場合を含むが、もっと複雑な場合も含む（図１
２の(ｂ)参照）。このような複雑な関連性が強い場合で
も、発明の実施の形態１で説明したベクトルの内積演算
による相関係数の計算が有効である。いずれの場合で
も、最も少ない面積上に分布することは、２つの画像が
同一カメラ位置から見た同一組織である可能性が非常に
高いことを意味している。

【００４２】発明の実施の形態４．発明の実施の形態３
の対応関数を用いた処理をさらに拡張した方法として、
画像比較処理に相互情報量を評価する手法を用いること
が考えられる。図１３にその流れ図を示す。相互情報量
を用いた異種画像のレジストレーション（位置合わせ）
については、発明の実施の形態３であげた文献の６０〜
６１ページに記載されている。まず、画素位置(i,j)に
おける実内視鏡画像Ａ(i,j)と仮想内視鏡画像Ｂ(i,j)の
画素値を用いて相互情報量を計算する（Ｓ１３１'）。
相互情報量は定性的には一方の画像情報が他方の画像情
報をどれだけうまく説明できるかを与えるものであり、
たとえば次の式（５）で与えられる相互情報量Ｉ(Ａ,
Ｂ)が最大になったときに、２つの画像は位置合わせで
きたと判断する。

【数５】（５）ここで、ｐ^T _AB(a, b)は画像Ａと画像Ｂのジョイ
ント確率分布関数であり、ｐ^T _A(a)およびｐ^T _B(b)はマー
ジナル確率分布関数である。相互情報量の定義は、上記
に限らず、他にも種々提案されているので、それらを用
いてもよい。次に、相互情報量が最大になる仮想内視鏡
画像を仮想内視鏡画像データベースから探索する（Ｓ１
３３'）。そして、求まった仮想内視鏡画像に対応する
カメラの位置と姿勢の情報を出力する（Ｓ１３４）。

【００４３】発明の実施の形態５．これまで述べてきた
ような類似度評価に相関係数、２乗誤差、相互情報量な
どを用いる場合、類似度が最大になる仮想内視鏡画像が
仮想内視鏡画像データベース内に存在する必要があるの
で、データベースの大規模化は避けられない。一般にこ
のような処理はオフラインで計算しておく必要があり、
緊急手術が必要な救急患者に対しては適用が難しい場合
も考えられる。さらに、内視鏡画像に雑音が混入してい
る場合に最適な仮想内視鏡画像の推定に失敗することも
考えられる。そこで、この発明の実施の形態では、脳機
能の１つである連想処理の採用によりデータベースの小
規模化および対ノイズ性能向上を図る。内視鏡で得られ
た画像から連想処理によりその位置を検出するために
は、内視鏡は挿入の間、任意の角度で回転することが予
想されるため、回転操作に不変な連想処理システムを実
現することが要求される。

【００４４】以下に、２００１年６月に青木らにより発
表されたRotation-Invariant ImageAssociation for En
doscopic Positional Identification Using Complex-V
alued Associative Memories （Springer, Proceedings
of the 6th InternationalWork-Conference on Artifi
cial and Natural Neural Networks Granada, PartＩ
Ｉ，pp.369-376）に記載された、複素数型連想メモリを
用いた内視鏡位置検出のための回転に不変な画像連想処
理の概要を述べる。連想記憶を用いた処理は、必要なパ
ターンをあらかじめ記憶させる記銘処理（フェーズ１）
と、その後で記憶パターンの不完全パターン（ノイズの
混入や、パターンの一部の情報が欠落しているようなパ
ターン）を与えると、その不完全パターンより完全な記
憶パターンを連想し出力する想起処理（フェーズ２）の
２段階の処理に分けられる。

【００４５】フェーズ１の記銘処理は、記憶しようとす
るパターンよりニューロン間の結合荷重を決定するプロ
セスであり、記憶パターンの情報はニューロン間の結合
荷重に多重分散的に記憶される。また、フェーズ２の想
起処理では、各ニューロンはあらかじめ定められた状態
遷移規則に従って次々と状態を更新していく。実数型を
拡張した複素数型連想記憶モデルを応用することによ
り、容易に多値のパターン情報を扱うことが可能とな
る。特に、複素数型連想記憶モデル(ＣＡＭＭ)と２次元
離散フーリエ変換処理(2-D DFT)とを組み合わせること
により、濃淡画像の連想システムが実現される。

【００４６】図１４により、回転操作に不変な画像連想
システムの実現方法の概要を説明する。本システムで
は、図１４の(ａ)に示すように円形画像を扱うものとす
る。なお、以下の説明は、記銘処理と想起処理に共通で
ある。

【００４７】(Ａ) まず図１４の(ａ)に示す円形画像を
図１４の(ｂ)に示すような長方形画像に変換する。する
と、円形画像における０を中心とするθ方向への回転操
作は、長方形画像においてはｎ方向（横方向）のみへの
シフト操作に置き換えられる。

【００４８】(Ｂ) 図１４の(ｂ)の形式に変換された図
形について２次元離散フーリエ変換処理(2-D DFT)をす
る。フーリエ変換された結果は図１４の(ｃ)のように与
えられる。ここで、四隅の部分が低周波の空間周波数成
分を表わし、中央部分が高周波の空間周波数成分を表
す。

【００４９】(Ｃ) 図１４の(c)のフーリエ変換の各成
分をν(m',n'）とし、ν(m',n') ＝ |ν(m',n')|exp(α
(m',n')) と表わせるものとする。以下の式（６）、
（７）を用いてν(m',n')の振幅情報を位相情報に多重
化させる処理を行い、位相情報のみにより表現される行
列 {χ_phase(m',n')} を生成する。式（６）で、|ν_max
(m',n')|は各要素|ν(m',n')|の中での最大値を表す。
また、式（７）はχ_phase(m',n')を定義する。こうして
画像情報をχ_phase(m',n')の形式に変換することによ
り、画像情報は図１４の(ｄ)の複素ニューロンにより表
現することが可能となる。

【数６】 γ(m',n') = cos^-1(|ν(m',n')|/|ν_max(m',n')|) （６）

【数７】 χ_phase(m',n') = exp {i(α(m',n')+γ(m',n'))} （７）

【００５０】(Ｄ) このように画像の情報は上記χ
_phase(m',n')の形式に変換して、複素数型連想記憶モデ
ル（ＣＡＭＭ）に与える。

【００５１】(Ｅ) 次に、χ_phase(m',n') を位相量子
化する。

【００５２】(Ｆ) 通常、χ_phase(m',n')の全ての成分
を用いてＣＡＭＭを構成するとニューロン数が非常に多
くなってしまうため、画質の劣化が目立たない範囲で図
１４の(ｃ)に示すように高周波領域の成分を無視してＣ
ＡＭＭを構成する。その際ＣＡＭＭはχ_phase(m',n')の
低周波領域の各列毎に構成する。例えば、行列{χ_phase
(m',n')}の０からＸおよびＮ−ＸからＮ−１までの各列
を利用すると、作られるＣＡＭＭの数は２Ｘ＋１個とな
る。ＣＡＭＭのニューロンの間の結合荷重の決定を行な
う。

【００５３】以下は、想起処理における説明である。 (Ｇ) ここで、２次元離散フーリエ変換（2-D DFT）の
次の性質に注目する。ｎ方向のみにｑだけシフトした画
像の２次元離散フーリエ変換は次のように表される。

【数８】ν(m',n') = DFT{u(m, n)} とおけば、ｕ(m, n)をｎ方向のみにｑだけシフトした画
像ｕ(m, n-q)の２次元離散フーリエ変換は次のように与
えられる。

【数９】 DFT{u(m,n-q)} = ν(m',n')exp(-iθ_Nn'q) ここにθ_N = 2π/N つまり、複素領域側でみるとexp(-isθ_Nn'q)の項が付加
されるだけである。 (Ｈ) (Ｆ)で述べた通り、行列{χ_phase(m',n')}の各列
ごとにＣＡＭＭを構成すると、ひとつのＣＡＭＭの中で
はn'の値は等しいから、回転による影響項exp(-iθ_Nn'
q)の値は各ニューロンでは皆等しくなる。すなわち、各
ＣＡＭＭに対しては画像の回転操作による影響はexp(-i
sθ_N)の項が付加されるだけとなる。

【００５４】(Ｉ) 一方、ＣＡＭＭは、exp(-isθ_N)の
影響を吸収する性質（位相シフトに対して不変な性質）
をもつ。すなわち、状態パターンx₁をＣＡＭＭの平衡状
態として記銘させると、状態x₁をsθ_N（sは任意の整
数）だけ位相をシフトした状態exp(-isθ_N)x₁もまたＣ
ＡＭＭの平衡状態となる。（ただし、この場合、複素ニ
ューロンの量子化数ＫはＮの整数倍に設定しておくもの
とする。）言い換えると、ＣＡＭＭはx₁もexp(-isθ_N)x
₁も区別なく平等に記憶する。こうして、(Ｈ)と(Ｉ)の
性質を用いることにより回転に不変な連想記憶システム
を実現できる。

【００５５】(Ｊ) 残る問題は、各ＣＡＭＭが想起した
結果からどのようにして想起画像を再構成するかであ
る。各ＣＡＭＭが想起した結果をそのまま逆２次元離散
フーリエ変換（2-D IDFT）をして実数領域に変換しても
正しい想起画像は得られない。各ＣＡＭＭが想起した結
果より、回転による影響項exp(-isθ_N)の位相分を補正
する必要がある。

【００５６】そこで、各ＣＡＭＭの中に上記補正量を検
出するためのニューロンを新たに埋め込んでおく（これ
により各ＣＡＭＭのニューロン数はＲ＋１個となる）。
このニューロンはあらかじめ決められた位相（これを基
準位相とする）でＣＡＭＭに記憶させておき、毎回想起
処理が完了した時にこのニューロンの位相を調べ、基準
位相とのズレから上記補正量を検出するものとする。

【００５７】(Ｋ) ＣＡＭＭの補正処理された想起結果
より、下図の形式の行列ν_a(m',n')を作成する。ν
_a(m',X+1)からν_a(m',N-X-1)の各列には０を補う。 (Ｌ) この行列{ν_a(m',n')}から次式（１０）を用いて
想起画像{u_a(m,n)}が得られる。

【数１０】

【００５８】発明の実施の形態１では、仮想内視鏡デー
タベースに格納すべき画像として、カメラ画像の回転を
５度おきに設定するというステップを用いた。しかし、
上述の処理を用いることにより、この回転が不要にな
る。結果的に、データベースのサイズが、５度おきの回
転の場合で、５／３６０＝１／７２になる効果がある。
これは、類似度評価の計算時間が１／７２になることを
意味する。さらに、画像に雑音が混入した場合でも正し
く推定が可能になる効果もある。

【００５９】発明の実施の形態６．この実施の形態のハ
イブリッドシステムでは、検査対象のＭＲＩ、ＣＴなど
の３次元画像データに基づく仮想内視鏡画像を用いず
に、硬性内視鏡像をＭＲレンダリング像で補間する。硬
性内視鏡像の場合は、従来の技術として説明した機械方
式（例えば、Kosugi et al, An Articulated Neurosurg
ical Navigation System Using MRI and CT Images (IE
EE Transactions on Biomedical Engineering,Vol. 35,
No. 2, February 1988)、および、米国特許５０５０６
０８号 (E. Watanabe, Y. Kosugi, and S. Manaka: Sys
tem for indicating a position to beoperated in a p
atient's body）に相当する。図１５に示すように、ロ
ータリーエンコーダを有する多関節アームナビゲーショ
ン装置により硬性内視鏡先端の位置座標および姿勢を求
めることができる。図１６にハイブリッドシステムでの
処理の流れ図を示す。まず、ランドマークとなりそうな
場所の硬性内視鏡画像と硬性内視鏡先端の３次元位置と
姿勢を複数地点で手術準備のために取得して、データベ
ース化する（Ｓ２０）。続いて、光ファイバー方式のや
わらかい内視鏡に交換して、手術を行う（図１７参
照）。ここで、光ファイバー内視鏡を進行させながら得
られた光ファイバー内視鏡画像と類似度が高い硬性内視
鏡画像をデータベースから選ぶ（Ｓ２２）。そして、類
似度が高く画像が選ばれた地点の近傍においては、異種
画像の類似度評価により局所的な探索を行う（Ｓ２
４）。この場合、硬性内視鏡と光ファイバー方式の内視
鏡画像は同種画像であり、データベースによる類似度の
評価は容易である。したがって、ランドマークとなる要
所要所では、精度良く光ファイバー方式の内視鏡先端位
置を知ることができる。また、これらのランドマーク近
傍においては、異種画像の類似度評価になるが、局所的
な探索で良いので、似たような別の場所の誤認知の確率
を低減でき、安全なナビゲーションが実行できる。そも
そも似たような場所を間違えないようにするための道具
なので、ミスは許されないため、本手法は有用である。
そして、求まった仮想内視鏡画像に対するカメラの位置
と姿勢の情報を出力する（Ｓ２６）。そして、この結果
に基いて、図２や図９で説明したように重畳して表示を
行う。

【００６０】発明の実施の形態７．また、類似性につい
ては、適応的非線形写像実施後の最終マッチングスコア
による類似度評価を用いる方法も考えられる。この処理
が有効な場合は、これまで述べてきた方法のいずれかで
類似度を評価しても、十分高い類似度が得られなかった
場合である。もし内視鏡挿入に伴い組織が局所的に歪ん
だ場合、実内視鏡画像に含まれる空間的な非線形ひずみ
を考慮して類似度を評価する必要がある。具体的には、
内視鏡画像または計算した仮想内視鏡画像を空間的に弾
性変形のようなひずみを与えて変形させながら、類似度
が上昇する変形パターンを探索する。このような適応的
非線形写像の詳細は、特許公報第２８６００４８号「非
線形画像変換装置および標準画像計算方法」に記載され
ているので、詳細は省略するが、図１８と図１９で簡単
に説明する。

【００６１】図１８は、適応的非線形写像実施後の最終
マッチングスコアによる類似度評価を用いる処理の流れ
図である。まず、第１画像のデータから、第１画像を所
定の数に分割して小エリアのデータを生成し、第１画像
層のデータとして保存する（Ｓ３０）。例えば、図１９
に示すように４×４個（１６個）の小エリアに分割さ
れる。次に、第２画像のデータを保存する（Ｓ３２）。
たとえば、第１画像が実内視鏡画像で、第２画像が仮想
内視鏡画像である。

【００６２】そして、第１画像の各小エリアのデータに
対して、各小エリアの位置を示す位置ベクトルに移動ベ
クトルを加算して、位置をスライドさせる（Ｓ３４）。
なお、各小エリアに対応する移動ベクトルＤの初期値は
いずれも０ベクトルである。次に、スライド後の第１画
像の各小エリアと第２画像の各小エリアとの類似度が最
も高い移動量（増分ベクトル）を各小エリアごとに探索
する（Ｓ３６）。類似度の評価はこれまで述べてきた方
法のいずれかを用いる。すなわち、相関係数、２乗誤差
などである。

【００６３】次に、小エリアごとにばらばらに計算した
移動ベクトルを平滑化する（Ｓ３８）。これは隣接する
小エリアごとの移動ベクトルの変化を滑らかにするため
である。ただし、滑らかにする度合はステップＳ３４な
いしＳ３８の処理を反復する反復ループの周回回数によ
り変化させる。このように、ループの周回回数により平
滑化の度合を変化させるので、この処理は適応的非線形
写像と呼ばれる。ここで、最初はあまり平滑化せずに、
個々の小エリアごとの特性を重視し、だいたい局所的に
は類似度が向上したら、最後に周囲との連続性を考慮し
て、移動ベクトルを滑らかに変化させる。このように、
反復するため、反復ループ内では移動ベクトルの計算は
前回の移動後の画像から始める。すなわち、移動量の増
分ベクトルをループを反復するたびに計算していく。し
たがって、反復２回目以降は増分ベクトルを計算後に、
全体的な移動ベクトルを求める計算（ステップＳ４０）
が必要になる。類似度が十分向上すれば、すなわち、マ
ッチングが成功すれば（Ｓ４２でＹＥＳ）、全画素に対
する移動ベクトルを計算する（Ｓ４４）。これにより、
操作者は画面上で移動ベクトルを考慮して表示された実
内視鏡画像と仮想内視鏡画像を観察できる。

【００６４】発明の実施の形態８．発明の実施の形態１
でも説明したように、実内視鏡画像と仮想内視鏡画像
は、互いに回転の自由度があるので、カメラを５度おき
に回転して仮想内視鏡画像を生成してデータベースを構
築する。次に、類似度が最大の仮想内視鏡画像を検索す
るために、データベース内のすべての画像を評価する必
要がある。これは、カメラの回転角と実内視鏡画像と仮
想内視鏡画像の類似度との関係があらかじめ不明である
ためやむをえない。図６の実内視鏡画像と仮想内視鏡画
像の類似度と回転角の関係を計算した１例を以下に示
す。回転は仮想内視鏡画像に対して行った。

【００６５】図２０は、直交座標系で類似度を評価した
結果のグラフである。類似度としては、あらかじめ実内
視鏡画像と仮想内視鏡画像の各画像の最大値を１に規格
化した後で、対応する画素ごとの強度差の２乗和(Erro
r)を用いた。もちろん、段落００３１で説明した相関値
を用いてもよい。類似度が画素強度値の２乗和（縦軸で
はErrorと表記）で与えているので、その最小値を与え
るときに最大の類似度となる。角度（Rotation）を変化
させた場合に、最大の類似度は角度０〜３０度で与えら
れるが、１３０度付近にも極小値が存在し、通常の分割
法、２次補間法などの最適化手法を用いて探索を高速化
した場合に、真の角度が求められない可能性を示してい
る。また、回転角が０〜３０度とかなりあいまいな解に
なっている。

【００６６】ところが、上記２つの画像を極座標に変換
した後、類似度を評価すると、図２１のグラフのよう
に、誤差（Error）の最小値は、他の極小値もなく、回
転角（Rotation）０度として明確に与えられることが分
かった。このため、通常の分割法、２次補間法などの最
適化手法を用いて探索を最適化した場合に、真の角度を
求めることができることを示している。なお、変換前の
画像（直交座標系）をＡ(ｘ，ｙ)、極座標系に変換後の
画像をＡ^＊(ｒ、theta)とすると、ｒ＝（Ｘ^２＋Ｙ^２）^１／２、 theta＝ｔａｎ
^−１（ｙ／ｘ）により、極座標系に変換後の画像Ａ^＊(ｒ、theta)の各
成分を計算できる。以上から、あらかじめ画像を極座標
系に変換した後に類似度を評価すると、評価が高速化で
きる効果があることがわかった。

【００６７】発明の実施の形態９．次に、仮想内視鏡画
像データベースの探索を高速化する方法を説明する。こ
こで、内視鏡を体内に導入した初期位置情報を用いて、
仮想内視鏡画像データベースを十分絞り込んで探索す
る。図２２は、その処理の流れ図を示す。すなわち、Ｍ
ＲＩ画像またはＣＴ画像を取得するときに、内視鏡を体
内に導入する初期位置を液体を封入した微小球マーカを
体表に貼り付けることにより、仮想内視鏡画像の初期カ
メラ位置を決定する（Ｓ５０）。さらに内視鏡を前進さ
せた場合に、探索範囲を常に前回の探査位置の近傍とす
る（Ｓ５２）。このとき、前回と今回の内視鏡の挿入距
離の差分に相当する探索半径を基に、仮想内視鏡データ
ベース内の探索を実施する（Ｓ５４）。これにより探索
を高速化・高精度化できる。

【００６８】発明の実施の形態１０．上述の各種処理に
より内視鏡先端位置が推定される。ここで、好ましく
は、過去に推定した内視鏡先端位置を時系列で並べたと
きに外挿される現在の予測位値から著しく逸脱した位置
を解としようとした場合に、その解をリジェクトする。
図２３は、その処理の流れ図を示す。内視鏡位置の推定
値を入力する（Ｓ６０）。一方、過去に推定した内視鏡
先端位置を時系列で並べたときに外挿される現在の予測
位値を計算し（Ｓ６２）、内視鏡位置の推定値と比較す
る（Ｓ６４）。２つの値の差が所定の値より小さければ
採用するが、２つの値の差が所定の値以上であれば、推
定値を採用しない。これにより、探索の誤りを防止す
る。

【００６９】

【発明の効果】本発明による内視鏡誘導装置および方法
によれば、検査対象の仮想内視鏡画像と内視鏡先端の位
置および姿勢の情報からなるデータベースと実内視鏡画
像を実時間で比較することにより、高度な画像診断技術
によって与えられた患部へ、迅速かつ正確に内視鏡を誘
導することが可能になる。たとえば、腫瘍摘出手術にあ
っては、残存する腫瘍組織を最低限に抑え、かつ短時間
で、また患者への侵襲を最小限にとどめた形で手術を実
施することが可能になり、ひいては患者の延命、早期退
院を実現することが可能になる。

【００７０】また、検査対象の３次元画像データ（ＣＴ
画像、ＭＲＩ画像などの診断画像）に基づいて仮想内視
鏡画像と比較するので、実内視鏡画像との比較が容易に
なる。

【００７１】また、硬性内視鏡により得られた画像と、
その画像を得たときの硬性内視鏡先端の位置および姿勢
の情報を用いるので、硬性内視鏡と光ファイバー方式の
内視鏡画像は同種画像であるため、データベースによる
類似度の評価は容易になる。

【００７２】また、内視鏡先端部の位置と姿勢を、２次
元断面表示または３次元表示された検査対象の画像に重
畳して表示するので、内視鏡手術従事者は、位置と方向
の判断を誤ることなく複雑な手術を続行できる。

【００７３】また、内視鏡画像にも体内表層下の患部
（腫瘍など）を重畳して表示できるので、正確な内視鏡
下での手術を実施できる。

【００７４】また、さらに、検査対象の３次元画像デー
タに基づいて仮想内視鏡画像を計算する画像生成手段を
備えるので、多数の内視鏡先端の位置と姿勢での仮想内
視鏡画像からなるデータベースを構築できる。

【００７５】また、ジョイントヒストグラムまたは２次
元ヒストグラムと呼ばれる図を用いて異種画像の位置合
わせを行うので、最も類似度が高い仮想内視鏡画像を容
易に決定できる。

【００７６】また、前記の比較手段は相互情報量を用い
るので、最も類似度が高い仮想内視鏡画像を容易に決定
できる。

【００７７】また、回転操作に不変な複素数連想処理を
採用するので、仮想内視鏡画像のデータベースの小規模
化および対ノイズ性能の向上が図れる。

【００７８】また、前記の比較手段は適応的非線形写像
実施後の最終マッチングスコアによる類似度を用いるの
で、最も類似度が高い仮想内視鏡画像を容易に決定でき
る。

【００７９】また、前記の比較手段は画像を極座標系に
変換した後に類似度を評価するので、評価が高速化でき
る。

【００８０】また、内視鏡を前進させた場合に、探索範
囲を前回の探索範囲の近くとして仮想内視鏡画像のデー
タベース内の探索を実施するので、探索を高速化でき
る。

【００８１】また、好ましくは、内視鏡先端の推定位置
が予測位値から著しく逸脱した位置である場合にその推
定位置を採用しないので、誤った推定を防止できる。

【図面の簡単な説明】

【図１】内視鏡誘導装置のブロック図

【図２】内視鏡誘導プログラムの流れ図

【図３】仮想内視鏡画像データベース計算の流れ図

【図４】仮想内視鏡画像データベースの生成における
視点情報の設定処理の流れ図

【図５】内視鏡画像のグレースケール化を用いた探索
処理の流れ図

【図６】最も一致する仮想内視鏡画像データベース内
に蓄積された画像を決定した処理の一例を示す図

【図７】現時点の内視鏡先端部の３次元位置およびカ
メラの向きを直交３平面画像上に矢印として重畳して表
示した図

【図８】現時点の内視鏡先端部の３次元位置およびカ
メラの向きを直交３平面画像上に矢印として重畳して表
示した図

【図９】内視鏡誘導プログラムの流れ図

【図１０】腫瘍位置を重畳して表示した図

【図１１】画像比較処理の流れ図

【図１２】実内視鏡画素値と仮想内視鏡画素値の２次
元グラフ

【図１３】相互情報量を用いる画像比較処理の流れ図

【図１４】回転に不変な連想記憶システムの基本的な
考え方を説明するための図

【図１５】硬質内視鏡を用いて内視鏡画像とその姿勢
情報を得ることを示す図

【図１６】ハイブリッドシステムでの処理の流れ図

【図１７】光ファイバー方式の軟内視鏡に交換して手
術を行う状況を示す図

【図１８】適応的非線形写像実施後の最終マッチング
スコアによる類似度評価を用いる処理の流れ図

【図１９】小エリアへの分割を示す図

【図２０】直交座標系における実内視鏡画像と仮想内
視鏡画像の類似度と回転角の関係のグラフ

【図２１】極座標系における実内視鏡画像と仮想内視
鏡画像の類似度と回転角の関係のグラフ

【図２２】仮想内視鏡画像データベースの探索を高速
化する処理の流れ図

【図２３】現在の予測位値から著しく逸脱した位置を
採用しない処理の流れ図

【符号の説明】

１０ネットワークコントローラ、１２ハードデ
ィスク、１４ＣＰＵ、１６入力装置、
１８メモリ、２２モニター。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ａ６１Ｂ 6/03 ３７７Ａ６１Ｂ 6/12 6/12 Ｇ０２Ｂ 23/26 ＣＧ０１Ｒ 33/28 ＤＧ０２Ｂ 23/26 Ｈ０４Ｎ 7/18 ＭＡ６１Ｂ 5/05 ３９０Ｈ０４Ｎ 7/18 Ｇ０１Ｎ 24/02 Ｙ (72)発明者永田敦神奈川県横浜市旭区若葉台４−８−1402 (72)発明者小杉幸夫神奈川県横浜市緑区長津田町4259 東京工業大学大学院総合理工学研究科内 (72)発明者渡辺英寿東京都文京区本郷５−29−12−1001 (72)発明者青木宏之東京都八王子市椚田町1220−２東京工業高等専門学校内Ｆターム(参考） 2H040 BA04 BA14 BA21 CA11 DA03 DA12 DA14 GA02 GA11 4C061 AA23 BB02 CC06 HH51 JJ11 JJ17 LL01 NN05 NN07 SS21 TT06 TT07 WW03 WW04 WW06 WW13 YY03 YY12 YY13 YY14 4C093 AA22 CA17 CA18 CA50 EE30 FD07 FD20 FF12 FF17 FF33 FF43 FG01 4C096 AA18 AA20 AB50 AD14 AD15 AD19 AD23 DC14 DC18 DC28 DC31 DC36 DC37 DD08 DE02 DE06 DE08 FC20 5C054 AA01 EA05 FC11 FD01 FE12 GB04 HA12

Claims

【特許請求の範囲】

【請求項１】検査対象の仮想内視鏡画像と内視鏡先端
の位置および姿勢の情報からなるデータベースを記憶す
る記憶手段と、検査対象の実軟性内視鏡画像を取得する入力手段と、前記実内視鏡画像を前記データベース内の仮想内視鏡画
像と比較して、前記内視鏡画像と最も類似度が高い仮想
内視鏡画像を決定する比較手段と、決定された仮想内視鏡画像の情報から、前記実内視鏡画
像に対応する軟性内視鏡先端部の位置と姿勢を決定する
決定手段とを有する内視鏡誘導装置。
【請求項２】前記の仮想内視鏡画像は、検査対象の３
次元画像データに基づいて生成された画像であることを
特徴とする請求項１に記載された内視鏡誘導装置。
【請求項３】前記の仮想内視鏡画像と内視鏡先端の位
置および姿勢の情報は、硬性内視鏡により得られた画像
と、その画像を得たときの硬性内視鏡先端の位置および
姿勢の情報であることを特徴とする請求項１に記載され
た内視鏡誘導装置。
【請求項４】さらに、決定手段により決定された内視
鏡先端部の位置と姿勢を、２次元断面表示または３次元
表示された検査対象の画像に重畳して表示装置の画面に
表示する表示手段とを備えることを特徴とする請求項１
ないし請求項３のいずれかに記載の内視鏡誘導装置。
【請求項５】前記の表示手段は、さらに、実内視鏡画
像またはそれと最も類似度が高い仮想内視鏡画像に、当
該画像では表示されていない体内の患部を重畳して表示
することを特徴とする請求項１ないし請求項４のいずれ
かに記載の内視鏡誘導装置。
【請求項６】さらに、検査対象の３次元画像データに
基づいて仮想内視鏡画像を計算する画像生成手段を備
え、この画像生成手段は、設定された内視鏡先端の位置
と姿勢ごとに、それに基いて３次元画像データの補間演
算とレンダリング演算を実行して仮想内視鏡画像を取得
することを特徴とする請求項１ないし請求項５のいずれ
かに記載の内視鏡誘導装置。
【請求項７】前記の比較手段は、画素位置(i,j)にお
ける実内視鏡画像の画素値と仮想内視鏡画像の画素値
を、実内視鏡画像の画素値と仮想内視鏡画像の画素位置
を座標軸とする２次元グラフにプロットしたときに最も
少ない面積上に分布する仮想内視鏡画像をデータベース
から探索し、最も類似度が高い仮想内視鏡画像とするこ
とを特徴とする請求項１ないし請求項６のいずれかに記
載の内視鏡誘導装置。
【請求項８】前記の比較手段は、相互情報量が最大の
仮想内視鏡画像を仮想内視鏡画像データベースから探索
し、最も類似度が高い仮想内視鏡画像とすることを特徴
とする請求項１ないし請求項７のいずれかに記載の内視
鏡誘導装置。
【請求項９】前記の比較手段は、回転に不変な複素数
画像連想処理を用いることを特徴とする請求項１ないし
請求項８記載の内視鏡誘導装置。
【請求項１０】前記の比較手段は、適応的非線形写像
を実施した後の最終マッチングスコアによる類似度を用
いることを特徴とする請求項１ないし請求項９のいずれ
かに記載の内視鏡誘導装置。
【請求項１１】前記の比較手段は、内視鏡を前進させ
た場合に、探索範囲を常に前回の探索範囲の近傍とし、
前回と今回の内視鏡の挿入距離の差分に相当する探索半
径を基に、仮想内視鏡画像のデータベース内の探索を実
施することを特徴とする請求項１ないし請求項１０いず
れかに記載の内視鏡誘導装置。
【請求項１２】前記の比較手段は、実内視鏡画像と仮
想内視鏡画像をそれぞれ極座標系に変換した後、最も類
似度が高い仮想内視鏡画像を選ぶことを特徴とする請求
項１ないし請求項１１のいずれかに記載の内視鏡誘導装
置。
【請求項１３】前記の比較手段は、類似度の評価にお
いて、あらかじめ実内視鏡画像と仮想内視鏡画像の各画
像の画素強度の最大値を１に規格化した後、対応する画
素後との強度差の２乗和を用いたことを特徴とする請求
項１ないし請求項１２のいずれかに記載の内視鏡誘導装
置。
【請求項１４】前記の決定手段は、前記の比較手段に
より得られた内視鏡先端の推定位置が、過去に推定した
内視鏡先端位置を時系列で並べたときに外挿される現在
の予測位値から著しく逸脱した位置である場合にその推
定位置を採用しないことを特徴とする請求項１ないし請
求項１３のいずれかに記載の内視鏡誘導装置。
【請求項１５】検査対象の仮想内視鏡画像と内視鏡先
端の位置および姿勢の情報をデータベースに記憶してお
き、検査対象の実軟性内視鏡画像を取得し、前記実内視鏡画像を前記データベース内の仮想内視鏡画
像と比較して、前記内視鏡画像と最も類似度が高い仮想
内視鏡画像を決定し、決定された仮想内視鏡画像の情報から、前記実内視鏡画
像に対応する軟性内視鏡先端部の位置と姿勢を決定する
内視鏡誘導方法。
【請求項１６】さらに、決定された内視鏡先端部の位
置と姿勢を、２次元断面表示または３次元表示された検
査対象の画像に重畳して表示装置の画面に表示すること
を特徴とする請求項１５に記載された内視鏡誘導方法。
【請求項１７】さらに、実内視鏡画像またはそれと最
も類似度が高い仮想内視鏡画像に、当該画像では表示さ
れていない体内の患部を重畳して表示することを特徴と
する請求項１５または請求項１６に記載された内視鏡誘
導方法。内視鏡誘導方法。