JP2018153345A - 内視鏡位置特定装置、方法およびプログラム - Google Patents

Abstract

【課題】内視鏡位置特定装置、方法およびプログラムにおいて、分岐構造を有する管状構造物内に挿入された内視鏡の移動量を、より簡易に算出できるようにする。【解決手段】穴部検出部２３が、第１の内視鏡画像Ｇｔおよび第１の内視鏡画像Ｇｔよりも時間的に前の第２の内視鏡画像Ｇｔ−１の少なくとも一方から、気管支の穴部を検出する。第１のパラメータ算出部２４が、２つの内視鏡画像のそれぞれの穴部を一致させるための、平行移動量を表す第１のパラメータを算出する。第２のパラメータ算出部２５が、第１のパラメータＰ１に基づいて、２つの内視鏡画像の位置合わせを行い、その後拡大縮小量を含む第２のパラメータを算出する。移動量算出部２６が、２つのパラメータに基づいて、第２の内視鏡画像Ｇｔ−１を取得した時点から第１の内視鏡画像Ｇｔを取得した時点までの、内視鏡の移動量を算出する。【選択図】図２

Description

本発明は、気管支等の分岐構造を有する管状構造物へ内視鏡を挿入して管状構造物の観察を行うに際し、管状構造物内における内視鏡の位置を特定する内視鏡位置特定装置、方法およびプログラムに関するものである。

近年、患者の気管支および大腸等の管状構造物を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色や質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支用の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。

そこで、ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。この仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる。しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する経路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。このため、３次元画像から管状構造物である気管支のグラフ構造を示す気管支画像を生成し、気管支画像を表示しつつ、気管支画像上に内視鏡の位置を示す手法が提案されている（特許文献１参照）。

このように気管支画像上に内視鏡の位置を示す場合、内視鏡の移動量を正確に検出する必要がある。このため、現在の内視鏡画像と過去の内視鏡画像とを用いてオプティカルフローを算出し、オプティカルフローを用いて内視鏡の現在位置を推定する手法が提案されている（特許文献２）。また、カプセル型の内視鏡ではあるが、前後する撮影時間の実内視鏡画像に含まれる、管腔粘膜上の局所的な部位を特徴付ける特徴構造、例えば管腔粘膜のしわおよび表面に透けて見える血管等の位置に基づいて、内視鏡の移動量を算出する手法が提案されている（特許文献３）。

特開２０１６−１７９１２１号公報 特開２０１６−５０５２７９号公報 特開２０１４−０００４２１号公報

しかしながら、オプティカルフローは求めるべきパラメータが非常に多い。また、特許文献３に記載された手法においても、特徴構造に基づいて内視鏡の移動量を算出するためには、平行移動および回転等のパラメータを算出する必要がある。位置検出および移動量の算出においては、求めるべきパラメータが多いほどマッチングの相違が多くなるため、精度が低下する。また、精度を上げようとすると演算量が多くなるため、処理に時間を要する。

本発明は上記事情に鑑みなされたものであり、分岐構造を有する管状構造物内に挿入された内視鏡の移動量を、より簡易に算出できるようにすることを目的とする。

本発明による内視鏡位置特定装置は、複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
順次取得される内視鏡画像のうちの第１の内視鏡画像、および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、管状構造物の穴部を検出する穴部検出手段と、
第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の平行移動量を表す第１のパラメータを算出する第１のパラメータ算出手段と、
第１のパラメータに基づいて、第１の内視鏡画像と第２の内視鏡画像との位置合わせを行い、位置合わせ後の第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出する第２のパラメータ算出手段と、
第１のパラメータおよび第２のパラメータに基づいて、第２の内視鏡画像を取得した時点から第１の内視鏡画像を取得した時点までの、内視鏡の移動量を算出する移動量算出手段とを備えたことを特徴とするものである。

管状構造物に挿入された内視鏡により取得される内視鏡画像においては、管状構造物の奥の方は、内視鏡の照明が届かないため暗く、深い穴のように見える。「管状構造物の穴部」とは、内視鏡画像において、内視鏡の照明が届かないことにより、他の領域と比較して暗くなっている領域を意味する。
「移動量」は、第１のパラメータに基づいて算出される移動量と、第２のパラメータに基づいて算出される移動量とがある。第１のパラメータに基づいて算出される移動量は平行移動量であり、第２のパラメータに基づいて算出される移動量は管状構造物が延在する方向の移動量である。なお、後述するように第２のパラメータが回転量を含む場合、移動量には回転の移動量も含む。

なお、本発明による内視鏡位置特定装置においては、管状構造物を含む３次元画像から、管状構造物の画像を生成する画像生成手段と、
管状構造物の画像を表示し、かつ管状構造物の画像上において移動量に基づいて内視鏡の位置を表示する表示制御手段をさらに備えるものとしてもよい。

また、本発明による内視鏡位置特定装置においては、表示制御手段は、内視鏡の位置を管状構造物の画像における管状構造物が延在する方向に投影して、内視鏡の位置を表示するものであってもよい。

また、本発明による内視鏡位置特定装置においては、移動量を保存する保存手段と、
保存された移動量に基づいて、管状構造物内における内視鏡の偏りを算出する偏り算出手段とをさらに備えるものとし、
表示制御手段は、内視鏡の偏りにも基づいて内視鏡の位置を表示するものであってもよい。

また、本発明による内視鏡位置特定装置においては、移動量算出手段は、管状構造物の径に応じて第１のパラメータおよび第２のパラメータの少なくとも一方を補正して、移動量を算出するものであってもよい。

また、本発明による内視鏡位置特定装置においては、第２のパラメータ算出手段は、第２の内視鏡画像に対する第１の内視鏡画像の回転量をさらに含む第２のパラメータを算出するものであってもよい。

本発明による内視鏡位置特定方法は、複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得し、
順次取得される内視鏡画像のうちの第１の内視鏡画像、および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、管状構造物の穴部を検出し、
第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の平行移動量を表す第１のパラメータを算出し、
第１のパラメータに基づいて、第１の内視鏡画像と第２の内視鏡画像との位置合わせを行い、位置合わせ後の第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出し、
第１のパラメータおよび第２のパラメータに基づいて、第２の内視鏡画像を取得した時点から第１の内視鏡画像を取得した時点までの、内視鏡の移動量を算出することを特徴とするものである。

なお、本発明による内視鏡位置特定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による他の内視鏡位置特定装置は、コンピュータに実行させるための命令を記憶するメモリ、および
記憶された命令を実行するよう構成されたプロセッサであって、
複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得処理と、
順次取得される内視鏡画像のうちの第１の内視鏡画像、および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、管状構造物の穴部を検出する穴部検出処理と、
第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の平行移動量を表す第１のパラメータを算出する第１のパラメータ算出処理と、
第１のパラメータに基づいて、第１の内視鏡画像と第２の内視鏡画像との位置合わせを行い、位置合わせ後の第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出する第２のパラメータ算出処理と、
第１のパラメータおよび第２のパラメータに基づいて、第２の内視鏡画像を取得した時点から第１の内視鏡画像を取得した時点までの、内視鏡の移動量を算出する移動量算出処理とを実行するプロセッサを備えたことを特徴とするものである。

本発明によれば、分岐構造を有する管状構造物の内壁を表す内視鏡画像が順次取得され、順次取得される内視鏡画像のうちの第１の内視鏡画像、および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、管状構造物の穴部が検出される。そして、第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の平行移動量を表す第１のパラメータが算出される。さらに、第１のパラメータに基づいて、第１の内視鏡画像と第２の内視鏡画像との位置合わせが行われ、位置合わせ後の第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の拡大縮小量を含む第２のパラメータが算出される。そして、第１のパラメータおよび第２のパラメータに基づいて、第２の内視鏡画像を取得した時点から第１の内視鏡画像を取得した時点までの、内視鏡の移動量が算出される。このように、本発明によれば、まず第１のパラメータを算出し、第１のパラメータに基づいて第１および第２の内視鏡画像の位置合わせを行った後に第２のパラメータを算出しているため、第１および第２のパラメータを同時に算出する場合と比較して、少ない演算量により第１および第２のパラメータを算出することができる。また、処理すべきパラメータの数が少ないため、算出された移動量が大きく外れることがなくなり、その結果、算出された移動量のロバスト性を向上することができる。

本発明の実施形態による内視鏡位置特定装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに内視鏡位置特定プログラムをインストールすることにより実現される本実施形態による内視鏡位置特定装置の概略構成を示す図 内視鏡画像を示す図 内視鏡先端の偏りの算出を説明するための図 内視鏡先端の気管支画像への投影を説明するための図 ディスプレイに表示される画像を示す図 本実施形態において行われる処理を示すフローチャート 気管支内における内視鏡の偏りを説明するための図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による内視鏡位置特定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および内視鏡位置特定装置６が、ネットワーク８を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ１、および撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置２等を備える。

内視鏡スコープ１は、操作部３Ａに被検体の管状構造物内に挿入される挿入部が取り付けられたものであり、プロセッサ装置２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったり、薬品を噴霧したりするための各種ボタンを含む。本実施形態では、内視鏡スコープ１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ１の挿入部の先端３Ｂから照射され、内視鏡スコープ１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。

プロセッサ装置２は、内視鏡スコープ１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｇ０を生成する。なお、生成される画像は、例えば３０ｆｐｓ等の所定のフレームレートにより表される複数の内視鏡画像Ｇ０からなる動画像である。内視鏡画像Ｇ０は、画像保管サーバ５あるいは内視鏡位置特定装置６に送信される。

３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成するＣＴ装置とする。

画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された内視鏡画像Ｇ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像Ｇ０は、内視鏡先端３Ｂの移動に応じて順次取得される動画像データとなる。このため、内視鏡画像Ｇ０は、画像保管サーバ５を経由することなく、内視鏡位置特定装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

内視鏡位置特定装置６は、１台のコンピュータに、本実施形態の内視鏡位置特定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡位置特定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて内視鏡位置特定装置６の使用者である医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに内視鏡位置特定プログラムをインストールすることにより実現される内視鏡位置特定装置の概略構成を示す図である。図２に示すように、内視鏡位置特定装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、内視鏡位置特定装置６には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。

ストレージ１３には、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した内視鏡画像Ｇ０、並びに３次元画像Ｖ０および内視鏡位置特定装置６での処理によって生成された画像等が記憶される。

また、メモリ１２には、内視鏡位置特定プログラムが記憶されている。内視鏡位置特定プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置２が生成した内視鏡画像Ｇ０を順次取得し、かつ３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データを取得する画像取得処理、３次元画像Ｖ０から管状構造物の画像である気管支画像を生成する気管支画像生成処理、順次取得される内視鏡画像のうちの第１の内視鏡画像および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、気管支の穴部を検出する穴部検出処理、第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の平行移動量を表す第１のパラメータを算出する第１のパラメータ算出処理、第１のパラメータに基づいて、第１の内視鏡画像と第２の内視鏡画像との位置合わせを行い、位置合わせ後の第１の内視鏡画像および第２の内視鏡画像のそれぞれの穴部を一致させるための、第２の内視鏡画像に対する第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出する第２のパラメータ算出処理、第１のパラメータおよび第２のパラメータに基づいて、第２の内視鏡画像を取得した時点から第１の内視鏡画像を取得した時点までの、内視鏡の移動量を算出する移動量算出処理、後述するように保存された移動量に基づいて、気管支内における内視鏡の偏りを算出する偏り算出処理、並びに気管支画像を表示し、かつ移動量に基づいて気管支画像上において内視鏡の位置を表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、気管支画像生成部２２、穴部検出部２３、第１のパラメータ算出部２４、第２のパラメータ算出部２５、移動量算出部２６、偏り算出部２７、および表示制御部２８として機能する。なお、画像取得処理、気管支画像生成処理、穴部検出処理、第１のパラメータ算出処理、第２のパラメータ算出処理、移動量算出処理、偏り算出処理および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。ここで、画像取得部２１が内視鏡画像取得手段に、気管支画像生成部２２が画像生成部にそれぞれ対応する。

画像取得部２１は、内視鏡装置３により気管支内を撮影した内視鏡画像Ｇ０を順次取得し、かつ３次元画像Ｖ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。内視鏡画像Ｇ０はディスプレイ１４に表示される。なお、画像取得部２１は、取得した内視鏡画像Ｇ０および３次元画像Ｖ０をストレージ１３に保存する。

気管支画像生成部２２は、３次元画像Ｖ０から気管支画像を生成する。このために、気管支画像生成部２２は、例えば特開２０１０−２２０７４２号公報等に記載された手法を用いて、３次元画像Ｖ０に含まれる気管支領域のグラフ構造を抽出して、３次元の気管支画像を生成するする。以下、このグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支画像生成部２２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像毎に検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下記の式（１）に示すように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、気管支画像生成部２２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像として生成する。なお、気管支画像の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用してもよい。

さらに気管支画像生成部２２は、気管支のグラフ構造の中心軸を検出する。また、気管支のグラフ構造の中心軸上の各画素位置から、気管支のグラフ構造の内壁までの距離を、その画素位置における気管支の半径として算出する。なお、グラフ構造の中心軸が延在する方向が、気管支が延在する方向となる。

穴部検出部２３は、順次取得される内視鏡画像Ｇ０のうちの第１の内視鏡画像および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、気管支の穴部を検出する。本実施形態においては、第１および第２の内視鏡画像のそれぞれから気管支の穴部を検出するものとして説明する。なお、以降の説明においては、第１の内視鏡画像および第２の内視鏡画像の参照符号をそれぞれＧｔ、Ｇｔ−１とする。したがって、第２の内視鏡画像Ｇｔ−１は、第１の内視鏡画像Ｇｔの１つ前の時間において取得されたものである。図３は、第１および第２の内視鏡画像を示す図である。第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１とを比較すると、第２の内視鏡画像Ｇｔ−１の方が第１の内視鏡画像Ｇｔよりも時間的に前に取得されている。このため、第２の内視鏡画像Ｇｔ−１に含まれる気管支の分岐における２つの穴部Ｈ１ｔ，Ｈ２ｔは、第１の内視鏡画像Ｇｔに含まれる２つの穴部Ｈ１ｔ−１，Ｈ２ｔ−１よりも小さい。

穴部検出部２３は、ＭＳＥＲの手法を用いて第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１から穴部を検出する。ＭＳＥＲの手法は、内視鏡画像において輝度がしきい値未満となる暗い領域を検出する。そして、しきい値を変更しつつ輝度がしきい値未満となる暗い領域を検出する。そして、しきい値の変化に対して暗い領域の面積が最も大きく変化するしきい値を求め、輝度がそのしきい値未満となる暗い領域を穴部として検出する手法である。

第１のパラメータ算出部２４は、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの平行移動量を表す第１のパラメータを算出する。具体的には、第１のパラメータ算出部２４は、第１の内視鏡画像Ｇｔの重心と第２の内視鏡画像Ｇｔ−１の重心とが一致する状態を初期位置として、第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して２次元的に移動させつつ相関を算出する。そして、相関が最大となった第１の内視鏡画像Ｇｔの２次元的な移動量を、第１のパラメータＰ１として算出する。なお、第１のパラメータＰ１は、図３に示すように紙面の水平方向にｘ軸を、垂直方向のｙ軸を設定した場合におけるｘ，ｙの値となる。

なお、第１のパラメータ算出部２４は、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれから、穴部を含む局所的な領域を抽出し、抽出した領域のみを用いて第１のパラメータＰ１を算出してもよい。これにより、第１のパラメータＰ１の算出のための演算量を低減できる。また、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれにおいて、穴部を含む局所的な領域の重み付けを大きくして第１のパラメータＰ１を算出してもよい。

第２のパラメータ算出部２５は、第１のパラメータＰ１に基づいて、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１との位置合わせを行い、位置合わせ後の第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの拡大縮小量を含む第２のパラメータＰ２を算出する。本実施形態においては、拡大縮小量に加えて、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの回転量をさらに含む第２のパラメータＰ２を算出する。

このために、第２のパラメータ算出部２５は、まず、第１のパラメータＰ１に基づいて、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１との位置合わせを行う。具体的には、第１の内視鏡画像Ｇｔを第１のパラメータＰ１に基づいて第２の内視鏡画像Ｇｔ−１に対して平行移動させることにより、位置合わせを行う。

そして、第２のパラメータ算出部２５は、位置合わせ後の第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して、段階的に拡大および縮小させつつ相関を算出する。この際、第１の内視鏡画像Ｇｔに含まれる穴部の大きさと、第２の内視鏡画像Ｇｔ−１に含まれる穴部の大きさとが一致すると、相関が最大となる。第２のパラメータ算出部２５は、相関が最大となった第１の内視鏡画像Ｇｔの拡大率を、第２のパラメータＰ２に含まれる拡大縮小量として算出する。

また、第２のパラメータ算出部２５は、位置合わせ後の第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して、検出した穴部の中心を基準として段階的に回転させつつ、相関を算出する。この際、検出した穴が複数ある場合には、検出した穴のそれぞれの中心を基準として段階的に回転させつつ、相関を算出する。なお、検出した１つの穴の中心のみを基準として相関を算出してもよい。そして、相関が最大となったときの第１の内視鏡画像Ｇｔの回転角度を、第２のパラメータＰ２に含まれる回転量として算出する。なお、第２のパラメータ算出部２５は、第２のパラメータＰ２に含まれる拡大縮小量および回転量のいずれを先に算出してもよい。

移動量算出部２６は、第１のパラメータＰ１および第２のパラメータＰ２に基づいて、第２の内視鏡画像Ｇｔ−１を取得した位置から第１の内視鏡画像Ｇｔを取得した位置までの、内視鏡先端３Ｂの移動量を算出する。具体的には、内視鏡先端３Ｂの平行移動量、内視鏡先端３Ｂの気管支の中心軸が延在する方向への移動量、および内視鏡先端３Ｂの回転の移動量を算出する。このために、移動量算出部２６は、まず、気管支画像生成部２２が抽出した気管支画像において、内視鏡先端３Ｂの初期位置を設定する。本実施形態においては、初期位置はディスプレイ１４に表示された内視鏡画像Ｇ０における最初の分岐の位置とする。初期位置の設定のために、表示制御部２８は、気管支画像生成部２２が抽出した気管支画像をディスプレイ１４に表示する。操作者はディスプレイ１４に表示された気管支画像に対して、入力部１５を用いて初期位置を設定する。なお、最初の分岐の位置における内視鏡画像Ｇ０と、気管支画像とのマッチングを行って、自動で気管支画像に初期位置を設定してもよい。

本実施形態においては、初期位置を開始位置として、内視鏡画像Ｇ０が取得される毎に移動量を算出する。ここでは、ある時点における第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１を用いた移動量の算出について説明する。移動量算出部２６は、第１のパラメータＰ１および第２のパラメータＰ２を、内視鏡先端３Ｂの移動量に変換することにより、移動量を算出する。ここで、第２の内視鏡画像Ｇｔ−１を取得した位置は、この第２の内視鏡画像Ｇｔ−１を第１の内視鏡画像Ｇｔとした１つ前の処理により特定されている。移動量算出部２６は、第２の内視鏡画像Ｇｔ−１を取得した位置における気管支の半径を気管支画像から取得する。そして、移動量算出部２６は、取得した気管支の半径をスケーリング係数として、平行移動量である第１のパラメータＰ１に乗算して、内視鏡先端３Ｂの平行移動量を算出する。また、スケーリング係数を第２のパラメータＰ２に含まれる拡大縮小量に乗算して、内視鏡先端３Ｂの気管支の中心軸が延在する方向の移動量を算出する。なお、拡大縮小量が拡大の値（すなわち拡大率が１より大きい）であれば、気管支の中心軸に沿った移動方向は内視鏡先端３Ｂの向く方向であり、拡大縮小量が縮小の値（すなわち拡大率が１より小さい）であれば、気管支の中心軸に沿った移動方向は内視鏡先端３Ｂの向く方向とは反対の方向である。なお、第２のパラメータＰ２に含まれる回転量に対しては、スケーリング係数を乗算することなく、回転量をそのまま回転の移動量として算出する。

なお、内視鏡先端３Ｂは実際の検査では気管支内を自由に移動する。しかしながら、移動の自由度が高いと、内視鏡先端３Ｂの位置を特定することが困難なものとなる。ここで、内視鏡を用いた検査においては、内視鏡先端３Ｂが気管支のどの部分に位置するかを操作者に知らせることが重要である。本実施形態においては、内視鏡先端３Ｂは、気管支の中心軸Ｃ０に沿って移動するという条件を付加し、その条件の下で、内視鏡先端３Ｂの位置を特定する。このために、移動量算出部２６は、移動量、すなわち内視鏡先端３Ｂの平行移動量、内視鏡先端３Ｂの気管支の中心軸が延在する方向の移動量、および内視鏡先端３Ｂの回転の移動量をストレージ１３に保存する。なお、本実施形態では、移動量は、初期位置から内視鏡画像Ｇ０が取得される毎に蓄積されて保存される。

偏り算出部２７は、ストレージ１３に保存された移動量に基づいて、気管支内における内視鏡先端３Ｂの偏りを算出する。図４は内視鏡先端３Ｂの偏りの算出を説明するための図である。なお、図４には、気管支３０およびその中心軸Ｃ０を示している。ここで、内視鏡先端３Ｂは、実際には破線３１に示すように、中心軸Ｃ０から隔たりを持って移動する。本実施形態においては、ストレージ１３に保存された移動量のうちの平行移動量に基づいて、内視鏡先端３Ｂの中心軸Ｃ０からの隔たりを、気管支内における内視鏡先端３Ｂの偏りとして算出する。図４に示すように、内視鏡先端３Ｂが位置３２にある場合、偏りは３３により表される。

表示制御部２８は、第２の内視鏡画像Ｇｔ−１を取得した位置から第１の内視鏡画像Ｇｔを取得した位置までの内視鏡先端３Ｂの移動量および偏り算出部２７が算出した内視鏡先端３Ｂの偏りに基づいて、内視鏡先端３Ｂの位置を気管支画像における中心軸に投影する。図５は内視鏡先端３Ｂの気管支画像への投影を説明するための図である。なお、図５においては気管支画像４０における内視鏡先端３Ｂの初期位置を位置４１としている。初期位置４１から内視鏡先端３Ｂが気管支の奥に向けて、位置４２、位置４３および位置４４と偏りを持って移動するにつれて、位置４２、位置４３および位置４４がそれぞれ位置４５、位置４６および位置４７に投影される。表示制御部２８は、中心軸Ｃ０に投影された内視鏡先端３Ｂの位置を繋げて、ディスプレイ１４に表示された気管支画像４０上に表示する。

図６はディスプレイに表示された気管支画像を示す図である。図６に示すようにディスプレイ１４には、気管支画像４０および現在位置において撮影されている内視鏡画像Ｇ０が表示される。なお、内視鏡画像Ｇ０は第１の内視鏡画像Ｇｔである。また、気管支画像４０においては、初期位置４１、内視鏡先端３Ｂの位置４９、および初期位置４１と位置４９との間において内視鏡先端３Ｂの投影された位置を繋ぐことにより得られる現在位置までの軌跡５０が表示されている。軌跡５０の先端が内視鏡先端３Ｂの現在位置となる。なお、内視鏡先端３Ｂの現在位置を点滅させるまたはマークを付与する等して、内視鏡先端３Ｂの位置が気管支画像４０において視認できるようにしてもよい。

次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。なお、ここでは初期位置４１から気管支の奥に向けて内視鏡先端３Ｂが挿入されており、ある時点における内視鏡画像Ｇ０を第１の内視鏡画像Ｇｔとする場合の処理について説明する。また、気管支画像生成部２２により、３次元画像Ｖ０から気管支画像が生成されているものとする。画像取得部２１がある時点における内視鏡画像Ｇ０を第１の内視鏡画像Ｇｔとして取得し（ステップＳＴ１）、穴部検出部２３が、第１の内視鏡画像Ｇｔ、および第１の内視鏡画像Ｇｔよりも時間的に前に取得された第２の内視鏡画像Ｇｔ−１のそれぞれから、気管支の穴部を検出する（ステップＳＴ２）。

そして、第１のパラメータ算出部２４が、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの平行移動量を表す第１のパラメータを算出する（ステップＳＴ３）。さらに、第２のパラメータ算出部２５が、第１のパラメータＰ１に基づいて、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１との位置合わせを行い（ステップＳＴ４）、位置合わせ後の第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの拡大縮小量を含む第２のパラメータを算出する（ステップＳＴ５）。

次いで、移動量算出部２６が、第１のパラメータＰ１および第２のパラメータＰ２に基づいて、第２の内視鏡画像Ｇｔ−１を取得した時点から第１の内視鏡画像Ｇｔを取得した時点までの、内視鏡の移動量を算出する（ステップＳＴ６）。また、偏り算出部２７が、内視鏡先端３Ｂの偏りを算出する（ステップＳＴ７）。そして、表示制御部２８が、移動量および内視鏡先端３Ｂの偏りに基づいて内視鏡先端３Ｂの位置を、ディスプレイ１４に表示された気管支画像４０上に表示する（ステップＳＴ８）。さらに、移動量算出部２６が移動量をストレージ１３に保存し（ステップＳＴ９）、ステップＳＴ１に戻る。

このように、本実施形態においては、まず第１のパラメータＰ１を算出し、第１のパラメータＰ１に基づいて第１および第２の内視鏡画像Ｇｔ，Ｇｔ−１の位置合わせを行った後に第２のパラメータＰ２を算出しているため、第１および第２のパラメータＰ１，Ｐ２を同時に算出する場合と比較して、少ない演算量により第１および第２のパラメータＰ１，Ｐ２を算出することができる。また、処理すべきパラメータの数が少ないため、算出された移動量が大きく外れることがなくなり、その結果、算出された移動量のロバスト性を向上することができる。

また、気管支画像４０を表示し、気管支画像４０上において内視鏡の位置を表す情報を表示することにより、気管支内における内視鏡の位置を容易に確認することができる。

また、気管支の径に応じて第１および第２のパラメータＰ１，Ｐ２を補正して移動量を算出することにより、実際の内視鏡の移動量を反映させた移動量を算出することができる。

ここで、本実施形態においては、内視鏡先端３Ｂは気管支画像の中心軸に投影されているため、表示された気管支画像においては、気管支の中心軸上における内視鏡先端３Ｂの位置が表示される。しかしながら、気管支の分岐において中心軸は２つに分かれる。図７は気管支内における内視鏡の偏りを説明するための図である。図７に示すように、気管支３０の中心軸Ｃ０はその先の分岐５１において２つの中心軸Ｃ１，Ｃ２に分かれる。本実施形態においては、偏り算出部２７が内視鏡先端３Ｂの気管支内の偏りを算出している。このように隔たりを算出することにより、気管支内における実際の内視鏡先端３Ｂの位置を算出できる。このため、中心軸Ｃ０が分岐５１により中心軸Ｃ１と中心軸Ｃ２とに分かれた場合でも、偏りに基づく内視鏡先端３Ｂの位置５２を知ることができる。その結果、内視鏡先端３Ｂが位置５２にある場合、位置５２を投影すべき中心軸を中心軸Ｃ１に決定することができる。したがって、気管支内における内視鏡の位置の特定を精度よく行うことができる。

なお、上記実施形態においては、初期位置４１から内視鏡画像Ｇ０が取得される毎に、移動量をストレージ１３に蓄積して保存している。ここで、移動量を蓄積して保存しているのは、気管支の分岐において、いずれの方向に内視鏡先端３Ｂが向かっているかを判断するためである。このため、内視鏡先端３Ｂが分岐を通過する毎に、蓄積した移動量を０にリセットして、通過した分岐から次の分岐までの間においてのみ、移動量を蓄積して保存するようにしてもよい。

また、上記実施形態においては、穴部検出部２３が、第１および第２の内視鏡画像のそれぞれから穴部を検出しているが、第１および第２の内視鏡画像Ｇｔ，Ｇｔ−１の一方から穴部を検出するものであってもよい。例えば、第１の内視鏡画像Ｇｔのみから穴部を検出した場合、検出した穴部を切り出した画像、あるいは穴部の重みを大きくした画像を生成し、このような画像と第２の内視鏡画像Ｇｔ−１とを用いることにより、第１のパラメータＰ１および第２のパラメータＰ２を算出することができる。

また、上記実施形態においては、第２のパラメータＰ２に回転量を含めているが、拡大縮小量のみを含む第２のパラメータＰ２を算出してもよい。

また、上記実施形態においては、保存された移動量に基づいて内視鏡の偏りを算出し、移動量および偏りに基づいて内視鏡の位置を表示しているが、内視鏡の偏りを算出することなく、移動量にのみ基づいて内視鏡の位置を表示してもよい。

また、上記実施形態においては、本発明の内視鏡位置特定装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、血管のような分岐構造を有する管状構造物を内視鏡により観察する場合にも、本発明を適用できる。

以下、本発明の実施態様の作用効果について説明する。

被検体の管状構造物を含む３次元画像から管状構造物の画像を生成し、管状構造物の画像を表示し、この画像上において内視鏡の位置を表す情報を表示することにより、管状構造物内における内視鏡の位置を容易に確認することができる。

抽出された管状構造物の径に応じて第１のパラメータおよび第２のパラメータの少なくとも一方を補正して移動量を算出することにより、実際の内視鏡の移動量を反映させた移動量を算出することができる。

第２の内視鏡画像に対する第１の内視鏡画像の回転量を第２のパラメータに含めることにより、内視鏡の回転についての移動量も算出することができる。

移動量を保存し、保存された移動量に基づいて、管状構造物内における内視鏡の偏りを算出することにより、管状構造物の分岐を内視鏡が超える際に、内視鏡の偏りを参照すれば、分岐のいずれの方向に内視鏡が進むかを推定することができる。したがって、管状構造物内における内視鏡の位置の特定を精度よく行うことができる。

１ 内視鏡スコープ
２ プロセッサ装置
３ 内視鏡装置
３Ａ 操作部
３Ｂ 内視鏡先端
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 内視鏡位置特定装置
８ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 気管支画像生成部
２３ 穴部検出部
２４ 第１のパラメータ算出部
２５ 第２のパラメータ算出部
２６ 移動量算出
２７ 偏り算出
２８ 表示制御部
３０ 気管支
３２ 位置
３３ 偏り
４１ 初期位置
４２〜４９，５２ 位置
５０ 軌跡
５１ 分岐
Ｃ０，Ｃ１，Ｃ２ 中心軸
Ｇ０ 内視鏡画像
Ｇｔ 第１の内視鏡画像
Ｇｔ−１ 第２の内視鏡画像
Ｈ１ｔ，Ｈ２ｔ，Ｈ１ｔ−１，Ｈ２ｔ−１ 穴部
Ｐ１ 第１のパラメータ
Ｐ２ 第２のパラメータ

Claims (8)

1. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
   前記順次取得される内視鏡画像のうちの第１の内視鏡画像、および該第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、前記管状構造物の穴部を検出する穴部検出手段と、
   前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の平行移動量を表す第１のパラメータを算出する第１のパラメータ算出手段と、
   前記第１のパラメータに基づいて、前記第１の内視鏡画像と前記第２の内視鏡画像との位置合わせを行い、該位置合わせ後の前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出する第２のパラメータ算出手段と、
   前記第１のパラメータおよび前記第２のパラメータに基づいて、前記第２の内視鏡画像を取得した時点から前記第１の内視鏡画像を取得した時点までの、前記内視鏡の移動量を算出する移動量算出手段とを備えたことを特徴とする内視鏡位置特定装置。
2. 前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する画像生成手段と、
   前記管状構造物の画像を表示し、かつ該管状構造物の画像上において前記移動量に基づいて前記内視鏡の位置を表示する表示制御手段をさらに備えた請求項１記載の内視鏡位置特定装置。
3. 前記表示制御手段は、前記内視鏡の位置を前記管状構造物の画像における該管状構造物が延在する方向に投影して、前記内視鏡の位置を表示する請求項２記載の内視鏡位置特定装置。
4. 前記移動量を保存する保存手段と、
   前記保存された移動量に基づいて、前記管状構造物内における前記内視鏡の偏りを算出する偏り算出手段とをさらに備え、
   前記表示制御手段は、前記内視鏡の偏りにも基づいて前記内視鏡の位置を表示する請求項３記載の内視鏡位置特定装置。
5. 前記移動量算出手段は、前記管状構造物の径に応じて前記第１のパラメータおよび前記第２のパラメータの少なくとも一方を補正して、前記移動量を算出する請求項１から４のいずれか１項記載の内視鏡位置特定装置。
6. 前記第２のパラメータ算出手段は、前記第２の内視鏡画像に対する前記第１の内視鏡画像の回転量をさらに含む前記第２のパラメータを算出する請求項１から５のいずれか１項記載の内視鏡位置特定装置。
7. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得し、
   前記順次取得される内視鏡画像のうちの第１の内視鏡画像、および該第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、前記管状構造物の穴部を検出し、
   前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の平行移動量を表す第１のパラメータを算出し、
   前記第１のパラメータに基づいて、前記第１の内視鏡画像と前記第２の内視鏡画像との位置合わせを行い、該位置合わせ後の前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出し、
   前記第１のパラメータおよび前記第２のパラメータに基づいて、前記第２の内視鏡画像を取得した時点から前記第１の内視鏡画像を取得した時点までの、前記内視鏡の移動量を算出することを特徴とする内視鏡位置特定方法。
8. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する手順と、
   前記順次取得される内視鏡画像のうちの第１の内視鏡画像、および該第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像の少なくとも一方から、前記管状構造物の穴部を検出する手順と、
   前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の平行移動量を表す第１のパラメータを算出する手順と、
   前記第１のパラメータに基づいて、前記第１の内視鏡画像と前記第２の内視鏡画像との位置合わせを行い、該位置合わせ後の前記第１の内視鏡画像および前記第２の内視鏡画像のそれぞれの穴部を一致させるための、前記第２の内視鏡画像に対する前記第１の内視鏡画像の拡大縮小量を含む第２のパラメータを算出する手順と、
   前記第１のパラメータおよび前記第２のパラメータに基づいて、前記第２の内視鏡画像を取得した時点から前記第１の内視鏡画像を取得した時点までの、前記内視鏡の移動量を算出する手順とをコンピュータに実行させることを特徴とする内視鏡位置特定プログラム。