JP2012511361A5 - 血管などの血管構造の赤外線の改善された画像処理および機能的分析のための装置ならびに画像処理ユニット - Google Patents

Description

本発明の１つの対象物は、協働する２つの基本ユニットを構成している、手術部位とその周りの表示手段によって外科的操作の指針を支援するように設計された装置である：
−マルチモードまたはマルチスペクトルの画像取得ユニット、これは、ヒトの身体の内部からマルチモードまたはマルチスペクトルの画像を取得するための画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡およびさらなる光学的システムを含む内視鏡画像取得デバイスを含み、その画像を改善した画像処理ユニットへ送る。
−画像処理ユニット、このユニットは、ヒトの身体の改善された画像、好ましくはヒトの身体の血管マップと、内視鏡の位置を処理し外科医に表示することに関与するナビゲーションインターフェースを備えた画像処理デバイスを含む。この目的のために、このユニットとＧＰＵ、ＦＰＧＡ、ＣＵＰベースのシステムを構成する特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピュータリングを介してリアルタイムの処理を行う他の任意のハードウエアは、基本的に以下からなる、少なくとも５つのシグナル処理方法を含む：
１．正規化：可視光（赤、緑、および青）と赤外光の像点の各々の強度を、画像上で画像ぼかし機能（ｉｍａｇｅ−ｂｌｕｒｒｉｎｇ ｆｕｎｃｔｉｏｎ）を実行する空間的なローパスフィルタの適用によって得られた強度とリアルタイムで比較することによって、組織を照らす光の量を正規化するためのシグナル処理方法。この方法によって、入射する赤外光の量は、再現可能な様式で推定される。
２．セグメント化：赤外光と可視光のリアルタイムのマルチモード分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメント化するためのシグナル処理方法。
３．トラッキング：前述の方法（正規化およびセグメント化）によって作り出された画像から２つの連続的な画像の間での、解剖学的構造または組織、好ましくは血管のような血管構造のリアルタイムのトラッキングとコローカライジング（ｃｏ−ｌｏｃａｌｉｚｉｎｇ）のためのシグナル処理方法。
４．マッピング：解剖学的構造または組織、好ましくは個々の画像からの血管のリアルタイムのマップと、正規化およびセグメント化によって得られたトラッキング座標を作成するためのシグナル処理方法。
５．ヒュージョン：リアルタイムで（標準的な内視鏡検査によって作成された）可視画像とマッピング工程後に得られた情報を融合させるシグナル処理方法。

本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査での手術において支援となるための、解剖学的構造または組織、好ましくは血管構造の改善された赤外線画像処理のための装置であり、マルチモードの画像取得ユニットは、ヒトの身体内部からのビデオ画像が得られる、少なくとも１チャンネルを備えた内視鏡、胎児鏡または腹腔鏡を含み、それに対して、赤外光源と白色光源（または少なくとも青、緑および赤の波長の光を含む）が結合される。その光源は、ビームスプリッター、ホットミラー（ｈｏｔ ｍｉｒｒｏｒ)、コールドミラー（ｃｏｌｄ ｍｉｒｒｏｒ）、ダイクロイックミラー、検光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、音響光学材料、音響光学位相制御フィルタ、整形器、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または検出又は照明のいずれか（同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおける封入も含む）、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。

本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査において同じチャンネルがホットミラー又は備え付けられたミラー（封入されたミラー）を有する光学ファイバーのような要素を使用することによって検出するために利用され得る装置であり；例えば、電荷結合デバイス、相補型金属酸化物半導体（ＣＭＯＳ）または電子倍増型電荷結合デバイス（ＥＭ−ＣＣＤ）カメラなどのような１以上のビデオカメラで画像を形成するために、フィルタやレンズのようなさらなる光学的要素の使用もまた予想され、その画像は画像処理ユニットによって後で処理するためにデジタル化される。

光は、ビームスプリッター、ホットミラー（赤外線を反射するミラーを意図する）、コールドミラー（可視光を反射するミラーを意図する）、ダイクロイックミラー、検光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、音響光学材料、音響光学位相制御フィルタ、整形器、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または、（同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおける封入も含む）検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。

さらに、画像増幅器が、ビデオカメラ（１０）、（１１）に加えられ得る。

本発明の装置の一部を形成する画像処理ユニット（２）は、マルチモードの画像取得ユニット（１）によって取得された後に、リアルタイムで改善された画像を処理し、外科医に表示することに関与するデバイスである。そのデバイスは、図５のダイアグラムに示されるように、ＧＰＵ、ＦＰＧＡ、ＣＰＵベースのシステムの適切なハードウエアおよびソフトウエアと、またはローカルの、分散あるいは並列コンピューティングを通じてリアルタイムの処理を行う任意の他のハードウエアの実行による、以下に列挙される方法の少なくとも各々を含む。図５において、よりよい理解のために、赤外線画像は（１２）で参照され、可視化画像は（１３）で参照され、赤、緑および青で反射された画像は、それぞれ、（１４ａ）、（１４ｂ）および（１４ｃ）で参照され、異なる方法は、（１５）、（１６）、（１７）、（１８）および（１９）で参照され、改善されたローカル表示は（２０）で参照され、および改善された全体表示は（２１）で参照される。そのハードウエアとソフトウエアが実行する重要なタスク、すなわち、このユニットを作る装置の画像処理を向上させるためのシグナル処理の手順は：
方法１．正規化（１５）：可視光（赤、緑および青）と赤外光の強度の画像におけるポイントの各々での強度をリアルタイムで比較すること、および画像上にローパスフィルタを使用することによって、組織（７）を照らす光の量を正規化し、再生可能な形式で入射の赤外光の量を推測するためのシグナル処理手順。
−入力：
反映された赤の画像Ｒ_Ｒ（ｘ，ｙ）（１４ａ）、ここで、（ｘ，ｙ）は、得られた画像における２次元の座標表示を指す。
反映された緑の画像Ｒ_Ｇ（ｘ，ｙ）（１４ｂ）。
反映された青の画像Ｒ_Ｂ（ｘ，ｙ）（１４ｃ）。
反映された赤外線の画像Ｒ_ＮＩＲ（ｘ，ｙ）（１２）。
−出力：
推測される照明画像

よってスクリーン上の各ポイントに対して「血管」である可能性を含む新たな画像を形成することができる。
２．確率をローパスフィルタリングすることによって、新しい確率的画像が作製され、それは、近傍内での確率を平均したものである、Ｐ_２（ｖｅｓｓｅｌ｜ｘ，ｙ）。
３．必須の工程１および２は、マルチモードの画像処理ユニット（１）のために入手できる波長または光学画像処理モードの各々に関して繰り返され得、従って、ｍ＝１、２、・・・Ｍに対する確率Ｐ_ｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）の一定範囲の画像を作り出す。
４．Ｐ_ｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）にわたる域値および形態的な操作の適用を使って、画像は、Ｖ（ｘ，ｙ）に関して１の値を有する「血管」とＶ（ｘ，ｙ）に関して０の値を有する「血管でないもの」との間でセグメント化される。
５．マルチモードの画像処理ユニット（１）における画像取得モードの取り込みによって、セグメント化の正確さは向上し、および／または、さらなる波長を使っての動脈や静脈、または検光子を使ってのコラーゲン構造のような、より多くのセグメント化されたクラスが得られる。後者の適用は、皮膚科学に特に関連がある。

方法３．トラッキング（１７）：（方法１および２によって生成された画像からの２つの連続するシーンの間の血管の）リアルタイムでのトラッキングおよび同時配置のためのシグナル処理手順。
−入力：
血管の確率的画像Ｐ_ｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。
血管のセグメント化された画像Ｖ（ｘ，ｙ）。
以前の血管の確率的画像Ｐ_ｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）、ｍ＝１、２、・・・Ｍ。
以前の血管のセグメント化された画像Ｖ’（ｘ，ｙ）または血管のマップ画像Ｔ（ｘ，ｙ）。
−出力：
配置距離を測定するために使用される、２つの画像の間の配置ベクトルｄ（ｘ，ｙ）。
画像間の相互相関係数ＣＶ。
−必須の工程
・オプションＡ：
１．予測されるモデルは、血管の自然な方向を支持し、以前の血管の輪郭Ｖ’（ｘ，ｙ）と現在のＶ（ｘ，ｙ）画像をならし、それぞれ、結果としてＶｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）を生じさせる。
２．Ｖｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）の間の正規化された相関した係数の最大値が検出される。
３．座標の原点への最大値の距離は、配置距離ｄ（ｘ，ｙ）を与える。
４．正規化された相互相関の最大値として、相互相関係数が計算される。
・オプションＢ：
１．血管の自然な方向を支持し、以前のＶ’（ｘ，ｙ）と現在のＶ（ｘ，ｙ）画像の血管のエッジをならし、それぞれＶｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）を生じさせる、予測されるモデル。
２．Ｖｐ’（ｘ，ｙ）とＶｐ（ｘ，ｙ）の間の相互相関の半値全幅（ｆｕｌｌ ｗｉｄｔｈ ｈａｌｆ ｍａｘｉｍｕｍ）を定める領域が検出される。
３．原点に対する、その領域の質量中心または物質中心の距離（重み付きの、または重み付きでない）は、配置距離ｄ（ｘ，ｙ）を与える。質量中心または物質中心の計算は、領域の中心を計算するための一般的な画像処理操作として意図される。
４．相互相関の率（ｑｕａｔｉｅｎｔ）は、正規化された相互相関の重み付けされた平均である。
・オプションＣ：
１．以前の確率的画像と現在の確率的画像、それぞれ、Ｐ_ｍ’（ｖｅｓｓｅｌ｜ｘ，ｙ）とＰ_ｍ（ｖｅｓｓｅｌ｜ｘ，ｙ）、を比較することによって、蓋然性を最大化して、最もある得る配置ｄ（ｘ，ｙ）が見出される。
２．以前のＶｐ’（ｘ，ｙ）と現在のＶｐ（ｘ，ｙ）の重なり合う領域を計算し、画像の視野の全領域に関して正規化し、Ｃｖを得る。

方法５：ヒュージョン（１９）：方法３からの情報で、（標準的内視鏡によって作り出された）目に見えるもののリアルタイムで画像を併合するためのシグナル処理手順。
−入力：
血管マップ画像Ｔ（ｘ，ｙ）。
全体画像Ｇ（ｘ，ｙ，ｃ）。
反射された赤の画像Ｒ_Ｒ（ｘ，ｙ）（１４ａ）。
反射された緑の画像Ｒ_Ｇ（ｘ，ｙ）（１４ｂ）。
反射された青の画像Ｒ_Ｂ（ｘ，ｙ）（１４ｃ）。
血管のセグメント化された画像Ｖ（ｘ，ｙ）。
−出力：
局所的に改善された画像のカラー画像ＶＥＬ（ｘ，ｙ，ｃ）。
全体的に改善された画像のカラー画像ＶＥＧ（ｘ，ｙ，ｃ）。
−必須の工程：
１．画像ＶＥＬ（ｘ，ｙ，ｃ）は、１つまたは多くの可視画像:反射された赤の画像Ｒ_Ｒ（ｘ，ｙ）（１４ａ）、反射された緑の画像Ｒ_Ｇ（ｘ，ｙ）（１４ｂ）および反射された青の画像Ｒ_Ｂ（ｘ，ｙ）（１４ｃ）、上へ重なり合わされたセグメント化された血管画像Ｖ（ｘ，ｙ）の重み付け加算（ｗｅｆｉｇｈｔ ａｄｄｉｎｇ）によって得られる。
２．画像ＶＥＧ（ｘ，ｙ，ｃ）は、全体画像Ｇ（ｘ，ｙ，ｃ）のチャンネル又はカラーｃの１つの上に重なり合わされた、セグメント化された血管マップ画像Ｔ（ｘ，ｙ）を加えることによって得られる。
３．１つまたはいくつかのモニター、プロジェクターまたはデジタル若しくはアナログ画像を表示することができる一般的なデバイスに送ることができるデジタル画像を得る。
４．各モニター（または同等物）に表示するために視聴様式を選択するために、ユーザーインターフェースが作製される：ＶＥＬ（ｘ，ｙ，ｃ）、ＶＥＧ（ｘ，ｙ，ｃ）、Ｖ（ｘ，ｙ）、Ｔ（ｘ，ｙ）、またはＧ（ｘ，ｙ，ｃ）。

まとめると、本発明の装置での解剖学的構造の赤外線ビジョンを改善するためのシグナル処理手順は、ＧＰＵ、ＦＰＧＡ、ＣＰＵベースのシステムで実行される特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアを備えた画像処理ユニット（２）で行われ、その手順は、少なくとも以下の方法を含む：
方法１．正規化（１５）：可視光（赤、緑および青）と赤外光の強度の画像における各ポイントの強度をリアルタイムで比較し、そして画像にローパスフィルタを使用することによって、組織（７）を照らす光の量を正規化するためのシグナル処理手順。入射する赤外光の量は、再現可能な形式で推定される。
方法２．セグメント化（１６）：赤外画像および可視画像のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管構造をセグメン化するためのシグナル処理手順。
方法３．トラッキング（１７）：方法１および２によって生成された２つの連続的画像の間の解剖学的構造または組織、好ましくは、血管構造のリアルタイムのトラッキングおよび同時配置のためのシグナル処理手順。
方法４．マッピング（１８）：方法１および２から得られた画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管構造のリアルタイムのマップを作製するためのシグナル処理手順。
方法５．ヒュージョン（１９）：方法３からの情報で（標準的な内視鏡によって作り出された）可視画像を融合させるためのシグナル処理手順。

Claims (9)

1. 以下の少なくとも２つのマルチモードのまたはマルチスペクトルの画像取得ユニット（１）と画像処理ユニット（２）が協働するユニットを備えてなる血管などの血管構造の赤外線の改善された画像処理および機能的分析のための装置であって、
   −前記画像取得ユニット（１）は、内視鏡、胎児鏡または腹腔鏡（３）を含む内視鏡画像取得デバイスを含む、ヒトの身体の内部からの画像を取得するための、マルチモードのまたはマルチスペクトルの画像取得ユニット（１）であって、ヒトの身体の内部からのビデオ画像が得られる少なくとも１つのチャンネルが設けられ、前記少なくとも１つのチャンネルに、少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または青、緑および赤の３つの波長、を含む光源が連結され、
   −前記画像処理ユニット（２）は、前記画像取得ユニット（１）によって得られたヒトの身体の血管マップを処理し、表示するための、および前記画像取得デバイスの位置をリアルタイムで割り当てるための、インターフェースを備えたデバイスを含む画像処理ユニット（２）であって、
   各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度をリアルタイムで比較し、前記画像におけるローパスフィルタを使用し、および入射する赤外光の量を推測することによって、前記解剖学的構造または組織（７）を照らす光の量を正規化するための、正規化（１５）シグナル処理手段と、
   赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するための、セグメント化（１６）シグナル処理手段と、
   正規化（１５）手段およびセグメント化（１６）手段によって生成された２つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するための、トラッキング（１７）シグナル処理手段と、
   解剖学的構造または組織の前記画像から、およびトラッキング（１７）手段の使用を介して、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作成するための、マッピング（１８）シグナル処理手段と、
   正規化（１５）手段、セグメント化（１６）手段、トラッキング（１７）手段およびマッピング（１８）手段のいずれかによって得られた情報によって、前記画像取得ユニット（１）によって生成された可視光の画像を併合するための、ヒュージョン（１９）シグナル処理手段と、
   を含んでなる
   ことを特徴とする、装置。
2. 前記光源（４、５）が、
   ビームスプリッター、ホットミラー、コールドミラー、ダイクロイックミラー、検光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、音響光学材料、音響光学位相制御フィルタ、整形器、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッターのなから選択されたオプティカルエレメント、或いは、
   光学的経路がファイバー光学的経路である場合に、光学ファイバー内の封入を含む、検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスの中から選択される光学的要素（６）の手段
   によって内視鏡のビデオチャンネルへと連結されてなることを特徴とする、請求項１に記載の装置。
3. ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラから選択された１以上のビデオカメラ（１０）、（１１）において画像を形成するため、および前記画像処理ユニット（２）によるさらなる処理のために前記画像をデジタル化するために、フィルタ（８）およびレンズ（９）と随意に組み合わせて、好ましくは内視鏡、胎児鏡または腹腔鏡（３）である画像取得デバイスにおける同じチャンネルが、光学的要素（６）の使用によって解剖学的構造の検出のために使用されることを特徴とする、請求項２に記載の装置。
4. 画像増幅器が、前記ビデオカメラ（１０）、（１１）にさらに供されることを特徴とする請求項３に記載の装置。
5. 前記画像取得ユニット（１）は２つのチャンネルが設けられ、前記内視鏡、胎児鏡または腹腔鏡（３）の２つのチャンネルを使用することによって、少なくとも赤外光源（４）および少なくとも１つの白色光源（５）が、ビデオカメラ（１０）、（１１）に連結されることを特徴とする請求項１または２のいずれかに記載の装置。
6. 前記内視鏡、胎児鏡または腹腔鏡（３）における少なくとも１つのチャンネルが、光学的要素（６）と組み合わせて照明のためのみに使用され；および少なくとも１つの他のチャンネルが検出のためのみに使用され、前記装置は、フィルタ（８）およびレンズ（９）のようなさらなる光学的要素をさらに含むことを特徴とする請求項１乃至４のいずれかに記載の装置。
7. 前記内視鏡、胎児鏡または腹腔鏡（３）の末端プローブに設置され、電気コネクション（２２）に繋がれた、ＣＣＤ、ＣＭＯＳまたはＥＭ−ＣＣＤカメラ（１０）が、光源（４）、（５）によって連続的に発せられた異なるバンド又は波長の連続的な検出のために利用され、前記カメラ（１０）内の少なくとも１つのフィルタ（８）が、１以上の赤外線スペクトルバンドの分離のためにカラーフィルタアレー又はカラーフィルタモザイクであることを特徴とする請求項１乃至４のいずれかに記載の装置。
8. 前記画像取得ユニット（１）が、画像取得デバイスとして、皮膚および開放外科的手に適合した光学対物レンズを含むことを特徴とする請求項１に記載の装置。
9. 少なくとも１つの赤外光源（４）および少なくとも１つの白色光源（５）または青、緑および赤の３つの波長を含む光源によって照明される解剖学的構造および組織、好ましくは、血管のような血管構造の改善された画像を処理し、および表示するためのインターフェースを備えたデバイスを含む画像処理ユニット（２）であって、前記画像処理ユニット（２）は、少なくとも、
   各画像ポイントにおける可視光（赤、緑および青）と赤外光の強度をリアルタイムで比較し、前記画像におけるローパスフィルタを使用し、および入射する赤外光の量を推測することによって、前記解剖学的構造または組織（７）を照らす光の量を正規化するための、正規化（１５）シグナル処理手段：
   赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメント化するための、セグメント化（１６）シグナル処理手段：
   正規化（１５）手段およびセグメント化（１６）手段によって生成された２つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するための、トラッキング（１７）シグナル処理手段：
   解剖学的構造または組織の前記画像から、およびトラッキング（１７）手段の使用を介して、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作成するための、マッピング（１８）シグナル処理手段：
   正規化（１５）手段、セグメント化（１６）手段、トラッキング（１７）手段およびマッピング（１８）手段のいずれかによって得られた情報によって、前記画像取得ユニット（１）によって生成された可視光の複数の画像を併合するための、ヒュージョン（１９）シグナル処理手段、
   を含むことを特徴とする、画像処理ユニット（２）。