この発明の実施の形態の一例について図面を参照しながら詳細に説明する。以下、この発明に係るX線透視装置の実施の形態について特に詳しく説明する。このX線透視装置は、この発明に係るX線透視画像処理方法を実行するように構成されている。
この実施形態に係るX線透視装置は、被検体の体内にワイヤを挿入して実施される手術において使用される。以下、X線透視下カテーテル術に適用した場合について特に詳しく説明する。このX線透視装置は、術者の操作に基づいて移動するワイヤや血管をリアルタイムで観察しつつ行う作業の好適化を図るものである。より具体的には、このX線透視装置は、体内の状態を観察するための動画像における、被検体の運動(心拍、呼吸、体動等)に起因するワイヤの像の動きを抑制することでワイヤの像の視認性の向上を図るものである。
この実施形態では、特に指摘しない限り「画像」と「画像データ」とを区別しないことにする。X線透視装置が処理する画像データは、一般にペイントデータ(ラスタデータ、ビットマップデータ等とも呼ばれる。)である。ペイントデータは、ピクセル(pixel)やボクセル(voxel)等の画素により形成され、各画素に値(画素値)を付与して形成される画像データである。この画像データを所定のコンピュータプログラムにより視認可能に表現したものが画像である。このように、画像データと画像とは実質的に一対一に対応するものである。
<第1の実施形態>
[装置構成]
この実施形態に係るX線透視装置の構成について説明する。このX線透視装置の構成例を図1に示す。このX線透視装置は、従来と同様の機械構成を有する。
被検体1はX線透視下カテーテル術が施される患者を示す。被検体1は天板2の上に載置される。天板2は図示しない寝台装置の一部である。寝台装置には天板2を移動させるための駆動機構が設けられている。この実施形態では被検体1は天板2に横たわるようにして載置される。X線透視装置によっては被検体を立位状態で支持する立位載置台が設けられたものもあるが、X線透視下カテーテル術においては、通常、天板上に仰臥状態で支持された被検体に対して処置が施される。
Cアーム3は略「C」字形状に形成された支持部材である。Cアーム3の一端側にはX線管4とX線絞り5が支持され、他端側にはX線検出器6が支持されている。それにより、X線管4及びX線絞り5と、X線検出器6とが、被検体1を挟んで対向する位置に配置される。
Cアーム3は駆動機構8により移動可能に保持されている。駆動機構8は、演算制御装置20の制御の下にCアーム3を移動させることで、X線管4、X線絞り5及びX線検出器6の位置や傾斜角度を変更させる。X線管4は、この発明の「X線照射手段」の一例である。X線検出器6は、この発明の「X線検出手段」の一例である。
X線管4は、高電圧発生装置9から高電圧を印加されてX線7を発生する。X線絞り5は、X線管4から発生されたX線7の照射範囲(立体角や断面形状)を規制する絞り羽根を有する。絞り制御部10は、絞り羽根の位置を移動させてX線7の照射範囲を変更させる。高電圧発生装置9及び絞り制御部10の動作は演算制御装置20により制御される。
X線絞り5により照射範囲が規制されたX線7は被検体1に照射される。被検体1を透過したX線7はX線検出器6に投射される。X線検出器6はX線7を検出し、その検出結果を電気信号に変換して検出制御部11に送信する。検出制御部11はこの電気信号を演算制御装置20に送信する。また、検出制御部11はX線検出器6の動作を制御する。
X線検出器6は、たとえば平面検出器(Flat Panel Detector;FPD)や、イメージインテンシファイア(Image Intensifier;I.I.)を用いて構成できる。
この実施形態では、所定の時間間隔でX線7を照射するようにX線管4を制御する。この時間間隔はたとえば30分の1秒〜5分の1秒(毎秒の照射回数5〜30回)程度に設定される。なお、X線透視装置ではたとえば最大数十回/秒の照射が可能であるが、被検体1や術者へのX線被曝を低減させるためにこの程度の時間間隔が選択される。それにより、5〜30フレーム/秒程度のフレームレートの動画像が得られる。このように反復的にX線を照射する代わりに、連続的にX線を照射することも可能である。
演算制御装置20は、このX線透視装置の各部の制御を行うとともに、各種の演算処理を実行する。演算制御装置20は、たとえば一般的なコンピュータと同様の構成を有する。その一例として、演算制御装置20は、マイクロプロセッサ、記憶装置(RAM、ROM、ハードディスクドライブ等)、通信インターフェイスなどを含んで構成される。演算制御装置20には、操作デバイスや入力デバイスや表示デバイスが接続されている。
演算制御装置20中のシステム制御部21は、このX線透視装置の各部を制御する。その一例として次のようなものがある:駆動機構8を制御してCアーム3を移動させる;高電圧発生装置9を制御してX線条件(X線7の線量等)を変更させる;絞り制御部10を制御してX線7の照射範囲を変更させる;検出制御部11を制御してX線検出器10の動作制御を行わせる。また、システム制御部21は演算制御装置20の各部を制御する。
画像処理部23は、X線検出器6から検出制御部11を介して送信された電気信号に基づいて被検体1の画像(デジタル画像データ)を形成する。また、画像処理部23は、この画像に対して各種の画像処理を施す。画像処理部23の詳細については後述する。
表示制御部24は、システム制御部21の制御を受けて表示部31に情報を表示させる。表示部31は、液晶ディスプレイ(Liquid Crystal Display;LCD)や、CRT(Cathode Ray Tube)ディスプレイ等の表示デバイスを用いて構成される。表示部31は、システム制御部21及び表示制御部24とともに、この発明の「表示手段」の一例である。
操作部32は、このX線透視装置の操作や情報入力などに用いられる。操作部32は、キーボード、マウス、コントロールパネルなどの操作デバイスや入力デバイスを含んで構成される。
〔画像処理部〕
画像処理部23の構成例について、図2を更に参照しながら説明する。画像処理部23には、ワイヤ特定部41と位置合わせ処理部43が設けられている。
画像処理部23は、以下に説明する処理をリアルタイムで実行する。この実施形態におけるリアルタイム処理は、X線検出器6からの電気信号(一フレームに相当する)が演算制御装置20に入力されたことに対応して、当該フレームに対する処理を即座に実行して結果を出力(表示)することである。それにより、実用上遅滞ないとみなされる遅延時間のうちに、ワイヤの状況を動画像として表示することが可能となる。
(ワイヤ特定部)
上記のように、この実施形態では5〜30フレーム/秒程度のフレームレートの動画像が得られる。ワイヤ特定部41は、この動画像を構成する複数のフレームのそれぞれにおけるガイドワイヤの像を特定する。ワイヤ特定部41は、この発明の「特定手段」の一例である。
ここで、フレームとは、動画像を構成する一連の静止画像のそれぞれを指す。また、上記複数のフレームは、動画像を構成する全てのフレームである必要はない。たとえば、この実施形態の特徴的な機能(後述)の開始タイミングと終了タイミングに応じて決定される複数のフレームであってもよい。なお、手術中には長時間(たとえば数時間)に亘って毎秒数フレームから30フレーム程度の動画像が生成され続けるが、この実施形態に係る機能を使用するのはこのうちの例えば数分程度である。画像処理部23は、この実施形態に係る機能の使用開始の指示とともに動作を開始し、以下のような処理を実行する。画像処理部23による処理対象となるフレームは、当該使用開始の指示以降に取得される一連のフレームである。
ワイヤ特定部41の動作についてより詳しく説明する。フレームの一例を図3に示す。フレームFは、大腿動脈から挿入されたカテーテル及びガイドワイヤを大動脈経由で冠状動脈に挿入したところを表している。一般にX線画像では、X線の透過量が少ないところを黒く描写させ、多いところを白く描写させるように表示することが多い。図3もこの表示方式に従っている。図3に示す画像の模式図を図4に示す。
フレームFにおいて薄暗い帯状に見える像C´は、カテーテルの影である。また、カテーテルの像C´の先端部分に位置して、やや黒く見える像Cは、ガイドワイヤの影である。カテーテルの先端は開口している。ガイドワイヤの先端側はこの開口から突出している。また、ガイドワイヤの中央付近の大きな屈曲は、大動脈から冠状動脈への分岐部にカテーテルが嵌り込んでいるために生じている。ガイドワイヤの像Cの先端部位を詳細に見ると、僅かだが大きく屈曲している。これは、血管の分岐部等にガイドワイヤを挿入しやすくするために予めガイドワイヤに付けてある曲がり癖である。フレームFはこのような状態を描写している。
なお、図4においては、見やすさのために、血管や臓器や骨などの体内組織を描写した像を省略してある(以下の他の模式図においても同様)。実際のフレームでは、図3に示すように、体内組織に相当する複雑な濃淡模様も描写される。また、この実施形態では、特に言及しない限り、像とその実体(カテーテル、ガイドワイヤ、体内組織等)とを区別しないことにする。
この実施形態では図3に示すようなフレームを処理する。ワイヤの像Cをより容易にかつ高精度に特定するために、まず、ワイヤ特定部41が強調処理を行って像Cをより明瞭にする。この強調処理の例として、非線形明度変換を行ってワイヤの像Cの濃度ムラを低減させてから、更に、画像の様々な空間周波数成分のうち空間周波数の高い成分を抽出する画像フィルタ処理を施す方法がある。この画像フィルタ処理は、大域的で滑らかなグラデーションを除去し、局所的で細かな変動成分のみを残すものである。
強調処理は、上記の例に限定されるものではない。たとえば、使用されるX線透視装置や被検体の特性に応じて、強調処理の内容を適宜に決定することができる。また、公知の画像処理技術を適宜に組み合わせるなどして強調処理を実現することが可能である。
ワイヤ特定部41は、フレームFに対して適切なパターン抽出処理を施してワイヤの像Cを特定する。このパターン抽出処理としては、画素値に関する閾値処理や空間フィルタ処理などの任意の画像処理技術を適宜に用いることが可能である。また、ワイヤの像Cの特定には、像Cの全体を特定する代わりに、その輪郭を特定するように構成してもよい。
数学的には、ワイヤは実空間(3次元空間)に埋め込まれた滑らかな曲線(3次元曲線)である。一方、X線透視装置で得られる画像は、この3次元曲線を平面に投影した2次元曲線となる。この投影は、X線管4の位置(つまりX線7の発生位置)を視点とし、X線検出器6の検出面を投影平面としたものである。よって、特定したワイヤの像Cを2次元曲線として捉えることができる(これも同じ符号Cで表す)。
ワイヤ特定部41は、フレームFから特定されたワイヤの像Cを抽出する。位置合わせ処理部43は、抽出された像Cを2次元曲線として表す(後述)。抽出されたワイヤの像Cの例を図5に示す。また、ワイヤの像Cに基づく2次元曲線Cの例を図6に示す。
前述の時間間隔でX線検出器6から順次に送られてくる電気信号に基づく各フレームに対し、ワイヤ特定部41は上記処理をリアルタイムで実行する。それにより得られる時系列の複数のワイヤの像Cの一部を図7に示す。
図8は、時間的に連続するフレーム群のそれぞれから抽出された図7に示すワイヤの像Cに基づく2次元曲線Cを表している。2次元曲線Cの位置や形状が少しずつ変化しているのは、被検体1の呼吸や心拍等によって生じる運動による移動と、血管内におけるワイヤの移動によるワイヤ自体の変形の結果である。
体内のワイヤを観察する場合、ワイヤに対してできるだけ直交する方向からX線を照射することが望ましい。それにより、ワイヤの動きが映像上(動画像上)で最も分かりやすくなるからである。時間的に隣接する二つのフレーム間でワイヤの像Cを比較すると、両者の違いは形状や長さの僅かな変化であり、被検体1の運動による平行移動や回転移動によりワイヤの変形や位置の変化が生じてはいるものの、互いに似通った形態となる。
なお、ワイヤの先端部位は、ワイヤを捻る操作や血管壁との衝突によって急激に形状を変えることがある。しかし、それ以外の部位は、ワイヤが現に通っている位置の血管の形状を反映しており、急激に変形することはほとんどない。この実施形態では、この事実を利用して次のような処理を実行する。
(位置合わせ処理部)
位置合わせ処理部43は、この実施形態に係る機能の適用対象となる一連のフレームのうち、最初のフレーム以外の各フレームに対して次のような処理を実行する。このとき、最初のフレームは、以降のフレームに対する処理において位置の基準として参照される。位置合わせ処理部43は、当該フレームにおけるワイヤの像Cとこれより過去のフレームにおけるワイヤの像Cとが最もうまく重なるように、当該フレームと過去のフレームとを位置合わせする。位置合わせ処理部43は、この発明の「位置合わせ処理手段」の一例である。以下、フレームの位置合わせ処理について詳しく説明する。
まず、位置合わせ処理部43は、各フレームにおけるワイヤの像Cの形状を表す2次元曲線Cを求める(図6を参照)。このとき、必要に応じて細線化処理などの画像処理が行われる。
まず、隣接する二つのフレームを位置合わせする処理の概要を説明する。図7に示すフレームf、gにおけるワイヤの像Cに基づく2次元曲線を図9に示す。図9(A)はフレームfに対応する2次元曲線Cfを示し、図9(B)はフレームgに対応する2次元曲線Cgを示している。なお、後述の重ね合わせを考慮して、2次元曲線Cfは実線で、2次元曲線Cgは破線でそれぞれ示してある。各図の座標軸についても同様である。
次に、位置合わせ処理部43は、双方の2次元曲線Cf、Cgが最も良く一致するような座標変換を求める。この座標変換は平行移動と回転移動を含む。このような座標変換はアフィン変換(Affine Transformation)として表現可能である。ただし、ここで用いるアフィン変換は拡大/縮小と鏡映を含まない。
得られたアフィン変換は、フレームfのワイヤの像Cに合わせてフレームgのワイヤの像Cを相対的に平行移動及び/又は回転移動させるものである。このアフィン変換をT(g、f)と記すことにする。
アフィン変換T(g、f)を決定する際には、体内をワイヤが移動することによる変形の影響を考慮する必要がある。そのために、2次元曲線Cf、Cgの全体を合わせ込むのではなく、両端部位に生じるずれを許容する。特に、先端部位については前述のように急激な変形が発生することがあるので、比較的大きなずれまで許容する。たとえば図10に示すように、2次元曲線Cf、Cgの先端部位については、他の部位ほど正確に重ね合わせる必要はない。
位置合わせ処理部43は、各2次元曲線Cf、Cgの各位置に対応する重み関数Wf、Wgを生成する。
一般に、重ね合わせを厳密に行いたい部分については重みを大きく設定し、ずれを許容する部位については重みを小さく設定する。ワイヤの先端部位の近傍については、前述のように変形しやすいので、重みを小さくする。また、ワイヤの各点における屈曲の度合いに応じて重みを付与することが可能である。たとえば、ワイヤの屈曲が大きい位置ほど重みを大きくすることが望ましい。重み関数Wf、Wgは、これら事項に鑑みて各位置における重みを適当に設定することによって生成される。
重ね合わせは、フレームgに対して式(1)に示すアフィン変換T(g、f)を適用することによって行うので、そのパラメータθ、u、vを適切に決定する必要がある。ここで、パラメータθは回転移動量を表し、パラメータu、vは平行移動量を表す。
フレームgの2次元曲線(xg,yg)にアフィン変換T(g、f)を適用して得られる2次元曲線を(xg´,yg´)とする。フレームfの2次元曲線(xf,yf)と2次元曲線(xg´,yg´)との不一致の度合いを適当な尺度で評価したものをEとすると、このEの値が概ね最小になるようなパラメータθ、u、vを算出する。
より具体的な構成としては、たとえば次のようにできる。2次元曲線(xf,yf)上の各点pと、2次元曲線(xg´,yg´)上の点であって点pに最寄りである点qとの距離をDとするとき、不一致の度合いの評価尺度Eとして次式で示すものを考慮する。
式(2)に示す総和は、2次元曲線(xf,yf)上の全ての点について取るものとする。θ、u、vの値を変化させるとEの値も変化するので、Eが概ね最小になるθ、u、vを探索する。この探索は、公知の非線形最小二乗法等の技法で実行できる。
以上のようにして適切なアフィン変換T(g、f)が決定される。これをフレームgに適用すると、フレームfとフレームgの相互のワイヤの像Cがほぼ重ね合わせられ、したがって、これらフレームf、gが位置合わせされたことになる。なお、上記の例では不一致の度合いが概ね最小になるようにアフィン変換のパラメータを算出したが、これとは逆に一致の度合いを適当な尺度で評価し、この一致の度合いが概ね最大になるようにアフィン変換のパラメータを求めるように構成してもよいことは言うまでもない。
以上の演算では、隣接する二つのフレームの位置合わせを実行している。この実施形態では、時系列に沿って順次にフレームが形成されていくので、動画像におけるワイヤの像Cの動きを抑制するためには、上記のアフィン変換を順次に累積していく必要がある。そのために、位置合わせ処理部43は次のような処理を実行する。
動きを抑制する処理が施される最初のフレームの直前のフレームをフレームF0とし、これ以降のフレームを順にフレームF1、F2、F3、・・・・とする(図示せず)。このとき、フレームFn(n=1、2、3、・・・・)に適用されるアフィン変換をTnとすると、位置合わせ処理部43は、次式のようにして各アフィン変換Tnを求める。
位置合わせ処理部43は、このようにして順次に得られるアフィン変換Tnを、対応するフレームFnに順次に適用していくことにより、順次に取得される複数のフレームの位置合わせをリアルタイムで実行する。
このようにすると、最初のフレームfに対して次のフレームgが位置合わせされた後、フレームgに続くフレームhは、「最初のフレームfに対して位置合わせされたg」に対して位置合わせされることになる。したがって、フレームhは、フレームfに対しても概ね正しく位置合わせされていることになる。以下同様である。このようにしてワイヤの像Cがほとんど静止した動画像(挿入器具位置合わせ動画像)を生成することができる。
なお、このようにして得られるワイヤ追跡動画像は、X線透視画像と同じサイズ(つまり同じX線の照射領域)のフレームからなるが、ワイヤの像を含む画像領域をフレームからトリミングし(必要ならばこれを拡大し)、通常の透視画像とは別に表示することができる。トリミングされる画像領域を「トリム枠」と呼ぶことにする。トリム枠の大きさや位置は手動で設定できる。このトリム枠を用いると、注目するワイヤの周辺の像だけがワイヤ追跡動画像として表示され、他の部分は表示されない。もし他の部分も表示させると、骨等の組織の像が動き回る動画像が表示されるので、観察者の目に負担を強いることになる。なお、トリム枠については第2の実施形態で更に説明する。
[動作]
以上のように構成されたX線透視装置の動作について説明する。このX線透視装置の動作例を図11に示す。
被検体1は天板2上に載置されており、ワイヤが被検体1の体内に挿入されているものとする。X線管4とX線検出器6は、患部を含む領域を透視するように配置され、X線絞り5は適当な照射範囲に設定されているものとする。
術者は操作部32により所定の操作を行ってX線透視の開始を指示する(S1)。この指示を受けたシステム制御部21は、高電圧発生装置9及び検出制御部11を制御して被検体1のX線透視を開始させる。この実施形態では、X線管4は所定の時間間隔でX線を照射し、X線検出器6はこの断続的に発せられるX線の透過分を検出する。システム制御部21は、表示制御部24を介して、当該時間間隔に対応するフレームレートの動画像(通常の透視動画像)を表示部31に表示させる(S2)。このとき、X線の断続的な照射に対応して順次に取得されるフレームは、システム制御部21により画像処理部23に順次に送られる。
なお、ステップ2で表示される通常の透視動画像は、後述の動き抑制機能に係る処理が施されずに表示されるものである。この通常の透視動画像を表示させることは法規上の制約である。
ワイヤの像Cが動画像に描写されている状態で、術者は、操作部32を操作して、この実施形態に係る機能(動き抑制機能)の開始を指示する(S3)。この指示を受けたシステム制御部21は、画像処理部23に以下の処理を実行させる。以下の各処理の詳細については前述した。
なお、この動作例では、分かりやすさのために、各フレームに対して複数の処理を順々に実行する場合について説明するが、或るフレームに対する処理の実行中に新たなフレームに対する処理を逐次に実行すること(いわゆるパイプライン処理)も可能である。一例として、或るフレームに対するワイヤの像の特定処理を実行している間に、その次のフレームに対するワイヤの像を強調する処理を実行するようにしてもよい。
さて、まずワイヤ特定部41は、必要に応じ、動き抑制機能の開始が指示されたタイミングで取得されたフレームF1とその直前のフレームF0とのそれぞれにおけるワイヤの像を強調する。
次に、ワイヤ特定部41は、強調されたワイヤの像を各フレームF0、F1から特定し、2次元曲線として抽出する(S4)。それにより、各フレームF0、F1について、図6に示すような新たな画像(フレーム)が形成される。これら新たなフレームについてもそれぞれ符号F0、F1を用いて説明する。
位置合わせ処理部43は、各フレームF0、F1に基づく2次元曲線(xF0,yF0)、(xF1,yF1)のそれぞれに対応する重み関数WF0,WF1を生成する。更に、位置合わせ処理部43は、これら重み関数WF0,WF1を用いて、フレームF0のワイヤの像とフレームF1のワイヤの像とを重ね合わせるアフィン変換T1を決定する(S5)。
ワイヤ追跡動画像の生成が開始されていない場合(S6:No)、画像処理部23は、決定されたアフィン変換T1の回転移動量θ及び平行移動量u、vがそれぞれ所定値未満であるか判定する(S7)。この所定値は予め設定される。所定値以上であると判定された場合(S7:No)、フレームF0、F1の位置合わせを行わずに、次のフレームF2に対する処理に移行する(S12)。なお、回転移動量θ等が所定値未満であると判定されずに所定時間(たとえば1心拍分の時間(1秒程度))が経過した場合には、経過時に処理しているフレームから位置合わせ処理を開始し、ワイヤ追跡動画像の生成を開始する(S8)。
或るフレームF(i−1)、Fiについて、アフィン変換Tiの回転移動量θ及び平行移動量u、vが所定値未満であると判断されると(S7:Yes)、位置合わせ処理部43は、このアフィン変換TiをフレームFiに適用してフレームF(i−1)、Fiの位置合わせを実行し、ワイヤ追跡動画像の生成を開始する(S8)。
システム制御部21は、表示制御部24を介して、フレームF(i−1)の次に、位置合わせがなされたワイヤ追跡動画像を表示させる(S9)。このとき、ワイヤ追跡動画像は、通常の透視動画像とともに表示される。なお、表示されるワイヤ追跡動画像は、視認性を高めるための画像処理(たとえば明度調整、コントラスト調整、フィルタ処理、ノイズ抑制処理など)を施した後のものであってもよいし、これら画像処理を施す前のものであってもよい。
動き抑制機能を終了する旨の指示が未だなされていない場合(S10、No)、次のフレームF(i+1)に対する処理に移行する(S12)。なお、前述のように、フレームF(i−1)、Fiに対する上記処理の間にフレームF(i+1)に対する処理の一部を実行していてもよい。いずれにしても、フレームF(i+1)に対し、ワイヤの像の強調処理及び特定処理(S4)が実行される。
位置合わせ処理部43は、フレームFi、F(i+1)の間のアフィン変換T(i+1、i)を求める。更に、上記の式(3)に示したように、位置合わせ処理部43は、このアフィン変換T(i+1、i)とアフィン変換Tiとを合成して、フレームF(i+1)に適用させるアフィン変換Ti+1=T(i+1、i)Tiを決定する(S5)。ワイヤ追跡動画像の生成が開始されているのでステップ8に移行する(S6:Yes)。
位置合わせ処理部43は、決定されたアフィン変換Ti+1をフレームF(i+1)に適用することにより、フレームFiに対するフレームF(i+1)の位置合わせを実行し、ワイヤ追跡動画像を生成する(S8)。
システム制御部21は、表示制御部24を介して、ワイヤ追跡動画像における次のフレームF(i+1)を表示させる(S9)。
画像処理部23は、術者により当該機能の終了の指示がなされるまで、順次に取得されるフレームに対して上記の処理を反復して実行する。当該機能の終了の指示がなされると(S10、Yes)、当該指示のタイミングで得られたフレーム(最終フレームと呼ぶ)まで上記処理を実行し、動き抑制機能を終了する。すなわち、上記処理が完了していないフレーム(残りのフレーム)が有る場合(S11、Yes)、最終フレームまで上記処理を実行して当該機能を終了する。他方、残りのフレームが無い場合には(S11、No)、当該機能を終了する。以上で、この動作例の説明を終了する。
[作用・効果]
この実施形態に係るX線透視装置の作用及び効果について説明する。
このX線透視装置は、X線透視下カテーテル術においてリアルタイムで取得される動画像について、この動画像を構成する複数のフレームのそれぞれにおけるワイヤの像を特定する。複数のフレームは、たとえば、動き抑制機能の開始の指示のタイミングの直前のフレーム(上記フレームF0)から、当該機能の終了の指示のタイミングのフレームまでの間に取得されるフレーム群である。このX線透視装置は、順次に取得されるフレームについて、ワイヤの像を順次に特定していく。なお、当該特定処理の精度や確度を向上させるために、各フレーム中のワイヤの像を強調する強調処理を事前に施すように構成することもできる。
このX線透視装置は、所定のフレームFi(回転移動量θ等が所定値未満のフレーム。つまり、その直前のフレームとの間における2次元曲線の変位が小さいフレーム。)以降のフレームについて、そのフレームFn(n=i、i+1、i+2、・・・・)におけるワイヤの像とこれより過去のフレームにおけるワイヤの像とを重ね合わせるように、フレームFnと過去のフレームとを位置合わせする。この処理についても、順次にワイヤの像が特定されていくフレームに対して順次に実行されていく。
更に、このX線透視装置は、位置合わせがなされた後の複数のフレームに基づくワイヤ追跡動画像)を表示する。ワイヤ追跡動画像は、順次に位置合わせが実行されたフレームを(X線の照射間隔に対応するフレームレートで)順次に表示させることにより動画像として提示されるものである。
なお、位置合わせ処理では、当該フレームFnにおけるワイヤの像とそれより過去のフレームにおけるワイヤの像とを相対的に平行移動及び/又は回転移動させて重ね合わせるようになっている。平行移動や回転移動はアフィン変換Tnとして表現される。また、前述のように、この位置合わせ処理は、ガイドワイヤの像同士を完全に一致させるものではなく、平行移動及び回転移動の範疇においてガイドワイヤの像同士が最適に重なり合うように実行されるものである。
また、位置合わせ処理では、順次に取得されるフレームに対して次のような処理を順次に施すことにより、フレームF(i−1)以降のフレーム全体の位置合わせを行うようになっている。すなわち、位置合わせ処理では、これらフレームのうちの最初の二つのフレーム以外の各フレーム(フレームF(i+1)、F(i+2)、F(i+3)、・・・・)について、それより過去の二つ以上のフレームに対する位置合わせの結果と、当該フレームFnと過去の二つ以上のフレームのうちの最新のフレーム(フレームF(n―1))との位置合わせの結果とに基づいて、当該フレームFnと過去の二つ以上のフレームのうちの最初のフレーム(フレームF(i−1))とを位置合わせしている。
このようなX線透視装置によれば、フレーム中のワイヤの像の位置を重ね合わせるように複数のフレームの位置合わせを行うことができるので、X線透視下カテーテル術においてワイヤの動きを抑制したワイヤ追跡動画像をリアルタイムで表示することが可能である。
また、前述のトリム枠を使用すれば、注目するワイヤの周辺の像だけがワイヤ追跡動画像として表示される。それにより、骨等の組織が動き回る他の部分が表示画像から排除されるので、ワイヤ追跡動画像の視認性が向上する。
なお、この実施形態では、各フレームについて、その直前のフレームを参照して位置合わせ処理を行っているが、この発明はこれに限定されるものではない。この発明では、各フレームについて、たとえば数フレーム分だけ前の一つ又は複数のフレームを参照して位置合わせを行うことができる。すなわち、各フレームについて、過去の一つ又は複数のアフィン変換Tk、Tk−1を参照して位置合わせを行うように構成してもよい。具体的には、算出されたアフィン変換TkをフレームFkに適用する代わりに、Tk、Tk−1、・・・から算出した別のアフィン変換S(Tk、Tk−1、・・・)をフレームFkに適用する。アフィン変換Sは、たとえば、Tj(j=k、k−1、・・・)の平行移動パラメータuj、vjと回転移動パラメータθjを重み付き平滑化して得られる平行移動量〈u〉、〈v〉と回転角度〈θ〉を持つアフィン変換として構成してもよい。この構成によれば、もしフレームFkのアフィン変換が偶然のノイズや計算の誤差によって、多少不適切な変換として算出されてしまった場合でも、その影響を抑制できるので、視認性の高いワイヤ追跡動画像を提供できる。
また、全てのフレームについて上記処理を実行する代わりに、数フレームおきに上記処理を実行するとともに、上記処理を実行しなかったフレームについては、その直前に上記処理が実行されたフレームの位置合わせ結果を用いて位置合わせをするように構成することも可能である。いずれにしても、この発明は、各フレームについて、それより過去の一つ又は複数のフレームを参照して位置合わせ処理を実行するものである。
上記の動作説明では、回転移動量θ等が小さいフレームからワイヤ追跡動画像の生成を開始しているが(図11のステップ7「Yes」)、ワイヤ追跡動画像の生成開始タイミングはこれに限定されるものではない。たとえば、被検体1の心電図を取りながら手術を行う場合、被検体1に装着された心電計からの出力信号を解析して心拍による体内組織の動きが小さくなるタイミングを検知し(たとえば1心拍分の時間だけ検知処理を行う)、そのタイミングで得られたフレームからワイヤ追跡動画像の生成を開始するように構成することができる。それにより、上記動作説明の場合と同様に、心拍による画像の動きが小さくなるタイミングでワイヤ追跡動画像の生成、表示を開始できる。
以上のように、この実施形態に係る動作は、アフィン変換を決定する段階(変換決定フェーズ:図11のステップ4,5)と、決定されたアフィン変換を適用して表示する段階(変換適用フェーズ:ステップ8,9)とに大別できる。
<第2の実施形態>
この発明の他の実施形態について説明する。X線透視下カテーテル術において術者がX線透視画像を参照するのは、主としてワイヤの先端付近を詳細に観察したいからである。したがって、ワイヤの先端の近傍以外の部位の映像(動画像)はさほど重要でない。この実施形態では、このような事実に鑑み、第1の実施形態で説明した処理を行った上で、ワイヤの先端付近の視認性を向上させるための技術を説明する。
この実施形態に係るX線透視装置は、ワイヤの像の先端部位(つまりワイヤの先端部位に相当する像)の近傍の画像領域を切り出して拡大表示するように作用する。これを実現するために、この実施形態に係るX線透視装置はたとえば次のように構成される。
以下、各フレームから画像領域を切り出すことを「トリミング」と呼ぶ。また、各フレームからトリミングされる画像領域の境界を「トリム枠」と呼ぶ。トリム枠を境界とする画像領域は、この発明の「所定範囲」の一例である。
各フレームに設定されるトリム枠のサイズは予め決定されているものとする。このサイズは、所定のデフォルト値であってもよいし、術者等が事前に設定したものであってもよい。また、一旦決定されたサイズを適宜に調整できるようにしてもよい。
ワイヤは血管内を移動するので、ワイヤの像の先端部位(先端像と呼ぶ)がトリム枠から外れてしまうことが起こりうる。その具体例について図12を参照しつつ説明する。図12(A)に示すフレームFnでは、先端像Caがトリム枠Rの中心付近に位置している。この状態でワイヤが移動されると、たとえば図12(B)に示すフレームF(n+1)のように先端像Caがトリム枠Rの外に来てしまうことがある。
そこで、各フレームFnについて、アフィン変換Tnが施された後の先端像の位置を特定する処理を行う。この特定処理は、第1の実施形態で得られたワイヤの像の形状情報(たとえば2次元曲線の各点の座標値)に基づいて実行できる。
先端像の特定位置が常にトリム枠内の所定位置(たとえば中心)に配置されるようにトリム枠の位置を決定すれば、先端像がトリム枠から外れるという問題は解消される。しかし、前述のようにワイヤの移動や捻り操作によって先端像の位置が急激に変化することがあるため、このような対処方法ではトリム枠の位置が急激に動いてしまう。そうすると、この実施形態の元々の目的である先端像の視認性向上を達成することができなくなってしまう。すなわち、この実施形態では、トリム枠の中に先端像を捉えつつ、トリム枠の位置を滑らかに変化させる必要がある。そのために次のような構成を適用する。
この実施形態に係るX線透視装置は第1の実施形態とほぼ同様の構成を有する。この実施形態の特徴部分の構成例を図13に示す。画像処理部23には、第1の実施形態と同様のワイヤ特定部41及び位置合わせ処理部43に加えて、先端像特定部51とトリム枠位置演算部52が設けられている。
先端像特定部51は、上記の要領で、複数のフレームのそれぞれにおけるガイドワイヤの先端像Caを特定する。先端像特定部51は、この発明の「先端部位特定手段」の一例である。
トリム枠位置演算部52は次のような処理を実行する。アフィン変換Tnが施された後のフレームFnにおける先端像Caの位置を(xn、yn)とし、フレームFnにおけるトリム枠(符号Rnで表す)の中心位置を(Xn、Yn)とする。ここで、先端像Caの位置(xn、yn)は、第1の実施形態で説明した2次元曲線の先端の座標値である。このとき、次の演算によりトリム枠Rnの中心位置(Xn、Yn)を求める。
ここで、係数aは0と1との間の実数である。係数aは事前に設定される。係数aはたとえば0.1程度とされる。このように構成すると、トリム枠Rnの中心位置(Xn、Yn)は、先端像Caの位置(xn、yn)に対して、(制御工学でいう)所謂一次遅れ系として応答する。したがって、トリム枠Rnの中心位置(Xn、Yn)は、先端像Caの位置(xn、yn)に対して若干の遅れを伴いつつ滑らかに追従することになる。
トリム枠位置演算部52は、以上のようにして各フレームFn(n=1、2、3、・・・)に対するトリム枠Rnの位置を求める。それにより、先端像がトリム枠から外れないように、かつ、トリム枠の位置が滑らかに変化するように、各フレームFnに対するトリム枠Rnの位置を決定することができる。トリム枠位置演算部52は、この発明の「変更手段」の一例である。
なお、トリム枠に係る処理が最初に適用されるフレーム(たとえばフレームF0。或いは第1の実施形態のフレームFiなど。)におけるトリム枠の中心位置(X0、Y0)は事前に設定されているものとする。この中心位置(X0、Y0)としては、たとえばフレームF0における先端像Caの位置を用いることができる。
このようにして決定されるトリム枠について図14を参照しつつ説明する。図14(A)は、上記図12(A)と同様に、フレームFn中のトリム枠Rnの中心付近に先端像Caが位置している状態を表している。
トリム枠位置演算部52は、フレームFn中のトリム枠Rnの中心位置(Xn、Yn)と、フレームF(n+1)における先端像Caの位置(xn+1、yn+1)とに基づいて、フレームF(n+1)に対するトリム枠R(n+1)の中心位置(Xn+1、Yn+1)を算出する。この座標値(Xn+1、Yn+1)を中心とするトリム枠R(n+1)は、図14(B)に示すように、フレームF(n+1)における先端像Caを含んでいる。更に、このトリム枠R(n+1)は、その直前のトリム枠Rnから滑らかに移動するようにして表示されることになる。
この実施形態に係るX線透視装置の動作について説明する。この動作の一例を図15に示す。なお、第1の実施形態と同様の処理については記載の一部又は全部を省略することがある。
動き抑制機能の開始の指示がなされると(S21)、ワイヤ特定部41は、各フレームF0、F1におけるワイヤの像を特定し(S22)、位置合わせ処理部43は、フレームF0、F1の間のアフィン変換T1を決定し、これをフレームF1に適用して位置合わせを行う(S23)。
次に、先端像特定部51は、各フレームF0、F1における先端像Caを特定する(S24)。フレームF0の先端像Caの座標値は、上記のようにトリム枠の初期中心位置(X0、Y0)として用いられる。
トリム枠位置演算部52は、初期中心位置(X0、Y0)と、フレームF1における先端像Caの座標値(x1、y1)とに基づいて、フレームF1に対するトリム枠R1の中心位置(X1、Y1)を算出する(S25)。
画像処理部23は、初期中心位置(X0、Y0)を中心として所定形状かつ所定サイズであるフレームF0内の部分画像(トリム枠内の画像に相当する)を抽出するとともに、フレームF1においてトリム枠R1で囲まれる部分画像を抽出する(S26)。
システム制御部21は、表示制御部24を介してフレームF0の部分画像の次にフレームF1の部分画像を拡大表示する(S27)。拡大表示とは、フレームをそのまま表示させた場合の当該部分画像よりも拡大して表示させることを意味する。
また、フレームF0、F1の表示を切り替える時間間隔はX線7の照射間隔と同じとされる。なお、フレームF0に対応する部分画像を所定のタイミングで事前に表示しておき、ステップ26においてフレームF1の部分画像が抽出されたタイミングで、フレームF0の部分画像からフレームF1の部分画像に表示を切り替えてもよい。
ステップ28、29は、第1の実施形態の図11におけるステップ10、11と同様である。次のフレームがある場合(S28、No:S29、Yes)、画像処理部23は、上記処理(ステップ22〜26)を反復してフレームFnの部分画像を抽出する。そして、システム制御部21は、表示制御部24を介して、この部分画像をフレームF(n―1)の部分画像に代えて表示させる(S27)。
それにより、複数のフレームFnのトリム枠Rn内に描写される部分画像に基づく動画像が表示されることになる。この動画像のフレームレートは、X線7の照射間隔に対応している。この動画像は、この発明の「部分動画像」の一例である。
他方、次のフレームがない場合(S28、Yes:S29、No)、動き抑制機能は終了となる。以上で、この動作例の説明を終了する。
この実施形態に係るX線透視装置によれば、トリム枠の中に先端像を捉えつつ、トリム枠の位置を滑らかに変化させることが可能となる。また、このX線透視装置によれば、被検体1の運動に起因するワイヤの先端部位の動きを抑制し、更に、トリム枠内の部分動画像を拡大表示することができる。それにより、ワイヤの先端部位の視認性が向上する。
なお、部分動画像と並行して通常の透視画像を表示するようにしてもよい。このとき、部分動画像の境界(つまりトリム枠)を表す図形等を通常の透視画像中に表示することができる。それにより、通常の透視画像の中のどの部分領域が部分動画像として拡大表示されているか容易に把握できる。また、部分動画像によってワイヤの先端部位の動態を把握しつつ、通常の透視画像によって部分動画像の周囲の状態を把握することができるという利点もある。
また、部分動画像の拡大率を術者等が適宜に変更できるように構成することが望ましい。そのための指示は、たとえば音声入力、スイッチ、キーボード、ダイヤル、ポインティングデバイスなどの適当な手段で行えるように構成できる。それにより、所望の倍率でガイドワイヤの先端部位及びその近傍を観察できるようになり、視認性や利便性が向上する。
また、トリム枠の形状は矩形に限定されるものではない。たとえば円形、楕円形などの任意の形状のトリム枠を適用することが可能である。
この実施形態では、ワイヤの先端部位をリアルタイムで追従するようにトリム枠の位置を決定しているが、この発明はこれに限定されるものではない。上記ではワイヤの先端を概ねトリム枠内の中心に位置させる構成について説明したが、臨床においてはワイヤを進行させる先にも観察したい部位があることが多い。そのため、ワイヤの先端の代わりにワイヤの進行方向上の適当な点がトリム枠の概ね中心に来るように構成することも有用である。この構成の具体例について図16を参照しつつ説明する。まず、図16(A)に示すフレームFnについて、ワイヤの像Cの先端部位における接線を計算する。このとき、ワイヤの最も先端の強く屈曲した部位については、接線の計算から除外することができる。次に、この接線によってワイヤの進行方向を推定する。推定された進行方向を示すベクトル(ワイヤ進行方向ベクトル)を符号αで示す。続いて、ワイヤの像Cの先端からワイヤ進行方向ベクトルαに沿って適当な距離(たとえばトリム枠Rnのサイズの1/4程度)だけ離れた位置を目標の点eとする。そして、この点eにトリム枠の中心が位置するように、次のフレームF(n+1)のトリム枠R(n+1)を設定する。それにより、ワイヤを進行方向に先回りするようにトリム枠を移動させていくことができる。
また、現在のトリム枠からワイヤ(の先端部位)が外れそうになったら、又は外れたときに、トリム枠を移動させるように構成することが可能である。その場合、トリム枠とワイヤとの位置関係は、たとえば次のように検出する。ガイドワイヤの各点の位置は、たとえば第1の実施形態の2次元曲線によって把握できる。一方、トリム枠の中心位置が既知であり、その形状とサイズも既知であるから、トリム枠(境界)上の各点の位置も把握できる。画像処理部23は、ワイヤの特定部位(たとえば先端部位)とトリム枠までの最短距離を求める。更に、画像処理部23は、この最短距離が得られたトリム枠上の点の位置が、トリム枠の中心位置に対してどの方向に位置するか特定する。画像処理部23は、この特定方向に所定距離だけトリム枠が移動するように、次のトリム枠の位置を決定する。この所定距離は、たとえば、事前に設定されたデフォルト値であってもよいし、時系列に沿った上記最短距離の変化(言わば上記特定部位の速度)に基づいて決定するようにしてもよい。
トリム枠を移動させる代わりに、トリム枠のサイズを変化させてワイヤの特定部位が枠外に出るのを防止するようにしてもよい。
<第3の実施形態>
この発明の他の実施形態について説明する。第1及び第2の実施形態では平行移動と回転移動とを表すアフィン変換を求めてフレーム間の位置合わせを行っている。しかし、アフィン変換で回転移動を行う場合、変換後の画像(フレーム)を作成するために補間処理が必要となることがある。そうすると、計算量が増大して処理時間が長くなり、画像処理部23の処理能力によっては、X線透視を実施しながらのリアルタイム処理に支障を来たすおそれがある。
一方、この発明で実施される回転移動の多くでは実際には回転角が小さい。そのため、回転移動を省略して平行移動のみを考慮したアフィン変換を適用して計算処理の軽減を図ることが有効な場合がある。すなわち、アフィン変換において、回転移動量をθ=0に固定し、平行移動量u、vだけについて、式(2)に示す総和Eを最小化するような値を決定することによって当該計算処理を実現できる。
この実施形態によれば、回転移動を考慮せずに平行移動のみを考慮して位置合わせを実行するので、第1及び第2の実施形態と比較して簡単な計算で部分動画像を表示することができる。ただし、被検体1の運動に起因する回転の影響が部分動画像に反映されるため、第1及び第2の実施形態の部分動画像ほどワイヤの像の動きを抑制することはできない。
また、部分動画像(つまり各部分画像)の拡大率をa/b倍(a>b)とし、更にトリム枠の中心位置を元の画像(フレーム)の画素の寸法の1/bの整数倍の数値になるように設定することができる。それにより、拡大像である部分画像を作成する際に必要な補間計算における浮動小数点計算が不要となり、計算量や計算時間を更に縮小することが可能となる。
また、アフィン変換に基づく平行移動量を、フレームの画素間隔(隣接する画素の間の距離)の整数倍に設定すれば、補間処理が不要となり、計算量や計算時間の更なる縮小が可能となる。
<第4の実施形態>
この発明の他の実施形態について説明する。血管内にワイヤを挿入して行うカテーテル術において、上記の実施形態では、各フレームにおけるワイヤの像を特定してアフィン変換を決定することで、フレーム間の位置合わせを実行している。それにより、アフィン変換が施された画像上において、(ワイヤを血管内で移動させない限り)ワイヤの像の位置がほぼ一定となり、また、視認はできないものの血管の像の位置も(ワイヤの移動の有無に関わらず)ほぼ一定となっている。よって、動画像上に任意の静止画像を重畳表示させた場合、この静止画像と血管の画像との相対的な位置関係はほぼ不変である。この実施形態ではこの事実を利用する。
X線透視下カテーテル術では、血管の分岐や狭窄の形状などを観察するために、時折カテーテルから造影剤を流出させて造影された血管の像(造影血管像)を表示させる。そこで、この造影血管像を記録してアフィン変換を施した上で動画像に重畳表示させれば、造影血管像は実際の血管の形状や位置をほぼ正確に表すことになる。なお、ワイヤ追跡動画像に対してはそのままの造影血管像が重畳され、部分動画像に対しては造影血管像の部分画像が重畳される。この機能により、ワイヤを進める目標位置の把握や記憶が容易になり、更に造影剤の使用回数を減少させることができる。
このような機能を実現するために、この実施形態に係るX線透視装置は次の手段を含んで構成される:(a)造影血管像の取得タイミングを検知する検知手段;(b)造影血管像を形成する手段;(c)造影血管像を動画像に重畳表示する手段。これらに加え、重畳表示を実行するか否かを指示するための手段を設けることも可能である。
この実施形態に係るX線透視装置は第1の実施形態とほぼ同様の構成を有する。なお、部分動画像に造影血管像を重畳表示させる場合、この実施形態に係るX線透視装置は第2の実施形態とほぼ同様の構成を有する。以下、造影血管像をワイヤ追跡動画像に重畳表示させる場合について特に詳しく説明する。造影血管像を部分動画像に重畳表示させる場合については、この実施形態の特徴的な構成部分を図2に示す構成に付加し、以下と同様の処理を実行することにより当該重畳表示を実現できる。
この実施形態の特徴部分の構成例を図17に示す。画像処理部23には、第1の実施形態と同様のワイヤ特定部41及び位置合わせ処理部43に加えて、取得タイミング検知部61と造影血管像形成部62が設けられている。
取得タイミング検知部61は、複数のフレームが順次に取得されている間に、造影血管像の取得タイミングを検知する。取得タイミング検知部61は、この発明の「検知手段」の一例である。
取得タイミング検知部61は、たとえば次のような構成を有する。なお、図17は、後述の第3の構成を適用する場合を示している。
第1の構成は、造影血管像の取得タイミングを手動で入力するためのものである。第1の構成に係る取得タイミング検知部61は、操作部32を含んで構成される。造影血管像の取得を望むタイミングで術者等は、操作部32(所定のスイッチ、ペダル等)を操作して造影血管像の取得を指示する。この操作を受けたシステム制御部21は画像処理部23に造影血管像を形成させる。
第2の構成は、カテーテルから造影剤を流出させたことを自動で検知して、この検知タイミングを取得タイミングとして用いるものである。造影剤の流入方法としては、カテーテルに接続されたシリンジを手動操作して行う方法や、操作部32(所定のスイッチやペダル)を手動操作してカテーテルに接続されたオートインジェクタを動作させる方法などがある。
シリンジを手動操作する場合、第2の構成に係る取得タイミング検知部61は、シリンジに設けられたセンサを含んで構成される。このセンサはシリンジが操作されたことを検知して電気信号をシステム制御部21に送る。この電気信号を受けたシステム制御部21は画像処理部23に造影血管像を形成させる。
他方、オートインジェクタを用いる場合、第2の構成に係る取得タイミング検知部61は、操作部32を含んで構成される。システム制御部21は、操作部32を用いた当該操作に対応して画像処理部23に造影血管像を形成させる。別の構成例として、当該取得タイミング検知部61は、たとえばシステム制御部21により操作部32からオートインジェクタに向けて送信される信号を傍受し、これに対応して画像処理部23に血管像を形成させる。
第3の構成は、順次に取得されるフレームを解析することにより、血管内への造影剤の流入を検知して、これを造影血管像の取得タイミングとするものである。造影剤が血管内に流入すると、それまでは識別困難であった血管の像が明瞭に浮かび上がる。第3の構成はこの現象を利用するものである。
より具体的に説明すると、血管内に造影剤が入ると、画像(フレーム)中に造影剤による陰影が現れ、血管部分に相当する画像領域(血管領域)が暗く描写される。それにより、フレームにおける画素値の平均値が低下する。なお、ワイヤ特定部41によりワイヤの像が特定されるので、ワイヤの像及びその近傍の画素群のみを平均値を演算する対象としてもよい。
また、適当な画像処理(たとえばワイヤの像の強調処理等)が施されたフレーム中では、造影剤による陰影が明瞭に描写される。血管領域以外の画像領域については大きな変化はない。すなわち、血管内に造影剤が入ると、フレームにおける画素値のばらつき(分散、標準偏差等の統計量)が増大する。なお、ワイヤ特定部41によりワイヤの像が特定されるので、ワイヤの像及びその近傍の画素群のみをばらつきを演算する対象としてもよい。
以上を考慮して、第3の構成に係る取得タイミング検出部61は次のように構成できる。取得タイミング検知部61には、アフィン変換が施されたフレームが位置合わせ処理部43から順次に入力される。取得タイミング検知部61は、入力された各フレームについて、上記の画素群における画素値の所定の統計量を演算する。この所定の統計値は、平均値でもよいし、ばらつき(分散、標準偏差等)でもよい。取得タイミング検知部61は、順次に演算される統計量を時系列に沿って記憶する。
平均値が演算される場合、取得タイミング検知部61は、既に記憶されている過去の平均値と、新たに演算された平均値とを比較し、新たな平均値が過去と比べて低下しているか判断する。この判断処理は、たとえば、新たな平均値とそれより過去の所定個数の平均値について、これら過去の平均値に対して新たな平均値が所定閾値以上低下しているか判断することにより実行される。新たな平均値が所定閾値以上低下している場合に、取得タイミング検知部61は、これが造影血管像の取得タイミングであると判断する。すなわち、取得タイミング検知部61は、順次に取得されるフレームの画素値の平均値を監視して平均値の急激な低下を検知し、この検知タイミングを造影血管像の取得タイミングとするように動作する。取得タイミングを検知すると、取得タイミング検知部61は、その旨を造影血管像形成部62に通知する。
他方、ばらつき(分散とする)が演算される場合、取得タイミング検知部61は、既に記憶されている過去の分散と、新たに演算された分散とを比較し、新たな分散が過去と比べて上昇しているか判断する。この判断処理は、たとえば、新たな分散とそれより過去の所定個数の分散について、これら過去の分散に対して新たな分散が所定閾値以上上昇しているか判断することにより実行される。新たな分散が所定閾値以上上昇している場合に、取得タイミング検知部61は、これが造影血管像の取得タイミングであると判断する。すなわち、取得タイミング検知部61は、順次に取得されるフレームの画素値の分散を監視して分散の急激な上昇を検知し、この検知タイミングを造影血管像の取得タイミングとするように動作する。取得タイミングを検知すると、取得タイミング検知部61は、その旨を造影血管像形成部62に通知する。
造影血管像形成部62は、この発明の「造影血管像形成手段」の一例であり、取得タイミング検知部61からの上記通知を受けて動作する。造影血管像形成部62は、たとえば次のような処理を実行する。第1の処理として、造影血管像形成部62は、検知された取得タイミングに対応するフレーム、つまり平均値の急激な低下(又は、ばらつきの急激な上昇)が検知されたフレームを選択して静止画像として記録(キャプチャ:capture)する。このキャプチャされたフレーム(キャプチャフレーム)には、造影効果により血管領域が明瞭に描写されている。ここで、キャプチャフレームは、位置合わせがなされたフレームである必要がある。
上記の第1の処理は容易性という利点はあるが、次のような欠点もある。すなわち、血管中に放出された造影剤はすぐには血液と混合しないため、造影血管像には筋状のむらが生じることがある。また、造影効果の強さ(つまり陰影の濃淡)は時間的変動を伴うのが一般的である。したがって、第1の処理のように一つのフレームだけでは最適な造影血管像が得られないおそれがある。
このような問題に対処するために、検知された取得タイミングを含む所定期間内に得られた一連のフレームを選択し、これらを組み合わせて造影血管像を形成するように、造影血管像形成部62を構成することが可能である。なお、これら一連のフレームは、それぞれアフィン変換後のものとされる。
一連のフレームから単一の造影血管像を形成する手法としては、最小値画像を形成して造影血管像とするものがある。最小値画像とは、一連のフレームの画素を位置に応じて対応付けし、各位置の画素の画素値のうちの最小値を選択し、選択された最小値を当該画素に割り当てることにより形成される画像である。この手法では、画素の位置ずれを抑制するために、アフィン変換後のフレームを用いることが重要である。
更に、造影血管像は血管領域が明瞭に描写されていれば十分であることを考慮し、平滑化処理や量子化処理などのノイズ低減処理を各フレームに(若しくは最小値画像に)施して強いノイズを低減させて視認性の向上を図ることが望ましい。
また、造影血管像に描写されているワイヤの像と、重畳相手の動画像中のワイヤの像とが混同されないための工夫をすることが望ましい。この工夫の例として、造影血管像の中のワイヤの像に規則的な模様(ハッチング、水玉、チェッカー盤など)を付して半透明で表示することができる。
この実施形態に係るX線透視装置の動作について説明する。その動作例を図18に示す。動き抑制機能の開始の指示を受けると(S61)、ワイヤ特定部41は、取得されたフレームにおけるワイヤの像を特定する(S62)。次に、位置合わせ部43は、特定されたワイヤの像に基づいてアフィン変換を求めてフレーム間の位置合わせを行う(S63)。
取得タイミング検知部61は、動き抑制機能の開始(S61)とともに、造影血管像の取得タイミングを検知するための処理を前述の要領で実行する。取得タイミングが検知されるまでは(S64、No)、第1の実施形態と同様に、アフィン変換が適用されたフレームが表示部31に順次に表示される(S65:S70、No:S71、Yes:S72)。それにより、被検体1の体内を描写するワイヤ追跡動画像が表示される。
取得タイミングが検知されると(S64、Yes)、造影血管像形成部62は、当該検知タイミングに対応するフレーム(又はこれを含む一連のフレーム)に基づいて、造影血管像を形成する(S68)。この造影血管像(キャプチャフレーム)は、位置合わせ(ステップS63)が開始された後に取得されるものである。なお、取得タイミングが検知されたときには造影血管像の重畳表示は未だなされていない(S66、No)ので、ステップ64からステップ68に進むことになる。
システム制御部21は、表示制御部24を介して、ステップ63でアフィン変換が適用された当該フレームに、ステップ68で形成された造影血管像を重ねて表示させる(S69)。そして、次のフレームの処理に移行する(S70、No:S71、Yes:S72)。
次のフレームに対し、画像処理部23は、ワイヤの像を特定し(S62)、アフィン変換を施してフレーム間の位置合わせをする(S63)。取得タイミングは検知済みである(S64、Yes)。画像処理部23は、アフィン変換適用後のフレームと造影血管像とが重畳表示されているか、つまり造影血管像が既に形成されたか判断する(S66)。これは、造影血管像形成部62の計算能力等の理由により、次のフレームの処理までの間に造影血管像が形成されなかった場合を考慮したものである。
未だ重畳表示されていないと判断された場合(S66、No)、造影血管像形成部62は、造影血管像の形成処理を継続する(S68)。この動作例では、重畳表示がなされるまで当該処理を反復する。
ステップ66において既に重畳表示がなされていると判断された場合(S66、Yes)、システム制御部21は、表示制御部24を介して、現に処理中のフレーム(アフィン変換適用後のもの)を切り替え表示する(S67)。この切り替え表示は次のようなものである。この切り替え表示の直前における表示態様は、現に処理中のフレームの直前のフレームに造影血管像が重畳されたものとなっている。この切り替え表示では、現に処理中のフレームを表示させるとともに、このフレームに造影血管像を重ねて表示させる。このとき、重畳表示される造影血管像は同一の静止画像である。それにより、順次にフレームが切り替わるワイヤ追跡動画像上に、同じ造影血管像を重ねて表示させた画像が観察される。すなわち、静止画像である造影血管像をワイヤ追跡動画像上に重ねた状態の画像が観察される。
この切り替え表示は、たとえば、各フレームと造影血管像との重畳画像をその都度形成して順次に表示させることにより実現できる。また、この切り替え表示は、フレームを表示させる第1のレイヤと、造影血管像を表示させる第2のレイヤとを設定し、第2のレイヤに造影血管像を継続して表示させつつ、第1のレイヤに表示させるフレームを順次に切り替えていくことによっても実現できる。
ステップ70、71については、第1の実施形態のステップ10、11と同様であるから説明は省略する。
上記動作例で表示される画像について、図19〜図21を参照しつつ説明する。図19は、アフィン変換適用後のフレームFを示す。フレームFには、カテーテルの像C´とワイヤの像Cとが描写されている。図20は造影血管像Vを表している。造影血管像Vには、血管の形態を描写した画像、つまり造影剤による陰影Vaが描写されている。上記動作例では、フレームFと造影血管像Vとを重畳表示させる。その表示態様を図21に示す。すなわち、図21には、フレームFに描写された像C、C′に重なるように血管の陰影Vaが表示される。フレームFは所定のフレームレートで更新表示されていく。
この実施形態によれば、リアルタイムで表示されるワイヤ追跡動画像に造影血管像を重畳表示させることができる。造影血管像は静止画像であるが、前述のように、アフィン変換適用後のフレームにおける血管領域と、造影血管像との相対的な位置関係はほぼ不変であるから、ワイヤ追跡動画像中の血管領域と造影血管像との相対的な位置関係もほぼ不変である。よって、造影血管像に示す血管の位置を把握することにより、ワイヤ追跡動画像における血管の位置をほぼ把握することができる。したがって、術者は、造影血管像に示す血管を目印としつつ、ワイヤの位置や状態の把握、更には操作を行うことが可能である。
なお、造影血管像はあくまでも目安に過ぎない。術者が注目すべきはワイヤ追跡動画像である。よって、ワイヤ追跡動画像の観察に支障ないように造影血管像を表示させることが望ましい。また、造影血管像がワイヤ追跡動画像の一部だと誤解を与えないようにする必要もある。
たとえば、造影血管像に相当する画素に所定の表示色を付けて、造影血管像をカラーかつ半透明で表示させることができる。このとき、画素の濃淡値は現在時刻におけるX線像を、色は過去に撮影された造影血管像をそれぞれ表現することになる。表示色の選択においては、現在時刻におけるX線像の観察を妨げないように、白、黒、灰色やその類似色を避け、彩度の高い色(たとえば赤、青、緑、黄など)を極薄くした色を用いることが望ましい。
部分動画像に造影血管像を表示させるためには、言うまでもなく、この実施形態の上記処理を第2の実施形態に組み合わせる。このとき、画像処理部23は、取得タイミングに対応するフレームに設定されたトリム枠内における造影血管像の部分画像(部分造影血管像)を切り出し、この部分造影血管像の拡大像と、これ以降に取得されるフレームにおけるトリム枠内の部分画像の拡大像とを重畳表示させる。それにより、部分動画像に部分造影血管像を重畳表示させることが可能となる。
重畳表示された造影血管像が不適当であったときなど、造影血管像を撮り直したい場合がある。その場合、所定の操作を行って造影血管像の重畳表示を解除して動画像のみを表示させ、その後に、上記動作例と同様の操作及び処理を実行して新たな造影血管像を重畳表示させることができる。
たとえば造影血管像が動画像の観察の妨げになる場合など、造影血管像の表示を解除したい場合がある。また、ワイヤを進める目標を確認するために、一旦解除した造影血管像を再度表示させたい場合がある。そのために、所定の操作により、造影血管像の表示/非表示を切り替えられるように構成することが望ましい。重畳表示が解除された場合、再表示の指示に備えてその造影血管像を記憶しておくようにする。また、再表示の指示に対応して新たな造影血管像を形成して動画像に重畳表示させるようにしてもよい。
上記のように、造影血管像は、ワイヤの現在位置の(少なくとも)近傍領域における血管の形態を表す画像である。この造影血管像はこの発明の「血管画像」の一例である。
<第5の実施形態>
第4の実施形態では、静止画像をワイヤ追跡動画像に重畳表示させた場合に、ワイヤ追跡動画像(の各フレーム)における血管領域と静止画像との相対的な位置関係がほぼ不変であることを利用して、造影血管像を静止画像として用いて動画像に重畳表示させた。しかし、ワイヤ追跡動画像に重畳表示する静止画像は造影血管像に限定される訳ではない。
この実施形態では、所定の幾何学的な図形をワイヤ追跡動画像に重畳表示させる。その一例として、図22に示すように、トリム枠R内の部分動画像に格子状のパターンMを重畳表示させる。部分動画像の各フレームには、カテーテルの像C´とガイドワイヤの像Cとその他人体組織の像が表示されている。格子状のパターンMは、ガイドワイヤを進める上での位置の目安として参照できる。それにより、術者は、ガイドワイヤを進める目標となる位置を把握、記憶しやすくなる。
なお、他の同様の幾何学的な図形をワイヤ追跡動画像(部分動画像)に重畳表示させることも当然に可能である。
このような幾何学的な図形を表示させる処理としては、たとえば次のようなものがある。当該図形を描写した画像を記憶部22に予め記憶させておく。重畳表示の指示を受けると、システム制御部21は、記憶部22から当該画像を読み出し、表示制御部24を介してワイヤ追跡動画像に重畳表示させる。その後に、トリム枠に該当する部分を切り出して、幾何学的な図形が重畳された部分動画像を生成する。別の処理例として、上記の読み出しを行う代わりに、重畳表示の指示がなされたことに対応し、システム制御部21が、部分動画像が表示されている表示部31の表示画面上に当該図形を描画することによって、目的の重畳表示を実現することも可能である。
<第6の実施形態>
この実施形態では、第4及び第5の実施形態とは別の画像をワイヤ追跡動画像に重畳表示させる場合について説明する。前述のように、ワイヤ追跡動画像(の各フレーム)における血管領域と静止画像との相対的な位置関係がほぼ不変であるから、任意の静止画像を動画像に重畳表示させることが可能である。
第4の実施形態では、X線透視下カテーテル術を実施しながら取得された造影血管像をワイヤ追跡動画像に重畳表示させている。これに対し、この実施形態では、事前に形成された血管画像をワイヤ追跡動画像に重畳表示させる場合を説明する。なお、血管画像とは血管の形態を表す画像であり、特にワイヤの現在位置の近傍領域における血管の形態を表す画像である。
血管画像としては、たとえば次のようなものがある:(1)解剖図や術者によるスケッチなど、血管を描画したものをスキャナ等でデジタル化したもの、又は、描画アプリケーションソフトウェアによって血管を描画したもの;(2)造影X線撮影装置等の医用画像診断装置を用いた事前の検査によって取得された2次元血管画像;(3)X線CT装置やMRI、バイプレーンX線撮影装置など、3次元画像化が可能な医用画像診断装置を用いた事前の検査によって形成された3次元血管画像(血管の3次元構造を描写したボリュームデータ)をレンダリングして得られる2次元血管画像。
これらのうち(1)、(2)については、対象の画像を予め記憶部22に記憶しておき、重畳表示の指示を受けたシステム制御部21がこれを読み出して動画像に重ねて表示させればよい。なお、血管画像と動画像の位置合わせは、パターン認識処理等により自動的に行ってもよいし、操作部32を用いて手作業で行ってもよい。このような構成において、記憶部22は、この発明の「記憶手段」の一例である。以下、(3)について詳しく説明する。
X線CT装置やMRIを用いて3次元血管画像を形成する手法は既知である。更に、手動操作等によって3次元血管画像を加工して、処置の計画図等の追加的な情報を付加することも既知である。このようにして得られる3次元血管画像は、X線CT装置等の寝台の天板を基準とする座標系で定義される幾何学的な図形として表現される。
また、バイプレーンX線撮影装置で撮影された一対の造影画像を用いて3次元血管画像を生成する技術も公知である。この3次元血管画像を用いてもよい。特に、この発明に係る機能をバイプレーンX線撮影装置に設けることができる。それにより、現在透視を行っている患者を同じ姿勢で撮影した一対の画像から3次元血管画像を生成し、この3次元血管画像を用いてこの実施形態に係る処理を実行することが可能となる。
3次元血管画像自体はデジタルデータとして記憶されるものの、それをそのまま画面に表示させても血管の構造を視認できるものではない。そこで、3次元血管画像に基づいて、所定方向から当該血管構造を観察した場合の見え方を表す2次元画像を形成してから画面に表示させる必要がある。この処理を一般に「レンダリング(rendering)」と呼ぶ。したがって、3次元血管画像がどのようなものであれ、レンダリングの結果として得られるのはコンピュータグラフィクスとしての2次元画像である。なお、レンダリングにおける上記の観察方向を「視点」と呼ぶことにする。
この実施形態では、レンダリングで得られたコンピュータグラフィクスとしての2次元画像を血管画像としてワイヤ追跡動画像に重ねて表示させる。この血管画像を予め記憶部22に記憶させておき、これを読み出してワイヤ追跡動画像に重畳表示させる場合は、上記(2)のケースと同じである。以下においては、3次元血管画像を記憶部22に記憶させておき、これを随時レンダリングして2次元画像を形成し、この2次元画像をワイヤ追跡動画像に重畳表示させる場合について説明する。
レンダリングにおける視点は適宜に設定される必要がある。最も簡単な方法として、標準的な視点を予め決めておき、この標準的な視点から3次元血管画像を観察するものとしてレンダリングすることができる。しかし、以下に説明するように、3次元血管画像が得られていることを活かして、ワイヤ追跡動画像により適合した血管画像を形成することが可能である。
この実施形態に係るX線透視装置の特徴部分の構成例を図23に示す。記憶部22には、事前の検査において形成された3次元血管画像Gが予め記憶されている。3次元血管画像Gは、被検体1の血管の3次元的な形態を表すものであり、この発明の「3次元画像」の一例である。
画像処理部23には、第1の実施形態と同様のワイヤ特定部41及び位置合わせ処理部43に加えて、視点決定部71、レンダリング部72及び画像調整部73が設けられている。
視点決定部71は、3次元血管画像Gをレンダリングするための視点を決定する。この処理はたとえば次のようにして実行される。以下、X線透視装置がIVR−CT(Interventional Radiology−Computed Tomography)装置として構成されている場合について説明する。IVR−CT装置は、X線透視装置とX線CT装置とを組み合わせた装置である。
IVR−CT装置には、図1に示したX線透視装置としての構成部分と、図示しないX線CT装置としての構成部分とが設けられている。X線CT装置は周知であるので、その構成を以下に簡単に説明する。X線CT装置は、天板を有する寝台装置と、X線スキャン用のガントリと、演算制御装置とを備える。IVR−CT装置では、X線透視装置用の天板と、X線CT装置用の天板とは同一である。演算制御装置は、図1の演算制御装置20と同体であってもよいし、別体として設けられていてもよい。
IVR−CT装置においては、X線CT装置での検査の直後にX線透視下カテーテル術を実施し、X線CT装置によって3次元血管画像Gを得る。IVR−CT装置において、X線CT装置での検査の直後にX線透視下カテーテル術を実施する場合、被検者は天板から降りずにそのままの姿勢で天板上に横たわっている。
視点決定部71は、X線透視下カテーテル術を実施するときのX線管4の焦点位置を視点として用いる。ここで、X線管4の焦点位置とは、X線管4の陰極から出力された電子がターゲット(陽極)に衝突してX線を発生する位置である。
視点を決定する処理の具体例を説明する。X線透視下カテーテル術を行う際には、被検体1の患部を含む領域の画像が得られるようにX線管4、X線絞り及びX線検出器6の位置決めがなされる。X線管4等の移動はシステム制御部21によって制御され、それによりシステム制御部21はX線管4等の位置を認識している。視点決定部71は、X線管4の位置情報をシステム制御部21から受けて焦点位置を求めて視点とする。
次に、他の医用画像診断装置で3次元血管画像Gを形成する場合のように、3次元血管画像Gを取得するための検査における被検体1の姿勢と、X線透視下カテーテル術における被検体1の姿勢とが異なっている場合について説明する。この場合においても、以下のような簡単な位置合わせにより視点を適切に決定できる。
他の医用画像診断装置(図示を省略する)で3次元血管画像Gを取得する場合、図24に示すように、被検体1は当該医用画像診断装置の天板2Aに載置される。当該医用画像診断装置は、通常のように、天板2Aの所定の基準位置を原点とする固有の3次元座標系(X、Y、Z)を用いて位置を定義する。すなわち、3次元血管画像Gの位置は、撮影対象である血管Tの当該医用画像診断装置固有の3次元座標系における座標値として表現される。
X線透視下カテーテル術は、この実施形態に係るX線透視装置により実施される。図25に示すように、被検体1は天板2に載置される。このとき、3次元血管画像Gを取得したときと同様の姿勢をとるように被検者1に指示することが望ましい。
更に、X線管4の焦点位置及びX線検出器6の位置と方向が他の医用画像診断装置固有の3次元座標系内で既知となるように天板2、X線管4、X線検出器6を配置する。例えば、X線管4の焦点位置とX線検出器6の中心線とを結ぶ直線が鉛直になり、かつ血管Tが透視画像の中央に描写されるように、天板2、X線管4、X線検出器6の位置を調整する。
このようにすることで、他の医用画像診断装置の天板2A上における被検体1の位置と、このX線透視装置の天板2上における被検体1の位置とを対応付けることが可能である。すなわち、天板2についても3次元座標系(X´、Y´、Z´)が定義されており、かつ、双方の装置で同一の血管Tを撮影可能な位置に被検者1は配置されているので、3次元座標系(X、Y、Z)で表現された血管Tの座標値と、3次元座標系(X´、Y´、Z´)で表現された血管Tの座標値とを対応付けることが可能となる。
以上により、多少精度は劣るものの、現時点でのX線管4の焦点位置を視点とした場合における3次元血管画像Gの見え方を表す透視画像が得られる。前述のように、X線管4とX線検出器6は、被検体1が載置された天板2に対し、略鉛直方向に互いに対向配置されている。視点決定部71は、このときのX線管4の焦点位置を視点として採用する。
レンダリング部72は、視点決定部71により決定された視点を用いて3次元血管画像Gをレンダリングして2次元血管画像を形成する。このときのレンダリング処理については前述した。
画像調整部73は、ワイヤ追跡動画像に重畳表示させるために、2次元血管画像の拡大率や位置を調整する。この処理は、手作業で行うようにしてもよいし、自動的に行うようにしてもよい。
手作業で行う場合、システム制御部21は、表示制御部24を介して、ワイヤ追跡動画像と2次元血管画像とを表示部31に表示させる。このとき、ワイヤ追跡動画像と2次元血管画像を重ねて表示させてもよいし、並べて表示させてもよい。いずれにしても、双方の画像の表示サイズを視認して比較できるように表示すれば十分である。術者等は、操作部32を用いて所定の操作を行うことにより、2次元血管画像の拡大率や位置を調整する。画像調整部73は、この操作を受けて2次元血管画像の拡大率や位置を調整し、この調整結果が表示部31に表示されることになる。なお、位置の調整としては、平行移動及び/又は回転移動がなされる。また、ワイヤの像だけでは重畳状態の是非を判断できない場合、カテーテル等から血管内に造影剤を注入して造影されたリアルタイムの血管画像と、上記血管画像との位置が合っているか判断することによって重畳位置を調節することができる。
2次元血管画像の調整を自動で行う場合について説明する。拡大率については、現在のX線管4及びX線検出器6の位置情報に基づいて演算することができる。すなわち、X線管4から出力されたX線7は、その断面を拡大しながら進行してX線検出器6に投射されるので、この断面の拡大状態(角度、立体角)と、X線管4及びX線検出器6の間の距離とに応じて撮影倍率が決定されるからである。
なお、撮影対象となる解剖学的構造物(血管T等)とX線管4との距離によって撮影倍率は変わってくるが、2次元血管画像も透視画像も同じ解剖学的構造物を撮影したものであるから、これについては考慮しなくてもよい。また、術者が観察したいのはあくまでもワイヤ追跡動画像であり、2次元血管画像は付近の血管の状態を確認するための目印に過ぎないので、それほど厳密に拡大率を求める必要はない。
ここでは3次元血管画像Gに基づく2次元血管画像を扱う場合について説明したが、造影X線撮影装置により被検体1内を撮影して得られた2次元血管画像については、造影X線撮影装置での撮影時におけるX線管の位置と、X線透視装置での撮影時におけるX線管4の位置とに基づいて拡大率を演算できる。
また、パターンマッチング処理を実行することによって、拡大率や位置の調整を行うことも可能である。
いったん調整を行えば、それ以後、X線管4とX線検出器6の位置を変えない限り、リアルタイムのワイヤ追跡動画像中における血管の位置(ただし造影しない限り見えない)と2次元血管画像とは、ほとんど重なり合う位置にあり続けるので、術者は2次元血管画像を参照して血管の位置を把握しつつガイドワイヤを進めることができる。
更に、X線管4とX線検出器6の位置を変えても、血管画像がワイヤ追跡動画像に重なり合い続けるように構成できる。すなわち、上記のようにしてひとたび血管画像とワイヤ追跡動画像とが位置合わせされたら、次に術者等は、Cアーム3を回転させるなどして、異なる方向から患部を撮影する。先に撮影した方向を「第1の方向」、当該異なる方向を「第2の方向」と呼ぶことにする。
すると、血管画像とワイヤ追跡動画像との間に位置ズレが生じることがある。この位置ズレは、図26に示すように、実際の血管Tと、3次元画像における血管Tの仮想位置T′との間に、第1の方向β1に沿う位置ズレγがある場合に生じる。図27(A)は第1の方向β1から見たワイヤ追跡動画像δ1を表し、図27(B)は第2の方向β2から見たワイヤ追跡動画像δ2を表している。
そこで、第2の方向β2からワイヤ追跡動画像を観察しながら、3次元画像の仮想位置を第1の方向β1に沿って平行移動することで、図28に示すように、第1の方向β1及び第2の方向β2(のみならず任意の方向)から撮影しても、血管画像とワイヤ追跡動画像との位置が合うようになる。
また、この発明に係る機能を搭載したバイプレーンX線撮影装置においては、同時に2方向から撮影できるので、上記のような2方向からの撮影とそれらを用いた画像間の位置調整は、Cアーム3を回転などして2度に分けて行う必要がないことは言うまでもない。
なお、この実施形態では2次元血管画像の拡大率や位置を調整する場合について説明したが、ワイヤ追跡動画像(のフレーム)を調整するように構成することも可能である。一般に、ワイヤ追跡動画像と2次元血管画像との間において拡大率や位置を相対的に調整可能であればよい。ただ、既にワイヤ追跡動画像がリアルタイムで表示されているところに2次元血管画像を重ねて表示させるので、ワイヤ追跡動画像のサイズや位置を変更すると見にくくなるおそれがある。よって、以上で説明したように2次元血管画像側の調整することが望ましいと考えられる。
<第7の実施形態>
第6の実施形態では、予めX線CTやMRIにより取得された3次元血管画像をレンダリングして得られる2次元血管画像を、ワイヤ追跡動画像に重畳表示させる構成について特に詳しく説明した。この場合、更に別の有用な機能を実現することが可能である。この実施形態では、この有用な機能を実現可能なX線透視装置について説明する。この実施形態に係るX線透視装置は、第6の実施形態と同様の構成を有する。
重畳表示のための拡大率や位置の調整を行うことにより、ワイヤ追跡動画像におけるワイヤの像の任意の部位(特に先端像)に対応する2次元血管画像中の位置が分かる。したがって、図29に示すように、ワイヤ追跡動画像(フレームF)におけるワイヤの先端像の位置Qは、視点Pと3次元血管画像G中の特定の位置Q´とを結ぶ直線Lに対応している。なお、図29において、符号Gaは、3次元血管画像G中に描写されている血管画像を表す。また、符号Taは、ワイヤ追跡動画像(フレームF)に重畳表示された2次元血管画像に描写されている血管画像を表す。また、図29において、3次元血管画像Gは仮想の位置に配置されている。
このように、3次元血管画像G中の血管画像Gaのうち、直線Lに最も近い位置Q´がワイヤの先端像の位置Qに対応していると考えることができる。そこで、3次元血管画像Gを別の視点から見た場合におけるレンダリングを行って別の2次元血管画像を形成し、この別の2次元血管画像におけるワイヤの先端像の位置を特定して表示することが可能である。この機能を3次元トラッキング機能と呼ぶことにする。
3次元トラッキング機能では、第6の実施形態に係る処理に加え、二つの視点のそれぞれに対応するレンダリングを3次元血管画像Gに施して二つの2次元血管画像を形成し、各2次元血管画像上にワイヤの先端像の位置を表示させる。それにより、図30及び図31に示すような画像が表示される。
図30は、ワイヤ追跡動画像(フレームF)の表示態様を表している。このワイヤ追跡動画像には前述のようにカテーテルの像C´とワイヤの像Cが描写されている。更に、第6の実施形態で説明したように、このワイヤ追跡動画像には、2次元血管画像T1と先端位置画像Q1が重畳表示される。2次元血管画像T1は、第1の視点について3次元血管画像Gをレンダリングして得られたものである。先端位置画像Q1は、ワイヤの先端像の位置を表す画像である。
また、図31に示すように、表示部31には3次元トラッキング機能に基づく画像を表示するためのトラッキング画面31aが表示される。トラッキング画面31aは図30に示すワイヤ追跡動画像と並んで表示される。トラッキング画面31aには、二つの2次元画像T1、T2が並んで表示される。2次元画像G1は、上記のように第1の視点について3次元血管画像Gをレンダリングして得られたものである。一方、2次元画像T2は、第1の視点とは異なる第2の視点について3次元血管画像Gをレンダリングして得られたものである。更に、2次元画像T1、T2には、それぞれ先端位置画像Q1、Q2が表示される。
このような表示を行うことにより、術者は、ワイヤ追跡動画像を観察しつつ、異なる方向から見た血管の形態を把握できるとともに、ワイヤの先端が血管のどの辺りに位置しているか明確に把握することができる。
このように二つの視点からの2次元血管画像T1、T2を表示する場合、特に有効なのは、二つの視点が互いに直交するように設定された場合である。これら二つの視点のうちの一方(上記の例では第1の視点)は、ワイヤ追跡動画像(フレームF)を撮影しているのと同じ視点である。このように互いに直交する二つの視点からの2次元血管画像T1、T2を表示することにより、一方の視点からの2次元血管画像やワイヤ追跡動画像では分からない奥行方向の位置関係を容易に把握することが可能になる。なお、互いに異なる三つ以上の視点に対応する三つ以上の2次元血管画像を形成して表示させることも可能である。
この実施形態で説明した3次元トラッキング機能によれば、ワイヤの先端部位の現在位置が3次元血管画像内のどこに当たるか把握することができる。
3次元血管画像は、被検体の3次元医用画像を基に作成されたものであるから、3次元血管画像中の1点を指定すれば、この点が元の3次元医用画像中のどの点に対応するかが自動的に定まる。したがって、この実施形態において、ワイヤの先端部位の現在位置がどの点に対応しているかを、3次元医用画像に基づく各種画像中に表示することができる。3次元医用画像に基づく画像としては、断層像、MPR(Multiplanar reconstruction)像、ボリュームレンダリング像、サーフェスレンダリング像などがある。それにより、公知の手術ナビゲータ(surgical navigator)と同様の機能を提供できる。なお、手術ナビゲータとは、手術中に、患部やその周辺組織の3次元的位置を提示するものである。
この機能を手術ナビゲータ装置として利用することも可能である。そのためには、空間座標をオンラインかつリアルタイムで入力できるインターフェイス(操作部32)を設ける。使用にあたっては、通常の手術ナビゲータと同様に、被検体の3次元画像を予め入力しておく。そして、ワイヤの先端の現在位置に対応する3次元医用画像中の位置の座標情報を、手術ナビゲータ装置にオンラインかつリアルタイムで入力する。それにより、当該機能を手術ナビゲータ装置に適用することが可能となる。
3次元トラッキング機能に生じ得る問題点を指摘するとともに、その解決策を提示する。3次元トラッキング機能を実施した際、図29に示したように、直線Lと交差する3次元血管画像中の点が1つであれば問題はない。
しかし、直線Lと交差する3次元血管画像中の点が複数存在する場合が起こり得る。その一例を図32に示す。3次元血管画像Gには血管画像Gbが描写されている。ワイヤ追跡動画像(フレームF)には、血管画像Tbを描写する2次元血管画像が重畳表示されている。視点Pと血管画像Tb上の位置Dとを結ぶ直線Lは、3次元血管画像Gの血管画像Gbと二つの位置E1、E2で交差している。そうすると、ワイヤの先端部位が位置Dに存在するときに、この位置Dに対応する位置を一意的に特定できなくなってしまう。なお、この問題が発生しているか否かの判断は、位置Dに対応する3次元血管画像G中の位置が複数個求められたか否か判断することにより行うことができる。
このような場合でも、この発明に係る機能を搭載したバイプレーンX線撮影装置であれば、同時に2方向からの撮影ができることから、位置Dに対応する位置がE1であるかE2であるか判定できるため、問題にはならない。しかし、X線源とX線検出器を一つずつしか持たず、単一の方向からしか同時に撮影できない(通常のCアームを具備するような)装置では、これは問題となる。
このような問題に対処するために、たとえば次のような方法を取ることができる。現時点において、上記問題が発生して、3次元画像中の複数の位置E1、E2、・・・・がワイヤの先端像の位置に対応しているとする。このときの視点を第1の視点と呼ぶ。また、第1の視点についてレンダリングされて動画像に重畳表示されている画像を第1の2次元血管画像と呼ぶ。
視点決定部71は、第1の視点と異なる第2の視点(たとえば第1の視点に直交する視点)を求める。レンダリング部72は、第2の視点について3次元血管画像Gをレンダリングして第2の2次元血管画像を形成する。画像調整部73は第2の2次元血管画像の位置調整等を行う。
画像処理部23は、ワイヤ特定部41により特定されたワイヤの像の位置情報に基づき、各2次元血管画像においてワイヤの先端部位に対応する位置を求める。この処理は、たとえば次のようにして実行される。まず、動画像を構成する複数のフレームのうちの一つのフレームにおけるワイヤの像の先端部位を、ワイヤ特定部41による特定結果に基づいて特定する。次に、この先端部位に対応する第1の2次元画像中の位置を特定する。続いて、第1の2次元画像中の当該特定位置に対応する3次元血管画像G中の位置を特定する。そして、3次元血管画像G中の当該特定位置に対応する第2の2次元画像中の位置を特定する。このような処理を実行する画像処理部23は、この発明の「位置特定手段」の一例である。
システム制御部21は、第1及び第2の2次元血管画像をトラッキング画面31aに表示させる。更に、システム制御部21は、画像処理部23により求められた全ての位置を各2次元血管画像上に表示させる。
このときの表示例を図33に示す。第1の2次元血管画像K1には1つの先端位置画像H1が表示されている。第2の2次元血管画像K2には二つの先端位置画像J1、J2が表示されている。これでは、先端位置画像H1に対応する位置が先端位置画像J1、J2のどちらであるか分からない。しかし、ワイヤを操作して前後に移動させて、表示される先端位置画像の個数を変化させることにより、上記問題は解決される。
3次元トラッキングの上記問題の別の解決方法について、図34を参照しながら説明する。図34では、ワイヤの像Cの先端像の位置Waと視点Pとを通る直線Lについて、この直線Lと3次元血管画像Gの血管画像Gbとが2点E1、E2で交差してしまっている。
画像処理部23は、ワイヤの像Cのうちの先端像の位置Waだけでなく、ワイヤの像Cの他の部位に相当する位置D´も選択する。この処理は、ワイヤ特定部41による特定結果に基づいて実行される。なお、選択される位置は任意であるが、一例として先端像から所定距離だけ離れた位置や、後端位置を選択できる。
次に、画像処理部23は、選択された位置D´に対応する2次元血管画像中の血管画像Tbにおける位置を特定する。この2次元血管画像はワイヤ追跡動画像(フレームF)に重畳されているので、画像位置合わせ結果に基づいて当該位置を容易に特定できる。この特定位置についても符号D´で表す。
更に、画像処理部23は、位置D´に対応する3次元血管画像G中の位置E3を特定する。なお、ワイヤの先端像において上記問題が生じている場合であっても、他の部位については、3次元血管画像G中の位置を一意的に求められることが多い。なお、この段階でも複数の位置が特定された場合には、ワイヤの像Cの更に他の部位に相当する位置を選択することで、3次元血管画像G中の位置が一意的に求められるまで上記の処理を反復すればよい。
続いて、画像処理部23は、特定された3次元血管画像G中の位置E3に基づいて、二つ以上の特定位置E1、E2のうちの一つを選択する。この処理はたとえば、位置E3に対する各位置E1、E2の位置関係や距離に基づいて実行できる。また、2次元血管画像とともに位置E1、E2、E3を表示することで、術者等が適当な位置を選択するようにしてもよい。ここではE2が選択されたものとする。
更に、画像処理部23は、第2の視点に基づく第2の2次元血管画像における、選択された位置E2に対応する位置を特定する。
3次元トラッキングの上記問題の他の解決方法として次のようなものがある。上記問題が発生したときに、画像処理部23は、過去においてこの問題が発生していなかった最新の時点(フレーム)を探索する。
すなわち、画像処理部23は、現在のフレームFnより過去のフレームF1〜F(n―1)について、ワイヤの先端像に対応する3次元血管画像G中の位置を特定する。そして、画像処理部23は、3次元血管画像Gにおいてこのような位置が一つしか特定されないような最新のフレームを、過去のフレームF1〜F(n―1)のうちから選択する。
図35に示すように、この最新のフレームに対応する3次元血管画像G中の特定位置を符号E4で表す。
続いて、画像処理部23は、この最新のフレームに対応する3次元血管画像G中の特定位置E4と、直線Lと交差する各特定位置E1、E2との距離を算出する。この距離は、3次元血管画像Gが定義された3次元座標系に基づくユークリッド距離であってもよいし、血管画像Gbに沿った道のりであってもよい。
更に、画像処理部23は、算出された距離が最小である特定位置を選択する。図35に示す場合には位置E1が選択される。そして、画像処理部23は、第2の視点に基づく第2の2次元血管画像における、選択された位置E1に対応する位置を特定する。
<第8の実施形態>
複数のワイヤを用いて手術を行う場合において、複数のワイヤの像が同時に透視画像に描写されることがある。たとえば、不整脈の治療を目的としてアブレーション術が行われることがある。このとき、2本のワイヤ(電極カテーテルとアブレーションカテーテル)が同時に血管内に挿入される。電極カテーテルは、その先端を心臓壁に密着させた状態で固定される。アブレーションカテーテルは、その先端を術者が適切ないくつかの位置に逐次に置いて電流を流すことで、心筋の一部を焼灼する。このようなアブレーション術においては、次の2つのケースが生じうる:(1)アブレーションカテーテルの先端を適切な位置へ移動させる際に、アブレーションカテーテルが概ね静止した状態で表示させることによって、カテーテルの操作を支援できることが望ましい場合;(2)電極カテーテルが概ね静止した(したがって、その周囲の心筋の動きが概ね静止した)状態で表示を行うことによって、アブレーションカテーテルの先端を移動させるべき適切な目的箇所を判断する作業を支援できることが望ましい場合。このとき、上記の各実施形態では、どのワイヤの像を処理対象とするか一意的に決定できない。この問題を解決するために、次のような手法を適用することができる。
第1の手法では、透視画像の画角の中心に最も近いワイヤの像を選択する。これは、現に操作されているワイヤの像を表示画面の中心に配置させることが多いことを考慮したものである。
この手法を実現するために、まず、ワイヤ特定部41は、その特定結果に基づいて、ワイヤの像が二つ以上特定されたか判断する。この処理は、たとえば、ワイヤの像として特定された画素の配列に基づいて、特定された画素の集合の連結成分の個数をカウントすることにより実現できる。
ワイヤの像が二つ以上特定された場合、画像処理部23は、フレーム中心に最も近いワイヤの像を選択する。このとき、各ワイヤの像とフレーム中心との距離を算出する必要がある。この距離は、たとえば次のように定義される。まず、各ワイヤの像中の各点(各画素)と、フレーム中心との距離を算出する。次に、算出された距離のうち最小値となる点を選択する。そして、この距離の最小値を当該ワイヤの像とフレーム中心との距離とする。また、各ワイヤの先端像とフレーム中心との距離を算出し、それを当該ワイヤの像とフレーム中心との距離として定義することも可能である。この手法を実行する画像処理部23は、この発明の「第1の選択手段」の一例である。
位置合わせ処理部43は、各フレームから選択されたワイヤの像を重ね合わせるようにして、フレーム間の位置合わせを行う。それにより、適切なワイヤの像に基づいて動画像を表示させることができる。
なお、一つのフレームにおけるワイヤの像が選択されたら、それ以降のフレームについては当該ワイヤの像の位置や形状を参照することで当該フレームにおけるワイヤの像を選択することが可能である。なお、ワイヤの像の位置や形状は、ワイヤ特定部41による特定結果から得られる。
第2の手法では、まず、複数のワイヤの像のそれぞれについて位置合わせを実行。画像処理部23は、各ワイヤの像における位置合わせの精度を求める。この位置合わせする精度としては、たとえば、アフィン変換(平行移動及び回転移動)を求めて位置合わせを行ったときの、フレーム間におけるワイヤの像のずれ量が用いられる。このずれ量としては、たとえば、フレーム間におけるワイヤの像の画像相関の値などを用いても良い。
更に、画像処理部23は、位置合わせの精度が最も低いワイヤの像を選択する。すなわち、第2の手法は、平行移動や回転移動では説明できない時系列変化が最も大きいワイヤの像を選択するものである。なぜなら、こうして選択されたワイヤは、術者がそのワイヤに操作手技を加えたことによって前進、後退、変形等を生じたために位置合わせの精度が低下したものと推定され、そして、術者が注目したいのは正に操作手技を加えているワイヤとその近辺だからである。この手法を実行する画像処理部23は、この発明の「第2の選択手段」の一例である。
なお、このような時系列変化としては形状の変化が最も影響すると考えられる。よって、ワイヤの像の形状を特徴づける量を参照して上記選択を行ってもよい。このような量の例として、屈曲部位の曲率や、曲率が最大の位置と両端との距離の差などが考えられる。
位置合わせ処理部43は、各フレームから選択されたワイヤの像を重ね合わせるようにして、フレーム間の位置合わせを行う。それにより、適切なワイヤの像に基づいて動画像を表示させることができる。
第3の手法では、とりあえずいずれかのワイヤの像に基づいてワイヤ追跡動画像を表示させる。術者は、表示されたワイヤ追跡動画像を観察し、このワイヤ追跡動画像でよければそのまま手術を行う。
他方、術者等が見たいワイヤ以外のワイヤを追跡したワイヤ追跡動画像が表示された場合には、術者等は操作部32を用いて所定の操作を行う。この操作を受けると、画像処理部23は、別のワイヤの像に基づいて各フレームを処理する。それにより、別のワイヤの像に基づくワイヤ追跡動画像が新たに表示される。なお、別のワイヤの像への切り替えは、ワイヤ特定部41による特定結果に基づいて容易に行うことが可能である。術者等は、見たいワイヤを追跡したワイヤ追跡動画像が表示されるようになるまで、上記操作を反復すればよい。
この手法において、操作部32はこの発明の「操作手段」の一例であり、画像処理部23は「切替手段」の一例である。
<第9の実施形態>
前述した各実施形態において、ワイヤの像の特定に失敗したり、フレーム間の位置合わせに失敗したりすることも想定される。その場合、適切なアフィン変換が得られず、したがって適切なワイヤ追跡動画像を表示できなかったり、動画像が途中で乱れたりしてしまう。しかし、このような場合であっても、ワイヤ追跡動画像の状態をできるだけ維持することが望ましい。
そのための第1の方法は、フレームFnにおいて上記のような失敗が生じたときに、フレームFnをワイヤ追跡動画像として表示せず、その直前のフレームF(n−1)を表示し続けることである。この場合、ワイヤ追跡動画像は、表示される像が変化せずに止まってしまうが(つまり一時的にフリーズした状態になるが)、やがて上記失敗の無い処理が行われると、フリーズ状態が解けてワイヤ追跡動画像の表示が動き始める。もし、毎秒10フレーム程度のフレームレートで表示を行っていたとすると、そのうちの1,2フレームが失敗しても、実用上の支障はない。
なお、上記の各実施形態において、上記失敗が生じたフレームFnをあたかも存在しなかったかのように扱い、これを無視するように構成することが望ましい。これはすなわち、次に上記失敗が生じないフレーム(たとえばフレームF(n+1))が得られたときに、このフレームF(n+1)は、上記失敗が生じたフレームFnではなく、上記失敗が生じなかったフレームF(n−1)に対して位置合わせがなされることから、この発明に係る機能の効果を持続することができるからである。
また、別の方法として、フレームFnにおいて失敗が生じた場合、算出されなかったアフィン変換Tnの代用として、その直前のフレームF(n―1)に対応するアフィン変換T(n―1)を用いてフレームFnの位置合わせを行うことができる。
更に別の手法として、フレームFnの直前の複数(たとえば数個〜数十個程度)のフレームに対応するアフィン変換T(n―1)、T(n―2)、T(n―3)・・・・に基づいて、フレームFnに対応するアフィン変換を推定して適用するようにしてもよい。この処理は、この発明の「推定手段」としての画像処理部23が実行する。
アフィン変換を推定する処理は、公知の信号処理技術を適宜に応用して実行される。たとえば、心拍や呼吸などがほぼ周期的に行われることを考慮して、過去のフレームにおける回転角度θの変動が時間をパラメータとする周期関数で近似できるものと仮定する。画像処理部23は、過去のアフィン変換T(n―1)、T(n―2)、T(n―3)・・・・における回転角度θの時間変化に基づいて、その変動周期を推定する。
更に、画像処理部23は、この変動周期の推定値に基づいて過去の回転角度θの波形を外挿して、アフィン変換Tnにおける回転角度θを推定する。
同様に、平行移動量u,vについても、同じ周期に基づいて過去のアフィン変換T(n―1)、T(n―2)、T(n―3)・・・・に基づいて過去の平行移動量u,vの波形をそれぞれ外挿して、アフィン変換Tnにおける平行移動量u,vをそれぞれ推定する。
なお、上記のようにアフィン変換を代用している間、その旨を示す情報を表示部31に表示したり、音声出力により通知したりすることが可能である。
また、一連のフレームで失敗が連続して生じると、ワイヤ追跡動画像の乱れなどから却って術者の集中を削ぐおそれがある。そこで、予め定められたフレーム数だけ失敗が続いたことに対応して、動き抑制機能を停止させるように構成することができる。同様に、予め定められた時間だけ失敗が続いたことに対応して、動き抑制機能を停止させるように構成することもできる。
この処理は、この発明の「停止手段」としての画像処理部23により実行される。そのために、画像処理部23には、連続して処理を失敗した回数(フレーム数)をカウントするカウンタや、連続して処理が失敗している時間を計時するタイマなどが設けられる。
なお、動き抑制機能を停止させた場合でも、従来と同様の動画像(通常の透視画像)の表示が継続される。このとき、動き抑制機能が停止されている旨の情報を表示したり、音声出力により通知したりすることができる。
また、ワイヤの像の動きを抑制させた動画像を表示させていない間であっても、ワイヤの像を特定する処理や、位置合わせ処理を実行するようにしてもよい。その場合、適切なアフィン変換が得られたことに対応して動き抑制機能を自動的に再開させることが可能である。