JP2005528974A

JP2005528974A - 生理学的モデルに基づく非剛体画像位置合わせ

Info

Publication number: JP2005528974A
Application number: JP2004514013A
Authority: JP
Inventors: リンキシオンシャオ; ジンハンイェ; シルヴァアンジェラジェイダ; ズオズハオ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-06-12
Filing date: 2003-06-10
Publication date: 2005-09-29
Anticipated expiration: 2023-06-10
Also published as: WO2003107275A2; AU2003232400A1; WO2003107275A3; EP1516290A2; US20030233039A1; JP4576228B2; US7117026B2

Abstract

生理学的拘束条件を用いて数学的にモデル化された呼吸運動及び心臓運動から生じる生理学的なモデル化された器官運動を用いる画像の非剛体位置合わせ及び融合を行う方法が開示される。画像を結合する方法は、対象の関心領域の第１画像データセット（２４）を得るステップと、前記対象の前記関心領域の第２画像データセット（３４）を得るステップとを有する。次に、前記関心領域に対する生理学的運動の一般的なモデルが形成される（１４２）。前記生理学的運動の一般的なモデルは、前記第１画像データセット（１４０）から得られたデータと適合され、対象特有の生理学的モデル（１５４）を形成する。前記対象特有の生理学的モデルは、前記第２画像データセット（１５０）に適用され（１７２）、結合画像を形成する（１２２）。

Description

本発明は、画像位置合わせ（registration）及び融合（fusion）に関し、特に画像の位置合わせ及び融合のために非剛体技術を使用する方法及び装置に関する。より具体的には、前記画像位置合わせ及び融合は、イメージング中に生理学的運動に対して補償するように構成される。本発明は、診断医療イメージングと併せて特定の応用例を見つけ、特にこれに関して記述されるだろう。

医療活動において、様々な技術又はイメージングモダリティが、人間の体の診断画像を得るために利用可能である。前記イメージングモダリティのそれぞれは、撮像対象からデータを収集し、収集されたデータを適切な画像に処理する異なる方法及び装置を採用することができる。様々なイメージングモダリティは、特定のイメージング技術に特徴的なフィーチャを持つ画像を生じる。

異なるイメージングモダリティは、特定のデータ収集及び画像処理方法に関連した特徴的フィーチャを持つので、特定のモダリティは、特定の種類の診断情報を得るのにより有用であることができる。例えば、機能的なイメージングモダリティは、シンチグラフィ、ファンクショナルＭＲＩ（ｆＭＲＩ）並びにＳＰＥＣＴ及びＰＥＴのような核医学イメージング技術を含む。加えて、あまり使用されない幾つかの機能的な技術は、潅流ＭＲＩ（ｐＭＲＩ）、ファンクショナルＣＴ（ｆＣＴ）、電気インピーダンス断層撮影法（ＥＩＴ）及び磁気共鳴弾性率測定法（ＭＲＥ）を含む。これらの機能的なモダリティは、主に撮像された対象の代謝性の情報又は機能的な情報及び幾つかの構造的なフィーチャを示すイメージング情報を提供することができる。しかしながら、これらのモダリティの幾つかを使用して生成された画像は、一般に、特定の領域、生理学的システム又は関心のある器官を対象とし、関心のある対象を囲む特定の解剖学的構造についてほとんど情報を生じない。例えば、核医学イメージング技術において、放射性薬剤が患者に注入される。特定の放射性薬剤は、特定の診断画像検査に対する画像を提供するために選択される。ある放射性薬剤は、循環器系、心臓、脳又は他の器官のような特定の関心領域に集中し、放射線が前記関心領域から発せられるようにする。患者内から発せられた放射線は、イメージング機器により検出され、前記診断画像を生成するのに使用される。核医学イメージング技術の結果として生じる画像は、前記関心領域の物質的な情報を提供するが、前記放射性薬剤が心臓を強調するために選択された場合、一般に骨格構造又は肺のような他の近くの器官を示さない。

医師が解剖学的構造の画像を必要とする場合、他の医療イメージングモダリティが使用されることができる。例えば、解剖学的モダリティは、腹腔鏡検査法又は喉頭鏡検査法のような様々な内視鏡検査により得られたＸ線、ＣＴ、ＭＲＩ、超音波、ポータル画像及びビデオシーケンスを含む。幾つかの派生的な技術は、磁気共鳴血管造影法（ＭＲＡ）、デジタルサブトラクション血管造影法（ＤＳＡ）及びコンピュータ断層撮影血管造影法（ＣＴＡ）を含む。これらのモダリティから得られた画像は、検査領域内の一般的な解剖学的構造に対して適切な画像を提供するために使用されることができる。

１より多いイメージングモダリティからの画像が利用可能である場合、しばしば異なるモダリティからの別の画像内の情報を単一の画像に結合することが望ましい。マルチモダリティ（multimodality）位置合わせ及び融合に加えて、時には単一のモダリティからの画像を結合することが有用である。モノモダリティ（monomodality）位置合わせは、患者の輪郭、器官の位置及びサイズが、時間、体型の変化及び異なる収集位置及び／又はプロトコルのため異なることができる場合、介入（intervention）前及び後の画像の比較、（発作中、又は発作の合間の）発作及び発作の合間のＳＰＥＣＴ画像の比較、腫瘍に対するＭＲスキャンの時系列又は特定の骨及び患者の病期の領域に対するＸ線時系列を使用する成長モニタリングによる治療検証に対して有用であることができる。

並べて比較するよりむしろ、前記マルチモダリティ又はモノモダリティ画像は、互いに対して特定の画像フィーチャの位置を関連付けるために互いに重ねあわされることができる。特に関連した対象の画像の重ね合わせは、前記画像の位置合わせ及び前記画像の融合を伴う。位置合わせは、一般に、前記画像の空間的な配置に関し、融合は、結合画像の統合された表示を生成するために実行される。結合された又は融合された画像は、記憶されるか、コンピュータ画面上に表示されるか、又は紙、Ｘ線フィルム若しくは他の同様な媒体のようなハード出力の特定の形式で見られることができる。

異なるイメージングモダリティからの画像を位置合わせする様々な方法が既知である。しかしながら、容易さ及び精度の両方を持つ画像位置合わせは、これらの方法に関連した問題である。例えば、画像はオペレータ又は医療専門家により手動で位置合わせされることができる。しかしながら、しばしば基準点として使用する画像間に十分な共通な情報が無いので、この方法は一般に非常に正確ではない。

他の位置合わせ方法は、マーカ（基準）又は定位フレーム（stereotactic frame）の使用を伴う。これら外部からの方法を使用する場合、マーカ又は基準フレームは、イメージングの間、患者の隣又は患者の上に配置される。前記患者は、１つのモダリティで撮像され、次いでイメージングに対する他のモダリティに移動される。前記マーカ又はフレームは、結合されるべき画像において見える。前記患者の体に対する前記マーカの位置を正確に固定することには問題がある可能性がある。前記患者は、スキャンの合間に及びスキャン中にわずかに移動する可能性があり、もし前記マーカに対する前記患者の移動があれば、結果として生じる画像を正確に位置合わせすることは難しくなる。

固有の方法は、患者の生成された画像内容（patient generated image content）に依存する。これらの位置合わせ方法の幾つかの例は、目立つ点又はランドマークの識別、対象表面のような分割されたバイナリ構造の配置、及び画像グレイ値（ボクセルベース）から計算された尺度の使用を含む。

画像融合における難関の１つは、選択された現在利用可能な方法にかかわらず、前記画像が横隔膜運動のような生理学的運動のため剛体位置合わせ方法を使用しても決してうまく配置しないことである。これは、特に対象に対する画像データを収集するスキャン時間が異なる場合に当てはまる。例えば、適切な画像データセットは、ＣＴ画像に対する単一の息止めで得られることができるが、ＰＥＴスキャンは、データ収集期間を通して多くの呼吸周期を要する可能性がある。より長い核スキャン中の前記生理学的運動は、ＰＥＴ画像及びＣＴ画像を位置合わせ及び融合するのを難しくする。この運動は、前記画像の不正確な位置合わせ及び融合を生じる。

本発明は、呼吸運動及び心臓運動から生じる生理学的なモデル化された器官運動を持つ画像の非剛体位置合わせ及び融合の方法及び装置を目的とする。

これらの運動は、生理学的拘束条件を用いて数学的にモデル化される。本発明の様々な態様が、生理学的運動に対して修正される位置合わせ及び融合された画像を提供する必要性を満たす。本発明において実践される原理による画像を結合する方法は、対象の関心領域の第１画像データセットを得るステップと、前記対象の前記関心領域の第２画像データセットを得るステップとを有する。次に、前記関心領域に対する生理学的運動の一般的なモデルが形成される。前記生理学的運動の一般的なモデルは、前記第１画像データセットから得られたデータと適合され、対象特有の生理学的モデルを形成する。前記対象特有の生理学的モデルは、前記第２画像データセットに適用され、結合画像を形成する。

本発明の態様の実例となる装置は、対象の関心領域の第１画像データセットを記憶する第１メモリと、前記対象の前記関心領域の第２データセットを記憶する第２メモリと、前記関心領域に対する生理学的運動の一般的なモデルを含む。前記装置は、前記生理学的運動の一般的なモデルを前記第１画像データセットから得られたデータに適合し、対象特有の生理学的モデルを形成する手段を含む。加えて、前記対象特有の生理学的モデルを前記第２画像データセットに適用し、結合画像を形成する手段が設けられる。

本発明の原理を使用する装置及び方法は、前述のフィーチャ及び下で記述され、特に請求項において指摘される他のフィーチャを提供する。以下の記述、請求項及び添付図面は、本発明の様々な原理を使用する特定の実例となる実施例を記載する。本発明の原理を使用する異なる実施例が、様々な構成要素、ステップ並びに構成要素及びステップの構成で形をなすことができると理解されるべきである。これら記述される実施例は、本発明の幾つか又は全ての原理が方法又は装置に採用されることができる様々な態様を示すが少数である。前記図面は、本発明の原理を使用する装置及び方法の実施例を図示することのみが目的であり、本発明を制限するように解釈されるべきではない。

本発明の前述の及び他のフィーチャ及び利点は、添付図面を参照して本発明の態様を使用する装置の以下の詳細な記述を考慮すると、本発明が関する分野の当業者に明らかになるだろう。

図１を参照すると、画像位置合わせ及び融合処理２０は、２つの異なるイメージングスキャンから結合画像を形成する画像位置合わせ及び融合システム２２と共に示される。第１スキャニングシーケンス２４は、画像データ２６を収集し、メモリに記憶する。画像データ２６は、特定のイメージングモダリティに対して適切な再構成プロセッサ２８において処理される。再構成された前記画像は、ボリューム画像メモリ３０内にロードされる。第２スキャニングシーケンス３４は、画像データ３６を収集し、メモリに記憶する。画像データ３６は、適切な再構成プロセッサ３８において処理される。前記再構成された画像は、ボリューム画像メモリ４０にロードされる。第１及び第２スキャニングシーケンス２４及び３４は、モノモダリティ又はマルチモダリティ画像スキャニングシーケンスであることができる。ボリューム画像メモリ３０及び４０は、（i）ディスク、テープ若しくは他の磁気記憶媒体、光学又は他の移動可能な記憶媒体、（ii）対応するイメージングシステム内のメモリ、（iii）画像管理データ記憶システム及び（iv）画像位置合わせ及び融合システム２２内のメモリのようなメモリを含む画像位置合わせ及び融合システム２２内で適切なデータ通信することができる如何なる適切なデータ記憶装置であることもできる。

非剛体生理学的モデルに基づく画像位置合わせ及び画像融合プロセッサ５０は、ボリューム画像メモリ３０及び４０とデータ通信している。画像メモリ３０及び４０は、再構成された画像データをプロセッサ５０に入力する。プロセッサ５０は、下に記述されるような位置合わせ及び融合された画像をビデオプロセッサ５４に動作的に接続された結合画像メモリ５２に供給する。ビデオプロセッサ５４は、前記位置合わせ及び融合された画像を見るための人間読取可能ディスプレイ５６に接続される。

ここで図２を参照すると、第１イメージング装置６２と、第２イメージング装置６４と、イメージングシステム制御部６５と、イメージングプロセッサ６７と、表示システム６９とを有するマルチモダリティ医療イメージングシステム・スキャナ・アセンブリ６０が示される。イメージングシステム制御部６５は、スキャナ６２及び６４並びにマルチモダリティ・スキャナ・アセンブリ６０の他の構成要素の物理的な動作を調整する。実例として示された前記構成要素及びシステムにおける制御及びイメージング処理機能の全ては、離散又は結合されたイメージングシステム及び互いに適切なデータ通信を行う離れて位置するシステムの何れであっても、適切なプロセッサ、メモリ及び記憶部、入力部、出力部並びにデータ通信機能のようなコンポーネントシステムの動作可能な補間物を有する既知のコンピュータベースのシステムにより実行されることができる。

イメージング装置６２及び６４は、協働して異なるイメージングモダリティを通して患者情報を得、対象６６の解剖学的構造画像及び生理学的機能画像を形成する。より具体的には、本発明の原理の実例となる装置の本実施例において、イメージング装置６２は、データを得るモードとしてＸ線を使用するコンピュータ断層撮影（ＣＴ）スキャナであり、前記データから、対象６６の内部構造を表す画像が形成される。イメージング装置６４は、データを収集するモードとして前記患者に取り込まれた放射性薬剤から生じる陽電子放射を使用する陽電子放射形断層撮影（ＰＥＴ）スキャナであり、前記データから対象６６内の主として代謝の生理学的機能を表す画像が形成される。背景技術において前に述べられたイメージングモダリティの他の適切な組み合わせが、本発明の原理を利用するシステムにおいて使用されるべきマルチモダリティ画像を得るために使用されることができることは理解されるべきである。加えて、本発明の原理を利用する際に使用される画像データセットが異なる位置における離散イメージングシステム（discrete imaging system）から得られることができることは理解されるべきである。

ＣＴスキャナ６２は、床に取り付けられた非回転ガントリ６８を含み、ガントリ６８の位置は、データ収集の間は固定されたままである。Ｘ線管は、内部の回転ガントリ（図示されない）に回転可能に取り付けられる。静止ガントリ６８は、患者検査領域７０を定める円筒形の穴（bore）を含む。放射線検出器のアレイは、患者検査領域７０の内面に同軸でガントリカバー内に動作的に配置される。前記検出器は、検査領域７０を横切った前記Ｘ線管からの放射線を受信するように配置される。代替的に、放射線検出器の円弧セグメントは、前記Ｘ線管と共に回転するように前記回転ガントリに取り付けられることができる。ＣＴスキャナ６２の前記検出器からのデータは、画像データメモリ９０に記憶され、再構成プロセッサ９２により再構成される。再構成されたデータは、ボリュームＣＴ画像メモリ９４にロードされる。

対象支持台８０は、患者操縦アセンブリ及び支持構造物として機能する。台８０は、イメージングシステム制御部６５により制御され、イメージング装置６２及び６４の動作に対して対象６６の移動を調整し、対象６６の長さに沿った１つ又は複数の所望の位置における対象イメージング情報を得る。台８０は、画像データ収集に望まれる又は適切であることができるように、連続的な速度での方法、可変速度での方法、増分的変位での方法又はこのような方法の組み合わせのような様々な方法で、前記対象をイメージング装置６２及び６４の対応する検査領域７０を通して延在させることができる。

ＰＥＴスキャナ６４は、床に取り付けられた非回転ガントリ７２を含み、ガントリ７２の位置は、データ収集の間固定されたままである。静止ガントリ７２は、患者検査領域７０を更に定める円筒形の穴を含む。既知の放射線検出器のアレイは、患者検査領域７０の内面に同軸でガントリカバー内に動作的に配置される。前記検出器は、非一様な減衰補正（attenuation correction）のための伝送放射線（transmission radiation）及び適切な放射性薬剤を受けた検査領域７０内の対象６６から放出放射線を受信するように配置される。ＰＥＴスキャナ６４の前記検出器からのデータは、一致論理プロセッサ１０１を通って移動され、認可データ（qualifying data）は画像データメモリ１００に記憶される。

核イメージングにおいて、前記患者の体の内部の様々な点から放出された放射線は、放出点と前記検出器アセンブリとの間の組織を通り抜けなければならない。骨のような幾つかの組織は、前記放射線データを対象６６内の他の組織より大幅に減衰する。従って、放出データは、他に対して介在する組織の幾つかに起因するより大きな減衰を一般に補正される。本発明の態様を実施する装置の一実施例において、伝送源（図示されない）から得られ、検査領域７０を横切って伝送されるデータは、前記検出器により受信され、分類され、ＰＥＴ画像データメモリ１００内の画像メモリの部分に記憶される。伝送画像データは、伝送再構成プロセッサ１０６、次いで減衰補正メモリ１０８に伝達される。伝送放射線構成画像に基づいて、各収集された放出放射線データ値により後に続かれる軌道に沿った前記組織は、適切な減衰補正係数（attenuation correction factor）で決定される。再構成プロセッサ１０２は、決定された前記減衰補正係数に従ってＰＥＴ画像データメモリ１００からの前記放出放射線データを補正する。再構成されたデータは、ボリュームＰＥＴ画像メモリ１０４にロードされる。

ボリュームＣＴ画像メモリ９４及びボリュームＰＥＴ画像メモリ１０４からの前記データは、非剛体画像位置合わせ及び融合処理１２０に供給される。非剛体画像位置合わせ及び融合処理１２０は、呼吸運動及び心臓運動のような生理学的なモデル化された器官運動を用いてＣＴ及びＰＥＴ画像の非剛体位置合わせを実行する。これらの生理学的運動は、生理学的拘束条件を用いて数学的にモデル化される。前記運動の方向及び生理学的拘束条件は、動的ＣＴ又はＭＲＩデータのような他のソースからの幾らかの先験情報から得られる。このような拘束条件を使用することにより、最適化処理は、絶対的なボリューム−ボリューム（又は表面−表面）エラー最小化を探す代わりに、前記画像を伸縮自在に物理的に意味のある状態に変換するだろう。処理１２０は、融合画像データを結合画像メモリ１２２に供給する。

ビデオプロセッサ１２４は、結合画像メモリ１２２に動作的に接続され、前記画像データを処理し、適切なビデオ信号を人間読取可能ディスプレイ１２６に供給する。加えて、前記ビデオプロセッサは、ボリュームメモリ９４及び１０４に動作的に接続され、個別の表示のために、又は互いの間の若しくは前記融合画像との視覚的な比較のためにイメージングモダリティ６２及び６４のそれぞれからの画像を形成する。

ここで図３を参照すると、非剛体画像位置合わせ及び融合処理１２０の本発明の原理による１つの処理が示される。本実施例において、ＣＴ画像は、ＰＥＴ放出画像データに対して位置合わせされ、非剛体の生理学的モデルに基づく画像位置合わせ及び融合を提供し、ＰＥＴ減衰補正を提供する。位置合わせの後に、変換されたＣＴデータは、ＰＥＴ減衰補正に使用されることができる５１１ｋｅＶの放出エネルギでの減衰係数のマップに変換されることができる。ＰＥＴ減衰補正に対するＣＴ画像の使用は、当技術分野内で周知の技術であり、適切な技術の記載は、Kinahan PE, Townsend DW, Beyer T, and Sashin D, 1998, Attenuation correction for a combined 3D PET/CT scanner, Med. Phys. 25 2046-53及びGuy MJ, Castellano-Smith IA, Flower MA, Flux GD, Ott RJ, and Visvikis D 1998, DETECT-dual energy transmission estimation CT-for improved attenuation correction in SPECT and PET, IEEE Trans. Nuclear Sci. 45 1261-67において提供され、これらの両方は、参照によりここに組み込まれる。

処理１２０は、メモリ９４内の前記ボリュームＣＴ画像データの自動分割ステップ１３０から始め、器官の表面、例えば望まれるように前記対象又は関心領域の体輪郭及び肺輪郭を抽出する。これらの表面及び輪郭は、対象特有の非一様有理Ｂスプライン（ＮＵＲＢＳ）心臓トルソ（CArdio Torso）（ＮＣＡＴ）ファントムモデルを生成するのに使用される。縁ベース、領域ベース及び動的輪郭方法が分割ステップ１３０に適しているが、閾値ベースの画像分割方法が使用される。

図４において、ピクセル単位に基づく器官又は体輪郭１３２を見つける前記閾値ベースの画像分割が図示される。前記ピクセルは、関連する隣接した体組織又は体輪郭に対する空き空間に適した閾値と比較される。前記処理は、前記閾値より大きい値を持つピクセル１３４の初めての出現において開始ピクセル１３４の位置を位置合わせすることにより開始される。閾値比較に対するピクセルの探索は、この場合、探索パターン１３９により示される時計回りの方向に開始ピクセル１３４から、目標ピクセル１３６の左のピクセル１３７が前記閾値以下の値を持ち、右のピクセル１３８が前記閾値より大きな値を持つような目標ピクセル１３６までたどる。輪郭に対してこの基準を満たす各ピクセル位置は、分割のために記憶される。前記器官又は体の輪郭を決定するために前記閾値とピクセルを比較する反復処理は、前記器官又は体の輪郭が閉じるまで続行する。前記肺輪郭を決定するために、前記目標ピクセルの左のピクセル値は、選択された前記閾値より大きくあるべきである。前記ＣＴ画像分割が完了すると、分割されたＣＴ画像は記憶される１４０。

本発明の原理を利用する方法は、呼吸により開始された生理学的運動に応答する器官及び体の運動の一般的な器官ベースの生理学的モデル１４２を含む。一般的な前記ＮＣＡＴファントムモデル１４２において、対象の集団の平均から得た器官の幾何学的構造が、非一様有理Ｂスプライン技術を使用して作成される。

図５を参照すると、非一様有理Ｂスプライン（ＮＵＲＢＳ）は、３次元表面を正確に記述することができる３次元の幾何学的構造の数学的表現である。ＮＵＲＢＳ表面上の制御点１５０は、通常それぞれ経度及び緯度を表す２つのパラメータ変数ｕ及びｖにより定められる。ｕ方向におけるｐ度及びｖ方向におけるｑ度の３次元ＮＵＲＢＳ表面は、以下の関数により与えられるようなＢスプライン多項式の区分比（piecewise ratio）として定められる。

ここで、
Ｓは同次座標(x, y, z, 1)に定められた表面上の点であり、
ｎ及びｍは、それぞれｕ及びｖ方向における制御点の数であり、
Ｐ_ijは、同次座標において定められた制御点のｎ×ｍマトリクスであり、
ｗ_ijは、前記表面の形状に対する制御点の影響を決定するスカラ重みであり、
Ｎ_ip(u)及びＮ_jq(v)は、それぞれｐ及びｑ度の多項式関数である。
ＮＵＲＢＳ表面は、対象画像データに基づくことができる複雑な生物学的形状をモデル化する順応性を提供する。更に、前記表面を定める制御点１５０に対する変換の適用は、前記ＮＵＲＢＳ表面の形状を修正することができる。各変換は、変更されるべき表面の制御点Ｐ_ijに適切な変換マトリクスを乗算することにより実行され、即ちＰ_ij ^transformed＝ＭＰ_ijであり、ここでＭは４×４の変換マトリクス（並進移動、回転及びスケーリング）である。各器官は、１つのＳ(u,v)により表されることができる。この故に、特定の呼吸時点における対象データの場合、前記ＮＣＡＴは、個別の器官の和と見なされることができ、即ち、

であり、ここでＱは器官の数である。上で述べられたように、前記ＮＣＡＴファントムの形状の変化は、前記表面を記述する前記制御点のそれぞれに対して変換マトリクスＭ_iを適用することにより達成される。これらのマトリクスを得るのに有用な複数の方法がある。例えば、１つの方法において、所定の対象から得られた又は所定の集団にわたり平均化された器官の一般的な運動を仮定する。この場合、Ｍ_iは仮定された運動により数学的に記述されることができる。他の適切な方法において、Ｍ_iは、２つの状態（例えば、呼吸サイクルの始めと終わり）における各器官の前記制御点を比較することにより各個別の器官に対して直接的に決定される。更に他の適切な方法において、開始画像及び目標画像における全ての器官の間に１対１対応は存在しない。この場合、直接的な変換は、（上述の２つ目の方法のように）両方の画像に表れる器官に対してＭ_iを決定するために使用されることができるが、モデル概念及び隣接した運動情報は、両方の画像には表れない器官に対してＭ_iを得るために使用されることができる。これらの場合は、以下の段落で説明されるだろう。

４次元ＮＣＡＴファントムにおける一般的なシミュレートされた吸息性呼吸力学は、図６Ａ−Ｄに示されたような胸郭並びに横隔膜、肺及び他の器官の運動に対してモデル化される。呼息性の運動は、吸息性の運動の逆としてシミュレートされる。前記ＮＣＡＴファントム又は同様な生理学ベースモデルは、この開示において非剛体位置合わせの目的で使用されることができる。

一般的な生理学的モデル１４２は、ここで記述されるように、特定の対象に適合するように修正される。呼吸による各器官の運動若しくは形状変化又は前記対象の他の運動は、修正された対象特有のモデルにおける少数のパラメータを調整することにより特徴付けられることができる。対象と共に使用されるべき適切で一般的な生理学的モデルは、the University of North Carolinaで開発されたＮＣＡＴモデルである。このモデルにおいて、２つのパラメータ、（i）横隔膜（diaphragm）（図示されない）の高さ及び（ii）胸（chest）の前後（anterior-posterior）（ＡＰ）拡張は、前記ＮＣＡＴファントムにおいて呼吸運動を制御する。前記横隔膜の高さは、肝臓（liver）１９０、胃（stomach）１９２、脾臓（spleen）１９４及び心臓１９６の縦の運動を制御する。前記胸のＡＰ拡張は、これらの器官の横及びＡＰ運動並びに胸郭１９８の運動を制御する。典型的な器官及び胸郭運動の一般的な概略的表現は、矢印２００により示される。前記パラメータは、４次元呼吸モデルを形成するために、式（３）及び（４）により記述されるように時間の関数として修正される。

肝臓１９０、横隔膜及び心臓は、式（３）により記述される前記横隔膜の高さの変化と共に上下に移動するように設定される。この運動は、下に記述される他の並進運動と同様に、所定の器官を定める前記制御点に対して適切な並進移動マトリクスＭを適用することにより達成され、例えば、

である。これらの器官の前記ＡＰ運動は、正の値が前向きの運動を示す式（４）により記述されるように前記胸のＡＰ直径の拡張に従うように設定された。前記胃に対して、縦運動、ＡＰ運動及び横運動は、それぞれ式（６）−（８）により与えられる。
ΔＺ_stomach(t)＝0.74ΔＺ_diaphragm(t) （６）
ΔＡＰ_stomach(t)＝1.68ΔＡＰ_chest(t) （７）
Δlateral_stomach(t)＝0.89ΔＡＰ_chest(t) （８）
同様に、前記脾臓の縦運動、ＡＰ運動及び横運動は、それぞれ式（９）−（１１）により与えられる。
ΔＺ_spleen(t)＝0.63ΔＺ_diaphragm(t) （９）
ΔＡＰ_spleen(t)＝1.14ΔＡＰ_chest(t) （１０）
Δlateral_spleen(t)＝-0.95ΔＡＰ_chest(t) （１１）
前記胸郭の運動は、各肋骨を
φ_R＝arccos((Ｔ−Ｃ)／Ｌ)−arccos(((Ｔ−Ｃ)＋ΔＡＰ(t))／Ｌ) （１２）
により与えられるφ_Rだけ横軸（ｘ軸）について回転させることにより実行され、ここで、
Ｔ＝(Ｔ_x, Ｔ_y, Ｔ_z)は、前記肋骨の先端の座標であり、
Ｃ＝(Ｃ_x, Ｃ_y, Ｃ_z)は、前記肋骨のくびれ部（costal neck）の先端の座標であり、
Ｌは、前記肋骨のＡＰ長であり、
ΔＡＰ(t)は、式（４）により与えられる時間の関数としての前記胸のＡＰ直径の変化である。
各肋骨のｘ軸についての回転は、前記肋骨を定める前記制御点に対して適切な回転マトリクスＭを適用することにより、即ち、

により実行される。このＮＣＡＴファントムにおける肺及び体の外形を定める前記ＮＵＲＢＳ表面は、制御点を前記胸郭の始めの９本の肋骨に関連付ける。回転させられた各肋骨に対して、前記肺及び体の外形における対応する前記制御点は、同様に回転させられる。このように、これらの表面の形状は、前記胸郭の拡張及び収縮に対応して変化する。このＮＣＡＴモデルは、参照によりここに組み込まれるW.P. Segars, Ph.D.の論文、題Development and Application of the New Dynamic NURBS-Based Cardiac Torso (NCAT) Phantom, Department of Biomedical Engineering, University of North Carolina at Chapel Hill, 2001及び参照によりここに組み込まれるW.P. Segars et al, Modeling Respiratory Mechanics in the MCAT and Spline-Based MCAT Phantoms, IEEE Transactions on Nuclear Science, Vol.48, NO.1, February 2001において更に記述される。

次に、前記ボリュームＰＥＴ画像データを作成して前記対象特有のＮＣＡＴファントムモデルに対してモーフィングするために、メモリ１０４における前記ボリュームＰＥＴ画像データの自動分割ステップ１５０が完了される。上で述べられたものと同様な閾値分割は、前記ボリュームＰＥＴ画像データに関連した閾値を用いて実行される。ＰＥＴ放出データの場合に、前記体の外形は、前記画像データから抽出される。

ステップ１５２において、一般的なＮＣＡＴ生理学的ファントムは、前記ＣＴ画像に適合するようにモーフィングされ、これにより対象特有の生理学的モデル１５４を生成する。前記ＣＴ画像から抽出された前記器官の基本表面は、滑らかな立体ＮＵＲＢＳ表面に適合され、新しい対象特有のＮＣＡＴファントムを作成する。一般に、これは、前記器官をモデル化する個別の前記ＮＵＲＢＳ表面と、前記呼吸運動を記述するパラメータp_iとの関数、即ち、
ＮＣＡＴ＝Ｆ(Ｓ₁(u,v),Ｓ₂(u,v),...,Ｓ_k(u,v),p₁,p₂,...p_N) （１４）
として記述されることができる。

前記体、肺、心臓、肝臓及び横隔膜は、前記ＣＴ画像から分割され、３次元立体ＮＵＲＢＳ表面は、これらに適合されて患者特有のＮＣＡＴファントムを作成する。

次に、ステップ１５６において、対象特有のＮＣＡＴファントム１５４は、ステップ１５０の分割されたＰＥＴデータに適合するようにモーフィングされる。一般に、モーフィング処理は、前記ＮＣＡＴモデルのパラメータp₁, p₂,..., p_Nにより制御される。この場合、２つの画像セットの間に１対１の器官の対応は存在せず、下に記述されるように前記ＮＣＡＴモデルを使用するために幾つかの近似が行われる。

図７Ａ及び７Ｂにおいて、前記ＣＴデータからの前記対象特有のＮＣＡＴファントムは、ＰＥＴ放出及び／又は伝送データと照合されることができる。前記ＣＴ対象特有のＮＣＡＴファントムをＰＥＴ放出データと照合する一実施例において、パラメータp₁は、矢印３００と、第１の体の外形３０２と、第２の体の外形３０４とにより示される前記体の前後の（ＡＰ）直径間の差である。前記体の直径は、前記体の表面上の点を所定の長軸断スライスに対して９０°及び２７０°でサンプリングすることにより決定される。パラメータp₁は、この場合、全てのスライスにわたり前記ＡＰ直径の差を平均化することにより決定される。パラメータp₂は、矢印３２０により示された横隔膜３２２の高さの変化である。前記横隔膜は、非減衰補正ＰＥＴ放出画像において見えないので、p₂の値は、ＮＣＡＴ呼吸モデルに従って1.5×p₁になるように取られる。これら２つのパラメータは、以下のように前記ＮＣＡＴファントムの呼吸運動を制御する。前記心臓、肝臓及び横隔膜は、p₁だけ前記ＡＰ方向に及びp₂だけ長手方向に並進移動される。前記体及び肺は、図Ｂに記述されるようにp₁だけ前記ＡＰ方向にスケーリングされる。前記肺は、p₂だけ長手方向にもスケーリングされる。これは、前記対象特有のＮＣＡＴに対する空間的及び呼吸変換１７０（図３）を定める。この場合、p₁は式（４）のΔＡＰ_chestと同等であり、p₂は式（３）のΔＺ_diaphragmと同等である。

前記ＣＴ対象特有のＮＣＡＴファントムをＰＥＴ伝送データに照合する場合、パラメータp₁は、上で述べられたように定められ、決定される。パラメータp₂は上のように定められるが、前記横隔膜は前記ＰＥＴ伝送画像において見えるので、前記横隔膜の並進運動は、前記ＰＥＴ及びＣＴ画像に対して横隔膜表面を比較することにより直接的に決定される。これら２つのパラメータは、上で述べられたように前記心臓、肝臓及び横隔膜の前記呼吸運動を制御する。２つの他のパラメータは、前記肺の運動に対して考慮される。パラメータp₃は、各肺３４２に対して矢印３４０により示されるＡＰスケーリング率であり、パラメータp₄は、各肺に対する矢印３６０により示される横のスケーリング率である。前記体に対する大域的なＡＰスケーリング率とは異なり、前記肺のスケーリング率は、各肺に対して決定され、スライス毎に基づいて適用される。以前の場合のように、前記体は、p₁だけ前記ＡＰ方向にスケーリングされる。これは、前記対象特有のＮＣＡＴに対する空間的及び呼吸変換１７０（図３）を定める。

ここで図９Ａ及び９Ｂを参照すると、制御点３７４の変換に基づくモーフィングの例が示される。図９Ａにおいて、前記変換は、体の外形３７０と３７２との間の前後の差のような単一のパラメータに基づくことができる。前記スケーリングは、変換された制御点の位置３７５に対する各制御点３７４の適切なシフトにより達成され、前記シフトは、矢印３７６により表され、前記スケーリングの原点３８０からの前記制御点の距離に比例する。図９Ｂにおいて、前記変換は、矢印３７８により表されるように横のスケーリングを含む。制御点３７４の運動は、図示された結果として生じる矢印３７８により示されるように多方向成分を含む。

次にステップ１７２において、変換１７０は、ボリュームＣＴ画像データ９４に適用される。より具体的には、前記ＰＥＴデータと照合するように前記対象特有のＮＣＡＴモデルを変換するのに使用される運動ベクトルは、前記ＣＴボリューム画像データに適用される。図１０Ａ及び１０Ｂを参照すると、ステップ１５４（図３）の前記対象特有のＮＣＡＴモデルに対する体の外形４００、肺４１０、４２０及び心臓４３０の表面は、実線で表される。運動ベクトル４３５は、心臓４３０の並進移動を表す。肺４１０及び４２０のスケーリングは、それぞれベクトル４１５及び４２５により示され、体の外形４００のスケーリングは、ベクトル４０５により示される。これらのベクトルは、前記体及び器官の前記ＡＰ方向の並進移動を表し、ステップ１５６における前記呼吸モデルに従ってステップ１５０からのＰＥＴデータ６００と照合するようにステップ１５４の前記対象特有のＮＣＡＴモデルを変換するのに使用される。ＰＥＴデータ６００と共に配置された、ステップ１５４の変換されたＮＣＡＴモデルに対する体の外形５００、肺５１０、５２０、及び心臓５３０の表面は、図１０Ａに点線で表される。

メモリ９４からの前記ＣＴ画像ボリュームデータを４次元の対象特有の生理学的なモデル化された変換ＣＴデータに対して配置するために、前記ＰＥＴデータと照合するようにステップ１５４の前記対象特有のＮＣＡＴファントムを変換するのに使用される同じ運動ベクトルは、ステップ１７２においてメモリ９４に記憶された前記ＣＴボリューム画像データのピクセルに適用される。例えば、図１０Ａにおいて、前記ＮＣＡＴモデルの心臓４３０内の網掛けピクセル４３２は、心臓並進運動ベクトル４３５に等しい量だけ前記ＡＰ方向に並進移動される。同じ変換が、前記ＣＴボリューム画像データにおける対応するピクセルに適用される。同様に、肺領域のピクセルは、肺スケーリング率４１５及び４２５に従ってスケーリングされるだろうが、体領域のピクセルは、体スケーリング率４０５に従ってスケーリングされるだろう。３次元運動ベクトルは、前記ピクセルに対して決定され、前記運動ベクトルは、前記ＣＴボリューム画像データに適用される前に３次元で平滑化される。メモリ９４からの前記ＣＴデータに対する変換１７０の適用が完了すると、結合された位置合わせ及び融合された画像は、結合画像メモリ１２２に記憶される。

前記イメージングモダリティが離散システムであり、メモリ９４、１０４の前記ボリューム画像データが（図２に示される結合ＣＴ／ＰＥＴシステムの場合と逆に）異なる臨床の設定で収集される場合には、前位置合わせステップ１８０は、非剛体位置合わせが処理１２０において行われる前に、メモリ９４における前記ボリュームＣＴ画像をメモリ１０４における前記ボリュームＰＥＴ画像と共に剛体配置する（rigidly align）ように実行される。剛体変換は、剛体と見なされることができる前記体の領域（即ち呼吸運動に対して相対的に鈍感な前記体の領域）を考慮することにより得られる。離散イメージングシステムからの画像データのこの前位置合わせは、従来の画像の剛体位置合わせから前記前位置合わせを区別するためにここで局所位置合わせとも称される。既知の剛体位置合わせアルゴリズムの幾つでも、様々な最適化技術と組み合わせて相互情報、局所相関及び相互相関のような類似性尺度として適用されることができる。剛体位置合わせ及び最適化の技術の１つの適切な組み合わせは、単純な勾配最適化と共に相互情報位置合わせの使用を含む。

ここで図８を参照すると、本発明の原理を利用する他の非剛体画像位置合わせ及び融合処理２２０が示される。図３の処理１２０と同様なステップ及び処理は、同様に番号を付けされ、更には記述されない。処理２２２は、前記ＣＴデータを用いる前記ＰＥＴデータの減衰補正のための減衰マップを生成せずに前記ＰＥＴ画像を前記ＣＴ画像に対して位置合わせする。このようなものとして、ＰＥＴ放出データの場合には、前記体の外形は、前記画像データから抽出される。ＰＥＴ伝送データの場合には、前記体の外形、肺、肝臓の先端及び横隔膜は、前記画像データから分割される。簡単に図２を参照すると、前記ＰＥＴデータは、ステップ１０６及び１０８を使用して減衰補正され、メモリ１０４において減衰補正されたボリュームＰＥＴ画像を形成する。ステップ２２２を参照すると、一度前記対象特有のモデルからの変換パラメータが、上でステップ１５４に対して記述されたように決定されると、ＣＴで定められる対象特有のＮＣＡＴモデルは、ステップ１５６において前記ＰＥＴデータと照合するように変換され、前記ＰＥＴデータに対するモデル（ＰＥＴ−ＮＣＡＴ）を作成する。

再び図１０Ａ及び１０Ｂを参照すると、変換された前記ＮＣＡＴに対する体の外形の表面５００と、肺の表面５１０及び５２０と、心臓の表面５３０とが、前記ＰＥＴ−ＮＣＡＴモデルである。前記ＰＥＴ−ＮＣＡＴのピクセルは、ステップ１７２の一部として記述された既知の運動を受けた。例えば、前記ＮＣＡＴモデルの心臓内の網掛けピクセル４３２は、心臓並進運動ベクトル４３５に等しい量だけ前記ＡＰ方向に並進移動され、ここで前記ＰＥＴ−ＮＣＡＴの心臓の特定のピクセルに対応する。ピクセル５３２は、前記ＰＥＴデータのピクセル６３２に対応する。図８に示されるように、前記ＰＥＴ−ＮＣＡＴを元の対象特有のＮＣＡＴに照合するために、ピクセル５３２は、心臓並進運動４３５の逆変換を受け、即ち、図３に関して上で述べられた元の変換４３５の反対方向に並進移動される。同様に、前記ＰＥＴ−ＮＣＡＴの肺領域のピクセルは、肺スケーリング率４１５及び４２５の逆数の率だけスケーリングされる。従って、前記体領域のピクセルは、体スケーリング率４０５の逆数だけスケーリングされる。従って、前記ピクセルに対する３次元逆運動ベクトルが決定されることができる。前記ＰＥＴ−ＮＣＡＴをメモリ１０４における前記ＰＥＴボリューム画像データに対するマップとして使用して、ＰＥＴボリューム画像データ６００のピクセルは、前記ＰＥＴ−ＮＣＡＴから決定された前記運動ベクトルに従って変換される。前の例のように、前記運動ベクトルは、前記ＰＥＴボリューム画像データに適用される前に３次元で平滑化される。

本発明の特定のフィーチャは、実例として示された実施例の１つのみに対して上で述べられているかもしれないが、このようなフィーチャは、望まれ且つ所定の特定の応用に対して有理であるように、他の実施例の１つ又は複数の他のフィーチャと組み合わされることができる。本発明の上の記述から、当業者は改良、変更及び修正に気付くだろう。当分野の技術内のこのような改良、変更及び修正は、添付された請求項によりカバーされると意図される。

本発明の態様を実施するシステムの一般的なブロック図である。本発明の態様を組み込むマルチモダリティ医療イメージングシステムの概略的な側面図である。本発明の態様の実例となる方法及び装置の実施例の機能的なブロック図である。本発明の態様に従って使用する適切な分割技術の例の表現である。３次元非一様有理Ｂスプライン表面の表現である。４次元ＮＣＡＴファントムにおけるシミュレートされた呼吸運動の概略的表現である。４次元ＮＣＡＴファントムにおけるシミュレートされた呼吸運動の概略的表現である。４次元ＮＣＡＴファントムにおけるシミュレートされた呼吸運動の概略的表現である。４次元ＮＣＡＴファントムにおけるシミュレートされた呼吸運動の概略的表現である。呼吸運動に応答する体及び器官運動の横向き及び矢状方向の概略的表現である。呼吸運動に応答する体及び器官運動の横向き及び矢状方向の概略的表現である。本発明の態様の実例となる方法及び装置の他の実施例の機能的なブロック図である。本発明と共に使用される原理による制御点の変換に基づいたモーフィングの表現である。本発明と共に使用される原理による制御点の変換に基づいたモーフィングの表現である。本発明の原理による画像データのピクセルの概略的表現及び画像データに対する運動ベクトルの適用を示す。本発明の原理による画像データのピクセルの概略的表現及び画像データに対する運動ベクトルの適用を示す。

Claims

画像を結合する方法において、
対象から第１画像データセットを得るステップと、
前記対象から第２画像データセットを得るステップと、
前記第１画像データセットを分割するステップと、
前記第２画像データセットを分割するステップと、
生理学的モデルを形成するステップと、
対象特有の生理学的ファントムを生成するために、前記生理学的モデルを前記分割された第１画像データセットに対してモーフィングするステップと、
変換を生成するために、前記対象特有の生理学的ファントムを前記分割された第２画像データセットと位置合わせするステップと、
融合画像を形成するために前記第１画像データセットに対して前記変換を適用するステップと、
を有する方法。
前記生理学的モデルが、時間に対する生理学的運動に応答する前記対象の運動をモデル化する、請求項１に記載の画像を結合する方法。
前記生理学的運動が、呼吸運動及び心臓運動の少なくとも１つである、請求項２に記載の画像を結合する方法。
前記第１画像データセットが、第１イメージングモダリティから得られ、前記第２画像データセットが、前記第１イメージングモダリティとは異なる第２イメージングモダリティから得られる、請求項１に記載の画像を結合する方法。
前記第１画像データセット及び前記第２画像データセットが、シンチグラフィ、ファンクショナルＭＲＩ（ｆＭＲＩ）、単一光子放射型断層撮影（ＳＰＥＣＴ）、陽電子放射型断層撮影（ＰＥＴ）、潅流ＭＲＩ（ｐＭＲＩ）、ファンクショナルＣＴ（ｆＣＴ）電気インピーダンス断層撮影法（ＥＩＴ）、磁気共鳴弾性率測定法（ＭＲＥ）、Ｘ線、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波、腹腔鏡検査及び喉頭鏡検査画像、磁気共鳴血管造影（ＭＲＡ）、デジタルサブトラクション血管造影（ＤＳＡ）並びにコンピュータ断層撮影血管造影（ＣＴＡ）の１つから得られる、請求項４に記載の画像を結合する方法。
前記第１画像データセット及び前記第２画像データセットの一方が、主に機能的な画像データであり、他方の画像データセットが、主に解剖学的画像データである、請求項１に記載の画像を結合する方法。
前記第１画像データセットが離散イメージングシステムから得られ、前記第２画像データセットが離散イメージングシステムから得られる、請求項１に記載の画像を結合する方法。
前記離散イメージングシステムから得られた前記第１画像データセット及び前記第２画像データセットに前位置合わせを行うステップを含む、請求項７に記載の画像を結合する方法。
前記生理学的モデルが、対象のイメージングスキャンからの画像データから経験的に得られる、請求項１に記載の画像を結合する方法。
前記生理学的モデルが、複数の対象のイメージングスキャンからの画像データからのフィーチャを結合することから得られる、請求項１に記載の画像を結合する方法。
前記変換を適用するステップが、前記変換の逆変換の適用である、請求項１に記載の画像を結合する方法。
画像を結合する方法において、
対象の関心領域の第１画像データセットを得るステップと、
前記対象の前記関心領域の第２画像データセットを得るステップと、
前記関心領域に対する生理学的運動の一般的なモデルを形成するステップと、
対象特有の生理学的モデルを形成するために前記生理学的運動の一般的なモデルを前記第１画像データセットから得られたデータと適合するステップと、
結合画像を形成するために前記第２画像データセットに対して前記対象特有の生理学的モデルを適用するステップと、
を有する方法。
前記第１画像データセットが、第１イメージングモダリティから得られ、前記第２画像データセットが、前記第１イメージングモダリティとは異なる第２イメージングモダリティから得られる、請求項１２に記載の画像を結合する方法。
前記第１画像データセット及び前記第２画像データセットの一方が、主に機能的な画像データセットであり、他方の画像データセットが主に解剖学的画像データである、請求項１３に記載の画像を結合する方法。
前記第１画像データセットが、離散イメージングシステムから得られ、前記第２画像データセットが、離散イメージングシステムから得られる、請求項１２に記載の画像を結合する方法。
画像を結合する方法において、
対象からコンピュータ断層撮影画像データセットを得るステップと、
前記対象から核医学画像データセットを得るステップと、
前記コンピュータ断層撮影画像データセットを分割するステップと、
前記核医学画像データセットを分割するステップと、
一般的な生理学的モデルを形成するステップと、
対象特有の生理学的ファントムを生成するために、前記分割されたコンピュータ断層撮影画像データセットに対して前記生理学的モデルをモーフィングするステップと、
変換を生成するために前記対象特有の生理学的ファントムを前記分割された核医学画像データセットと位置合わせするステップと、
融合画像を形成するために前記コンピュータ断層撮影画像データセットに対して前記変換を適用するステップと、
を有する方法。
画像を結合する方法において、
対象からコンピュータ断層撮影画像データセットを得るステップと、
前記対象から核医学画像データセットを得るステップと、
前記コンピュータ断層撮影画像データセットを分割するステップと、
前記核医学画像データセットを分割するステップと、
一般的な生理学的モデルを形成するステップと、
対象特有の生理学的ファントムを生成するために前記分割されたコンピュータ断層撮影画像データセットに対して前記生理学的モデルをモーフィングするステップと、
変換を生成するために前記対象特有の生理学的ファントムを前記分割された核医学画像データセットと位置合わせするステップと、
融合画像を形成するために前記分割された核医学画像データセットに対して前記変換の逆変換を適用するステップと、
を有する方法。
画像位置合わせ及び融合システムにおいて、
対象の関心領域の第１画像データセットと、
前記対象の前記関心領域の第２画像データセットと、
前記関心領域に関する生理学的活動に対する一般的な生理学的モデルと、
前記第１画像データセット、前記生理学的モデル及び前記第２画像データセットと動作的関係を持つ画像位置合わせ及び融合プロセッサと、
を有するシステム。
前記プロセッサと動作的関係を持つ対象特有の生理学的モデルを含む、請求項１８に記載の画像位置合わせ及び融合システム。
画像を結合する装置において、
対象の関心領域の第１画像データセットを記憶する第１メモリと、
前記対象の前記関心領域の第２画像データセットを記憶する第２メモリと、
前記関心領域に対する生理学的運動の一般的なモデルと、
対象特有の生理学的モデルを形成するために前記生理学的運動の一般的なモデルを前記第１画像データセットから得られたデータと適合する手段と、
結合画像を形成するために前記第２画像データセットに対して前記対象特有の生理学的モデルを適用する手段と、
を有する装置。