JP2010500571A - 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法 - Google Patents

Abstract

【解決手段】 組織マイクロアレイの多チャネル画像を位置合わせする方法及びシステムであって、基質に生物学的材料を提供し、生物学的材料に蛍光分子マーカーを提供する１以上の分子プローブを提供し、生物学的材料と蛍光分子マーカーの第一デジタル画像を獲得し、生物学的材料に形態学的染色剤を提供し、生物学的材料の第二デジタル画像を獲得し、第一及び第二画像の共通情報を算出し、１以上の位置合わせメトリックに基づいて、前記第一画像に前記第二画像を位置合わせるステップが含まれる。
【選択図】 図４

Description

本発明は、組織マイクロアレイの処理及びイメージングに関する。

組織マイクロアレイ（ＴＭＡ）は、様々な解析及び診断目的に用いられる。その一つとして、分子レベルで病変組織を診断することを目的とする。目的に関わらず、組織サンプルが固定された組織マイクロアレイは、通常形態学的な染色剤又はバイオマーカーにより染色された後、顕微鏡を使って手作業で解析し、又は、ＴＭＡの画像をイメージングして、次の解析又は比較のために画像を提供する。一回目の染色剤が加えられイメージングされた後、１以上の連続又は一連の染色剤又はバイオマーカーが加えられ、このＴＭＡを更に解析する。その後、２以上の連続画像が比較される。現行の目標は、解析の品質と一貫性を維持し、且つ結論又はデータを生じながら、このシステムを自動化することである。しかし、各連続な染色剤を塗った後、ＴＭＡを自動的に解析することができないので、このような努力は、最適ではないと確認された。システムは、この連続画像を合成しようと試みているが、この連続画像はイメージング型顕微鏡におけるＴＭＡの機械的な配置に基づいて単に共位置合わせされたので、これらの合成画像は非一貫性及び非結論性の結果をもたらす。これらの合成画像は、単にＴＭＡの機械的な配置に基づいて位置合わせられ、この連続画像間の差異を組み込むことができない。この連続画像間の差異には、機械的な置き換え、組織変形、自己蛍光、各画像をイメージングする時の異なるレベルの焦点、及び組織サンプルの細胞の湾曲による異常が含まれるが、これに限定されない。

病理学者は、１００年以上を超えてヘマトキシリン・エオジン（Ｈ＆Ｅ）染色を使用した。ヘマトキシリンは、核を青色に染色し、エオシンを対比染色剤として細胞質と結合組織をピンクに染色する。Ｈ＆Ｅを使用した長い歴史、既知の使用方法、及びＨ＆Ｅに関する大量のデータと刊行物を考量して、多数の病理学者の間で、Ｈ＆Ｅが一般な方法として次の５０年まで継続して使用されると信じている。しかしながら、最近開発された技術は、分子バイオマーカーを使用して関数情報と細胞内局在性を獲得し、様々な病気の診断、予後診断及び生存率に役に立つことが確認された。

Ｈ＆Ｅ染色技術は、低いコスト、速さ及び効率性の原因で人気がある。それに、画像も容易に獲得することができ、且つこの技術に関して大量の知識及び研修が行われている。他方、分子バイオマーカーは、Ｈ＆Ｅ技術で見えないタンパク質関連経路を提供することができる。最近、画像解析アルゴリズムに基づいた蛍光抗体法（ＩＨＣ）が開発され、組織におけるタンパク質の局在性を定量する。最近の技術価値は、残存率、予後診断、個体群のセグメンテーション、及び薬物反応予測の点から見ると、通常Ｈ＆Ｅ技術の価値を超える。それにもかかわらず、Ｈ＆Ｅとの共用、既存成果及びＨ＆Ｅによる診断のデータの利用可能性によって、Ｈ＆Ｅデータに完全にない限り、多数の画像解析及び自動定量化技術は今でも期待されている。

Ｈ＆Ｅ技術及び分子バイオマーカーが用いられた一例において、現在の病理組織は、分子標識化又は慣用Ｈ＆Ｅ標識化の何れか一つを生ずる様式をイメージングするが、同時に標識化されるわけではない。Ｈ＆Ｅ染料の自己蛍光特徴のため、同時に両者を標識化する技術は使用されていない。Ｈ＆Ｅ染料の自己蛍光特徴のため、現在のイメージング技術を利用して、分子バイオマーカーと共にＨ＆Ｅ染料を同時にイメージングすることが不可能である。添付した分子バイオマーカーに対する抗体とＨ＆Ｅ染料との間の化学的相互作用は、Ｈ＆Ｅとバイオマーカーとの同時のイメージングを著しく制限する。Ｈ＆Ｅの連続切片と蛍光像とは、予めに連続的に比較されたが、組織変形及び染色剤の光学的効果と化学的効果により、連続切片間の位置合わせが得意で無い。

米国特許第５８８８７４３号明細書 米国特許第５９９５６４５号明細書 米国特許第６１６０６１７号明細書 米国特許第６１９５４５１号明細書

従来の方法とは異なり、本発明で説明されたシーケンシャルイメージング及び位置合わせ方法及びシステムにおいて、まずデジタル処理によって同じ組織切片に２以上のマーカーが現れる。蛍光マーカーは、予めに単独に使用されて、核、上皮組織、及び間質を識別して、セルコンパートメントに関する情報を提供する。この方法は、蛍光マーカーの形態学関数と、蛍光バイオマーカーの関数とを組み合わせた。この方法は、部分的に細胞の形態学及び生物学的経路に基づく画像に対して、シーケンシャル数値化及び処理をすることにより、タンパク質発現及び組織病変の経路を識別するために用いられる。

ここで説明したシーケンシャルイメージング及び位置合わせ技術は、カラーＨ＆Ｅ画像を分子画像情報にオーバーレイして、多チャネル画像から生じた情報チャネルの数と結論情報の値とを増加する。一つの実施形態において、組織は分子バイオマーカーにより標識され、蛍光型顕微鏡を通じてイメージングされ、その後、この組織はＨ＆Ｅ染料により再標識され再イメージングされ、又は逆にする。この画像は画像の位置合わせ技術に連携し、異なる様式がこの同じ座標系で現れる。画像が位置合わせされると、画像解析技術は追加されたチャネル情報を使用し改善される。例えば、多次元尺度期待値最大化アルゴリズムは、位置合わせされた多チャネル画像から、異なるセルコンパートメントを検出することができる。検出されたセルコンパートメントに基づいて、この組織のマスクが生成されて、上皮組織と核から間質を区別する。

１以上のこの方法は、通常、タンパク質に結合するように１以上の分子プローブを提供して、非染色性の組織マイクロアレイ（ＴＭＡ）を使用して、癌のような病気を表明することが含まれる。このＴＭＡの成分は、蛍光型顕微鏡でイメージングされ、組織サンプルにおけるタンパク質の分布を測定して、この分布は一定の病状に関連している。このＴＭＡは、この形態を示すように、Ｈ＆Ｅ又は他の適当な形態学的染色剤により染色される。このＴＭＡは、デジタル化され、且つこの画像ピクセルは、クラスタリング及び検出アルゴリズムに基づいて、コンパートメントにセグメント化される。一つの実施形態において、カラー画像に染色されたＨ＆Ｅのセグメンテーションには、通常、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）のチャネルに分離した後、正常なサンプルにおける腺、上皮組織、間質、及び／又は核のカラー及び強度を測定し、 各ピクセル間の距離及びクラスター中心を使用して、ＲＧＢスペースにおけるクラスター中心を算出し、及び中心の推定を繰り返すことにより、クラスター中心の推量を精製するステップが含まれる。

組織マイクロアレイの多チャネル画像を自動的に位置を合わせる方法の一実施形態において、通常、基質に生物学的材料を提供するし、蛍光分子マーカーを提供することに適する１以上の分子プローブを生物学的 材料に提供し、 生物学的材料及び蛍光分子マーカーの第一デジタル画像を獲得し、生物学的材料に形態学的染色剤を提供し、 生物学的材料の第二デジタル画像を獲得し、第一及び第二画像の共通情報を算出し、及び１以上の位置合わせメトリックを使用して、第二画像を第一画像に共位置合わせするステップが含まれる。位置合わせメトリックには、平均平方誤差、相互相関、結合エントロピー、相互情報量、標準型相互情報量、差の二乗和、差の絶対和、及び核の中心及び画像を合わせる膜構造の配向性のような特徴点に基づいたメトリックが含まれるが、これに限定されない。

位置合わせメトリックには、画像から算出された特徴及び／又は生ピクセルの強度が含まれる。このような特徴情報は、核、上皮組織、間質、又は何れかのタイプの細胞外のマトリク材料が含まれる。

この方法は、更に少なくとも一つの画像を核、上皮組織、及び間質にセグメント化し、 間質のマスクを生成するステップを含むことができる。この方法は、更に、分子マーカーに基づいて１以上の分子経路を識別し、分子経路が病気を示すステップを含むことができる。この方法は、様々な病気に用いられるが、一つのタイプとして特に癌に適する。癌として、上皮組織の癌があるが、これに限定されない。上皮組織の癌として、乳癌、前立腺癌、及び結腸癌があるが、これに限定されない。

この方法は、セグメント化され核、上皮組織、及び間質からなる群から選択される１以上の形態学的構造の関数のように、識別された分子経路を定量化するステップが含まれることができる。

この方法は、インタラクティブ・ビューアを使用して、この画像をお互いに重ねることにも適する。この方法は、更に、通信ネットワークで通信するため、バーチャル顕微鏡を使用して１以上の画像を観察するステップを含んでも良い。

組織マイクロアレイの多チャネル画像を自動的に位置合わせする方法の他の実施形態は、通常、１以上の蛍光分子マーカーにより染色された生物学的材料のデジタル画像を提供し、１以上の形態学的染色剤により染色された生物学的材料のデジタル画像を提供し、１以上の位置合わせメトリックに基づいて、第二画像を第一画像に共位置合わせするステップが含まれる。

この方法を実行する自動システムは、通常、分子マーカー及び形態学的染色剤により染色されたデジタル画像を一時的に記憶する手段と、１以上の位置合わせメトリックを使用して、画像を共位置合わせする処理装置とを含む。このシステムは、更に１以上の画像を表示する手段、インタラクティブ・ビューアと、 バーチャル顕微鏡、及び／又は通信ネットワークで１以上の画像を送信する手段を含む。この処理装置は、デジタル画像を複数の形態学的特徴にセグメントし、且つ１以上の形態学的特徴のマスクを生成することに適することができる。この処理装置は、少なくとも部分的に形態学的 特徴のセグメンテーションに基づいて、１以上の画像をお互いに重ねることにも適することができる。

本発明に係る特徴、態様、及び効果は、添付した図面に基づいて具体的に説明することにより、より一層明確になる。そしてそれらの図面は図面を通じて類似の部品を示す類似の符号を示す。

図１Ａは、Ｈ＆Ｅで染色された乳癌の組織切片の３チャネル（赤、緑、青）カラー画像を示している。

図１Ｂは、図１ＡのＨ＆Ｅカラー画像の成分の反転強度を示している。

図１Ｃは、分子バイオマーカーで染色された図１Ａの組織の２チャネル蛍光画像を示し、緑色及び青色は、其々βカテニンとＤＡＰＩ画像とを描く。

図１Ｄは、図１ＡのＨ＆Ｅ画像と重畳する情報を有する、図１Ｃの多重化されたバイオマーカー画像の一つの成分を示している。

図１Ｅは、Ｈ＆Ｅ座標系においてレジスタされたＤＡＰＩ画像を示している。

図１Ｆは、ＤＡＰＩ及びＨ＆Ｅ画像から推定された位置合わせ（Ｒｅｇｉｓｔｒａｔｉｏｎ）・パラメーターを使用して、Ｈ＆Ｅ座標系に位置付けられたβカテニン・チャネルを示している。βカテニンは、Ｈ＆Ｅ画像と重ねて、緑色で示されている。
図２Ａは、Ｈ＆Ｅ画像の実施形態を示している。

図２Ｂは、三色チャネルに基づいた図２ＡのＨ＆Ｅ画像のセグメンテーションを示している。

図２Ｃは、Ｈ＆Ｅ画像の座標系にレジスタされた、蛍光染色されたＤＡＰＩ画像を示している。

図２Ｄは、単一チャンネルＤＡＰＩ画像のセグメンテーションを示している。

図２Ｅは、同時にＨ＆Ｅ画像からの３チャネルとレジスタされたＤＡＰＩチャネルである全ての４チャンネルを使用したセグメンテーション結果の実施形態示している。セグメンテーション結果は、Ｈ＆Ｅのような疑似カラーで示されている。
図３は、組織マイクロアレイの多チャネル画像を位置合わせさせるシステムの実施形態を示している。 図４は、本発明の一つの好ましい方法の概念図である。

本発明の好ましい方法及び好ましい実施形態のシステムは、シーケンシャルイメージング及び共位置合わせ（co-registration）技術を使用して、同じ組織サンプルで分子及び形態学的マーカーの両者をイメージングすることができる。通常、組織は、基質に固定又は提供され、基質として、ＴＭＡ、スライド、ウエル、又はグリッドのようなものがあるが、これに限定されない。この組織は、分子バイオマーカーにより標識され、且つ蛍光型顕微鏡によりイメージングされる。その後、この組織は、Ｈ＆Ｅ染料のような１以上の形態学的染色剤により再標識され、且つ再びイメージングされる。この方法は、２つの画像に限定されなく、且つ必要に応じて、２以上の画像を共位置合わせすることができる。画像は、ハードウェアとソフトウェアとの位置合わせ（ｒｅｇｉｓｔｔａｔｉｏｎ）技術を使用してオーバーレイされて、情報が合併され、これによる技術効果は、共位置合わせして又は多チャネル画像を生成する。多チャネル画像における各ピクセルは、分子及びＨ＆Ｅ情報を示す。このレジスタされた多チャネル画像は、多次元尺度セグメンテーション・アルゴリズムにより、組織コンパートメントをローカライズすることに用いることができる。病理学者は、バーチャル顕微鏡を使って、Ｈ＆Ｅ画像の興味のある領域を選択して、選択された蛍光分子画像を解析する。分子バイオマーカーは、Ｈ＆Ｅ染色剤だけで見えない関数及びコンパートメント情報を提供することができる。

蛍光染料のような様々な分子バイオマーカーが抗体又はタンパク質に結合される。その後、この組織は、一定のバイオマーカーに向けた励起エネルギー源を使用して、蛍光型顕微鏡でイメージングされ、様々な適当するフィルタを使用して、放射光を収集する。複数のバイオマーカーは、顕微鏡における見本を取り外せずに、同時に又はシーケンシャル方式にイメージングすることができる。異なるバイオマーカーに対して、励起波長及びフィルタを変更することができる。バイオマーカーは、下記のリストに挙げられたマーカーを含むが、これに限定されない。各マーカーの１以上の関数の簡単な説明が含まれるが、全ての説明が必要するわけではない。

Ｈｅｒ２／ｎｅｕ：モノクローナル抗体により腫瘍増殖を遅らせて治療する乳癌及び胃癌で過剰に発現した上皮増殖因子
ＥＧＦ−Ｒ／ｅｒｂＢ：上皮増殖因子受容体
ＥＲ：乳癌腫瘍の増殖に所要するエストロゲン受容体、感染者におけるエストロゲンを制限する治療を決めるため、エストロゲン受容体は核に配置され、且つＩＣＨにより検出される。

ＰＲ：ＤＮＡに結合するホルモンであるプロゲステロン受容体
ＡＲ： アンドロゲン依存腫瘍増殖に関与するアンドロゲン受容体
Ｐ５３： ５０％のヒト癌で不活性化されたＤＮＡの損傷を検出する腫瘍抑制遺伝子
β−カテニン： 細胞粘着及び潜在遺伝子調節タンパク質に機能する、膜から核に転位した癌の癌遺伝子
りん酸化型β−カテニン：サイトゾルで分解し、核に転位しないβ−カテニンのリン酸化体
ＧＳＫ３β：グリコーゲン合成酵素キナーゼ−３βタンパク質、ウィント経路リン酸化β−カテニンにおいて、前体で急速分解するようにりん酸化型−β−カテニンをマーキングする
ＰＫＣβ：メディエイターであるＧ−タンパク質共役型受容体
ＮＦΚβ：核に転位する時、核因子カッパＢのような炎症マーカー
Ｂｃｌ−２： アポトーシス阻害剤とするＢ細胞リンパ腫癌遺伝子２
ＣｙｃｌｉｎＤ：細胞周期調節
ＶＥＧＦ： 血管形成に関連する血管内皮細胞増殖因子
Ｅ−カドヘリン：上皮細胞で現われた細胞と細胞との間の相互分子、その機能は上皮癌で失われる。

ｃ−ｍｅｔ：チロシンキナーゼ受容体。

少なくとも一つの追加された形態学的蛍光マーカーが、コンパートメント情報を運ぶことも、このステップに含まれる。このマーカーは、共通情報を次のステップまで運ぶ。これは、画像を位置合わせすることに必要である。

次に、組織切片は、慣用のＨ＆Ｅ染料のような形態学的マーカーにより標識され、顕微鏡において、同じ位置に配置される。顕微鏡における見本の位置は、見本が繰り返して次に取得された画像と同じ位置に配置されるように、電子センサー、磁場センサー、光学センサー、又はメカニカルセンサーにより制御される。顕微鏡は、明視野像と蛍光像とを取得できるように設計されている。このような顕微鏡は、修正された多重光路と複数のカメラを含む。その後、デジタルカメラを用いて組織切片の明視野像を取る。組織切片の位置決め誤差のため、Ｈ＆Ｅ画像におけるピクセルは、通常前の分子画像と正確にオーバーレイできない。このような誤差を補正するために、相互情報量基準又は相関基準による技術のような、ここで説明した画像の位置合わせ技術は、２以上の画像をレジスタし、且つ正確に合わせるために用いられる。実施形態で説明した位置合わせされた何組の画像は、組織切片における一定の点の分子及びＨ＆Ｅ情報を示す。二組以上の画像が合併されて、単一の多チャネル画像とし、又は複数の位置合わせに示されることができる。形態学的マーカーには、下記のものが含まれるが、これに限定されない。

ケラチン： 上皮細胞のマーカー
Ｐａｎ−カドヘリン： 膜のマーカー
平滑筋アクチン： 筋肉のマーカー
ＤＡＰＩ： 核のマーカー
ヘマトキシリン：ＤＮＡのマーカー（青色染色剤）
エオシン：ｐＨに依存する細胞質のマーカー（赤色染色剤）。

形態学的マーカーは、その一部が明視野顕微鏡でイメージングすることができ、他の一部が蛍光型顕微鏡でイメージングすることができる。何れの場合、形態学的マーカーは、前のステップと共通する共通情報を有するものを選択する。例えば、前のステップで、核をイメージングするためにＤＡＰＩを使用した場合、次のステップで、明視野顕微鏡で核がイメージングできるヘマトキシリンを使用することができる。両者とも、同じコンパートメントを染色するので、画像位置合わせ技術により画像を合わせることができる。

組織は、先ず、ＩＨＣ又は１以上の蛍光染料のような１以上のバイオマーカーにより標識される。何れの染料は、異なる特徴を有し、組織において、異なるコンパートメント及びタンパク質と結合することができる。その一例として、説明されたこの実施形態に使用されたβカテニンは、膜に関連する領域をハイライトで強調する。その後、組織は蛍光型顕微鏡でイメージングし、この蛍光型顕微鏡は、一定のバイオマーカーに向けた適当な励起エネルギー源と、放射光を収集する適当なフィルタとを有する。同じように、複数のバイオマーカーも、見本を顕微鏡から取り外せずに、同時又はシーケンシャル方式にイメージングすることができる。励起波長とフィルタは、異なるマーカーに対応して変更することができる。

次に、この組織切片は、慣用のＨ＆Ｅ染料又は他の適当な形態学的染色剤を使用して標識され、顕微鏡に再配置される。電子、磁場、光学、又はメカニカルセンサーにより、見本が繰り返して、次に取得された画像と同じ位置に配置されるように、顕微鏡における組織切片の位置を制御する。この顕微鏡は、明視野像と蛍光像とを取得するように設計される。このような顕微鏡は、修正された多重光路と複数のカメラとを含む。組織切片の明視野像が、デジタルカメラにより取られる。組織切片の位置決め誤差のため、Ｈ＆Ｅ画像におけるピクセルが前の分子画像と正確にオーバーレイできない。相互情報量基準又は相関基準による技術のような、ここで説明した画像の位置合わせ技術は、２以上の画像を位置合わせしし、且つ正確に合わせるために用いられる。位置合わせされた複数対の画像は、組織切片における一定の点の分子及びＨ＆Ｅ情報を示す。二組以上の画像が合併されて、単一の多チャネル画像とし、又は複数の位置合わせされた画像に示されることができる。形態学的マーカーには、下記のものが含まれるが、これに限定されない。

使用された染色剤の数及びタイプ、及び提供し且つイメージングされた形態学的シーケンス及びバイオマーカー染色剤は重要である。２つのシーケンシャルイメージングステップにおいて、同じコンパートメント情報を備えるＤＡＰＩ及びヘマトキシリンのような、少なくとも一組のマーカーが用いられる。このイメージング技術は、同じデジタル画像から多チャネルの様々な情報を解析することができる。例えば、病理学者は、Ｈ＆Ｅモードで多チャネル画像を見ながら、慣用のＨ＆Ｅ画像を観察することができ、且つコンピューター・スクリーンにおけるボタンをクリックすることにより、オーバーレイされた分子情報を重ねることができる。

バイオマーカー画像におけるチャネルの数は、特定の応用に対応し、特定のタスクに必要するコンパートメント及びタンパク質の必要により決められる。通常、３又は４種類の染料が簡単に同時に提供することができる。複数のコンパートメントと結合できるβカテニンのような特異タンパク質分子バイオマーカーがある。もし、希望するバイオマーカーの何れも、Ｈ＆Ｅ画像とレジスタできる共有のコンパートメント情報を備えない場合、他の蛍光核マーカーが追加されて、明視野像で、核マーカーがヘマトキシリンで染色された核とレジスタすることができる。例えば、核染色剤として、ＤＮＡと結合し且つＵＶ光で露光されると青色の蛍光を発するＤＡＰＩを使用することができる。もし、Ｈ＆Ｅ画像とバイオマーカー画像との間に共有コンパートメント情報が存在すると、この方法は、幅広い範囲のバイオマーカーを使用することができる。

本実施形態では、様々な画像からの相互情報量を使用して、共位置合わせ（co-registration）を完成した。例えば、ＤＡＰＩ及びβカテニンで染色されたＴＭＡの画像は、Ｈ＆Ｅで染色された同じＴＭＡの画像と共位置合わせされることができる。分子及びＨ＆Ｅ染色剤を組み合わせた本実施形態は、特に乳癌、前立腺癌、及び結腸癌のような上皮組織癌に有用である。

画像位置合わせ・アルゴリズムは、強度ベース及び特徴ベース（図４）である２つの通常のカテゴリーにグループ化される。特徴抽出アルゴリズムは、初期画像の解析及びセグメンテーションステップに更に適する。Ｈ＆Ｅ画像及びＤＡＰＩ画像から、例えば、核の位置、サイズ、及び形状のような病変画像を抽出することができる。その後、この情報は、ポイントマッチング技術を使用して、画像を合わせることに用いられる。上皮組織、筋肉組織、腺、及び結合組織、又は細胞外のマトリクスからの特徴は、ウエルとして抽出される。核の検出は、他の特徴の検出より簡単である。これは、幾何学的図形が優先しているが、上皮組織と筋肉組織との間の差異は微細で、２つの組織はいつも同じ組織切片に出現されないためである。強度ベース位置合わせは、通常、前のセグメンテーション情報を使用しなく、幅広い範囲のバイオマーカーに適応することができる。

ここの標記Ｉ_Ｆ（ｘ_Ｆ、ｙ_Ｆ）を、固定画像とし、参照座標系と、Ｈ＆Ｅカラー画像の反転輝度から得られた参照強度値とを規定する。メトリック理論情報が位置合わせに使用された場合、この反転は、選択可能である。しかしながら、相互関係又は平均平方誤差メトリックが位置合わせに使用された場合、反転は必要になる。標記Ｉ_Ｍ（ｘ_Ｍ、ｙ_Ｍ）は、この実施形態ではＤＡＰＩ成分の多チャネル蛍光画像である動画を示している。位置合わせは、コスト関数Ｆを最小化することにより、基礎的な変換パラメーターを推定することであり、この変換パラメーターは、動画を固定画像の座標系に位置付ける。

式中、Ｔは、パラメーターθの空間変換を示す。特に、類似する変換が、平行移動、回転、及びスケーリング条件の合併に用いられる。平行移動と回転とは、組織切片の何れの置き違えを補正し、スケーリングは、小さい焦点面の変更を補正する。この変換は、動画を固定画像の座標系に位置付ける。

高階変換モデルは、例えば幾何学的レンズ歪がディストーションである等の希望する実施形態に使用されることができ、アフィン、リジッド、リジッド＋スケーリング、ＤＣＴ−ベース、多項式−ベース、スプライン−ベース、ＲＢＦ−ベース、又は高階多項式変換が含まれるが、これに限定されない。

多数のコスト関数には、平均平方誤差、相互相関、Ｋｕｌｌｂａｃｋ−Ｌｉｅｂｌｅｒ距離、勾配偏差メトリック、相互情報量、標準型相互情報量、平方偏差の和及び絶対差の和が含まれるが、これに限定されない。且つ結合エントロピーも組み込まれる。マルチモダリティ画像における位置合わせの安定性のため、相互情報量メトリックの負数を下記のように定義して使用されることができる。

式中、Ｈは、画像エントロピーを示す。メトリックの否定は、数式１で定義された最小化処理により生ずる。

他の実施形態として、各組織−処理ステップが完了された後、画像対ＡとＢとが、相互情報量Ｉ（Ａ，Ｂ）を最大化することにより位置合わせされ、画像エントロピーＨ（Ａ，Ｂ）及び単独の画像エントロピーを用いて示された。エントロピーは、各画像Ｐ_Ａ、Ｐ_Ｂにおけるピクセルの強度確率及び結合確率Ｐ_ＡＢに関連している。

平行移動と小さい回転は、多重解像度探索と一緒に提供されて、最大の相互情報量を得る。ランダム・ピクセル関係Ｐ_ＡＢ＝Ｐ_ＡＰ_Ｂを有する無関係の２つの画像は、相互情報量を備えない。画像位置合わせは、オープンソースツールキット（ｗｗｗ．ｉｔｋ．ｏｒｇ）により実施することができる。

一つの実施形態において、組織は多重化処理され、この多重化処理で、組織はＤＡＰＩ及びβカテニンマーカーにより染色される。蛍光型顕微鏡を用いて、２チャネル画像を生成する。図１Ｃは、図１Ａの画像の２チャネル蛍光画像を示している。図１Ｃにおいて、緑色及び青色は、其々βカテニン及びＤＡＰＩ画像を描く。

ＤＡＰＩに対応するチャネル（図１Ｄ）は、共通のコンパートメントを示すので、位置合わせ・チャネルとして使用されることができる。この場合、核に、Ｈ＆Ｅ画像を有する。その後、組織はＨ＆Ｅ染料で染色され、明視野顕微鏡でイメージングされる。この処理により、Ｈ＆Ｅ染色された乳癌の組織切片の３チャネル（赤、緑、青）カラーの画像（図１Ａ）を生成する。このカラー画像（図１Ｂ）の反転輝度は、Ｈ＆Ｅカラー画像の強度成分として計算され、固定された画像の参照座標系は確定されている。その後、ＤＡＰＩ画像はレジスタされ、固定された画像の座標系（図１Ｅ）に変換する。ＤＡＰＩ及びＨ＆Ｅ画像から推定された位置合わせ・パラメーターは、βカテニン・チャネルをＨ＆Ｅ座標系に位置付けることに用いられる。その後、βカテニンはＨ＆Ｅ画像と重ね、緑色（図１Ｆ）で示されている。染色、バイオマーカーとのイメージング、及び形態学的染色剤とのイメージングの順番が重要である。染色の順番は、逆転することもでき、お互いに置き換えることもでき、これは使用された染色剤の数とタイプ、及び希望するイメージング情報により決める。

図１Ｄは、図１Ｃの多重化されたバイオマーカー画像一つの成分を示し、図１ＡのＨ＆Ｅ画像と重畳する情報を備える。この実施形態で、これは後でＨ＆Ｅの強度画像でレジスタされたＤＡＰＩチャネルである。

Ｈ＆Ｅ情報に分子バイオマーカー情報を重ね合わせて、病理学者が同じ組織で両者の様式を観察するように定性ツールを提供する。経路を標準Ｈ＆Ｅスライドに簡単に重ねることにより、重要な診断値を提供することができる。

このイメージング方法は、病変の診断できる大幅に改善された値を提供する。画像解析アルゴリズムは、追加されたチャネルにより組織コンパートメントを分離することができる。図２Ａ及び２Ｂは、３チャネルＨ＆Ｅカラー画像を示し、監視されていない期待値最大化（ＥＭ）アルゴリズムによりセグメント化されたコンパートメントを示している。ＤＡＰＩで染色された蛍光画像（Ｈ＆Ｅで染色する前に獲得する）は、Ｈ＆Ｅ画像に位置合わせされ、Ｈ＆Ｅ座標系（図２Ｃ）に変換した。ＤＡＰＩ−Ｈ＆Ｅ画像は、４チャンネル画像（図２Ｄ）と観察される可能性がある。四次元のＥＭアルゴリズムは、コンパートメントをセグメント化し、その結果が図２Ｅに示されている。示した通りに、結合されたセグメンテーションは、単独のＨ＆Ｅセグメンテーション又は単一チャンネルＤＡＰＩセグメンテーションより大幅に改善されている。図面に示されているセグメンテーションの結果は、Ｈ＆Ｅのような疑似カラーに示されている。

組織マイクロアレイの多チャネル画像を自動的に位置合わせする方法の他の実施形態において、通常、１以上の蛍光分子マーカーにより染色された生物学的材料のデジタル画像を提供し、１以上の形態学的染色剤により染色された生物学的材料のデジタル画像を提供し、第一及び第二画像における相互情報量を識別し、相互情報量に基づいて第二画像を第一画像に位置合わせさせるステップが含まれる。

方法を実施する自動システム１０（図３）は、通常、分子マーカー及び形態学的染色剤により染色されたデジタル画像を少なくとも一時的に記憶する記憶手段１２と、処理装置１４とを含む。処理装置１４は、相互情報量を識別し、対象体をセグメント化し、１以上の対象体のマスクを生成し、画像を共位置合わせさせる。記憶手段は、ＣＰＵ（セントラルプロセッシングユニット）のＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、又はＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）のような処理装置に使われる何れの適当なハード・ドライブメモリ、ＤＶＤ又はＣＤのような何れの適当なディスク・ドライブメモリ、ジップ・ドライブ、又はメモリカードを含むことができる。この記憶装置は、処理装置又は画像を表示させる手段から遠く離れて配置され、何れの適する接続装置又は通信ネットワークを通じてアクセスすることができる。この通信ネットワークとして、例えば、ローカルエリア・ネットワーク、ケーブルネットワーク、衛星ネットワーク、又はインターネットがあるが、これに限定されなく、且つ有線でも良く、無線でも良い。この処理装置又はＣＰＵには、マイクロプロセッサ、マイクロコントローラ、及びデジタル・シグナル・プロセッサ（ＤＳＰ）が含まれる。

記憶装置１２と処理装置１４とは、解析デバイスの構成部品として、組み込まれることができる。解析デバイスとして、高速自動蛍光システムがあり、このシステムは、一つのシステムでＴＭＡｓをイメージングし、解析することができる。このようなシステムの一例として、ＩＮ Ｃｅｌｌ Ａｎａｌｙｚｅｒ ３０００ （Ｇｅｎｅｒａｌ Ｅｌｅｃｔｒｉｃ Ｈｅａｌｔｈｃａｒｅ Ｂｉｏ−Ｓｃｉｅｎｃｅｓ Ｇｒｏｕｐ， Ｐｉｓｃａｔａｗａｙ， Ｎｅｗ Ｊｅｒｓｅｙ）がある。システム１０は、更に１以上の画像を表示する表示手段１６と、インタラクティブ・ビューア１８と、バーチャル顕微鏡２０と、及び／又は、通信ネットワーク２４を通じて１以上の画像又は何れの関連するデ−タ又は解析情報を１以上のリモート・ロケーション２６に送信する送信手段２２とを含む。

表示手段１６は、デジタル画像を表示することができる適当なデバイスを含むことができ、例えば、ＬＣＤ又はＣＲＴが組み込まれたデバイスのようなものが含まれるが、これに限定されない。送信手段２２は、通信ネットワークを通じて、デジタル情報を送信する適当な手段を含むことができる。通信ネットワークとして有線又は無線デジタル通信システムが含まれるが、これに限定されない。たとえば、ＩＮ Ｃｅｌｌ Ａｎａｌｙｚｅｒ ３０００において、このシステムは、更に１以上の染色を塗布する自動装置２８と、デジタル画像装置３０とを含むことができる。デジタル画像装置３０として、励振源３２を含んで、ＴＭＡｓのデジタル画像を取得することができる蛍光イメージング型顕微鏡があるが、これに限定されない。このような画像デバイスは、更に自動的に焦点を合わせることができ、且つ処理過程に必要する焦点特徴を維持し且つ探知することができる。

この処理装置は、このデジタル画像を複数の形態学的特徴にセグメント化し、１以上の形態学的特徴のマスクを生成することに適する。この処理装置は、少なくとも部分的に形態学的特徴のセグメンテーションに基づいて、１以上の画像をお互いに重ねることに適する。

これらの方法は、分子病理学と標準な解剖病理学とを組み合わせた。Ｈ＆Ｅに基づく染色は、標準病理学で使用される一番汎用の明視野顕微鏡染色技術である。前に説明した通りに、対比染色剤として、エオシンは細胞質と結合組織をピンクに染色する場合、ヘマトキシリンは、核を青色に染色する。他にも大量の既知の染色剤の組合があり、明視野顕微鏡の代替染色剤として使用される。例えば、フォイルゲン染色剤は、核酸をイメージングすることに用いられ、又はオルセインは、結合組織線維をイメージングすることに用いられる。この方法及びシステムは、Ｈ＆Ｅ染色に限らず、画像をレジスタする顕微鏡様式と共通情報があれば、何れの明視野顕微鏡の画像と蛍光型顕微鏡の画像とを重ねることに用いられる。

これらの多チャネル方法は、形態学的染色剤、又は蛍光バイオマーカー、又は病理学的に限定されない。生物学的サンプルの参照になる形状又は特徴を描出して、デジタル処理によってイメージングし処理される何れの染色剤は、この方法に使用される。適当な染色剤は、細胞学的又は形態学的染色剤、免疫組織化学及び免疫細胞化学的染色剤のような免疫学的染色剤、細胞遺伝学的染色剤、インシトゥハイブリデーション染色剤、細胞化学的染色剤、ＤＮＡ及び染色体マーカー、及び基質結合アッセイ染色剤を含むが、これに限定されない。医学及び生物科学応用まで、この多チャネルを拡大することができる。この多チャネル方法は、自由なフレームワークを提供し、光学、化学、及び生物学的相互作用を制限せずに、マーカーがシーケンシャルにイメージングすることができる。

ここで、本発明の一定の特徴が図示され且つ説明されているが、当業者であれば、様々な改善及び変更をすることができる。従って、添付した特許請求の範囲は、本発明の精神範囲に含まれる全ての改善と変更をカバーすると理解すべきである。

Claims (25)

1. 組織マイクロアレイの多チャネル画像を位置合わせする方法であって、
   基質に生物学的材料を提供するステップと、
   前記生物学的材料に蛍光分子マーカーを提供する１以上の分子プローブを提供するステップと、
   前記生物学的材料と前記蛍光分子マーカーの第一デジタル画像を獲得するステップと、
   前記生物学的材料に形態学的染色剤を提供するステップと、
   前記生物学的材料の第二デジタル画像を獲得するステップと、
   １以上の位置合わせメトリックに基づいて、前記第一画像に前記第二画像を共位置合わせするステップと、
   を有する、組織マイクロアレイの多チャネル画像を位置合わせする方法。
2. １以上の前記位置合わせメトリックは、相互情報量を含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
3. １以上の前記位置合わせメトリックは、少なくとも部分的に特徴ベース情報を使用し、核、上皮組織、及び間質からなる群から選択される１以上の特徴を含む、請求項２記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
4. 前記１以上の前記位置合わせメトリックは、少なくとも部分的に強度ベース情報を使用する、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
5. 更に、少なくとも一つの前記画像を核、上皮組織、及び間質にセグメント化するステップを含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
6. 更に、前記間質のマスクを生成するステップを含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
7. 更に、前記分子マーカーに基づいて１以上の分子経路を識別するステップを含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
8. 前記分子経路は、病気を示す、請求項７記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
9. 前記病気は、癌である、請求項８記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
10. 前記癌は、上皮組織癌である、請求項９記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
11. さらに、前記少なくとも一つの前記画像を核、上皮組織、及び間質にセグメントする、
    前記分子マーカーに基づいて、１以上の分子経路を識別するステップを含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
12. 更に前記間質のマスクを生成するステップを含む、請求項１１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
13. 更に、前記核、上皮組織、及び間質からなる群から選択される１以上の形態学的構造の関数として、前記識別された分子経路を定量するステップを含む、請求項１１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
14. インタラクティブ・ビューアを使用して、前記第一画像を前記第二画像に重ねる、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
15. バーチャル顕微鏡で１以上の前記画像を観察して、通信ネットワークで通信するステップを含む、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
16. １以上の前記位置合わせメトリックは、平均平方誤差、結合エントロピー、相互情報量、標準型相互情報量、相互相関、差の二乗和、及び絶対差の和からなる群から選ばれる、請求項１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
17. 請求項１記載の方法を実行するシステムであって、
    デジタル画像を記憶する記憶手段と、
    １以上の位置合わせメトリックに基づいて、前記第二画像を前記第一画像と位置合わせる処理装置とを含む、システム。
18. 組織マイクロアレイの多チャネル画像を位置合わせする方法であって、
    １以上の蛍光分子マーカーにより染色された生物学的材料のデジタル画像を提供する、
    １以上の形態学的染色剤により染色された前記生物学的材料のデジタル 画像を提供する、
    第一画像と第二画像との共通情報に基づいて、前記第一画像と前記第二画像とを位置合わせるステップが含まれる、、組織マイクロアレイの多チャネル画像を位置合わせする方法。
19. 請求項１８記載の方法を実行するシステムであって、
    デジタル画像を記憶する記憶手段と、
    第一画像と第二画像との共通情報に基づいて、前記第一画像と前記第二画像とを位置合わせる処理装置とを含む、システム。
20. 前記第一画像と前記第二画像との共通情報は、核、上皮組織、及び間質からなる群から選択される１以上のタイプの特徴ベース情報を含む、請求項１８記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
21. 更に、前記デジタル画像を複数の形態学的特徴にセグメント化する、
    １以上の前記形態学的特徴のマスクを生成するステップを含む、請求項１８記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
22. １以上の前記形態学的特徴は、核、上皮組織、間質、及び細胞外のマトリクスからなる群から選ばれる、請求項２１記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
23. 前記第一画像と前記第二画像との前記共通情報は、強度ベース情報を含む、請求項１８記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
24. 更に、前記デジタル画像を複数の形態学的特徴にセグメントする、
    １以上の前記形態学的特徴のマスクを生成するステップを含む、請求項２３記載の組織マイクロアレイの多チャネル画像を位置合わせする方法。
25. 組織マイクロアレイの多チャネル画像を位置合わせする方法であって、
    基質に生物学的材料を提供する、
    前記生物学的材料に蛍光分子マーカーを提供する１以上の分子プローブを提供する、
    前記生物学的材料と前記蛍光分子マーカーの第一デジタル画像を獲得する、
    前記分子マーカーと対応する１以上の分子経路を識別する、
    前記生物学的材料に形態学的染色剤を提供する、
    前記生物学的材料の第二デジタル画像を獲得する、
    前記第二画像をセグメント化して、１以上の形態学的特徴を識別する、
    少なくとも部分的に前記ステップのセグメント化された第二画像に基づいて、前記第一画像に前記第二画像を重ねる、組織マイクロアレイの多チャネル画像を位置合わせする方法。