JP7656691B2 - 幾何学的特徴を使用するホールスライド注釈転送 - Google Patents

Description

関連出願の相互参照
本出願は、すべての目的のためにその全体が参照により本明細書に組み込まれる、２０２０年８月２４日に出願された、米国仮出願第６３／０６９，５０７号の利益および優先権を主張する。

本開示は、デジタル病理学に関し、詳細には、幾何学的特徴を使用して組織試料の画像の間でホールスライド注釈を転送するための技法に関する。

デジタル病理学は、デジタル画像へのスライド（たとえば、組織病理学または細胞病理学ガラススライド）のスキャニングを伴う。デジタル画像内の組織および／または細胞は、その後、デジタル病理学画像解析によって検査され、ならびに／または病気の診断、療法に対する反応の査定、および病気と戦うための薬学的薬剤の開発を含む様々な理由で病理学者によって解釈され得る。（ほとんど透明である）デジタル画像内の組織および／または細胞を検査するために、病理学スライドが、組織成分および／または細胞成分と選択的に結び付く様々な染色アッセイ（たとえば、免疫染色）を使用して準備され得る。

染色アッセイの最も一般的な例の１つは、組織解剖情報を識別するのを助ける２つの染料を含む、ヘマトキシリン－エオシン（Ｈ＆Ｅ）染色アッセイである。ヘマトキシリンは、主に、概して青い色を用いて細胞核を染色し、その一方でエオシンは、主に、細胞質の概して淡紅色の染色として作用し、他の構造は、これらの色の異なる陰影、色相、および組合せを呈する。Ｈ＆Ｅ染色アッセイは、組織中のターゲット物質を、ターゲット物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別するために使用され得る。染色アッセイの別の例は、生物組織中の抗原と特に結び付く抗体および他の化合物（または物質）の原理を活かすことによって、組織切片の細胞中の抗原（タンパク質）を選択的に識別するプロセスを伴う、免疫組織化学（ＩＨＣ）染色アッセイである。いくつかのアッセイでは、染料に対する標本中のターゲット抗原は、バイオマーカーと呼ばれ得る。その後に、生物組織中の抗原（たとえば、腫瘍細胞を示すバイオマーカー）のためのステイニングを識別および定量化するために、デジタル病理学画像解析が、染色された組織および／または細胞のデジタル画像に対して実施され得る。

幾何学的特徴を使用して組織試料の画像の間でホールスライド注釈を自動的に転送するための装置および方法が、提供される。

様々な態様によれば、組織試料の画像の間でデジタル病理学注釈を転送する方法が、提供される。いくつかの態様では、方法は、組織試料の切片の第１の画像の幾何学的特徴について、点の第１のセットを識別することと、同じ組織試料の第２の画像の対応する幾何学的特徴について、点の対応する第２のセットを識別することであって、第２の画像が、組織試料の別の切片の画像である、点の対応する第２のセットを識別することと、点の第１のセットの座標および点の第２のセットの座標を決定することと、点の第１のセットと点の第２のセットとの間の変換を決定することと、第１の画像から第２の画像に第１の画像内のデジタル病理学注釈のセットを転送するために、デジタル病理学注釈のセットに変換を適用することとを含み得る。点の第１のセット中の点と、点の第２のセット中の対応する点とのペアの最小数は、点の３つのペアであり得る。点の第１のセットおよび点の第２のセットは、同じ数の点を含んでいることがある。

方法は、各画像の背景にコントラストを提供するために、第１の画像および第２の画像について、組織試料の切片のエリアをグレースケール表現に変換することと、各画像の背景と、組織試料の切片のグレースケール表現との間のコントラストに基づいて、幾何学的特徴を識別することとをさらに含み得る。

方法は、各画像の背景にコントラストを提供するために、第１の画像および第２の画像について、組織試料の切片のエリアにバイナリマスクを適用することと、各画像の背景と、組織試料の切片のバイナリマスクとの間のコントラストに基づいて、幾何学的特徴を識別することとをさらに含み得る。

方法は、低い倍率を有する第１の画像のデジタル病理学注釈のセットの一部分を含んでいるエリアを選択することと、第２の画像上の対応するロケーションに選択されたエリアを転送するために、第１の画像上の選択されたエリアに変換を適用することとをさらに含み得る。

方法は、選択されたエリアを含む第３の画像を得るために、低い倍率よりも高い倍率に第１の画像を拡大することと、選択されたエリアを含む第４の画像を得るために、第３の画像と同じより高い倍率に第２の画像を拡大することと、第３の画像の選択されたエリア内の特徴上の点の第３のセットを識別することと、第４の画像の選択されたエリア内の対応する特徴上の点の対応する第４のセットを識別することと、第３の画像上の点の第３のセットの座標、および第４の画像上の点の第４のセットの座標を決定することと、点の第３のセットと点の第４のセットとの間の変換を決定することと、第４の画像の選択されたエリア中に含まれているデジタル病理学注釈のセットを、第３の画像の選択されたエリア中に含まれているデジタル病理学注釈のセットに整合させるために、変換を適用することとをさらに含み得る。点の第３のセット中の点と、点の第４のセット中の対応する点とのペアの最小数は、点の３つのペアであり得る。点の第３のセットおよび点の第４のセットは、同じ数の点を含んでいることがある。

方法は、各画像の背景にコントラストを提供するために、第３の画像および第４の画像の選択されたエリア内の特徴をグレースケール表現に変換することと、特定の特徴を、各画像の背景と、特徴のグレースケール表現との間のコントラストに基づいて識別することとをさらに含み得る。

方法は、各画像の背景にコントラストを提供するために、第３の画像および第４の画像の選択されたエリア内の特徴にバイナリマスクを適用することと、特定の特徴を、各画像の背景と、特徴の切片のバイナリマスクとの間のコントラストに基づいて識別することとをさらに含み得る。

様々な態様によれば、非一時的コンピュータ可読媒体が提供される。いくつかの態様では、非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、組織試料の切片の第１の画像の幾何学的特徴について、点の第１のセットを識別することと、同じ組織試料の第２の画像の対応する幾何学的特徴について、点の対応する第２のセットを識別することであって、第２の画像が、組織試料の別の切片の画像である、点の対応する第２のセットを識別することと、点の第１のセットの座標および点の第２のセットの座標を決定することと、点の第１のセットと点の第２のセットとの間の変換を決定することと、第１の画像から第２の画像に第１の画像内のデジタル病理学注釈のセットを転送するために、デジタル病理学注釈のセットに変換を適用することとを含む、組織試料の画像の間でデジタル病理学注釈を転送するための動作を実施することを引き起こすための命令を含み得る。点の第１のセット中の点と、点の第２のセット中の対応する点とのペアの最小数は、点の３つのペアであり得る。点の第１のセットおよび点の第２のセットは、同じ数の点を含んでいることがある。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、各画像の背景にコントラストを提供するために、第１の画像および第２の画像について、組織試料の切片のエリアをグレースケール表現に変換することと、各画像の背景と、組織試料の切片のグレースケール表現との間のコントラストに基づいて、幾何学的特徴を識別することとを含む動作を実施することを引き起こすための命令をさらに含み得る。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、各画像の背景にコントラストを提供するために、第１の画像および第２の画像について、組織試料の切片のエリアにバイナリマスクを適用することと、各画像の背景と、組織試料の切片のバイナリマスクとの間のコントラストに基づいて、幾何学的特徴を識別することとを含む動作を実施することを引き起こすための命令をさらに含み得る。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、低い倍率を有する第１の画像のデジタル病理学注釈のセットの一部分を含んでいるエリアを選択することと、第２の画像上の対応するロケーションに選択されたエリアを転送するために、第１の画像上の選択されたエリアに変換を適用することとを含む動作を実施することを引き起こすための命令をさらに含み得る。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、選択されたエリアを含む第３の画像を得るために、低い倍率よりも高い倍率に第１の画像を拡大することと、選択されたエリアを含む第４の画像を得るために、第３の画像と同じより高い倍率に第２の画像を拡大することと、第３の画像の選択されたエリア内の特徴上の点の第３のセットを識別することと、第４の画像の選択されたエリア内の対応する特徴上の点の対応する第４のセットを識別することと、第３の画像上の点の第３のセットの座標、および第４の画像上の点の第４のセットの座標を決定することと、点の第３のセットと点の第４のセットとの間の変換を決定することと、第４の画像の選択されたエリア中に含まれているデジタル病理学注釈のセットを、第３の画像の選択されたエリア中に含まれているデジタル病理学注釈のセットに整合させるために、変換を適用することとを含む動作を実施することを引き起こすための命令をさらに含み得る。点の第３のセット中の点と、点の第４のセット中の対応する点とのペアの最小数は、点の３つのペアであり得る。点の第３のセットおよび点の第４のセットは、同じ数の点を含んでいることがある。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、各画像の背景にコントラストを提供するために、第３の画像および第４の画像の選択されたエリア内の特徴をグレースケール表現に変換することと、特定の特徴を、各画像の背景と、特徴のグレースケール表現との間のコントラストに基づいて識別することとを含む動作を実施することを引き起こすための命令をさらに含み得る。

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサが、各画像の背景にコントラストを提供するために、第３の画像および第４の画像の選択されたエリア内の特徴にバイナリマスクを適用することと、特定の特徴を、各画像の背景と、特徴の切片のバイナリマスクとの間のコントラストに基づいて識別することとを含む動作を実施することを引き起こすための命令をさらに含み得る。

数多くの利益が、従来の技法を超えて様々な実施形態を介して達成される。たとえば、様々な実施形態は、組織試料の連続した切片の画像の間で病理学者のデジタル病理学注釈を自動的に転送するために使用され得る、方法およびシステムを提供する。いくつかの実施形態では、組織試料の境界上の点が、識別され、連続した画像を整合させるために使用される。識別された点の間の変換行列が、生成され、注釈に適用され得る。これらおよび他の実施形態が、それの利点および特徴の多くとともに、以下のテキストおよび添付図と連携してより詳細に説明される。

様々な実施形態の態様および特徴が、添付の図面を参照しながら例を説明することによってより明らかになろう。

第１の画像上のデジタル病理学注釈付きの組織試料の連続切片の画像を図示する図である。 本開示のいくつかの態様による、デジタル病理学注釈付きの組織試料の連続切片の画像を図示する図である。 本開示の様々な態様による、低い倍率における組織試料の画像上のデジタル病理学注釈のエリアを図示する図である。 本開示の様々な態様による、高い倍率下のデジタル病理学注釈の転送されたエリアの不整合を図示する図である。 本開示の様々な態様による、高い倍率下の図４のデジタル病理学注釈の整合された転送されたエリアを図示する図である。 本開示のいくつかの態様による、画像の間でデジタル病理学注釈を転送するための方法６００の例を図示するフローチャートである。 本開示のいくつかの態様による、選択されたエリアのデジタル病理学注釈を画像の間で転送するための方法７００の例を図示するフローチャートである。 いくつかの例示的な実装形態における使用に好適な例示的なコンピューティングデバイスをもつ例示的なコンピューティング環境のブロック図である。

いくらかの実施形態が説明されるが、これらの実施形態は、単に例として提示され、保護の範囲を限定することを意図されない。本明細書において説明される装置、方法、およびシステムは、様々な他の形態で具現され得る。その上、本明細書において説明される例示的な方法およびシステムの形態における様々な省略、置換、および変更が、保護の範囲から逸脱することなく行われ得る。

Ｉ．概要
たとえば、病気によって引き起こされた組織変化の評価は、薄い組織切片を検査することによって実施され得る。組織試料は、一連の切片（たとえば、４～５μｍの切片）を得るためにスライスされ得、各組織切片は、組織の異なる特性を表すために、異なる染料またはマーカーを用いて染色され得る。各切片は、スライド上に載せられ、病理学者による検査のためのデジタル画像を作成するためにスキャンされ得る。病理学者は、画像解析アルゴリズムを使用して有意味な定量的測度を抽出することを可能にするために、スライド（たとえば、腫瘍エリア、壊死など）のデジタル画像を精査し、手動で注釈を付け得る。従来、病理学者は、各連続する組織切片上の同じ態様を識別するために、組織試料からの組織切片の各連続する画像に手動で注釈を付ける。

図１は、第１の画像上のデジタル病理学注釈付きの組織試料の連続切片の画像を図示する。図１中に示されているように、組織の連続切片は、Ｈ＆Ｅ、ＰＤ－Ｌ１ ＳＰ１４２およびＰＤ－Ｌ１ ＳＰ２６３バイオマーカーを使用して染色され、異なるスライドスキャナを用いてスキャンされた。従来、病理学者は、組織のどの部分（たとえば、腫瘍領域、壊死性領域など）が画像解析を使用して分析されるべきかを、ならびに画像解析から除外されるべき領域を識別する注釈を第１の（Ｈ＆Ｅ）画像に手動で付ける。病理学者は、次いで、自動化された画像解析を可能にするために、個々に、各先行するまたは後続する画像（ＰＤ－Ｌ１ ＳＰ１４２およびＰＤ－Ｌ１ ＳＰ２６３）上にデジタル病理学注釈を手動で複写する。組織の連続切片の画像の繰り返される注釈付けは、大量の病理学者の時間を消費する。

これらの制約ならびに他のものを克服するために、本開示の実施形態は、幾何学的特徴を使用する組織試料の画像の間でのホールスライド注釈の自動化された転送を提供する。注釈転送プロセスは、組織試料の画像（たとえば、組織スライド画像および／または細胞スライド画像）、ならびに画像のうちの少なくとも１つの画像（たとえば、ソース画像）のためのデジタル病理学注釈を得ることと、特徴ベースの重ね合わせ技法を使用して画像（たとえば、ソース画像および１つまたは複数の連続するターゲット画像）のペアを整合させることと、画像の整合に基づいて、ソース画像から連続するターゲット画像にデジタル病理学注釈を転送することとを含む。注釈転送プロセスは、染料およびスキャナアグノスティックであり得る。異なるタイプのスキャナ（たとえば、異なる機器ベンダからの異なるスキャナ、または同じ機器ベンダからの同じスキャナの異なるバージョン）によって取得された異なる染色アッセイ（たとえば、Ｈ＆ＥまたはＩＨＣ）のスライドの画像の重ね合わせは、スライド画像の間の注釈転送を可能にし得る。特徴ベースの重ね合わせ技法は、ソース画像とターゲット画像との間の対応する点を発見することに依拠するが、画像の染色アッセイ特徴（たとえば、蛍光抗原を表す類似のピクセル強度をもつピクセルのグループ）は、ソース画像およびターゲット画像が、２つの異なるタイプの染色アッセイ（たとえば、ＩＨＣおよびＨＥ）からのものであるとき、または染色アッセイの両方が、異なる形態学的構造（たとえば、異なるＩＨＣ抗原）をターゲットにする染料を含んでいるとき、対応する点を発見するために使用され得ない。そのような事例では、本開示の実施形態は、組織の内容、たとえば、ＩＨＣアッセイによる染色された細胞ではなく組織の輪郭の幾何学的特徴（たとえば、角部、曲率など）に基づいて、試料画像のペアを整合させる。幾何学的特徴は、特徴検出方法によって検出され得る、点、線、または曲線など、幾何学的要素のセットによって構築された物体の特徴である。変換が、２つの画像中の（色／強度とは対照的な幾何学的実体である）対応する点から計算される。これらの点は、外観ベース（たとえば、グレースケール強度画像）、または幾何学的特徴ベース（たとえば、境界輪郭、線分など）であり得る特徴画像から計算される。たとえば、画像の染色アッセイ特徴ではなく、試料画像中の組織および／または細胞の描写の輪郭は、整合がそれに基づき得る、幾何学的特徴（たとえば、角部、曲率など）または外観ベースの特徴（たとえば、グレースケール強度画像）を提供し得る。この整合は、２つのマッチング画像上の同じ組織および／または細胞構造が、空間的に互いに対応することを意味する。

ＩＩ．定義
本明細書において使用される場合、アクションが何か「に基づく」とき、これは、アクションが何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

本明細書において使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、必ずしも完全にではないが大部分は指定されるものであると定義される（および、指定されるものを完全に含む）。任意の開示される実施形態では、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、または「約（ａｂｏｕｔ）」という用語は、指定されるもの「の内（ｗｉｔｈｉｎ）（パーセンテージ）」で置換され得、ここで、パーセンテージは、０．１、１、５、および１０パーセントを含む。

本明細書において使用される場合、「試料」「生物学的試料」または「組織試料」という用語は、ウイルスを含む任意の生物体から得られた（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組合せなど）生体分子を含む任意の試料を指す。生物体の他の例は、（人間、（猫、犬、馬、牛、および豚のような）獣医学動物、ならびに（マウス、ラットおよび霊長類のような）実験動物など）哺乳動物、虫、環形動物、蛛形類、有袋類、爬虫類、両生類、細菌、および菌を含む。生物学的試料は、（組織切片および組織の針生検試料など）組織試料、（Ｐａｐスミアもしくは血液スミアなどの細胞学的スミア、または顕微解剖によって得られた細胞の試料など）細胞試料、あるいは（細胞を溶解させることと、遠心分離またはそれ以外によって細胞の成分を分離することとなどによって得られた）細胞破片、細胞片または細胞小器官を含む。生物学的試料の他の例は、血液、血清、尿、精液、糞便物質、脳脊髄液、間質液、粘液、涙、汗、膿、（たとえば、外科的生検または針生検によって得られた）生検組織、乳頭吸引物、耳垢、母乳、膣液、唾液、（頬側スワブなど）スワブ、または第１の生物学的試料から導出された生体分子を含んでいる任意の材料を含む。いくらかの実施形態では、本明細書において使用される「生物学的試料」という用語は、対象から得られた腫瘍または腫瘍の一部分から準備された（均質化されたまたは液化された試料など）試料を指す。

本明細書において使用される場合、「生物学的材料または構造」という用語は、（たとえば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞のクラスタなど）生きている構造の全部または一部を備える天然材料または構造を指す。

本明細書において使用される場合、「非ターゲット領域」という用語は、画像解析プロセスにおいて査定されることを意図されない画像データを有する画像の領域を指す。非ターゲット領域は、たとえば、撮像ソースからの白色光のみが存在する、試料のないガラスなど、基板に対応する画像の非組織領域を含み得る。非ターゲット領域は、画像解析プロセスにおいて分析されることを意図されないか、あるいはターゲット領域（たとえば、壊死、間質細胞、通常の細胞、スキャニングアーティファクト）内の生物学的材料または構造から区別することが困難である、生物学的材料または構造に対応する画像の組織領域を追加または代替として含み得る。

本明細書において使用される場合、「ターゲット領域」という用語は、画像解析プロセスにおいて査定されることを意図される画像データを含む画像の領域を指す。ターゲット領域は、画像解析プロセスにおいて分析されることが意図される画像の組織領域など、任意の領域を含む（たとえば、腫瘍細胞またはステイニング表現）。

本明細書において使用される場合、「タイル」または「タイル画像」という用語は、ホール画像またはホールスライドの一部分に対応する単一の画像を指す。いくつかの実施形態では、「タイル」または「タイル画像」は、ホールスライドスキャンの領域、または（ｘ，ｙ）ピクセル寸法（たとえば、１０００ピクセル×１０００ピクセル）を有する関心のエリアを指す。たとえば、タイルのＭ個の列およびタイルのＮ個の行に分割されたホール画像であって、ここで、Ｍ×Ｎモザイク内の各タイルは、ホール画像の一部分を備え、換言すれば、ロケーションΜΙ、ΝΙにあるタイルは、画像の第１の部分を備え、その一方でロケーションＭ３、Ｎ４にあるタイルは、画像の第２の部分を備え、第１の部分および第２の部分は異なる、ホール画像が考えられる。いくつかの実施形態では、タイルは、各々、同じ寸法（ピクセルサイズ×ピクセルサイズ）を有し得る。

ＩＩＩ．自動化された画像重ね合わせのための技法
図２は、本開示のいくつかの態様による、デジタル病理学注釈付きの組織試料の連続切片の画像を図示する。図２中に示されているように、組織試料の連続切片は、異なる構造およびバイオマーカーのための複数の染色アッセイを使用して染色される。たとえば、組織試料の第１の切片２０５は、Ｈ＆Ｅ染色を用いて染色され得、組織試料の連続する切片２１０、２１５は、１つまたは複数のＩＨＣ染色（たとえば、ＰＤ－Ｌ１ ＳＰ１４２およびＰＤ－Ｌ１ ＳＰ２６３）を用いて染色され得る。組織試料の第１の切片２０５および連続する切片２１０、２１５は、組織試料内の組織および／または細胞の画像を得るために、１つまたは複数のスキャナを使用してスキャンされ得る。１つまたは複数のスキャナは、同じスキャナであることも、同じスキャナの異なるバージョンであることも、異なるタイプのスキャナであることもある（たとえば、Ａｐｅｒｉｏ ＡＴ２ ｂｒｉｇｈｔｆｉｅｌｄスキャナおよびヴェンタナ（登録商標）ＤＰ ２００ ｂｒｉｇｈｔｆｉｅｌｄスキャナ）。

第１の切片２０５のソース画像が、組織試料を表すものとして選択され得、病理学者によって手動で注釈を付けられる。本明細書において詳細に説明されるように、本開示の実施形態は、ソース画像とターゲット画像との整合に基づいて、ソース画像から組織試料の連続する切片２１０、２１５の先行するまたは後続するターゲット画像に手動注釈を自動的に転送する。本開示の態様は、１）ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率レベルを発見することと、２）特徴画像を計算することと、３）画像のための制御点の位置特定をすることと、４）画像の間のマッチング制御点を発見することと、５）インライア制御点を使用して画像の間の変換を計算することとを含む画像重ね合わせプロセスを介して、組織切片のソース画像とターゲット画像とを整合させることができる。コンピュータシステム（たとえば、図８のコンピュータシステム）上で実行する画像重ね合わせアルゴリズムは、上記の動作を実行し得る。

ソース組織切片画像とターゲット組織切片画像とを整合させるために、ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率または解像度レベルが、決定され得る。ホールスライドスキャナは、タイルごとに、またはラインスキャニング様式で組織切片タイルの画像をキャプチャする。複数の画像（それぞれ、タイルまたは線）が、スライド全体のデジタル画像を生成するために、キャプチャされ、デジタル的に組み立てられる（「スティッチされる」）。画像ピラミッドは、スライド全体のデジタル画像の多重解像度表現である。ホールスライド画像は、画像のローディングおよびレンダリングに適応するために、複数の解像度において記憶される。たとえば、スライドスキャナによって４０×倍率において取得されたホールライド画像は、１０×倍率、２．５×倍率、および１．２５×倍率においてダウンサンプリングされた同じ画像が添付され得る。低い倍率の画像は、これらの画像が、高い倍率の画像と比較して処理のためにより少ないメモリを必要とするので、画像重ね合わせなど、分析のために有利に使用され得、ソース組織切片画像およびターゲット組織切片画像が整合されると、デジタル病理学注釈は、高い倍率の画像を使用するターゲット組織切片画像のために転送され得る。

しかしながら、画像は、異なるスキャナを使用して取得され得るので、ソースおよびターゲットの各々に関連する画像ピラミッドは、異なるフォーマットにおいてもたらされることがある。いくつかの画像フォーマット（たとえば、．ＳＶＳ）は、画像ピラミッドを造ることに対する一貫した手法に従わないのに対して、他のフォーマット（たとえば、バイナリ情報ファイル（．ＢＩＦ））は、画像ピラミッドを造るための一貫した手法に従う。たとえば、．ＢＩＦフォーマットにおける画像ピラミッドの第２のレベルは、１０×倍率において画像を記憶する。一方、ピラミッドレベルの数および各レベルにおける倍率は、．ＳＶＳフォーマット画像の場合は一貫しない。．ＳＶＳフォーマットにおける画像ピラミッドの第２のレベルは、任意の倍率または解像度において画像を記憶することができる。画像ピラミッドを造る際のこの首尾一貫性のなさは、画像重ね合わせのために同じ倍率または解像度の画像を識別することを困難にする（たとえば、各ピラミッドのレベル２は、必ずしも常に１０×倍率とは限らない）。結果として、ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率または解像度レベルが、決定され得る。

ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率または解像度レベルを決定するために、ソースに関連する画像ピラミッドは、画像ピラミッドの各レベルにおける倍率または解像度を決定するために分析され得、ターゲットに関連する画像ピラミッドは、画像ピラミッドの各レベルにおける倍率または解像度を決定するために分析され得る。次いで、ソース画像のための画像ピラミッドの各レベルにおける決定された倍率または解像度は、ターゲット画像のための画像ピラミッドの各レベルにおける決定された倍率または解像度と比較され得る。ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率または解像度レベルが、比較に基づいて識別される。たとえば、ソース画像のための画像ピラミッドの第３のレベルにおける決定された倍率または解像度が１５×であり、ターゲット画像のための画像ピラミッドの第２のレベルにおける決定された倍率または解像度が１５×である場合、使用されるべき対応する倍率レベルは、倍率レベルの間の比較およびマッチに基づいて、１５×と識別され得る。他の事例では、ソース画像およびターゲット画像の各々に関連する画像ピラミッドの間の対応する倍率または解像度レベルは、比較およびしきい値倍率または解像度レベルに基づいて識別される。たとえば、低い倍率または解像度の画像が、画像重ね合わせのために使用され得、これにより、整合プロセスにおいて使用されるべき画像のペアは、最大倍率または解像度レベル、たとえば、１０×倍率においてしきい値処理され得る。結果として、ソース画像のための画像ピラミッドの第２のレベルにおける決定された倍率または解像度が１０×であり、ターゲット画像のための画像ピラミッドの第３のレベルにおける決定された倍率または解像度が１０×である場合、使用されるべき対応する倍率または解像度レベルは、倍率または解像度レベルと、１０×倍率または解像度しきい値との間の比較およびマッチに基づいて、１０×と識別され得る。

ソース画像およびターゲット画像のための対応する倍率または解像度レベルが決定されると、特徴画像が、対応する倍率または解像度レベルにおけるソース画像およびターゲット画像について決定され得る。線、表面および本体の基礎としての、点特徴（制御点または関心点の周りで抽出された特徴）が、画像重ね合わせにおいて使用され得る。点特徴の空間変換を得るために、多点セットマッチングアルゴリズム（ＰＭ）が、様々な距離関数を最適化することによって２点セットをマッチさせるために開発された。しかしながら、ソース画像およびターゲット画像が、２つの異なるタイプのスキャニングアッセイ（たとえば、ＩＨＣおよびＨ＆Ｅ）からのものであるか、または両方の画像が、ＩＨＣステイニングアッセイであるが、異なる染色（たとえば、ＰＤ－Ｌ１ ＳＰ１４２、ＰＤ－Ｌ１ ＳＰ２６３）を含んでいるとき、画像の間のマッチング点は、関係するまたは対照をなすピクセル強度をもつ点、縁部または物体など、組織および／または細胞のステイニングに固有の特徴から得られないことがある。異なる染色アッセイ（たとえば、ＨＥおよびＩＨＣ）は、異なる色をもたらし、これは、画像が、組織および／または細胞のステイニングに固有の異なる特徴を有することを引き起こすことがある（たとえば、あるステイニングアッセイでは、細胞の核は、青であり得るのに対して、別のステイニングアッセイでは、同じ核は、ほとんど透明であり得る）。それゆえ、組織および／または細胞のステイニングに固有の特徴のピクセル値は、点特徴および画像を整合させるための制御点を抽出するために使用可能ではないことがある。

逆に、対応する倍率または解像度レベルにおける組織および／または細胞の部分の全体的な形状は、異なるステイニングアッセイ、異なる染色、または異なるスキャニング機器から得られた画像の間で実質的に一定であり得る。それゆえ、組織および／または細胞の部分の全体的な形状など、幾何学的特徴は、特徴および整合画像を抽出するための制御点を識別するために使用可能であり得る。本開示の態様は、画像の間のマッチング点を得るために、特徴画像を利用する。特徴画像は、基本的に、組織および／または細胞の部分の全体的な形状など、幾何学的特徴をハイライトまたは強調するように修正された、対応する倍率または解像度レベルにおけるソース画像およびターゲット画像である。いくつかの事例では、同じタイプの染色アッセイおよび染料のソース画像およびターゲット画像について生成された特徴画像は、画像内の組織および／または細胞の部分の輪郭または境界など、幾何学的特徴を強調するソース画像およびターゲット画像のグレースケールバージョンであり得る。グレースケールは、黒から白までの単色陰影の範囲である。それゆえ、グレースケール画像は、グレーの陰影のみを含んでおり、色を含んでおらず、これは、いくつかの事例では、画像内の幾何学的特徴を見分けることを困難にすることがある、カラーチャネルからのノイズをフィルタ除去する。他の事例では、異なるタイプの染色アッセイまたは染料の、あるいは異なる画像スキャナからの、ソース画像およびターゲット画像について生成された特徴画像は、画像内の組織および／または細胞の輪郭または境界など、幾何学的特徴を強調するバイナリマスクであり得る。バイナリマスクは、０および１のピクセル値を含んでいるバイナリラスタであり、たとえば、０が、背景と識別されたピクセルに割り当てられ、１が、組織および／または細胞と識別されたピクセルに割り当てられる。バイナリマスクは、画像背景と、組織切片の境界との間のコントラストを提供し得、これは、いくつかの事例では、画像内の幾何学的特徴を見分けることを困難にすることがあるノイズをフィルタ除去する。いくつかの実装形態では、ユーザが、画像重ね合わせのために使用されるべき特徴画像のタイプ（たとえば、グレースケールまたはバイナリマスク）を選定し得る。他の実装形態では、特徴画像のタイプは、たとえば、画像重ね合わせアルゴリズムを実行するコンピュータによって自動的に決定され得る。

本明細書において考察されるように、ソース画像とターゲット画像との間のマッチング点を発見するためにグレースケール画像またはバイナリマスクを使用することの背後にある概念は、組織および／または細胞のステイニングに固有の特徴が、マッチング点を発見するのに好適ではないとき、組織および／または細胞の幾何学的特徴が、整合のために活用され得るということである。ソース画像およびターゲット画像は、同じ組織試料の連続した薄い切片であるので、組織および／または細胞の幾何学的特徴は、画像の間で実質的に一定のままであり得、それゆえ、組織のグレースケール画像またはバイナリマスクは、連続する画像について組織および／または細胞の幾何学的特徴（たとえば、境界）情報を担持することができる。これにより、特徴画像は、ソース画像とターゲット画像とを整合させるために、組織切片全体（たとえば、特徴画像＝グレースケール画像）または組織切片の幾何学的特徴のみ（たとえば、特徴画像＝バイナリマスク）のいずれかを利用し得る。他のタイプの特徴画像、たとえば、限定はしないが、縁部特徴画像、エントロピー特徴画像などが、本開示の範囲から逸脱することなく使用され得る。

いくつかの事例では、対応する倍率または解像度レベルを有する画像のペア（換言すれば、ソース画像およびターゲット画像）の各画像のための特徴マップが、カラー画像を白黒またはグレースケールに変換することによって生成される。このプロセスは、すべての色情報を取り除き、各ピクセルの輝度のみを残す。デジタルカラー画像は、赤、緑、および青（ＲＧＢ）色の組合せを使用して表示されるので、各ピクセルは、３つの別個の輝度値を有する。それゆえ、これらの３つの値は、画像から色を取り除くとき、単一の値に組み合わせられる。これを行うための数個のやり方がある。いくつかの事例では、各ピクセルのためのすべての輝度値が平均化される。他の事例では、赤、緑、または青チャネルからの輝度値のみが保たれる。さらに他の事例では、白黒画像を生成するためにカラーチャネルからの輝度値の変換を可能にする、グレースケール変換アルゴリズムが使用され得る。

いくつかの事例では、対応する倍率または解像度レベルを有する画像のペア（換言すれば、ソース画像およびターゲット画像）の各画像のための特徴マップは、画像セグメンテーションおよびマスク生成によって生成される。画像セグメンテーションは、画像の非ターゲット領域およびターゲット領域を識別し、たとえば、背景と組織とを弁別する。画像セグメンテーションのための１つの技法は、画像しきい値処理であり得、画像しきい値処理は、シングルバンド画像またはマルチバンド画像から２値画像を生成する。画像しきい値処理は、背景中のピクセルと組織中のピクセルとを弁別する１つまたは複数のしきい値レベルを選択することと、所与のしきい値マップを上回る／下回るすべてのピクセル値をゼロ（たとえば、黒）に割り当て、所与のしきい値マップを上回る／下回るすべてのピクセル値を１（たとえば、白）に割り当てることと含む。１つまたは複数のしきい値は、最大エントロピー法、平衡ヒストグラムしきい値処理、大津の方法（最大分散）、ｋ平均クラスタリング、またはそれらの組合せを含む数個の方法を使用して選択され得る。画像セグメンテーションのために使用され得る他の技法は、クラスタリング技法（たとえば、Ｋ平均アルゴリズムが、Ｋ個のクラスタに画像を区分するために使用される反復技法である）、ヒストグラムベースの技法（たとえば、ヒストグラムが、画像中のピクセルのすべてから計算され、ヒストグラム中の山と谷が、画像中のクラスタの位置を特定するために使用される）、縁部検出技法、領域成長技法、偏微分方程式（ＰＤＥ）ベースの技法などを含む。画像セグメンテーションは、画像中の物体の幾何学的特徴（たとえば、境界）情報のより粒度の細かい理解を提供する、画像中の各物体（たとえば、組織および／または細胞）のためのピクセルごとのマスクを作成する。

特徴画像が生成されると、特徴は、特徴検出器およびディスクライバを使用して特徴画像内で検出される。画像中で検出されるべき最低レベル特徴のうちのいくつかは、角部、縁部点または直線点など、いくつかの弁別可能な点の特定の位置である。これらの弁別可能な点は、制御点または関心点として知られている。本明細書において使用される場合、「制御点」または「関心点」は、画像内の物体の形状または輪郭など、幾何学的特徴を決定するために使用され得る数学的に根拠の十分な定義を特徴とする、点のセットの要素である。制御点（たとえば、２つまたはそれ以上の画像縁部の交差部において現れる角部）は、画像空間中の明確に定義された位置を含む特定の特性を有し、それらは、情報内容に関してリッチであり（たとえば、制御点の周りの局所画像構造は、有意な２Ｄテクスチャなど、局所情報内容に関してリッチである）、それらは、画像ドメイン中の局所および大域変化に対しても安定している（たとえば、照度／輝度変動としての画像ドメイン中の局所および大域摂動下で安定しており、したがって、関心点は、高い程度の再現性をもって確実に計算され得る）。制御点は、画像シーケンスの幾何学的特徴（たとえば、境界）の良好なインジケータとして使用され得、ソース画像およびターゲット画像など、連続する画像の間でマッチされ得る。画像中の多数の検出された制御点は、連続する画像の間のマッチング点の可能性、および画像の成功した重ね合わせ（整合）の尤度を増加させる。

制御点は、概して、角部、ブロブ点、縁部点、接合部、線点、曲線点などの形態で検出される。検出された制御点は、その後、検出された制御点の隣接ピクセルによって所有される一意のパターンに基づく論理的に異なるやり方で説明される。このプロセスは、プロセスが、各制御点を説明し、マッチングのための制御点の実効的な認識を可能にする特徴的な識別情報を制御点に割り当てるので、特徴説明と呼ばれる。いくつかの特徴検出器は、指定の特徴説明アルゴリズムとともに利用可能であり、その一方で、他のものは、個別に存在する。しかしながら、個々の特徴検出器は、数個のタイプの適切な特徴記述子とペアにされ得る。スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）、ＫＡＺＥ、加速ＫＡＺＥ（ＡＫＡＺＥ）、方向付きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、ならびにＫ空間のためのブロック領域補間方式（ＢＲＩＳＫ）が、基本的なスケール、回転およびアフィン不変特徴検出器の１つであり、各々は、指定の特徴記述子を有し、それ自体の利点および限界を所有する。

特徴検出および説明の後、特徴マッチングが、検出されたおよび説明された制御点に基づいて、ソース画像とターゲット画像との間で実施される。特徴マッチングは、ソース画像上の制御点と、ターゲット画像上の制御点との間の１対１の対応（換言すれば、マッチング）を確立する。制御点の間の１対１の対応を発見するために、各制御点の近傍からの特徴が、各近傍の局所外観を特徴づけるために抽出される。特徴抽出の背後にある基本概念は、各制御点の近傍の局所外観を特徴づけることである。次いで、各制御点の近傍から抽出された特徴は、ソース画像とターゲット画像との間の最も密接にマッチする（たとえば、インライア）制御点を識別するために、互いに比較され得る。いくつかの標準的な特徴計算方法、たとえば、配向勾配ヒストグラム（ＨＯＧ）、ＳＵＲＦ、ＳＩＦＴなどが、特徴抽出のために使用され得、しきい値ベースのマッチング、最近傍、最近傍距離比など、異なるマッチング方策が、特徴をマッチさせるために採択され得る。たとえば、特徴画像として組織および／または細胞のバイナリマスクを生成する事例では、利用可能な情報は、組織の形状など、幾何学的特徴に限定されるので、ＨＯＧ技法が、各制御点の周りの局所勾配または縁部方向の分布をキャプチャするための特徴抽出器として使用され得る。次いで、各制御点のための局所勾配または縁部方向の分布は、マッチする制御点を識別するために、しきい値ベースのマッチング、最近傍、最近傍距離比などを介して互いに比較され得る。さらに、異なる計算方法または技法（たとえば、ＨＯＧ対ＳＵＲＦ）によって抽出された特徴は、各制御点のための異なる局在化情報を提供するので、特徴マッチングは、ソース画像とターゲット画像との間のマッチング制御点を識別するための組合せ手法として実装され得る。たとえば、ＨＯＧ計算方法が、各制御点の周りの局所勾配または縁部方向の分布を抽出するために使用され得、抽出された分布は、次いで、マッチング制御点を識別するために使用され得、１つまたは複数の追加の方法、たとえば、ＳＵＲＦ、ＳＩＦＴなどが、各制御点の周りの他の特徴（たとえば、ストリングベースの記述子またはハミング距離）を抽出するために使用され得、抽出された他の特徴は、マッチング制御点を確認し、および／または追加のマッチング制御点を識別するために使用され得る。

マッチング制御点（換言すれば、ターゲットおよびソース上のインライア制御点）が識別された後、マッチング制御点の座標が、ソース画像およびターゲット画像について決定され得る。ソース画像上のマッチング制御点と、ターゲット画像上の制御点との間の変換行列が、制御点の座標を使用して計算され得る。しかしながら、マッチング制御点の不正確さ（またはアウトライア）は、特徴マッチングにおいて完璧には回避され得ず、不正確な変換行列の生成を生じることがある。ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）、Ｍ推定器サンプルコンセンサス（ＭＳＡＣ）、およびプログレッシブサンプルコンセンサス（ＰＲＯＳＡＣ）は、マッチした特徴からアウトライアを取り除き、（変換行列に関して）変換関数を適合させるために利用され得る、いくつかの確率的方法または技法である。たとえば、ＲＡＮＳＡＣ法は、アウトライアマッチをフィルタ除去し、変換関数を適合させて変換行列を計算するためにインライアマッチを使用するために使用され得る。

変換行列は、類似度変換行列であり得る。類似度変換行列は、平行移動、回転、およびスケーリングを使用してソース画像とターゲット画像との間の重ね合わせ（整合）を提供し得る。ソースとターゲットとの間の制御点の最低でも３つのペアが、変換行列を計算するために使用され得る。制御点の追加のペアが利用可能であるとき、制御点の４つ以上のペアが使用され得る。制御点のより多数のペアは、整合の精度を増加させ得る。追加として、様々なメトリックが、制御点の品質を決定するために評価され得、指定された品質しきい値を超える制御点のみが、変換行列を計算するために使用され得る。

しきい値は、経験的に設定され得、重ね合わせ誤りについての許容誤差（たとえば、許容できる不整合の量）に寄与し得る。ＲＡＮＳＡＣ法は、変換行列を計算しながら低品質マッチを取り除くために使用され得る。これにより、２つの画像の間の最も正確な整合を提供する変換が保たれ得るとともに、低品質マッチは、最終的な変換についてアウトライアとして現れ得る。

変換行列は、ターゲット画像に注釈を転送するために、ソース画像上の注釈に適用され得る。図２は、Ｈ＆Ｅソース画像からＰＤ－Ｌ１（ＳＰ１４２）ターゲット画像に自動的に転送されるデジタル病理学注釈の例を図示する。プロセスは、ターゲット画像としてのＰＤ－Ｌ１（ＳＰ２６３）画像に注釈を転送するために、ソース画像としてのＰＤ－Ｌ１（ＳＰ１４２）画像に関して繰り返され得る。

本開示のいくつかの態様は、ソース画像の選択されたエリア内のデジタル病理学注釈の識別、および識別されたデジタル病理学注釈のターゲット画像への転送を可能にし得る。いくつかの事例では、関心のエリアは、低い倍率または解像度を有する画像ピラミッド中の画像上で識別され得る。図３は、本開示の様々な態様による、低い倍率または解像度における組織試料３００の画像上のデジタル病理学注釈のエリアを図示する。図３中に示されているように、矩形３０５が、デジタル病理学注釈を含んでいる関心のエリアを定義し得る。これらのエリアは、より高い倍率または解像度における画像解析を必要とするエリアと識別され得る。組織試料の先行するまたは後続する画像に対してより高い倍率または解像度における画像解析を実施するために、識別されたエリア、たとえばエリア３１０は、低い倍率または解像度における先行するまたは後続する画像上で位置を特定され、その先行するまたは後続する画像に転送され得る。識別されたエリアは、デジタル病理学注釈を転送するための本明細書で説明される類似のプロセスを使用して、ソース画像からターゲット画像に転送され得る。

選択されたエリアが、低い倍率または解像度において転送されたとき、ソースおよびターゲットのエリアの間の不整合は、無視できるほどであり得る。しかしながら、より高い倍率または解像度において見分け可能または視認可能であり得る、選択されたエリア内のデジタル病理学注釈の不整合が起こり得る。図４は、本開示の様々な態様による、高い倍率または解像度下のデジタル病理学注釈の転送されたエリアの不整合を図示する。図４中に示されているように、ソース画像からの注釈を含んでいる選択されたエリア４１０は、低い倍率または解像度のターゲット画像に転送されたとき、エリア４２０によって示されているように不整合であり得る。デジタル病理学注釈（たとえば、エリア４１０内の指定された注釈）は、それゆえ、より高い倍率または解像度においてレンダリングされたとき、ターゲット画像（たとえば、エリア４２０）上で不整合であり、視認可能であり得る。

本開示のいくつかの態様は、転送されたエリアの整合を可能にし得る。図４を参照すると、より高い倍率または解像度下で、特徴が、矩形の各々内の制御点を確立するために、ソース画像およびターゲット画像の選択されたエリア内で識別され得る。デジタル病理学注釈を転送するための本明細書で説明されるプロセスに類似して、選択されたエリアの間のマッチング制御点のペアが、識別され得る。マッチング制御点の間の変換が、計算され得る。次いで、ターゲット画像上の転送されたエリアをソース画像のエリアと整合させるために、変換が、転送されたエリア内の注釈に適用され得る。図５は、本開示の様々な態様による、高い倍率下の図４のデジタル病理学注釈の整合された転送されたエリアを図示する。

図６は、本開示のいくつかの態様による、画像の間でデジタル病理学注釈を転送するための方法６００の例を図示するフローチャートである。図６を参照すると、ブロック６１０において、制御点の第１のセットが、組織試料の切片の第１の画像（たとえば、ソース画像）の幾何学的特徴について検出される。いくつかの事例では、制御点の第１のセットは、第１の画像に関連する第１の特徴画像内で検出される。

第１の特徴画像は、第１の画像に関連する画像ピラミッド内の画像から生成され得る（たとえば、組織切片の画像のバイナリマスクまたはグレースケール表現）。第１の画像は、第１の画像内に描かれている１つまたは複数の生物学的構造にユーザによって手動で適用されたデジタル病理学注釈を含む。いくつかの事例では、画像ピラミッド内の画像は、本明細書において詳細に説明されるように、ソース組織切片画像とターゲット組織切片画像との間で決定された対応する倍率または解像度レベルに基づいて選択される。第１の特徴画像は、画像背景と組織切片の幾何学的特徴（たとえば、輪郭）との間のコントラストを提供する。特徴画像のタイプ（たとえば、グレースケールまたはバイナリマスク）は、第１の特徴画像についてユーザによって選択されるか、またはたとえば、コンピュータシステムによって自動的に選択され得る。制御点は、組織試料の幾何学的特徴の特徴的な態様、たとえば、角部または他のとがった部分を含み得る。ソース画像から生成された特徴画像上で検出された制御点の第１のセットは、ターゲット画像から生成された特徴画像上の制御点の対応する第２のセットの位置を特定するために使用される候補であり得る。制御点を検出するためのいくつかの標準的な方法、たとえば、ＢＲＩＳＫ、ＳＵＲＦ、ＦＡＳＴなどが利用され得る。

ブロック６２０において、制御点の第２のセットが、組織試料の先行するまたは後続する切片の第２の画像（たとえば、ターゲット画像）の幾何学的特徴について検出される。いくつかの事例では、制御点の第２のセットは、第２の画像に関連する第２の特徴画像内で検出される。第２の特徴画像は、第２の画像に関連する画像ピラミッド内の画像から生成され得る（たとえば、組織切片の画像のバイナリマスクまたはグレースケール表現）。第２の画像は、ターゲット画像内に描かれている１つまたは複数の生物学的構造にユーザによって手動で適用されたデジタル病理学注釈を含まない。いくつかの事例では、画像ピラミッド内の画像は、本明細書において詳細に説明されるように、ソース組織切片画像とターゲット組織切片画像との間で決定された対応する倍率または解像度レベルに基づいて選択される。第２の画像内の制御点の第２のセットは、第１の画像内の制御点の第１のセットと同様にして決定され得る。

ブロック６３０において、マッチング制御点が決定される。マッチング制御点を決定するために、制御点の第１のセットおよび制御点の第２のセット内の各制御点の近傍からの特徴が、各近傍の局所外観を特徴づけるために抽出される。次いで、各制御点の近傍から抽出された特徴は、ソース画像とターゲット画像との間の最も密接にマッチする（たとえば、インライア）制御点を識別するために、互いに比較され得る。いくつかの標準的な特徴計算方法、たとえば、ＨＯＧ、ＳＵＲＦ、ＳＩＦＴなどが、特徴抽出のために使用され得、しきい値ベースのマッチング、最近傍、最近傍距離比など、異なるマッチング方策が、特徴をマッチさせるために採択され得る。

ブロック６４０において、マッチング制御点の座標が決定され得る。第１の画像に関する制御点の第１のセットからのマッチング制御点の座標が、決定され得る。第２の画像に関する制御点の第２のセットからのマッチング制御点の座標が、決定され得る。

ブロック６５０において、第１の画像および第２の画像内のマッチング制御点の間の変換行列が、マッチング制御点の座標を使用して生成される。変換行列は、平行移動、回転、およびスケーリングを使用する、適合された変換関数に関する第１の画像に対する第２の画像の遠近変換を提供する。マッチング制御点の不正確さは、不正確な変換行列の生成を生じることがある。それゆえに、いくつかの事例では、ＲＡＮＳＡＣなど、確率的方法または技法が、変換関数を適合させることに関して変換行列を計算するために、アウトライアマッチをフィルタ除去し、インライアマッチを使用するために利用され得る。いくつかの事例では、次いで、画像再構築が、第１の画像を第２の画像と整合させるために、導出された変換関数に基づいて実施され得る。次いで、すべてのマッチした特徴点が重ね合わせられるまで、第２の画像の再構築されたバージョンが、第１の画像の前でオーバーレイされる。より小さい画像のこの大きい統合バージョンは、モザイクまたはスティッチされた画像と呼ばれる。

ブロック６６０において、変換行列が、導出された変換関数に基づいて第２の画像に注釈を転送するために、第１の画像内のデジタル病理学注釈に適用される。注釈は、第１の画像上のｘ，ｙ点のセットであり得る。変換行列は、正方行列、たとえば、３×３行列または別のサイズの正方行列であり得る。変換行列は、第２の（ターゲット）画像のための変換された注釈を得るために、第１の画像上の各注釈点に適用され得る。

ブロック６７０において、画像解析が、第２の画像に対して実施され得る。第２の画像に転送されたデジタル病理学注釈は、たとえば、腫瘍領域、壊死性領域など、異常状態を決定するために画像解析を必要とする、第２の画像の部分を識別し得る。画像解析は、組織および／または細胞をより正確に査定するために、第２の画像のより高い倍率または解像度において実施され得る。

図６中に図示されている具体的なステップは、本発明の実施形態による、画像の間でデジタル病理学注釈を転送するための特定の方法を提供することを諒解されたい。ステップの他のシーケンスが、代替実施形態に従って実施されてもよい。たとえば、本発明の代替実施形態は、異なる順序で、上記で概説されたステップを実施し得る。その上、図６中に図示されている個々のステップは、個々のステップに対して適宜に様々なシーケンスにおいて実施され得る、複数のサブステップを含み得る。その上、追加のステップが、特定の適用例に応じて追加または削除され得る。当業者は、多くの変形、修正、および代替を認識するであろう。

図７は、本開示のいくつかの態様による、選択されたエリアのデジタル病理学注釈を画像の間で転送するための方法７００の例を図示するフローチャートである。図７の方法７００は、図６の方法６００が完了された後に実施され得る。図７を参照すると、ブロック７１０において、デジタル病理学注釈を含んでいるエリアが、低い倍率における第１の画像上で選択され得る。第１の（たとえば、ソース）画像上の選択されたエリアは、指定された形状、たとえば、矩形または他の形状によって定義され得る。選択されたエリアは、第２の（たとえば、ターゲット）画像に転送されるべき多数のデジタル病理学注釈を含んでいることがある。

ブロック７１５において、変換が、選択されたエリアを第２の画像に転送するために、選択されたエリアに適用され得る。選択されたエリアを第１の（たとえば、ソース）画像から第２の（たとえば、ターゲット）画像に転送するための変換は、図６の方法６００に関して説明されたように計算および適用され得る。

ブロック７２０において、第１の（たとえば、ソース）画像および第２の（ターゲット）画像は、拡大され得る。より高い倍率、たとえば、最も高い利用可能な倍率が、ソース画像の選択されたエリアの第３の画像と、ターゲット画像の選択されたエリアを含む第４の画像とを得るために選択され得る。第３の画像および第４の画像は、選択されたエリア内の組織試料の詳細、たとえば、組織試料の構造、注釈のタイプおよびロケーションなどを提供するために、選択されたエリアを拡大し得る。

ブロック７２５において、点の第３のセットが、第３の画像の選択されたエリア内で識別され得る。点の第３のセットは、制御点であり得る。制御点は、選択されたエリア内の組織試料の特徴的な態様を含み得る。たとえば、制御点は、組織試料、特定の細胞などの中の異常に基づいて識別され得る。いくつかの実装形態では、第３の画像および第４の画像の選択されたエリア内の特徴は、各画像の背景にコントラストを提供するために、グレースケール表現に変換され得る。いくつかの実装形態では、バイナリマスクが、各画像の背景にコントラストを提供するために、第３の画像および第４の画像の選択されたエリア内の特徴に適用され得る。点の第３のセットは、特定の特徴を、各画像の背景と、特徴のグレースケール表現またはバイナリマスクとの間のコントラストに基づいて識別し得る。制御点を検出するためのいくつかの標準的な方法、たとえば、Ｋ空間のためのブロック領域補間方式（ＢＲＩＳＫ）、高速化ロバスト特徴（ＳＵＲＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）などが利用され得る。

ブロック７３０において、点の第４のセットが、第４の画像の選択されたエリア内で識別され得る。点の第４のセットは、制御点であり得る。ターゲット画像上の点の第４のセットは、ソース画像上の点の第３のセットと同様にして識別され得る。

ブロック７３５において、マッチング制御点が識別され得る。ソース画像とターゲット画像との間の対応する制御点を発見するために、各制御点の近傍からの特徴が、各制御点の各近傍の局所外観を特徴づけるために抽出され得る。いくつかの標準的な特徴計算方法、たとえば、配向勾配ヒストグラム（ＨＯＧ）、ＳＵＲＦ、スケール不変特徴変換（ＳＩＦＴ）などが、使用され得る。

ブロック７４０において、マッチング制御点の座標が、決定され得る。第３の画像に関する点の第３のセットからのマッチング制御点の座標が、決定され得る。第４の画像に関する点の第４のセットからのマッチング制御点の座標が、決定され得る。

ブロック７４５において、マッチング制御点の第３のセットとマッチング制御点の第４のセットとの間の変換が、決定され得る。ソース画像上のインライア制御点とターゲット画像上のインライア制御点との間の変換行列が、計算され得る。マッチング制御点の不正確さは、不正確な変換行列の生成を生じることがある。ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）法が、変換行列を計算するために利用され得る。ＲＡＮＳＡＣ法は、アウトライアマッチをフィルタ除去し、変換行列を計算するためにインライアマッチを使用することができる。変換行列は、類似度変換行列であり得る。類似度変換行列は、平行移動、回転、およびスケーリングを使用してソース画像とターゲット画像との間の重ね合わせ（整合）を提供し得る。

ブロック７５０において、変換が、第４の画像の選択されたエリアに注釈を転送するために、第３の画像の選択されたエリアからの注釈に適用され得る。変換行列は、ターゲット画像に注釈を転送するために、ソース画像上の注釈に適用され得る。画像全体ではなく、選択されたエリア中の注釈のみが、変換され得る。

ブロック７５５において、画像解析が、第４の画像に対して実施され得る。第４の画像に転送されたデジタル病理学注釈は、たとえば、腫瘍領域、壊死性領域など、異常状態を決定するために画像解析を必要とする、第４の画像の部分を識別し得る。画像解析は、組織および／または細胞をより正確に査定するために、第４の画像のより高い倍率または解像度において実施され得る。

図７中に図示されている具体的なステップは、本発明の実施形態による、選択されたエリアのデジタル病理学注釈を画像の間で転送するための特定の方法を提供することを諒解されたい。ステップの他のシーケンスが、代替実施形態に従って実施されてもよい。たとえば、本発明の代替実施形態は、異なる順序で、上記で概説されたステップを実施し得る。その上、図７中に図示されている個々のステップは、個々のステップに対して適宜に様々なシーケンスにおいて実施され得る、複数のサブステップを含み得る。その上、追加のステップが、特定の適用例に応じて追加または削除され得る。当業者は、多くの変形、修正、および代替を認識するであろう。

方法６００および７００は、それぞれ、プロセッサ、コンピュータ、または他のプログラマブルデバイスに方法の動作を実行させるためのコンピュータ実行可能命令を含むプログラムを記憶した、非一時的コンピュータ可読媒体、たとえば、限定はしないが、メモリまたは当業者に知られている他の非一時的コンピュータ可読媒体上で具現され得る。

ＩＶ．自動化された画像重ね合わせのための例示的システム
図８は、たとえば、方法６００および７００を実施する、いくつかの例示的な実装形態における使用に好適な例示的なコンピューティングデバイスをもつ例示的なコンピューティング環境のブロック図である。コンピューティング環境８００におけるコンピューティングデバイス８０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ８１０、メモリ８１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部ストレージ８２０（たとえば、磁気、光、ソリッドステートストレージおよび／または有機物）、ならびに／あるいはＩ／Ｏインターフェース８２５を含み得、それらのうちのいずれかは、情報を通信するための通信機構すなわちバス８３０上に結合されるか、またはコンピューティングデバイス８０５中に組み込まれ得る。

コンピューティングデバイス８０５は、入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０に通信可能に結合され得る。入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０のいずれか一方または両方は、ワイヤードまたはワイヤレスインターフェースであり得、着脱可能であり得る。入力／ユーザインターフェース８３５は、入力を提供するために使用され得る、物理的なまたは仮想的な、任意のデバイス、構成要素、センサー、またはインターフェース（たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサー、光学リーダーなど）を含み得る。出力デバイス／インターフェース８４０は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカー、点字などを含み得る。いくつかの例示的な実装形態では、入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０は、コンピューティングデバイス８０５と組み込まれるか、またはコンピューティングデバイス８０５に物理的に結合され得る。他の例示的な実装形態では、他のコンピューティングデバイスが、コンピューティングデバイス８０５のための入力／ユーザインターフェース８３５および出力デバイス／インターフェース８４０として機能するか、またはその機能を提供し得る。

コンピューティングデバイス８０５は、外部記憶デバイス８４５に、および同じまたは異なる構成の１つまたは複数のコンピューティングデバイスを含む、任意の数のネットワーク化された構成要素、デバイス、およびシステムと通信するためのネットワーク８５０に（たとえば、Ｉ／Ｏインターフェース８２５を介して）通信可能に結合され得る。コンピューティングデバイス８０５または接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、または別のラベルとして機能しているか、そのサービスを提供しているか、またはそう呼ばれ得る。

Ｉ／Ｏインターフェース８２５は、限定はしないが、コンピューティング環境８００中の少なくともすべての接続された構成要素、デバイス、およびネットワークの間で情報を通信するための任意の通信またはＩ／Ｏプロトコルまたは規格（たとえば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用するワイヤードおよび／またはワイヤレスインターフェースを含み得る。ネットワーク８５０は、任意のネットワークまたはネットワークの組合せ（たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。

コンピューティングデバイス８０５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用し、および／あるいはその媒体を使用して通信することができる。一時的媒体は、伝送媒体（たとえば、金属ケーブル、光ファイバー）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（たとえば、ディスクおよびテープ）、光媒体（たとえば、ＣＤ ＲＯＭ、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク）、ソリッドステート媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、ならびに他の不揮発性ストレージまたはメモリを含む。

コンピューティングデバイス８０５は、いくつかの例示的なコンピューティング環境において、技法、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶されてその非一時的媒体から取り出され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔなど）のうちの１つまたは複数に由来し得る。

プロセッサ８１０は、ネイティブまたは仮想環境において任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行し得る。１つまたは複数の適用例が展開され得、その適用例は、論理ユニット８６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット８６５、入力ユニット８７０、出力ユニット８７５、境界マッピングユニット８８０、制御点決定ユニット８８５、変換計算および適用ユニット８９０、ならびに異なるユニットが互いと、ＯＳと、および他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５を含む。たとえば、境界マッピングユニット８８０、制御点決定ユニット８８５、ならびに変換計算および適用ユニット８９０は、図６および図７中に説明されおよび／または示されている１つまたは複数のプロセスを実装し得る。説明されるユニットおよび要素は、設計、機能、構成、または実装形態が変えられ得、提供される説明に限定されない。

いくつかの例示的な実装形態では、情報または実行命令が、ＡＰＩユニット８６５によって受信されたとき、その情報または実行命令は、１つまたは複数の他のユニット（たとえば、論理ユニット８６０、入力ユニット８７０、出力ユニット８７５、境界マッピングユニット８８０、制御点決定ユニット８８５、ならびに変換計算および適用ユニット８９０）に通信され得る。たとえば、入力ユニット８７０が、ユーザ入力を検出した後、グレースケールに組織切片画像を変換するために、または組織切片画像にバイナリマスクを適用するために、境界マッピングユニット８８０にユーザ入力を通信するためにＡＰＩユニット８６５を使用し得る。境界マッピングユニット８８０は、ＡＰＩユニット８６５を介して、組織切片境界上の制御点を検出するために、制御点決定ユニット８８５と対話し得る。ＡＰＩユニット８６５を使用して、制御点決定ユニット８８５は、次の連続した組織試料画像にデジタル病理学注釈を転送するために、変換を計算して組織切片画像のデジタル病理学注釈にその変換を適用するために変換計算および適用ユニット８９０と対話し得る。

いくつかの事例では、論理ユニット８６０は、上記で説明されたいくつかの例示的な実装形態において、ユニットの間の情報の流れを制御し、ＡＰＩユニット８６５、入力ユニット８７０、出力ユニット８７５、境界マッピングユニット８８０、制御点決定ユニット８８５、ならびに変換計算および適用ユニット８９０によって提供されるサービスを指示するように構成され得る。たとえば、１つまたは複数のプロセスまたは実装形態のフローは、論理ユニット８６０のみによって、またはＡＰＩユニット８６５と連携して制御され得る。

Ｖ．追加の考慮事項
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されたとき、１つまたは複数のデータプロセッサが、本明細書において開示される、１つまたは複数の方法の一部またはすべておよび／あるいは１つまたは複数のプロセスの一部またはすべてを実施することを引き起こす命令を含んでいる非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサが、本明細書において開示される、１つまたは複数の方法の一部またはすべておよび／あるいは１つまたは複数のプロセスの一部またはすべてを実施することを引き起こすように構成された命令を含む、非一時的機械可読記憶媒体で有形に具現されたコンピュータプログラム製品を含む。

採用された用語および表現は、説明の用語として用いられ、限定の用語として用いられず、そのような用語および表現の使用において、示されたまたは説明された特徴の任意の均等物またはその一部分を除外するという意図はなく、様々な修正が、請求される本発明の範囲内で可能であることが認識される。これにより、請求される本発明は、実施形態および随意の特徴によって具体的に開示されたが、開示される本明細書における概念の修正および変形が、当業者によって加えられ得ること、ならびにそのような修正および変形は、添付の特許請求の範囲によって定義される本発明の範囲内であると見なされることを理解されたい。

以下に続く説明は、好ましい例示的実施形態を提供するにすぎず、本開示の範囲、適用可能性、または構成を限定することを意図されない。むしろ好ましい例示的実施形態の以下に続く説明は、様々な実施形態の実装を可能にする説明を当業者に提供するものである。様々な変更が、添付の特許請求の範囲に記載された趣旨および範囲から逸脱することなく、要素の機能および配列に行われ得ることを理解されたい。

具体的な詳細が、実施形態の完全な理解を提供するために以下の説明において与えられる。しかしながら、実施形態は、これらの具体的な詳細なしに実践され得ることが理解されよう。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不要な詳細で実施形態を不明瞭にしないために、ブロック図の形態で構成要素として示され得る。他の事例では、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、実施形態を不明瞭にすることを回避するために、不要な詳細なしに示され得る。

Claims (16)

1. 組織試料の画像の間でデジタル病理学注釈を転送するための方法であって、前記方法は、
   組織試料の切片の第１の画像の幾何学的特徴について、点の第１のセットを識別することと、
   同じ組織試料の第２の画像の対応する幾何学的特徴について、点の対応する第２のセットを識別することであって、前記第２の画像が、前記組織試料の別の切片の画像であり、点の前記第１のセットの各点および点の前記第２のセットの各点の近傍からの特徴が、前記近傍の各々の局所外観を特徴づけるために抽出され、各点の前記近傍から抽出された特徴が、前記第１の画像と前記第２の画像との間の最も密接にマッチする点を識別するために、互いに比較される、ことと、
   点の前記第１のセットの座標および点の前記第２のセットの座標を決定することと、
   点の前記第１のセットと点の前記第２のセットとの間の変換を決定することと、
   前記第１の画像から前記第２の画像に前記第１の画像内のデジタル病理学注釈のセットを転送するために、デジタル病理学注釈の前記セットに前記変換を適用することと
   を備え、
   前記方法は、
   低い倍率を有する前記第１の画像のデジタル病理学注釈の前記セットの一部分を含んでいるエリアを選択することと、
   前記第２の画像上の対応するロケーションに前記選択されたエリアを転送するために、前記第１の画像上の前記選択されたエリアに前記変換を適用することと、
   前記選択されたエリアを含む第３の画像を得るために、前記低い倍率よりも高い倍率に前記第１の画像を拡大することと、
   前記選択されたエリアを含む第４の画像を得るために、前記第３の画像と同じより高い倍率に前記第２の画像を拡大することと、
   前記第３の画像の前記選択されたエリア内の特徴上の点の第３のセットを識別することと、
   前記第４の画像の前記選択されたエリア内の対応する特徴上の点の対応する第４のセットを識別することと、
   前記第３の画像上の点の前記第３のセットの座標、および前記第４の画像上の点の前記第４のセットの座標を決定することと、
   点の前記第３のセットと点の前記第４のセットとの間の変換を決定することと、
   前記第４の画像の前記選択されたエリア中に含まれているデジタル病理学注釈のセットを、前記第３の画像の前記選択されたエリア中に含まれているデジタル病理学注釈の前記セットに整合させるために、前記変換を適用することと
   をさらに備える、方法。
2. 各画像の背景にコントラストを提供するために、前記第１の画像および前記第２の画像について、前記組織試料の前記切片のエリアをグレースケール表現に変換することと、
   各画像の前記背景と、前記組織試料の前記切片の前記グレースケール表現との間の前記コントラストに基づいて、前記幾何学的特徴を識別することと
   をさらに備える、請求項１に記載の方法。
3. 各画像の背景にコントラストを提供するために、前記第１の画像および前記第２の画像について、前記組織試料の前記切片のエリアにバイナリマスクを適用することと、
   各画像の前記背景と、前記組織試料の前記切片の前記バイナリマスクとの間の前記コントラストに基づいて、前記幾何学的特徴を識別することと
   をさらに備える、請求項１に記載の方法。
4. 点の前記第１のセットおよび点の前記第２のセットが、同じ数の点を含んでいる、請求項１に記載の方法。
5. 前記第３の画像上の点の前記第３のセットの各点の近傍から第１の特徴を抽出することと、
   前記第４の画像上の点の前記第４のセットの各点の近傍から第２の特徴を抽出することと、
   前記第１の特徴と前記第２の特徴との比較に基づいて、点の前記第３のセットと点の前記第４のセットとの間の対応する点を識別することと
   をさらに備える、請求項１に記載の方法。
6. 各画像の背景にコントラストを提供するために、前記第３の画像および前記第４の画像の前記選択されたエリア内の前記特徴をグレースケール表現に変換することと、
   特定の特徴を、各画像の前記背景と、前記特徴の前記グレースケール表現との間の前記コントラストに基づいて識別することと
   をさらに備える、請求項１に記載の方法。
7. 各画像の背景にコントラストを提供するために、前記第３の画像および前記第４の画像の前記選択されたエリア内の前記特徴にバイナリマスクを適用することと、
   特定の特徴を、各画像の前記背景と、前記特徴の前記切片の前記バイナリマスクとの間の前記コントラストに基づいて識別することと
   をさらに備える、請求項１に記載の方法。
8. 点の前記第３のセットおよび点の前記第４のセットが、同じ数の点を含んでいる、請求項１に記載の方法。
9. １つまたは複数のデータプロセッサと、
   前記１つまたは複数のデータプロセッサ上で実行されたとき、前記１つまたは複数のデータプロセッサが、
   組織試料の切片の第１の画像の幾何学的特徴について、点の第１のセットを識別することと、
   同じ組織試料の第２の画像の対応する幾何学的特徴について、点の対応する第２のセットを識別することであって、前記第２の画像が、前記組織試料の別の切片の画像であり、点の前記第１のセットの各点および点の前記第２のセットの各点の近傍からの特徴が、前記近傍の各々の局所外観を特徴づけるために抽出され、各点の前記近傍から抽出された特徴が、前記第１の画像と前記第２の画像との間の最も密接にマッチする点を識別するために、互いに比較される、ことと、
   点の前記第１のセットの座標および点の前記第２のセットの座標を決定することと、
   点の前記第１のセットと点の前記第２のセットとの間の変換を決定することと、
   前記第１の画像から前記第２の画像に前記第１の画像内のデジタル病理学注釈のセットを転送するために、デジタル病理学注釈の前記セットに前記変換を適用することと
   を含むアクションを実施することを引き起こす命令を含んでいる非一時的コンピュータ可読記憶媒体と
   を備え、
   前記アクションは、
   低い倍率を有する前記第１の画像のデジタル病理学注釈の前記セットの一部分を含んでいるエリアを選択することと、
   前記第２の画像上の対応するロケーションに前記選択されたエリアを転送するために、前記第１の画像上の前記選択されたエリアに前記変換を適用することと、
   前記選択されたエリアを含む第３の画像を得るために、前記低い倍率よりも高い倍率に前記第１の画像を拡大することと、
   前記選択されたエリアを含む第４の画像を得るために、前記第３の画像と同じより高い倍率に前記第２の画像を拡大することと、
   前記第３の画像の前記選択されたエリア内の特徴上の点の第３のセットを識別することと、
   前記第４の画像の前記選択されたエリア内の対応する特徴上の点の対応する第４のセットを識別することと、
   前記第３の画像上の点の前記第３のセットの座標、および前記第４の画像上の点の前記第４のセットの座標を決定することと、
   点の前記第３のセットと点の前記第４のセットとの間の変換を決定することと、
   前記第４の画像の前記選択されたエリア中に含まれているデジタル病理学注釈のセットを、前記第３の画像の前記選択されたエリア中に含まれているデジタル病理学注釈の前記セットに整合させるために、前記変換を適用することと
   をさらに含む、コンピューティングデバイス。
10. １つまたは複数のプロセッサに、組織試料の画像の間でデジタル病理学注釈を転送するための方法を実行させるための命令を備えるコンピュータプログラムであって、前記プロセッサ実行可能命令は、
    組織試料の切片の第１の画像の幾何学的特徴について、点の第１のセットを識別することと、
    同じ組織試料の第２の画像の対応する幾何学的特徴について、点の対応する第２のセットを識別することであって、前記第２の画像が、前記組織試料の別の切片の画像であり、点の前記第１のセットの各点および点の前記第２のセットの各点の近傍からの特徴が、前記近傍の各々の局所外観を特徴づけるために抽出され、各点の前記近傍から抽出された特徴が、前記第１の画像と前記第２の画像との間の最も密接にマッチする点を識別するために、互いに比較される、ことと、
    点の前記第１のセットの座標および点の前記第２のセットの座標を決定することと、
    点の前記第１のセットと点の前記第２のセットとの間の変換を決定することと、
    前記第１の画像から前記第２の画像に前記第１の画像内のデジタル病理学注釈のセットを転送するために、デジタル病理学注釈の前記セットに前記変換を適用することと
    を含む動作を実施するための命令を備え、
    前記コンピュータプログラムは、
    低い倍率を有する前記第１の画像のデジタル病理学注釈の前記セットの一部分を含んでいるエリアを選択することと、
    前記第２の画像上の対応するロケーションに前記選択されたエリアを転送するために、前記第１の画像上の前記選択されたエリアに前記変換を適用することと、
    前記選択されたエリアを含む第３の画像を得るために、前記低い倍率よりも高い倍率に前記第１の画像を拡大することと、
    前記選択されたエリアを含む第４の画像を得るために、前記第３の画像と同じより高い倍率に前記第２の画像を拡大することと、
    前記第３の画像の前記選択されたエリア内の特徴上の点の第３のセットを識別することと、
    前記第４の画像の前記選択されたエリア内の対応する特徴上の点の対応する第４のセットを識別することと、
    前記第３の画像上の点の前記第３のセットの座標、および前記第４の画像上の点の前記第４のセットの座標を決定することと、
    点の前記第３のセットと点の前記第４のセットとの間の変換を決定することと、
    前記第４の画像の前記選択されたエリア中に含まれているデジタル病理学注釈のセットを、前記第３の画像の前記選択されたエリア中に含まれているデジタル病理学注釈の前記セットに整合させるために、前記変換を適用することと
    を含む動作を実施するための命令をさらに備える、コンピュータプログラム。
11. 各画像の背景にコントラストを提供するために、前記第１の画像および前記第２の画像について、前記組織試料の前記切片のエリアをグレースケール表現に変換することと、
    前記画像の前記背景と、前記組織試料の前記切片の前記グレースケール表現との間の前記コントラストに基づいて、前記幾何学的特徴を識別することと
    を含む動作を実施するための命令をさらに備える、請求項１０に記載のコンピュータプログラム。
12. 各画像の背景にコントラストを提供するために、前記第１の画像および前記第２の画像について、前記組織試料の前記切片のエリアにバイナリマスクを適用することと、
    各画像の前記背景と、前記組織試料の前記切片の前記バイナリマスクとの間の前記コントラストに基づいて、前記幾何学的特徴を識別することと
    を含む動作を実施するための命令をさらに備える、請求項１０に記載のコンピュータプログラム。
13. 点の前記第１のセットおよび点の前記第２のセットが、同じ数の点を含んでいる、請求項１０に記載のコンピュータプログラム。
14. 前記第３の画像上の点の前記第３のセットの各点の近傍から第１の特徴を抽出することと、
    前記第４の画像上の点の前記第４のセットの各点の近傍から第２の特徴を抽出することと、
    前記第１の特徴と前記第２の特徴との比較に基づいて、点の前記第３のセットと点の前記第４のセットとの間の対応する点を識別することと
    を含む動作を実施するための命令をさらに備える、請求項１０に記載のコンピュータプログラム。
15. 各画像の背景にコントラストを提供するために、前記第３の画像および前記第４の画像の前記選択されたエリア内の前記特徴をグレースケール表現に変換することと、
    特定の特徴を、各画像の前記背景と、前記特徴の前記グレースケール表現との間の前記コントラストに基づいて識別することと
    を含む動作を実施するための命令をさらに備える、請求項１０に記載のコンピュータプログラム。
16. 各画像の背景にコントラストを提供するために、前記第３の画像および前記第４の画像の前記選択されたエリア内の前記特徴にバイナリマスクを適用することと、
    特定の特徴を、各画像の前記背景と、前記特徴の前記切片の前記バイナリマスクとの間の前記コントラストに基づいて識別することと
    を含む動作を実施するための命令をさらに備える、請求項１０に記載のコンピュータプログラム。

Images