JP7639085B2 - 特異分布と深層学習とに基づく超解像計測法 - Google Patents

Description

本願は、いずれも２０１７年８月３０日に出願され、いずれも参照により本明細書に組み込まれる、２つの米国仮出願第６２／５５１，９０６号および６２／５５１，９１３号の優先権を主張する。

本発明は、機械、表現、および深層学習を使用した幾何学的特徴の光学測定のための方法および装置に関し、より詳細には、投影された特異光分布を使用した光学測定に関する。

計測は、測定の技術分野である。蛍光、多光子イメージング、ラマン散乱、光透過、反射、または光散乱に基づいた測定は、１８７３年にエルンストアッベが述べた限界にまで実際に分解能が制限されている。アッベ限界は、以下で説明するように、サンプルからの光を照射または収集するために使用される光学システムの開口絞りによる回折に起因して発生する。

一部の生物学的オブジェクトおよびライフサイエンスオブジェクトは、基本的な幾何学的形状として数学的にモデル化され得る。このようなモデルのパラメータの正確な定量化は、現代の生物学および生命科学の課題の一つであり、生物学的オブジェクトとその機能に関する隠された情報を直接または統計的に明らかにする。参考により本明細書に組み込まれる、米国特許第９，２５０，１８５号のＳｉｒａｔ（以下、「Ｓｉｒａｔ’１８５特許」という）は、「発光生物学的オブジェクト（ｌｕｍｉｎｏｕｓ ｂｉｏｌｏｇｉｃａｌ ｏｂｊｅｃｔ）」を、物理的オブジェクトの「マップ」として、「…一般意味論という意味で」と定義する。（Ｓｉｒａｔ’１８５特許、カラム１８、１５－２２行目）

形状またはオブジェクトの他の幾何学的属性の測定は、「発光生物学的オブジェクト」からの要素および／または再構成データにパラメータ化された形状仮定－本発明では数学的事前（ｍａｔｈｅｍａｔｉｃａｌ ｐｒｉｏｒ）と呼ぶ－を適用し、データから形状のパラメータを取得することで構成される。さらに陽性という、別の数学的制約がデータに存在し、それは、光強度の固有の陽性である。

従来技術では、数学的事前制約と陽性制約の両方が従来のイメージングパラダイムに依存する。イメージの取得と再構成の後、後処理工程として、得られたイメージに数学的事前制約と陽性制約とを適用する必要がある。このイメージングパラダイムは、形状測定がイメージそのものではなくイメージの付随現象として考えられていた顕微鏡法の最も初期の時代にまでさかのぼられ得る。

形状の仮定は強力な数学的事前であり、本発明が以下で説明されると、解の自由度の数を大幅に減らし、解のために埋め込まれたパラメトリック空間を作成する。本明細書で使用する場合、「数学的事前」という用語は、目前の問題の自由度の数を減らす測定結果に関する数学的仮定を指すものとする。過去に行われたように、一般的なイメージングパラダイムを使用して取得されたデータに関して、取得および再構成プロセスの後に数学的事前を適用すると、計測プロセス全体の精度が低下する。
歴史的視点

１８４０年から１９０５年まで生きていたエルンストアッベは、新しいハードウェアとソフトウェアのトレーニングを終えた後、イメージングと測定に最新世代の生物顕微鏡を快適に使用できたであろう。生物学的イメージングおよび計測法の永続性は、とりわけ、われわれの前任者によって開発されたコンセプトの品質によるものであるが、根付いた作業手順を変更するのが難しいためでもある。

しかし、いくつかの新しいトレンドは、生物学においてさえも、定着した顕微鏡観察の原型を揺さぶっている。主要な進化は、包括的な統計的方法で生物学的オブジェクトのモデルの基本的なパラメータを正確に定量化し、イメージまたは仮定のみに基づいて生物学的観察を基にしたくないという願望から生じる。

Ｊ． Ｓｈａｍｉｒ， “Ｓｉｎｇｕｌａｒ ｂｅａｍｓ ｉｎ ｍｅｔｒｏｌｏｇｙ ａｎｄ ｎａｎｏｔｅｃｈｎｏｌｏｇｙ，” Ｏｐｔ． Ｅｎｇ．， ｖｏｌ． ５１， ０７３６０５ （２０１２）、および、米国特許第７，７４６，４６９号（両方とも参照により組み込まれる）では、粒子サイズの分布を定量化するために特異光分布の使用が提案されている。

発明者の知る限りでは、光子自体を使用しないヌルイメージを作成して、光自体がイメージングされる場所では達成できない解像度を実現することは提案されていない。特に、Ｓｈａｍｉｒの教示は、反射、透過、（弾性）散乱などの弾性相互作用を使用している。ヌルイメージに基づいて情報を取得することは有利であり、以下で詳細に説明する本発明は、そのようなイメージングがどのように実行されるかを示す。
背景：技術幾何学的形状のパラメータの測定

生物顕微鏡で使用されるすべての測定システムと方法をレビューする必要はないが、理論的には、形状を表すパラメータを含むいずれのパラメータの測定限界は、最終的に信号対ノイズによって決定され、以下に定義するＣｒａｍｅｒ Ｒａｏ下限（Ｃｒａｍｅｒ Ｒａｏ ｌｏｗｅｒ ｂｏｕｎｄ）、ＣＲＬＢを使用して定量化され得る。しかし、形状関連のパラメータの場合、計算の条件が悪く、実用的および実験的条件のために正確ではない測定に依存する。

例として、参考により本明細書に組み込まれる、Ｇｕｓｔａｆｓｓｏｎ， ’’Ｎoｎｌｉｎｅａｒ ｓｔｒｕｃｔｕｒｅｄ－ｉｌｌｕｍｉｎａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ： ｗｉｄｅ－ｆｉｅｌｄ ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｍａｇｉｎｇ ｗｉｔｈ ｔｈｅｏｒｅｔｉｃａｌｌｙ ｕｎｌｉｍｉｔｅｄ ｒｅｓｏｌｕｔｉｏｎ，’’ Ｐｒｏｃ．Ｎａｔ． Ａｃａｄ．Ｓｃｉ．， ｖｏｌ． １０２， ｐｐ． １３０８１－８６ （２００５）は、非線形構造照明顕微鏡法、超解像技術、非線形飽和効果と構造照明との結合を発表した。Ｇｕｓｔａｆｓｓｏｎの技術は、顕微鏡技術の当業者によって模範と考えられており、最良の場合、５０ｎｍの解像度を示した。この測定は、高エネルギーレベルを維持でき、光退色や光毒性が生じにくい、較正された、分離された、平面の、同一の製造ビーズで実行され、これは、解像度の限界とほぼ同じサイズのビーズである５１ｎｍの正確な直径になるようにＧｕｓｔａｆｓｓｏｎによって選択された。

正確な手順で計算された、前述のデータ、ビーズサイズの影響、形状パラメータの可能な限りの単純な測定（「既知のビーズ形状は、線形デコンボリューションによって再構成から削除された」）に基づいて、Ｇｕｓｔａｆｓｓｏｎ２００４は、彼の実験で定義された「システムルーラー」の１０％未満であった。ビーズの未知の直径の値を定量化する手順として同じ実験を実行した場合、相対精度は５％になり、この理想的なケースではパフォーマンスが比較的低下する。これは、本発明による以下に説明するような形状パラメータの測定のための改善されたツールの望ましさを示す。
深層学習の背景

豊富な文献が深層学習を取り巻いている。読者は、ウィキペディア、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｄｅｅｐ＿ｌｅａｒｎｉｎｇおよびそこに引用される参照文献を参照する。深層学習の概念の統合は、参考により本明細書に組み込まれ、以下で使用されるいくつかの基本概念を定義する、ＬｅＣｕｎ ｅｔ ａｌ．， “Ｄｅｅｐ ｌｅａｒｎｉｎｇ，” Ｎａｔｕｒｅ， ｖｏｌ． ５２１， ｐｐ． ４３６－４５ （２０１５）（以下、「ＬｅＣｕｎ２０１５」という）に見いだされ得る。ＬｅＣｕｎ２０１５によると、
表現学習は、機械に生データを供給し、検出または分類に必要な表現を自動的に発見できるようにする方法のセットである。深層学習法は、表現の複数のレベルを持つ表現学習法であり、単純ではあるが非線形のモジュールを構成し、それぞれが１つのレベル（生の入力から始まる）の表現を、より高い、わずかに抽象的なレベルの表現に変換することによって得られる。十分なこのような変換の構成により、非常に複雑な機能を学習し得る。分類タスクの場合、表現の上位レイヤーは、差別化に重要な入力の側面を増幅し、無関係な変動を抑制する。例えば、イメージはピクセル値の配列の形で提供され、表現の最初のレイヤーで学習された特徴は通常、イメージ内の特定の方向と位置でのエッジの有無を表す。通常、第２レイヤーは、エッジ位置のわずかな変動に関係なく、エッジの特定の配置をスポットすることでモチーフを検出する。第３レイヤーは、モチーフをおなじみのオブジェクトの部分に対応するより大きな組み合わせに組み立てることができ、後続のレイヤーはオブジェクトをこれらの部分の組み合わせとして検出する。深層学習の重要な側面は、これらの機能のレイヤーがヒトのエンジニアによって設計されていないことであり、これらは、汎用の学習手順を使用してデータから学習される。
（ＬｅＣｕｎ２０１５、ｐ．４３６、強調を追加）

現在実践されている深層学習ネットワークの原型には、取得したイメージの処理が含まれる。図６は、ＬｅＣｕｎ２０１５の教示に続く、従来技術による深層学習ネットワークの例である。猫の絵で示されている画像１０は、ネットワークの入力である。第１レイヤー１１は、典型的には、画像内の特定の向きおよび位置でのエッジの有無を学習する。汎用の学習手順を使用してデータから学習した、数字１２および１３で概略的に表される追加のレイヤーは、犬ではない猫種を識別し得る。

本明細書で使用される「ＣＯＤＩＭ」は、参照により本明細書に組み込まれる、Ｃａｒｏｎ， ｅｔ ａｌ． （２０１４）． ’’Ｃｏｎｉｃａｌ ｄｉｆｆｒａｃｔｉｏｎ ｉｌｌｕｍｉｎａｔｉｏｎ ｏｐｅｎｓ ｔｈｅ ｗａｙ ｆｏｒ ｌｏｗ ｐｈｏｔｏｔｏｘｉｃｉｔｙ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｉｎｇ．’’ Ｃｅｌｌ ａｄｈｅｓｉｏｎ ＆ ｍｉｇｒａｔｉｏｎ， ｖｏｌ． ８， ｐｐ． ４３０－４３９ （２０１４）（以下、「Ｃａｒｏｎ２０１４」という）に記載されている円錐解析顕微鏡法（ＣＯｎｉｃａｌ ＤＩｆｆｒａｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）ハードウェアを指す。Ｃａｒｏｎ２０１４で説明されているハードウェアの使用は、「イメージングケース」と呼ばれる。「計測ケース」として以下で説明するハードウェアのセットアップと使用は、従来技術の一部ではない。イメージングケースにおいて、特異光分布は、デカルト座標である通常のグリッド、または取得したデータの関数として最適化されたグリッドに投影される。

深層学習ネットワークまたは機械学習ネットワークでＣＯＤＩＭを適用する標準的な方法は、イメージを再構成し、再構成されたイメージに既知のアルゴリズムを適用することである。このような方法の制限は、イメージの再構成に伴う時間の負担と情報の破損である。

Ｓｉｒａｔ’１８５特許は、以下を述べている。
測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。この測定マップは、ノイズ、測定条件、システム制限、または測定の不確実性により、元のマップとは異なる。この情報マップは、後でさまざまな抽象化レベルに展開され得る。
（Ｓｉｒａｔ’１８５特許、カラム１８、３７－４２行目、強調を加えた）

Ｓｉｒａｔ’１８５特許はさらに以下を教示する。
原始情報は、一般的なセマンティクスの用語のマップであり、記述子の蛍光団とその経時的な進化のセットである。生物学的および幾何学的情報は、この原始情報の外挿にすぎない。測定システムは、フルオロフォアの記述子の評価、測定マップを計算する。
（Ｓｉｒａｔ’１８５特許、カラム１８、３２－３７行目）

Ｓｉｒａｔ’１８５は、「測定システムは、・・・測定マップの評価を計算する」（同上、強調追加）と仮定し、測定マップをいずれの情報収集の前提条件として見ている。情報収集の前提条件として測定マップを必要とする際、Ｓｉｒａｔ’１８５は、「測定マップ」が同じパラグラフのＳｉｒａｔ’１８５で説明されている幾何学的および生物学的抽象レベルとしてのさらなる処理の前提条件であるという一般的なコンセンサスに従った。

本発明の実施形態によれば、物理的オブジェクトを特徴付ける特定の次元の幾何学的特徴の固有の幾何学的パラメータの値を決定する方法が提供される。方法は、
ａ．第１波長と特異点の位置とを特徴とする特異光分布を物理的オブジェクトに投影する工程と、
ｂ．幾何学的特徴と相互作用し、検出器に衝突する励起された前記特異光分布により励起された光を検出し、前記光は検出光から構成される工程と、
ｃ．固有の幾何学的パラメータの定量化として、前記特異光分布の１つまたは複数の位置での戻りエネルギー分布を識別および定量化する工程と、
ｄ．エネルギー分布から取得したパラメータに基づいて、前記固有の幾何学的パラメータの値を決定する工程と、を有する。

本発明の他の実施形態によれば、固有の幾何学的パラメータの単一または組を検索するような方法で、前述の方法の連続的な適用が実行される。前記固有の幾何学的パラメータは、ポイントオブジェクトのサイズと楕円率のいずれかである。線を横断するオフセットである変位の測定値を決定し得る。

本発明のさらなる実施形態によれば、前記固有の幾何学的パラメータは線の幅であってもよい。前記固有の幾何学的パラメータは、前記幾何学的特徴のモデル形状に基づいてもよい。光を検出する工程は、ピクセル化された検出器を使用することを含み得る。

本発明の別の態様によれば、適切なパラメータのセットによって定量化された静的または動的な少なくとも１つの幾何学的形状にシーンを分類するための表現学習のための方法が提供され、各幾何学的形状は発光オブジェクトをモデリングする。方法は、
ａ．光の特異分布をシーンに投影する工程と、
ｂ．各発光オブジェクトと相互作用し、検出器に当たる特異光分布による照明時に前記シーンによって再放射される光分布を検出し、検出された前記光は検出光から構成される工程と、
ｃ．特定の位置で特異分布の少なくとも１つの投影を測定して、シーンに関する測定のセットを取得する工程と、
ｄ．前記検出光をニューラルネットワークレイヤーの直接入力として使用し、物理的もしくは生物学的な複数のオブジェクトとして、または、静的もしくは動的な幾何学的形状として、前記シーンを分類するように適合された、深層学習またはニューラルネットワークレイヤーを使用し、前記オブジェクトまたは形状は、学習によって事前に決定または取得されたオブジェクトまたは形状のセットの一部である工程と、を有する。

本発明の他の実施形態によれば、少なくとも１つの幾何学的形状は、動的または静的のいずれかであり得る。方法は、ＣＯＤＩＭハードウェアによって取得されたイメージングデータであるデータ、または計測アプリケーションハードウェアによって取得された計測データであるデータを取得することも含み得る。

本発明のさらなる実施形態によれば、方法は、ＣＯＤＩＭハードウェアによって取得されたイメージングデータであるデータを取得するさらなる工程を有し得、得られた分類情報は、前記計測ハードウェアを駆動して計測方法を実施するために使用される。さらなる工程は、計測ハードウェアを駆動して計測方法を実施するための制御ハードウェアおよび制御手順を提供することを含み得る。さらなる工程は、異なる時間に取得されたニューラルネットワークにデータを供給し、ニューラルネットワーク認識プロセスで発光オブジェクトの時間依存性を含むことをさらに含み得る。

本発明の前述の特徴は、添付の図面を参照して以下の詳細な説明を参照することにより、より容易に理解されるであろう。

Ａｉｒｙパターンと比較したＣＯＤＩＭ光分布の従来技術の変調伝達関数（ＭＴＦ）を示す。

図２Ａ～２Ｄは、本説明において例示的な例として使用されるインフルエンザタイプＡウイルス（ＩＡＶ）を表し、図２Ａには概略的に表したウイルスが示され、図２Ｂにはその３次元モデルが示され、図２Ｃおよび図２Ｄにはそれぞれ等方性モデルおよび非等方性モデルについての２次元モデルが示される。

米国特許第９，２５０，１８５号（以下「Ｓｉｒａｔ’１８５」という）から複製されたものであり、円錐回折を使用して利用できるさまざまな特異分布の一部を示す。

本発明の実施形態によるらせんであることが知られている三日月の軌跡の概略図と、異なる横方向位置を有する２点でらせんを横切る平面ＡおよびＢとを示す。

本発明の一実施形態による表現学習の方法の工程を示すフローチャートである。

従来技術による深層学習システムの実施を概略的に示す。

ＣＯＤＩＭイメージングシステムでの深層学習システムの実施を概略的に示す。

本発明によるＣＯＤＩＭイメージングシステム上の直接深層学習ネットワークの実施を概略的に示す。

本発明による複合イメージングシステム上の直接深層学習ネットワークの実施を概略的に示す。

一般的なオブジェクトでの直接深層学習ネットワークの実施を概略的に示し、ヒューリスティックな理由で猫として表されている。中間イメージが猫の絵の一部のサブイメージとして表されているという事実は、単なるグラフィカルな手法である。情報は構造化されていない情報であり、イメージの部分的な表示ではない。

本発明によるＣＯＤＩＭイメージングシステム上の制御された直接深層学習ネットワークの実施を示す。

一般的なオブジェクトでの制御された直接深層学習ネットワークの実施を示し、ヒューリスティックな理由で猫として表されている。中間イメージが猫の絵の一部のサブイメージとして表されているという事実は、単なるグラフィカルな手法である。情報は構造化されていない情報であり、イメージの部分的な表示ではない。

ここでは、測定手順が個別の専用手順およびアーキテクチャであり、場合によってはイメージング手順によって初期化されるが、個別のツールである計測ツールに完全に組み込まれる新しい方法を紹介する。

以下に説明する本発明は、測定に使用される光の回折限界よりも小さい幾何学的特徴を、最小限の光束で正確に測定することを対象とする。

本発明は、特に、蛍光、多光子イメージング、またはラマン散乱などのただしこれらに限定されない非弾性光相互作用を使用した幾何学的特徴の測定に適合しており、出現する光を単純な手段で入射光から分離し得る。

本発明のいくつかの実施形態は、幾何学的および機能的特徴およびオブジェクトの機械学習のための方法、ならびにそれらを実施するハードウェアシステムに関する。これらの方法では、特徴とオブジェクトの分類と認識が必要である。これらの方法は、イメージングパラダイムおよびイメージングに続くさらなる処理に基づく実際の解とは異なる。

本発明のいくつかの実施形態は、主に蛍光顕微鏡法で実施されるシステムおよび方法を参照して説明されるが、反射光または散乱光への拡張は簡単であり、本説明を理解した当業者の範囲内であることを理解されたい。さらに、本発明は、生物学で遭遇する蛍光コブジェクトの計測ツール用のシステムおよび方法に関して本明細書で説明されているが、これらは、半導体やマシンビジョンなどの、ただしこれらに限定されない他のイメージングモダリティや他の学問分野や領域に容易に適用され得る。

再構成プロセスの前に数学的事前を適用し、取得プロセスに埋め込むと便利であるが、どのようにそれを行うことができるかについては教示されていないので、ここで詳細に説明する。本発明の実施形態による、イメージ再構成前の数学的事前の適用は、形状のパラメータの測定の精度を有利に高め、測定に必要な観察の数を減らし、プロセス全体の安定性と再現性を高め得る。

本発明の実施形態に従って説明される方法は、ポアソンの法則の特異性、明らかに光子ノイズの欠如－量子物理学の理論により、無視できる数まで－に依存し、光子が存在しない場合、光子は検出器で入射および放出され、事後補正ではない。このような方法では、フィルタリング操作により、入射光を物理的に除去するメカニズムが必要である。ノイズがシステムに既に導入されている場合、単純な手段でフィルタリングすることができないため、数学的な後処理操作にはなり得ない。これは、非弾性光相互作用の利点と特異性であり、本発明において、非弾性光相互作用とは、放射光子を入射光子から物理的に分離できるように、入射光子と区別する物理的特性を持つ新しい光子を作製（または放射）できる任意の光相互作用を指す。「フィルター」により、放射光子を入射光子から分離できると想定されている。非弾性光相互作用の明らかな例は、異なる波長で光子を生成する相互作用であり、この場合、フィルターは波長に敏感なフィルターになるであろう。非弾性光相互作用の例は、蛍光、多光子イメージングまたはラマン散乱である。反射、透過、弾性散乱などの弾性光の相互作用では、簡単な方法でそのような識別を行うことはできない。

以下に説明するように、本発明の実施形態は、ヌルイメージ、またはヌル結に近い結の作製に依存する。そのような画像は、以下に説明するように、アッベの法則の抜け穴とポアソンの法則によるノイズがないことを組み合わせることにより、理論的には無制限の追加の解像度を可能にする。前提条件は、理論的な条件を満たすために必要な、偽の光子がないことである。このような条件は、蛍光、多光子相互作用、およびラマン散乱などの非弾性光相互作用を使用する場合にのみほぼ満たすことができ、入射ビームはスペクトル手段によって完全にフィルタリングできる。

ヒューリスティックな利便性のために、本明細書では本発明を仮想的な例によって説明することがある。この例は、単なる説明として使用されており、テスト済みの実験ケースを表すことを意図したものではない。特定の生物学的オブジェクトは発光オブジェクトを構成すると想定され、この生物学的オブジェクトは、説明のために、図１Ａに概略的に表されるインフルエンザタイプＡウイルス（ＩＡＶ）であると想定される。ＩＡＶウイルスは、一般的なサイズが８０～１２０ｎｍであることが知られ、参照により本明細書に組み込まれる、Ｂａｄｈａｍ ｅｔ ａｌ．らによって、“Ｔｈｅ ｂｉｏｌｏｇｉｃａｌ ｓｉｇｎｉｆｉｃａｎｃｅ ｏｆ ＩＡＶ ｍｏｒｐｈｏｌｏｇｙ ｉｎ ｈｕｍａｎ ｃｌｉｎｉｃａｌ ｉｎｆｅｃｔｉｏｎｓ ｉｓ ａ ｓｕｂｊｅｃｔ ｏｆ ｇｒｅａｔ ｉｎｔｅｒｅｓｔ，” ｉｎ Ｆｉｌａｍｅｎｔｏｕｓ Ｉｎｆｌｕｅｎｚａ Ｖｉｒｕｓｅｓ， Ｃｕｒｒｅｎｔ ｃｌｉｎｉｃａｌ ｍｉｃｒｏｂｉｏｌｏｇｙ ｒｅｐｏｒｔｓ， ｖｏｌ． ３， ｐｐ． １５５－１６１， （２０１６）で議論されている。

ＩＡＶウイルスは、適切な蛍光タンパク質でその体積がすべて均一にマークされていると想定されている。３つの異なるモデルを使用して、ウイルスを説明し得る。
ａ．従来技術で使用されているイメージングパラダイムでは、ウイルスのサイズが小さいため、回折限界の下で、最良のモデルは、蛍光を発する発光点としてウイルスを表すことであり、実際、ウイルスの位置を正確に監視し得る。
ｂ．あるいは、例えばｎｍまたはサブｎｍの解像度の電子顕微鏡を使用して、血球凝集素２０１およびノイラミニダーゼ２０３を含むウイルスの様々な詳細を特徴付けることができる。
ｃ．本発明の教示によれば、中間的な方法が採用され、ウイルスは以下で定義される、球体として３次元（図２Ｂ）、もしくは、与えられた半径を伴う均一な円（図２Ｃ）としての２次元のいずれかでモデル化された、または、パラメータが、デカルト参照フレームに対する、半短軸ａ、半長軸ｂ、および長軸の角度θである楕円（図２Ｄ）とする、ポイントオブジェクトとして示される。

本発明のさらなる実施形態によれば、以下で詳細に説明するように、深層学習を使用することができる。

本発明の実施形態による方法は、光学系および最小光子束によって課せられる回折限界よりも高い解像度を伴う測定を有利に提供し得る。

本発明の実施形態によれば、形状仮定から生じる１または複数の数学的事前分布は、特異光分布の特定のセットに埋め込まれ、特異光分布の特性を最大限に活用することができる。この結合は、数学的事前と分布のセットとを関連付ける専用の計測ツールに基づく。言い換えると、特定の形状の測定は、それ自体が取得ツールの特性と必要な分布のタイプを決定する事前領域と解領域を数学的に定義する。

定義：本明細書および添付の特許請求の範囲で使用されるように、以下の用語は、文脈がそうでないことを要求しない限り、以下の指定された意味を有する。

本明細書および添付の特許請求の範囲で使用される「値」という用語は、パラメータに関連付けられた量を特徴付ける実数を指すものとする。実際の文脈では、パラメータに関連付けられた量は、測定の精度を構成するある範囲内で特徴付けられ得ると理解されるべきである。その場合、「値」という用語は、値の分布の略記として使用され得る。

「システムルーラー」は、識別された詳細に対するシステムの能力を特徴付けるために、イメージング技術の当業者によって考慮される値である。

イメージングシステムでは、「レイリー基準」－隣接する２つのポイントを分離する能力－は、解像可能な最小の詳細について一般的に受け入れられている基準であり、観察されたポイントまたはラインのＦＷＨＭが、多くの場合、「回折限界」の実用的な評価として使用されている場合でも、最小の解決可能な詳細を定量化するために一般的に使用される定性的な用語である。本発明では、我々は、システムルーラーとして無限に細い線のＦＷＨＭを使用する。システムルーラーよりも「非常に小さい」場合、値は無視し得、「非常に小さい」とは、３倍以上小さいと定義される。

本明細書で使用される「アッベの解像度の制限」という用語は、参照により本明細書に組み込まれる、 Ｓｃｈｅｒｍｅｌｌｅｈ ｅｔ ａｌ．， ’’Ａ ｇｕｉｄｅ ｔｏ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｆｌｕｏｒｅｓｃｅｎｃｅ ｍｉｃｒｏｓｃｏｐｙ，’’ Ｊ． Ｃｅｌｌ Ｂｉｏｌｏｇｙ， ｖｏｌ． １９０， ｐｐ． １６５－７５ （２０１０）（以下、「Ｓｃｈｅｒｍｅｌｌｅｈ ２０１０」という）に見出されるものである。
アッベの有名な解像度の限界はオブジェクトから出てイメージに送られる対物レンズによってキャプチャされる異なる波の間の最大相対角度に単に依存するので、非常に魅力的である。このＰＳＦ「ブラシ」でイメージングされ得る可能性のある最小レベルの詳細を説明する。この最短波長よりも小さい周期的なオブジェクトの詳細は、おそらくイメージに転送できない。

「アッベの制限を超える」という表現は、システムルーラーの詳細よりも小さな詳細を含む周期構造を含むオブジェクトを指すように定義されており、したがって、アッベの限界によって制限される。この定義の理論的根拠は、そのようなオブジェクトには、開口面のアッベの周波数円より上の空間周波数が含まれているということである。

推定理論と統計とでは、Ｃｒａｍｅｒ－Ｒａｏ境界（ＣＲＢ）、または同等に「Ｃｒａｍｅｒ－Ｒａｏ下限（Ｃｒａｍｅｒ－Ｒａｏ ｌｏｗｅｒ ｂｏｕｎｄ（ＣＲＬＢ））」は、決定論的（未知ではあるが固定）パラメータの推定量の分散の下限を表す。本明細書で使用される正確な定義は、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｒａｍ％Ｃ３％Ａ９ｒ％Ｅ２％８０％９３Ｒａｏ＿ｂｏｕｎｄで提供されており、参照により本明細書に組み込まれる。

本明細書で使用される「局所化」光分布という用語は、エネルギーが小さな領域に集中している光分布を指すものとする。レイリー基準の半分の３．５＊半径の外側のエネルギーが実質的にゼロの場合、光分布は局所化される。

本発明の説明は、記載されている光学システムがｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｈｏｔ＿ｎｏｉｓｅに記載されているように「フォトンノイズ制限」に近いか、フォトンノイズ制限、つまり、ガウスノイズ成分は光子（またはショット）ノイズの半分よりも小さい、に近いと仮定している。実際、最適なケースは、説明した「フォトンノイズ制限」光学システムであり、「ガウスノイズ制限」または「検出器ノイズ制限」システムは、本発明の利点の一部のみを収集しするが、それでも本発明の範囲に含まれる。

「半値全幅（Ｆｕｌｌ ｗｉｄｔｈ ａｔ ｈａｌｆ ｍａｘｉｍｕｍ）」（ＦＷＨＭ）は、ウィキペディア、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｆｕｌｌ＿ｗｉｄｔｈ＿ａｔ＿ｈａｌｆ＿ｍａｘｉｍｕｍから、従属変数がその最大値の半分に等しい独立変数の２つの極値間の差によって与えられる関数の範囲の表現である。

「次元」は、長さ、面積、体積の３つの物理的または空間的特性のいずれかとして定義される。幾何学では、ポイントはゼロ次元であると言われ、線などの長さだけを有する図は１次元を有し、平面または表面は２次元、そして、体積を有する図は３次元である。

幾何学的特徴の次元数は、幾何学的特徴（ポイントオブジェクトの「直径」、線の「幅」、コーティングの「厚さ」など）の範囲がゼロになる傾向がある任意の他の次元の範囲よりもはるかに小さい限界における、対応する理想化された特徴の次元を指すものとする。

本明細書で使用される「軌跡」という用語は、その場所が１つもしくは複数の指定された条件を満たしている、またはそれによって決定されている点（通常、ポイント、線、線セグメント、曲線または表面）のセットを示すものとする。

「幾何学的パラメータ」とは、物理的空間内の範囲を特徴付ける測定可能な量を指すものとする。したがって、例えば、距離（３次元ユークリッド空間または表面に沿って定義される）は、幾何学的パラメータの一例である。表面上で定義された領域は、幾何学的パラメータの別の例である。

「幾何学的特徴」とは、１または複数の幾何学的パラメータによって定量化された、軌跡として幾何学的に特徴付けられ、またはモデル化された物理的オブジェクトであり、例えば、線の太さは軌跡を表し、線は軌跡であり、または、線セグメントの位置と太さも軌跡である。「埋め込まれた空間」は、幾何学的パラメータが広がるパラメトリック空間を表す。

「ポイント」は、２次元または３次元の幾何学的特徴であり、次元とサイズはゼロである。それは誇張された単純化であり、実際のオブジェクトに関する多くの情報を消去するが、非常に仮定を単純化する。我々は、システムルーラーと比較して、３次元すべてで、サイズは小さいが無視できないサイズのオブジェクトを「ポイントオブジェクト」という。光学システムの場合は回折の限界であるシステムルーラーと比較して、小さいまたは無視できる用語を理解する必要がある。ポイントオブジェクトは、その位置とサイズによって決まり、サイズは、２次元または３次元で等方性である場合とそうでない場合がある。ほとんどの生物学的オブジェクトは、回折限界または超解像光学システムのシステムルーラーではポイントオブジェクトであり、ポイントオブジェクトによって運ばれる情報の先験的な解散は大きな損失である。本発明では、ポイントとポイントオブジェクトの間の区別が非常に重要である。

「線」（および同様に、理論的には１次元の形状を指す他の用語・・・）とは、長さが幅または厚さの少なくとも１０倍の幾何学的特徴（つまり、長さ、幅、および厚さを有する物理的オブジェクト）を指す。「線オブジェクト」は、ポイントオブジェクトと同じ概念に従って定義される。

本明細書および添付の特許請求の範囲で使用される「固有の幾何学的パラメータ」という用語は、ユークリッド空間での表面の等尺性埋め込みに依存しない（ｎ次元空間での）表面の特性を特徴付けるパラメータを指すものとする。したがって、例えば、与えられたポイントを介した「線」の幅は、空間の線の任意の方向に関係なく、線の固有のパラメータである。

抽象的な空間の幾何学的要素を参照すると、パラメータのセットは、パラメータのセットによって記載される幾何学的要素の表現が、測定の不確かさの限界でオブジェクトの幾何学的クラスとパラメータとを忠実に表す場合だけに限り、「適切」と呼ばれるべきである。

最も簡単な例として「光学渦」を含む「特異光学」は、今日、理論的および実用的なアプリケーションを備えた光学分野の新たな領域である。詳細は、いずれも参照により本明細書に組み込まれる、Ｎｙｅ， ｅｔ ａｌ．， Ｄｉｓｌｏｃａｔｉｏｎｓ ｉｎ ｗａｖｅ ｔｒａｉｎｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｌｏｎｄｏｎ Ａ， ｖｏｌ． ３３６， ｐｐ． １６５－９０ （１９７４），およびＳｏｓｋｉｎ， ｅｔ ａｌ．， ’’Ｓｉｎｇｕｌａｒ ｏｐｔｉｃｓ，’’ Ｐｒｏｇｒ． ｉｎ Ｏｐｔｉｃｓ， ｖｏｌ． ４２， ｐｐ． ２１９－７６に見出され得る。

「非弾性光相互作用」とは、光と物質との相互作用を指し、入射ビームとは波長が異なる光子を生成する。非弾性光相互作用には、蛍光、多光子相互作用、およびラマン散乱が含まれるが、これらに限定されない。

「特異分布の軌跡」は、特異分布の強度がゼロであるデカルト位置の集合である。特異分布の軌跡は、適切なパラメータを備えた「名目上のパラメータ」であり、正しい位置にある基本形状のファミリーを定義し、「名目上の位置」は、光を放出（または反射または散乱）しない。この場合、我々は、新しいコンセプトを作り出し、「特異光分布が形状を埋め込んでいる」ことを表現する。例えば、図２のケース１０（または０１）で、渦として示されている光分布の場合、軌跡は非常に小さな点であり、渦を使用して調べることができる形状のファミリーは、ポイント形状とポイントオブジェクト形状のみであり、それは、値ゼロの半径ではエネルギーも生成しない。「垂直半月」と名付けられた、図２のケース４２（または２４）として説明されている分布の場合、関連する形状のファミリーはより多様で、線や線オブジェクトだけでなく、複数のポイント形状やポイントオブジェクトも含まれる。追加のケースは、以下で展開されよう。

円錐屈折は、 Ｈａｍｉｌｔｏｎ， ’’Ｔｈｉｒｄ ｓｕｐｐｌｅｍｅｎｔ ｔｏ ａｎ ｅｓｓａｙ ｏｎ ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｓｙｓｔｅｍｓ ｏｆ ｒａｙｓ，’’ Ｔｒａｎｓ． Ｒｏｙａｌ Ｉｒｉｓｈ Ａｃａｄ．， ｖｏｌ． １７， ｐｐ． １－１４４ （１８３７）により予言され、Ｌｌｏｙｄ， Ｌｌｏｙｄ， Ｈ． （１８３１）． ’’Ｏｎ ｔｈｅ Ｐｈｅｎｏｍｅｎａ Ｐｒｅｓｅｎｔｅｄ ｂｙ Ｌｉｇｈｔ ｉｎ Ｉｔｓ Ｐａｓｓａｇｅ ａｌｏｎｇ ｔｈｅ Ａｘｅｓ ｏｆ Ｂｉａｘｉａｌ Ｃｒｙｓｔａｌｓ，’’ Ｐｈｉｌｏｓ． Ｍａｇ．， ｖｏｌ． １， ｐｐ． １１２－２０ （１８３１）により２ヶ月後に実験的に確認された光学現象である。前述の参考文献の両方は、参照により本明細書に組み込まれる。円錐屈折は、２軸結晶の光軸の方向への光線の伝播を表す。Ｈａｍｉｌｔｏｎは、光が中空の円錐状の光線の形で現れると予測した。

説明は、参考により本明細書に組み込まれる、Ｂｅｒｒｙ， ’’Ｃｏｎｉｃａｌ ｄｉｆｆｒａｃｔｉｏｎ ａｓｙｍｐｔｏｔｉｃｓ： ｆｉｎｅ ｓｔｒｕｃｔｕｒｅ ｏｆ Ｐｏｇｇｅｎｄｏｒｆｆ ｒｉｎｇｓ ａｎｄ ａｘｉａｌ ｓｐｉｋｅ，’’ Ｊ． Ｏｐｔ． Ａ： Ｐｕｒｅ ａｎｄ Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ， ｖｏｌ． ６， ｐｐ． ２８９－３００ （２００４）において提供される。超解像顕微鏡法のための円錐回折に基づく従来技術のシステムは、Ｓｉｒａｔ２０１６に記載されている。

米国特許第８，５１４，６８５号（Ｓｉｒａｔ’６８５）は、薄い結晶における円錐回折の特定の特性を説明し、円錐ビームを成形するための円錐回折の使用を示した。薄い２軸結晶は、通常の入射ビームの点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ （ＰＳＦ））を広範囲の光分布に変換し、分布の選択は、入力偏光と出力偏光によって制御される。実際には、制御可能な偏光子の間に２軸結晶を封入することにより、ビーム成形が実現される。偏光計に似たこのシンプルな光学セットアップは、あるパターンから別のパターンに異なるトポロジーでマイクロ秒単位で、またはさらに高速に切り替えることができる。さらに、これらのパターンは、同じ１次光ビームによって生成されるため、完全に共存する。

ＣＯＤＩＭビームシェーパーは、スキャンモジュールのアドオンとして使用され得、分布はサンプル上でスキャンされ、各スキャンポイントに対して複数のマイクロイメージが生成される。ＣＯＤＩＭシステムは、フランスのパリにあるＢｉｏＡｘｉａｌ ＳＡＳから入手できる。

ＣＯＤＩＭビームシェーパーは、円錐回折原理を使用して、コンパクトで局所的な光分布を生成する。各マイクロイメージには、アッベの限界に近い高周波数が大量に含まれている（図１に示すように、エアリーパターン１０１と比較して３に近い係数まで）。「シーン」と呼ばれるサンプルの領域に投影されるこれらの光分布は、当業者に周知のアルゴリズムを使用して分析される。マイクロイメージから超解像イメージを導出するのに適したアルゴリズムの例については、読者は、公開された出願ＷＯ２０１６／０９２１６１（ＵＳ２０１７／０３３６３２６として英語で公開され、以下「Ｓｉｒａｔ’１６１出願」という）を参照し、これは参照により本明細書に組み込まれる。これにより、一般的なオブジェクトの場合、解像度を最大２倍に改善して、超解像イメージを再構成できる。さらに、陽性の制約とスパース性を活用するこれらのアルゴリズムにより、適切なサンプルに対して解像度をさらに向上させ得る。

最終的に、はるかに低い分布ピーク電力、高量子収率カメラの使用、およびより長いカメラ露出時間の組み合わせにより、サンプルに送られる光のピーク電力－とエネルギー－が大幅に減少する。これが、この方法の非常に低い光退色および光毒性の理由である。これにより、フルオロフォアの飽和の問題も回避され、方法が線形かつ定量的になる。

本説明では、「エネルギー法則」という用語は次のように定義される。オブジェクトが数学的な抽象化、幾何学的形状としてモデル化されていると仮定すると、「エネルギー法則」は、形状パラメータおよび位置の関数としてのエネルギー間のパラメトリックな関係である。それは、パラメトリック空間のエネルギー依存性を定量化する関係を作成する。エネルギー法則には、幾何学的形状と同一の形状の発光オブジェクトから放出されるエネルギー分布が含まれ得る。

本説明では、Ｓｉｒａｔ’１８５で説明されているように、あるタイプの配布から別のタイプに切り替えるような方法で、光学特異分布は、所定の分布ファミリーから制御され得、外部手段を使用して光学特異分布のパラメータを変更できると想定されている。他の解が存在し、光学特異分布を制御する必要はなく、本発明の一部であるが、それらははるかに扱いにくいだろう。

本発明による方法を使用して実行されるイメージングは、「複合イメージング」と呼ばれ得、ウィキペディア、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｄｅｄ＿ａｐｅｒｔｕｒｅで定義されているように、コード化イメージングとも呼ばれ得、または、オブジェクトを説明するＳｉｒａｔ’１８５特許の趣旨において、シーンからの要素データがイメージまたはマップではないイメージングプロセスに関する「間接イメージング」とも呼ばれ得る。複合イメージングプロセスでは、物理的な機器によって測定されたデータは、「中間結果」（Ｓｉｒａｔ‘１６１出願で使用される用語）と呼ばれ、または、本説明で同義語として使用される要素（または基礎）データには、再構成プロセスを通じて再構成イメージを作成できる情報が含まれる。本発明では、我々は、本発明において複合イメージングプロセスを、イメージの特定のピクセルまたはマップ内の要素の特定の属性に対して特定の時間および位置で測定された光子の強度または光子の数を想定することはできないイメージングプロセスとして識別する。簡単に言うと、複合イメージングシステムでは、光子の強度または数はピクセルデータに直接変換されないが、それらのいくつかに関連する情報が含まれている。

超解像顕微鏡の領域では、ＣＯＤＩＭイメージングは、Ｓｉｒａｔ’１８５特許で参照されている複合イメージングプロセス、構造化照明顕微鏡（Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ（ＳＩＭ））、またはＰＡＬＭ／ＳＴＯＲＭなどの局在顕微鏡技術の１例である。

「測定手順」は、「基本特異測定」のセット、ならびに光検出器に記録された、ピクセル化されているかどうかにかかわらず、オブジェクトから入射する光、その強度、および任意でその空間分布を定量化する「光測定」のセットからなり、各基本特異測定は、所定の特異光分布の投影からなり、与えられたパラメータで、特異分布の軌跡が幾何学的形状を名目上のパラメータに埋め込むように配置される。場合によっては、情報収集を完了するために、所定の規則的な光分布の投影からなる「基本規則的測定」を使用することもできる。

測定の「入力」とは、光学特異分布の位置、そのタイプ、およびパラメータを指す。「出力」は、測定で記録された光強度、および／または光分布である。我々は、読者は当業者であり、「制御理論」に精通していると想定している。制御理論は工学と計算数学の学際的分野であり、入力を伴う動的システムの動作、およびそれらの動作がフィードバックによってどのように変更されるかを扱う（Ｗｉｋｉｐｅｄｉａから）。

「制御手段」とは、制御ハードウェアのセットを指し、入力と「制御アルゴリズム」を変更でき、正確にパラメータを取得するのに適切な方法で「エネルギー法則」を直接または逐次近似することで定量化するために必要な入力値の次の工程を予測し得る。「逆エネルギー法則」は、単一の特異分布または特異分布のセットの測定のセットから形状のパラメータを取得できる、最適または最適でないレシピである。それは、制御アルゴリズムに組み込まれる。それは、システムの機能パラメータ、生物学的オブジェクトに衝突する全体的なエネルギー－もしくはパワー－、測定速度、上記の組み合わせ、またはシステムの他の機能パラメータを最適にするために選択される。

特異分布の文脈では、「ゼロに近い値」は、投影光の最大値がこのポイントに衝突している場合。投影光または放出エネルギーで利用可能な最大強度よりもかなり小さい投影強度または放出エネルギーを定性的に説明するために使用されるエネルギーを指す。最大強度で照らされた場合、ゼロに近い強度またはエネルギーの定量値は、投影強度と分布の最大強度の間、または放出エネルギーと放出エネルギーの間で６倍である。ポアソンノイズを仮定すると、ゼロに近いエネルギーのノイズ値は最大エネルギーよりも著しく小さく、２．５倍未満近くなることを言及する価値がある。同様に、「ゼロに近い」幾何学的形状のパラメータ値は、パラメータの全範囲を２．５で割った値よりも小さくなる。

本発明の実施形態によれば、観察されるオブジェクトは、事前に知られているもしくは仮定されている特定の形状として、または潜在的な形状のリスト内の形状としてモデル化され得る。幾何学的形状は、次の点から説明され得る。
ａ．空間的位置、形状の「位置」は、形状、ほとんどの場合、光分布の重心で決定された原点の位置を指す。
ｂ．「形状パラメータ」を記述する「構造パラメータ」のセット、例えば、半径が等方性の円（図２Ｃ）について、楕円（図２Ｄ）、楕円の半軸の軸と角度とで表されるオブジェクトについて。

本明細書で使用される「機械学習」という用語は、明示的にそうするようにプログラムすることなく、統計的手法を使用して、コンピューターシステムにデータを「学習」する（例えば、特定のタスクのパフォーマンスを段階的に向上させる）能力を与えるコンピューターサイエンスの分野を指す。

「表現学習」および「深層学習」という用語は、上記の¶［００１５］で説明したように、ＬｅＣｕｎ２０１５に従って使用される。
ＬｅＣｕｎ２０１５は、一方では「表現学習」と「深層学習」との境界と、他方では「表現学習」と標準的な「機械学習」との境界を明確に描く。

「表現学習」および「深層学習」という用語は、本発明のすべての実施形態が両方に適用されるため、本明細書では互換的に使用される。本発明の一部は、機械学習にも適用され得る。

計測ケース（上記で定義）では、識別されたオブジェクトの名目上の位置でデータが取得される。「名目上の位置」は、オブジェクトを指す場合、以前の知識または仮説からオブジェクトの位置であると仮定された位置を意味するものとする。

本説明の目的のために、オブジェクトの名目上の位置を収集するために別個のメカニズムが使用されたと想定される。本発明の範囲内で、このメカニズムは、例えば、別のイメージングモダリティ内の、またはカメラ上で直接オブジェクトによって作成された光分布の重心の測定など、任意の位置特定技術を使用してもよい。
発明の根拠

本発明は、幾何学的形状としてモデル化された生物学的、生命科学または物理的オブジェクトのパラメータの測定のための新しい方法を紹介する。本明細書に詳細に記載されている方法に従って、システムは、基本的な幾何学的形状のパラメータ値に直接アクセスするために作成され、この方法とシステムは、特異光分布の特性を利用し、イメージングのような回折や、イメージングパラダイムと画像処理ツールを使用したパラメータ評価のような光子束によっても制限されない。

ここで説明する新しい測定方法は、測定へのアッベの解像度制限の直接適用の特定の制限という形で、最初に本明細書で説明した我々の知識に対する物理的洞察と相関する。

確かに、参考により本明細書に組み込まれる、Ｓｃｈｅｒｍｅｌｌｅｈ ２０１０またはＨｏｒｓｔｍｅｙｅｒ， ｅｔ ａｌ．， ’’Ｓｔａｎｄａｒｄｉｚｉｎｇ ｔｈｅ ｒｅｓｏｌｕｔｉｏｎ ｃｌａｉｍｓ ｆｏｒ ｃｏｈｅｒｅｎｔ ｍｉｃｒｏｓｃｏｐｙ．’’ Ｎａｔｕｒｅ Ｐｈｏｔｏｎｉｃｓ １０， ｐｐ． ６８－７１ （２０１６）によって説明されるように、アッベの解像度法則に戻ると、 アッベの限界を超えて情報を再構成するすべての「帯域幅外挿」技術は、事前の知識、仮定、または推測に依存し、いくつかのケースでは、これらは間違っている可能性がある。本明細書では、アッベの解像度法則を超えて、事前知識、仮定、推測なしに、測定についての知識の唯一のケース、黒い（ヌル）イメージのケース・・・を説明する。

陽性の制約により、ヌルイメージには信号が含まれていないため、アッベの制限を超えて上下の空間周波数はなく、すべての周波数コンテンツはゼロであることが完全にわかっている・・・。ヌルイメージにより、回折限界の光学測定から、アッベの限界を超えるゼロまでの高周波成分を定量化し得る。

これは、アッベの法則の素朴な見方に敵対的であり、アッベの法則は、アッベの限界を超える光学プロセスでは情報を取得できないと理解されている。本発明で説明される事例は、たとえそれが非常に特異的であっても、限界を超えて、理論的には無限大までの情報を収集することを可能にし、よって回折は無制限である。

この条件は、光学系および同様のユニポーラ信号に固有のものであり、回折限界とは無関係に、解に対する追加の物理的制約である陽性の制約によるものである。これらの概念は、電気信号または同様のバイポーラ信号には迅速に適用されない。陽性の制約は、何らかの理由で追加情報を許可することが知られているが、情報の拡張への寄与は、実際のほとんどの場合、わずかであり、十分に特性化または定量化されていない。本発明では、陽性の制約の影響は明確かつ決定的であり、アッベの限界の上下の空間周波数の正確な定量化を可能にする。

アッベの解像度のいくつかの定式化が共存する。アッベの解像度の好ましい表現は、Ｓｃｈｅｒｍｅｌｌｅｈ ２０１０のそれである。「この最短波長よりも小さい周期的なオブジェクトの詳細は、おそらくイメージに転送できない」。（Ｓｃｈｅｒｍｅｌｌｅｈ ２０１０のｐ．１６６）本発明の結果は、アッベの解像度法則の帰結を構成し、例外ではない。

しかし、本発明の結果は確かに例外であり、科学文献で広く知られているアッベの解像度法則の定式化の反論であり、「アッベの解像度の限界を超える周波数成分は測定できません」という慎重な表現ではない。

ほとんどの場合、ヌルイメージには情報が含まれておらず、この特異ポイントまたは例外は役に立たず些細なものであり、これらの場合のこの議論は無意味で空に見えるかもしれない。しかし、サイズがゼロの場合にのみ、名目上の位置に配置された光学渦によって照らされた、特定のサイズの孤立点の記録イメージは、まったくゼロになる。この特定のケースでは、イメージとそのすべての周波数成分の完全なヌル化は強力な尺度であり、これにより、ポイントのようなオブジェクトの位置だけでなく、後述するサイズも取得し得る。

本発明は、任意の複合イメージングシステムに適用することができ、ＣＯＤＩＭイメージングの場合により詳細に例示される新しい方法をさらに紹介する。直接ブリッジ、ほとんどの場合、要素データに直接特定のニューラルネットワークを適用することで構成される。前の段落では、我々は、複合イメージングプロセスで要素データ間の自然な経路（またはブリッジ）を適用して、計測手法を指示する方法について説明した。この段落では、我々は、任意のイメージ再構成アルゴリズムを使用せずに、要素データに直接、監視ありまたは監視なしの深層学習レイヤーを適用した、複合イメージングプロセスの要素データ間、または深層学習に自然経路（またはブリッジ）を適用する方法について説明する。さらに、このレイヤーは数回の測定からデータを収集することができる（ほとんどの場合連続）。このレイヤーの結果は、計測レイヤーまたはオブジェクトレイヤーのいずれかであり、視覚化、認定、および監視に引き続き使用できるイメージまたはマップステップを回避して、さらなる処理への直接入力となります。

また、直接計測法と深層学習との両方のプロセスを組み合わせて、さらに強力でよりパワフルな取得ツールを作製し得る。

本発明に従って説明される方法は、少なくともすべての先行技術の方法がイメージ収集を必須の工程として扱うという点で、これまで説明または示唆されてきたすべての先行技術の方法とは異なる。

Ｓｉｒａｔ’１８５特許は、検出光をニューラルネットワークレイヤーの直接入力として使用して、静的または動的な複数の形状（形状は、学習によって事前に決定または取得された基本形状のファミリーの一部である）として、シーンを分類できる深層学習またはニューラルネットワークレイヤーの使用を示唆していない。本発明によれば、生のデータ情報を基本的なオブジェクトとして、計量特性と属性とともに直接構造化するための深層学習レイヤー、これらの基本オブジェクトは、さらなる一般化の適切な基盤である。深層学習の観点と一致するこのアプローチは、本発明で開発された。

Ｓｉｒａｔ’１８５特許は、物理的現実に依存しており、我々の例、構造化の概念としてのインフルエンザＡウイルスのように、測定されたマップをフルオロフォアの記述子として定義するため、この新しいポジショニングは生物学的現実と一貫性があり、生物学的実体を定義する。

さらに、このメソッドは動的特性に拡張でき、時間依存データとして、またはできればより高レベルの動的パラメータとして取得され得る。要するに、例に戻ると、中間レイヤーは、形態学的な変化なしに、一定の速度で経路に沿って移動する１１０ｎｍのポイントオブジェクトの存在を決定し得、我々は、次のレイヤーであるオブジェクト分類レイヤーでは、それがインフルエンザＡウイルスであると想定する。

提案されたアーキテクチャの追加の利点は、再構成工程を回避することで再構成アーティファクトを回避することである。最高の再構成アルゴリズムでさえ、アーティファクトが発生しやすく、アーティファクトが存在する可能性があることは、生物学者による超解像技術の採用に対する障壁の１つである。さらに悪いことに、多くのアーティファクトが誤って小さなポイントまたはオブジェクトと見なされ、分類および定量化アルゴリズムがこれらのアーティファクトによって損なわれ得る。再構成を回避し、生データの分類と定量化を実行すると、このエラーの原因が完全になくなる。

前述のように、回折限界を超える情報は計測データに存在し、イメージングデータにも存在し得る。この貴重な情報は通常、再構成プロセスによって消去され、この情報を他のすべての情報とは別に処理できないため、一般的な手順を適用せざるを得ず、平均データ用に最適化されるが、これらの特定の場合には適合しない。
非イメージングプロセスによる幾何学的および生物学的情報

Ｓｉｒａｔ’１８５特許は、非イメージングプロセスを通じて幾何学的および生物学的情報を学習する方法を示唆していない。このような非イメージングプロセスでは、より高いレベルの情報は、マップを定量化するためにイメージを作成（または再構成）する必要なしに、またはＳｉｒａｔ’１８５特許用語で、汎用学習手順を使用して、測定された要素データから直接収集される。Ｓｉｒａｔ’１８５特許は、以下で説明するように、非イメージング直接学習がはるかに高い精度で情報を取得し、高い計算効率を実現し、データを損失しないことを理解していない。さらに、このような学習手順は、以下に説明し、アッベの法則の抜け穴と呼ばれる、光の非存在下で存在するデータを使用する能力を有し得る。
一般的な方法

本発明の典型的な実施形態によれば、以下の特徴が顕著である。
－名目上の位置での光の分布；投影光の波長は、光応答性材料との非弾性光相互作用を作成できるように選択され、幾何学的形状を埋め込むように特異分布が選択されているため、名目上のパラメータを使用すると、投影光と光応答性材料の非弾性相互作用によって作製された光から測定されるエネルギーはゼロになるであろう。
－アルゴリズム、「逆エネルギー法則」を適用して、エネルギー測定値からパラメータを取得する。

本発明による方法は、形状のパラメータを検索するために必要な測定のセットを収集するために、測定のシーケンスを動的にまたは動的ではなく制御する測定ハードウェアおよび測定手順を有利に使用し得る。

光応答性材料は、例えば、蛍光結合に基づく外因性またはいくつかのタンパク質の直接蛍光特性を使用して、またはラマン散乱を使用した、内因性であり得る。

ヒューリスティックな便宜のために、上記の高レベル言語での方法の一般的な記述の後に例を示し、当該例は、ポイントのようなオブジェクトの位置とサイズの同時測定であり、よりわかりやすくするために、ポイントオブジェクトは、前の段落で説明したように、インフルエンザタイプＡウイルスに関して説明されている。

一般的な方法は、図２Ｃに示す２次元の均一な円としてモデル化されたウイルスの最も単純なケースを使用して説明され得る。生物学的オブジェクトはウイルスである。この例では、測定の目標は８０～１２０ｎｍのウイルスの直径を定量化することである。ウイルスは２次元の表面に配置されていると想定されている。

生物学的オブジェクトは、図２Ｃのように、その位置とウイルスの半径Ｒとで表されるポイントオブジェクトとしてモデル化されたウイルスである。測定は、生体試料の渦をスキャンできる検流計の２次元オプトメカニカルシステムで構成される測定ハードウェアを使用して、ウイルス上に配置された蛍光分子を励起できる光の渦を投影することで構成され、この蛍光分子は、複数の位置（ｘｉ、ｙｉ）にポイントオブジェクトの幾何学的形状を埋め込み、分析アルゴリズムまたは反復アルゴリズムを使用して、光検出器でエネルギーを測定し、最小限のエネルギーで位置に収束する。この場合、逆エネルギーの法則は非常に単純であり、位置は最小の位置であり、エネルギーは最小で半径に二次的に依存する（式３）。

一般に、本発明による測定方法は、１または複数の異なる特異分布を使用してゼロ、１次元および２次元の軌跡を検索し、１または複数の単純なパラメータおよびより複雑なまたは複合パラメータを同時に検索する。
ポイントオブジェクトのサイズと位置の測定

本方法の第１実施形態は、形状パラメータを測定するために提示される：二次元でのポイントオブジェクトの位置およびサイズの測定。これは、生物学的オブジェクトの測定で最も一般的なケースの１つである。さらに、ラインの位置と太さの測定に必要な変更を加えて拡張し得、これは、生物学的オブジェクトの測定で広く使用されている別のタスクである。

半径Ｒが原点に配置され、ｎ_Ｄと示されるように蛍光体の密度が均一である、円形の発光オブジェクト（図２Ｃを参照）を想定し、Ｎ_Ｅ＝ｎ_ＤπＲ^２がフルオロフォアの総数であると想定すると、Ｓｉｒａｔ’１８５特許に詳細に記載されているような、（ｖ、０）として与えられる渦の位置を平面内で高精度に移動するように適合された光学システムが提供される。本明細書で使用される極座標表記「（ｍ、ｎ）」では、ｍはｚ軸に対して指定された横断面内の半径ベクトルを指し、ｎは所定の軸（図２Ｃのｘ）と半径との間の角度を指す。一般性を失うことなく、問題の対称性により、渦はｘ軸上に位置している、つまり角度はゼロであると仮定する。

位置の関数としての渦の強度は、係数ｉ_ｓを介して、渦ヌルと強度が測定される位置との間の距離に二次的に依存する。より具体的には、ｖ＞Ｒの場合（Ｒは発光オブジェクトの半径）、エネルギーの法則は次のようになる。

エネルギー法則は、２つの独立した成分の合計である。
ａ．Ｉ_ｖ位置に依存し、半径に依存しない、極小点の最小値となるように、この最小値が原点に配置され、Ｎ_Ｅフルオロフォアが名目上の位置に配置される。
ｂ．Ｉ_Ｒ、位置に依存しない半径依存性。

ｖ＝０の名目上の位置では、エネルギーは式（３）で与えられる。逆エネルギーの法則は、エネルギーの２次である。最適なイメージング実験によって得られた同じ５％の特性は、半径の関数としてのエネルギーの２次依存性により、わずか１００光子でショットノイズが制限されたシステムで到達し得る。
ポイントオブジェクトのサイズ、位置、楕円率の測定

本発明の第２実施形態では、形状パラメータを測定することができ、ポイントオブジェクトの位置、サイズ、および楕円率を二次元で測定し得る。これは、おそらく既存のパラダイムを使用して実行することができないため、生物学的オブジェクトの測定において最も一般的ではないケースである。

想定
ａ．楕円形の発光オブジェクト、図２Ｄ、それぞれ短軸と長軸ａおよびｂ、
ｂ．前の段落のように極座標ではなく、デカルト座標で（０、ｙ_０）によって与えられる分布位置、
ｃ．ｎ_Ｄとして表されるフルオロフォアの均一な密度、
ｄ．図３の半月分布を投影する、
ｅ．図３のケース２４の半月”分布は、長軸（図２Ｄのｘ軸）の方向に合わせられている。
一次近似では、長軸の方向に垂直な方向ｙの強度分布の２次依存性が生じる。Ｎ_Ｅ＝ｎ_Ｄπａｂは、フルオロフォアの総数であり、πａｂは、楕円の面積であることを示し得る。

Ｓｉｒａｔ’１８５特許に詳細に説明されているように、（ｖ、０）として与えられる渦の位置を平面内で高精度に移動するように適合された光学システムが提供される。極座標表記では、ａはｚ軸に対して指定された横断面の半径ベクトルを示し、ｂは所定の軸（図２Ｃのｘ）と半径との間の角度を示す。一般性を失うことなく、問題の対称性により、渦はｘ軸上に位置している、つまり角度はゼロであると仮定する。

分布は、図２Ｄのｘ軸である半長軸ｂに角度調整され、ｙ_０だけずれているという仮定の下で、位置ｙの関数としての分布の強度は、係数ｉ_ｓを介して、軸ｙ上の距離に二次的に依存し、ｘには依存しない。
楕円の方程式は以下によって与えられる。
ここで、与えられた（ｘ、ｙ）デカルト位置で、強度はｉ_ｓ（ｙ－ｙ_０）^２であり、ｉ_ｓは２次パラメータである。
特定のｘ＝Ａ位置でのｙ軸に沿った積分エネルギーは、次の式で与えられる。
ここで、前述のとおり、Ａは楕円上に配置され、Ａ＝ａｓｉｎ（ｔ）である。ｘの積分は、ｙ_０に二次関数的に依存する２つの項、第１の項、Ｉ_ｙ０を生成する。
再び式（４）とその導関数ｄｘ＝ｂｓｉｎ（ｔ）ｄｔを使用する。最初の項、Ｉ_ｙ０はｙ_０に依存する。
これは、極小点で得られたエネルギーであり、放射フルオロフォアの総数、Ｎ_Ｅ、が原点に位置している。第２項、Ｉ_ａは、方程式を介して半軸値に依存する。
ここでも式（４）とその導関数ｄｘ＝ｂｓｉｎ（ｔ）ｄｔを使用する。第２項、Ｉ_ｙ０は、式（７）を介して半軸に依存する
上記は、楕円の半軸に依存するエネルギーであり、ａ．短軸（図２Ｄのｙ軸）の方向に合わせた、図３のケース２４の半月分布を使用した同様の測定では、長軸に応じた項が得られ、また、これら２つの項を比較すると、楕円率を測定し得る。
２つの異なる平面に配置された２点の位置の評価

本発明のさらなる実施形態によれば、空間内の２点の相対位置は、２点が２つの異なる平面に配置されている場合でも、本明細書に記載の技術を使用して測定され得る。

図４を参照すると、２つの異なる平面に配置された２点の相対位置は、実際的な観点からは難しい問題であり、半導体の処理における最も重要な計測ステップの１つであるオーバーレイ計測の中心である。図３のケース０２のように三日月を想定すると、この特異分布の軌跡はスパイラル４０１である。この分布に埋め込まれた幾何学的形状には、らせん形状だけでなく、らせんに沿って配置された複数のポイントも含まれる。２つのポイントが２つの異なる平面４０３と４０５にあるが、同じスパイラル上にある場合、スパイラルに沿って１つのポイントの他方に対する相対位置を監視し、２つの異なる平面での２ポイントの位置を理論的に無限の解像度で評価し得る。
円錐回折を使用した方法の実施

本発明の実施形態による方法は、円錐回折を使用して有利に実施することもでき、参考により本明細書に組み込まれるＣａｒｏｎ， Ｊ．， ｅｔ ａｌ，， ’’Ｃｏｎｉｃａｌ ｄｉｆｆｒａｃｔｉｏｎ ｉｌｌｕｍｉｎａｔｉｏｎ ｏｐｅｎｓ ｔｈｅ ｗａｙ ｆｏｒ ｌｏｗ ｐｈｏｔｏｔｏｘｉｃｉｔｙ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｉｎｇ，’’ Ｃｅｌｌ Ａｄｈｅｓｉｏｎ ＆ Ｍｉｇｒａｔｉｏｎ ８（５）： ４３０－４３９ （２０１４）の教示を使用し得る。

次に、図５を参照して、本発明の一実施形態を説明する。一般に数字５００で示される方法は、物理的オブジェクトを特徴付ける特定の次元の幾何学的特徴の固有の幾何学的パラメータの値を決定するために提供される。クレームされた方法を実施するために、上記で詳細に説明したように、ＣＯＤＩＭまたは計測アプリケーションハードウェアが提供され（工程５０１）、特異光分布が物理的オブジェクトに投影される（５０３）。幾何学的特徴と相互作用した特異光分布によって励起された光は、検出器に衝突するときに検出される（５０５）。固有の幾何学的パラメータの定量化として、特異エネルギー分布の１または複数の位置で戻りエネルギー分布が識別され、定量化される（５０７）。最後に、固有の幾何学的パラメータの値は、固有の幾何学的パラメータの値に基づいて決定される（５０９）。

ＣＯＤＩＭイメージングでの標準的な深層学習概念の使用について、図７を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト２０は、適切な低ノイズのイメージング検出器２２によって検出される一連の局所的な特異分布２１によって照らされる。一連のミクロイメージ２３（本明細書では「μイメージ」とも呼ばれる）は、適切なアルゴリズム２５によって記録および処理されて、再構成された超解像画像１０が得られる。いくつかのレイヤー１１、１２および１３を含む深層学習ネットワークが、図６で説明したプロセスと同様のプロセスで、再構成されたイメージに適用される。制御システム２４は、取得と処理とを制御および同期するために使用される。

次に、ＣＯＤＩＭイメージングでの直接深層学習の使用について、図８を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト２０は、適切な低ノイズのイメージング検出器２２（本明細書では「検出器」とも呼ばれる）によって検出される一連の局所的な特異分布２１によって照らされる。一連のマイクロイメージ２３は、再構成せずに、深層学習レイヤー２６に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー１２および１３は、最初のレイヤーの結果に適用される。制御システム２４は、取得と処理とを制御および同期するために使用される。

複合イメージングシステムでの標準的な深層学習概念の使用について、図９を参照して説明する。ヒューリスティックな便宜のために猫としてグラフィカルに表される一般的なオブジェクト１２０は、検出器２２によって検出される一連の局所化された特異分布または規則的な分布２１によって照らされる。本明細書では「中間画像」とも呼ばれる一連のマイクロイメージ２３は、猫の絵の一部のサブイメージとして表されているが、これは単なるグラフィカルな人工物である。一連のマイクロイメージ２３は、適切なアルゴリズム２５によって記録および処理され、再構成された超解像画像１０が生成される。いくつかのレイヤー１１、１２および１３を含む深層学習ネットワークが、図６で説明したプロセスと同様のプロセスで、再構成されたイメージに適用される。制御システム２４は、取得と処理とを制御および同期するために使用される。

次に、一般的な複合イメージングのケースでの直接深層学習の使用について、図１０を参照して説明する。猫として表される一般的なオブジェクト１２０は、検出器２２によって検出された一連の局所化された特異分布または規則的な分布２１によって照らされる。一連のマイクロイメージ２３、または中間イメージは、猫の絵の一部のサブイメージとして表されるが、これは単なるグラフィカルな人工物である。一連のマイクロイメージは、再構成せずに、深層学習レイヤー２６に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー１２および１３は、最初のレイヤーの結果に適用される。制御システム２４は、取得と処理とを制御および同期するために使用される。

ＣＯＤＩＭイメージングでの制御された直接深層学習の使用について、図１１を参照して説明する。細菌としてグラフィカルに表される生物学的オブジェクト２０は、一連の局所化された特異分布２１によって照らされ、それらの位置、強度、タイプ、持続時間、およびタイミングを含む分布のシーケンスは、任意のタイプの外部情報３０、および／または処理からの部分的または最終的な情報に基づいて、制御システムによって決定される。異なる光分布によって照らされたオブジェクトによって放射される光分布は、適切な低ノイズのイメージング検出器２２によって検出される。一連のマイクロイメージ、２３は、再構成せずに、深層学習レイヤー２６に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー１２および１３は、最初のレイヤーの結果に適用される。制御システム２４は、取得と処理とを制御および同期し、分布のシーケンスを決定するために使用される。

次に、一般的な複合イメージングのケースでの制御された直接深層学習の使用について、図１２を参照して説明する。猫としてグラフィカルに表されている一般的なオブジェクト１２０は、一連の局所化された特異分布または正規分布２１によって照らされる。一連のマイクロイメージ２３または中間イメージは、猫の絵の一部のサブイメージとして表されるが、これは単なるグラフィカルな人工物である。それらの位置、強度、タイプ、持続時間、およびタイミングを含む分布のシーケンスは、任意のタイプの外部情報３０、および／または処理からの部分的または最終的な情報に基づいて、制御システムによって決定される。異なる光分布によって照らされたオブジェクトによって放射される光分布は、検出器２２によって検出される。一連のマイクロイメージは、再構成せずに、深層学習レイヤー、２６に直接適用され、これは、標準プロセスで使用されるレイヤーとは異なり得る。標準プロセスで使用されるレイヤーとは異なり得る追加のレイヤー１２および１３は、最初のレイヤーの結果に適用される。制御システム２４は、取得と処理とを制御および同期し、分布のシーケンスを決定するために使用される。
深層学習を使用してシーンを分類する

本発明の実施形態による方法に一般的に関連する特徴には以下が含まれる。
－複数の発光生物学的オブジェクトからなり、各オブジェクトは発光幾何学的形状としてモデル化され、幾何学的形状はパラメータの適切なセットによって定量化される、物理的または生物学的シーン、
－Ｃａｒｏｎ２０１４で説明したイメージングケースや上記の計測ケースなどのハードウェアセットアップ、
－規則的または疑似規則的グリッド上の名目上の位置での特異分布の投影からなる各測定、「イメージングケース」と呼ばれる、またはカスタムグリッド上、「計量ケース」と呼ばれ、計量の場合、特異分布はそれらが幾何学的形状を埋め込むように選択されるため、名目上のパラメータでは、測定されるエネルギーはゼロになる、測定のセット、
－幾何学的特徴と相互作用し、検出光を構成する光がピクセル化されているかどうかにかかわらず、検出器に衝突する特異光分布から光を検出する、
－シーンを静的または動的な複数の形状として分類し得、当該形状は、学習によって事前に決定または取得された基本形状のファミリーの一部である、ニューラルネットワークレイヤーの直接入力としての検出光を直接使用する深層学習またはニューラルネットワークレイヤー。

本発明の他の実施形態によれば、標準または深層学習手順による要素データの分析により、形状のパラメータを取得するために必要な改善された測定セットを収集するために、直接および動的な方法は、制御ハードウェアと制御手順とを提供し、動的または非動的に、一連の測定と検出光を制御し得る。
深層学習の実施形態の詳細

本発明の実施形態によれば、Ｃａｒｏｎ２０１４で説明されているＣＯＤＩＭ－円錐解析顕微鏡法、または前述の計測法を実装するハードウェアによって取得されたイメージングおよび計測データを分析するために、深層学習の特異性と利点とを使用する方法が提供される。

これらの方法に基づいて、幾何学的特徴の光学測定のための新しいシステムが本明細書で説明され、より詳細には、光学系および最小光子束によって課せられる回折限界よりも高い解像度を伴う測定のための方法が説明される。

本発明の一実施形態は、以下の実施例によって説明することができ、この実施例は説明のためだけに使用されており、テスト済みの実験ケースを表すことを意図したものではない。発光オブジェクトは生物学的オブジェクトであると想定され、この生物学的オブジェクトは、説明のために、図２Ａに概略的に示されている同じインフルエンザタイプＡウイルス（ＩＡＶ）であると想定されている。このウイルスは８０～１２０ｎｍの典型的なサイズを持つことが知られており、ほとんどの場合球形であることが知られているが、場合によっては糸状であり得る。参考により本明細書に組み込まれるＢａｄｈａｍ ｅｔ ａｌ．， “Ｆｉｌａｍｅｎｔｏｕｓ Ｉｎｆｌｕｅｎｚａ Ｖｉｒｕｓｅｓ，” Ｃｕｒｒｅｎｔ ｃｌｉｎｉｃａｌ ｍｉｃｒｏｂｉｏｌｏｇｙ ｒｅｐｏｒｔｓ， ｖｏｌ． ３， ｐｐ． １５５－６１ （２０１６）は、「ヒトの臨床感染におけるＩＡＶ形態の生物学的重要性は大きな関心事である。」と述べている。ＩＡＶウイルスは、いくつかの適切な蛍光タンパク質でその体積がすべて均一にマークされていると想定されている。いくつかのモデルを使用して、ウイルスを説明できる。ウイルスは、楕円（図２Ｄ）としてモデル化されたポイントオブジェクトとして記述され、パラメータは、デカルト座標に関して、半短軸ａ、半長軸ｂ、および長軸の角度θである。

本発明の実施形態によれば、潜在的に、ウイルスの毒性を評価するために、ウイルスの位置および形態の動的変化が評価される。
ＣＯＤＩＭ 実施形態

深層学習を使用したイメージングには、Ｃａｒｏｎ２０１４で説明されているＣＯＤＩＭシステムを適用できるが、計測学では、計測アプリケーションで説明されているセットアップが好ましい。

本発明の実施形態によれば、Ｃａｒｏｎ２０１４で説明されているＣＯＤＩＭ－円錐解析顕微鏡法によって取得されたイメージングおよび計測データを分析するために、深層学習の特異性と利点とを使用する方法が提供される。
ニュートラルネットワーク実施形態

参考により本明細書に組み込まれるＳｐｉｌｉｏｔｉｓ ｅｔ ａｌ．， “ Ｐｒｉｍｉｎｇ ｆｏｒ ｄｅｓｔｒｕｃｔｉｏｎ： ｓｅｐｔｉｎｓ ａｔ ｔｈｅ ｃｒｏｓｓｒｏａｄｓ ｏｆ ｍｉｔｏｃｈｏｎｄｒｉａｌ ｆｉｓｓｉｏｎ ａｎｄ ｂａｃｔｅｒｉａｌ ａｕｔｏｐｈａｇｙ，” ＥＭＢＯ Ｒｅｐｏｒｔｓ， ｖｏｌ． １７， ｐｐ． ９３５－３７ （２０１６） （「Ｓｐｉｌｉｏｔｉｓ ２０１６」）は、以下を教示する。
ミトコンドリアは、細胞の生存、プログラムされた細胞死、およびオートファジーに不可欠な細胞小器官である。それらは分裂と融合のサイクルを経て、感染性病原体によって破壊され、多くのヒトの病気で変化する。
Ｓｐｉｌｉｏｔｉｓ ２０１６の９３５。
参考により本明細書に組み込まれるＰａｇｌｉｕｓｏ ｅｔ ａｌ．， “Ａ ｒｏｌｅ ｆｏｒ ｓｅｐｔｉｎ ２ ｉｎ Ｄｒｐ１－ｍｅｄｉａｔｅｄ ｍｉｔｏｃｈｏｎｄｒｉａｌ ｆｉｓｓｉｏｎ”， ＥＭＢＯ Ｒｅｐｏｒｔｓ， ｖｏｌ． １７， ｐｐ． ８５７－７３ （２０１６） （“Ｐａｇｌｉｕｓｏ ２０１６”）は、以下を示す。
ミトコンドリアの分裂を調節すると思われる複数のメカニズムの中で・・・セプチン２は、ミトコンドリアの収縮を媒介することにより重要な役割を果たす。
Ｐａｇｌｉｕｓｏ ２０１６、要約、強調追加。
この研究では、ＢｉｏＡｘｉａｌ ＣＯＤＩＭシステムを使用して、データを取得して画像を再構成することにより、ミトコンドリアのイメージを取得した。

ミトコンドリアの再構成されたイメージは、図１０に示すように、生物学的状態に関する情報を収集するために、深層学習ネットワークの入力として使用でき、あるいは、図１１に示すように、収集したデータを直接深層学習ネットワークに供給し得る。

本明細書に記載された本発明の実施形態は、単なる例示であることを意図し、変形および修正は、当業者には明らかであろう。そのような変形および修正はすべて、添付の特許請求の範囲で定義される本発明の範囲内にあるものとする。

Claims (3)

1. ＣＯＤＩＭハードウェアによって取得されたイメージングデータを用いて、少なくとも１つの幾何学的特徴にシーンを分類するための深層学習の方法であって、
   ａ．第１波長と、特異点の位置と、制御された空間的変動とによって特徴づけられる特異光分布を、発光試料へ投影することと、
   ｂ．前記発光試料と相互作用した特異光分布によって、励起された光を、イメージング検出器に衝突するときに検出することと、
   ｃ．前記発光試料上の特定の位置での幾何学的特徴を表す２次元マップの形態の戻りエネルギー分布の特徴を識別することと、
   ｄ．深層学習によって得られたデータの分析結果に基づいて固有の幾何学的パラメータの値を決定することであって、当該データは前記戻りエネルギー分布と前記発光試料の幾何学的特徴との相関を含む、当該決定すること、を含む、
   当該深層学習の方法。
2. 前記試料が動的な試料である、請求項１に記載の方法。
3. 前記試料が静的な試料である、請求項１に記載の方法。