JP7036192B2 - 細胞観察装置 - Google Patents

Description

本発明は細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、ホログラフィ顕微鏡により物体波と参照波との干渉縞を記録したホログラムを取得し、そのホログラムデータに基づいて位相情報や強度情報を算出したうえで位相画像や強度画像等を作成する細胞観察装置に関する。

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２、非特許文献１等参照）。

デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅（強度）情報を取得し、再構成画像として強度画像や位相画像を作成する。こうしたデジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がないという利点がある。

デジタルホログラフィック顕微鏡には、インライン（in-line）型、オフアクシス（off-axis）型、位相シフト型などの方式がある。これら各方式では主として、ホログラムを取得するための光学系の構成が相違している。オフアクシス型では通常、レーザ光源から出射した光を参照光と物体に照射される照射光とに分割し、該照射光に対し物体を透過して来た物体光と参照光とを互いに異なる入射角で以てイメージセンサに入射させる。一方、インライン型では、レーザ光源から出射した光を分割せずに物体に照射し、物体を透過して来た物体光と物体を透過せずに該物体の近傍を通過した参照光とを共にイメージセンサに略垂直に入射させる。また、位相シフト型では、位相シフト干渉計を用い分割した参照光の光路長を複数段階に変化させることで、位相が複数段階に相違するホログラムを取得する。

いずれの方式であってもデジタルホログラフィック顕微鏡では、取得したホログラムデータに基づいて光波の位相情報及び振幅情報を算出し、それを画像化する処理をコンピュータで行う必要がある。例えば特許文献１、非特許文献２等には、インライン型デジタルホログラフィック顕微鏡で取得される複数の波長光についてのホログラムに基づく光波伝播の反復計算による位相回復方法が提案されているが、こうした計算はかなり複雑で計算量も多い。

培養中の生体細胞を観察するための細胞観察装置では、培養プレート全体又は該プレートに形成されているウェル全体の広い範囲について各細胞が詳細に観察できる程度の高い解像度の画像を作成する必要がある。デジタルホログラフィック顕微鏡を用いた細胞観察装置で、こうした位相画像や強度画像を得るためには、観察対象領域（例えば培養プレート全体）を細かく区切った多数の小領域についてそれぞれホログラムを取得し、そのホログラムに基づく演算処理を行って小領域毎の位相情報や振幅情報の２次元分布を求め、多数の小領域のそうした２次元分布を合成して観察対象領域についての画像を再構成する必要がある。

上述したように、位相情報等の算出や画像の再構成処理の計算量はもともと多いため、多数の小領域毎にこうした計算を行う場合、その計算量はかなり膨大になる。そのため、或る程度性能の高いコンピュータを使用したとしても、測定を開始してから観察対象領域についての位相画像が再現されるまでには時間が掛かる。

本発明者らの検討によれば、例えば培養プレート全面を９００個程度の小領域に分割し、各小領域についてそれぞれ高い解像度（例えば４０００×３０００画素／枚）で複数の波長についてのホログラムを取得する装置において、測定開始から位相画像の再構成処理が終了するまで１時間以上掛かる。即ち、測定開始時点から１時間以上の時間が経過したあとでないと、試料の位相画像や強度画像を観察することができない。

観察対象である培養プレート中に異物の混入などの不具合があったり、測定の失敗又は不手際があったりした場合、測定自体が無駄になるが、上述したようにそうした不具合が判明するのは測定開始時点からかなり時間が経過してからである。そのため、測定時間が無駄に費やされてしまうことになり、細胞の観察作業や解析作業の効率を低下させるという問題がある。

こうした課題に対し、既存の装置では、ホログラフィック顕微鏡において観察対象領域全体のホログラム画像が得られると、それを直ちに該顕微鏡の制御用のコンピュータの画面上に表示し、作業者がそれを確認できるようにしている。ホログラム画像は画像再構成によって得られる位相画像や強度画像とは異なり、個々の細胞についての情報は殆ど得られないものの、培養プレート中のウェルの輪郭や大きな異物などは十分に視認が可能である。そこで、作業者は表示されたホログラム画像を見て、例えば装置への培養プレートの設置の不具合や大きな異物の混入などの異常状態を確認したならば、その時点で処理の続行を中止させて状況を確認する。これにより、一部の不具合については、再構成された位相画像を確認する前に、即ち撮影終了の直後に、不具合を見つけて無駄な処理が実行されることを回避することができる。

しかしながら、上述したようにホログラム画像は位相画像や強度画像とは異なり、個々の細胞が明瞭に観察できる画像ではなく、小さな異物等が混入していても判別するには困難である。そのため、例えば細胞の培養条件が不適切あって分化が異常に進行してしまっていたり目的のものとは異なる細胞が混入してしまっていたりして廃棄する必要があるような試料であっても、位相画像や強度画像を確認するまで分からず、無駄な時間と人手を費やしてしまうことになる。こうしたことから、煩雑で時間が掛かる処理の実行前に或いは処理の実行開始後であってもその初期段階で、上述したような試料や撮影の不具合を検出できる装置が強く要望されている。

国際特許公開第２０１６／０８４４２０号 特開平１０－２６８７４０号公報

「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年３月６日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ペン・バオ（Peng Bao）、ほか３名、「レンズレス・フェーズ・マイクロスコピー・ユージング・フェーズ・リトライバル・ウィズ・マルチプル・イルミネーション・ウェーブレングス（Lensless phase microscopy using phase retrieval with multiple illumination wavelengths）」、アプライド・オプティクス（Applied Optics）、ジ・オプティカル・ソサイエティ・オブ・アメリカ（The Optical Society of America）、2012年、Vol. 51、No. 22、pp. 5486-5494

本発明は上記課題を解決するためになされたものであり、その目的とするところは、ホログラフィック顕微鏡により取得されたホログラムに基づいて位相回復等の演算処理を行って細胞を含む試料についての位相画像や強度画像を再構成する細胞観察装置において、試料の不具合や測定の不手際などの発生をユーザが迅速に且つ的確に把握することで、無駄な時間や人手を費やすことを回避することができる細胞観察装置を提供することである。

上記課題を解決するために成された本発明は、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)光源部と、
b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)前記測定制御部による制御の下で、所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するとともに、前記観察対象領域に対応する位相情報の２次元分布を示す位相画像及び／又は強度情報の２次元分布を示す強度画像を作成する第１再構成画像作成部と、
f)前記第１再構成画像作成部による処理に先立って又は該処理と並行して、ユーザにより指定された特定の一又は複数の測定位置又は範囲において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するとともに、当該測定位置又は範囲に対応する位相情報の２次元分布を示す部分位相画像及び／又は強度情報の２次元分布を示す部分強度画像を作成する第２再構成画像作成部と、
g)前記第２再構成画像作成部で作成された部分位相画像及び／又は部分強度画像を表示部に表示する表示処理部と、
を備えることを特徴としている。

本発明に係る細胞観察装置では、典型的には、前記試料は細胞の培養容器であり、前記ホログラフィック顕微鏡によるホログラムデータの取得が可能な最大の領域はその培養容器全体又はその一部の領域であるものとすることができる。上記培養容器は、一又は複数のウェルが形成された細胞培養プレート、シャーレ、大量培養を目的とした培養フラスコなどである。したがって、本発明に係る細胞観察装置は、こうした培養容器において培養中である生体細胞を非侵襲で観察するのに好適な装置である。

本発明に係る細胞観察装置において、移動部は例えば、その位置が固定された培養プレートに対して光源部及び検出部を一体に移動させることで、該培養プレート上で光源部から出射した光が照射される測定位置を変化させる。測定制御部は該移動部により例えば光源部及び検出部を一体にステップ的に移動させつつ、培養プレート内の一つの測定位置に光（一般的にはコヒーレント光）を照射し、それにより検出部の検出面上に形成されるホログラムによる光強度の２次元分布を示すデータ（ホログラムデータ）を取得する、という動作を繰り返す。

第１再構成画像作成部は、異なる測定位置においてそれぞれ得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出し、得られた位相情報及び／又は強度情報に基づいて観察対象領域に対応する位相画像及び／又は強度画像を作成する。但し、一般に多数の測定位置での測定が行われるため、ホログラムデータは膨大な量であり、位相画像や強度画像の作成には時間が掛かる。一方、第２再構成画像作成部は、第１再構成画像作成部による処理よりも先行して又はその処理と並行して、ユーザにより指定された特定の一又は複数の測定位置か一つの測定位置中若しくは複数の測定位置に跨る所定の範囲において得られたホログラムデータのみに基づいて位相情報及び／又は強度情報を算出し、得られた情報に基づいて部分位相画像及び／又は部分強度画像を作成する。この部分位相画像及び／又は部分強度画像が作成される範囲は、観察対象領域全体に比べれば遙かに小さな領域に限定される。即ち、部分位相画像又は部分強度画像は観察対象領域全体の中のごく一部に対応する画像である。そして表示処理部はこの部分位相画像及び／又は部分強度画像を表示部の画面上に表示する。

第２再構成画像作成部での処理の対象であるホログラムデータの量は第１再構成画像作成部での処理の対象であるホログラムデータに比べて格段に少ない。そのため、第２再構成画像作成部がホログラムデータを読み込むのに要する時間は第１再構成画像作成部がホログラムデータを読み込むのに要する時間に比べて遙かに短いし、第２再構成画像作成部における演算処理や画像再構成に要する時間は第１再構成画像作成部におけるそれに比べて遙かに短い。そのため、部分位相画像や部分強度画像は、測定が終了した時点から比較的短い時間で表示される。

上述したように、部分位相画像や部分強度画像は観察対象領域全体の中のごく一部分に対応する画像であるが、ユーザが適切な又は特に重要な測定位置や範囲を指定することで、表示された部分位相画像や部分強度画像から、測定（撮影）の適否や細胞の異常の有無、或いは異物の混入などを、観察対象領域全体の位相画像が作成される前に確認することができる。それにより、観察対象領域全体の位相画像等の再構成処理が不要であると作業者が判断したときには、その処理を実施しないことで、或いは処理が開始されてしまっていてもその処理を途中で中止させることで、無駄な時間や手間が費やされることを回避することができる。

なお、本発明において、インライン型、オフアクシス型、位相シフト型などのホログラフィック顕微鏡の方式は問わないが、光学系の構成が簡素であって試料と光源部との距離を複数段階に変化させる必要がないために駆動機構も簡素になるという点で、複数の波長におけるホログラムを利用するインライン型の構成が望ましい。

また本発明において、好ましくは、
前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
前記第２再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
をさらに備える構成とするとよい。

ホログラム画像は位相画像等と異なり、測定終了後直ちに表示することが可能である。また、測定中であっても一つの測定位置についての測定が終了する度にその測定位置に対応する部分的なホログラム画像を表示することもできる。このホログラム画像はホログラムに対応する光強度の２次元分布であるので、生体細胞については十分に可視化されないことが多いものの、大きな段差があるウェルの縁部などについては十分に視認可能な画像である。そこで、作業者は、測定実行中又は測定終了直後に、表示されたホログラム画像上で例えばどのウェルのどの部分の部分位相画像や部分強度画像を見たいかを指示入力部により指示する。これにより、作業者は所望の測定位置や範囲の部分位相画像や部分強度画像を短い待ち時間で確認することができる。

また本発明では、部分位相画像と部分強度画像とのいずれか一方のみを表示するようにしてもよいが、部分位相画像では細胞は見え易いものの塵埃などの異物は見えにくい傾向にある。逆に、部分強度画像では異物は見え易いものの細胞は見えにくい傾向にある。したがって、より好ましくは、同じ範囲の部分位相画像と部分強度画像との両方を表示するほうがよい。

即ち、本発明において、好ましくは、
前記第２再構成画像作成部は、特定の測定位置又は範囲に対応する部分位相画像及び部分強度画像を作成し、
前記表示処理部は、前記部分位相画像及び前記部分強度画像を同一画面上に表示する構成とするとよい。

また、ホログラフィック顕微鏡で得られたホログラムデータを用いれば、演算処理によって異なる焦点位置の位相情報や強度情報を求めることができる。そこで、本発明において、
前記第２再構成画像作成部は、複数の焦点位置における部分位相画像及び／又は部分強度画像を作成し、
前記表示処理部は、ユーザが焦点位置を指示する焦点指示入力部を含み、該指示入力部により指示された焦点位置における部分位相画像及び／又は部分強度画像を表示する構成とするとよい。

また上記構成の一実施態様として、前記焦点指示入力部は、画面上に表示されたスライダーと、該スライダーのノブを移動させる操作部と、を含み、該ノブの位置に応じて焦点位置が変化するものである構成とすることができる。

この構成によれば、焦点位置が異なる部分位相画像や部分強度画像を容易に比較することができるので、作業者は、例えば細胞の状態が最も鮮明に観察できる部分位相画像を選択したうえで試料の良否や測定の適否などを判断することができる。それにより、より適切な判断を下すことができる。

また上記構成の別の実施態様として、
前記試料は複数のウェルが形成された培養プレートであり、
前記表示処理部より前記位相画像及び／又は強度画像が表示部に表示されるときに、ウェル毎にユーザが焦点位置を指示する焦点指示入力部をさらに備え、
前記第１再構成画像作成部は、前記焦点指示入力部により指示されたウェル毎の焦点位置における位相画像及び／又は強度画像を作成する構成とすることもできる。

複数のウェルが培養プレートに形成されている場合、ウェルの底面の高さやウェル内の培地の高さがウェル毎に異なり、そのために合焦位置がウェル毎に異なることがしばしばある。これに対し上記構成によれば、培養プレート全体の位相画像や強度画像を作成する前に、部分位相画像や部分強度画像を作成した段階で各ウェルの合焦位置をそれぞれ決めることができる。それにより、培養プレート全体の位相画像や強度画像を作成する段階で各ウェルの合焦位置における位相画像や強度画像のみを作成すればよく、不必要な焦点位置の画像を作成する時間や手間を軽減することができる。

なお、本発明において、第１再構成画像作成部及び第２再構成画像作成部は測定制御部及び表示処理部と同じコンピュータや同一筐体に収容されたハードウェア回路でそれら機能を実現するように構成してもよいが、別々のコンピュータ又は全く別体であるハードウェア回路でそれぞれの機能を実現するように構成してもよい。

具体的には例えば、複雑な計算が必要である第１再構成画像作成部及び第２再構成画像作成部の機能は、測定を担うホログラフィック顕微鏡本体を制御する測定制御部の機能を有するパーソナルコンピュータと通信ネットワークを介して接続されるサーバ（高性能なコンピュータ）で実現するようにするとよい。一方、表示処理部の機能は測定制御部と同じパーソナルコンピュータに持たせ、サーバから受け取ったデータに基づいて表示を行うようにするとよい。また、第１再構成画像作成部と第２再構成画像作成部における処理の多くは基本的に共通するので、それらは実質的に同じ構成要素とすることができる。

本発明に係る細胞観察装置によれば、測定によって取得されたホログラムデータに基づいた画像再構成処理により観察範囲全体の位相画像や強度画像が作成されるのに要する長い時間を待つことなく、作業者は測定の適否や試料の不具合など早期に且つ的確に確認することができる。それにより、そうした不具合等が確認されたときに画像再構成処理の実行を回避したり実行中であっても即座にそれを中止したりすることで、時間が手間が無駄に費やされることを回避することができる。その結果、細胞観察の作業を効率的に行うことができる。

本発明の一実施例である細胞観察装置の全体構成図。 本実施例の細胞観察装置における測定用端末の概略構成図。 本実施例の細胞観察装置における画像再構成処理を説明するための概念図。 本実施例の細胞観察装置における特徴的な処理動作の説明図。 本実施例の細胞観察装置における撮影終了後に測定用端末で表示される画面の一例を示す図。 本実施例の細胞観察装置における測定用端末で表示される指定測定位置の位相画像及び強度画像の一例を示す図。 本実施例の細胞観察装置における閲覧用端末でスライス画像を表示する場合の表示画面の一例を示す図。

以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図１は本実施例の細胞観察装置の全体構成図、図２は本実施例の細胞観察装置における測定用端末の概略構成図である。

本実施例の細胞観察装置は、インターネット、イントラネットなどの通信ネットワーク４を介して接続された測定用端末１と、閲覧用端末３と、サーバ５と、を含む。図１には、測定用端末１及び閲覧用端末３をそれぞれ１台ずつ記載しているが、これらはそれぞれ適宜の数だけ設けることができる。

サーバ５は高性能なコンピュータであり、該コンピュータにインストールされている専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部５１、ホログラムデータ記憶部５２、第１位相回復演算部５３、第２位相回復演算部５４、第１画像再構成部５５、第２画像再構成部５６、画像データ記憶部５７等を備える。なお、第１位相回復演算部５３と第２位相回復演算部５４を別々に、また第１画像再構成部５５と第２画像再構成部５６を別々に設けているが、後述するように、第１位相回復演算部５３と第２位相回復演算部５４とで実行されている演算は実質的に同じであり、第１画像再構成部５５と第２画像再構成部５６とで実行されている処理も一部を除き実質的に同じである。したがって、実質的にはそれらは同じ構成要素とすることができる。

測定用端末１は顕微観察部１０と制御・処理部２０とから成る。本実施例の細胞観察装置では、顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であり、図２に示すように、レーザダイオード等を含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、観察対象物である細胞１４を含む培養プレート１３が配置される。光源部１１及びイメージセンサ１２は例えばモータ等の駆動源を含む移動部１５により、互いに直交するＸ軸、Ｙ軸の二軸方向に一体に移動自在である。

なお、図２では図面が煩雑になるのを避けるために、光源部１１とイメージセンサ１２とを一つずつ、つまり一組しか記載していないが、実際には、光源部１１とイメージセンサ１２とは一枚の培養プレート１３を挟んで四組設けられており、後述するように、その四組の光源部１１とイメージセンサ１２とにより一枚の培養プレート１３の異なる測定位置についてのホログラムを並行して取得することが可能である。

制御・処理部２０の実体は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータをサーバ５に送出する、さらにはサーバ５において処理されたデータを受け取って表示を行うパーソナルコンピュータ（ＰＣ）である。このＰＣにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、撮影制御部２１、ホログラムデータ記憶部２２、データ送受信部２３、ホログラム画像作成部２４、確認位置指定受付部２５、画像データ記憶部２６、表示処理部２７、焦点指定受付部２８等を備える。また、制御・処理部２０には、キーボードやマウス等のポインティングデバイスである入力部２０１と、表示部２０２と、が接続されている。

閲覧用端末３は測定用端末１における制御・処理部２０と同様に、その実体は一般的なＰＣである。そして、該ＰＣにインストールされた専用のソフトウェアにより、サーバ５からデータを受領し、該データに基づいて形成される適宜の画像を表示することが可能である。

次に、本実施例の細胞解析装置におけるホログラムデータ取得の際の動作について図３を参照して説明する。図３は本実施例の細胞観察装置における画像再構成処理を説明するための概念図である。

図３（ａ）は本実施例の細胞観察装置において使用される培養プレート１３の略上面図である。この培養プレート１３には上面視円形状である６個のウェル１３ａが形成されており、その各ウェル１３ａ内で細胞が培養される。ここでは、１枚の培養プレート１３全体、つまりは６個のウェル１３ａを含む矩形状の範囲全体が観察対象領域である。顕微観察部１０は光源部１１及びイメージセンサ１２の組を４組備えており、各組の光源部１１及びイメージセンサ１２はそれぞれ、図３（ａ）に示すように培養プレート１３全体を４等分した四つの４分割範囲８１のホログラムデータの収集を担う。つまり、４組の光源部１１及びイメージセンサ１２が培養プレート１３全体に亘るホログラムデータの収集を分担する。

一組の光源部１１及びイメージセンサ１２が１回に撮影可能である範囲は、図３（ｂ）及び（ｃ）に示すように、４分割範囲８１の中の１個のウェル１３ａを含む略正方形状の範囲８２をＸ軸方向に１０等分、Ｙ軸方向に１２等分して得られる一つの撮像単位８３に相当する範囲である。一つの４分割範囲８１は予め作業者により指定された所定数の、例えば１５×１２＝１８０個の撮像単位８３を含む。四つの光源部１１と四つのイメージセンサ１２はそれぞれ光源部１１及びイメージセンサ１２を含むＸ－Ｙ面内で、４分割範囲８１と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート１３上の異なる四つの撮像単位８３についてのホログラムの取得を同時に行う。

培養プレート１３についてのホログラムデータの収集に際し、作業者はまず、観察対象である細胞１４が培養されている培養プレート１３を顕微観察部１０の所定位置にセットし、該培養プレート１３を特定する識別番号や測定日時などの情報を入力部２０１から入力したうえで測定実行を指示する。この測定指示を受けて撮影制御部２１は、顕微観察部１０の各部を制御して撮影を実行する。

即ち、一つの光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域（一つの撮像単位８３）に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１７）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１６）と干渉しつつイメージセンサ１２に到達する。物体光１７は細胞１４を透過する際に位相が変化した光であり、他方、参照光１６は細胞１４を透過しないので該細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１７と位相が変化していない参照光１６との干渉像、つまりホログラムがそれぞれ形成され、このホログラムに対応する２次元的な光強度分布データ（ホログラムデータ）がイメージセンサ１２から出力される。

上述したように、四つの光源部１１からは略同時に培養プレート１３に向けてコヒーレント光が出射され、四つのイメージセンサ１２では培養プレート１３上の異なる撮像単位８３に対応する領域のホログラムデータが取得される。一つの測定位置での測定が終了する毎に、光源部１１及びイメージセンサ１２は移動部１５により、Ｘ－Ｙ面内で一つの撮像単位８３に相当する距離だけＸ軸方向及びＹ軸方向にステップ状に順次移動される。これによって、４分割範囲８１に含まれる１８０個の撮像単位８３での測定が実施され、四組の光源部１１及びイメージセンサ１２全体で培養プレート１３全体の測定が実行されることになる。このようにして顕微観察部１０の四つのイメージセンサ１２で得られたホログラムデータは、測定日時等の属性情報とともに、ホログラムデータ記憶部２２に格納される。

全ての撮像単位８３についての測定（撮影）が終了したあと、作業者により後述する所定の操作が行われると、データ送受信部２３は、ホログラムデータ記憶部２２に格納されたホログラムデータを測定日時等の属性情報とともに、逐次、通信ネットワーク４を介してサーバ５に転送する。なお、各測定用端末１からサーバ５へは生の、つまりは加工されていないホログラムデータを送ればよいが、必要に応じて、各測定用端末１に固有の誤差要因を補正するような加工処理を施したホログラムデータをサーバ５へ送るようにしてもよい。

サーバ５においてデータ送受信部５１は測定用端末１から送られて来たホログラムデータを受け取り、測定用端末１を特定するための識別情報、撮影時に入力された培養プレートの識別情報や測定日時などの属性情報とともにホログラムデータをホログラムデータ記憶部５２に蓄積する。ホログラムデータを収集したあと、第１位相回復演算部５３はホログラムデータ記憶部５２から撮像単位毎のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度（振幅）情報を求める。位相情報や強度情報の空間分布は撮像単位８３毎に求まるから、全ての撮像単位８３の位相情報や強度情報が得られたならば、第１画像再構成部５５は、その位相情報や強度情報に基づいて、観察対象領域全体の位相画像や強度画像を形成する。

より詳しく述べると、第１画像再構成部５５は、撮像単位８３毎に算出された位相情報の空間分布に基づき各撮像単位８３の位相画像を再構成し、その狭い範囲の位相画像を繋ぎ合わせるタイリング処理（図３（ｄ）参照）を行うことで、観察対象領域つまりは培養プレート１３全体についての位相画像を形成する。もちろん、タイリング処理の際には撮像単位８３の境界での位相画像が滑らか繋がるように適宜の補正処理を行うとよい。なお、こうした位相情報の算出や画像の再構成の際には、特許文献１、２等の既知の文献に開示されているアルゴリズムを利用すればよい。

また、通常の処理で得られる再構成画像は取得されたホログラムデータにより原理的に求まる最高解像度の画像であるが、それだけでなく、その最高解像度の位相画像を元に、ビニング処理等により解像度を落とした複数段階の解像度（倍率）の位相画像を作成するようにしてもよい。そして、こうして作成した位相画像や強度画像を構成する画像データを画像データ記憶部５７に格納する。

サーバ５の性能にも依るが、１枚の培養プレート１３から得られるホログラムデータは膨大な量であるため、第１位相回復演算部５３や第１画像再構成部５５における処理にはかなりの時間を要する。そのため、たとえ測定用端末１側で全ての測定が終了しても、直ちに観察対象領域全体の位相画像や強度画像を閲覧することはできない。そこで本実施例の細胞観察装置では、測定終了後に作業者が測定の不具合や異物の混入などを迅速に把握することができるように、以下に説明する特徴的な処理を実行している。

図４はこの特徴的な処理動作の説明図、図５は撮影終了後に測定用端末で表示される画面の一例を示す図、図６は測定用端末で表示される指定測定位置の位相画像及び強度画像の一例を示す図である。

測定実行前に作業者が入力部２０１で所定の操作を行うと、表示処理部２７は、図５に示すような撮影画像表示画面６０を表示部２０２に表示する。この撮影画像表示画面６０には、画像表示領域６１とプレート情報表示領域６２とが配置されており、さらに右下には、「停止」ボタン６３が配置されている。プレート情報表示領域６２には、測定中又は測定が終了した培養プレート１３の名称（プレート名）や識別番号（プレートＩＤ）などの属性情報が表示される。但し、図５に示した画面は測定終了後のものであり、測定開始前には画像表示領域６１には実質的な画像は何も表示されていない。

測定が開始されて上述したように培養プレート１３上での各撮像単位８３に対応する領域についてのホログラムデータが得られると、ホログラム画像作成部２４は撮像単位８３毎に、得られたデータに基づいて光強度の２次元分布を示すホログラム画像を作成する。このときに作成されるホログラム画像は解像度が最低であるサムネイル画像である。表示処理部２７は作成されたホログラムのサムネイル画像を、画像表示領域６１内のそれぞれの撮像単位に対応する位置に貼り付けて表示する。即ち、一つの撮像単位のホログラムデータが新たに得られる毎にほぼリアルタイムで、そのデータに基づくホログラムのサムネイル画像が画像表示領域６１内の画像に追加して表示される。そして、全ての撮像単位についての測定が終了すると、図５に示すような、観察対象領域全体のホログラム画像が表示される。測定終了後に作業者が撮影画像表示画面６０内の「画像作成を実行」ボタン６５をクリック操作すると、収集されたホログラムデータがサーバ５が転送され、前述したように全画面の画像再構成処理が実行される。

なお、ホログラム画像では細胞の状態を観察するのは困難であるが、光源部１１やイメージセンサ１２の損傷等の装置の不具合や測定上の不手際等に起因する現象の多くは画像上で把握可能である。そこで、作業者は測定実行中に画像表示領域６１に表示されるホログラム画像を監視し、何らかの問題があると判断できる場合には「停止」ボタン６３をクリック操作する。すると、撮影制御部２１はこの操作を受けて測定を停止する。このように、測定に何らかの問題がある場合に測定を速やかに停止させることで、残りの無駄な測定に時間を費やすことを回避することができる。

測定終了後速やかに位相画像や強度画像を確認したい場合、作業者は、入力部２０１の一部であるマウス等のポインティングデバイスにより、図５に示した撮影画像表示画面６０内の画像表示領域６１に表示されているホログラム画像を構成する多数のサムネイル画像のうちの所望の一つの上にカーソルを移動させる。確認位置指定受付部２５はこの操作を受け付け、選択されている撮像単位を示す矩形状のマーク６６を画像に重畳して表示する。そして、作業者がポインティングデバイスによるダブルクリック操作を行うと、確認位置指定受付部２５はそのときに選択されている一つの撮像単位を、部分位相画像の作成対象であると認識し、これに応じて表示処理部２７は図６に示すような指定位置画像表示画面７０を表示部２０２の画面上に表示する。この指定位置画像表示画面７０には画像表示領域７１が設けられている。

並行して確認位置指定受付部２５は、指示された一つの撮像単位について得られたホログラムデータをホログラムデータ記憶部２２から読み出し、データ送受信部２３は読み出されたデータを通信ネットワーク４を通してサーバ５に転送する。なお、この一つの撮像単位についてのホログラムデータの転送動作は、上述したような撮影対象領域全体のホログラムデータのサーバ５への転送動作と並行して行ってもよいし、それよりも優先的に行ってもよい。後者の場合、撮影対象領域全体のホログラムデータの転送動作がすでに開始されていれば、それを一旦中断して、選択指示された一つの撮像単位についてのホログラムデータの転送を行えばよい。

サーバ５においてデータ送受信部５１は、上述したように測定用端末１から送られて来た一つの撮像単位についてのホログラムデータを受け取り、該データをホログラムデータ記憶部５２に一旦格納する。このときに転送されて来るデータの量は観察対象領域全体のホログラムデータのデータ量に比べて格段に少ないため、転送時間も格段に短い（図４参照）。

第２位相回復演算部５４はホログラムデータ記憶部２２に格納された一つの撮像単位のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度情報を求める。引き続き、第２画像再構成部５６は、算出された位相情報や強度情報に基づいて、一つの撮像単位についての部分位相画像及び部分強度画像を形成する。なお、ホログラムデータから位相情報や強度情報を算出する際には任意の焦点位置の情報を算出することができるが、この時点で設定される焦点位置は、測定用端末１から指定されたデフォルト値（例えば同じ識別番号の培養プレート及びウェルについて最も直近の過去の時点で設定されていた焦点位置など）である。この部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から測定用端末１に送られる。演算処理や画像再構成の処理も一つの撮像単位分のみでよくタイリング処理等の不要であるので、部分位相画像及び部分強度画像が形成されるまでの処理時間も、観察対象領域全体の位相画像及び強度画像を形成するのに要する時間に比べて格段に短い（図４参照）。

上述したように、作業者により選択指示された一つの撮像単位についてのホログラムデータの転送及び該データに基づく部分位相画像、部分強度画像の形成に要する時間は短い。したがって、測定用端末１において上述したように作業者が一つの撮像単位に対応するサムネイル画像についてのダブルクリック操作を行った時点から比較的短い時間内に、サーバ５からその測定用端末１に部分位相画像及び部分強度画像を構成する画像データが送られて来る。送られて来た画像データは一旦、画像データ記憶部２６に格納される。

表示処理部２７はこの画像データに基づき部分位相画像及び部分強度画像を作成し、それら二つの画像を指定位置画像表示画面７０内の画像表示領域７１に並べて表示する。なお、画像表示領域７１に表示する画像の種類は表示画像選択チェックボックス７２にチェックマークを入れることで選択することができ、部分位相画像と部分強度画像とのいずれか一方のみを画像表示領域７１に表示させることもできる。なお、図６の例において、表示されている部分位相画像及び部分強度画像の焦点位置は５４５０μmである。

初めに設定されている焦点位置が必ずしも細胞観察における合焦位置であるとは限らないし、また細胞とは高さが相違する異物を観察したい場合には焦点位置を変更する必要がある。そこで、異なる焦点位置における部分位相画像や部分強度画像を観察したい場合、作業者は、指定位置画像表示画面７０内のスライス条件設定領域７３で複数段階の焦点位置を決める条件を設定する。即ち、焦点位置の範囲とスライス幅（焦点位置のステップ幅）とをそれぞれ数値で入力すると、スライス数（焦点位置の段数）が自動的に計算されて表示される。なお、これら数値もデフォルトのままとすることができる。そして、スライス条件を設定したあと作業者が「スライス画像作成」ボタン７４をクリック操作すると、焦点指定受付部２８はこの操作を受け付け、設定されたスライス条件をサーバ５に指示する。

サーバ５において第２位相回復演算部５４及び第２画像再構成部５６は、上記の選択された一つの撮像単位についてのホログラムデータに基づいて、指示されたスライス条件に従って複数の焦点位置における位相情報及び強度情報を算出し、互いに焦点位置の相違する複数の部分位相画像及び部分強度画像を形成する。この複数の焦点位置における部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から測定用端末１に送られる。送られて来た画像データは一旦、画像データ記憶部２６に格納される。このように、異なる焦点位置における部分位相画像及び部分強度画像を構成する画像データが用意されると、指定位置画像表示画面７０内の焦点位置選択操作領域７５中の操作子が有効になる。即ち、焦点位置選択操作領域７５中のスライダーのノブをポインティングデバイスで移動させることが可能になるとともに、テキストボックス中に焦点位置の数値を直接入力することも可能になる。

作業者がポインティングデバイスにより焦点位置選択操作領域７５中のスライダーのノブを左右に移動させると、焦点指定受付部２８はスライダー上のノブの位置に対応した焦点位置を求め、表示処理部２７は画像表示領域７１に表示している部分位相画像及び部分強度画像をその焦点位置における画像に更新する。図６の例では、スライス数が１１であるので、スライダーを操作することで、１１段階の異なる焦点位置における部分位相画像及び部分強度画像をそれぞれ確認することができる。作業者は、異なる焦点位置における部分位相画像同士又は部分強度画像同士をそれぞれ比較することで、観察対象である細胞などが最も明瞭に観察できる焦点位置を見つけることができる。

こうして適切な焦点位置における部分位相画像及び部分強度画像が得られたならば、作業者はそれら画像を確認して細胞に異常が発生している、又は細かい異物が多く混入している等、培養に不具合がないかどうか、さらには、撮影に不具合がないかどうかなどを判断する。そして、観察対象領域全体の位相画像や強度画像を作成する必要がないと判断した場合には、ホログラムデータに基づく全画面の位相画像や強度画像の再構成処理の実行を回避する。或いは、図５中の「画像作成を実行」ボタン６５の操作により測定用端末１からサーバ５への全ホログラムデータの転送が開始されている場合であっても、所定の操作を行うことでデータ転送を中止させることもできる（図４参照）。こうした判断は撮影終了時点から比較的短い時間内で行うことができるので、全画面の画像再構成処理により位相画像が作成されるまで長い時間待つ必要がない。

また、上述したように異なる焦点位置における部分位相画像及び部分強度画像をそれぞれ比較することで適切な焦点位置が決まったあと、作業者が「この値をウェルの焦点位置に設定」ボタン７６をクリック操作すると、焦点指定受付部２８はこの操作を受け付け、指示された焦点位置の情報をそのときに表示している部分位相画像等の撮像単位が存在するウェルの識別番号とともにサーバ５に伝える。サーバ５において、指示された焦点位置はウェルの識別番号に対応付けてホログラムデータ記憶部５２に保存され、第１位相回復演算部５３はその識別番号のウェルに対応する撮像単位の位相情報や強度情報を算出する際に、その識別番号に対応付けられている焦点位置における位相情報及び強度情報を算出する。即ち、撮影対象領域全体の位相画像や強度画像を作成する際のウェル毎の焦点位置を、測定用端末１で部分位相画像及び部分強度画像を確認しながら決めることができる。

もちろん、一つの撮像単位についての部分位相画像及び部分強度画像に基づいて決めることができる焦点位置は、その撮像単位が存在する一つのウェルについてのみである。したがって、６個のウェルの全てについてそれぞれ個別に焦点位置を設定したい場合には、撮影画像表示画面６０の画像表示領域６１に表示されているホログラム画像上でウェル毎に一つの撮像単位を選択し、その撮像単位についての部分位相画像及び部分強度画像を指定位置画像表示画面７０に表示させ、さらにスライス条件を設定してスライス画像を作成する、という手順を繰り返す必要がある。もちろん、一つのウェルについて設定した焦点位置を他のウェルにも利用することは可能である。

このようにして本実施例の細胞観察装置では、観察対象領域全体の位相画像や強度画像を作成して表示する前に、ウェル毎に適切な焦点位置を設定し、その焦点位置のみの位相画像や強度画像を作成して表示させることができる。それにより、不必要な焦点位置における画像の作成に要する時間を節約することができる。

上記説明では、測定用端末１で測定を実施した直後に該測定用端末１で部分位相画像等を確認する場合について述べたが、顕微観察部１０を含まない閲覧用端末３でも、適宜のホログラム画像の表示と、該ホログラム画像上で選択された一つの撮像単位についての部分位相画像の確認と、を行うことができる。図７は、閲覧用端末３でホログラム画像及び部分位相画像を表示する場合の表示画面の一例を示す図である。

図７に示すように、スライス画像確認表示画面９０には、ホログラム画像表示領域９１及び部分位相画像表示領域９２が設けられている。ホログラム画像表示領域９１には、撮影が終了してサーバ５のホログラムデータ記憶部５２に保存されているホログラムデータに基づくホログラム画像が表示される。このときに表示するホログラム画像は、例えば培養プレートの識別番号や測定日時などを指定することで、適宜に選択することができる。そして、焦点位置が相違する複数の部分位相画像を見たい場合、作業者は、ホログラム画像上で一つの撮像単位を指定し、スライス条件設定領域９３で複数段階の焦点位置を決める条件を設定したうえで「スライス画像プレビュー」ボタン９４をクリック操作する。

この指示及び設定内容は、閲覧用端末３からサーバ５へと送られ、サーバ５の第２位相回復演算部５４及び第２画像再構成部５６は上述したように指定された撮像単位のホログラムデータに基づいて指定された複数の焦点位置における位相情報を計算し、焦点位置毎に部分位相画像を再構成する。そして、焦点位置が異なる複数の部分位相画像を構成する画像データを閲覧用端末３に送信する。閲覧用端末３では受け取った画像データに基づいて部分位相画像を部分位相画像表示領域９２に表示する。また、焦点位置選択操作領域９５中のスライダーの操作に応じて、表示されている部分位相画像を異なる焦点位置の画像に変更する。これにより、作業者は、過去に撮影された培養プレートの部分位相画像も確認することができる。

また上記実施例では、作業者により指定された一つの撮像単位のホログラムデータから該撮像単位における部分位相画像を再構成していたが、一つの撮像単位の中の一部の範囲を作業者が適宜に指定し、その指定された範囲に含まれるホログラムデータから該範囲における部分位相画像を再構成してもよい。これにより、サーバ５に転送されるデータ量もさらに減るため、データ転送時間や処理時間をさらに一層短くすることができる。

また、一つの撮像単位についての部分位相画像や強度位相画像を表示したあと、その画像において作業者により指定された範囲を拡大して表示できるようにしてもよい。また、ホログラム画像上で一つの撮像単位の中の一部の範囲を作業者が適宜に指定したときに、その撮像単位についての部分位相画像や部分強度画像を再構成したあと、指定された範囲の画像のみを切り出して表示するようにしてもよい。

また、ホログラム画像上で一つのみではなく複数の撮像単位を指定したり、一つの撮像単位よりも大きなサイズの範囲を任意に指定したりできるようにし、その指定された複数の撮像単位又は範囲に対応する部分位相画像や部分強度画像を再構成して表示できるようにしてもよい。但し、指定される撮像単位数が多くなるほど又は指定される範囲が広くなるほど処理対象のデータ量が増加するから、部分位相画像等を表示できるまでも時間が長くなる。そのため、この時間の制約から、指定できる撮像単位数や範囲の広さの上限を予め決めておくとよい。

また、上記実施例において顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であるが、顕微観察部１０は観察対象領域中の測定位置毎にホログラムを取得するものであればよいので、インライン型に限らず、オフアクシス型や位相シフト型のデジタルホログラフィック顕微鏡であってもよい。

また、上記実施例では、測定用端末１と通信ネットワーク４を介して接続されたサーバ５において位相回復等の演算処理を実施していたが、スタンドアロン型の装置で全ての処理を実施する構成としてもよいことは当然である。

さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

１…測定用端末
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１３ａ…ウェル
１４…細胞
１５…移動部
１６…参照光
１７…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…データ送受信部
２４…ホログラム画像作成部
２５…確認位置指定受付部
２６…画像データ記憶部
２７…表示処理部
２８…焦点指定受付部
２０１…入力部
２０２…表示部
３…閲覧用端末
５…サーバ
４…通信ネットワーク
５１…データ送受信部
５２…ホログラムデータ記憶部
５３…第１位相回復演算部
５４…第２位相回復演算部
５５…第１画像再構成部
５６…第２画像再構成部
５７…画像データ記憶部
６０…撮影画像表示画面
６１…画像表示領域
６２…プレート情報表示領域
６３…「停止」ボタン
６５…「画像作成を実行」ボタン
６６…マーク
７０…指定位置画像表示画面
７１…画像表示領域
７２…表示画像選択チェックボックス
７３…スライス条件設定領域
７４…「スライス画像作成」ボタン
７５…焦点位置選択操作領域
７６…「この値をウェルの焦点位置に設定」ボタン
９０…スライス画像確認表示画面
９１…ホログラム画像表示領域
９２…部分位相画像表示領域
９３…スライス条件設定領域
９４…「スライス画像プレビュー」ボタン
９５…焦点位置選択操作領域

Claims (6)

1. ホログラフィック顕微鏡を利用した細胞観察装置であって、
   a)光源部と、
   b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
   c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
   d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
   e)前記測定制御部による制御の下で、所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するとともに、前記観察対象領域に対応する位相情報の２次元分布を示す位相画像及び／又は強度情報の２次元分布を示す強度画像を作成する第１再構成画像作成部と、
   f)前記第１再構成画像作成部による処理に先立って又は該処理と並行して、ユーザにより指定された特定の一又は複数の測定位置又は範囲において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するとともに、当該測定位置又は範囲に対応する位相情報の２次元分布を示す部分位相画像及び／又は強度情報の２次元分布を示す部分強度画像を作成する第２再構成画像作成部と、
   g)前記第２再構成画像作成部で作成された部分位相画像及び／又は部分強度画像を表示部に表示する表示処理部と、
   を備えることを特徴とする細胞観察装置。
2. 請求項１に記載の細胞観察装置であって、
   前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
   前記第２再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
   をさらに備えることを特徴とする細胞観察装置。
3. 請求項１に記載の細胞観察装置であって、
   前記第２再構成画像作成部は、特定の測定位置又は範囲に対応する部分位相画像及び部分強度画像を作成し、
   前記表示処理部は、前記部分位相画像及び前記部分強度画像を同一画面上に表示することを特徴とする細胞観察装置。
4. 請求項１に記載の細胞観察装置であって、
   前記第２再構成画像作成部は、複数の焦点位置における部分位相画像及び／又は部分強度画像を作成し、
   前記表示処理部は、ユーザが焦点位置を指示する焦点指示入力部を含み、該指示入力部により指示された焦点位置における部分位相画像及び／又は部分強度画像を表示することを特徴とする細胞観察装置。
5. 請求項４に記載の細胞観察装置であって、
   前記焦点指示入力部は、画面上に表示されたスライダーと、該スライダーのノブを移動させる操作部と、を含み、該ノブの位置に応じて焦点位置が変化することを特徴とする細胞観察装置。
6. 請求項４に記載の細胞観察装置であって、
   前記試料は複数のウェルが形成された培養プレートであり、
   前記表示処理部より前記位相画像及び／又は強度画像が表示部に表示されるときに、ウェル毎にユーザが焦点位置を指示する焦点指示入力部をさらに備え、
   前記第１再構成画像作成部は、前記焦点指示入力部により指示されたウェル毎の焦点位置における位相画像及び／又は強度画像を作成することを特徴とする細胞観察装置。

Images