JP6950813B2 - 細胞観察装置 - Google Patents

Description

本発明は細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、ホログラフィ顕微鏡により物体波と参照波との干渉縞を記録したホログラムを取得し、そのホログラムデータに基づいて位相情報や強度情報を算出したうえで位相画像や強度画像等を作成する細胞観察装置に関する。

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２、非特許文献１等参照）。

デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅（強度）情報を取得し、再構成画像として強度画像や位相画像を作成する。

デジタルホログラフィック顕微鏡には、インライン（in-line）型、オフアクシス（off-axis）型、位相シフト型などの方式がある。これら各方式では主として、ホログラムを取得するための光学系の構成が相違している。オフアクシス型では通常、レーザ光源から出射した光を参照光と物体に照射される照射光とに分割し、該照射光に対し物体を透過して来た物体光と参照光とを互いに異なる入射角で以てイメージセンサに入射させる。一方、インライン型では、レーザ光源から出射した光を分割せずに物体に照射し、物体を透過して来た物体光と物体を透過せずに該物体の近傍を通過した参照光とを共にイメージセンサに略垂直に入射させる。また、位相シフト型では、位相シフト干渉計を用い分割した参照光の光路長を複数段階に変化させることで、位相が複数段階に相違するホログラムを取得する。

いずれの方式であってもデジタルホログラフィック顕微鏡では、取得したホログラムデータに基づいて光波の位相情報及び振幅情報を算出し、それを画像化する処理をコンピュータで行う必要がある。例えば特許文献１、非特許文献２等には、インライン型デジタルホログラフィック顕微鏡で取得される複数の波長光についてのホログラムに基づく光波伝播の反復計算による位相回復方法が提案されている。デジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離（焦点位置）における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がなく、測定時間を短縮して生体細胞のダメージを抑えられるという利点がある。

しかしながら、こうした細胞観察装置により１枚の培養プレート全体の観察を行う場合、一つの焦点位置における位相画像で該プレート全体が良好に観察できるとは限らない。
通常、細胞培養に使用される培養プレートにはウェルと呼ばれる複数の凹部が形成されており、各ウェル内に収容された培地上で細胞が培養される。培養プレートを成形する際の成形誤差等により、１枚の培養プレート中の複数のウェルの底面の高さにはばらつきが生じる。ウェルの底面の高さがばらつくと同じ量の培地を入れても培地の高さに相違が生じ、たとえ細胞自体の厚さが同じでもその表面高さにばらつきが生じる。また、培地の注入量のばらつきも、細胞の表面高さのばらつきの要因となる。なお、個々の細胞の厚さのばらつきもあるが、これはウェルの底面高さや培地の注入量のばらつきに比べれば十分に小さい。

上記要因のため、一般的には、１枚の培養プレート中のウェル毎に合焦位置が異なる場合があり、ウェル毎に適切な焦点位置を設定して培養プレート全体の位相画像の再構成を行う必要がある。従来、こうした位相画像を得るためには、まず、培養プレート全体について共通の所定の焦点位置における位相画像の再構成処理を行う。そして、そのあと、作業者がウェル毎に位相画像を確認して焦点位置が適切かどうかを判断し、適切でなければ焦点位置の設定を変更して培養プレート全体の位相画像の再構成処理をやり直す、といった手法が採られている。

しかしながら、位相情報等の算出や画像再構成処理の計算量は多いため、或る程度性能の高いコンピュータを使用したとしても、培養プレート全体の位相画像の再構成処理を実施して位相画像を得るのには時間が掛かる。本発明者らの検討によれば、例えば培養プレート全面を９００個程度の小領域に分割し、各小領域についてそれぞれ高い解像度（例えば４０００×３０００画素／枚）で複数の波長についてのホログラムを取得する装置において、測定開始から位相画像の再構成処理が終了するまで１時間以上掛かる。即ち、測定開始時点から１時間以上の時間が経過したあとでないと、焦点合わせの作業が行えない。また、ウェル毎に適切な焦点位置を求めるために位相画像の再構成処理を繰り返すことになると、焦点合わせが終了するまでにさらに長い時間が掛かってしまう。

国際特許公開第２０１６／０８４４２０号 特開平１０−２６８７４０号公報

「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年３月６日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ペン・バオ（Peng Bao）、ほか３名、「レンズレス・フェーズ・マイクロスコピー・ユージング・フェーズ・リトライバル・ウィズ・マルチプル・イルミネーション・ウェーブレングス（Lensless phase microscopy using phase retrieval with multiple illumination wavelengths）」、アプライド・オプティクス（Applied Optics）、ジ・オプティカル・ソサイエティ・オブ・アメリカ（The Optical Society of America）、2012年、Vol. 51、No. 22、pp. 5486-5494

本発明は上記課題を解決するためになされたものであり、その目的とするところは、ホログラフィック顕微鏡により取得されたホログラムに基づいて位相回復等の演算処理を行って細胞を含む試料についての位相画像を再構成する細胞観察装置において、撮影の終了後に速やかに焦点位置を合わせることができ、無駄な時間や人手を費やすことを回避することができる細胞観察装置を提供することである。

上記課題を解決するために成された本発明の第１の態様は、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)光源部と、
b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び／又は部分強度画像をそれぞれ作成する再構成画像作成部と、
f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び／又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
g)前記表示処理部より部分位相画像及び／又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び／又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
を備えることを特徴としている。

本発明に係る細胞観察装置において、移動部は例えば、その位置が固定された培養プレートに対して光源部及び検出部を一体に移動させることで、該培養プレート上で光源部から出射した光が照射される測定位置を変化させる。測定制御部は該移動部により例えば光源部及び検出部を一体にステップ的に移動させつつ、培養プレート内の一つの測定位置にコヒーレント光を照射し、それにより検出部の検出面上に形成されるホログラムによる光強度の２次元分布を示すデータ（ホログラムデータ）を取得する、という動作を繰り返す。

再構成画像作成部は、ユーザにより指定された特定の一若しくは複数の測定位置か、又は一つの測定位置中若しくは複数の測定位置に跨る所定の範囲において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するが、その際に、複数の焦点位置における位相情報及び／又は強度情報を算出する。この複数の焦点位置はユーザによる指定に基づくものでもよいし、予め決められたものでもよい。そして再構成画像作成部は、得られた情報に基づいて焦点位置毎に部分位相画像及び／又は部分強度画像を作成する。この部分位相画像及び／又は部分強度画像が作成される範囲は、観察対象領域全体に比べれば遙かに小さな領域に限定される。即ち、部分位相画像又は部分強度画像は観察対象領域全体の中のごく一部に対応する画像である。

一般に、観察対象領域全体についてのホログラムデータに基づいて該観察対象領域全体についての位相画像や強度画像を再構成するのにはかなりの時間が掛かる。それに対し、再構成画像作成部での処理の対象であるホログラムデータの量は、観察対象領域全体についてのホログラムデータの量に比べれば格段に少ない。そのため、再構成画像作成部では、測定が終了した時点から比較的短い時間内で部分位相画像や部分強度画像を作成することができる。こうして作成された互いに焦点位置の異なる複数の部分位相画像や部分強度画像が表示処理部により、同時に又は切替え可能に表示部に表示される。これにより、ユーザは異なる焦点位置における部分位相画像等を見比べて、細胞を観察するのにどの焦点位置が適切であるかを判断することができる。

ユーザは例えば部分位相画像を見比べて、適切であると判断した部分位相画像が表示されている状態で所定の操作を行う。すると、このユーザの操作を受けて、焦点位置設定部は、そのときに表示している部分位相画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像や強度画像を作成するための焦点位置の条件として記憶部に記憶させる。こうして、測定終了後の比較的短い時間内で表示される部分位相画像や部分強度画像を利用して、観察対象領域全体の位相画像や強度画像を再構成する際の適切な焦点位置を決めることができる。観察対象領域全体の位相画像や強度画像を再構成する際には、少なくとも記憶部に格納されている焦点位置における画像を作成すればよいが、その焦点位置を含む所定の複数段階の焦点範囲の画像を作成するようにしてもよい。

なお、本発明において、インライン型、オフアクシス型、位相シフト型などのホログラフィック顕微鏡の方式は問わないが、光学系の構成が簡素であって試料と光源部との距離を複数段階に変化させる必要がないために駆動機構も簡素になるという点で、複数の波長におけるホログラムを利用するインライン型の構成が望ましい。

本発明の第１の態様では、好ましくは、
前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
前記再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
をさらに備える構成とするとよい。

ホログラム画像は位相画像等と異なり、測定終了後直ちに表示することが可能である。また、測定中であっても一つの測定位置についての測定が終了する度にその測定位置に対応する部分的なホログラム画像を表示することもできる。このホログラム画像はホログラムに対応する光強度の２次元分布であるので、生体細胞については十分に可視化されないことが多いものの、大きな段差があるウェルの縁部などについては十分に視認可能な画像である。そこで、ユーザは、表示されたホログラム画像上で例えばどのウェルのどの部分の部分位相画像や部分強度画像を見たいかを指示入力部により指示する。これにより、ユーザは所望の測定位置や範囲の部分位相画像や部分強度画像を短い待ち時間で確認することができる。

なお、ホログラム画像上で特定の一若しくは複数の測定位置をユーザが指定できるようにするほかに、例えば試料について別途取得した光学顕微画像などを参照してユーザが見たい座標位置を特定し、その座標位置の情報を本発明に係る装置に入力することで、特定の一若しくは複数の測定位置を決めることができるようにしてもよい。

また本発明の第１の態様に係る細胞観察装置が、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置である場合、
前記焦点位置指定受付部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び／又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び／又は強度画像を作成するための焦点位置を記憶させる構成とするとよい。

上述したように、複数のウェル（凹部）が培養プレートに形成されている場合、ウェルの底面の高さやウェル内の培地の高さがウェル毎に異なり、そのために合焦位置がウェル毎に異なることがしばしばある。これに対し上記構成によれば、培養プレート全体の位相画像や強度画像を作成する前に、培養プレートに形成されている複数のウェルのそれぞれについて、互いに異なる複数の焦点位置における部分位相画像や部分強度画像を作成し、ユーザが凹部毎に適切な焦点位置を判断することで、ウェル毎に適切な焦点位置の情報を収集することができる。それにより、培養プレート全体の位相画像や強度画像を作成する段階で各ウェルの合焦位置における位相画像や強度画像のみを作成すればよく、不必要な焦点位置の画像を作成する時間や手間を軽減することができる。

またこの構成では、さらに、前記焦点位置指定受付部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含む構成としてもよい。

この構成によれば、ユーザが適切な焦点位置についての何らかの事前情報や知識を有している場合に、焦点位置編集部により適宜に焦点位置の値を修正することができる。また、部分位相画像等の再構成処理を実行する前に、ユーザが焦点位置編集部により適宜に焦点位置を入力できるようにしてもよい。

本発明によれば、測定によって取得されたホログラムデータに基づく複雑な計算を経て作成される位相画像や強度画像が表示されるのを待つことなく、測定終了後速やかに、作業者は焦点位置を合わせる作業を行うことができる。また、本発明によれば、測定終了後速やかに表示される部分位相画像や部分強度画像で撮影状態等が適切かどうかを確認する作業と同時に、焦点位置合わせの作業を行うことができる。これにより、細胞観察に際し作業者が行うべき作業の効率化を図ることができる。

本発明の一実施例である細胞観察装置の全体構成図。 本実施例の細胞観察装置における測定用端末の概略構成図。 本実施例の細胞観察装置における画像再構成処理を説明するための概念図。 本実施例の細胞観察装置における特徴的な処理動作の説明図。 本実施例の細胞観察装置における撮影終了後に測定用端末で表示される画面の一例を示す図。 本実施例の細胞観察装置における測定用端末で表示される指定測定位置のＩＨＭ位相像及びＩＨＭ強度像の一例を示す図。 本発明に関連する参考例である細胞観察装置における測定用端末の概略構成図。

以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図１は本実施例の細胞観察装置の全体構成図、図２は本実施例の細胞観察装置における測定用端末の概略構成図である。

本実施例の細胞観察装置は、インターネット、イントラネットなどの通信ネットワーク４を介して接続された測定用端末１と、閲覧用端末３と、サーバ５と、を含む。図１には、測定用端末１及び閲覧用端末３をそれぞれ１台ずつ記載しているが、これらはそれぞれ適宜の数だけ設けることができる。

サーバ５は高性能なコンピュータであり、該コンピュータにインストールされている専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部５１、ホログラムデータ記憶部５２、第１位相回復演算部５３、第２位相回復演算部５４、第１画像再構成部５５、第２画像再構成部５６、画像データ記憶部５７等を備える。

測定用端末１は顕微観察部１０と制御・処理部２０とから成る。本実施例の細胞観察装置では、顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であり、図２に示すように、レーザダイオード等を含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、観察対象物である細胞１４を含む培養プレート１３が配置される。光源部１１及びイメージセンサ１２は例えばモータ等の駆動源を含む移動部１５により、互いに直交するＸ軸、Ｙ軸の二軸方向に一体に移動自在である。

なお、図２では図面が煩雑になるのを避けるために、光源部１１とイメージセンサ１２とを一つずつ、つまり一組しか記載していないが、実際には、光源部１１とイメージセンサ１２とは一枚の培養プレート１３を挟んで四組設けられており、後述するように、その四組の光源部１１とイメージセンサ１２とにより一枚の培養プレート１３の異なる測定位置についてのホログラムを並行して取得することが可能である。

制御・処理部２０の実体は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータをサーバ５に送出する、さらにはサーバ５において処理されたデータを受け取って表示を行うパーソナルコンピュータ（ＰＣ）である。このＰＣにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、撮影制御部２１、ホログラムデータ記憶部２２、データ送受信部２３、ホログラム画像作成部２４、確認位置指定受付部２５、画像データ記憶部２６、表示処理部２７、焦点指定受付部２８等を備える。また、制御・処理部２０には、キーボードやマウス等のポインティングデバイスである入力部２０１と、表示部２０２と、が接続されている。

閲覧用端末３は測定用端末１における制御・処理部２０と同様に、その実体は一般的なＰＣである。そして、該ＰＣにインストールされた専用のソフトウェアにより、サーバ５からデータを受領し、該データに基づいて形成される適宜の画像を表示することが可能である。

次に、本実施例の細胞解析装置におけるホログラムデータ取得の際の動作について図３を参照して説明する。図３は本実施例の細胞観察装置における画像再構成処理を説明するための概念図である。

図３（ａ）は本実施例の細胞観察装置において使用される培養プレート１３の略上面図である。この培養プレート１３には上面視円形状である６個のウェル１３ａが形成されており、その各ウェル１３ａ内で細胞が培養される。ここでは、１枚の培養プレート１３全体、つまりは６個のウェル１３ａを含む矩形状の範囲全体が観察対象領域である。顕微観察部１０は光源部１１及びイメージセンサ１２の組を４組備えており、各組の光源部１１及びイメージセンサ１２はそれぞれ、図３（ａ）に示すように培養プレート１３全体を４等分した四つの４分割範囲８１のホログラムデータの収集を担う。つまり、４組の光源部１１及びイメージセンサ１２が培養プレート１３全体に亘るホログラムデータの収集を分担する。

一組の光源部１１及びイメージセンサ１２が１回に撮影可能である範囲は、図３（ｂ）及び（ｃ）に示すように、４分割範囲８１の中の１個のウェル１３ａを含む略正方形状の範囲８２をＸ軸方向に１０等分、Ｙ軸方向に１２等分して得られる一つの撮像単位８３に相当する範囲である。一つの４分割範囲８１は予め作業者により指定された所定数の、例えば１５×１２＝１８０個の撮像単位８３を含む。四つの光源部１１と四つのイメージセンサ１２はそれぞれ光源部１１及びイメージセンサ１２を含むＸ−Ｙ面内で、４分割範囲８１と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート１３上の異なる四つの撮像単位８３についてのホログラムの取得を同時に行う。

培養プレート１３についてのホログラムデータの収集に際し、作業者はまず、観察対象である細胞１４が培養されている培養プレート１３を顕微観察部１０の所定位置にセットし、該培養プレート１３を特定する識別番号や測定日時などの情報を入力部２０１から入力したうえで測定実行を指示する。この測定指示を受けて撮影制御部２１は、顕微観察部１０の各部を制御して撮影を実行する。

即ち、一つの光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域（一つの撮像単位８３）に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１７）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１６）と干渉しつつイメージセンサ１２に到達する。物体光１７は細胞１４を透過する際に位相が変化した光であり、他方、参照光１６は細胞１４を透過しないので該細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１７と位相が変化していない参照光１６との干渉像、つまりホログラムがそれぞれ形成され、このホログラムに対応する２次元的な光強度分布データ（ホログラムデータ）がイメージセンサ１２から出力される。

上述したように、四つの光源部１１からは略同時に培養プレート１３に向けてコヒーレント光が出射され、四つのイメージセンサ１２では培養プレート１３上の異なる撮像単位８３に対応する領域のホログラムデータが取得される。一つの測定位置での測定が終了する毎に、光源部１１及びイメージセンサ１２は移動部１５により、Ｘ−Ｙ面内で一つの撮像単位８３に相当する距離だけＸ軸方向及びＹ軸方向にステップ状に順次移動される。これによって、４分割範囲８１に含まれる１８０個の撮像単位８３での測定が実施され、四組の光源部１１及びイメージセンサ１２全体で培養プレート１３全体の測定が実行されることになる。このようにして顕微観察部１０の四つのイメージセンサ１２で得られたホログラムデータは、測定日時等の属性情報とともに、ホログラムデータ記憶部２２に格納される。

全ての撮像単位８３についての測定（撮影）が終了したあと、作業者により後述する所定の操作が行われると、データ送受信部２３は、ホログラムデータ記憶部２２に格納されたホログラムデータを測定日時等の属性情報とともに、逐次、通信ネットワーク４を介してサーバ５に転送する。なお、各測定用端末１からサーバ５へは生の、つまりは加工されていないホログラムデータを送ればよいが、必要に応じて、各測定用端末１に固有の誤差要因を補正するような加工処理を施したホログラムデータをサーバ５へ送るようにしてもよい。

サーバ５においてデータ送受信部５１は測定用端末１から送られて来たホログラムデータを受け取り、測定用端末１を特定するための識別情報、撮影時に入力された培養プレートの識別情報や測定日時などの属性情報とともにホログラムデータをホログラムデータ記憶部５２に蓄積する。ホログラムデータを収集したあと、第１位相回復演算部５３はホログラムデータ記憶部５２から撮像単位毎のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度（振幅）情報を求める。位相情報や強度情報の空間分布は撮像単位８３毎に求まるから、全ての撮像単位８３の位相情報や強度情報が得られたならば、第１画像再構成部５５は、その位相情報や強度情報に基づいて、観察対象領域全体の位相画像や強度画像を形成する。

より詳しく述べると、第１画像再構成部５５は、撮像単位８３毎に算出された位相情報の空間分布に基づき各撮像単位８３の位相画像を再構成し、その狭い範囲の位相画像を繋ぎ合わせるタイリング処理（図３（ｄ）参照）を行うことで、観察対象領域つまりは培養プレート１３全体についての位相画像を形成する。もちろん、タイリング処理の際には撮像単位８３の境界での位相画像が滑らか繋がるように適宜の補正処理を行うとよい。なお、こうした位相情報の算出や画像の再構成の際には、特許文献１、２等の既知の文献に開示されているアルゴリズムを利用すればよい。

また、通常の処理で得られる再構成画像は取得されたホログラムデータにより原理的に求まる最高解像度の画像であるが、それだけでなく、その最高解像度の位相画像を元に、ビニング処理等により解像度を落とした複数段階の解像度（倍率）の位相画像を作成するようにしてもよい。そして、こうして作成した位相画像や強度画像を構成する画像データを画像データ記憶部５７に格納する。

サーバ５の性能にも依るが、１枚の培養プレート１３から得られるホログラムデータは膨大な量であるため、第１位相回復演算部５３や第１画像再構成部５５における処理にはかなりの時間を要する。そのため、一般的には、たとえ測定用端末１側で全ての測定が終了しても、直ちに観察対象領域全体の位相画像や強度画像を閲覧することはできない。また、上述したように位相情報や強度情報を算出する際には、任意の焦点位置における位相情報や強度情報を求めることができるものの、焦点位置が合っているか否かの確認や焦点が合っていない場合の焦点合わせの作業は観察対象領域全体の位相画像や強度画像が得られるまで待たなければならない。そこで本実施例の細胞観察装置では、こうしたこと避けるために、以下に説明する特徴的な処理を実行している。

図４はこの特徴的な処理動作の説明図、図５は撮影終了後に測定用端末で表示される画面の一例を示す図、図６は測定用端末で表示される指定測定位置の位相画像及び強度画像の一例を示す図である。

測定実行前に作業者が入力部２０１で所定の操作を行うと、表示処理部２７は、図５に示すような撮影画像表示画面６０を表示部２０２に表示する。この撮影画像表示画面６０には、画像表示領域６１とプレート情報表示領域６２とが配置されており、さらに右下には、「停止」ボタン６３が配置されている。プレート情報表示領域６２には、測定中又は測定が終了した培養プレート１３の名称（プレート名）や識別番号（プレートＩＤ）などの属性情報が表示される。但し、図５に示した画面は測定終了後のものであり、測定開始前には画像表示領域６１には実質的な画像は何も表示されていない。

測定が開始されて上述したように培養プレート１３上での各撮像単位８３に対応する領域についてのホログラムデータが得られると、ホログラム画像作成部２４は撮像単位８３毎に、得られたデータに基づいて光強度の２次元分布を示すホログラム画像を作成する。このときに作成されるホログラム画像は解像度が最低であるサムネイル画像である。表示処理部２７は作成されたホログラムのサムネイル画像を、画像表示領域６１内のそれぞれの撮像単位に対応する位置に貼り付けて表示する。即ち、一つの撮像単位のホログラムデータが新たに得られる毎にほぼリアルタイムで、そのデータに基づくホログラムのサムネイル画像が画像表示領域６１内の画像に追加して表示される。そして、全ての撮像単位についての測定が終了すると、図５に示すような、観察対象領域全体のホログラム画像が表示される。測定終了後に作業者が撮影画像表示画面６０内の「画像作成を実行」ボタン６５をクリック操作すると、収集されたホログラムデータがサーバ５が転送され、前述したように全画面の画像再構成処理が実行される。

なお、ホログラム画像では細胞の状態を観察するのは困難であるが、光源部１１やイメージセンサ１２の損傷等の装置の不具合や測定上の不手際等に起因する現象の多くは画像上で把握可能である。そこで、作業者は測定実行中に画像表示領域６１に表示されるホログラム画像を監視し、何らかの問題があると判断できる場合には「停止」ボタン６３をクリック操作する。すると、撮影制御部２１はこの操作を受けて測定を停止する。このように、測定に何らかの問題がある場合に測定を速やかに停止させることで、残りの無駄な測定に時間を費やすことを回避することができる。

測定終了後速やかに位相画像や強度画像を確認したい場合、作業者は、入力部２０１の一部であるマウス等のポインティングデバイスにより、図５に示した撮影画像表示画面６０内の画像表示領域６１に表示されているホログラム画像を構成する多数のサムネイル画像のうちの所望の一つの上にカーソルを移動させる。確認位置指定受付部２５はこの操作を受け付け、選択されている撮像単位を示す矩形状のマーク６７を画像に重畳して表示する。そして、作業者がポインティングデバイスによるダブルクリック操作を行うと、確認位置指定受付部２５はそのときに選択されている一つの撮像単位を、部分位相画像の作成対象であると認識し、これに応じて表示処理部２７は図６に示すような指定位置画像表示画面７０を表示部２０２の画面上に表示する。この指定位置画像表示画面７０には画像表示領域７１が設けられている。

並行して確認位置指定受付部２５は、指示された一つの撮像単位について得られたホログラムデータをホログラムデータ記憶部２２から読み出し、データ送受信部２３は読み出されたデータを通信ネットワーク４を通してサーバ５に転送する。なお、この一つの撮像単位についてのホログラムデータの転送動作は、上述したような撮影対象領域全体のホログラムデータのサーバ５への転送動作と並行して行ってもよいし、それよりも優先的に行ってもよい。後者の場合、撮影対象領域全体のホログラムデータの転送動作がすでに開始されていれば、それを一旦中断して、選択指示された一つの撮像単位についてのホログラムデータの転送を行えばよい。

サーバ５においてデータ送受信部５１は、上述したように測定用端末１から送られて来た一つの撮像単位についてのホログラムデータを受け取り、該データをホログラムデータ記憶部５２に一旦格納する。このときに転送されて来るデータの量は観察対象領域全体のホログラムデータのデータ量に比べて格段に少ないため、転送時間も格段に短い（図４参照）。

第２位相回復演算部５４はホログラムデータ記憶部２２に格納された一つの撮像単位のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度情報を求める。引き続き、第２画像再構成部５６は、算出された位相情報や強度情報に基づいて、一つの撮像単位についての部分位相画像及び部分強度画像を形成する。なお、ホログラムデータから位相情報や強度情報を算出する際には任意の焦点位置の情報を算出することができるが、この時点で設定される焦点位置は、測定用端末１から指定されたデフォルト値（例えば同じ識別番号の培養プレート及びウェルについて最も直近の過去の時点で設定されていた焦点位置など）である。この部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から測定用端末１に送られる。演算処理や画像再構成の処理も一つの撮像単位分のみでよくタイリング処理等の不要であるので、部分位相画像及び部分強度画像が形成されるまでの処理時間も、観察対象領域全体の位相画像及び強度画像を形成するのに要する時間に比べて格段に短い（図４参照）。

上述したように、作業者により選択指示された一つの撮像単位についてのホログラムデータの転送及び該データに基づく部分位相画像、部分強度画像の形成に要する時間は短い。したがって、測定用端末１において上述したように作業者が一つの撮像単位に対応するサムネイル画像についてのダブルクリック操作を行った時点から比較的短い時間内に、サーバ５からその測定用端末１に部分位相画像及び部分強度画像を構成する画像データが送られて来る。送られて来た画像データは一旦、画像データ記憶部２６に格納される。

表示処理部２７はこの画像データに基づき部分位相画像及び部分強度画像を作成し、それら二つの画像を指定位置画像表示画面７０内の画像表示領域７１に並べて表示する。なお、画像表示領域７１に表示する画像の種類は表示画像選択チェックボックス７２にチェックマークを入れることで選択することができ、部分位相画像と部分強度画像とのいずれか一方のみを画像表示領域７１に表示させることもできる。なお、図６の例において、表示されている部分位相画像及び部分強度画像の焦点位置は６８２０μmである。

初めに設定されている焦点位置が必ずしも細胞観察における合焦位置であるとは限らないし、また細胞とは高さが相違する異物を観察したい場合には焦点位置を変更する必要がある。そこで、異なる焦点位置における部分位相画像や部分強度画像を観察したい場合、作業者は、指定位置画像表示画面７０内のスライス条件設定領域７３で複数段階の焦点位置を決める条件を設定する。即ち、作業者が焦点位置の範囲とスライス幅（焦点位置のステップ幅）とをそれぞれスライダーで入力すると、スライス数（焦点位置の段数）が自動的に計算されて表示される。これら数値もデフォルトのままとすることができる。そして、スライス条件を設定したあと作業者が「スライス画像作成」ボタン７４をクリック操作すると、焦点指定受付部２８はこの操作を受け付け、設定されたスライス条件をサーバ５に指示する。なお、スライス条件設定領域７３におけるスライダーを操作すると、その下方の「ウェルに設定する焦点位置」スライダー７５の焦点範囲が連動して設定される。

サーバ５において第２位相回復演算部５４及び第２画像再構成部５６は、上記の選択された一つの撮像単位についてのホログラムデータに基づいて、指示されたスライス条件に従って複数の焦点位置における位相情報及び強度情報を算出し、互いに焦点位置の相違する複数の部分位相画像及び部分強度画像を形成する。この複数の焦点位置における部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から通信ネットワーク４を通して測定用端末１に送られる。測定用端末１の制御・処理部２０において、データ送受信部２３を経て受け取られた画像データは一旦、画像データ記憶部２６に格納される。

このように異なる焦点位置における部分位相画像及び部分強度画像を構成する画像データが用意されると、図６に示した指定位置画像表示画面７０内の「ウェルに設定する焦点位置」スライダー７５が有効になる。即ち、該スライダー７５のノブをポインティングデバイスで移動させることが可能になる。

焦点位置が異なる画像を見たい場合、作業者はポインティングデバイスにより「ウェルに設定する焦点位置」スライダー７５のノブを左右に移動させる。すると、焦点指定受付部２８はスライダー７５上のノブの位置に対応した焦点位置を求め、表示処理部２７は画像表示領域７１に表示している部分位相画像及び部分強度画像をその焦点位置における画像に更新する。図６の例では、スライス数が１１であるので、スライダー７５を操作することで、１１段階の異なる焦点位置における部分位相画像及び部分強度画像をそれぞれ確認することができる。作業者は、異なる焦点位置における部分位相画像同士又は部分強度画像同士をそれぞれ比較することで、観察対象である細胞などが最も明瞭に観察できる焦点位置を見つけることができる。

こうして、明瞭な部分位相画像及び部分強度画像が得られたならば、作業者はそれら画像を確認して、細胞に異常が発生している等、培養に不具合がないかどうか、さらには、撮影に不具合がないかどうかなどを判断する。そして、不具合等があるために観察対象領域全体の位相画像や強度画像を作成する必要がないと判断した場合には、ホログラムデータに基づく全画面の位相画像や強度画像の再構成処理の実行を回避する。或いは、図５中の「画像作成を実行」ボタン６５の操作により測定用端末１からサーバ５への全ホログラムデータの転送が開始されている場合であっても、所定の操作を行うことでデータ転送を中止させることもできる（図４参照）。こうした判断は撮影終了時点から比較的短い時間内で行うことができるので、全画面の画像再構成処理により位相画像が作成されるまで長い時間待つ必要がない。

また、上述したように互いに異なる焦点位置における複数の部分位相画像及び部分強度画像をそれぞれ比較することで適切な焦点位置を見つけたならば、作業者は指定位置画像表示画面７０内の「設定」ボタン７６をクリック操作する。すると、焦点指定受付部２８はこの操作を受け付け、データ送受信部２３を通して、指示された焦点位置の値とそのときに表示している部分位相画像等の撮像単位が存在するウェルの識別番号との情報をサーバ５に送出する。サーバ５において、指示された焦点位置は合焦状態の焦点位置として、ウェルの識別番号に対応付けてホログラムデータ記憶部５２に保存される。

上述のように一つの撮像単位についての部分位相画像及び部分強度画像に基づいて決めることができる焦点位置は、その撮像単位が存在する一つのウェルについてのみである。したがって、培養プレート１３に形成されている６個のウェル１３ａの全てについてそれぞれ合焦状態の焦点位置の情報を取得したい場合には、上記のような作業を繰り返す。

即ち、図５に示したような撮影画像表示画面６０の画像表示領域６１に表示されているホログラム画像上で他のウェル中に位置する一つの撮像単位を選択し、その撮像単位についての部分位相画像及び部分強度画像を図６に示したような指定位置画像表示画面７０に表示させる。そして、指定位置画像表示画面７０においてスライス条件を設定し、スライス画像の作成を指示して複数の焦点における部分位相画像及び部分強度画像を作成させる。そして、作業者は、作成された複数の焦点における部分位相画像等を比較することで、適切な焦点位置を見いだし、「設定」ボタン７６をクリック操作して焦点位置を確定させる。こうした作業を各ウェルについて繰り返すことで、６個のウェルに対しそれぞれ異なる焦点位置の情報を取得することができる。

なお、上述のようにしてウェル毎に設定された焦点位置の値は、図５に示した撮影画像表示画面６０のプレート情報表示領域６２に配置されている焦点位置リスト６６に反映される。焦点位置リスト６６において、「１：５０００μm」とは識別番号が１であるウェルの焦点位置が５０００μmであることを意味する。この焦点位置リスト６６には、その時点で各ウェルに対して設定されている最新の焦点位置の値が表示される。この焦点位置リスト６６に表示されている焦点位置の値は、入力部２０１の一部であるキーボードを用いて変更することもできる。したがって、作業者は、上記のような手順で各ウェルに対する焦点位置の値を決めたあと、焦点位置リスト６６でその値を確認し、必要に応じてその値を手入力で修正することもできる。こうした修正が行われると、その情報がサーバ５に送られ、ホログラムデータ記憶部５２に保存されている各ウェルの識別番号に対応付けられている焦点位置の値も変更される。

上述したように第１位相回復演算部５３は撮像単位毎にホログラムデータに基づいて位相情報及び強度情報を算出するが、その際に、各撮像単位が位置するウェルの識別番号を参照し、その識別番号に対応付けられている合焦状態の焦点位置の情報を記憶部５２から取得する。そして、その焦点位置における位相情報及び強度情報を算出する。即ち、撮影対象領域全体の位相画像や強度画像を作成する際のウェル毎の焦点位置は、作業者が測定用端末１で焦点位置の相違する複数の部分位相画像及び部分強度画像を確認することで決定される。或いは、作業者が、撮影画像表示画面６０上の焦点位置リスト６６内に焦点位置の値を直接入力することで決定される。いずれにしても、従来のように、培養プレート１３全体の位相画像や強度画像を一旦作成して表示させたあとに焦点位置を決めるのではなく、培養プレート１３全体の位相画像や強度画像が作成される前に適切な焦点位置をウェル毎に決めることができる。また、培養プレート１３全体の広い範囲の位相画像や強度画像を作成する際に、合焦状態でない様々な焦点位置における画像を作成する必要がないので、画像再構成処理の時間も節約できる。これにより、細胞観察の作業の効率化が図れる。

もちろん、ウェル毎に１箇所の撮像単位で合焦位置を決めても、同ウェルの他の箇所では合焦位置が少しずれているおそれもある。そこで、合焦位置とされる焦点位置を含む所定の焦点範囲の複数の焦点位置における位相画像や強度画像を作成してもよい。これにより、合焦位置から少しずれた焦点位置における位相画像や強度画像も観察することができる。

また、合焦状態の焦点位置の情報はホログラムデータ記憶部５２に格納されているので、例えば同一の培養プレートを別の日に測定したときに、合焦位置を探す作業を行うことなく該記憶部５２に保存されている焦点位置の情報を用いて全画面の位相画像や強度画像の再構成処理を実施することができる。また、同一でなくても同種の培養プレートであればウェルの高さは或る程度揃っている。したがって、別の培養プレートについての観察を行う際にも、ホログラムデータ記憶部５２に保存されている焦点位置を初期位置とし、所定の焦点位置範囲で最も焦点が合う位置を探すことで、短時間で合焦位置を見つけることができるという利点もある。

なお、上記実施例では、作業者により指定された一つの撮像単位のホログラムデータから該撮像単位における部分位相画像や部分強度画像を再構成していたが、一つの撮像単位の中の一部の範囲を作業者が適宜に指定し、その指定された範囲に含まれるホログラムデータから該範囲における部分位相画像や部分強度画像を再構成できるようにしてもよい。これにより、測定用端末１からサーバ５に転送されるデータ量がさらに減るため、データ転送時間や処理時間をさらに一層短くすることができる。

また、一つの撮像単位についての部分位相画像や強度位相画像を指定位置画像表示画面７０内に表示したあと、その画像において作業者により指定された範囲を拡大して表示できるようにしてもよい。また、撮影画像表示画面６０内に表示されているホログラム画像上で一つの撮像単位の中の一部の範囲を作業者が適宜に指定したときに、サーバ５の第２画像再構成部５６では、その一つの撮像単位についての部分位相画像や部分強度画像を再構成したあと、指定された範囲の画像のみを切り出し、その切り出された範囲の画像データのみを測定用端末１に送り画面上に表示するようにしてもよい。

また、ホログラム画像上で一つのみではなく複数の撮像単位を指定したり、一つの撮像単位よりも大きなサイズの範囲を任意に指定したりできるようにし、その指定された複数の撮像単位又は範囲に対応する部分位相画像や部分強度画像を再構成して表示できるようにしてもよい。但し、指定される撮像単位数が多くなるほど又は指定される範囲が広くなるほど処理対象のデータ量が増加するから、部分位相画像等を表示できるまでも時間が長くなる。そのため、この時間の制約から、指定できる撮像単位数や範囲の広さの上限を予め決めておくとよい。

次に、本発明に包含されないものの関連する参考例の細胞観察装置について、図７を参照して説明する。図７は図２と同様に、測定用端末１の概略構成図である。図７において図２に示した測定用端末１における構成要素と同一又は相当する構成要素には同じ符号を付してある。

この参考例の細胞観察装置では、測定用端末１における顕微観察部１０は、測距用のパルス状のレーザ光を出射するレーザ発光部、反射してきたレーザ光を検出する検出器、及び、検出器に入射する光の方向（角度）を精度良く認識して三角測距方式により培養プレート１３のウェル内底面又は培地表面までの距離を算出する信号処理部を含む測距部１８と、得られた距離から培養プレート１３のウェル内に収容されている培地表面の高さを計算し、該高さから焦点位置を導出する焦点位置計算部１９と、を備える。この細胞観察装置では、ホログラムデータの収集の前に、測距部１８及び焦点位置計算部１９により、培養プレート１３のウェル毎にその内底部又は培地表面までの距離を計測し、その計測値から培地表面の相対的な高さを求め適切な焦点位置を計算する。そして、ウェル毎の焦点位置の情報を制御・処理部２０に入力する。

制御・処理部２０において焦点指定受付部２８は、焦点位置計算部１９から上述したような焦点位置の情報が入力されたならば、その値を各ウェルの合焦状態の焦点位置として設定する。即ち、例えば入力された焦点位置の値を撮影画像表示画面６０内の焦点位置リスト６６に自動的に入力するとともに、サーバ５にその情報を通知する。これにより、作業者が手入力の操作や上述したような画像を確認しながら焦点位置を見いだす作業を行うことなく、各ウェルに対する適切な焦点位置が自動的に設定される。

なお、ここではレーザ光を利用した測距部を用いたが、ウェルの内底面の高さ又は培地表面の高さを非接触で計測可能な手法であれば、測距の手法は特に限定されない。

また、上記実施例において顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であるが、顕微観察部１０は観察対象領域中の測定位置毎にホログラムを取得するものであればよいので、インライン型に限らず、オフアクシス型や位相シフト型のデジタルホログラフィック顕微鏡であってもよい。

また、上記実施例では、測定用端末１と通信ネットワーク４を介して接続されたサーバ５において位相回復等の演算処理を実施していたが、スタンドアロン型の装置で全ての処理を実施する構成としてもよいことは当然である。

さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

１…測定用端末
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１３ａ…ウェル
１４…細胞
１５…移動部
１６…参照光
１７…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…データ送受信部
２４…ホログラム画像作成部
２５…確認位置指定受付部
２６…画像データ記憶部
２７…表示処理部
２８…焦点指定受付部
２０１…入力部
２０２…表示部
３…閲覧用端末
５…サーバ
４…通信ネットワーク
５１…データ送受信部
５２…ホログラムデータ記憶部
５３…第１位相回復演算部
５４…第２位相回復演算部
５５…第１画像再構成部
５６…第２画像再構成部
５７…画像データ記憶部
６０…撮影画像表示画面
６１…画像表示領域
６２…プレート情報表示領域
６３…「停止」ボタン
６５…「画像作成を実行」ボタン
６６…焦点位置リスト
６７…マーク
７０…指定位置画像表示画面
７１…画像表示領域
７２…表示画像選択チェックボックス
７３…スライス条件設定領域
７４…「スライス画像作成」ボタン
７５…「ウェルに設定する焦点位置」スライダー
７６…「設定」ボタン

Claims (4)

1. ホログラフィック顕微鏡を利用した細胞観察装置であって、
   a)光源部と、
   b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
   c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
   d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
   e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び／又は部分強度画像をそれぞれ作成する再構成画像作成部と、
   f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び／又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
   g)前記表示処理部より部分位相画像及び／又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び／又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
   を備えることを特徴とする細胞観察装置。
2. 請求項１に記載の細胞観察装置であって、
   前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
   前記再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
   をさらに備えることを特徴とする細胞観察装置。
3. 請求項１に記載の細胞観察装置であり、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置であって、
   前記焦点位置設定部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び／又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び／又は強度画像を作成するための焦点位置を記憶させることを特徴とする細胞観察装置。
4. 請求項３に記載の細胞観察装置であって、
   前記焦点位置設定部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含むことを特徴とする細胞観察装置。

Images