JP6660712B2 - 分類器構成方法および細胞の生死判定方法 - Google Patents

Description

この発明は、細胞を撮像した画像に基づき細胞の生死を判定する技術に関するものである。

例えば創薬を目的として化合物が細胞に及ぼす影響を調べるためのスクリーニング実験では、培養された細胞を含む試料に種々の濃度で化合物が添加され、所定のタイミングで細胞の生死が判定される。従来、このような細胞の生死判定は熟練者が顕微鏡観察により目視で判定することによりなされてきた。近年では、より簡単にかつ判定者の主観に頼らない安定した判定を行うために、試料を撮像した画像を用いた画像解析により自動的に細胞の検出および生死判定を行う技術が開発されている。

例えば特許文献１に記載の技術では、生きている生存細胞および死んでいる非生存細胞の一方に対して選択的に染色することのできる染色方法を用いて試料を染色し、染色された試料を観察することが行われる。このように、細胞に遺伝子操作や試薬添加を施すことでその種類や状態に応じた選択的な着色などの標識を与える処理は「ラベリング」と称される。

特表２０１５−５２１０３７号公報

例えば医薬品の候補としての化合物のスクリーニングにおいては、化合物が病変に対し有効に作用するか否かだけでなく、正常な細胞に悪影響を与えないことの確認も必要となる。このような目的のためには、試料中の細胞に影響を及ぼすようなラベリングを用いることはできない。またラベリングには特殊な材料や作業が必要となり、大きなコストおよび手間がかかるという問題もある。これらのことから、ラベリングを行わずに細胞の生死を判定する技術の確立が求められる。しかしながら、ラベリングを用いずに撮像された画像から細胞の生死を自動的に、かつ精度よく求める技術は確立されるに至っていない。

この発明は上記課題に鑑みなされたものであり、ラべリングを用いずに作製された試料中の細胞の生死を、判定者の主観に依存せず自動的に、かつ精度よく求めることのできる技術を提供することを目的とする。

この発明の一の態様は、上記目的を達成するため、生細胞および死細胞を含み、前記生細胞と前記死細胞とで励起光に対する蛍光の発生態様を互いに異ならせた蛍光標本を準備する準備工程と、前記蛍光標本を蛍光撮像した蛍光画像を取得する蛍光画像取得工程と、前記蛍光標本を明視野撮像した明視野画像を取得する明視野画像取得工程と、前記蛍光画像から前記蛍光標本中の生細胞および死細胞それぞれの位置を、前記生細胞および前記死細胞それぞれが発する特有の蛍光色に対応する領域を検出する画像処理によって特定する位置特定工程と、前記明視野画像に含まれる画像オブジェクトを画像処理により検出し、検出された前記画像オブジェクトのうち前記位置特定工程において特定された生細胞の位置に対応する位置にある前記画像オブジェクトを生細胞オブジェクトとして、また前記位置特定工程において特定された死細胞の位置に対応する位置にある前記画像オブジェクトを死細胞オブジェクトとしてそれぞれ抽出する抽出工程と、前記生細胞オブジェクトおよび前記死細胞オブジェクトとして抽出された前記画像オブジェクト各々の特徴ベクトルを求め、前記特徴ベクトルおよび生死の特定結果を含む教師データを用いて機械学習を実行し分類器を構成する学習工程とを備える、細胞の生死判定のための分類器構成方法である。

このように構成された発明により得られる分類器は、ラベリングを行わずに作製された試料中の細胞の生死を判定することを可能とするものである。すなわち、試料中の細胞を撮像した画像を、本発明により構成された分類器を用いて分類することにより、当該細胞が生きている細胞である生細胞、死んだ細胞である死細胞のいずれの特徴をより強く有しているかが求められる。

この目的のために、本発明では、生細胞および死細胞の両方を含む蛍光標本を蛍光撮像した蛍光画像から生細胞および死細胞それぞれの位置が特定される。蛍光画像では、生細胞および死細胞がそれぞれ特有の蛍光を発することから、それらの画像内における位置の特定は比較的容易であるが、細胞の形状やテクスチャーは不鮮明な場合が多い。一方、明視野画像では細胞の形状やテクスチャーを鮮明に表現することができるが、生きている細胞と死んだ細胞との判別には注意深い観察が必要となる。

そこで、明視野画像中の画像オブジェクトのうち、蛍光画像において特定された生細胞の位置と対応する位置にあるものが生細胞を撮像した画像オブジェクトとして、また死細胞の位置と対応する位置にあるものが死細胞を撮像した画像オブジェクトとしてそれぞれ抽出される。こうして明視野画像中で生細胞および死細胞に対応する画像オブジェクトが特定されると、それらの特徴ベクトルおよび生死の特定結果を教師データとして機械学習を実行し分類器を構成することで、生細胞と死細胞とを画像特徴から判別するための分類器が得られる。こうして得られた分類器は、未知の細胞画像を生細胞または死細胞のいずれかのカテゴリに分類するために有効なものとなる。すなわち、この分類器を用いた分類を行うことで、判定者の主観に依存せず自動的に、かつ精度よく細胞の生死を判定することができる。

本発明の他の態様は、細胞を含む試料を明視野撮像した処理対象画像を取得する原画像取得工程と、前記処理対象画像から前記細胞に対応する画像オブジェクトを検出する検出工程と、上記した分類器構成方法により構成された分類器を用いて、前記検出工程で検出された前記画像オブジェクトを分類し、分類結果に基づいて当該画像オブジェクトに対応する前記細胞の生死を判定する判定工程とを備える細胞の生死判定方法である。試料を撮像した原画像中の画像オブジェクトを上記のようにして構成された分類器を用いて分類することで、当該画像オブジェクトが生細胞に対応するものか死細胞に対応するものかを判定者の主観に依存せず自動的に、かつ精度よく判定することができる。

本発明の分類器構成方法によれば、ラべリングを用いずに作製された試料中の細胞の生死を、自動的にかつ精度よく求めることが可能となる分類器を構成することができる。また、このように構成された分類器を用いる本発明の細胞の生死判定方法によれば、ラべリングを用いずに作製された試料中の細胞の生死を、自動的にかつ精度よく求めることができる。

本発明にかかる画像処理方法を適用可能な撮像装置の概略構成を示す図である。 照明部の動作を示す図である。 この撮像装置における細胞計数処理を示すフローチャートである。 この実施形態における分類器の構成方法を示すフローチャートである。 撮像された画像およびそれから派生する各種画像の例を示す図である。 学習により形成される特徴空間内のクラスタを例示する図である。 本実施形態の判定方法と既存の判定方法との比較結果を示す図である。

図１は本発明にかかる画像処理方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置１は、ウェルプレートＷＰの上面に形成されたウェルＷと称される凹部に注入された液体中で培養される細胞あるいは細胞コロニーを撮像する装置である。図１における上下方向が鉛直方向を表し、下向きが鉛直下向き方向である。また図１における左右方向および図１紙面に垂直な方向が水平方向である。

ウェルプレートＷＰは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルＷが複数設けられている。１つのウェルプレートＷＰにおけるウェルＷの数は任意であるが、例えば９６個（１２×８のマトリクス配列）のものを用いることができる。各ウェルＷの直径および深さは代表的には数ｍｍ程度である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。

ウェルプレートＷＰの各ウェルＷには、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞が、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルＷに投入された後ゲル化するものであってもよい。後述するように、この撮像装置１では、例えばウェルＷの内底面で培養された細胞等を撮像対象とすることができる。常用される一般的な液量はプレートの仕様により様々であるが、例えば９６ウェルでは１００ないし２００マイクロリットル程度、３８４ウェルでは２５ないし７５マイクロリットル程度である。

撮像装置１は、ウェルプレートＷＰを保持するホルダ１１と、ウェルプレートＷＰのウェルＷを照明する照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェルＷに担持するウェルプレートＷＰの下面周縁部に当接してウェルプレートＷＰを略水平姿勢に保持する。

ホルダ１１により保持されたウェルプレートＷＰの下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレートＷＰの直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。

撮像部１３により、ウェルＷ内の細胞等が撮像される。具体的には、照明部１２から出射されウェルＷに入射した光が撮像対象物を照明し、ウェルＷ底面から下方へ出射される光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は、一次元の受光面を有するリニアイメージセンサまたは二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。なお撮像素子１３２としてはカラー画像を撮像可能なものが用いられる。

照明部１２は、ウェルプレートＷＰの上方に配置された第１の光源１２１と、ウェルプレートＷＰの下方に配置された第２の光源１２２とを備えている。第１の光源１２１は、照明用光源としての例えば白色ＬＥＤ（Light Emitting Diode）を有し、ウェルＷ内の細胞を照明する可視照明光としての白色光を下向きに出射する。一方、第２の光源１２２は、蛍光励起用光源を有し、ウェルプレートＷＰの底面側で略水平方向に強い単色光を出射する。第２の光源１２２の出射する光の波長は、使用される蛍光試薬に応じて選択され、例えば後述するＧＦＰ（Green Fluorescent Protein）とＰＩ（Propidium
Iodide）とを同時観察する場合、波長４７０ｎｍの青色光を好適に使用可能である。

照明部１２はまた、ウェルプレートＷＰの下方に配置された蛍光用ミラーユニット１２３を備えている。蛍光用ミラーユニット１２３は、水平方向には第１の光源１２１と略同一位置に、鉛直方向には第２の光源１２２と略同一位置に配置されている。照明部１２のうち第２の光源１２２および蛍光用ミラーユニット１２３は、撮像部１３と同一筐体に設けられている。そして、蛍光用ミラーユニット１２３は、撮像部１３の撮像光学系と撮像素子１３２との間に配置されている。以下に説明するように、第１の光源１２１、第２の光源１２２から選択的に出射される光が蛍光用ミラーユニット１２３に入射する。蛍光用ミラーユニットは、例えばダイクロイックミラーである。

図２は照明部の動作を示す図である。より詳しくは、図２（ａ）は第１の光源１２１から出射される光の光路図を、図２（ｂ）は第２の光源１２２から出射される光の光路図をそれぞれ示している。図２（ａ）に示すように、第１の光源１２１から下向きに出射される光Ｌ１は、ウェルＷ内の培地Ｍに上方から入射して撮像対象物である培地Ｍ内の細胞Ｃを明視野照明する。光Ｌ１はウェルＷの透明な底面から下方へ出射され、対物レンズ１３１を介して蛍光用ミラーユニット１２３に入射する。蛍光用ミラーユニット１２３は光Ｌ１を下方へ透過させ、下方に配置された撮像素子１３２に入射させる。

一方、図２（ｂ）に示すように、第２の光源１２２から出射される比較的短波長の励起光Ｌ２は、蛍光用ミラーユニット１２３により上方へ反射され、対物レンズ１３１およびウェルＷの底面を介して培地Ｍ中の細胞Ｃに入射する。後述するように、細胞Ｃが励起光により蛍光を発生する性質を付与されている場合、入射した励起光Ｌ２によって細胞Ｃから蛍光が発せられる。細胞Ｃから下向きに出射された比較的長波長の蛍光Ｌ３は対物レンズ１３１および蛍光用ミラーユニット１２３を透過して撮像素子１３２に入射する。このように、選択的に光を出射する第１の光源１２１および第２の光源１２２は蛍光用ミラーユニット１２３と共に、細胞Ｃに対する同軸照明を実現する照明光学系を構成している。

照明部１２において第１の光源１２１から照明光Ｌ１がウェルＷに照射された状態では、撮像部１３により撮像される画像はウェルＷの明視野画像となる。一方、第２の光源１２２から励起光Ｌ２がウェルＷに照射された状態では、撮像部１３により撮像される画像は励起光Ｌ２により励起される蛍光Ｌ３の像を撮像したウェルＷの蛍光画像となる。励起光Ｌ２は撮像素子１３２に直接入射しない。両撮像においてウェルＷと撮像部１３との位置関係は変化せず、撮像視野は互いに同一である。

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３がウェルＷに対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。

また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２（第１および第２の光源１２１，１２２、蛍光用ミラーユニット１２３）を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。

１つのウェルＷについて詳細な画像が必要とされるとき、撮像視野内に１つのウェルＷの全体が収められた状態で撮像が行われる。このとき、メカ制御部１４６は、可能な限り光軸が当該ウェルＷの中心と一致するように、撮像部１３を水平方向に位置決めする。これにより、どのウェルＷが撮像される場合でも、当該ウェルＷの中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、各ウェルＷに対する照明条件を一定にして、撮像条件を良好に維持することができる。ウェルサイズが撮像視野より大きい場合には、ウェルを複数の撮像視野に分割して、かつ適切なサイズで撮像視野を互いにオーバーラップさせながら撮像することで、ウェル全体をカバーする。それらの画像を結合することで、ウェル全体の画像が取得される。

一方、複数のウェルＷについてより高速に撮像することが必要とされるときには、水平方向に撮像部１３を走査移動させながら撮像が行われる。すなわち、メカ制御部１４６が照明部１２および撮像部１３を一体的に一定速度で水平移動させることで走査移動が実現され、撮像部１３が定期的に撮像を行うことで広範囲が撮像される。特に撮像素子１３２としてのリニアイメージセンサを有する構成においては、このような撮像対象物に対する撮像部１３の走査移動により、撮像対象物の二次元画像が取得される。

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。制御部１４はさらに、画像データを記憶保存するための画像メモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。さらに、制御部１４は、第１の光源１２１および第２の光源１２２の点灯制御を行う照明制御部１４９を備えている。

なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。

上記のように構成された撮像装置１は、ウェルＷ内を撮像して得た画像から、ウェルＷ内で培養された細胞の生死を判定し、判定された生細胞および死細胞それぞれの数を計数する機能を有している。以下、この撮像装置１の動作について説明する。下記の動作は、ＣＰＵ１４１がメモリ１４５に予め記憶されている制御プログラムを実行し、装置各部に該制御プログラムに規定された所定の動作を実行させることにより実現される。

図３はこの撮像装置における細胞計数処理を示すフローチャートである。細胞の計数は、ウェルプレートＷＰに設けられた複数のウェルＷそれぞれについて実行されるが、ここでは１つのウェルＷに対する動作に着目して説明する。最初に、照明部１２の第１の光源１２１から照明光Ｌ１がウェルＷに照射された状態で、撮像部１３がウェルＷ内を明視野撮像する（ステップＳ１０１）。これによりウェルＷの明視野画像が得られる。撮像はウェルＷごとに個別に行われてもよく、複数のウェルＷについて一括して行われてもよい。

以降の処理はウェルＷごとに個別に実行される。１つのウェルＷおよびその内部を撮像した画像を処理対象画像として、当該画像のウェルＷ内部から、細胞の形態を有する画像オブジェクトが検出される（ステップＳ１０２）。画像オブジェクトの検出には種々の公知技術を適用することが可能であり、例えば、適宜に定められた閾値より大きな（または小さな）画素値を有する画素が連続する領域を抽出する方法を適用することができる。閾値の設定には、例えば背景の明るさに応じて動的に閾値を設定する適応的閾値法を用いることができる。形状から明らかに細胞ではないとみなせる画像オブジェクトがあれば除外してもよい。

次に、検出された画像オブジェクトの形態的特徴を数値により表した特徴量を複数種求め、それらの特徴量を要素とする特徴ベクトルを求める（ステップＳ１０３）。こうして求められた特徴ベクトルと、後述する方法により予め作成された適宜の分類アルゴリズムに基づく分類器とを用いて、画像オブジェクトが分類される（ステップＳ１０４）。この分類器は、画像オブジェクトをその特徴ベクトルに基づき、「生細胞」カテゴリおよび「死細胞」カテゴリを含む複数の分類カテゴリのいずれかに分類する機能を有する。なお、検出される画像オブジェクトとしては生死不明の細胞や細胞でないもの（例えば気泡）も含まれ得るので、これらに対応する分類カテゴリが用意されていてもよい。

分類結果に基づき細胞の生死が判定される（ステップＳ１０５）。具体的には、検出された画像オブジェクトのうち「生細胞」カテゴリに分類されたものは生細胞、すなわち生きている細胞と判定される。また「死細胞」カテゴリに分類された画像オブジェクトは死細胞、すなわち死んだ細胞と判定される。そして、生細胞と判定された画像オブジェクトおよび死細胞と判定された画像オブジェクトそれぞれの個数が計数される（ステップＳ１０６）。

次に、上記判定処理に使用される分類器の構成方法について説明する。適宜の学習アルゴリズムに基づいて分類器を構成し細胞の生死を分類するために、生細胞および死細胞の典型例となるような画像サンプルが必要である。熟練者の目視判断によりこのような画像サンプルを用意することも可能である。しかしながら、典型例を収集するという目的から誤判定のない多数の画像サンプルが必要であり、目視判断に頼る作業は現実的でない。以下、目視判断によらない典型例の収集およびそれを教師に用いた機械学習による分類器の構成方法の具体例について説明する。

図４はこの実施形態における分類器の構成方法を示すフローチャートである。最初に、ＧＦＰ（生細胞に対応）とＰＩ染色（死細胞に対応）とを用いた場合の画像サンプルを取得するための蛍光標本が準備される（ステップＳ２０１）。蛍光標本としては、生死判定の対象とされる細胞と同種の細胞を、その生死に応じて励起光に対する蛍光の発生態様が異なるように標識したものが用いられる。標本には生細胞と死細胞とが含まれることが必要である。ここでは生細胞と死細胞とを共に含む標本を作製する方法を説明するが、両者が１つの標本をなす必要はなく、主に生細胞を含む標本と主に死細胞を含む標本とが個別に準備されてもよい。

この実施形態では、蛍光タンパク質としての例えば緑色蛍光タンパク質（Green Fluorescent Protein；ＧＦＰ）を発現する細胞をウェルプレートＷＰのウェルＷ内で増殖させたものに薬剤を添加し、所定期間の経過後に蛍光色素としての例えばヨウ化プロピジウム（Propidium Iodide；ＰＩ）を添加したものが蛍光標本とされる。ＧＦＰは、これを組み込んだ細胞が生きていれば短波長の励起光に対して緑色の蛍光を発する。一方、ＰＩは死細胞染色試薬として用いられるものであり、死んだ細胞のＤＮＡと結合して、励起光に対し赤色の蛍光を発する。

薬剤を添加して一部を死滅させた蛍光標本では、生細胞と死細胞とが混在している。この蛍光標本に励起光として例えば波長４７０ｎｍの青色光を入射させると、生細胞はＧＦＰに起因する緑色の蛍光を、死細胞はＰＩに起因する赤色の蛍光をそれぞれ発する。これにより、生細胞と死細胞とが明確に識別可能になる。

蛍光標本が作製されたウェルプレートＷＰは撮像装置１にセットされる（ステップＳ２０２）。そして、第２の光源１２２からの励起光の照射下で撮像部１３による撮像が行われ、蛍光画像が取得される（ステップＳ２０３）。また、第１の光源１２１からの照明光の照射下で撮像部１３による撮像が行われ、明視野画像が取得される（ステップＳ２０４）。蛍光画像の撮像および明視野画像の撮像の順序は不問であるが、細胞の移動や状態変化が起こらないように、両者の時間間隔は短いことが好ましい。励起光と照明光とが同軸照明光学系により選択的に照射される構成では、この時間間隔を十分に小さくすることができる。

ＧＦＰによる緑色成分とＰＩによる赤色成分とを識別するために、蛍光画像はカラー画像として撮像される。一方、明視野画像については、後処理において色に関わる特徴量が使用される場合にはカラー画像が必要であるが、そうでない場合には色情報は却って処理を複雑にする。色成分ごとの処理を不要とするために、カラー画像として撮像された場合でも適宜の画像処理によりモノクロ化しておくことが好ましい。得られた蛍光画像はＲＧＢの色成分ごとに分版される（ステップＳ２０５）。

図５は撮像された画像およびそれから派生する各種画像の例を示す図である。明視野画像Ｉｂでは細胞Ｃの形状や輪郭が比較的鮮明に表れるが、細胞の生死を判断するには個々の細胞Ｃを詳細に観察しなければならない。一方、蛍光画像Ｉｆでは、生細胞の位置ではＧＦＰに起因する緑色の像Ｃｇが、また死細胞の位置ではＰＩに起因する赤色の像Ｃｒが現れる。したがって、蛍光画像Ｉｆを分版して得られたＧ（グリーン）単色画像Ｉｆｇでは生細胞の位置に像Ｃｇが、またＲ（レッド）単色画像Ｉｆｒでは死細胞の位置に像Ｃｒがそれぞれ現れる。なお使用される蛍光色素によっては、ＲＧＢ色成分のそれぞれに成分値を持つことがあり得る。その場合にも、公知の色彩画像処理の手法を用いて、その色を有する領域を特定することが可能である。

このように、蛍光画像Ｉｆでは生細胞および死細胞が蛍光の色により区別されそれらの位置が明瞭に示されるが、細胞の形状に関する詳細な情報は失われている。ここで、仮に明視野画像Ｉｂと蛍光画像Ｉｆとを重ね合わせたとすると、合成された画像Ｉｓでは、明視野画像に現れた細胞Ｃそれぞれの生死が蛍光色によって示されることになる。この原理を利用して、明視野画像中の細胞Ｃを生細胞と死細胞とに区別することが可能である。

図４に戻って、分類器の構成方法の説明を続ける。蛍光画像を分版したＧ単色画像およびＲ単色画像から、それぞれ生細胞および死細胞の位置が特定される（ステップＳ２０６、Ｓ２０７）。蛍光画像から分版されたＧ単色画像にはＧＦＰによる蛍光に対応する画像オブジェクトが現れる。したがって、例えばＧ色成分の輝度値について適宜の閾値を定めて画像を二値化することで、画像中の生細胞に対応するオブジェクトの分布がわかる。生細胞の位置については、例えば二値化画像中の各オブジェクトの重心位置によって表すことができる。Ｒ単色画像についても同様に、画像を二値化することでＰＩによる蛍光に対応するオブジェクトの位置が特定される。こうして、蛍光画像における生細胞および死細胞の位置がそれぞれ特定される。

次に、明視野画像に含まれる画像オブジェクトが検出される（ステップＳ２０８）。画像オブジェクトの検出は、公知の検出方法のうち適宜のものを用いて行うことができる。例えば前述した適応的閾値法や種々の領域分割方法を用いることができる。こうして検出される画像オブジェクトには生細胞、死細胞およびそれらのいずれでもないものが含まれ得る。

こうして検出された明視野画像中の画像オブジェクトの中から、蛍光画像における生細胞および死細胞の位置に対応する位置にある画像オブジェクトが抽出される（ステップＳ２０９）。明視野画像と蛍光画像とは同一の撮像部１３により同一撮像視野で撮像されている。図５に示したように、明視野画像Ｉｂと蛍光画像Ｉｆとを重ね合わせると、明視野画像Ｉｂ中の画像オブジェクトのうち生細胞または死細胞に対応するものは蛍光画像Ｉｆ中の画像オブジェクトと重なる。

このことから、明視野画像Ｉｂ中の画像オブジェクトのうち、蛍光画像Ｉｆ中で検出された生細胞または死細胞の重心位置を含むものが、それぞれ生細胞または死細胞に対応する画像オブジェクトであると高い蓋然性で推定される。これらを生細胞および死細胞それぞれの典型例として用いることができる。明視野画像中の画像オブジェクトのうち、生細胞、死細胞のいずれでもない気泡等に対応するものは、蛍光画像において対応する画像オブジェクトがないため、細胞ではない異物として区別することができる。

こうして抽出された、生細胞に対応する画像オブジェクトおよび死細胞に対応する画像オブジェクトのそれぞれについて特徴ベクトルが求められ（ステップＳ２１０）、生細胞であるか死細胞であるかを示すラベルと特徴ベクトルとを教師データとする適宜の教師あり機械学習アルゴリズムが実行されることで、分類器が構成される（ステップＳ２１１）。構成された分類器は、分類カテゴリとして「生細胞」カテゴリおよび「死細胞」カテゴリを含み、未分類の画像オブジェクトをこれらのカテゴリのいずれかに分類する機能を有する。こうして構成された分類器が、図３に示した細胞計数処理において使用される。

明視野画像Ｉｂ中の画像オブジェクトのうち、生細胞、死細胞のいずれでもない、つまり対応するオブジェクトが蛍光画像Ｉｆ中に存在しないものに対して、例えば「非細胞物」としての分類カテゴリが別途設けられることが好ましい。すなわち、このような画像オブジェクトについても特徴ベクトルの導出を行い（ステップＳ２１０）、教師データとして学習に使用する。このようにすれば、図３に示される判定処理において細胞でない画像オブジェクトは非細胞物に分類されることとなり、このようなオブジェクトに対し誤って生細胞または死細胞との判定がなされることが回避される。細胞でない画像オブジェクトがさらに複数の分類カテゴリに細分化されてもよい。

分類器におけるこれらの分類カテゴリは、機械学習の実行に先立って予め用意されたものであってもよく、自己組織化学習アルゴリズムによって自動的に形成されたクラスタに対し専門家が事後的に与えるものであってもよい。

特徴ベクトルの要素となる特徴量については、可視画像において細胞に現れる形態的特徴を定量的に表す公知の特徴量を適宜選択可能である。本願発明者の知見では、細胞の生死を判定するという目的に対しては、細胞の外形的特徴を表す輪郭線特徴量および細胞内部のテクスチャーを表すテクスチャー特徴量が有効であり、それらを組み合わせた場合により優れた効果が得られる。輪郭線特徴量としては例えば、オブジェクトの輪郭線の法線が示す方向を輪郭線上の画素ごとに求めて統計的に処理した法線角度ヒストグラムを用いることができる。また、テクスチャー特徴量としては例えば、輪郭線で囲まれた細胞内部についての高次局所自己相関特徴（High-order Local Auto-Correlation；ＨＬＡＣ）を用いることができる。

図６は学習により形成される特徴空間内のクラスタを例示する図である。明視野画像から抽出された各画像オブジェクトは、複数の特徴量軸により構成される特徴空間内で、その特徴ベクトルにより特定される１点にマッピングされる。教師データに基づく機械学習により、各画像オブジェクトは特徴空間内で分類カテゴリごとにクラスタリングされる。

図６はその一例を模式的に示したものであり、ここでは「生細胞」カテゴリに対応するクラスタＣａ、「死細胞」カテゴリに対応するクラスタＣｂおよび「非細胞物」カテゴリに対応するクラスタＣｃの３つのクラスタが示されている。未分類の画像オブジェクトに対応する特徴ベクトルＶｕは、これらのクラスタのうち特徴空間内における距離が最も小さい１つのクラスタに対応する分類カテゴリに分類される。このようにして、明視野画像から抽出された未知の画像オブジェクトについて、それが細胞に対応するものであるか否か、細胞に対応する場合にはその生死が判定される。

図７は本実施形態の判定方法と既存の判定方法との比較結果を示す図である。本願発明者は、本実施形態による細胞の生死判定の精度を評価するため、判定精度において一定の実績が認められている既存の生死判定方法であるＡＴＰアッセイおよびＭＴＴアッセイとの間で比較実験を行った。具体的には、ＮＩＨ３Ｔ３細胞にＲａｓ遺伝子を導入してがん化させたものに抗がん剤としての薬剤ＭＧ１３２を作用させた試料を用意し、所定時間経過後の細胞の生存能力（バイアビリティ）および５０％抑制濃度（ＩＣ５０）を、ＡＴＰアッセイ、ＭＴＴアッセイおよび本実施形態のそれぞれで計測し、結果を比較した。

細胞の播種数と薬剤の希釈濃度との組み合わせを種々に異ならせて計測されたバイアビリティの値を図７（ａ）ないし図７（ｃ）に示す。図７（ａ）はＡＴＰアッセイによる結果を、図７（ｂ）はＭＴＴアッセイによる結果を、図７（ｃ）は本実施形態による結果をそれぞれ示す。既存のＡＴＰアッセイおよびＭＴＴアッセイにより求められるバイアビリティの数値は、試料中の細胞に占める生細胞の「量」の比率として表される。

一方、本実施形態では、生細胞および死細胞それぞれを個別に計数することができるので、バイアビリティの数値については、薬剤を添加した試料と薬剤を添加していない試料とのそれぞれにおいて、計数された生細胞の計数値から薬剤投与直前の生細胞の計数値を差し引き、薬剤を添加した試料における生細胞の数を薬剤を添加していない試料における生細胞の数で除することにより百分率で表している。３種類の方法で同様の計測結果が得られていることが、図７（ａ）ないし図７（ｃ）からわかる。

これらのグラフからＩＣ５０の値が求められる。具体的には、バイアビリティの値が５０％を挟む複数のデータ点からＳｉｇｍｏｉｄ関数によるフィッティングを行うことで、バイアビリティの値が５０％となる薬剤濃度を求め、その値をＩＣ５０とする。数値同士を比較して一方が他方に対し０．５倍ないし２倍の範囲にあれば十分な相関が取れているとみなすことができるが、図７（ｄ）に示すように、各判定方法で極めて近い数値が得られている。本実施形態による判定方法と、ＡＴＰアッセイおよびＭＴＴアッセイとの間でのＩＣ５０の値の相関度を図７（ｅ）に示す。これら既存の方法と本実施形態による判定方法との間で極めて高い相関が得られていることがわかる。

以上のように、この実施形態では、明視野画像に含まれる画像オブジェクトから生細胞および死細胞を識別する分類器を構成するために、予めラベリングが施された蛍光標本における蛍光画像と明視野画像との間での画像オブジェクトの対応関係を利用している。具体的には、蛍光標本は、蛍光画像において生細胞と死細胞とが異なる蛍光を発するように作製され、これを撮像した蛍光画像から生細胞および死細胞の位置が特定される。

そして、明視野画像中で検出される画像オブジェクトのうち、蛍光画像において生細胞が検出された位置にあるものは生細胞に対応するオブジェクト（生細胞オブジェクト）とみなされ、死細胞が検出された位置にあるものは死細胞に対応するオブジェクト（死細胞オブジェクト）とみなされる。これらの画像オブジェクトがそれぞれ生細胞および死細胞の典型例として用いられ、それらの特徴ベクトルを用いた教師あり機械学習により分類器が構成される。

こうして構成された分類器により分類を行うことで、生死判定の処理対象となる細胞を含む試料を撮像した画像中から検出される未分類の画像オブジェクトについて、明視野画像中のオブジェクトの外観から導出可能な特徴ベクトルを用いて生死判定を行うことが可能となる。したがって、いったん分類器ができ上がれば、予めラベリングを行うことは不要であり、ラベリングのための処置が試料中の細胞に影響を与えることが回避され、またラベリング作業に要する費用および手間を削減することが可能となる。特に、大量の試料を評価する必要があるスクリーニング実験においてラベリングが不要となることは非常に有益である。

また、分類器を構成する際の学習が、蛍光画像との関連付けによりその生死が明白である画像オブジェクトを典型例として行われる。そのため、熟練者による判定作業は不要であり、判定者の主観に依存しない安定した判定結果を得ることが可能となる。

以上説明したように、上記実施形態の分類器構成方法（図４）のうち、ステップＳ２０１、Ｓ２０３、Ｓ２０４、Ｓ２０６〜Ｓ２０７、Ｓ２０８〜Ｓ２０９、Ｓ２１０〜Ｓ２１１がそれぞれ本発明の「準備工程」、「蛍光画像取得工程」、「明視野画像取得工程」、「位置特定工程」、「抽出工程」、「学習工程」に相当している。また、上記実施形態の撮像装置１では、撮像部１３が本発明の「撮像手段」として機能している。

また、上記実施形態の細胞計数処理（図３）のうち、ステップＳ１０１、Ｓ１０２、Ｓ１０３〜Ｓ１０５がそれぞれ本発明の「原画像取得工程」、「検出工程」、「判定工程」に相当している。そして、ステップＳ１０１〜Ｓ１０５の処理が全体として、本発明の「生死判定方法」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における蛍光標本のラベリング手法や特徴量の選択はその一例を示したものであり、上記に限定されるものではない。

また、上記実施形態の撮像装置１は、予め準備された蛍光標本を撮像し分類器を構成する機能と、未知の試料を撮像し細胞の生死判定を行う機能との双方を備えるものである。しかしながら、蛍光標本を撮像する処理、これを用いて分類器を構成する処理、未知の試料を撮像する処理、およびその画像から細胞の生死判定を行う処理は、それぞれ独立したものであり、これらが全て一体の装置により実行される必要は必ずしもない。例えば、蛍光標本を撮像し分類器を構成する処理と、未知の試料を撮像して細胞の生死判定を行う処理とが異なる装置によって実行されてもよい。

また、蛍光標本および試料を撮像する装置と、撮像された画像を用いて分類器の構成および未知試料の判定を行う装置とが別体に構成されてもよい。また、生細胞と死細胞との外観的特徴の差異は、細胞の種類および薬剤の種類によって決まるものであり、これらを撮像する装置の構成や画像処理の内容に依存するものではない。したがって、例えばある細胞について生死判定を行う環境が複数設けられるとき、当該細胞に対して上記方法で用意された分類器は、それら複数の環境において共通して使用することが可能である。これらの場合、未知試料の撮像を行う撮像装置に蛍光撮像を行うための構成は必須ではない。

また、上記実施形態の撮像装置１は、蛍光撮像のための励起光源と明視野撮像のための照明光源とが同軸照明をなし、また両撮像が同一の撮像部１３により同一撮像視野で実行される。しかしながら、同一標本に対する蛍光撮像と明視野撮像とが短い時間間隔で行われ、かつ蛍光画像と明視野画像との間で画像中の位置関係が明確である限りにおいて、蛍光撮像と明視野撮像とが異なる環境で行われてもよい。

以上、具体的な実施形態を例示して説明してきたように、この発明は例えば、蛍光画像取得工程では、蛍光を励起する励起光が照射された蛍光標本を撮像手段が撮像する一方、明視野画像取得工程では、照明光としての可視光が照射された蛍光標本を蛍光画像取得工程と同一の撮像手段、同一の撮像視野で撮像するように構成されてもよい。このような構成によれば、蛍光撮像と明視野撮像との間で蛍光標本を移動させる必要がなく、両撮像の間で細胞の状態が変化するのを回避することができる。また、蛍光画像と明視野画像との間で、同一細胞の像が同一位置に現れるので、両者の位置関係が極めて明確である。

また例えば、準備工程では、緑色蛍光タンパク質を導入して培養した細胞に死細胞染色試薬としての赤色蛍光色素を添加した蛍光標本を作製し、蛍光画像取得工程では、蛍光標本のカラー画像を取得し、位置特定工程では、カラー画像を分版したＧ（グリーン）単色画像において所定以上の輝度を有する領域を生細胞とみなす一方、カラー画像を分版したＲ（レッド）単色画像において所定以上の輝度を有する領域を死細胞とみなすように構成されてもよい。

このような構成によれば、Ｇ単色画像には生細胞の位置にのみ画像オブジェクトが現れ、Ｒ単色画像には死細胞の位置にのみ画像オブジェクトが現れることとなるので、生細胞および死細胞それぞれの位置を簡単にかつ確実に特定することができる。また、細胞とは異なる画像オブジェクトを除外することができるので、誤判定を回避して、構成される分類器の精度をより向上させることができる。

また例えば、特徴ベクトルは、画像オブジェクトの輪郭線の形状に関連する輪郭線特徴量、および、画像オブジェクト内のテクスチャーに関連するテクスチャー特徴量の少なくとも一方を要素として含むものであってもよい。この場合、テクスチャー特徴量は、例えば高次局所自己相関特徴に関連する特徴量を含むものであってもよい。本願発明者の知見によれば、これらの特徴量は細胞の生死を精度よく判定するという目的に好適に利用可能なものである。

この発明は、細胞の生死を客観的にかつ定量的に評価する目的に好適に適用することができ、例えば創薬スクリーニングを目的として細胞に作用させた化合物の薬効を定量的に評価する際に利用することができる。また例えば、ｉＰＳ細胞やＥＳ細胞など多能性幹細胞を用いた再生医療技術の有効性を評価する際にも好適に利用可能である。

１ 撮像装置
１３ 撮像部（撮像手段）
Ｃ 細胞
Ｉｂ 明視野画像
Ｉｆ 蛍光画像
Ｓ１０１ 原画像取得工程
Ｓ１０２ 検出工程
Ｓ１０３〜Ｓ１０５ 判定工程
Ｓ２０１ 準備工程
Ｓ２０３ 蛍光画像取得工程
Ｓ２０４ 明視野画像取得工程
Ｓ２０６〜Ｓ２０７ 位置特定工程
Ｓ２０８〜Ｓ２０９ 抽出工程
Ｓ２１０〜Ｓ２１１ 学習工程

Claims (7)

1. 生細胞および死細胞を含み、前記生細胞と前記死細胞とで励起光に対する蛍光の発生態様を互いに異ならせた蛍光標本を準備する準備工程と、
   前記蛍光標本を蛍光撮像した蛍光画像を取得する蛍光画像取得工程と、
   前記蛍光標本を明視野撮像した明視野画像を取得する明視野画像取得工程と、
   前記蛍光画像から前記蛍光標本中の生細胞および死細胞それぞれの位置を、前記生細胞および前記死細胞それぞれが発する特有の蛍光色に対応する領域を検出する画像処理によって特定する位置特定工程と、
   前記明視野画像に含まれる画像オブジェクトを画像処理により検出し、検出された前記画像オブジェクトのうち前記位置特定工程において特定された生細胞の位置に対応する位置にある前記画像オブジェクトを生細胞オブジェクトとして、また前記位置特定工程において特定された死細胞の位置に対応する位置にある前記画像オブジェクトを死細胞オブジェクトとしてそれぞれ抽出する抽出工程と、
   前記生細胞オブジェクトおよび前記死細胞オブジェクトとして抽出された前記画像オブジェクト各々の特徴ベクトルを求め、前記特徴ベクトルおよび生死の特定結果を含む教師データを用いて機械学習を実行し分類器を構成する学習工程と
   を備える、細胞の生死判定のための分類器構成方法。
2. 前記蛍光画像取得工程では、蛍光を励起する励起光が照射された前記蛍光標本を撮像手段が撮像する一方、前記明視野画像取得工程では、照明光としての可視光が照射された前記蛍光標本を前記蛍光画像取得工程と同一の撮像手段、同一の撮像視野で撮像する請求項１に記載の分類器構成方法。
3. 前記準備工程では、緑色蛍光タンパク質を導入して培養した細胞に死細胞染色試薬としての赤色蛍光色素を添加した前記蛍光標本を作製し、
   前記蛍光画像取得工程では、前記蛍光標本のカラー画像を取得し、
   前記位置特定工程では、前記カラー画像を分版したグリーン単色画像において所定以上の輝度を有する領域を前記生細胞とみなす一方、前記カラー画像を分版したレッド単色画像において所定以上の輝度を有する領域を前記死細胞とみなす請求項１または２に記載の分類器構成方法。
4. 前記特徴ベクトルは、前記画像オブジェクトの輪郭線の形状に関連する輪郭線特徴量、および、前記画像オブジェクト内のテクスチャーに関連する前記テクスチャー特徴量の少なくとも一方を要素として含む請求項１ないし３のいずれかに記載の分類器構成方法。
5. 前記テクスチャー特徴量は、高次局所自己相関特徴に関連する特徴量を含む請求項４に記載の分類器構成方法。
6. 前記学習工程では、前記画像オブジェクトが分類される分類カテゴリとして、生細胞に対応する分類カテゴリと、死細胞に対応する分類カテゴリと、生細胞および死細胞のいずれでもないものに対応する分類カテゴリとを含む前記分類器を構成する請求項１ないし５のいずれかに記載の分類器構成方法。
7. 細胞を含む試料を明視野撮像した処理対象画像を取得する原画像取得工程と、
   前記処理対象画像から前記細胞に対応する画像オブジェクトを検出する検出工程と、
   請求項１ないし６のいずれかに記載の分類器構成方法により構成された分類器を用いて、前記検出工程で検出された前記画像オブジェクトを分類し、分類結果に基づいて当該画像オブジェクトに対応する前記細胞の生死を判定する判定工程と
   を備える細胞の生死判定方法。

Images