[go: up one dir, main page]

JP7288138B2 - 検体観察装置、検体観察方法 - Google Patents

検体観察装置、検体観察方法 Download PDF

Info

Publication number
JP7288138B2
JP7288138B2 JP2022502658A JP2022502658A JP7288138B2 JP 7288138 B2 JP7288138 B2 JP 7288138B2 JP 2022502658 A JP2022502658 A JP 2022502658A JP 2022502658 A JP2022502658 A JP 2022502658A JP 7288138 B2 JP7288138 B2 JP 7288138B2
Authority
JP
Japan
Prior art keywords
specimen
luminance
controller
scanning line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502658A
Other languages
English (en)
Other versions
JPWO2021171419A1 (ja
Inventor
健斗 西浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Publication of JPWO2021171419A1 publication Critical patent/JPWO2021171419A1/ja
Application granted granted Critical
Publication of JP7288138B2 publication Critical patent/JP7288138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0088Inverse microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/248Base structure objective (or ocular) turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Description

本開示は、検体容器が収容している検体を観察する検体観察装置に関する。
検体容器に収納された検体を撮像する検体観察装置において、検体を正確に観察するためには、検体容器の検体観察領域あるいは検体容器内の検体位置を判定することにより、検体を確実に撮像することが有用である。撮像した画像内に検体が含まれていなければ、検体についての正しい情報が得られないからである。
下記特許文献1は、検体観察装置について記載している。同文献においては、タイル状に貼り合わせた複数の広視野角の撮像画像を用いて、測定対象の細胞を検出することとしている(同文献の0113参照)。
特開2015-227940号公報
例えばウェル状の検体収納部を有する検体容器に格納した検体の顕微鏡像を撮像する装置は、検体容器の検体観察領域と撮像視野との間の水平方向における相対位置を決め、フォーカス調整および撮像を自動的に実施する。このような検体観察装置においては、あらかじめ設定した撮像位置にしたがって観察画像を取得すると、検体観察領域と撮像視野が互いにずれる場合がある。消耗品である検体容器は樹脂成型品が一般的であり、機械加工品よりも製造誤差が大きい。したがって、検体容器の製造誤差由来の位置ずれは、装置機構が如何に精度良く検体容器を保持しても完全に解消することは困難である。このずれは撮像画像の正確性や情報量の低下に繋がり、画像観察・画像解析などの後処理において誤った判断に繋がる可能性が生じる。また、ずれが大きいとフォーカス調整の判定対象外となって、撮像が不可能になる場合がある。例えば、レーザオートフォーカスシステムにおいては、レーザ照射位置が検体観察領域から外れるとフォーカス調整ができない。
本開示は、上記のような課題を解決するためになされたものであり、オートフォーカスシステムを用いて垂直方向におけるフォーカス位置を調整する前であっても、検体容器の検体観察領域と撮像視野との間の水平方向における相対位置決めを確実に実施することができる技術を提供することを目的とする。
本開示に係る検体観察装置は、オートフォーカスを実施する前において、検体容器の複数の箇所における画像の輝度値を取得し、高輝度領域の個数とその幅とを用いて、前記検体容器の水平方向における中心位置を特定するか、または、低輝度領域の個数とその幅とを用いて、前記検体容器の前記水平方向における中心位置を特定する。
本開示に係る検体観察装置によれば、オートフォーカスシステムを用いて垂直方向におけるフォーカス位置を調整する前であっても、検体容器の検体観察領域と撮像視野との間の水平方向における相対位置決めを確実に実施することができる。
実施形態1に係る検体観察装置100の構成図である。 検体容器101の検体収納部の形状例である。 検体容器101の傾斜部近傍における光の屈折を説明する図である。 実際に検体容器101周辺を広視野角で撮像した場合のデフォーカス画像の例である。 検体容器101の底面の中心位置が設計値と実際値との間で異なっている状態を示す模式図である。 ウェル実中心位置を特定する手順を説明するフローチャートである。 ステップS601においてコントローラ200が観察画像を取得する際における位置関係を示す図である。 ステップS602において撮像視野をX方向にbxだけ移動した状態を示す図である。 図8Aにおいて取得した各部分画像の輝度値和を例示するグラフである。 ステップS602の変形例を示す図である。 ステップS604においてコントローラ200が撮像視野をY方向にΔYだけ移動させる様子を示す図である。 図9Aに続いてS602を実施する様子を示す図である。 図9Bにおいて取得するプロファイルの例である。 条件(1)(2)に適合する走査線の例である。 図10Aにおいて取得するプロファイルの例である。 ステップS605においてコントローラ200が実中心座標Xcを求める様子を示す図である。 S607においてY方向の走査線に沿ってプロファイルを取得する様子を示す図である。 図12Aにおいて取得するプロファイルの例である。 寸法例に対応する平面図である。 実施形態2における条件(1)(2)について説明する図である。 高輝度領域が1つのみである場合において、ウェル底面を直接検出する場合の例である。
<実施の形態1>
図1は、本開示の実施形態1に係る検体観察装置100の構成図である。検体観察装置100は、検体容器101が収容している検体の画像を取得することによってその検体を観察する装置である。検体観察装置100は、対物レンズ102、対物レンズアクチュエータ103、ダイクロイックミラー104、光ピックアップ105、撮像素子106、照明107(光源)、検体容器保持部108、XYステージ109、コントローラ200を備える。コントローラ200は、検体観察装置100が備える各部を制御する。
検体容器保持部108は、1つ以上の検体容器101を保持する。図1における検体容器101はマルチウェルプレートを想定しているが、容器の種類はこれに限らない。1つ以上の検体収容部を有し、検体収容部に対して、後述する判定方法が適用できる形状であれば何でもよい。以下では、マルチウェルプレートのウェルが検体収容部に相当し、ウェル底面が検体観察領域であり撮像対象とする。
検体容器保持部108は、XYステージ109に接続されている。XYステージ109は、X方向およびY方向(水平方向に沿った2方向)へ検体容器保持部108を移動させることができる駆動機構である。撮像視野と検体容器101が相対的に移動すればよいので、検体容器保持部108を移動させることに代えて、対物レンズ102や撮像素子106を含む結像系が移動してもよい。本実施形態1において用いる動作模式図においては、記載の便宜上、固定された検体容器101の位置に対して撮像視野が移動しているように図示することとする。撮像素子106は500万画素(2500×2000)とする。
装置ユーザあるいは別の自動搬送装置などが、検体容器101を検体容器保持部108へ載置した後、コントローラ200は撮像動作を実施する。コントローラ200は、XYステージ109を駆動して検体容器保持部108のX方向およびY方向の位置を調整し、撮像視野をウェル底面に合わせ、Z方向に駆動する対物レンズアクチュエータ103によって対物レンズ102の焦点をウェル底面近傍に位置させる。以上の手順により、ウェル底面の像を得ることができる。
光ピックアップ105はレーザダイオードとフォトダイオードを内蔵しており、ウェル底面に照射したレーザの反射光を光ピックアップ105内のフォトダイオードが検出することにより、対物レンズ102の焦点がウェル底面近傍に位置するように対物レンズアクチュエータ103を駆動する。これにより光ピックアップ105と対物レンズアクチュエータ103は、対物レンズ102のオートフォーカス機構として動作する。撮像視野のXY位置をウェル底面に合わせなければ、オートフォーカスを実行することはできないので、オートフォーカス実行前に撮像できる画像は原則としてデフォーカスしたものである。オートフォーカス方式はレーザを用いるものに限らず、画像コントラストを評価する方式や、位相差を用いる方式でもよい。検体はZ方向の高さが数ミクロン程度のものを想定しており、オートフォーカスターゲット位置はウェル底面、あるいはウェル底面から数ミクロン上方となる。
図2は、検体容器101の検体収納部の形状例である。図2上段は検体容器101の側断面図である。図2下段は検体容器101上方からの照明透過光の分布を示す。検体容器101は、光軸に垂直な平面領域(以下、この領域をウェル底面または底面と記載する)を取り囲むように傾斜部を有しており、ウェル底面部と傾斜部の境界において屈折によって透過光が減少する。これにより、環状の低輝度領域Sが生まれる。
図3は、検体容器101の傾斜部近傍における光の屈折を説明する図である。傾斜部の傾斜角を30度、底面厚さを1.2mmとすれば、傾斜部における光の屈折によって0.5mmのずれ(ΔS)が発生する。環状の低輝度領域Sの直径は(ウェル底面直径)+2×0.5mmとなる。この数値例は実物に基づいた計算値であり、実際のデフォーカス画像中における寸法とはやや異なる場合もある。
図4は、実際に検体容器101周辺を広視野角で撮像した場合のデフォーカス画像の例である。環状の低輝度領域Sを視認することができる。低輝度領域Sは、傾斜部によって屈折した光を撮像することにより取得した、屈折光画像に相当する。
図5は、検体容器101の底面の中心位置が設計値と実際値との間で異なっている状態を示す模式図である。検体観察装置100の製造段階において、座標を定義する。XYステージ109の座標系において、撮像視野中心が各ウェルの設計中心位置に合致するような座標を(X0+ax,Y0+ay)とおく。設計中心位置と撮像視野中心との間の距離が(ax,ay)となる位置を動作開始点と定義すれば、動作開始点のXYステージ座標は(X0,Y0)となる。少なくともウェルの実中心位置が含まれるように、動作領域(X0+bx,Y0+by)を設定する。具体的には、ウェル底面直径の設計値を1.5mm、ウェルの設計中心位置を(X0+ax±1mm,Y0+ay±1mm)とすれば、axおよびayの値は1mm+(ウェル底面半径)=1.75mm程度にするべきである。
実際の装置動作について説明する。初めに、対物レンズ102の焦点位置をウェル底面より上方に移動させ、確実にウェル底面のデフォーカス画像を得られるようにする。または、オートフォーカスを実行していない状態において(対物レンズアクチュエータ103の原点において)、対物レンズ102の焦点位置がウェル底面より上方に位置するようにあらかじめ装置をセットしておく。撮像した画像がインフォーカス画像であっても、ウェルの実中心位置を画像判定することは可能であるが、ウェル底面に存在する微小な傷などの影響を受けて誤判定する可能性がある。そこで本実施形態1においては、デフォーカス画像を用いて、ウェルの実中心位置を判定することとした。
XYステージ109は、撮像視野を、動作開始点(X0,Y0)を起点として動作領域(X0+bx,Y0+by)内で移動させる。撮像素子106は一定間隔で撮像を実施し、撮像視野の全体または一部分の画像を取得する。XYステージ109を駆動しながら一定間隔で画像を取得する一連の動作をスキャンと称する。
XYステージ109の動作は、露光中に停止してもよいし、停止しなくてもよい。停止しない場合、像ブレを防ぐため、1画素相当距離の移動時間が画像取得の露光時間に対して短いことが望ましい。具体例として、露光時間500μs、画素分解能0.345μm/pixelである場合、XYステージ109の移動速度を0.69mm/s以下とすれば像ブレは発生しないと考えられる。ただし本実施形態1においてはデフォーカスした画像によってウェル中心位置を特定するので、数画素の像ブレは問題ない可能性が高い。
コントローラ200は、取得した画像の輝度値に関する情報(以下、画像情報と記載する)を解析することにより、ウェル実中心位置と撮像視野中心が合致するXYステージ座標を導く。具体的手順は後述する。ここでいう画像情報とは、画像を取得した座標、画像内の輝度値和、輝度値平均、輝度値最頻値などを指す。
図6は、ウェル実中心位置を特定する手順を説明するフローチャートである。本実施形態1においては、ウェル底面が低輝度領域Sによって囲まれた領域であることを利用してウェル実中心位置を特定する。スキャン中に取得する画像は撮像視野の一部分(例えば900画素の正方画像)とする。この画像を部分画像と呼称する。部分画像は撮像素子106の全画素のうち、どの部分で撮像してもよいが、ここでは撮像素子中心部とする。本フローチャートにおいては、画像情報として座標と輝度値和を使用する。以下図6の各ステップについて説明する。
(図6:ステップS601)
コントローラ200は、撮像視野中心を動作開始点(X0,Y0)にセットする。本ステップの平面イメージについては後述の図7に例示する。
(図6:ステップS602)
コントローラ200は、X方向の走査線に沿って、撮像視野をbxだけ移動させる。すなわち撮像視野中心を(X0,Y0)から(X0+bx,Y0)へ移動させる。移動後の平面イメージについては後述の図8Aに例示する。撮像視野を移動する間において、コントローラ200は、間隔ΔXごとに部分画像をN回取得する。コントローラ200は、取得した部分画像をメモリ上に保持して即座に解析し、部分画像内の全画素(ここでは900画素)の輝度値和を計算する。コントローラ200は、輝度値和と、その部分画像を取得した座標を対応付けたもの(プロファイルと呼称する)をメモリ上に記憶する。
(図6:ステップS603)
コントローラ200は、S602において取得したプロファイルを解析して、以下の2条件を満たすか判定する。ただし条件(2)は、条件(1)を満たしたプロファイルに対してのみ判定する。条件に適合した場合の平面イメージの例については、各条件の意義と併せて後述の図10Aに例示する。条件に適合する場合はS605へ進み、適合しない場合はS604へ進む。
条件(1):プロファイルにおいて、判定閾値を下回る低輝度領域が2箇所以上存在する。
条件(2):プロファイルにおいて、2箇所の低輝度領域に挟まれた高輝度領域幅ΔHが、設定した許容範囲内に含まれる。
(図6:ステップS604)
コントローラ200は、撮像視野をY方向にΔYだけ移動させ、S602に戻って同様の処理を繰り返す。走査時間を短縮するためには、S602を実施するごとに、走査方向を+X方向と-X方向で交互に切り替えることが望ましい。-X方向に走査する例については後述の図9Bで例示する。
(図6:ステップS605)
コントローラ200は、2つの低輝度領域に挟まれた高輝度領域の幅ΔHの中心を、X方向におけるウェル実中心座標Xcとする。Xcは高輝度領域に含まれるX座標点の平均値に相当する。本ステップの具体例については後述の図11に示す。
(図6:ステップS606~S608)
コントローラ200は、撮像視野を(Xc,Y0)に移動させる(S606)。コントローラ200は、S602と同様にY方向の走査線に沿って撮像視野をbyだけ移動させてプロファイルを取得する(S607)。コントローラ200は、S605と同様に、2つの低輝度領域に挟まれた高輝度領域の幅ΔHの中心を、Y方向におけるウェル実中心座標Ycとする(S608)。S606~S608を実施する様子の例については後述の図12A~図12Bに示す。
本フローチャートにより、実中心位置と撮像視野中心を合致させることができる。本フローチャート実施後、コントローラ200はオートフォーカスを実行し、撮像素子106によって検体を撮像する。取得した画像は検体の観察・解析に用いる。
図7は、ステップS601においてコントローラ200が観察画像を取得する際における位置関係を示す図である。撮像視野の中心は(X0,Y0)にセットされている。
図8Aは、ステップS602において撮像視野をX方向にbxだけ移動した状態を示す図である。図8Aにおいて、動作開始点を含めて11か所(N=11)で部分画像を取得することとした。
図8Bは、図8Aにおいて取得した各部分画像の輝度値和を例示するグラフである。縦軸は各部分画像の輝度値和を表し、横軸は部分画像のX座標を表す。図8Aにおいては、全ての部分画像は明るい箇所において取得したものであるので、各部分画像の輝度値和はいずれも閾値以上となっている。部分画像を取得するX座標間隔ΔXは、十分小さく設定する必要がある。具体的には、ΔS(低輝度領域の幅)の1/2~1/3以下に設定することが望ましい。
図8Cは、ステップS602の変形例を示す図である。S602において、部分画像は図8Cに示すように、同じ方向に延伸する複数の走査線上で同時に取得してもよい。これにより走査時間を短縮できる。
図9Aは、ステップS604においてコントローラ200が撮像視野をY方向にΔYだけ移動させる様子を示す図である。本ステップは、S603における現在の走査線上で条件(1)(2)を満たさなかった場合、Y方向に隣接する次の走査線に移動するためのものである。
図9Bは、図9Aに続いてS602を実施する様子を示す図である。ここでは撮像視野を-X方向に走査する例を示した。これにより撮像視野をX0まで戻してから改めて+X方向に走査する必要がなくなるので、走査時間を抑制することができる。
図9Cは、図9Bにおいて取得するプロファイルの例である。図9Cのプロファイルにおいては、低輝度領域が1箇所のみであるから条件(1)不適合となる。したがってコントローラ200は、S603~S604において撮像視野を再度Y方向にΔYだけ移動させる。このような動作を繰り返し、条件を満たすまでbx×byの領域内をスキャンする。ウェル底面を確実に検出するためには、ΔYはウェル底面直径以下に設定することが望ましい。
図10Aは、条件(1)(2)に適合する走査線の例である。条件(1)(2)は、環状の低輝度領域Sとその内側の底面部分をそれぞれ交差する走査線を特定する意義がある。図10Aの走査線上に沿って輝度値を取得すると、底面部分の輝度値は高く、その両側の低輝度領域Sは輝度値が低い。したがってプロファイル上においては、高輝度領域が2つの低輝度領域によって挟まれていることになる。換言すると、2つの低輝度領域によって挟まれた高輝度領域が1つ存在していることになる。
図10Bは、図10Aにおいて取得するプロファイルの例である。条件(1)については、判定閾値によって高輝度領域と低輝度領域を区別することにより、判定できる。判定閾値は、実際の画像に基づき、ウェル底面と領域Sとを区別できる適切な値をあらかじめセットしておく。図10Bにおいては、低輝度領域は2箇所存在する。条件(2)については、低輝度領域に挟まれた高輝度領域の幅ΔHを計算し、幅ΔHが許容範囲内に含まれていることを確認する。
ΔHについて、ここでは許容範囲をΔX≦ΔH≦(ウェル底面直径)と設定する。つまり、プロファイルにおける高輝度領域が2点以上連続していて、かつ幅がウェル底面直径以下であることを確認する。高輝度領域が1点のみによって構成されている場合を除くことにより、誤判断を減らし、中心位置の計算精度を上げる効果がある。許容範囲の下限値をさらに大きくすれば計算精度向上が見込めるが、判断完了までに掛かる時間が増加する。
図11は、ステップS605においてコントローラ200が実中心座標Xcを求める様子を示す図である。ここでは図10Bと同じプロファイルを例示した。プロファイル上の高輝度領域は2つの座標点によって構成されているので、コントローラ200はその中点をXcとして算出する。
図12Aは、S607においてY方向の走査線に沿ってプロファイルを取得する様子を示す図である。画像取得間隔はΔYとする。X座標がXcの箇所でY方向に走査すると、走査線は低輝度領域Sによって挟まれたウェル底面を通過する。したがってこのときの走査線は条件(1)(2)を充足する。
図12Bは、図12Aにおいて取得するプロファイルの例である。図10Bと同様に2つの低輝度領域に挟まれた高輝度領域の幅ΔHを計算し、幅ΔHが許容範囲内に含まれていることを確認する。ΔHの許容範囲はΔY≦ΔH≦(ウェル底面直径)と設定する。図10Bと同様に、高輝度領域が1点のみによって構成されている場合を除外する。中心点座標Ycは、高輝度領域の座標点の平均値によって求めることができる。
<実施の形態1:計算例>
具体的な数値を用い、一連動作に要する時間を概算する。ウェル底面直径1.5mm、ΔS=0.5mm、ウェル位置公差はX、Y方向とも±1mm、ax=1.8mm、ay=1.7mm、bx=3.6mm、by=3.6mm、ΔX=0.2mm、ΔYs=1.2mm、ΔY=0.2mmとする。ウェル底面の実中心位置の期待値は設計中心位置に一致すると考えて、平均的な処理時間を計算する。
図13は、上記寸法例に対応する平面図である。Xcを算出するまでのX方向移動距離は3.6mm(bx)×2=7.2mmである。平均速度0.69mm/sで移動した場合、X方向に1回移動するごとに10.4秒を要する。輝度値和の計算はΔX移動中の0.29秒間に実施する。Y方向に1.2mm(ΔY)移動するが、この間は比較的高速で移動してよく、平均20mm/sで移動したとすれば所要時間は0.06秒である。Xc確定後、座標(X0,Y0+1.2)から座標(X0+1.8,Y0)への移動時間は、X、Yともに平均20mm/sで同時に移動開始した場合、0.09秒掛かる。Y方向のスキャンは、3.6mmを平均0.69mm/sで移動したとして、5.2秒掛かる。これら掛かる時間を合計し、所要時間は10.4+0.06+0.09+5.2=15.75秒となる。
<実施の形態1:まとめ>
本実施形態1に係る検体観察装置100は、対物レンズ102のオートフォーカスを実施する前において、低輝度領域に挟まれた高輝度領域の個数とその幅ΔHを用いて、検体容器101底面の中心位置(Xc,Yc)を特定する。中心位置を特定する際にフォーカス位置を検体面に合わせる必要がないので、検体観察領域と撮像視野がオートフォーカス不可能な程にずれていても中心位置を特定できる。デフォーカスした像を評価するので、実際の検体観察面に存在する外乱要素(例えば、検体容器製造時に発生する傷、スクラッチやマイクロクラック)の影響を受けずに画像を解析することができる。また、検体容器101底面の形状を検出する必要がないので、数画素程度の像ブレを許容することができる。したがって、露光時間に対してXYステージ109の動作速度を大きくして、判定に掛かる時間を短くすることができる。
本実施形態1に係る検体観察装置100は、撮像視野の一部分のみを取得画像として解析するので、スキャン範囲(bx×by)を広く取った場合であっても、画像処理するデータ量が小さく、画像処理時間を短くできる。したがって、画像処理能力も小さく抑えることができるので、コスト面で有利である。
<実施の形態2>
本開示の実施形態2では、環状の低輝度領域Sの位置と幅を検出することにより、ウェル底面の中心位置を特定する手法について説明する。本実施形態2においては、判定条件(1)と(2)として以下のものを用いる。条件(1)がいずれの場合であっても、中心位置は、低輝度領域に含まれる座標点の平均とする。検体観察装置100の構成、動作フローなどその他事項は実施形態1と同じである。
条件(1):プロファイルにおいて、判定閾値を下回る低輝度領域が1箇所または2箇所存在する。
条件(2):プロファイルにおける全ての低輝度領域幅ΔLが、設定した許容範囲に含まれる。
図14は、本実施形態2における条件(1)(2)について説明する図である。以下図14に示す2つの走査線を用いて、本実施形態2における条件(1)(2)と許容範囲について説明する。
走査線上の低輝度領域が1つのみである場合(条件(1))、走査線はウェル底面を交差せず低輝度領域を通過したことになる。例えば図14の上側の走査線がこれに相当する。ΔLの許容範囲(条件(2))は、ΔX以上、かつ走査線に沿った低輝度領域の最大長以下とするのが適当である。本実施形態2においては低輝度領域を検出するので、低輝度領域の幅として適当な範囲を許容範囲とする必要があるからである。具体的には図14の上側の走査線に示すように、走査線がウェル底面の画像と接しているとき、低輝度領域の長さは最大となる。ΔLはこの最大長以下とする。
走査線上の低輝度領域が2つである場合(条件(2))、走査線は、低輝度領域=>高輝度領域(ウェル底面)=>低輝度領域の順で通過したことになる。例えば図14の下側の走査線がこれに相当する。ΔLの許容範囲(条件(2))は、ΔX以上、かつ低輝度領域Sの幅(図4の例においては0.5mm)以下とするのが適当である。本実施形態2においては低輝度領域を検出するので、低輝度領域の幅として適当な範囲を許容範囲とする必要があるからである。
<実施の形態2:まとめ>
本実施形態2に係る検体観察装置100は、特に条件(1)において低輝度領域が1箇所であっても、ウェル中心位置を特定することができる。すなわちスキャン範囲(bx,by)をスキャンする比較的早い段階において、中心位置を特定できる。これにより、中心位置を特定するために撮像視野を移動させる距離を短くできるので、中心位置をより速く特定できる利点がある。
<実施の形態3>
本開示の実施形態3では、ウェル底面を直接的に検出する手法について説明する。本実施形態2においては、判定条件(1)と(2)として以下のものを用いる。条件(1)がいずれの場合であっても、中心位置は、高輝度領域に含まれる座標点の平均とする。検体観察装置100の構成、動作フローなどその他事項は実施形態1と同じである。
条件(1):プロファイルにおいて、判定閾値を上回る高輝度領域がN箇所存在する(N≧1)。
条件(2):プロファイル上の1箇所の高輝度領域幅ΔHが設定する許容範囲に含まれ、(N-1)箇所の高輝度領域幅ΔHが、設定する許容範囲内に含まれない。
図10Aや図14の上側走査線の例においては、高輝度領域は3箇所存在している(条件(1)においてN=3である場合に相当)。ウェル底面に相当する高輝度領域については、その幅ΔHがウェル底面の設計公差範囲内に収まっていると想定される。したがってΔHの許容範囲は、(ウェル底面直径設計値-ウェル底面直径の下限公差)≦ΔH≦(ウェル底面直径設計値+ウェル底面直径の上限公差)とするのが適当である。他方で低輝度領域よりも外側の高輝度領域の幅は、ウェル底面の設計公差範囲に収まっていないと考えられる。したがって許容範囲を上記のようにセットすることにより、ウェル底面に対応する高輝度領域のみを検出できる。ウェル底面直径を1.5mm±0.1mmとすれば、1.4≦ΔH≦1.6となる。
図15は、高輝度領域が1つのみである場合において、ウェル底面を直接検出する場合の例である。スキャン範囲(bx,by)のサイズによっては、全範囲をスキャンしたとしても、高輝度領域がウェル底面に対応するもの1つのみしか含まれない場合がある。図15はその例を示す。この場合は条件(1)においてN=1であっても、ΔHが上記設計公差範囲内に収まっていれば、その高輝度領域をウェル底面とみなすことができる。
ただしこの手法は、ウェル位置誤差が比較的小さく、スキャン範囲(bx,by)をある程度小さくセットしても誤検出のおそれが小さい場合に適しているといえる。ウェル位置誤差が大きい場合、スキャン範囲(bx,by)のサイズと初期位置によっては、低輝度領域の外側の高輝度領域をウェル底面として誤認識する可能性があるからである。
<実施の形態3:まとめ>
本実施形態3に係る検体観察装置100は、高輝度領域を検出するとともに、あらかじめセットした許容範囲にしたがって、その高輝度領域をウェル底面とそれ以外に区別する。これにより、探索対象であるウェル底面を直接的に発見することができ、判定アルゴリズムを比較的単純にすることができる。
<実施の形態4>
本開示の実施形態4においては、撮像視野全体を取得画像とする例について説明する。検体観察装置100の構成は図1と同じである。本実施形態4においては、実施形態1~3で説明した条件(1)(2)は用いず、以下の手順によりウェル底面の中心位置を特定する。
撮像素子106が2500×2000の500万画素、画素分解能0.345μm/pixelとすれば。実視野は0.86mm×0.69mmとなる。bx、byはそれぞれ0.86mm、0.69mmの整数倍とし、ΔX=0.86mm、ΔYs=0.69mmとする。bx×by領域をスキャンし、画像をスタックする。スタックした画像を図4のように合成し、あらかじめ設定した閾値によって輝度値の高い領域を判定する。判定した輝度値の高い領域の面積に対して、面積許容値との比較によりウェル底面を判断する。ウェル底面直径を1.5mm±0.1mmとすれば面積許容範囲は1.5mm~2.0mmとなる。
ただしウェル位置誤差が大きい場合、すなわちbx、byが大きい場合には、ウェル外の高輝度領域をウェル底面と認識してしまう可能性が生じる。この場合は、輝度値の高い領域のアスペクト比や真円度などの形状特徴量を合わせて評価することにより、ウェル底面を判定することができる。判定した高輝度領域の幾何中心を計算し、Xc、Ycを同時に確定する。
<本開示の変形例について>
本開示は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
以上の実施形態において、コントローラ200は、その機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、その機能を実装したソフトウェアをCPU(Central Processing Unit)などの演算装置が実行することによって構成することもできる。
以上の実施形態において、ダイクロイックミラー104の透過側に撮像素子106を配置し、反射側に光ピックアップ105を配置してもよい。また光路上に図示していない光学フィルターなどの適当な光学部品を配置してもよい。
以上の実施形態において、対物レンズ102の焦点位置をウェル底面よりも上方(検体容器101内部)にセットすることを説明した。ウェル外側底面とウェル底面(図2参照)との間の中心軸ずれが微小で無視できる場合は、これに代えて、対物レンズ102の焦点位置をウェル底面より下方にセットしてもよい。この場合はウェル外側底面のデフォーカス画像を取得・解析することになる。中心位置を特定する手順は以上の実施形態と同様である。
以上の実施形態において、中心位置座標はXc、Ycの順に確定しているが、この順序は入れ替えてもよい。
実施形態4において、高輝度領域を判定するための閾値をあらかじめセットすることを説明したが、閾値を自動的にセットする任意の公知手法を用いて、観察画像ごとに閾値を自動的にセットしてもよい。
以上の実施形態において、ウェル底面は円形であり、その周囲の傾斜部もウェル底面に対して同心円状に配置されている例を説明した。本発明によって中心位置を特定することができるウェル形状はこれに限られるものではなく、傾斜部によって低輝度領域がウェル底面の周辺に形成されるその他形状であっても、本発明を適用することができる。例えばウェル底面とその周辺の低輝度領域がX方向に沿って(Y軸に関して)線対称であれば、高輝度領域または低輝度領域の座標平均をXcとみなすことができる。同様にY方向に沿って(X軸に関して)線対称であれば、高輝度領域または低輝度領域の座標平均をYcとみなすことができる。
以上の実施形態は、併用することもできる。例えば実施形態2で説明した条件(1)において低輝度領域が1つのみである場合に特定した中心位置座標と、実施形態1によって特定した中心位置座標とを平均することにより、最終的な中心位置を特定することが考えられる。あるいは実施形態ごとに信頼度係数をあらかじめ定めておき、各実施形態によって特定した中心位置座標に対してその信頼度係数を乗算した結果を合算することにより、最終的な中心位置を特定することが考えられる。その他適当な手法を用いて各実施形態を併用してもよい。
100:検体観察装置
101:検体容器
102:対物レンズ
103:対物レンズアクチュエータ
104:ダイクロイックミラー
105:光ピックアップ
106:撮像素子
107:照明
108:検体容器保持部
109:XYステージ

Claims (15)

  1. 検体容器が収容している検体を観察する検体観察装置であって、
    前記検体容器を水平方向に移動させるXYステージ、
    前記検体容器に対して垂直方向に光を照射する光源、
    前記検体容器を透過した前記光を集光する対物レンズ、
    前記対物レンズが集光した前記光を用いて前記検体容器の画像を撮像する撮像部、
    前記対物レンズのフォーカス位置を調整するオートフォーカス機構、
    前記検体観察装置の動作を制御するコントローラ、
    を備え、
    前記検体容器は、前記検体容器の底面と前記検体容器の側面との間が傾斜面によって接続された形状を有しており、
    前記コントローラは、前記オートフォーカス機構が前記フォーカス位置を調整する前において、前記検体容器の複数の箇所における前記画像の輝度値を取得し、
    前記コントローラは、
    前記画像上において前記輝度値が閾値以上である高輝度領域の個数と、前記高輝度領域の前記水平方向における幅とを用いて、前記検体容器の前記水平方向における中心位置を特定し、
    または、
    前記画像上において前記輝度値が前記閾値未満である低輝度領域の個数と、前記低輝度領域の前記水平方向における幅とを用いて、前記検体容器の前記水平方向における中心位置を特定する
    ことを特徴とする検体観察装置。
  2. 前記コントローラは、前記水平方向における第1走査線に沿って前記箇所を移動させながら各前記箇所における前記輝度値を取得し、
    前記コントローラは、前記低輝度領域が2つ以上存在し、かつ2つの前記低輝度領域によって挟まれた前記高輝度領域の幅が第1許容範囲内に含まれる、前記第1走査線を探索し、
    前記コントローラは、前記探索によって取得した前記第1走査線上における前記高輝度領域の幅を用いて、前記第1走査線と平行な第1方向における前記中心位置を特定する
    ことを特徴とする請求項1記載の検体観察装置。
  3. 前記コントローラは、前記探索によって取得した前記第1走査線上における前記高輝度領域の座標点の平均値を、前記中心位置として特定する
    ことを特徴とする請求項2記載の検体観察装置。
  4. 前記コントローラは、前記第1許容範囲として、前記第1走査線に沿った各前記箇所の間隔以上、かつ前記検体容器の前記底面の直径以下の値を用いる
    ことを特徴とする請求項2記載の検体観察装置。
  5. 前記コントローラは、前記水平方向において前記第1走査線に対して直交する第2走査線に沿って前記箇所を移動させながら各前記箇所における前記輝度値を取得し、
    前記コントローラは、前記低輝度領域が2つ以上存在し、かつ2つの前記低輝度領域によって挟まれた前記高輝度領域の幅が第2許容範囲内に含まれる、前記第2走査線を探索し、
    前記コントローラは、前記探索によって取得した前記第2走査線上における前記高輝度領域の幅を用いて、前記第2走査線と平行な第2方向における前記中心位置を特定する
    ことを特徴とする請求項2記載の検体観察装置。
  6. 前記コントローラは、前記検体容器の前記傾斜面によって屈折した前記光を撮像することにより取得した屈折光画像の位置と幅を特定し、
    前記コントローラは、前記特定した前記屈折光画像の位置と幅を用いて、前記中心位置を特定する
    ことを特徴とする請求項1記載の検体観察装置。
  7. 前記コントローラは、前記水平方向における第3走査線に沿って前記箇所を移動させながら各前記箇所における前記輝度値を取得し、
    前記コントローラは、前記低輝度領域が1つまたは2つ存在し、かつ前記低輝度領域の幅が第3許容範囲内に含まれる、前記第3走査線を探索し、
    前記コントローラは、前記探索によって取得した前記第3走査線上における前記低輝度領域の幅を用いて、前記第3走査線と平行な第3方向における前記中心位置を特定する
    ことを特徴とする請求項1記載の検体観察装置。
  8. 前記コントローラは、前記探索によって取得した前記第3走査線上における前記低輝度領域の座標点の平均値を、前記中心位置として特定する
    ことを特徴とする請求項7記載の検体観察装置。
  9. 前記コントローラは、前記第3走査線上において前記低輝度領域が1つのみ存在する場合、前記第3許容範囲として、前記第3走査線に沿った各前記箇所の間隔以上、かつ前記第3走査線に沿った方向において前記低輝度領域が途切れずに連続する最大長以下の値を用いる
    ことを特徴とする請求項7記載の検体観察装置。
  10. 前記コントローラは、前記第3走査線上において前記低輝度領域が2つ存在する場合、前記第3許容範囲として、前記第3走査線に沿った各前記箇所の間隔以上、かつ前記2つの低輝度領域それぞれの幅以下の値を用いる
    ことを特徴とする請求項7記載の検体観察装置。
  11. 前記コントローラは、前記水平方向における第4走査線に沿って前記箇所を移動させながら各前記箇所における前記輝度値を取得し、
    前記コントローラは、前記高輝度領域が2つ以上存在し、かつ1つの前記高輝度領域の幅が第4許容範囲内に含まれ、かつその他の前記高輝度領域の幅が前記第4許容範囲内に含まれていない、前記第4走査線を探索し、
    前記コントローラは、前記探索によって取得した前記第4走査線上における前記1つの高輝度領域の幅を用いて、前記第4走査線と平行な第4方向における前記中心位置を特定する
    ことを特徴とする請求項1記載の検体観察装置。
  12. 前記コントローラは、前記第4許容範囲として、(前記検体容器の底面の直径の設計値-前記設計値の下限公差)以上、かつ(前記設計値+前記設計値の上限公差)以下の値を用いる
    ことを特徴とする請求項11記載の検体観察装置。
  13. 前記コントローラは、前記検体容器の内部に前記フォーカス位置をセットした上で、前記中心位置を特定し、
    前記コントローラは、前記画像として、前記撮像部の撮像視野よりも狭い範囲の画像を取得し、
    前記コントローラは、前記画像として、前記検体容器の前記底面よりも狭い範囲の画像を取得する
    ことを特徴とする請求項1記載の検体観察装置。
  14. 前記底面は円形であり、かつ前記傾斜面は前記底面の周囲を同心円状に囲むように形成されており、
    前記コントローラは、前記箇所において取得した前記画像内の各ピクセルの輝度値を合算することにより、その箇所における前記画像の輝度値を取得し、
    前記コントローラは、前記中心位置を特定した後、その特定した中心位置において、前記オートフォーカス機構によって前記フォーカス位置を調整する
    ことを特徴とする請求項1記載の検体観察装置。
  15. 検体容器が収容している検体を観察する検体観察装置を用いて前記検体を観察する検体観察方法であって、
    前記検体観察装置は、
    前記検体容器を水平方向に移動させるXYステージ、
    前記検体容器に対して垂直方向に光を照射する光源、
    前記検体容器を透過した前記光を集光する対物レンズ、
    前記対物レンズが集光した前記光を用いて前記検体容器の画像を撮像する撮像部、
    前記対物レンズのフォーカス位置を調整するオートフォーカス機構、
    を備え、
    前記検体容器は、前記検体容器の底面と前記検体容器の側面との間が傾斜面によって接続された形状を有しており、
    前記検体観察方法は、前記オートフォーカス機構が前記フォーカス位置を調整する前において、前記検体容器の複数の箇所における前記画像の輝度値を取得するステップ、
    前記検体容器の前記水平方向における中心位置を特定するステップ、
    を有し、
    前記検体容器の前記水平方向における中心位置を特定するステップにおいては、
    前記画像上において前記輝度値が閾値以上である高輝度領域の個数と、前記高輝度領域の前記水平方向における幅とを用いて、前記検体容器の前記水平方向における中心位置を特定し、
    または、
    前記画像上において前記輝度値が前記閾値未満である低輝度領域の個数と、前記低輝度領域の前記水平方向における幅とを用いて、前記検体容器の前記水平方向における中心位置を特定する
    ことを特徴とする検体観察方法。
JP2022502658A 2020-02-26 2020-02-26 検体観察装置、検体観察方法 Active JP7288138B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007741 WO2021171419A1 (ja) 2020-02-26 2020-02-26 検体観察装置、検体観察方法

Publications (2)

Publication Number Publication Date
JPWO2021171419A1 JPWO2021171419A1 (ja) 2021-09-02
JP7288138B2 true JP7288138B2 (ja) 2023-06-06

Family

ID=77492105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502658A Active JP7288138B2 (ja) 2020-02-26 2020-02-26 検体観察装置、検体観察方法

Country Status (3)

Country Link
US (1) US20230152566A1 (ja)
JP (1) JP7288138B2 (ja)
WO (1) WO2021171419A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088280A1 (ja) 2004-03-17 2005-09-22 Olympus Corporation 光測定装置及び光測定方法
US20080297795A1 (en) 2007-05-31 2008-12-04 Genetix Limited Methods and apparatus for optical analysis of samples in biological sample containers
JP2011047695A (ja) 2009-08-25 2011-03-10 Nikon Corp 制御装置、およびその制御装置を用いた顕微鏡システム
WO2014020967A1 (ja) 2012-08-02 2014-02-06 オリンパス株式会社 共焦点顕微鏡又は多光子顕微鏡の光学系を用いた光分析装置、光分析方法及び光分析用コンピュータプログラム
JP2019184684A (ja) 2018-04-04 2019-10-24 オリンパス株式会社 顕微鏡
WO2019225177A1 (ja) 2018-05-25 2019-11-28 ソニー株式会社 制御装置、制御方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3736278B2 (ja) * 2000-04-12 2006-01-18 松下電器産業株式会社 生化学物質の観察方法
US7646482B2 (en) * 2007-05-31 2010-01-12 Genetix Limited Methods and apparatus for optical analysis of samples in biological sample containers
EP2742338B1 (en) * 2011-08-10 2019-04-24 Molecular Devices, LLC Method for presenting and evaluation of images of microtiter plate properties

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088280A1 (ja) 2004-03-17 2005-09-22 Olympus Corporation 光測定装置及び光測定方法
US20080297795A1 (en) 2007-05-31 2008-12-04 Genetix Limited Methods and apparatus for optical analysis of samples in biological sample containers
JP2011047695A (ja) 2009-08-25 2011-03-10 Nikon Corp 制御装置、およびその制御装置を用いた顕微鏡システム
WO2014020967A1 (ja) 2012-08-02 2014-02-06 オリンパス株式会社 共焦点顕微鏡又は多光子顕微鏡の光学系を用いた光分析装置、光分析方法及び光分析用コンピュータプログラム
JP2019184684A (ja) 2018-04-04 2019-10-24 オリンパス株式会社 顕微鏡
WO2019225177A1 (ja) 2018-05-25 2019-11-28 ソニー株式会社 制御装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
US20230152566A1 (en) 2023-05-18
JPWO2021171419A1 (ja) 2021-09-02
WO2021171419A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
CN105301865B (zh) 自动聚焦系统
JP2022176404A (ja) 欠陥良否判定方法及び装置
JP3903889B2 (ja) 欠陥検査方法及びその装置並びに撮像方法及びその装置
KR101073212B1 (ko) 레이저 주사형 현미경 장치 및 그 표면 형상의 측정 방법
US20200371335A1 (en) Light microscope with automatic focusing
JP6475176B2 (ja) 欠陥観察装置
US11567293B2 (en) Autofocus device, and optical apparatus and microscope including the same
JP6980631B2 (ja) 検査方法および検査装置
JP2001332595A (ja) 焦点合わせ制御機構及びこれを用いた検査装置
CN111239164B (zh) 一种缺陷检测装置及其方法
US20150358533A1 (en) Control method for imaging apparatus and imaging system
JP5053691B2 (ja) 標本スキャナ装置、該装置による標本位置検出方法
JP2005070225A (ja) 表面画像投影装置及び表面画像投影方法
JP2009109682A (ja) 自動焦点調節装置、および自動焦点調節方法
JP7288138B2 (ja) 検体観察装置、検体観察方法
KR100679643B1 (ko) 자동초점 조절패턴을 채택하는 자동초점 조절장치 및그것을 사용한 자동초점 조절방법
KR20230087396A (ko) 관찰 장치
EP2535923B1 (en) Detection method and detection device
JP5094048B2 (ja) 外観検査装置
JPH10256326A (ja) パターン検査方法及び検査装置
JP4710068B2 (ja) 焦点調整機構、検査装置及び焦点調整方法
JP4384446B2 (ja) オートフォーカス方法及びその装置
KR20210148424A (ko) 자동화된 3-d 측정
JP2013088570A (ja) 顕微鏡装置
JP7161430B2 (ja) 画像測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230525

R150 Certificate of patent or registration of utility model

Ref document number: 7288138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150