JP7599034B2 - マシンビジョンシステムにおける欠陥を検出する装置および方法 - Google Patents

Description

関連出願の相互参照
本願は、２０２１年２月４日出願の「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＤＥＴＥＣＴＩＮＧ ＤＥＦＥＣＴＳ ＩＮ ＭＡＣＨＩＮＥ ＶＩＳＩＯＮ ＳＹＳＴＥＭＳ」という名称の米国特許仮出願第６３／１４５，９５３号の利益を主張するものであり、その開示の全体をあらゆる目的で参照によって組み入れる。

本開示の実施形態は、マシンビジョンシステムにおける欠陥を検出する装置および方法に関する。

自動試験システムは、マシンビジョンシステムを用いた臨床化学分析および／またはアッセイを実行することができる。マシンビジョンシステムは、検体および／または検体が含まれた検体容器を解析することができる。たとえば、マシンビジョンシステムは、検体容器および／またはそこに配置された検体の画像を取り込み、取り込まれた画像を表す画像データを生成することができる。マシンビジョンシステムまたはそれに連結されたデバイスは、画像データを解析することができる。

検体容器を表す画像データを解析して、検体容器のサイズを判定し、検体容器に取り付けられたラベルを読み取り、キャップの存在を検出し、かつ／またはキャップの色および／もしくは形状を判定することができる。検体を表す画像データを解析して、溶血、黄疸、および／もしくは脂肪血などの妨害因子の存在、ならびに／または血塊、気泡、もしくは泡沫など、検体中のアーチファクトの存在を判定することもできる。

第１の態様によれば、マシンビジョンシステムにおける欠陥を識別する方法が提供される。本方法は、第１の視野を有する第１の撮像デバイスを提供することと；第１の視野を通して反射ツールを動かすことと；第１の撮像デバイスを用いて第１の視野における様々な位置で反射ツールの複数の画像を取り込むことと；複数の画像のうちの少なくとも１つを解析してマシンビジョンシステムにおける１つまたはそれ以上の欠陥を識別することとを含む。

さらなる態様において、光学検査ステーションの欠陥を識別する方法が提供される。本方法は、視野を有する撮像デバイスを提供することと；視野を通して検体容器を動かすように構成された輸送システムを提供することと；視野を通して反射ツールを動かすことと；撮像デバイスを用いて視野における様々な位置で反射ツールの複数の画像を取り込むことと；複数の画像のうちの少なくとも１つを解析して光学検査ステーションにおける１つまたはそれ以上の欠陥を識別することとを含む。

別の態様において、マシンビジョンシステムが提供される。本システムは、視野を有し、視野における様々な位置で反射ツールの複数の画像を取り込むように構成された、撮像デバイスと；視野を通して検体容器および反射ツールを動かすように構成された、輸送システムと；複数の画像のうちの少なくとも１つを解析し、マシンビジョンシステムの光学チェーンに欠陥が存在するかどうかを判定するように構成された、コンピュータとを含む。

本開示のさらなる他の態様、構成、および利点は、本開示を実行するために企図される最良の形態を含むいくつかの例示的な実施形態の以下の説明および図から容易に明らかになる。本開示は、他の様々な実施形態も可能であり、そのいくつかの詳細は、本開示の範囲からまったく逸脱することなく様々な点で修正できる。本開示は、請求項およびそれらの均等物の範囲内にあるすべての修正例、均等物、および代替例を含むことが意図されている。

以下で説明される図面は、例示が目的であり、必ずしも原寸に比例して示されていない。したがって、図面および説明は、本質的に例示であり、限定的でないと見なすべきである。図面は、決して本開示の範囲を限定するものではない。

１つまたはそれ以上の実施形態による、マシンビジョンシステムを含む光学検査ステーションの上面等角図を示す。 検体を保持する検体容器の側面図を示し、検体容器は、１つまたはそれ以上の実施形態による輸送システム上で可動のキャリア内で直立の向きに配置されている。 １つまたはそれ以上の実施形態による、マシンビジョンシステムを含む光学検査ステーション（図示の目的で上部を取り除いた）の部分断面上面図を示す。 １つまたはそれ以上の実施形態による、検体容器を撮像する光学検査ステーションの撮像デバイスの側面図を示す。 １つまたはそれ以上の実施形態による撮像デバイスの視野内で検体容器が様々な長手方向位置に配置された、図４Ａの撮像デバイスの上面図を示す。 １つまたはそれ以上の実施形態による、イメージャに配置された複数の画素を示す撮像デバイスのイメージャの概略正面図を示す。 光学検査ステーションの撮像デバイスによって取り込まれた検体容器の画像を示し、検体容器は撮像デバイスの視野内のある位置に配置されており、１つまたはそれ以上の実施形態による光学検査ステーションの光学チェーンに欠陥が存在している。 撮像デバイスの視野内の別の位置に配置された、図５Ａの検体容器の画像を示し、１つまたはそれ以上の実施形態による光学検査ステーションの光学チェーンに欠陥が存在している。 １つまたはそれ以上の実施形態によるマシンビジョンシステムの光学チェーンをチェックするために使用される反射ツールの側面図を示す。 マシンビジョンシステムの光学チェーンをチェックするために使用される反射ツールの側面図を示し、反射ツールは、１つまたはそれ以上の実施形態によるビジョンベースの検査ステーション内で、反射ツールを輸送するために使用されるキャリアに直立の向きに配置されている。 １つまたはそれ以上の実施形態による撮像デバイスの視野の第１の位置にある反射ツールの側面図を示す。 １つまたはそれ以上の実施形態による撮像デバイスの視野の複数の様々な位置にある、反射ツールの複数の画像を示す。 １つまたはそれ以上の実施形態による光学検査ステーションのマシンビジョンシステムによって、ある位置で取り込まれた反射ツールの画像を示す。 １つまたはそれ以上の実施形態による反射ツールの連続した画像を互いに電子的につなぎ合わせることによって生成された合成背景の画像を示す。 反射ツールの連続した画像から生成された合成背景を示し、その合成背景は、１つまたはそれ以上の実施形態による光学チェーンにおける欠陥を示す。 １つまたはそれ以上の実施形態によるマシンビジョンシステムにおける欠陥を識別する方法を示すフローチャートを示す。 １つまたはそれ以上の実施形態による光学検査ステーションにおける欠陥を識別する方法を示すフローチャートを示す。

いくつかの実施形態において、画像の解析を用いて、検体容器および／またはそこに配置された検体の質をチェックして、検体容器および／またはそこに配置された検体の妥当性を保証することができる。たとえば、キャップの色および／またはキャップの形状が実行予定の試験に対応していない場合、オペレータ／技術者にエラーを警告することができる。たとえば、フレボトミストが、依頼された試験に対して不適切な検体容器タイプを使用した可能性がある。たとえば、特定の試験に対して抗凝血剤を含む検体容器が要求されているときに、凝固剤を含む検体容器が使用された可能性がある。キャップタイプおよび／またはキャップ形状の改善された特徴付けが、それらの不適正なシナリオを検出することを助ける。

他の実施形態において、検体は、たとえば、溶血、黄疸、脂肪血、および／もしくは規定度（Ｎ）の存在ならびに／または検体中のアーチファクト（たとえば、血塊、泡沫、および／または気泡）の存在に関して、事前に光学的にスクリーニングすることができる。試料容器および／または検体の正確な分析を行うために、マシンビジョンシステムは非常に詳細かつ正確な画像を必要とする。

マシンビジョンシステムは、マシンビジョンシステム内の光学チェーンに汚れまたは他の粒子が存在する場合、誤った画像および／または画像データを生成することがある。１つまたはそれ以上の光学的構成要素に欠陥がある場合にも、誤った画像および／または画像データが生成されることがある。したがって、マシンビジョンシステムの光学チェーンおよび／または構成要素を解析する方法および装置が本明細書で提供される。

マシンビジョンシステムは、検体容器および／または検体を照明する照明構成要素（たとえば、発光ダイオード（ＬＥＤ）パネル）を含むことができる。イメージャ（たとえば、電荷結合素子（ＣＣＤ）または相補形金属酸化膜半導体（ＣＭＯＳ）画像センサ）が、検体容器および／または検体の画像を、ソフトウェアによって処理および／または解析できる画像データに変換する。マシンビジョンシステム内のレンズが、検体容器および／または検体から反射された光などの光をイメージャに集束させる。

マシンビジョンシステム内の光学チェーンは、マシンビジョンシステムによって撮像される物体の画像データを生成するために使用される光学デバイスおよび光路を含む。光学チェーンは、照明デバイス、撮像デバイス、およびデバイス間を延びる光路を含むことができる。レンズまたはイメージャの傷または汚れ粒子など、光学チェーンに欠陥（たとえば、異常）があると、光学解析の正確さに影響を及ぼす可能性がある。いくつかの実施形態において、欠陥は、照明デバイス上の粒子および／または欠陥照明デバイスの場合がある。欠陥によって、マシンビジョンシステムが検体容器および／もしくは検体の分類を誤るか、または検体の分析を間違える場合がある。マシンビジョンシステムの光学チェーンに欠陥が存在するかどうかを判定する方法および装置が本明細書に記載されている。

本明細書に開示されているマシンビジョンシステムの実施形態は、撮像デバイスの視野を通して反射ツールを動かし、視野内の様々な位置で反射ツールの画像を取り込む。反射ツールの画像を解析して、光学チェーンに欠陥が存在するかどうかを判定する。いくつかの実施形態において、それらの画像が互いにつなぎ合わせられて、合成キャンバスまたは合成背景と称されることがある単一の画像が形成される。その合成背景を解析して、光学チェーンに欠陥が存在するかどうかを判定することができる。これらのおよび他の方法、装置、およびシステムを本明細書で図１～図１１を参照しながらさらに詳細に説明する。

ここで図１を参照すると、図は、本明細書で光学検査ステーション１００と称されることがある、ビジョンベースの検査ステーション１００の上面等角図を示している。図１に示されているように、光学検査ステーション１００は、たとえばクオリティチェックモジュールの一部として実装される。しかし、光学検査ステーションは他のモジュール内に実装可能である。光学検査ステーション１００は、検体容器および／またはそこに配置された検体を光学的に分析するように構成されている。光学検査ステーション１００は、図示の目的で開放した上部を有するように示されている。しかし、光学検査ステーション１００は、無関係の光が光学検査ステーション１００に入ることを防ぐように閉じることができる。

光学検査ステーション１００は、検体を分析する診断検査室システムにおいて多数のモジュールの１つとすることができる。光学検査ステーション１００は、検査室情報サーバ（ＬＩＳ：ｌａｂｏｒａｔｏｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｓｅｒｖｅｒ）１０４と通信できるコンピュータ１０２を含むことができる。コンピュータ１０２は、プロセッサ１０２Ａおよびメモリ１０２Ｂを含むことができ、メモリ１０２Ｂは、プロセッサ１０２Ａによって実行されるプログラムを格納する。

いくつかの実施形態において、１つまたはそれ以上のプログラムは、画像データを処理し、画像または画像の一部分を電子的につなぎ合わせるように構成されている。本明細書に記載されているように、１つまたはそれ以上のプログラムは、画像データを解析して光学チェーンにおける欠陥を検出するように構成することもできる。ＬＩＳ１０４は、診断検査室システムの光学検査ステーション１００および他のモジュールを使用して、検体に行う予定の分析（たとえば、試験）に関する一定の情報を、病院情報システムから受信することができる。同様に、ＬＩＳは、光学チェーンに欠陥が存在するかどうかに関する情報を受信することができる。いくつかの実施形態において、コンピュータ１０２およびＬＩＳ１０４は、単一のデバイスとして実装することができる。

光学検査ステーション１００は、マシンビジョンシステム１０６を含むことができる。マシンビジョンシステム１０６および／またはその構成要素はコンピュータ１０２と通信して（たとえば、電気的に連結されて）いてよい。マシンビジョンシステム１０６は、検体容器および／またはそこに配置された検体の画像を取り込み、その画像を表す画像データを生成する。図１の実施形態において、光学検査ステーション１００は、そこに配置された検体容器１０８を有する。コンピュータ１０２は、本明細書に記載されているように、検体容器１０８の画像データを処理することができる。

マシンビジョンシステム１０６は、撮像デバイス１１０を１つまたはそれ以上含む。図１の実施形態において、マシンビジョンシステム１０６は、撮像デバイス１１０を３つ含み、個別に第１の撮像デバイス１１０Ａ、第２の撮像デバイス１１０Ｂ、および第３の撮像デバイス１１０Ｃと称される。

マシンビジョンシステム１０６は、検体容器１０８を照明する照明光源を１つまたはそれ以上含むことができる。照明光源は前部照明光源を含むことができ、その前部照明光源は、撮像デバイスに対する検体容器１０８の前部を照明する。照明光源は後部照明光源を含むこともでき、その後部照明光源は、撮像デバイスに対する検体容器１０８の後部に照明を供給する。図１の実施形態において、マシンビジョンシステム１０６は、第１の撮像デバイス１１０Ａに対する検体容器１０８の後部に照明を供給する光パネル１１２として構成された、単一の後部照明光源を含む。光パネル１１２はコンピュータ１０２に連結可能であり、コンピュータ１０２は、光パネル１１２の電源をオフおよびオンにするように構成されている。光パネル１１２は、検体容器１０８の後部に照明を供給するために、第１の撮像デバイス１１０Ａと位置合わせされている。光パネル１１２がオン（たとえば、照明している）のときに、第１の撮像デバイス１１０Ａは、光パネル１１２の画像、または検体容器１０８など光パネル１１２と第１の撮像デバイス１１０Ａとの間に配置されたものの画像を、取り込むことができる。マシンビジョンシステム１０６のいくつかの実施形態は、どの光パネルアセンブリも含まない。

先に説明したように、マシンビジョンシステム１０６は、前部照明光源を１つまたはそれ以上含むことができ、前部照明光源は、撮像デバイス１１０のうちの１つまたはそれ以上に対する検体容器１０８の前部を照明する。いくつかの実施形態において、撮像デバイス１１０のうちの１つまたはそれ以上は、照明光源を１つまたはそれ以上含むことができる。図１の実施形態において、マシンビジョンシステム１０６は、第３の撮像デバイス１１０Ｃの近傍に配置された照明光源１１３を含むことができる。いくつかの実施形態において、マシンビジョンシステム１０６は、第２の撮像デバイス１１０Ｂと関連付けられた照明光源３１３（図３）を含むことができる。

照明光源１１３は、発光ダイオードを１つまたはそれ以上含むことができる。照明光源１１３は、第３の撮像デバイス１１０Ｃに貼付されるなど、様々な位置にあってよい。いくつかの実施形態において、照明光源１１３は、第３の撮像デバイス１１０Ｃの近傍など、光学検査ステーション１００の壁に貼付可能である。照明光源１１３は、入射光を用いて検体容器１０８を照明するように構成することができる。検体容器から反射される光は、第３の撮像デバイス１１０Ｃに入射し、その反射光を使用して検体容器１０８の画像を取り込むことができる。

光学検査ステーション１００は、光学検査ステーション１００を通して検体容器１０８を動かすように構成された輸送システム１１６を含むことができる。輸送システム１１６はトラック１１８を含むことができ、トラック１１８上でキャリア１２０が動くことができる。キャリア１２０は、図示のような直立の向きに検体容器１０８を担持または保持するように構成することができる。トラック１１８は、レール付きトラック（たとえば、モノレールまたはマルチレール）、コンベヤベルトの集まり、コンベヤチェーン、可動プラットフォーム、磁気輸送システム、または任意の他の適切なタイプの搬送機構でよい。いくつかの実施形態において、キャリア１２０は、トラック１１８上を自己推進でき、プログラムされた位置においてトラック１１８に沿って止まるように構成することができる。輸送システム１１６は、検体容器１０８が光学検査ステーション１００を通って動く速度を制御でき、マシンビジョンシステム１０６内の検体容器１０８の動きを止めることができる。

光学検査ステーション１００は、進入トンネル１２２Ａおよび退出トンネル１２２Ｂを含むことができ、検体容器１０８は、進入トンネル１２２Ａを介して光学検査ステーション１００に進入し、退出トンネル１２２Ｂを介して光学検査ステーション１００を退出する。進入トンネル１２２Ａおよび退出トンネル１２２Ｂは、外部の光が光学検査ステーション１００に進入することを可能にすることなく、検体容器１０８が光学検査ステーション１００に出入りすることを可能にする。

追加的に図２を参照すると、図は、キャリア２２０における検体容器１０８の側面図を示している。検体容器１０８は、チューブ２２４を含み、キャップ２２６をかぶせることができる。チューブ２２４には検体２２８が配置可能である。検体２２８は診断検査室分析器によって分析予定のいずれの液体でもよく、その分析器は、光学検査ステーション１００（図１）が内部にあるかまたはそれと関連付けられている。チューブ２２４には、ラベル２３０が取り付けられていてよい。ラベル２３０は、バーコード２３２など、検体２２８に関係する情報を含むことができる。いくつかの実施形態において、その情報は、検体２２８を識別する数字および／または文字を含むことができる。バーコード２３２の画像は、撮像デバイス１１０のうちの１つまたはそれ以上によって取り込むことができる。いくつかの実施形態において、検体２２８の画像は、撮像デバイス１１０によって取り込むことができる。他の実施形態において、キャップ２２６の画像は、撮像デバイス１１０によって取り込むことができる。いくつかの実施形態において、チューブ２２４、キャップ２２６、および／または検体２２８の画像は、撮像デバイス１１０によって取り込むことができる。

追加的に図３を参照すると、図は、光学検査ステーション１００の部分断面図を示している。図１および図３の実施形態において、マシンビジョンシステム１０６は撮像デバイス１１０を３つ、つまり、第１の撮像デバイス１１０Ａ、第２の撮像デバイス１１０Ｂ、および第３の撮像デバイス１１０Ｃを含むことができる。それに対応して撮像光路が３つあり、撮像デバイス１１０の各々に撮像光路が１つ関連付けられている。第１の撮像デバイス１１０Ａは、第１の撮像光路３２８Ａおよびそれと関連付けられた第１の視野３３０Ａを有する。第２の撮像デバイス１１０Ｂは、第２の撮像光路３２８Ｂおよびそれと関連付けられた第２の視野３３０Ｂを有する。第３の撮像デバイス１１０Ｃは、第３の撮像光路３２８Ｃおよびそれと関連付けられた第３の視野３３０Ｃを有する。

視野３３０Ａ～３３０Ｃ内での検体容器１０８の照明は、様々な照明光源によって供給可能である。図３の実施形態において、光パネル１１２は、第１の視野３３０Ａのために後部に照明を供給することができる。検体容器１０８が第２の視野３３０Ｂにある間に、照明光源３１３が検体容器１０８の前部に照明を供給することができる。検体容器１０８が第３の視野３３０Ｃにある間に、照明光源１１３は、検体容器１０８の前部に照明を供給することができる。撮像デバイス１１０は、検体容器１０８がそれぞれの撮像デバイス１１０の視野３３０Ａ～３３０Ｃ内のどこにあるときでも、検体容器１０８の画像を取り込むことができる。

ここで図４Ａを参照すると、図は、検体容器１０８の画像を取り込む第２の撮像デバイス１１０Ｂの側面図を示している。図４Ｂも参照すると、図は、検体容器１０８が第２の視野３３０Ｂ内の様々な位置にある第２の撮像デバイス１１０Ｂの上面図を示している。図示されているように、照明光源１１３は、照明パターン４３８を有する光路４３６を介して検体容器１０８を照明する。照明パターン４３８は、検体容器１０８が第２の視野３３０Ｂ内で様々な位置を通って動くときに、検体容器１０８を照明することができる。図４Ａの側面図に示されているように、照明パターン４３８は、検体容器１０８全体に照明を供給することができる。図４Ｂの上面図に示されているように、照明パターン４３８は、検体容器１０８が第２の視野３３０Ｂ内で様々な位置を通って動くときに、検体容器１０８を照明することができる。

図４Ｂの実施形態において、検体容器１０８は、検体容器が第２の視野３３０Ｂを通って動くときの、第２の撮像デバイス１１０Ｂの第２の視野３３０Ｂ内の複数の位置に示されている。７つの複数の位置が、位置１から位置７として示されている。検体容器１０８が位置１および位置７にあるときは、検体容器１０８は、照明光源３１３によって全体的には照明されないことがあり、第２の撮像デバイス１１０Ｂの第２の視野３３０Ｂ内に全体的にはないことがある。

検体容器１０８から反射された光は、第２の撮像デバイス１１０Ｂに受け入れられ、画像データに変換される。いくつかの実施形態において、反射光はレンズ４４０を透過でき、そのレンズ４４０は反射光をイメージャ４４２に集束させる。追加的に図４Ｃを参照すると、図は、イメージャ４４２の一実施形態の概略正面図である。イメージャは、たとえば、電荷結合素子（ＣＣＤ）または相補形金属酸化膜半導体（ＣＭＯＳ）でよい。イメージャ４４２は、２次元配列など、ある配列の画像素子または画素４４４を含む。画素４４４は画像の個々の部分を電気信号に変換し、その電気信号は本明細書では画素値と称され、画素４４４上で受けられる光の強度に依存する。したがって、高強度の光を受けるイメージャ４４２の位置にある画素４４４は、高い画素値を生成することができ、低強度の光を受けるイメージャ４４２の位置にある画素４４４は、低い画素値を生成することができる。いくつかの実施形態において、画素値は０と２５５との間の画素値などにデジタル化され、画素値０はその画素で光が受けられなかったことを示すことができ、画素値２５５は画素が飽和していることを示すことができる。

光学検査ステーション１００（図１および図３）の動作中に、輸送システム１１６は、検体容器１０８を光学検査ステーション１００に動かすことができる。輸送システム１１６は、検体容器１０８を光学検査ステーション１００内の撮像位置に動かす。その撮像位置とは、それぞれの撮像デバイスの少なくとも１つの視野にある光学検査ステーション１００内の位置である。本明細書に記載されているように、撮像デバイス１１０のうちの１つまたはそれ以上は、検体容器１０８がそれぞれの視野を通って動くときに検体容器１０８の連続画像を取り込むことができる。いくつかの実施形態において、撮像デバイス１１０は、検体容器が１ｍｍから３ｍｍインクリメント動くにつれて画像を取り込むことができる。それらのインクリメントは、本明細書に記載されているように光学チェーンにおける欠陥を検出するのに十分な撮像を行うように選択可能である。

検体容器１０８が撮像位置にあるときに、１つまたはそれ以上の照明光源は検体容器１０８を照明することができる。図１および図３の実施形態において、光パネル１１２は、第１の撮像デバイス１１０Ａに対する検体容器１０８の後部に照明を供給することができる。先に説明したように、そのときに、後部が照明されている検体容器１０８の画像を第１の撮像デバイス１１０Ａによって取り込むことができる。照明光源３１３は、第２の撮像デバイス１１０Ｂに対して検体容器１０８の前部を照明することができる。第２の撮像デバイス１１０Ｂは、そのときに、検体容器１０８の画像を取り込むことができる。照明光源１１３は、第３の撮像デバイス１１０Ｃに対して検体容器１０８の前部を照明することができる。第３の撮像デバイス１１０Ｃは、そのときに、検体容器１０８の画像を取り込むことができる。

図４Ｂを参照すると、検体容器１０８は、第２の撮像デバイス１１０Ｂの第２の視野３３０Ｂにおける位置１～７に配置することができる。第２の撮像デバイス１１０Ｂは、検体容器が位置１と位置７との間など、第２の視野３３０Ｂを通って動くときに、検体容器１０８の画像または連続画像を取り込む。図５Ａ～図５Ｂを参照すると、図は、視野内の様々な位置にある検体容器１０８を示している。図５Ａ～図５Ｂの実施形態において、視野は、第２の撮像デバイス１１０Ｂと関連付けられた第２の視野３３０Ｂであるが、他の撮像デバイスと関連付けられた他の視野と同一または同様でよい。

図５Ａは、図４Ｂに示されている位置５にある検体容器１０８を示す。図５Ｂは、図４Ｂに示されている位置６にある検体容器１０８を示す。視野３３０Ｂは様々なサイズを有することができ、そのサイズは、図５Ａおよび図５Ｂに示されており、検体容器１０８の様々な部分の画像データを生成することができる。本明細書に記載されている実施形態において、光学検査ステーション１００（図１および図３）において、検体容器１０８の後ろに光パネルも反射デバイスもない。それに応じて、検体容器１０８の画像以外の画像の背景は暗い。

「光学チェーン（ｏｐｔｉｃａｌ ｃｈａｉｎ）」という用語は、本明細書で用いられているように、光路および光を処理するデバイスを指す。光学チェーンは、照明光源（たとえば、照明光源１１３および照明光源３１３）および撮像デバイス１１０を含むことができる。光学チェーンは、レンズ４４０およびイメージャ４４２など、撮像デバイス１１０の構成要素を含むことができる。光学チェーンは、照明光源と検体容器１０８との間および検体容器１０８と撮像デバイス１１０と間の光路を含むことができる。光学チェーンにおける欠陥（たとえば、異常または不具合）を本明細書で説明する。

図５Ａおよび図５Ｂの実施形態において、光学チェーンは欠陥を有し、その欠陥は暗点５４６および輝点５４８として示される。図５Ａ～図５Ｂに示されている暗点５４６および輝点５４８のサイズは、図示の目的で拡大されている場合がある。輝点５４８は、図示の目的で、破線で囲まれた状態で示されている。実際には、輝点５４８は破線によって囲まれてはいない。暗点５４６は、平均画素値未満の所定量の画素値でよい。たとえば、暗点５４６は、すべての画素値の平均よりも１０％小さい画素値として識別可能である。輝点５４８は、平均画素値よりも大きい所定量の画素値でよい。たとえば、輝点５４８は、すべての画素値の平均よりも１０％大きい画素値として識別可能である。

暗点５４６は、デッドピクセルおよび／または光学チェーンにおける粒子を含むいくつかのタイプの欠陥によって引き起こされることがある。デッドピクセルは、デッドピクセルに入射する光の強度に関係なく、低い電圧を生成するかまたは電圧を生成しない、イメージャ４４２内の画素である。イメージャ４４２にデッドピクセルを有するイメージャ４４２（図４Ｃ）を用いて取り込まれる取得画像は、図５Ａおよび図５Ｂに示されているように、取得画像に暗点を含む。輝点５４８は、飽和画素に入射する光の強度に関係なく高い電圧または最大電圧を生成する欠陥画素（たとえば、飽和画素）によって引き起こされることがある。いくつかの状況において、光学チェーンにおける粒子は、画素のいくつかへの過剰な光を屈折させ、画素を飽和させることがある。

暗点５４６および輝点５４８は、検体容器１０８および／またはそこに配置された検体２２８（図２）を表す画像の解析に干渉する。たとえば、画像データは、輝点５４８を表す高すぎる画素値および暗点５４６を表す低すぎる画素値を含む。図５Ａに示されているように、暗点５４６は、検体２２８における点として解釈されることがある。図５Ａの輝点５４８は、バーコード２３２の画像に干渉する可能性がある。図５Ｂに示されているように、暗点５４６および輝点５４８は両方とも、検体２２８の画像に干渉する可能性がある。

本明細書に記載されている装置および方法は、光学チェーンの状態をチェックし光学チェーンにおける欠陥を見つけるために、本明細書に記載されている反射ツールの画像を取り込む。ここで図６Ａを参照すると、図は、反射ツール６５０の一実施形態を示している。反射ツール６５０は、反射性の外部６５２を有する、検体容器１０８のチューブ２２４（図２）などのチューブ６２４として構成することができる。反射性の外部６５２は、照明光源１１３（図３）および／または照明光源３１３（図３）によって放射される光を反射する色でよい。いくつかの実施形態において、反射性の外部６５２は、チューブ６２４に貼付された白いラベルまたはスリーブでよい。反射ツール６５０は、断面を見ると丸くなっているように示されている。他の実施形態において、反射ツール６５０は、断面を見たときに長円形または多角形など、他の形状を有することができる。図６Ｂは、キャリア２２０に受け入れられる反射ツール６５０を示し、キャリア２２０は、反射ツール６５０が輸送システム１１６（図３）などによって光学検査ステーション１００（図３）を通して輸送されることを可能にする。

反射ツール６５０は、均一の反射率を有することができる。たとえば、反射ツール６５０の反射率は５％を超えてばらつかない可能性がある。他の実施形態において、反射ツール６５０の反射率は１０％を超えてばらつかない可能性がある。したがって、反射ツール６５０は、反射ツール６５０を照明する照明光源１１３、３１３（図３）に応答して均一に光を反射する。いくつかの実施形態において、反射ツール６５０がラベルまたはそれに取り付けられた他の反射面を有する場合は、ラベルまたは他の反射面は均一の反射率を有することができる。

視野内の様々な位置にある反射ツール６５０の１つまたはそれ以上の画像（たとえば、連続画像）を撮像および解析することによって、光学チェーンの状態をチェックすることができる。連続画像を用いて合成カーテンまたは合成背景を生成することができ、その合成カーテンまたは合成背景は、理想的な状況下では暗点５４６および輝点５４８などのない均一の強度を有するはずである。いくつかの実施形態において、反射ツール６５０の個々の画像が解析される。いくつかの実施形態において、均一の合成背景は、画素値の９０％が互いの１０％以内にある光の強度を有することができる。他の実施形態において、均一の合成背景は、画素値の９５％が互いの５％以内にある光の強度を有することができる。

いくつかの実施形態において、連続した画像は、互いに電子的につなぎ合わせられて合成背景を形成する。光学チェーンにおける欠陥によって、暗点５４６および／または輝点５４８などのアーチファクトが連続した画像のうちの１つまたはそれ以上に現れる。図７Ａを参照すると、図は、反射ツール６５０が第２の視野３３０Ｂ内に配置されている間の反射ツール６５０を示している。たとえば、図７Ａに示されている反射ツール６５０は、図４Ｂに示されているように、位置１または位置７にあってよい。反射ツール６５０が図７Ａに示された位置にあるときは、反射ツール６５０のうちの第２の視野３３０Ｂ内に配置された部分だけ（図４Ｂ）が、第２の撮像デバイス１１０Ｂによって取り込まれることが留意される。本明細書に記載されているプロセスは他の視野にも当てはめることができる。

図７Ａの実施形態において、反射ツール６５０は近傍位置１（図４Ｂ）にあり、反射ツール６５０の一部分だけが、第２の視野３３０Ｂにあり、したがって、反射ツール６５０の一部分だけが、第２の撮像デバイス１１０Ｂによって取り込まれる。いくつかの実施形態において、反射性の外部６５２の画像の一部分だけが処理されて、合成背景を生成する。図７Ａの実施形態において、反射性の外部６５２の前方部分７５６を解析して、合成背景を生成することができる。前方部分７５６は、反射性の外部６５２のうちの第２の撮像デバイス１１０Ｂを向く部分である。前方部分７５６のサイズは、反射性の外部６５２の反射率、反射性の外部６５２に入射する照明、および／または合成背景の所望の均一性に関係する場合がある。たとえば、前方部分７５６が小さいときは、反射性の外部６５２のうちの第２の撮像光路３２８Ｂに直角のより多くの部分を処理でき、そのことが、合成背景の高い均一性を生み出す。

ここで図７Ｂを参照すると、図は、反射ツール６５０が第２の視野３３０Ｂを通して輸送されるときの反射ツール６５０を示している。図７Ｂに示されているように、反射ツール６５０の前方部分７５６の画像は、連続画像において重なっている。いくつかの実施形態において、反射ツール６５０の連続画像は、少なくとも７５％互いに重なっていてよい。他の実施形態において、前方部分７５６の連続画像は、少なくとも８５％互いに重なっていてよい。前方部分７５６の画像は、本明細書に記載されているように、実質的に均一の合成背景を形成するように処理することができる。

追加的に図８Ａを参照すると、図は、第２の撮像デバイス１１０Ｂ（図３）によって取り込まれた反射ツール６５０の画像８６０を示している。図８Ａに示されているように、画像８６０では反射性の外部６５２だけを見ることができる。光学検査ステーション１００（図３）の内部は暗く、したがって、反射性の外部６５２だけが、照明光源１１３（図３）によって生成される光を反射する。図７Ｂを参照しながら説明されているように、反射ツール６５０の連続画像は、反射ツール６５０が第２の視野３３０Ｂを通して動かされるときに、第２の撮像デバイス１１０Ｂおよび／またはマシンビジョンシステム１０６の他の撮像デバイスによって取り込まれる。たとえば、反射ツール６５０は、反射ツール６５０の個々の画像が取り込まれている間に、第２の視野３３０Ｂの様々な位置で停止可能である。いくつかの実施形態において、反射ツール６５０は各連続画像について１ｍｍから３ｍｍ動かされる。このような反射ツールのインクリメンタルな動きは、均一の合成背景をもたらすことができる。

本明細書に記載されているように、反射性の外部６５２の前方部分７５６の連続画像は、処理および解析することができる。追加的に図８Ｂを参照すると、処理することで前方部分７５６の連続画像を重ねて、合成背景８６４の画像を生成することができる。理想的な状況下では、均一の合成背景８６４を示す、合成背景８６４の画像の画素値の強度は同じである。いくつかの実施形態において、画素値の過半数または所定数は、先に説明したように所定の範囲内にあってよく、このことは均一の合成背景８６４を構成する。

図８Ｂの実施形態において、合成背景８６４は、前方部分７５６の連続画像を互いに電子的につなぎ合わせて合成背景８６４を形成するスティッチングソフトウェアによって形成することができる。スティッチングソフトウェアは、連続して取り込まれた個々の画像からパノラマ画像を生成するために使用される画像処理ソフトウェアと同一または同様でよい。他のソフトウェアまたはプロセスを使用して前方部分７５６の画像から合成背景８６４を生成することができる。図８Ｂの実施形態において、対象領域８６６は、解析される合成背景８６４の一部分である。対象領域８６６は、それぞれ前方部分７５６の上側縁部および下側縁部でよい、上側縁部８６６Ａおよび下側縁部８６６Ｂによって境界が定められている。対象領域８６６は、それぞれ第２の視野３３０Ｂの左側縁部および右側縁部でよい、左側縁部８６６Ｃおよび右側縁部８６６Ｄを含むことができる。

ここで図９を参照すると、図は合成背景８６４の画像を示しており、合成背景８６４は、アーチファクトまたは光学チェーンにおける欠陥を示す画像を示す。光学チェーンにおける欠陥がないときは、画素値はすべて所定の値の範囲内にあるはずである。いくつかの実施形態において、理想的な対象領域８６６の画素値は、たとえば、最大値２５５のうちの値２５０など、飽和画素値に近くてよい。他の実施形態において、理想的な対象領域８６６の画素値は、飽和画素値に近い値よりも小さくてよい。図９の実施形態において、合成背景８６４の画像はスポット９７０を含み、スポット９７０を構成する画素値は、理想的な対象領域の画素値とは異なっている（たとえば、それよりも小さい）。スポット９７０は、レンズ４４０および／またはイメージャ４４２（図４Ｃ）上の粒子（たとえば、汚れ）を示すことがある。スポット９７０は、不具合のある照明光源３１３（図３）および／または照明光源３１３上の粒子を示すこともある。粒子によって、イメージャ４４２に入射する光が少なくなることがあり、そのことによって、対応する画素の画素値が理想的な対象領域８６６の画素値よりも小さくなる。スポット９７０は、隣接する画素の所定数の画素値が所定値未満の値を有することによって識別可能である。

対象領域８６６は、１つもしくはそれ以上の暗点９７２Ａおよび／または１つもしくはそれ以上の輝点９７２Ｂを含むこともある。暗点９７２Ａは、イメージャ４４２におけるデッドピクセルを示すことがあり、デッドピクセルは、暗い画素に入射する光の強度に関係なく電圧をまったく発生しない。暗点９７２Ａは、レンズ４４０（図４Ｂ）および／または照明光源３１３（図３）上など、光学チェーンにおける粒子を示すこともある。輝点９７２Ｂは飽和画素を示すことがあり、飽和画素は、飽和画素に入射する光の強度に関係なく高い電圧を発生する。輝点９７２Ｂは、光学チェーンにおける、透明の粒子などの粒子を示すこともあり、その粒子は、鏡面反射を引き起こすかまたは一定の画素に光を集束させる。

対象領域８６６において輝点および／または暗点を検出したときに、技術者らは光学チェーンにおけるアイテムを清掃することができる。たとえば、技術者らはレンズ４４０（図４Ｂ）を清掃することができる。光学チェーンのアイテムが清掃された後に、スポット、輝点および／または暗点のうちの１つまたはそれ以上が対象領域８６６に残る場合、技術者はイメージャ４４２の１つまたはそれ以上の画素に欠陥があると判定することができる。その後の画像解析において、欠陥画素によって生成された画素値を無視することができる。所定の数の画素に欠陥がある場合は、技術者はイメージャ４４２またはそれぞれの撮像デバイスを交換することができる。

いくつかの実施形態において、コンピュータ１０２（図３）は、撮像デバイス１１０（図３）から画像データを受信することができる。コンピュータ１０２は、画像データに基づいて合成背景８６４を生成するソフトウェアを実行することができる。コンピュータ１０２は、対象領域８６６を解析するソフトウェアを実行することもできる。たとえば、ソフトウェアは、画像データを解析して、対象領域が輝点および／または暗点を含むかどうかを判定することができる。ソフトウェアは、その解析に応答して光学経路を清掃するように技術者に指示することができる。光学経路が清掃された後に輝点および／または暗点が残る場合、ソフトウェアは、輝点および／または暗点と関連付けられたそれらの画素を欠陥があるものとして指定することができる。ソフトウェアはさらに、検体容器１０８（図２）の画像など、画像を解析するときに、欠陥画素によって生成される画素値を無視することができる。いくつかの実施形態において、ソフトウェアは、欠陥の通知を生成することができる。

いくつかの実施形態において、合成背景を生成する代わりに、反射性の外部６５２の連続画像を解析することができる。たとえば、先に説明した解析は、撮像デバイスの視野内の様々な位置にある反射ツール６５０（図４Ｂ）を用いて行うことができる。図４Ｂを参照すると、反射ツール６５０の画像は、反射ツール６５０が位置１にあるときに取り込むことができる。次いで、反射性の外部６５２の画像が解析されて、光学チェーンにいずれかの欠陥が存在するかどうかを判定することができる。解析は、光学チェーンに粒子が存在するかどうかまたは位置１に対応するいずれかの画素４４４に欠陥があるかどうかを判定することができる。次いで、反射ツール６５０は、位置２まで動かされることが可能であり、そこで、反射性の外部６５２の画像が撮像および解析される。解析は、光学チェーンに粒子が存在するかどうかまたは位置２に対応するいずれかの画素４４４に欠陥があるかどうかを判定することができる。反射ツール６５０が視野における様々な位置に位置するときにこのプロセスを繰り返すことができる。

ここで図１０を参照すると、図は、マシンビジョンシステム（たとえば、光学検査ステーション１００）における欠陥を識別する方法１０００を示すフローチャートを示している。方法１０００は、１００２で、第１の視野（たとえば、視野３３０Ｂ）を有する第１の撮像デバイス（たとえば、撮像デバイス１１０Ｂ）を提供することを含む。方法１０００は、１００４で、第１の視野を通して反射ツール（たとえば、反射ツール６５０）を動かすことを含む。方法１０００は、１００６で、第１の撮像デバイスを用いて第１の視野における様々な位置で反射ツールの複数の画像を取り込むことを含む。方法１０００は、１００８で、複数の画像のうちの少なくとも１つを解析してマシンビジョンシステムにおける１つまたはそれ以上の欠陥を識別することを含む。

図１１を参照すると、図は、光学検査ステーション（たとえば、マシンビジョンシステム１０６）における欠陥を識別する方法１１００を示すフローチャートを示している。方法１１００は、１１０２で、視野（たとえば、視野３３０Ｂ）を有する撮像デバイス（たとえば、撮像デバイス１１０Ｂ）を提供することを含む。方法１１００は、１１０４で、視野を通して反射ツール（たとえば、反射ツール６５０）を動かすことを含む。方法１１００は、１１０６で、撮像デバイスを用いて視野における様々な位置で反射ツールの複数の画像を取り込むことを含む。方法１１００は、１１０８で、複数の画像のうちの少なくとも１つを解析して光学検査ステーションにおける１つまたはそれ以上の欠陥を識別することを含む。

本開示は様々な修正例および代替例が可能であり、特定の方法および装置の実施形態が、図面に一例として示されており、本明細書に詳細に説明されている。しかし、本明細書に開示されている特定の方法および装置は本開示を限定するものではなく、それとは反対に、請求項の範囲内にあるすべての修正例、均等物、および代替例を含むと理解されたい。

Claims (18)

1. マシンビジョンシステムにおける欠陥を識別する方法であって：
   第１の視野を有する第１の撮像デバイスを提供することと；
   第１の視野を通して反射ツールを動かすことと；
   第１の撮像デバイスを用いて第１の視野における様々な位置で反射ツールの複数の画像を取り込むことと；
   複数の画像のうちの少なくとも１つを解析してマシンビジョンシステムにおける１つまたはそれ以上の欠陥を識別することと
   を含み、
   反射ツールを動かすことは、第１の視野を通して、反射面を有するチューブを動かすことを含み、
   反射ツールは、均一の反射率を有し、反射面を有するチューブである、
   前記方法。
2. 取り込む間に反射ツールを照明することをさらに含む、請求項１に記載の方法。
3. 反射ツールを動かすことは、第１の視野を通してチューブを動かすことを含み、チューブにはラベルが取り付けられており、ラベルは均一の反射率を有する、請求項１に記載の方法。
4. 反射ツールを動かすことは、第１の視野を通してチューブを動かすことを含み、チューブは反射性の対象領域を有し、
   反射ツールの複数の画像を取り込むことは、対象領域の複数の画像を取り込むことを含む、請求項１に記載の方法。
5. 対象領域は白い、請求項４に記載の方法。
6. 反射ツールの複数の画像のうちの２つ以上を互いにつなぎ合わせて合成背景を生成することを含み、ここで、複数の画像のうちの少なくとも１つを解析することは、合成背景を
   解析することを含む、請求項１に記載の方法。
7. 解析することは、対象領域を解析することを含む、請求項６に記載の方法。
8. 複数の画像は画素値を含み、つなぎ合わせることは、複数の画像のうちの２つ以上を互いにつなぎ合わせて、画素値の９０％が互いの１０％以内にある光の強度を有する合成背景を生成することを含む、請求項６に記載の方法。
9. 解析することは複数の画像のうちの１つまたはそれ以上を解析して第１の撮像デバイスのレンズに粒子が存在するかどうかを判定することを含む、請求項１に記載の方法。
10. 解析することは、複数の画像のうちの１つまたはそれ以上を解析して第１の撮像デバイスの１つまたはそれ以上の画素に欠陥があるかどうかを判定することを含む、請求項１に記載の方法。
11. 取り込むことは、第１の視野における１０以上の様々な位置で反射ツールの１０以上の画像を取り込むことを含む、請求項１に記載の方法。
12. 複数の画像を取り込むことは、反射ツールの複数の重なった画像を取り込むことを含む、請求項１に記載の方法。
13. 複数の画像は少なくとも７５％互いに重なる、請求項１２に記載の方法。
14. 第２の視野を有する第２の撮像デバイスを提供することと；
    第２の視野を通して反射ツールを動かすことと；
    第２の視野における様々な位置で反射ツールの複数の第２の画像を取り込むことと；
    複数の第２の画像のうちの少なくとも１つを解析してマシンビジョンシステムにおける１つまたはそれ以上の欠陥を識別することと
    を含む、請求項１に記載の方法。
15. 光学検査ステーションにおける欠陥を識別する方法であって：
    視野を有する撮像デバイスを提供することと；
    視野を通して検体容器を動かすように構成された輸送システムを提供することと；
    視野を通して反射ツールを動かすことと；
    撮像デバイスを用いて視野における様々な位置で反射ツールの複数の画像を取り込むことと；
    複数の画像のうちの少なくとも１つを解析して光学検査ステーションにおける１つまたはそれ以上の欠陥を識別することと
    を含み、
    反射ツールはチューブの形状を有し、
    反射ツールは、均一の反射率を有し、反射面を有するチューブである、
    前記方法。
16. 複数の画像を取り込むことは、互いに重なる反射ツールの複数の画像を取り込むことを含む、請求項１５に記載の方法。
17. 反射ツールの複数の画像のうちの２つ以上を互いにつなぎ合わせて合成背景を生成することを含み、ここで、複数の画像のうちの少なくとも１つを解析することは、合成背景を解析することを含む、請求項１５に記載の方法。
18. マシンビジョンシステムであって：
    視野を有し、視野における様々な位置で反射ツールの複数の画像を取り込むように構成された、撮像デバイスと；
    視野を通して検体容器および反射ツールを動かすように構成された、輸送システムと；
    複数の画像のうちの少なくとも１つを解析し、マシンビジョンシステムの光学チェーンに欠陥が存在するかどうかを判定するように構成された、コンピュータと
    を含み、
    反射ツールを動かすことは、第１の視野を通して、反射面を有するチューブを動かすことを含み、
    反射ツールは、均一の反射率を有し、反射面を有するチューブである、
    前記マシンビジョンシステム。

Images