[go: up one dir, main page]

JP6718465B2 - 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出 - Google Patents

視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出 Download PDF

Info

Publication number
JP6718465B2
JP6718465B2 JP2017543749A JP2017543749A JP6718465B2 JP 6718465 B2 JP6718465 B2 JP 6718465B2 JP 2017543749 A JP2017543749 A JP 2017543749A JP 2017543749 A JP2017543749 A JP 2017543749A JP 6718465 B2 JP6718465 B2 JP 6718465B2
Authority
JP
Japan
Prior art keywords
image
camera
tube
tray
patches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543749A
Other languages
English (en)
Other versions
JP2018507482A5 (ja
JP2018507482A (ja
Inventor
ウー、ウエン
ポラック、ベンジャミン
チャーン、ヤオ−ジェン
デュモン、ギヨーメ
チェン、テレンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2018507482A publication Critical patent/JP2018507482A/ja
Publication of JP2018507482A5 publication Critical patent/JP2018507482A5/ja
Application granted granted Critical
Publication of JP6718465B2 publication Critical patent/JP6718465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00871Communications between instruments or with remote terminals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163Partitioning the feature space
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00871Communications between instruments or with remote terminals
    • G01N2035/00881Communications between instruments or with remote terminals network configurations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • G01N2035/0091GUI [graphical user interfaces]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04Details of the conveyor system
    • G01N2035/0496Other details
    • G01N2035/0498Drawers used as storage or dispensing means for vessels or cuvettes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Description

関連出願
本出願は、2015年2月18日に出願された「LOCALITY−BASED DETECTION OF TRAY SLOT TYPES AND TUBE TYPES IN A VISION SYSTEM」と題する米国仮出願第62/117,916号明細書に対する優先権を請求し、この開示は参照により全体が本明細書に組み込まれる。
本明細書に開示される実施形態は、一般に自動化視覚システムのトレイ内のトレイスロットとチューブを評価することに関し、より詳細にはチューブトレイの画像を取得してトレイ内に保持されたトレイスロットとチューブの特徴を決定することに関する。
体外診断(IVD)は、検査室が、患者の液状サンプルに対して行なわれる検査に基づいて疾病診断を支援することを可能にする。IVDは、患者の体液又は膿瘍から得られた液体サンプルの分析によって行える患者の診断及び治療に関連した様々なタイプの分析試験及び検査を含む。そのような検査は、通常、患者サンプルを収容したチューブ又はガラス瓶が装填された自動臨床化学分析装置(分析装置)によって行われる。最新IVD検査で様々な検査が必要とされ、検査を行うのに大量の試験が必要なので、単一検査室内で複数の分析装置が使用されることが多い。分析装置の間では自動化システムも使用され得る。。サンプルは、診療室から検査室に送られ、検査室に保管され、自動化システム又は分析装置に入れられ、その後の試験のために保管され得る。。
分析装置間の保管と移送は、典型的には、トレイを使って行われる。トレイは、典型的には、テストチューブ内に蓄えられたいくつかの患者サンプルの配列である。そのようなトレイは、しばしば積み重ね可能であり、検査室の一部分から別の部分への複数サンプルの容易な搬送を可能にする。例えば、検査室は、病院又は診療所から試験のために患者サンプルのトレイを受け取ることがある。その患者サンプルトレイは、実験室内の冷蔵庫に保管され得る。。患者サンプルトレイは、引出し内にも保管され得る。。いくつかの自動化システムでは、分析装置は、患者サンプルトレイを受け入れ、サンプルをそれ相応に取り扱うことができ、一方、いくつかの分析装置は、サンプルがオペレータによってトレイから取り出され、さらなる処理の前にキャリア(パックなど)に入れられることを必要とすることがある。トレイは、一般に、サンプルを搬送し、場合によっては順番に配列することを可能にする受動装置である。
一般に、トレイ内に保管されたサンプルチューブに関する情報は、オペレータ又はサンプル処理機構が各チューブと相互作用するまで分からない。例えば、サンプル取り扱いロボットアームが、チューブを取り上げ、トレイから取り出し、キャリアに入れることがある。次に、キャリアは、デキャッパステーションまで移動して、キャップがあれば除去し、バーコードリーダのそばを通り、それにより、チューブの側面のバーコードを読み取ってチューブの内容を明らかにできる。多くの先行技術のサンプル取り扱い機構では、チューブの識別は、チューブがトレイから取り出された後まで分からない。このように、トレイ内の全てのチューブは、チューブが自動化システム内の保持具上に配置されるまで同じように取り扱われることが多い。
実施形態は、サンプルチューブの特性を検出する方法を提供する。この方法は、1つ以上のカメラによって取得されたトレイの一連の画像を受け取ることを含む。トレイは、複数のチューブスロットを含む。方法は、また、プロセッサを使用して、各画像から複数の画像パッチを抽出することを含み、複数の画像パッチはそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされる。方法は、また、画像パッチが、各画像パッチに、画像の中心、画像の角及び画像の中央縁のうちの1つからのものかどうかを定義する第1の位置群を割り当てることと、画像パッチごとに、第1の位置群に基づいて、画像パッチの処理に使用するトレーニング済みクラシファイヤを選択することとを含む。方法は、更に、プロセッサを使用して、複数の画像パッチから、画像パッチごとのトレーニング済みクラシファイヤを使用してトレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定することを含む。
一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときにトレイの一連の画像が1つ以上のカメラによって取得される。
別の実施形態によれば、方法は、更に、各画像パッチに対して、画像パッチが、画像の中心、画像の左角、画像の右角、画像の左中央、画像の中心中央(center middle)及び画像の右中央のうちの1つからのものかどうかを定義する第2の位置群を割り当てることを含む。方法は、更に、画像パッチごとに、第2の位置群に基づいて、画像パッチの処理で使用するトレーニング済みクラシファイヤを選択することを含む。チューブスロットの1つ以上がチューブを収容していることを決定したとき、方法は、更に、プロセッサを使用して、複数の画像パッチから、1つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも1つの特性を自動的に決定することを含む。
更に別の実施形態では、チューブそれぞれの少なくとも1つの特性を決定することは、更に、プロセッサを使用して、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、1つ以上のチューブスロットに収容されたチューブそれぞれがキャップを有するかどうかを自動的に決定することを含む。
一実施形態の一態様によれば、チューブそれぞれの少なくとも1つの特性を決定することは、プロセッサを使用して、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、1つ以上のチューブスロットに収容された各チューブがチューブ上部サンプルカップを有するか単純チューブであるかを自動的に決定することを含み得る。。
一実施形態の別の態様によれば、一連の画像を受け取ることは、更に、第1のカメラ及び第1のカメラに隣接した第2のカメラから一連の画像を受け取ることを含み、複数の画像パッチを抽出することは、更に、第1のカメラから受け取った各画像から画像パッチを抽出することと、第2のカメラから受け取った各画像から画像パッチを抽出することを含む。第2の位置群を割り当てることは、更に、第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラから受け取った画像から抽出された各画像パッチに、第2の位置群を割り当てることを更に含み、トレーニング済みクラシファイヤを選択することが、更に、第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラから受け取った画像から抽出された各画像パッチ用に、同じトレーニング済みクラシファイヤを選択することを含む。
一実施形態では、画像の左角、画像の右角及び画像の中心中央がそれぞれ、複数の画像パッチを含み、水平方向に対称な第2の位置群を割り当てることが、更に、第1のカメラと第2のカメラの一方からの1行の画像パッチを基準位置として使用することと、第1のカメラと第2のカメラの他方からの画像パッチを基準位置に位置合わせすることを含む。
別の実施形態では、各画像が、3行のチューブスロットと3列のチューブスロットのマトリクスを含み、複数の画像パッチが、3行の画像パッチと3列の画像パッチマトリクスを含む。各画像パッチは、画像内のチューブスロットのうちの1つのチューブスロットの位置に対応する。
実施形態は、オフライン画像パッチクラシファイヤトレーニングのための方法を提供する。この方法は、複数のカメラから複数のチューブスロットを有するトレイの一連の画像を受け取ることと、各画像から複数の画像パッチを抽出することとを含む。複数の画像パッチはそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされる。方法は、また、プロセッサを使用して、複数の画像の各画像パッチをクラシファイヤに提供することと、プロセッサを使用して、クラシファイヤに提供された各画像パッチの画像パッチデータを収集することを含み、データが、トレイ内の各チューブスロットがチューブを収容しているかどうか、1つ以上のチューブスロットに収容されたチューブそれぞれがキャップを有するかどうか、及び1つ以上のチューブスロットに収容された各チューブがチューブ上部サンプルカップを有するか単純チューブであるかどうかのうちの1つを示す。方法は、また、プロセッサを使用して、画像パッチデータに基づいて各画像パッチに対応する画像パッチクラシファイヤを決定することを含む。
一実施形態によれば、各画像から複数の画像パッチを抽出することは、更に、ある期間にわたって、実質的に同じチューブスロットと同じチューブ上部の一方が中心に位置決めされた複数の画像パッチを抽出することを含む。
別の実施形態によれば、クラシファイヤは、ランダムフォレストクラシファイヤ、サポートベクトルマシンクラシファイヤ又は確率的ブースティングツリークラシファイヤである。
実施形態は、行及び列のマトリクスで配列された複数のスロットを含むトレイを含む体外診断環境で使用するための視覚システムを提供する。各チューブスロットは、サンプルチューブを収容するように構成される。システムは、また、トレイを受けるように構成された面と、トレイの一連の画像を取得するように構成された第1のカメラを有する画像取得システムとを含む。システムは、第1のカメラによって取得されたトレイの一連の画像を受け取り、一連の画像の各画像から複数の画像パッチを抽出するように構成されたプロセッサを更に含む。複数の画像パッチはそれぞれ、実質的に、複数のチューブスロット又はチューブ上部の一方が中心に位置決めされる。プロセッサは、また、画像パッチが画像の中心、画像の角及び画像の中央縁のうちの1つからのものかどうかを定義する第1の位置群を各画像パッチに割り当て、画像パッチごとに、第1の位置群に基づいて、画像パッチの処理に使用するトレーニング済みクラシファイヤを選択するように構成される。プロセッサは、更に、複数の画像パッチから、各画像パッチのトレーニング済みクラシファイヤを使用して、トレイ内の各チューブスロットが、対応するサンプルチューブを収容しているかどうかを自動的に決定するように構成される。
一実施形態によれば、画像取得システムは、更に、第1のカメラに隣接しかつ第1のカメラによって取得された画像の近くのトレイの画像を取得するように構成された第2のカメラを含む。
別の実施形態によれば、面は、開位置と閉位置の間で移動可能な引出しの一部分を含み、引出しが開位置と閉位置の間で移動されたときにトレイの画像が第1のカメラと第2のカメラによって取得される。
更に別の実施形態では、プロセッサは、第1のカメラから受け取った各画像から画像パッチを抽出し、第2のカメラから受け取った各画像から画像パッチを抽出し、第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラから受け取った画像から抽出された各画像パッチに、第2の位置群を割り当てるように構成される。プロセッサは、更に、第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラから受け取った画像から抽出された各画像パッチ用に同じトレーニング済みクラシファイヤを選択するように構成される。
一実施形態の一態様では、画像の左角、画像の右角、及び画像の中心中央がそれぞれ、複数の画像パッチを含み、プロセッサが、更に、第1のカメラと第2のカメラの一方からの1行の画像パッチを基準位置として使用し、第1のカメラと第2のカメラの他方からの画像パッチを基準位置に位置合せすることによって、第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラから受け取った画像から抽出された各画像パッチに第2の位置群を割り当てるように構成される。
一実施形態の別の態様では、画像取得システムは、更に、第1のカメラからのトレイの一連の画像の取得を容易にするように構成された第1の穴と、第2のカメラからのトレイの一連の画像の取得を容易にするように構成された第2の穴とを含む発光ダイオード(LED)基板と、第1の穴と第2の穴のそれぞれのまわりに円状に配列され、トレイ上に光を提供するように構成された複数のLEDとを含む。
一実施形態によれば、プロセッサは、更に、各画像パッチに対して、画像パッチが、画像の中心、画像の左角、画像の右角、画像の左中央、画像の中心中央及び画像の右中央のうちの1つからのものであるかどうかを定義する第2の位置群を割り当てるように構成される。プロセッサは、更に、各画像パッチ用に、第2の位置群に基づいて、画像パッチの処理で使用するトレーニング済みクラシファイヤを選択するように構成される。チューブスロットの1つ以上がチューブを収容していることが決定されたとき、プロセッサは、更に、複数の画像パッチから、1つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも1つの特性を自動的に決定するように構成される。
別の実施形態では、プロセッサは、更に、複数の画像パッチから、1つ以上のチューブスロットに収容されたチューブそれぞれが、対応するトレーニング済みクラシファイヤに基づいて、キャップを有するかどうかを自動的に決定するように構成される。
一実施形態によれば、プロセッサは、更に、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、1つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するように構成される。
一実施形態によれば、各画像が、3行のチューブスロットと3列のチューブスロットのマトリクスを含み、複数の画像パッチが、3行の画像パッチと3列の画像パッチのマトリクスを含み、各画像パッチが、画像内のチューブスロットのうちの1つの位置に対応する。
本開示の追加の特徴及び利点は、添付図面を参照して行われる説明的実施形態の以下の詳細な説明から明らかにされる。
本明細書に開示された実施形態の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本明細書に開示された実施形態を例証するために、図には現在好ましい実施形態が示されるが、本明細書に開示された実施形態が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
一実施形態による、引出し内に保持されたチューブトレイ及びチューブを画像分析によって評価するためのシステムを表す図である。 本明細書に開示された実施形態により、オフラインクラシファイヤトレーニングに使用され得る。画像取得システムを含む例示的な引出し視覚システム試験ハーネスを示す図である。 実施形態と共に使用され得る。、左穴と右穴のまわりに円状に配列された複数のLEDを有する例示的なLED基板を示す図である。 一実施形態による、引出し内に保持されたチューブトレイとその上に収容されたチューブを、画像分析によって評価するためのシステムを表すブロック図である。 本明細書に示された実施形態によるサンプルチューブの特徴を検出する方法を示すフローチャートである。 一実施形態による、左側カメラによって取得された例示的トレイの領域の画像である。 一実施形態による、右側カメラによって取得された例示的トレイの領域の画像である。 一実施形態による、3つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。 一実施形態による、6つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。 本明細書に記載された実施形態と共に使用するための、左側カメラの光分布を画像データと共に示す画像である。 図7Aに示された画像のX軸に沿った光分布を示す図である。 図7Aに示された画像のY軸に沿った光分布を示す図である。 本発明の実施形態を実現できる例示的な計算処理環境の例を示す図である。
本出願は、参照により本明細書に組み込まれるPCT出願第PCT/US14/27217号、及びWuらによる米国出願第62/010370号明細書に記載された概念のいくつかに関連する。
トレイとチューブに関する様々な情報を確認することが望まれる。高価な機器なしに、またチューブを取り扱ったり触れたりせずにこの情報や他の情報を迅速に得ることが望まれる。そのような知識は、チューブの効率的で合理的な処理、並びにセットアップ及び維持コストの低減を可能にする。この情報は、サンプルハンドラがチューブを処理し、チューブを試験と分析のために分析装置まで移動させるIVD環境で貴重である。本発明の実施形態は、特にIVD環境に適しているが、決してIVD環境に限定されない。
実施形態は、チューブトレイ内に保持されたチューブの取得画像から抽出された画像パッチのためのクラシファイヤをトレーニングし、各パッチのトレーニング済みクラシファイヤを使用して、スロットが空かチューブを収容するどうかと、チューブがキャップ又はチューブ上部サンプルカップを有するかどうかを決定するシステム及び方法を含む。いくつかの実施形態では、画像パッチは、光分布に基づく位置によってブループ分けされる。他の実施形態では、画像パッチは、カメラ視点に基づく位置によってブループ分けされる。トレーニング済みクラシファイヤは、そのグループ分けに基づいて、スロットタイプとチューブタイプを決定する際に使用するために選択される。
いくつかの実施形態では、自動化視覚システムは、チューブトレイとチューブトレイ内に保持されたチューブの画像を取得するために使用され得る。。いくつかの実施形態は、自動化システム内に手動で配置され位置合せされたトレイの画像を取得することを含む。例えば、自動化システムは、平坦面にガイドレールを提供し、オペレータがトレイ上のキー止め特徴形状をレールに手動で位置合わせし、トレイを作業領域に押すことを可能にし得る。
いくつかの実施形態は、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを含む自動引出し視覚システム(DVS)を含み得る。。トレイの画像は、引出しが開位置と閉位置(例えば、作業領域位置)の間で移動されたときに、引出しの入口領域の上に取り付けられた1つ以上のカメラによって取得され得る。画像は、トレイ、並びにトレイ上に保持されたチューブを評価するために使用され得る。。詳細には、実施形態によれば、画像の分析によって、スロットが空かチューブを収容しているかどうか、チューブがキャップ又はチューブ上部サンプルカップを有するかどうかなどの様々な特徴が決定され得る。
図1Aは、一実施形態による、チューブトレイ120とそこに収容されたチューブ130を、その画像を取得し分析することによって評価する例示的な引出し視覚システム100を表す。1つ以上の引出し110が、開位置と閉位置の間で移動可能であり、サンプルハンドラのための作業エンベロープ105内で提供される。1つ以上のチューブトレイ120が、引出し110に装填されてもよく、引出し110の永久機能でもよい。各チューブトレイ120は、チューブ130が収容され得る。スロットの行と列の配列(例示的トレイ121内に描かれたような)を有する。
実施形態により、チューブトレイ120の画像が撮影される。画像は、チューブトレイ120とチューブ130の特徴を決定するために分析される。画像をその分析のために取得するために、本明細書に提供された実施形態によれば、可動トレイ又は固定カメラ手法が使用される。チューブトレイ120が、例えば手動又は自動で引出し110に押し込まれることによって、作業エンベロープ105に入れられるとき、画像取得システム140を使用してチューブトレイ120とそこに収容されたチューブ130の画像を撮影する。
画像取得システム140は、作業エンベロープ105の入口又はその近くに位置決めされた1つ以上のカメラを含み得る。1つ以上のカメラは、チューブトレイ120の表面の上に位置決めされ得る。例えば、カメラは、チューブトレイ120の高解像度画像を取得するために、表面より1.27〜1.778m(50〜70インチ)上に配置され得る。カメラの機能並びに所望の視点及び画質により、他の距離及び/又は位置決めが使用され得る。。必要に応じて、画像取得システム140は、LEDフラッシュなどの1つ以上の光源を含み得る。
図1Bは、本明細書に開示された実施形態と共に使用され得る。例示的な引出し視覚システムの例示的な試験ハーネスを示す。図1Bに示されたように、カメラ(図示せず)が中に配置されたLED基板150が、チューブ130を保持し引出し110上に配置されたチューブトレイ120の面の上に位置決めされる。図1Bで実施形態に示された引出し110は、2つの55スロットトレイ又は6つの15スロットトレイを保持するように構成される。しかしながら、実施形態は、様々な数のスロットを有しかつ様々なサイズを有するトレイを保持するように構成されたトレイを含み得る。
本明細書で述べる実施形態では、2つのカメラ、即ち左側カメラと右側カメラが使用される。図1Cは、左穴160Lと右穴160Rを含む穴160を有する例示的なLED基板150を示す。LED基板150は、また、チューブトレイ120とチューブ130上に光を提供するために円状に配列された複数のLED170を含む。
画像取得システム140は、PCT出願第PCT/US14/27217号明細書に記載されたように、チューブ130の行が作業エンベロープ105内に前進されるときにそのチューブ130の行の複数の眺めを取得し、この出願は、参照により本明細書に組み込まれる。
図2は、一実施形態による、引出し110内に保持され収容されたチューブトレイ120とチューブ130を画像分析によって評価するためのシステム200を表すブロック図を示す。画像取得システム140は、一実施形態によれば、2つのカメラ、即ち左側カメラ242と右側カメラ244を含む。引出し110及びチューブトレイ120のサイズ、並びに所望の画質及び画像視点により、追加の又はより少ないカメラが含まれ得る。。また、光源246及び画像取得コントローラ248は、画像取得システム140の一部である。
チューブトレイ120の行が、1つ以上のカメラ242,244の下の中心位置又は実質的中心位置に移動されたことを決定するために、直角位相エンコーダなどのエンコーダ210が使用され得る。。エンコーダ210は、チューブトレイ120の新しい行に対応するチューブトレイ120が、1つ以上のカメラ242,244の下の中心位置又は実質的中心位置に移動したことの検出に基づいて、画像取得コントローラ248に信号(即ち、パルス)を送信する。信号は、画像取得コントローラ248が、信号の受信時にカメラ242,244に指示して画像を撮影させる命令として機能する。
カメラ242,244によって撮影された画像の画像分析を管理するためのコントローラ220が提供される。引出し110が閉じたことを検出すると、画像取得コントローラ248は、ダウンロードと処理のためにコントローラ220に画像を提供する。コントローラ220は、一実施形態によれば、IVD環境で、チューブトレイ120とチューブ130を作業エンベロープ105などの保管場所の間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部である。コントローラ220によって行われる画像分析は、チューブトレイ120とチューブ130の様々な決定された特徴に基づいてサンプルハンドラに指示する役割を果たし、したがって、サンプルハンドラがそれに応じてチューブトレイ120とチューブ130を取り扱い処理することを可能にする。
1つ以上の記憶装置240が、コントローラ220と関連付けられる。1つ以上の記憶装置240は、コントローラ220の内部でも外部でもよい。
引出し110が完全に閉じられかつ/又は引出し110が完全に開かれたことを示すために、1つ以上の引出しセンサ230がコントローラ220に接続され得る。。一実施形態によれば、引出し110が完全に閉じられたことは、取得され記憶された画像の画像処理を始める指示として機能する。引出し110が完全に閉められたとき、引出しセンサ230は、コントローラ220に信号を送る。
図3は、トレイスロットタイプとサンプルチューブタイプを決定する方法300を示すフローチャートである。図3に示されたように、ステップ302で、画像が取得される。図4Aは、一実施形態による、左側カメラ242によって取得された例示的トレイの領域402の画像400Lである。図4Bは、一実施形態による、右側カメラ244によって取得された例示的トレイ120の領域403の画像である。画像400Lは、チューブ130を含むトレイ120の3行x3列のスロット領域402を含む。画像400Rは、チューブ130を含むトレイ120の3行×3列のスロット領域403を含む。
304で、トレイ格子が位置合わせされる。いくつかの実施形態では、トレイ120は、「Image−based Tray Alignment and Tube Slot Localization for Drawer Vision System」(整理番号2014P22904US)と題する出願に記載されたような、トレイ上に配置された基準マーカを使用して位置合わせされ得る。。例えば、トレイは、オフライン較正によって決定されたトレイ上の放射マーカと、オンライン動作中にトレイ上で検出されたマーカとの間で決定されたオフセットを使用して位置合わせされ得る。。
ステップ304で、トレイ格子が位置合わせされた後、方法は、トレイスロットタイプ(例えば、スロットは空か空でないか)を決定するステップ306〜314、及び/又はチューブタイプ(例えば、単純チューブ、キャップ付きチューブ又はチューブ上部サンプルカップ付きチューブ)を決定するステップ316〜324を含み得る。。
最初に、トレイスロットタイプを予測する方法について説明する。ステップ306で、トレイスロットパッチが抽出され得る。。即ち、カメラ242及び244によって取得された各画像からある期間にわたって複数の画像パッチが抽出され得る。。各画像パッチは、実質的に、図4Aと図4Bに画像で示された、チューブスロット404のうちの1つ又はチューブ130のうちの1つの上の中心に位置決めされ得る。。いくつかの実施形態では、「Image−based Tray Alignment and Tube Slot Localization for Drawer Vision System」(整理番号2014P22904US)と題する出願に記載されたように、トレイスロットパッチは、トレイ位置合わせから得られたオフセットに基づいてトレイ上にチューブスロット格子点を投影し、その格子点を使用して画像からチューブスロットを抽出することによって抽出され得る。。
ステップ308では、第1の位置群が、各画像パッチに割り当てられ得る。。図5は、一実施形態による、3つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。図5に示されたように、第1の位置群は、中央パッチ群502、角パッチ群504及び中心パッチ506を含む。第1の位置群は、カメラ視点に基づく。中心パッチ506は、1つのチューブスロット位置に対応し、中央パッチ群と角パッチ群はそれぞれ4つのチューブスロット位置に対応する。グループ分けは、左側カメラ242と右側カメラ244の両方に適用される。
オンライン動作中に、ステップ312で第1の位置群に基づいて各画像パッチ用のトレーニング済みクラシファイヤを選択する前に、ステップ310で、各画像パッチに対応する画像パッチクラシファイヤが、オフラインでトレーニングされる。画像パッチクラシファイヤをトレーニングする例示的な方法には、カメラ242及び244などの複数のカメラから、複数のチューブスロットを有するトレイの一連の画像を受け取ることを含み得る。。画像パッチが、各画像から抽出され、クラシファイヤ又はアルゴリズムに供給又は提供され得る。。実施形態は、例えば、ランダムフォレストクラシファイヤ、サポートベクタマシンクラシファイヤ、確率的ブースティングツリークラシファイヤなどの様々なタイプのクラシファイヤを使用することを含み得る。。
プロセッサを使用して、クラシファイヤに提供される各画像パッチの画像パッチデータが収集され得る。。各画像パッチの画像パッチデータは、トレイ内の各チューブスロットがチューブを収容しているかどうかを示し得る。。画像パッチデータから、プロセッサを使用して、各画像パッチに対応するクラシファイヤが決定され得る。。分類する方法は、Wuらによる米国出願第62/010370号明細書に記載されている。
ステップ312で、中央パッチ群502、角パッチ群504及び中心パッチ506に基づいて、各画像パッチのトレーニング済みクラシファイヤが選択され得る。。ステップ314で、3つの群502、504及び506に基づいて各画像パッチ用に選択されたトレーニング済みクラシファイヤを使用して、トレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定できる。
いくつかの実施形態では、チューブタイプを決定するステップ316〜324が、最初にステップ306〜314を使用せずに、トレイ内の各チューブスロットがチューブを収容しているかどうかを決定するために実行され得る。。例えば、実施形態は、トレイ内の各チューブスロットがチューブを収容しているかどうかを決定する他の方法を含み得る。。いくつかの実施形態では、ステップ316〜ステップ324は、トレイ内の各チューブスロットがチューブを収容しているという仮定の下で行なわれ得る。。次にチューブタイプを決定又は予測する方法について述べる。
ステップ316で、チューブ上部パッチが抽出され得る。。即ち、カメラ242及び244によって取得された各画像からある期間にわたって複数の画像パッチが抽出され得る。。各画像パッチは、図4Aと図4Bで画像に示された、実質的に、チューブ130のうちの1つの上部の中心に位置決めされ得る。。いくつかの実施形態では、トレイスロットパッチは、「Image−based Tube Top Circle Detection for Drawer Vision System」(整理番号2014P23281US)と題する出願に記載されたように抽出され得る。。
ステップ318で、第2の位置群が、各画像パッチに割り当てられ得る。。図6は、一実施形態による、6つの画像パッチ群にグループ分けされた複数の画像パッチを示す図である。図6に示されたように、第2の位置群は、画像群506の中心、画像群608の左角、画像群610の右角、画像群602の左中央、画像群604の中心中央、及び画像群606の右中央を含む。画像506の中心、画像群602の左中央、及び画像群606の右中央はそれぞれ、1つのチューブ上部位置に対応する。画像群604の中心中央、画像群608の左角、画像群610の右角はそれぞれ、2つのチューブスロット位置に対応する。グループ分けは、左側カメラ242と右側カメラ244の両方に適用される。
第2の位置群は、例えば、図2に示されたLED基板150上のLED170によって放射された光などの光分布に基づく。図7Aは、本明細書に記載された実施形態と共に使用するための、左側カメラ242の光分布を画像データと共に示す画像702である。図7Bは、図7Aに示された画像702のX軸に沿った光分布を示す図704である。図7Cは、図7Aに示された画像702のY軸に沿った光分布を示す図706である。図7Cに示されたように、左側カメラ242の光分布は、Y軸に沿って対称である。しかしながら、図7Bに示されたように、左側カメラ242の光分布は、X軸に沿って非対称である。
左側カメラ242の光分布が、右側カメラ244の光分布と対称なので、右側カメラ244のグループ分けは、左側カメラ242のグループ分けと水平方向に対称である。したがって、図6に示された6つの群は、第2のカメラ244から受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラ242から受け取った画像から抽出された各画像パッチに割り当てられ得る。。図6に示された6つの群を各画像パッチに割り当てることによって、様々なパッチにわたる照明の一貫性が達成され得る。。
各位置(パッチ)で見えるチューブは変更されることがあり、その変更はクラシファイヤによって学習され得る。。右側カメラ244のグループ分けが、左側カメラ242のグループ分けに対して水平方向に対称なので、第2のカメラ244から受け取った画像から抽出された各画像パッチに対して水平方向に対称な、第1のカメラ242から受け取った画像から抽出された各画像パッチには、同じトレーニング済みクラシファイヤが選択され得る。。例えば、左側カメラ画像パッチの左上パッチと右側カメラ画像パッチの右上パッチは、水平方向に対称であり、同じ群、即ち左角群608の一部である。したがって、これらの2つのパッチは、同じクラシファイヤが割り当てられ得る。。
更に、画像群604の中心中央、画像群608の左角及び画像群610の右角などの複数のパッチを有する群では、1行の画像パッチ(例えば、左側カメラ画像パッチの後行)が、基準位置として使用されてもよく、他の位置が、プロセッサによって、対応する基準位置に位置合わせされてもよい。位置合わせは、垂直方向又は水平方向の反転、即ち回転として適用され得る。。
オンライン動作中に、ステップ322で第2の位置群に基づいて画像パッチごとのトレーニング済みクラシファイヤを選択する前に、ステップ320で、各画像パッチに対応する画像パッチクラシファイヤが、オフラインでトレーニングされる。画像パッチクラシファイヤをトレーニングする例示的な方法は、ステップ310に関して前述したように実行され得る。。分類方法は、Wuらによる米国特許出願公開第62/010370号明細書に記載されている。
ステップ322で、図6に示された6つの位置群に基づいて、各画像パッチ用のトレーニング済みクラシファイヤが選択され得る。。ステップ324で、プロセッサは、1つ以上のチューブスロットに収容されたチューブそれぞれの少なくとも1つの特性を自動的に決定し得る。。例えば、チューブそれぞれの少なくとも1つの特性を決定することは、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、1つ以上のチューブスロットに収容されたチューブそれぞれが、キャップを有するかどうかを自動的に決定することを含み得る。。チューブそれぞれの少なくとも1つの特性を決定することは、複数の画像パッチから、対応するトレーニング済みクラシファイヤに基づいて、1つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブかどうかを自動的に決定することを含み得る。。
図8は、本発明の実施形態を実現できる例示的な計算処理環境800の例を示す。計算処理環境800は、本明細書に示された任意の構成要素の一部として実現され得る。。計算処理環境800は、本発明の実施形態を実現できる計算処理システムの一例であるコンピュータシステム810を含み得る。。図8に示されたように、コンピュータシステム810は、コンピュータシステム810内で情報を通信するためのバス821や他の通信機構などの通信機構を含み得る。。システム810は、更に、情報を処理するためにバス821と結合された1つ以上のプロセッサ820を含む。プロセッサ820は、1つ以上のCPU、GPU、又は当該技術分野で知られた任意の他のプロセッサを含み得る。。
コンピュータシステム810は、また、情報及びプロセッサ820によって実行される命令を記憶するために、バス821に結合されたシステムメモリ830を含む。システムメモリ830は、読み取り専用メモリ(ROM)831及び/又はランダムアクセスメモリ(RAM)832などの揮発性及び/又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリRAM832は、他のダイナミック記憶装置(例えば、ダイナミックRAM、スタティックRAM及びシンクロナスDRAM)を含んでもよい。システムメモリROM 831は、他のスタティック記憶装置(例えば、プログラマブルROM、消去可能PROM、及び電気的消去可能PROM)を含んでもよい。更に、システムメモリ830は、プロセッサ820による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム810内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム833(BIOS)が、ROM 831に記憶されてもよい。RAM832は、プロセッサ820がすぐにアクセスできかつ/又はプロセッサ820が現在処理しているデータ及び/又はプログラムモジュールを含んでもよい。システムメモリ830は、更に、例えば、オペレーティングシステム834、アプリケーションプログラム835、他のプログラムモジュール836及びプログラムデータ837を含んでもよい。
コンピュータシステム810は、また、磁気ハードディスク841やリムーバブルメディアドライブ842(例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び/又はソリッドステートドライブ)など、情報及び命令を記憶するための1つ以上の記憶装置を制御するためにバス821に結合されたディスクコントローラ840を含む。記憶装置は、適切な装置インタフェース(例えば、小型コンピュータシステムインタフェース(SCSI)、集積装置電子回路(IDE)、汎用シリアルバス(USB)又はファイヤワイヤ)を使用してコンピュータシステム810に追加されてもよい。
コンピュータシステム810は、また、情報をコンピュータユーザに表示するための陰極線管(CRT)や液晶表示装置(LCD)などの表示装置、すなわちモニタ866を制御するためにバス821に結合された表示装置コントローラ865を含んでもよい。コンピュータシステム810は、コンピュータユーザと対話し情報をプロセッサ820に提供するために、キーボード862やポインティング装置861などのユーザ入力インタフェース860及び1つ以上の入力装置を含む。ポインティング装置861は、例えば、指示情報とコマンド選択をプロセッサ820に通信し、表示装置866上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックであってもよい。表示装置866は、ポインティング装置861による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。
コンピュータシステム810は、本発明の実施形態の処理段階の一部又は全てを、システムメモリ830などのメモリに含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ820に応じて実行してもよい。そのような命令は、ハードディスク841やリムーバブルメディアドライブ842などの別のコンピュータ可読媒体からシステムメモリ830に読み込まれてもよい。ハードディスク841は、本発明の実施形態によって使用される1つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ820は、また、システムメモリ830に収容された命令の1つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでハードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
以上述べたように、コンピュータシステム810は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも1つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ820に提供することに関係する任意の持続性有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク841やリムーバブルメディアドライブ842など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ830などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス821を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。
計算処理環境800は、更に、リモートコンピュータ880などの1つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム810を含んでもよい。リモートコンピュータ880は、パーソナルコンピュータ(ラップトップ又はデスクトップ)、移動装置、サーバ、ルータ、ネットワークPC、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータ810に関して前述した要素の多く又は全てを含む。ネットワーク環境内で使用されるとき、コンピュータ810は、インターネットなどのネットワーク871を介した通信を確立するためのモデム872を含み得る。。モデム872は、ネットワークインタフェース870又は別の適切な機構を介してシステムバス821に接続され得る。
ネットワーク871は、コンピュータシステム810と他のコンピュータ(例えば、リモート計算処理システム880)間の通信を容易にすることができるインターネット、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、直接接続、一連の接続、セルラ電話網又は、他のネットワーク又は媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク871は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット(登録商標)、汎用シリアルバス(USB)、RJ−11、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Wi−Fi、WiMAX及びBluetooth(登録商標)、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法を使用して実現されてもよい。更に、いくつかのネットワークは、ネットワーク871内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。
プロセッサは、本明細書で使用されるとき、タスクを実行するために、コンピュータ可読媒体上に記憶された機械可読命令を実行する装置であり、ハードウェアとファームウェアのいずれか1つ又は組み合わせを含み得る。。プロセッサは、また、タスクを実行するために実行可能な機械可読命令を記憶するメモリを含み得る。。プロセッサは、使用する情報を実行可能手順又は情報装置によって処理、分析、修正、変換又は送信し、かつ/又は情報を出力装置に送ることによって情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ又はマイクロプロセッサの能力を使用するか備えてもよく、また実行命令を使用して汎用コンピュータによって実行されない特殊目的の機能を実行するように調整される。プロセッサは、任意の他のプロセッサと結合されて(電気的及び/又は実行可能な構成要素を含むように)、それらの間の対話及び/又は通信を可能にしてもよい。コンピュータプログラム命令は、汎用コンピュータ若しくは専用コンピュータ、又は装置を作成する他のプログラム可能な処理装置を限定なしに含むコンピュータにロードされ、その結果、コンピュータ又は他のプログラム可能な処理装置上で実行するコンピュータプログラム命令が、フローチャートのブロックで指定された機能を実現するための手段を作成する。ユーザインタフェースプロセッサ又はジェネレータは、表示要素又はその一部分を生成するために電子回路若しくはソフトウェア又はその両方の組み合わせを含む既知の要素である。ユーザインタフェース(UI)は、プロセッサ又は他の装置とのユーザ相互作用を可能にする1つ以上の表示要素を含む。
本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、1つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び/又はパラメータを受け取り、受け取った入力データに基づいて演算を実行しかつ/又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び/又はパラメータを提供することを含んでもよい。グラフィカルユーザインタフェース(GUI)は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置とのユーザ対話を可能にする1つ以上の表示要素と、関連データ取得及び処理機能を含む。
UIは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してUI表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために要素を表示する表示装置に供給される。実行可能手順又は実行可能アプリケーションは、更に、キーボード、マウス、ライトペン、タッチスクリーン、又はユーザがプロセッサにデータを提供することを可能にする他の手段などのユーザ入力装置から信号を受け取る。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてUI表示要素を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示要素と対話する。本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される動作(ステップを含む)は、ユーザが動作を直接指示することなく実行可能な命令又は装置動作に応じて実行される。
ワークフロープロセッサは、本明細書で使用されるとき、データを処理して、例えばプログラムで指定されたように、タスクリストに追加するタスク又はタスクリストから除去するタスクを決定するか、タスクリストに組み込まれたタスク又はタスクリストに組み込むタスクを修正する。タスクリストは、作業者、装置ユーザ、又は装置若しくは両方の組み合わせによって実行するためのタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用してもよく使用しなくてもよい。ワークフローエンジンは、本明細書で使用されるとき、イベント及びイベント関連データに応じてプロセスを実行する所定のプロセス定義に応じて実行するプロセッサである。ワークフローエンジンは、イベント関連データに応じて、プロセスを順次かつ/又は並列に実行して、装置及び/又は作業者によって実行されるタスクを決定し、装置と作業者のタスクリストを決定されたタスクを含むように更新する。プロセス定義は、ユーザによって定義可能であり、例えば、装置と作業者によって実行される開始、待機、決定及びタスク割り当てステップの1つ以上を含む一連のプロセスステップを含む。イベントは、プロセス定義を使用して実行されるプロセスの動作に影響を及ぼすオカレンスである。ワークフローエンジンは、ユーザが従うプロセスを定義することを可能にするプロセス定義関数を含み、またイベントモニタを含むことがある。ワークフローエンジン内のプロセッサは、プロセス定義にしたがって、どのプロセスが動作しているか、どの患者に関するものか、医者、及び次にどのステップを実行すべきかを追跡し、実行されるタスクを医者に通知するための手順を含み得る。。
本明細書に示された図のシステム及びプロセスは網羅的ではない。本発明の原理にしたがって、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためのであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行され得る。。更に、プロセス及びアプリケーションは、代替実施形態では、図8のユニットを結合するネットワーク上の1つ以上の(例えば、分散された)処理装置上にあってもよい。図に示された機能とステップはいずれも、ハードウェア、ソフトウェア又はこれらの両方の組み合わせで実現され得る。。本明細書内の請求要素は、その要素が語句「means for」を使用して明示的に列挙されない限り米国特許法112条第6項の条件下で解釈されるべきである。
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行うことができ、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれ得る。ことを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
110 引出し
120 トレイ
130 チューブ
140 画像取得システム
242,244 カメラ
820 プロセッサ

Claims (18)

  1. サンプルチューブの特性を検出する方法において、
    1つ以上のカメラによって取得されたトレイの一連の画像を受け取るステップであって、前記トレイが複数のチューブスロットを有するステップと、
    プロセッサを使用して、各画像から複数の画像パッチを抽出するステップであって、前記複数の画像パッチがそれぞれ、実質的に、チューブスロットとチューブ上部の一方が中心に位置決めされたステップと、
    各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の角及び前記画像の中央縁のうちの1つからのものかどうかを定義する第1の位置群を割り当てるステップと、
    画像パッチに、前記第1の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップと、
    前記プロセッサを使用して、前記複数の画像パッチから、各画像パッチ用の前記トレーニング済みクラシファイヤを使用して前記トレイ内の各チューブスロットがチューブを収容しているかどうかを自動的に決定するステップとを含む方法。
  2. 前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記一連の画像が前記1つ以上のカメラによって取得される、請求項1に記載の方法。
  3. 各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の左角、前記画像の右角、前記画像の左中央、前記画像の中心中央及び前記画像の右中央のうちの1つからのものであるかを定義する第2の位置群を割り当てるステップと、
    各画像パッチに、前記第2の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップとを含み、
    前記チューブスロットの1つ以上がチューブを収容していると決定されたとき、更に、前記プロセッサを使用して、前記複数の画像パッチから、前記1つ以上のチューブスロットに収容された前記チューブそれぞれの少なくとも1つの特性を自動的に決定するステップを含む、請求項1または2に記載の方法。
  4. 前記チューブそれぞれの少なくとも1つの特性を決定するステップが、更に、前記プロセッサを使用して、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記1つ以上のチューブスロットに収容された前記チューブそれぞれがキャップを有するかどうかを自動的に決定するステップを含む、請求項3に記載の方法。
  5. 前記チューブそれぞれの少なくとも1つの特性を決定するステップが、前記プロセッサを使用して、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記1つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するステップを含む、請求項3または4に記載の方法。
  6. 前記一連の画像を受け取るステップが、更に、第1のカメラ及び前記第1のカメラに隣接した第2のカメラから前記一連の画像を受け取るステップを含み、
    前記複数の画像パッチを抽出するステップが、更に、前記第1のカメラから受け取った各画像から画像パッチを抽出するステップと、前記第2のカメラから受け取った各画像から画像パッチを抽出するステップとを含み、
    前記第2の位置群を割り当てるステップが、更に、前記第2の位置群を、前記第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第
    1のカメラから受け取った画像から抽出された各画像パッチに割り当てるステップを含み、
    前記トレーニング済みクラシファイヤを選択するステップが、前記第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第1のカメラから受け取った画像から抽出された各画像パッチ用に、同じトレーニング済みクラシファイヤを選択するステップを含む、請求項3から5のいずれか1項に記載の方法。
  7. 前記画像の左角、前記画像の右角及び前記画像の中心中央がそれぞれ、複数の画像パッチを含み、
    水平方向に対称な前記第2の位置群を割り当てるステップが、更に、
    前記第1のカメラと前記第2のカメラの一方からの1行の画像パッチを基準位置として使用するステップと、
    前記第1のカメラと前記第2のカメラの他方からの画像パッチを前記基準位置に位置合わせするステップとを含む、請求項6に記載の方法。
  8. 各画像が、3行のチューブスロットと3列のチューブスロットのマトリクスを含み、前記複数の画像パッチが、3行の画像パッチと3列の画像パッチのマトリクスを含み、各画像パッチが、前記画像内の前記チューブスロットのうちの1つの位置に対応する、請求項1から7のいずれか1項に記載の方法。
  9. 体外診断環境で使用するための視覚システムであって、
    行及び列のマトリクスで配列された複数のチューブスロットを含むトレイであって、各チューブスロットが、サンプルチューブを収容するように構成されたトレイと、
    前記トレイを受けるように構成された面と、
    前記トレイの一連の画像を取得するように構成された第1のカメラを有する画像取得シ
    ステムと、
    プロセッサであって、
    前記第1のカメラによって取得された前記トレイの前記一連の画像を受け取り、
    前記一連の画像の各画像から複数の画像パッチを抽出し、前記複数の画像パッチがそれぞれ、実質的に、複数のチューブスロット又はチューブ上部の一方が中心に位置決めされ、
    各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の角及び前記画像の中央縁のうちの1つからのものかどうかを定義する第1の位置群を割り当て、
    各画像パッチに、前記第1の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択し、
    前記複数の画像パッチから、各画像パッチの前記トレーニング済みクラシファイヤを使用して、前記トレイ内の各チューブスロットが、対応するサンプルチューブを収容しているかどうかを自動的に決定するように構成されたプロセッサとを含む視覚システム。
  10. 前記画像取得システムが、更に、前記第1のカメラに隣接しかつ前記第1のカメラによって取得された画像の近くのトレイの画像を取得するように構成された第2のカメラを含む、請求項に記載のシステム。
  11. 前記面が、開位置と閉位置の間で移動可能な引出しの一部分を備え、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記画像が前記第1のカメラと前記第2のカメラによって取得される、請求項10に記載のシステム。
  12. 前記プロセッサが、更に、
    前記第1のカメラから受け取った各画像から画像パッチを抽出し、前記第2のカメラから受け取った各画像から画像パッチを抽出し、
    前記第2の位置群を、前記第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第1のカメラから受け取った画像から抽出された各画像パッチに割り当て、
    前記第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第1のカメラから受け取った画像から抽出された各画像パッチに、前記同じトレーニング済みクラシファイヤを選択するように構成された、請求項10または11に記載のシステム。
  13. 前記画像の左角、前記画像の右角及び前記画像の中心中央が、複数の画像パッチを含み、
    前記プロセッサが、更に、前記第1のカメラと前記第2のカメラの一方からの1行の画像パッチを基準位置として使用し、
    前記第1のカメラと前記第2のカメラの他方からの画像パッチを前記基準位置に位置合わせすることによって、
    前記第2の位置群を、前記第2のカメラから受け取った画像から抽出された各画像パッチに対して水平方向に対称な、前記第1のカメラから受け取った画像から抽出された各画像パッチに割り当てるように構成された、請求項10から12のいずれか1項に記載のシステム。
  14. 前記画像取得システムが、更に、発光ダイオード(LED)基板を含み、前記発光ダイオード(LED)基板が、
    前記第1のカメラから前記トレイの前記一連の画像の取得を容易にするように構成された第1の穴と、
    前記第2のカメラから前記トレイの前記一連の画像の取得を容易にするように構成された第2の穴と、
    前記第1の穴と前記第2の穴のそれぞれのまわりに円状に配列され、前記トレイに光を
    提供するように構成された複数のLEDを含む、請求項10から13のいずれか1項に記載のシステム。
  15. 前記プロセッサが、更に、
    各画像パッチに対して、前記画像パッチが、前記画像の中心、前記画像の左角、前記画像の右角、前記画像の左中央、前記画像の中心中央及び前記画像の右中央のうちの1つからのものかどうかを定義する第2の位置群を割り当てるステップと、
    各画像パッチに、前記第2の位置群に基づいて、前記画像パッチを処理する際に使用するトレーニング済みクラシファイヤを選択するステップと、
    前記チューブスロットの1つ以上がチューブを収容していることが決定されたとき、前記プロセッサが、更に、前記複数の画像パッチから、前記1つ以上のチューブスロットに収容された前記チューブそれぞれの少なくとも1つの特性を自動的に決定するように構成された、請求項9から14のいずれか1項に記載のシステム。
  16. 前記プロセッサが、更に、
    前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記1つ以上のチューブスロットに収容された前記チューブがそれぞれキャップを有するかどうかを自動的に決定するように構成された、請求項15に記載のシステム。
  17. 前記プロセッサが、更に、前記複数の画像パッチから、前記対応するトレーニング済みクラシファイヤに基づいて、前記1つ以上のチューブスロットに収容された各チューブが、チューブ上部サンプルカップを有するか又は単純チューブであるかを自動的に決定するように構成された、請求項15または16に記載のシステム。
  18. 各画像が、3行のチューブスロットと3列のチューブスロットのマトリクスを含み、前記複数の画像パッチが、3行の画像パッチと3列の画像パッチのマトリクスを含み、各画像パッチが、前記画像内の前記チューブスロットのうちの1つの位置に対応する、請求項9から17のいずれか1項に記載のシステム。
JP2017543749A 2015-02-18 2016-02-16 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出 Active JP6718465B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562117916P 2015-02-18 2015-02-18
US62/117,916 2015-02-18
PCT/US2016/018112 WO2016133926A1 (en) 2015-02-18 2016-02-16 Locality-based detection of tray slot types and tube types in a vision system

Publications (3)

Publication Number Publication Date
JP2018507482A JP2018507482A (ja) 2018-03-15
JP2018507482A5 JP2018507482A5 (ja) 2019-06-13
JP6718465B2 true JP6718465B2 (ja) 2020-07-08

Family

ID=56689145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543749A Active JP6718465B2 (ja) 2015-02-18 2016-02-16 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出

Country Status (6)

Country Link
US (1) US10319092B2 (ja)
EP (1) EP3259737B1 (ja)
JP (1) JP6718465B2 (ja)
CN (1) CN107615336B (ja)
CA (1) CA2976947C (ja)
WO (1) WO2016133926A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3259737B1 (en) * 2015-02-18 2020-04-15 Siemens Healthcare Diagnostics Inc. Locality-based detection of tray slot types and tube types in a vision system
EP3484679B1 (en) 2016-07-14 2022-07-27 Siemens Healthcare Diagnostics Inc. Methods, systems, and apparatus for dynamic pick and place selection sequence based on sample rack imaging data
JP6827099B2 (ja) 2016-07-14 2021-02-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. サンプルラック撮像データに基づくロボットグリッパーの動的位置調整の方法及び装置
CN117058415A (zh) 2016-10-28 2023-11-14 贝克曼库尔特有限公司 物质准备评估系统
CN207215844U (zh) * 2017-08-22 2018-04-10 深圳市帝迈生物技术有限公司 自动进样血液分析仪及其试管自动进样识别装置
US10740585B2 (en) * 2018-12-12 2020-08-11 General Electric Technology Gmbh System and apparatus for identifying boiler tubes
JP7438345B2 (ja) * 2019-10-31 2024-02-26 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 診断分析器のモデルを訓練する装置および方法
EP3901633B1 (en) * 2020-04-22 2022-08-17 Roche Diagnostics GmbH A laboratory sample vessel distribution system, a method for operating, and an in-vitro diagnostic system
EP3979131A1 (en) * 2020-10-02 2022-04-06 Roche Diagnostics GmbH A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes
CN113477291B (zh) * 2021-05-21 2022-07-01 遵义医科大学 一种带标尺和摄像功能的新型实验托盘
EP4466681A1 (en) 2021-11-22 2024-11-27 F. Hoffmann-La Roche SA Method and system for operating a laboratory automation system
JP7724380B2 (ja) 2022-03-03 2025-08-15 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 診断検査室システム、およびチューブアセンブリを撮像する方法
US12234701B2 (en) 2022-09-12 2025-02-25 Saudi Arabian Oil Company Tubing hangers and related methods of isolating a tubing
US12188328B2 (en) 2023-05-15 2025-01-07 Saudi Arabian Oil Company Wellbore back pressure valve with pressure gauge
US12442257B2 (en) 2023-05-23 2025-10-14 Saudi Arabian Oil Company Completing and working over a wellbore

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2635897B1 (fr) * 1988-08-29 1990-11-30 Edelist Richard Boite a comparaison, universelle, destinee au domaine sensoriel
JP3947109B2 (ja) 2001-01-23 2007-07-18 バイオウルフ テクノロジーズ エルエルスィー コンピュータ利用画像分析
ATE477481T1 (de) * 2002-01-19 2010-08-15 Pvt Probenverteiltechnik Gmbh Anordnung und verfahren zur analyse von körperflüssigkeit
JP5211486B2 (ja) * 2007-01-19 2013-06-12 日本電気株式会社 化合物の仮想スクリーニング方法及び装置
US8131065B2 (en) * 2007-12-20 2012-03-06 Intel Corporation Method and apparatus for obtaining and processing image features
JP5253194B2 (ja) * 2009-01-20 2013-07-31 セコム株式会社 物体検出装置
JP5534840B2 (ja) * 2010-02-03 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
GB201009798D0 (en) * 2010-06-11 2010-07-21 Immunovia Ab Method,array and use thereof
EP2686830B1 (en) * 2011-03-15 2015-01-21 Siemens Healthcare Diagnostics Inc. Multi-view stereo systems and methods for tube inventory in healthcare diagnostics
BR112014010955A2 (pt) 2011-11-07 2017-06-06 Beckman Coulter Inc sistema e método para processar amostras
CN203083855U (zh) * 2012-11-07 2013-07-24 贝克曼考尔特公司 用于自动处理样品的设备
US9528915B2 (en) * 2012-11-13 2016-12-27 Ues, Inc. Automated high speed metallographic system
CA2904107C (en) 2013-03-14 2021-09-07 Siemens Healthcare Diagnostics Inc. Tube tray vision system
JP6217446B2 (ja) * 2013-06-28 2017-10-25 株式会社Jvcケンウッド 制御装置、診断支援装置、制御方法及び制御プログラム
EP3155368B1 (en) 2014-06-10 2020-07-29 Siemens Healthcare Diagnostics Inc. Drawer vision system
CN203935367U (zh) * 2014-06-24 2014-11-12 湖州市中心医院 一种多功能安全卫生托盘
CN104165896B (zh) * 2014-08-18 2017-03-22 公安部第一研究所 一种液态物品安全检查的方法与装置
EP3259737B1 (en) * 2015-02-18 2020-04-15 Siemens Healthcare Diagnostics Inc. Locality-based detection of tray slot types and tube types in a vision system

Also Published As

Publication number Publication date
JP2018507482A (ja) 2018-03-15
HK1244577A1 (zh) 2018-08-10
US10319092B2 (en) 2019-06-11
WO2016133926A1 (en) 2016-08-25
EP3259737A1 (en) 2017-12-27
EP3259737B1 (en) 2020-04-15
EP3259737A4 (en) 2018-03-28
CN107615336B (zh) 2021-10-15
CA2976947C (en) 2023-02-28
US20180033140A1 (en) 2018-02-01
CA2976947A1 (en) 2016-08-25
CN107615336A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
JP6718465B2 (ja) 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出
US10290090B2 (en) Image-based tube slot circle detection for a vision system
JP6960980B2 (ja) 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
US9530053B2 (en) Method and apparatus for detecting or checking an arrangement of laboratory articles on a work area of a laboratory work station
US12254694B2 (en) Image-based tube top circle detection with multiple candidates
HK1244577B (zh) 视觉系统中托盘槽类型和试管类型的基於位置的检测
HK40015912A (en) Image-based tube top circle detection with multiple candidates
HK1242727B (zh) 用於视觉系统的基於图像的管槽圆形检测
HK1242727A1 (en) Image-based tube slot circle detection for a vision system
CN121219731A (zh) 用于培养和图像分析的实验处理的自动化系统和方法
HK1242092A1 (en) Image-based tray alignment and tube slot localization in a vision system
HK1242092B (zh) 视觉系统中的基於图像的托盘对准和管槽定位的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200612

R150 Certificate of patent or registration of utility model

Ref document number: 6718465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250