JP5270670B2 - ２次元画像による３次元組立て検査 - Google Patents

Description

本発明は、製品品質管理のための機械視覚に関し、より詳細には、機械視覚を用いた製品部品の正確なアセンブリ検査に関する。

多くの製品が、複数の部品によって構成され、部品は実用的な製品を提供するために、正確に組立てられる必要がある。一般的に、より大きな組立て品の内部又は上にサブコンポーネントを配置することによって、部品は組立てられる。部品を組立てる工程の間に、又はその後に、すべての部品が正確に配置されているか検査することが多くの場合に有用である。組立て作業の大部分は、「垂直組立て」作業であって、部品は上から挿入されて、別の部品の上に降ろす。従って、サブコンポーネントの位置は、少なくとも３次元、例えばｘ、ｙ、ｚ方向で検査する必要がある。組立て検査を早期に実施することの1つの利益は、工程においてできるだけ早く品質問題を特定することによって、廃棄物を減らすことである。

ほとんどの組立ては、手作業で検査されている。時には、後に続く作業の性質上、前の作業が不正確に行なわれたことによって、後に続く作業が実施できない場合に、検査が後に続く作業の一部として実施される。この部分検査の形態は、部品の再加工のための材料の浪費や時間の浪費に帰結する。

機械的３次元一点測定システム（例えばタッチセンサ）や、一点距離測定システム（例えばレーザーベースセンサ）や、構造化照明による３次元測定システム（例えばデフォーカスセンサからの深さ）を用いた、自動組立て検査の実施方法が知られている。

座標測定装置は、機械的３次元一点測定システムである。この装置は、3本の垂直軸と球面のタッチセンサを用いている。タッチセンサは、部品に触れるまで動き続け、３つの座標軸の位置が記録される。タッチセンサは、部品に非常に軽く触れるので、部品自身が動くことはない。これによって、ユーザーは、単一の部品からサンプリングされた複合的な三次元位置を求めることができる。

しかし、一点センサは、一度に1つの位置しか測定できないという欠点を有し、処理能力の減少、又は、一点センサを同時多重に配置する必要性に帰結した。どちらにしても、検査すべき部品が変更された場合に、一点センサは手動で再配置する必要があり、わずらわしく非効率的であった。

レーザーベースセンサは、単一部分から多重３次元位置を測定するためのもう1つの方法である。レーザーベースセンサは、非接触方式であって、部品に接触しない（接触することによって、部品を動かしたり変形させたりすることがない）。レーザーベースセンサは、レーザー源から部品までの距離を測定する距離センサである。

レーザーベースセンサは、一次元（距離）のみを測定することができるので、部品を走査するために、通常レーザーは２軸に沿って動くか、又は、ビームが作動ミラーを用いて移動するが、時間を消費するものである。

構造化照明センサは、構造化照明と２次元光学センサアレイを用いて、距離の２次元成分を測定する。構造化照明の一例には、部品にストライプ光を投影するものがある。ストライプ光は、異なる角度から視認されて、各ストライプ光のドットの位置における部品の高さに応じて、ストライプ光の各ドットの位置が、ストライプの名目上の位置から変化する。構造化照明をベースにした３次元システムの1つの欠点は、構造化照明法が、検査すべき部品を走査するために、比較的長時間を要することである。

本発明の組立て検査方法においては、各サブコンポーネントのｘ、ｙ、ｚ（３次元）位置の測定が、それぞれ２枚又は３枚の画像を同時に収集する、少なくとも２台、通常３台のカメラからの三角測量を用いて実施される。オペレータは、検査すべき部品の同じサブコンポーネントに対応した各カメラのためのモデルパターンを訓練する。実行時間において、サブコンポーネントに関する測定された３次元位置情報を提供するために、各パターンは、３つのカメラからの視野に実質上記録される。そして、測定された３次元位置は、予想された名目上の３次元位置と比較され、３次元位置における差分が、特定の許容範囲にあるかチェックされる。

本発明は、組立てライン上に固定された複数のカメラのみを要するように、組立て検査作業を単純化するものである。訓練は、オペレータが「正確に組立てられた部品」の画像を収集し、それから、検査すべき各サブコンポーネントに対応したパターンを選択することのみを要求する。訓練時間には、オペレータは各サブコンポーネントに対する位置的許容範囲もさらに選択する。ほんの僅かなオペレータの活動の後に、本発明は、自動化された組立て検査を実行する。

本発明は、固定冶具を用いない組立て検査を実行し、全体的な部品の姿勢に適応できる。部品自体が冶具に固定されていないので、機械視覚システムには、任意の３次元位置と、任意のピッチ、ヨー、ロール方向が示される。本発明は、それにもかかわらず、全てのサブアセンブリの実行時間３次元位置を検出でき、それら実行時間３次元位置を用いて、それら実行時間３次元位置を変換してモデルに適合可能な全体的な部品姿勢が得られたかどうかを決定することができる。

本発明は、複数の点を同時に測定することができ、より高速の処理能力と、より単純な装置を提供する。また、本発明は、検査すべき部品が変化した場合に、高速に再構成することができる。本発明のカメラは画像を高速かつ同時に収集するので、検査すべき組立て部品の画像が高速に得られ、高速に動く組立てライン上の部品のストロボ照明応用を可能にしている。

訓練時間を簡単化するために、予め工場で調整された２カメラ又は３カメラシステムを製造販売することができる。従って、このステレオ／３眼予備調整カメラシステムは、訓練時間と実行時間に高速に位置付けられて、正確で繰り返し可能な多重カメラ調整を可能にしている。

それぞれの視野に３つのサブコンポーネントが含まれる３台のカメラを示す図である。 本発明のユーザーインタフェースと、訓練窓の訓練時間選択状態と、第二サブアセンブリの原点を示すスクリーンショットである。 本発明のユーザーインタフェースと、第二サブアセンブリの3次元モデル位置の訓練時間測定を示すスクリーンショットである。 本発明のユーザーインタフェースと、第四サブアセンブリと他のアブアセンブリの3次元モデル位置の訓練時間測定を示すスクリーンショットである。 本発明のユーザーインタフェースと、３つの全体的なアセンブリの像と、全体的な姿勢と、全体的な向きと、全体的なRMSエラーと、首尾一貫性エラーと、検査結果と、を備えた実行時間結果と、を示すスクリーンショットである。 本発明の訓練時間フェーズを示すフローチャートである。 本発明の実行時間フェーズを示すフローチャートである。 ３点の3次元点を含んだ本発明の実行時間フェーズのアスペクトを示すフローチャートである。 一貫性のチェックを含んだ本発明の実行時間フェーズのアスペクトを示すフローチャートである。 本発明の全体的な訓練時間フェーズを示すフローチャートである。 本発明の全体的な実行時間フェーズを示すフローチャートである。

以下の実施例の詳細な説明において、本明細書の一部を形成し、本発明を実施することができる特定の実施形態を図によって示す添付の図面を参照する。他の実施形態を利用することができること、ならびに本発明の範囲を逸脱せずに構造的、論理的、および電気的変更を加えることができることを理解されたい。

本発明の方法と装置は、本質的に、部品のサブコンポーネントの測定された（「実行時間の」とも呼ぶ）３次元位置と、それらの予想された（「モデル」又は「正しい」とも呼ぶ）３次元位置とを比較する。もし測定した３次元位置が、予想された３次元位置と十分に接近している（許容範囲内）場合、サブコンポーネントの組立ては、「検証された」と見なされる。幾つかの場合において、組立て工程においてサブコンポーネントが配置される基板（これ自身もサブコンポーネントと呼ぶことができる）に対して、ただ1つのサブコンポーネントであっても適正に配置されなかった場合に、組立て品は廃棄される。多くの組立て工程には、プリント回路基板上のコネクタソケットに向かって下向きにサブコンポーネントが挿入される、サブコンポーネントの垂直配置が含まれる。例えば、もしコネクタに挿入されるサブコンポーネントが部分的にのみ挿入された場合、基板に対して、又は検証された３次元位置を有する他の正確に挿入されたサブコンポーネントに対して、不正確な高さ（ｚ）であると測定される。

本発明は、複数の調整されたカメラの物理的に参照された枠内の絶対的な３次元位置（x、y、ｚ）と、部品のサブコンポーネントの組立て品の相対的な３次元位置（Δｘ、Δｙ、Δｚ）とを比較する。本発明は、少なくとも２台のカメラの視野内において、少なくとも２つのサブコンポーネントが存在する限りにおいて、その位置や向きに関らず、組立て品を検証することができる。従って、本発明を用いることで、冶具を用いない組立て検査が実行可能である。その代わりに、もし検査すべき部品が冶具に固定されていた場合、冶具に対するサブコンポーネントの正確な相対的位置を検査するために、本発明を用いることができる。

１つの実施例において、本発明は、各３台のカメラの視野内の３つのサブコンポーネントを用いて、その位置や向きに関らず組立て品を検証する。

もし３つのサブコンポーネントが、少なくとも２台の各カメラの視野に入っていれば、この３つのサブコンポーネントは、面を定義し、３つ全ての回転自由度（ピッチ、ヨー、ロール）が、ｘ、ｙ、ｚ位置と同様に検証可能である。

３次元位置（ｘ、ｙ、ｚ）は、調整されたカメラの物理的参照枠内において、水平位置（ｘ）、前後位置（ｙ）、と高さ（ｚ）として表現される。本発明によれば、サブコンポーネントの３次元位置は、図面を参照して以下で説明するように、サブコンポーネント上の一点の３次元位置であって、この点はユーザーによって選択されるものである。

より詳細は以下で説明するが、もし選択された点が、少なくとも２台のカメラの視野内で目に見えるものであれば、三角測量を用いて３次元位置を決定することができる。もし選択された点が、３台以上の相互に調整されたカメラの視野内で目に見えるものであれば、三角測量の精度が向上する。１つの実施例において、相互に調整されたカメラは、同一のキャリブレーションプレートを用いて調整され、これは"Methods and Apparatus for Practical 3D Vision System"(米国特許出願番号11/246,024)出願人Aaron WallackとDavid Michael、譲受人マサチューセッツ州ナティックのCognex Corporation、に記載されており、参照することにより本書に組み込まれる。

三角測量の位置情報の精度は、三角測量RMS(二乗平均平方根)エラーと呼ばれるパラメータによって評価し表現することができる。三角測量RMSエラーは、以下で説明するように、「許容範囲」パラメータと比較されて、コンポーネントの実質的に同一の点が、各３つの視野内で選択されていることを保証する。

その代わりに、エラーを絶対差の合計として表現することができ、差の絶対値が加算されて三角測量位置の精度の測定を提供する。もし絶対差の合計が閾値以下の場合、精度は許容範囲である。他の測定方法も、当業者には、本発明の範囲から逸脱することなく用いることができる。

図１を参照して、それぞれの視野に部品１１１の３つのサブコンポーネント１０６、１０８、１１０を捕らえた、機械視覚システムの３台のカメラ１００、１０２、１０４を示す。部品１１１は、この３つのサブコンポーネント１０６、１０８、１１０が配置された基板１１２（これも組立て品のサブコンポーネントである）を有し、検査すべきサブコンポーネントの少なくとも２つが少なくとも２台のカメラの視野内に入るように配置されている。３つのサブコンポーネント１０６、１０８、１１０は互いに直接接続して部品１１１を形成しているので、本発明を実施するためには、基板１１２は不要であることに留意されたい。

三角測量を実行して、物理空間に３次元位置を得るためには、少なくとも２台のカメラが必要である。この技術の明確で完全な説明は、"Methods and Apparatus for Practical 3D Vision System"(米国特許出願番号11/246,024) 出願人Aaron WallackとDavid Michael、譲受人マサチューセッツ州ナティックのCognex Corporation、に記載されており、参照することにより本書に組み込まれる。カメラの調整法も、この文献に記載されており、３台のカメラ１００、１０２、１０４から、部品１１１と３つのサブコンポーネント１０６、１０８、１１０が含まれる３次元空間の各点への画素データをマッピングするようになっている。この発明は、三角測量と、上記の調整法とに限定されるものではなく、同じ所望の結果を得ることができる従来技術である他の方法を代わりに用いることもできる。

２台のカメラを用いて３次元の点を求めることができるが、３台のカメラを実施例として図１に示す。実施例では３つのサブコンポーネントが示されているが、幾つかの用途において、少なくとも４つのサブコンポーネントを各カメラの視野に入れることが有用であり、３つのサブコンポーネントは、内部一致性をチェックするように選択でき、それによって４つのサブコンポーネントの他の３つのサブコンポーネントに対する相対的な位置関係を検証できる。この技術は、以下で議論する。

また、より多くのカメラを用いることで、より高い精度を得ることができる。また、より多くのカメラによって、各部品を見る可能性が高まり、少なくとも２台のカメラ、さらに良いのは３台のカメラで見ることである。

また、より多くのサブコンポーネントが用いられた場合、少なくとも1つのサブコンポーネントを見る可能性が高まるが、しかし、より多くのサブコンポーネントが用いられた場合、全てのサブコンポーネントを見る可能性は低下する。

図２を参照して、本発明を具体化する機械視覚システムのユーザーインタフェースを示す。訓練時間において、ユーザーが"Acquire Train Image（AGFBF NGR）"２０６と"Display Train Image（DBTB THEDN）"２０８をクリックすると、３つのカメラビュー窓２００、２０２、２０４が示される。各カメラビュー窓は、図１の３つのカメラ１００、１０２、１０４のうちの1つの視野内の少なくとも一部を示している。各カメラ１００、１０２、１０４は同一のサブコンポーネントの異なる斜視図を示している。例えば、図２はPCBに挿入されるチップチャリアの３つのビューをしめしており、チップキャリアは上部に大きな"Z"を有している。

次に、ユーザーは"Add PatMax Models（AN-P DBND）"ボタン２１０をクリックして、新たな３次元サーチモデルの作成を開始する。そうすることで、各ビュー窓の２次元サーチモデルが作成される。この２次元モデルは、各ビュー窓における取得された画像の選択されたサブ窓である。３次元モデルは、２次元モデルの集まりで構成され、対応する同一場所の基点から発生した３次元モデルである。"Model Points（INIFB EROP）"窓２１２に示すように、サブコンポーネント上の一点の３次元サーチモデル０はすでに作成されており、三角測量RMSエラー０．１５を有している。この三角測量RMSエラー０．１５は、ユーザーの選択する三角測量RMSエラー許容範囲２１４の範囲内であって、ここでエラー許容範囲は０．３０である。

図２で、モデル１はまだ作成されておらず、プロンプト２１６が表われて、「訓練窓を位置付けて、基点を選択しなさい」と入力要求している。これに応答して、ユーザーは「訓練窓」（細く黒い四角形枠で示す）２０６、２０８、２１０を各カメラ１００、１０２、１０４の視野内に定義し、「基点」を各窓に見つけることができる。黒いｘ字線で、各訓練窓２０６、２０８、２１０内の選択された「基点」を示す。訓練窓内の画像と、基点は、サーチモデル例えば正規化相関サーチや、回転不変量とスケール不変量サーチのモデル、を訓練するために用いられる（例えばCognex社のPatMaxTM）。

ユーザーは、サブコンポーネントの「基点」（黒いｘ字線で示す）である左すみのボタン"Z"を選択し、それを指示しチェックすることで、各ビューにおけるＺ上の点を選択する。このように、サブコンポーネントの同一点を、３つの異なる視点から見ることになる。

図３を参照して、ユーザーは"Train PatMax Model(MRR TENT)"ボタン３００をクリックする。その応答として、３つの２次元サーチモデルが作成され、各画像２００、２０２、２０４の選択された点を見つけるために用いられる。 各窓における２次元サーチのサーチ結果は、三角測量を用いて３次元の点（"Z"上の選択された点の物理的３次元位置）に変換され、モデル点窓３０２にしめすように、ｘ、ｙ、ｚ座標値（１１．０２、−１２．６８、−１３．９６）を有する。この三角座標RMSエラー０．０８は、ユーザーが定義した三角測量RMSエラー許容範囲３０４の０．３０より、まだ小さいことに留意する。

図４を参照して、各サブアセンブリ上の２つの異なる実際の点の２つの３次元モデル（０，１）が、訓練された。各３次元モデルは、モデル窓４００に記載の３次元位置を有している。各三角測量RMSエラー４０２は、三角測量RMSエラー許容範囲４０４より下でなければならない。なぜなら、三角測量RMSエラー４０２が実行時間に測定されたものであっても、三角測量RMSエラー許容範囲４０４は実行時間で用いられ、訓練時間の三角測量RMSエラー４０２は通常、三角測量RMSエラー許容範囲４０４に下部限界を提供するからである。三角測量RMSエラー許容範囲４０４は、訓練時間に、オペレータによって用いられて、各カメラの３つの視野のそれぞれにおいて、サブアセンブリの同じ点上にオペレータが配置した十字線が、どの程度一致しているかについて、フィードバックを提供する。もし三角測量RMSエラーが許容範囲４０４を超えていた場合、許容範囲４０４以下になるまで、三角測量RMSエラーを減らすように、十字線が再配置される。代替的に、アプリケーションが、オペレータが点を再選択すべきか判断するために用いられる異なる三角測量RMSエラー許容範囲訓練時間を有することができる。

要約すると、訓練時間において、本発明の方法の一部として、ユーザーはサブアセンブリのそれぞれの上に単一点を選択し、各サブコンポーネントの３次元サーチモデルが作成される。各３次元サーチモデルは、実際には２次元サーチモデルのセットで構成され、同じ部品を視野に入れた多数のカメラから画像窓をサーチすることによって、物理的な空間上の３次元点を見つけ出すために用いられ、見出した２次元位置と（上述の）三角測量技術を用いて、各サブコンポーネントの正確な（モデル）３次元位置が算出される。

実行時間において、図５を参照して、先の図１〜４の調整されたカメラのセットによって得られたビューを用いて、図４からの３次元モデルが、サブアセンブリを見つけ出すために用いられる。ユーザー（又はオペレータ）が単に"Run 3D Inspection"ボタンをクリックすれば、窓５０２、５０４、５０６内の３つの画像のそれぞれが、それぞれのサブアセンブリに対応した３次元モデルから適切な２次元サーチモデルを用いてサーチされる。この例では、４つの検査すべきサブアセンブリがあるにもかかわらず、（４つのサブアセンブリのそれぞれが３つのカメラすべてで見えているので）３枚の画像の１セットのみが取得される。（それぞれ窓５０２、５０４、５０６における）同一の画像が、４つの各２次元サーチモデルによって、４回サーチされて、４つの三角測量で測定された３次元位置を提供する。各三角測量で測定された３次元位置は、３つの２次元の見つけられた（測定された）位置を用いた三角測量計算の結果である。

各三角測量された３次元位置は、"Results"窓５０８にリスト表示され、x、y、ｚ成分と、三角測量RMSエラー値と、三角測量RMSエラー許容範囲に応じた三角測量RMSエラーのPASS/FAIL判定とが表示される。

サブコンポーネントの測定結果から算出された組立て品全体の全体的姿勢（x、y、ｚ位置）が"Results"窓５０８の下に表示されている。その下には、サブコンポーネントの測定結果から算出された、３つの回転自由度、例えばピッチとヨーとロールで示された全体的な向きが表示されている。さらに下には、サブコンポーネントの４つの予想されたモデル３次元位置と４つの測定されたモデル３次元位置とを比較した全体的なRMSエラーが表示されている。また、３つの他のサブコンポーネントの測定位置から求められた、各サブアセンブリが予想された位置からどの程度ずれているかを示す"Self-Consistency Error"が表示されている。最後に、一つ以上の測定及び計算結果を、特定用途に従ってオペレータ又はユーザーが設定した許容値と比較することによって算出された、全体的な検査結果が表示されている。例えば、もし個々の三角測量RMS許容範囲の全てが満たされ、全体的なRMS許容範囲が満たされていた場合、組立て品は、PASSであると認められる。

GUIに関する前述の議論は、特定の実施例に関連し、大幅な変形をしても類似の結果を得ることが意図されている。GUIは、例えばボタンやインジケータを有するパーソナル・ディジタル・アシスタント又はヒューマン・マシーン・インタフェースを利用することができる。実行時間や訓練時間の間、ユーザーインタフェースがおよそ測定結果及び／又は画像を表示でき、そして、測定項目が、数値を用いて又はグラフを用いて、そして例えばPASS又はFAILに対して色を用いるなどして表わすことができるのは、明らかである。

モデルを作成して３次元点を作成するための他の方法も用いることができて、例えば、部品に光線を照射し、次に（一致した原点を見つけるために）この光線を記録し、(各画像において)原点まわりの固定半径の円によるモデルを作成する。図６を参照して、サブコンポーネントを有する部品の正確な組立て検査のための本発明の方法について、さらに議論する。この方法は、訓練時間段階と実行時間段階とを備えている。訓練時間において、少なくとも２台のカメラが、ステップ６００で、少なくとも１台のカメラの視野に部品の少なくとも1つのサブコンポーネントが含まれるように配置される。３台のカメラを用いたものを図１に示す。３台のカメラは、２台のカメラより精度が高くなる。

次に、ステップ６０２で、その少なくとも２台のカメラのそれぞれが、画像座標を物理座標と関連付けるように調整される。この技術は、"Methods and Apparatus for Practical 3D Vision System" (Express Mail Label No. EV 324 850 053 US) by Aaron Wallack and David Michael, マサチューセッツ州NatickのCognex社が譲り受けた文献に記載されており、参照することにより本書に組み込まれる。多数のカメラの画像座標を共通の物理空間と関連付ける既知のあらゆる技術が、有効である。少なくとも２台のカメラのそれぞれの調整には、少なくとも２台のカメラそれぞれのカメラ原点の３次元位置を決定することが含まれている。次に、三角測量は、各カメラの視野内のサブコンポーネントの原点の２次元位置と、各カメラのカメラ原点の３次元位置とを見つけ出す。

ユーザーがカメラの調整を必要とするのを回避するためには、ユーザーは代わりに予め調整された２台又は３台のカメラシステムを採用することができる。この場合、ユーザーは、予め調整されたステレオ／３眼式カメラシステムを用いて、ステップ６００から開始する。まず、ステップ６００では、それぞれのカメラが少なくとも３つのサブコンポーネントを見るように３台のカメラを設置する。次に、ステップ６０２で、画像座標が物理座標と対応するようにカメラを調整する。これによって、ユーザーは、ステップ６００で堅く取り付けられた３台のカメラを有する予め調整されたカメラシステムを単に位置付けるのみでよく、調整ステップを実行する必要がないので、訓練を簡素化できる。次に、ステップ６０４で、正確に設置された３つのサブコンポーネントに対し、３台のカメラで同時に画像を収集する。画像については、同時に取得されることが望ましいが、必須ではないことに留意する。もし２つのサブコンポーネントが用いられていた場合、その２つのサブコンポーネント間のスパン（距離）が測定され、それによって、「スパン検査測定基準」が提供される。実行時間におけるスパン検査測定基準は、訓練時間におけるスパン検査測定基準に基づいた範囲内になければならない。サブコンポーネントの多くのペアを用いることができ、各ペアはスパン検査測定基準を提供し、スパン検査測定基準の合計が、累積スパン検査測定基準を提供し、これは、実行時間における累積スパン検査許容閾値と比較される。他の測定基準も、当業者が思い付くであろうが、それらは本発明の範囲内である。

もし３つのサブコンポーネントが用いられた場合、さらに以下で説明するように、姿勢をマッピングした３次元モデルと、検出された３次元実行時間との間の二乗誤差の合計を最小化する、精密な変換姿勢を見出すことができる。

次に、ステップ６０６で、各サブコンポーネントに対し、各画像にサブコンポーネントを含む訓練窓を選択する。そして、各訓練窓内のサブコンポーネント上の点を選択する。このステップは、図２にも示されている。即ち、図２のプロンプト２１６に応答して、各訓練窓２０６，２０８，２１０を選択し、その中のサブコンポーネントの「基点」（黒いｘ字線で示す）を選択する。

次に、ステップ６０８で、各訓練窓で選択された点を用いて、予想される３次元位置を三角測量によって算出する。これは、"Methods and Apparatus for Practical 3D Vision System" (Express Mail Label No. EV 324 850 053 US) by Aaron Wallack and David Michael, マサチューセッツ州NatickのCognex社が譲り受けた文献に説明されており、参照することにより本書に組み込まれる。また、三角測量は、従来技術の多数の引用文献の中で説明されている。

本発明を実施するために、多数の画像ビューから３次元位置を求めるあらゆる方法を用いることができる。例えば、３次元位置を求めるためには、パターンの原点に基づいた三角測量を用いたものが必ずしも必要ではない。代わりに、３次元位置は、（画像内の）線形特徴を登録して、次にこれら線形特徴をインターセクトすることによって求められて、最終的な３次元位置が提供される。重要な物は、組立て検査において使用するための正確な３次元位置を生成する方法である。各サブコンポーネントの許容範囲内で正確な３次元位置測定を提供するあらゆる方法が利用可能である。

次に、ステップ６１０で、各訓練窓と選択された点とを用いて、訓練窓内にサブコンポーネントの２次元サーチモデルが作成される。正規化相関サーチの訓練ルーチンを用いることができ、又は例えばPatMax（登録商標）の回転と大きさ不変サーチの訓練ルーチンを用いることができる。代替的に、例えばCADデータから由来したモデルのようなモデルを供給することができる。また、粗いモデルを採用することもでき、それは本発明を用いることによって精度が向上する。実用的なモデルを得るための他の変形も、当業者には思い付くことができる。次に、ユーザーは、例えば三角測量RMSエラー許容範囲や、全体的なRMSエラー許容範囲や、自己一致性許容範囲といった、特定の用途や状況に応じて設定可能な検査パラメータを選択する（ステップ６１２）。三角測量RMSエラー許容範囲は、どの程度正確にユーザーが各カメラの各視野内の同一点を選択したかを示す測定閾値である。全体的なRMSエラー許容範囲は、どの程度測定した３次元点がサブアセンブリの予想された３次元点から集合体として変化したかを示す測定閾値である。自己一致性許容範囲は、以下でさらに議論するところの集合体の自己一致性エラーの測定閾値である。また、検査パラメータの選択には、正確な３次元位置からの測定した３次元位置の差異の許容できる範囲を定義する距離許容範囲の選択が含まれる。

各訓練窓でのサブコンポーネント上の同一点の選択には、オペレータが各訓練窓でサブコンポーネント上の同一点を選択するための助けになるように、選択された多数点とユニークな３次元点とを一致させる測定に関する情報を提供することが含まれる。一致性の測定とは、RMSエラーのことである。

ステップ７００で、訓練時間に調整した３台のカメラを用いて、３つのサブコンポーネントのそれぞれの画像を同時に収集する。画像を同時に収集することは望ましいが、必須ではない点に留意する。３台のカメラを用いると、より正確な三角測量ができる。以下でさらに説明するように、少なくとも３つのサブコンポーネントが画像化された場合、姿勢がマップされた３次元モデル点と見出された３次元実行時間点との間の二乗誤差の合計を最小にする、剛体変換姿勢を見出すことができる。もし３つより多くのサブコンポーネントが画像化された場合、３つの画像の1つより多いサブグループを用いて、二乗誤差の合計を最小化する少なくとも1つの精密な変換姿勢を見出すことができる。訓練段階の間に調整されたカメラやレンズは、正確に同一位置に維持されていることに留意する。最小化するための他の方法も、本発明の範囲から逸脱することなく利用することができる。

次に、ステップ７０２で、２次元サーチモデルを用いて、各訓練窓内の各サブコンポーネントの画像を検出し、サブコンポーネント上の選択された点の測定した２次元位置が提供される。再び、正規化相関サーチ又は例えばPatMax（登録商標）のような回転と大きさ不変サーチを用いることができる。

次に、少なくとも２つのサブコンポーネントのそれぞれに対し、サブコンポーネントの測定された３次元位置が三角測量によって算出される（ステップ７０４）。一般的に、各カメラの視野内のサブコンポーネントの原点の測定された２次元位置と、各カメラのカメラ原点の３次元位置とが、各サブコンポーネントの測定された３次元位置を見つけるために用いられる。また、三角測量によるサブコンポーネントの測定された３次元位置の算出には、エラー測定の算出と、検査パラメータを伴うエラー測定の算出とが含まれ、部品が正確に組立てられたかどうかを判断するのに貢献している。

次に、少なくとも２つのサブコンポーネントのそれぞれに対し、サブコンポーネントの測定した３次元位置とサブコンポーネントのそれぞれの正確な３次元位置との間の差異が算出される（ステップ７０６）。

次に、ステップ７０８で、３次元位置と選択した検査パラメータとの差異を比較して、部品が正しく組立てられたかどうかを判断する。幾つかの実施例において、３次元位置の差異の単一の成分が検査パラメータの単一の成分と比較されて、部品が正しく組立てられたかどうかを判断するために貢献している。これら実施例の幾つかにおいて、その単一の成分はｚ位置（高さ）である。

幾つかの状況において、実行時間には、それぞれのサブコンポーネントの複数の３次元位置を用いて、部品の全体的な姿勢を計算する時間が含まれる。一般的に、部品の全体的な姿勢の計算には、全体的な姿勢エラーの算出と、全体的な姿勢エラーを最小化する姿勢を見出すことが含まれる。また、検査パラメータを伴う全体的な姿勢エラーの算出も含まれて、部品が正確に組立てられたかどうかを判断するのに貢献している。

ここで、対応する３次元点の３つ以上のペアから、どのように物体の姿勢が評価されるかについての情報を示す。各ペアは、３次元モデル点に対応した３次元の測定された実行時間点で構成されている。３次元の予想された点のセットと一対一で対応している３次元の実行時間見出された点のセットが与えられると、姿勢マッピングした３次元予想された点と、測定された３次元実行時間点との間の二乗エラーの合計を最小にする精密な変換姿勢が存在する。この精密な変換姿勢は、平行移動と回転のみによって構成されている。２つの点セット間の精密な変換姿勢の最小二乗を計算する既知の方法が存在する。

数学的に言えば、訓練時間３次元点Dのセットと、実行時間３次元点Mのセットとを与えると、以下のような剛体変換（３×３回転行列Ｒと３×１並進行列Ｔとで示す）が示される。
Ｍ＝ＲＤ＋Ｔ
又は各点に対し、
ｍ_i＝Ｒｄ_i＋Ｔ
最小化によるＲとＴの最適推定値は、
Ｓｕｍ（ｍ_i−Ｒｄ_i＋ｔ）²
又はより形式的に、

まず、ｍ_iとｄ_iの平均を算出する。
ｍｅａｎ_m＝Ｓｕｍ ｍ_i／Ｎ
ｍｅａｎ_d＝Ｓｕｍ ｄ_i／Ｎ
ｍ_i−ｍｅａｎ_mとｄ_i−ｍｅａｎ_dに対応した新しいセットＭ’とＤ’を構築する。
最適剛体回転行列Ｒについて解くために、マトリクス解析と四元法算法を用いる。
Ｓｕｍ ｍ’_i ｔｒａｎｓｐｏｓｅ（ｄ’_i）と等しい共分散行列Ｃを求める。
Ｃ−ｔｒａｎｓｐｏｓｅ（Ｃ）に等しい行列Ａを生成する。
行列Ａから、ｔｒａｎｓｐｏｓｅ（［Ａ２３ Ａ３１ Ａ１２］）に等しい列ベクトルＤｅｌｔａを作成する。
［ｔｒａｃｅ（Ｃ） ｔｒａｎｓｐｏｓｅ（Ｄｅｌｔａ）］
［Ｄｅｌｔａ Ｃ＋ｔｒａｎｓｐｏｓｅ（Ｃ）−ｔｒａｃｅ（Ｃ）＊ｉｄ（３）］
に等しい対称４×４行列Ｑを作成する。
ここで、ｔｒａｃｅは対角線要素の積に等しく、ｉｄ（３）は３×３の恒等行列である。
最大の正の固有値Ｑに対応する固有ベクトルｑ＝［ｑ０ ｑ１ ｑ２ ｑ３］を求める。

以下の議論で、対応する３次元点の利用可能なペアのすべてより少ない数から姿勢を算出する理由を説明する。

図８を参照して、部品が少なくとも３つのサブコンポーネントを有する場合、実行時間における方法は、さらに、選択した点の測定した３次元位置を、選択された点の正確な３次元位置に最も接近してマッピングする変換を求めるステップ（ステップ８００）と、選択した点のすべての測定した３次元位置に逆変換を施して、部品の基準系と比較するステップ（ステップ８０２）と、部品の基準系における選択した点の測定した３次元位置と、選択された点の正確な３次元位置とを比較して、部品の比較測定基準を提供するステップ（ステップ８０４）と、部品の比較測定基準と検査パラメータとを比較して、部品が正確に組立てられたかを判断するのに貢献するステップ（８０６）とを備えている。

幾つかの実施例において、比較には、部品の基準系における選択した点のマッピングされた測定した３次元位置の単一成分と、選択された点の正確な３次元位置のそれぞれの単一成分とを比較して、単一成分の部品比較測定基準を提供することが含まれる。また、部品が正確に組立てられたかを判断することには、単一コンポーネント比較測定基準が、単一成分許容閾値を超えているかどうかを判断することが含まれ、それによって少なくとも部分的に、部品が正確に組立てられたかどうかが判断される。

代替的に、比較基準を固定のユーザーが定義した閾値と比較する代わりに、測定の統計を編集して、新しい測定が、データ由来の許容範囲と比較される。例えば、データ由来の許容範囲から６シグマ以上逸脱した測定は、受け入れられないであろう。当業者が思いつく他の測定基準は、本発明の範囲内である。

もしサブコンポーネントのすべて（そして従って、すべての３次元実行時間測定された点）が、正確な位置にあった場合、全体的な姿勢見積もりは正確であり、個々の相違は比較的小さい。

しかし、もし1つ以上のサブコンポーネントが正確な位置からずれていた場合、全体的な姿勢見積もりは正確であるか、又は正確ではない。もし全体的な姿勢見積もりが正確であった場合、正確に位置したサブコンポーネントのすべてが、小さな相違を有し、不正確に位置したサブコンポーネントは、大きな相違を有する。

もしサブコンポーネントが不正確に位置していた場合、相違は不正確な位置あわせを示す。結果的に、相違が存在する（もし位置ずれが大きくなければ、相違も大きくない）。しかし、もし全体的な姿勢が正確であれば、位置的相違は確実に不正確な位置あわせを表わす。

しかしもしサブコンポーネントの1つが位置から外れていて、そしてもし全体的な姿勢見積もりが不正確であれば、正確に位置合わせされたサブコンポーネントは大きな相違を有し、及び／又は、不正確に位置合わせされたサブコンポーネントは小さな相違を有する。

もし姿勢見積もりが不正確であれば、正確に位置合わせされたサブコンポーネントは大きな相違を有し、及び／又は、不正確に位置合わせされたサブコンポーネントは小さな相違を有する。

特に、憂慮すべき1つの状況が存在する。サブコンポーネントの1つが位置を外れていても、全てのサブコンポーネントが小さな相違を誘発するケースである。運の悪いことに、このケースは、不正確に位置合わせされたサブコンポーネントを収容するように全体的な姿勢見積もりが算出された場合に、発生する。

従って、実施例において、この状況を防ぐために、追加の測定をすることになる。これらの測定は、測定を意図しているサブコンポーネントを意図的に無視することによって姿勢見積もりを算出するステップを含んでいる。このようにして、特定の不正確な位置を用いることなく姿勢見積もりを算出することによって、この位置を収容した姿勢見積もりを防いでいる。この方法は、一般的に相互検証と呼ばれており、データのサブセットからパラメータを見積もり、次にデータの残りを見積もることで検証している。特定のデータ点を無視することが、望ましくない状況が起きないことを保証するものではないことに留意すべきであって、この状況が起きる可能性を大幅に減じることによって、憂慮を軽減するものである。

この場合、３つ以上の対応する３次元点のペアを用いることができる（ペアとは、３次元モデル点と対応する３次元実行時間測定された位置との組み合わせである）（６自由度の姿勢を求めるためには、少なくとも３つのペアが必要である）。1つの方法は、対応するデータのペアのすべての３つのエレメントサブセットから対象の姿勢見積もりを算出し、次に、対応する３次元点の各ペアに対して最大の不一致を維持しながら、各不一致を算出することである。代替的に、３次元点の各選択されたペアに対して不一致を測定する時に、その３次元点の選択されたペアを除く全てを用いることができる。

点の特定のサブセットでは、姿勢見積もりを正確に律則することができない場合があることを指摘しておく必要がある。これは、点のサブセットが同一直線上にあるか又はほとんど同一直線上であるか、又は、点が相対的に接近していることによって起こる。どちらの場合にも、（相違を算出する目的のために）特定の姿勢見積もりを無視することができ、そして、別な姿勢見積もりを用いることができる（又は、必要であれば、測定しようとする３次元点のペアを含めることができる）。

従って、図９を参照して、部品が少なくとも４つのサブコンポーネントを含んでいる場合、実行時間における方法は、さらに、３つのサブコンポーネントのセットを選択し、少なくとも４番目のサブコンポーネントを除外するステップ(ステップ９００)と、３つのサブコンポーネントのセットを用いて、部品の全体的な姿勢を算出するステップ（ステップ９０２）と、部品の全体的な姿勢を用いて、少なくとも４番目のサブコンポーネントに対応するサブコンポーネントの正確な３次元位置をマッピングして、マッピングされた正確な３次元位置を提供するステップ（ステップ９０４）と、少なくとも４番目のサブコンポーネントの測定した位置と、マッピングされた正確な３次元位置とを比較して、一致性エラーを提供するステップ（ステップ９０６）と、一致性エラーと検査パラメータとを比較して、部品が正確に組立てられたかどうかの判断に貢献するステップ（ステップ９０８）とを備えている。

少なくとも２つのサブコンポーネント位置の複数のセットが選択された場合、それによって複数の一貫性エラーが提供されて、方法はさらに、各一貫性エラーと検査パラメータとを比較して、部品が正確に組立てられたかどうかの判断に貢献する。時には、少なくとも３つのサブコンポーネント位置の複数のセットが選択される。

図１０を参照して、本発明は、ほとんどの場合には、少なくとも２つのサブコンポーネントを有する部品の正確な組立てを検査するための方法であって、訓練時間において、各サブコンポーネントに対し、サブコンポーネント上の点を選択するステップ（ステップ１０００）と、各サブコンポーネントに対して、物理座標系における選択された点の正確な３次元位置を求めるステップ（ステップ１００２）とを備えている。上で議論したように、２より多くのサブコンポーネントを取り扱うことは有利である。

図１１を参照して、実行時間において、方法は、各サブコンポーネントに対して、サブコンポーネント上の選択された点をそれぞれ検出するステップ（ステップ１１００）と、各サブコンポーネントに対して、物理座標系における検出された選択された点の測定された３次元位置を求めるステップ（ステップ１１０２）と、検出された選択された点の測定された３次元位置と、選択された点の正確な３次元位置とを比較して、部品の比較測定基準を提供するステップ（ステップ１１０４）と、部品の比較測定基準が部品の許容閾値を超えているかどうかを求めて、それによって部品が正確に組立てられているかを判断するステップ（ステップ１１０６）と、を備えている。

実施例において、比較するステップ１１０４には、検出され選択された点の測定された３次元位置の単一成分を、選択された点の正確な３次元位置のそれぞれの単一成分と比較して、単一成分の部品比較測定基準を提供するステップが含まれており、判断するステップ１１０６には、単一成分比較測定基準が単一成分許容閾値を超えているかどうかを判断するステップが含まれ、それによって部品が正確に組立てられているかどうかを少なくとも部分的に判断する。

また別の実施例において、単一成分を比較するステップには、検出され選択された点の測定された３次元位置の各x、y、ｚ成分の1つの成分を、選択された点の正確な３次元位置の各ｘ、ｙ、ｚ成分のそれぞれの単一成分と、独立して比較して、各ｘ、ｙ、ｚ成分のそれぞれにおける単一成分比較測定基準を提供するステップが含まれている。この場合、「部品の比較測定基準が、部品の許容閾値を超えているかどうかを判断する」ステップには、ｘ、ｙ、ｚ成分比較測定基準のそれぞれが、対応するｘ、ｙ、ｚ成分許容閾値を超えているか判断し、それによって部品が正確に組立てられているかを少なくとも部分的に判断するステップが含まれている。ユーザーは、ｘ、ｙ、ｚ成分のそれぞれにおける成分許容閾値を選択することができる。

比較ステップ１１０４には、また、各サブコンポーネントに対し、検出した選択した点の測定した３次元位置を、選択された点の正確な３次元位置と比較して、３次元位置エラーを提供するステップと、各３次元位置エラーを組み合わせて、部品比較測定基準を提供するステップとを含めることができる。

また、比較ステップ１１０４には、検出した選択した点の測定した３次元位置を、選択した点の正確な３次元位置に最も接近してマッピングする変換を求めるステップと、マッピングされた測定された３次元位置と、正確な３次元位置との間のRMSエラーを算出するステップと、少なくとも部品比較測定基準の一部として、RMSエラーを提供するステップとを含めることができる。

比較ステップ１１０４には、実行時間において、検出した選択した点の測定した３次元位置を、選択した点の正確な３次元位置に最も接近してマッピングする変換を求めるステップと、そして、検出され選択された点のすべての測定された３次元位置に３次元逆変換を加えて、部品の基準系の比較をするステップとを含めることができる。そして、訓練時間において、比較ステップ１１０４には、部品の基準系における検出され選択された点の測定された３次元位置を、選択された点の正確な３次元位置と比較して、部品比較測定基準を提供するステップを含めることができる、

比較ステップ１１０４には、部品の基準系における検出され選択された点のマッピングされた測定された３次元位置の単一成分を、選択された点の正確な３次元位置のそれぞれの単一成分と比較して、単一成分の部品比較測定基準を提供するステップを含めることができる。従って、判断ステップ１１０６には、単一成分比較測定基準が単一成分許容閾値を超えたか判断し、それによって少なくとも部分的に、部品が正確に組立てられているかを判断するステップを含めることができる。

比較ステップ１１０４には、部品の基準系における検出され選択された点のマッピングされ測定された３次元位置と、正確な３次元位置との間のRMSエラーを算出するステップと、少なくとも部品比較測定基準の一部としてRMSエラーを提供するステップとをさらに含めることができる。

他の実施例において、比較ステップ１１０４には、検出され選択された点の３つの測定された３次元位置を選択するステップと、選択された点の対応する３つの正確な３次元位置を、検出され選択された点の３つの測定された点に最も接近してマッピングする変換を求めるステップと、この変換を用いて、選択された点の正確な３次元位置からの４番目の３次元位置を、検出され選択された点の予測された３次元位置へマッピングするステップと、検出され選択された点の予測され測定された３次元位置を、検出され測定された点の実際に測定された３次元位置と比較して、一致性チェック３次元位置エラーを提供するステップとを含めることができる。

比較ステップ１１０４には、検出され選択された点の３つの測定された３次元位置を選択するステップと、選択された点の対応する３つの正確な３次元位置を、検出され選択された点の３つの測定された点に最も接近してマッピングする変換を求めるステップと、この変換を用いて、選択された点の正確な３次元位置からの４番目の３次元位置を、検出され選択された点の予測された３次元位置へマッピングするステップと、検出され選択された点の予測される測定された３次元位置の単一成分と、検出され選択された点の実際の測定された３次元位置の単一成分とを比較して、少なくとも部品比較測定基準への貢献を提供するステップとをさらに含めることができる。

この手順は、検出され測定された点の３つの測定された３次元位置の複数の異なるセットに対して繰り返し行なうことができ、それによって複数の一致性チェック３次元位置エラーを提供できる。そして、この方法には、一致性チェック３次元位置エラーの総計を算出するステップと、少なくとも部品比較測定基準の一部として、一致性チェック３次元位置エラーの総計を提供するステップとを含めることができる。

実行時間において、各サブコンポーネントに対し、サブコンポーネント上の点を選択するステップは、例えば図２に示すように、オペレータによって手動で行なうことができることに留意すべきである。

また、実行時間において、各サブコンポーネントに対し、オペレータは複数の訓練窓のそれぞれに表示されるサブコンポーネント上の点を選択するが、各訓練窓は、３つのそれぞれの調整されたカメラの視野の一部を示している。実施例において、再び図２を参照して、少なくとも３つの訓練窓が存在している。

各サブコンポーネントに対し、誤差関数を最小にするために、オペレータが各訓練窓内の点をクリックすることによって、複数の訓練窓のそれぞれの点を選択することは、説明に役立つ。

また、各サブコンポーネントに対し、２次元サーチモデルが訓練されて、複数の訓練窓のそれぞれの中のサブコンポーネントを検出し、そして、選択された点が、前記２次元サーチモデルの原点として働く。

２次元サーチモデルは、正規化相関サーチ、回転不変かつ大きさ不変サーチ、PatMaxサーチのうちの１つに基づいている。

図１０を参照して、訓練時間において、各サブコンポーネントに対し、サブコンポーネント上の点を選択するステップ１０００には、複数の他のサブコンポーネントを支持している基板の表面上の基準の中心にある点を選択するステップが含まれている。基板の表面上の基準は、サブコンポーネントとみなすことができる。基板を用いることは、本発明を実施するにあたり、不可欠なことではない。

図１０を参照して、実行時間において、各サブコンポーネントに対し、三角測量を用いて、物理座標系における選択された点の正確な３次元位置が求められる（ステップ１００２）。三角測量の１つの結果は、三角測量RMSエラーである。三角測量RMSエラーは、許容閾値と比較することができて、ここでは図４に示すように、三角測量RMSエラー許容範囲４０４と称す。三角測量RMSエラー許容範囲４０４は、訓練時間にオペレータによって用いることができて、各カメラの３つの視野のそれぞれにおいて、どの程度一貫してオペレータがサブアセンブリ上の同一の点に対して照準線を配置することができるかに関するフィードバックを提供する。もし三角測量RMSエラーが許容範囲４０４を超えていた場合、三角測量RMSエラーが許容範囲４０４以下になるまで、照準線は再び配置され続ける。代替的に、アプリケーションは異なる訓練時間三角測量RMSエラー許容範囲を有し、これは、オペレータが点を再選択するべきかどうかを判断するために用いられる。

２つのサブコンポーネントの場合に、本発明を実施しようとすると、本発明の方法には、訓練時間において、２つのサブコンポーネントそれぞれの上の点を選択するステップ１０００と、２つのサブコンポーネントの両方に対し、物理座標系における選択された点の正確な３次元位置を求めるステップ１００２とが含まれている。実行時間において、本発明の方法の１つの実施例には、両方のサブコンポーネントに対し、それぞれサブコンポーネント上の選択された点を検出するステップ１１００と、両方のサブコンポーネントに対し、物理座標系における検出され選択された点の測定された３次元位置を求めるステップ１１０２と、検出され選択された点の測定された３次元位置を、選択された点の正確な３次元位置と比較して、部品比較測定基準を提供するステップ１１０４と、部品比較測定基準が部品許容閾値を超えたか判断して、それによって部品が正確に組立てられているか判断するステップ１１０６と、が含まれている。

実施例において、比較ステップ１１０４には、両方のサブコンポーネントに対し、検出され選択された点の測定された３次元位置を、選択された点の正確な３次元位置と比較して、３次元位置エラーを提供するステップと、３次元位置エラーの両方を組み合わせて部品比較測定基準を提供するステップとが含まれている。

図１１を参照して、サブコンポーネント対のスパン検査測定基準を採用するために、本発明の方法には、訓練時間において、２つのサブコンポーネントのそれぞれの上の点を選択し、少なくとも選択した２つの点のうち１つが、前回選択された点の対と異なっているステップ１０００と、両方のサブコンポーネントに対し、物理座標系における選択された点の正確な３次元位置を求めるステップ１００２と、が含まれている。次に、実行時間において、両方のサブコンポーネントに対し、サブコンポーネント上の選択された点をそれぞれ検出するステップ１１００と、両方のサブコンポーネントに対し、物理座標系における検出され選択された点の測定された３次元位置を求めるステップ１１０２と、検出され選択された点の測定された３次元位置を、選択された点の正確な３次元位置と比較して、（２つの検出され選択された点の間の距離として定義される）サブコンポーネント対のスパン検査測定基準を提供するステップ１１０４と、サブコンポーネント対スパン検査測定基準を、少なくとも第二のサブコンポーネント対スパン検査測定基準と組み合わせて、累積サブコンポーネント対スパン検査測定基準を提供するステップと、累積サブコンポーネント対スパン検査測定基準が、部品の許容閾値を超えているかを判断して、それによって、部品が正確に組立てられているかを判断するステップ１１０６と、が含まれている。

本発明の組立て検査方法は、検出され選択された点の測定された３次元位置の複数の対に対して繰り返すことができ、それによって複数のサブコンポーネント対スパン検査測定基準を提供する。次に、本方法には、サブコンポーネント対スパン検査測定基準の総計を算出するステップと、少なくとも部品比較測定基準の一部として、サブコンポーネント対スパン検査測定基準の総計を提供するステップと、がさらに含まれている。

実施例では、少なくとも４つのサブコンポーネントが用いられているが、組立て検査を実施するために必要な数だけ用いることができる。実施例では、さらに、各サブコンポーネントを一度に測定している。

請求項に記載された本発明の趣旨及び範囲から逸脱することなく、当業者は、他の変更や実施を思い付くことができる。従って、上述の記載は、以下に記載する請求項に明示されたものを除き、発明を限定することを意図したものではない。

Claims (15)

1. グラフィカルユーザーインターフェースを用いて、前記グラフィカルユーザーインターフェースの一部である複数のサブコンポーネントを有する部品の正確な組立てを検査する方法であって、
   訓練時間において、
   前記グラフィカルユーザーインターフェースの一部である少なくとも１台のカメラの視野に、前記部品の少なくとも１つの前記サブコンポーネントが含まれるように、少なくとも２台の前記カメラを配置するステップと、
   少なくとも画像の座標を物理座標と関連付けるように、少なくとも２台の前記カメラのそれぞれを較正するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、少なくとも２台の前記カメラのそれぞれを用いて、正確に組立てられた位置における前記サブコンポーネントの画像を収集するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、少なくとも２台の前記カメラのそれぞれを用いて、前記サブコンポーネントが含まれるカメラの視野の一部であり、前記グラフィカルユーザーインターフェースの一部である訓練窓を選択し、各前記訓練窓における前記サブコンポーネント上の同一点を選択し、前記同一点を前記サブコンポーネントに関連した原点とするステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、三角測量によって予想される３次元位置を算出するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、前記訓練窓とそれに対応した前記原点とを用いて、前記訓練窓内に前記サブコンポーネントの２次元サーチモデルを作成するステップと、
   検査パラメータを選択するステップと、を有し、
   実行時間において、
   検査すべき組立てられた部品の少なくとも２つの前記サブコンポーネントのそれぞれに対し、少なくとも２台の前記カメラをそれぞれ用いて、候補組立て位置における前記サブコンポーネントの画像を収集するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、前記サブコンポーネントの前記原点の測定された２次元位置を提供するために、前記サブコンポーネントの前記２次元サーチモデルを用いて、前記対象組立て位置における前記サブコンポーネントの前記画像を検出するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、三角測量によって前記サブコンポーネントの測定された３次元位置を算出するステップと、
   少なくとも２つの前記サブコンポーネントのそれぞれに対し、前記サブコンポーネントの前記測定された３次元位置と、前記サブコンポーネントのそれぞれの正確な３次元位置との間の３次元位置における差異を算出するステップと、
   前記部品が正確に組立てられているかの判断に貢献するために、前記３次元位置における差異と、前記検査パラメータとを比較するステップと、
   を有していることを特徴とする組立て検査方法。
2. 前記比較するステップには、前記部品が正確に組立てられているかの判断に貢献するために、前記３次元位置における差異のｘ、ｙ、ｚ成分の一つである単一成分と、前記検査パラメータのｘ、ｙ、ｚ成分の一つである単一成分とを比較するステップが含まれていることを特徴とする請求項１に記載の組立て検査方法。
3. 訓練時間において、前記検査パラメータを選択する前記ステップには、
   測定した３次元位置の正確な３次元位置からの差異の許容できる範囲を定義する距離許容範囲を選択するステップが含まれていることを特徴とする請求項１に記載の組立て検査方法。
4. 訓練時間において、前記訓練窓内に前記サブコンポーネントの２次元サーチモデルを作成する前記ステップには、
   回転不変と大きさ不変のサーチモデルを作成するステップが含まれていることを特徴とする請求項１に記載の組立て検査方法。
5. 前記サブコンポーネントの前記測定された３次元位置と、前記サブコンポーネントのそれぞれの正確な３次元位置との間の３次元位置における差異を算出する前記ステップには、
   測定された３次元位置と、それぞれの正確な３次元位置との間の高さ方向の差異を算出するステップが含まれていることを特徴とする請求項１に記載の組立て検査方法。
6. 実行時間において、前記組立て検査方法には、
   それぞれのサブコンポーネントの複数の３次元位置を用いて、前記部品の全体的な姿勢を算出するステップが、さらに含まれていることを特徴とする請求項１に記載の組立て検査方法。
7. 前記部品の全体的な姿勢を算出する前記ステップには、
   全体的な姿勢エラーを算出するステップと、
   前記全体的な姿勢エラーを最小化する姿勢を検出するステップと、が含まれていることを特徴とする請求項６に記載の組立て検査方法。
8. 前記ステップには、
   前記部品が正確に組立てられているかの判断に貢献するために、
   前記全体的な姿勢エラーと前記検査パラメータとを比較するステップがさらに含まれていることを特徴とする請求項７に記載の組立て検査方法。
9. 前記部品が少なくとも４つのサブコンポーネントを有し、
   前記組立て検査方法には、実行時間において、
   ３つのサブコンポーネントからなるセットを選択し、少なくとも４番目のサブコンポーネントを除外するステップと、
   前記３つのサブコンポーネントからなるセットを用いて、前記部品の全体的な姿勢を算出するステップと、
   前記部品の全体的な姿勢を用いて、少なくとも４番目のサブコンポーネントに対応したサブコンポーネントの正確な３次元位置をマッピングして、マッピングされた正確な３次元位置を提供するステップと、
   少なくとも４番目のサブコンポーネントの測定された位置と、マッピングされた正確な３次元位置とを比較して、一致性エラーを提供するステップと、
   前記部品が正確に組立てられているかの判断に貢献するために、前記一致性エラーと前記検査パラメータとを比較するステップと、がさらに含まれていることを特徴とする請求項１に記載の組立て検査方法。
10. 前記部品には、少なくとも３つのサブコンポーネントが含まれており、
    実行時間における前記組立て検査方法には、
    検出され選択された点の測定された３次元位置を、選択された点の正確な３次元位置に
    最も接近してマッピングをする変換を求めるステップと、
    前記部品の基準系において比較するために、前記検出され選択された点の測定された３次元位置のすべてに対して、前記変換の逆変換を適用するステップと、
    前記部品の基準系における検出され選択された点の測定された３次元位置と、選択された点の正確な３次元位置とを比較して、部品比較測定基準を提供するステップと、
    前記部品が正確に組立てられているかの判断に貢献するために、前記部品比較測定基準と前記検査パラメータとを比較するステップと、
    がさらに含まれていることを特徴とする請求項１に記載の組立て検査方法。
11. 前記比較するステップには、
    前記部品の基準系における検出され選択された点のマッピングされた測定された３次元位置の単一成分と、選択された点の正確な３次元位置のそれぞれの単一成分とを比較して、単一成分の部品比較測定基準を提供するステップが含まれており、そして、
    前記部品が正確に組立てられているかを判断するステップには、
    前記単一成分の比較測定基準が、単一成分許容閾値を超えているかを判断し、それによって、前記部品が正確に組立てられているかを少なくとも部分的に判断するステップが含まれていることを特徴とする請求項１０に記載の組立て検査方法。
12. グラフィカルユーザーインターフェースを用いて、前記グラフィカルユーザーインターフェースの一部である少なくとも３つのサブコンポーネントを有する部品の正確な組立てを検査する方法であって、
    訓練時間において、
    前記各サブコンポーネントに対し、前記サブコンポーネントを有する前記グラフィカルユーザーインターフェースの一部である訓練窓を選択し、前記各訓練窓において前記サブコンポーネント上の同じ点を選択するステップと、
    前記各サブコンポーネントに対し、物理座標系において、選択された点の正確な３次元位置を求めるステップと、
    実行時間において、
    前記各サブコンポーネントに対し、前記サブコンポーネント上の前記選択された点をそれぞれ検出するステップと、
    前記各サブコンポーネントに対し、物理座標系において、検出され選択された点の測定された３次元位置を求めるステップと、
    前記検出され選択された点の測定された３次元位置と、前記選択された点の正確な３次元位置とを比較して、部品比較測定基準を提供するステップと、
    前記部品比較測定基準が部品許容閾値を超えているかを判断して、それによって、前記部品が正確に組立てられているかを判断するステップと、
    が含まれていることを特徴とする組立て検査方法。
13. 前記比較するステップには、
    前記検出され選択された点の測定された３次元位置を、前記選択された点の正確な３次元位置に最も接近してマッピングをする変換を求めるステップと、
    マッピングされた測定された３次元位置と正確な３次元位置とから、RMSエラーを算出するステップと、
    前記RMSエラーを少なくとも前記部品比較測定基準の一部として提供するステップと、
    が含まれていることを特徴とする請求項１２に記載の組立て検査方法。
14. 前記比較するステップには、
    検出され選択された点の３つの測定された３次元位置を選択するステップと、
    対応する前記選択された点の正確な３次元位置を、前記検出され選択された点の３つの測定された３次元位置に最も接近してマッピングをする変換を求めるステップと、
    前記変換を用いて、前記選択された点の正確な３次元位置から４番目の３次元位置を、前記検出され測定された点の予測された測定された３次元位置にマッピングするステップと、
    前記検出され選択された点の予測され測定された３次元位置を、前記検出され測定された点の実際に測定された３次元位置と比較して、一致性チェック３次元位置エラーを提供するステップと、
    が含まれていることを特徴とする請求項１２に記載の組立て検査方法。
15. 前記比較するステップには、
    検出され選択された点の３つの測定された３次元位置を選択するステップと、
    対応する前記選択された点の正確な３次元位置を、前記検出され選択された点の３つの測定された３次元位置に最も接近してマッピングをする変換を求めるステップと、
    前記変換を用いて、前記選択された点の正確な３次元位置から４番目の３次元位置を、前記検出され測定された点の予測された測定された３次元位置にマッピングするステップと、
    前記検出され選択された点の、予測され測定された３次元位置の単一成分を、前記検出され測定された点の実際に測定された３次元位置の単一成分と比較して、少なくとも部品比較検査基準に貢献を提供するステップと、
    が含まれていることを特徴とする請求項１２に記載の組立て検査方法。

Images