JP7667181B2 - パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム - Google Patents

Description

本発明は、画像データにおいてワークのワーク特徴とワークモデルとを照合するためのパラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラムに関する。

視覚センサが撮像した画像データに写るワークの位置を検出するためのパラメータを取得する技術が知られている（例えば、特許文献１）。

特開平２－２１０５８４号公報

視覚センサが撮像した画像データに写るワークのワーク特徴と、ワークをモデル化したワークモデルとを、パラメータを用いて互いに照合することで、画像データに写るワークの位置を求める場合がある。従来、このような照合用のパラメータを調整するためには、専門知識を有するオペレータが必要となっていた。

本開示の一態様において、装置は、視覚センサが撮像したワークのワーク特徴が表示された画像データにおいてワークをモデル化したワークモデルをワーク特徴と照合するためのパラメータを用いて、画像データにおけるワークの位置を検出位置として求める位置検出部と、画像データにおいてワークモデルをワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得するマッチング位置取得部と、位置検出部が検出位置を、マッチング位置に対応する位置として求めるのを可能とするように、検出位置とマッチング位置との差を表すデータに基づいてパラメータを調整するパラメータ調整部とを備える。

本開示の他の態様において、方法は、プロセッサが、視覚センサが撮像したワークのワーク特徴が表示された画像データにおいてワークをモデル化したワークモデルをワーク特徴と照合するためのパラメータを用いて、画像データにおけるワークの位置を検出位置として求め、画像データにおいてワークモデルをワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得し、検出位置を、マッチング位置に対応する位置として求めるのを可能とするように、検出位置とマッチング位置との差を表すデータに基づいてパラメータを調整する。

本開示によれば、画像データにおいてワークモデルをワーク特徴にマッチングさせたときに取得したマッチング位置を用いてパラメータを調整している。このため、パラメータの調整に関する専門知識がないオペレータでも、マッチング位置を取得することができ、これによりパラメータを調整することが可能となる。

一実施形態に係るロボットシステムの概略図である。 図１に示すロボットシステムのブロック図である。 一実施形態に係るパラメータ調整方法を示すフローチャートである。 図３中のステップＳ３で生成される画像データの一例を示す。 図３中のステップＳ４のフローの一例を示す。 図５中のステップＳ１１で生成される画像データの一例を示す。 画像データ内でワークモデルがワーク特徴にマッチングしている状態を示す。 図３中のステップＳ５のフローの一例を示す。 図３中のステップＳ４のフローの他の例を示す。 図９中のステップＳ１１で生成される画像データの一例を示す。 図９中のステップＳ１１で生成される画像データの他の例を示す。 図９中のステップＳ３２で生成される画像データの例を示す。 図９中のステップＳ１１で生成される画像データにおいて、ワークモデルがランダムに表示された状態を示す。 図９中のステップＳ１１で生成される画像データにおいて、ワークモデルが予め定めた規則に従って表示された状態を示す。 図３中のステップＳ４のフローのさらに他の例を示す。 図１５中のステップＳ４２で生成される画像データの例を示す。 視覚センサによって画像データを取得するフローの一例を示す。 他の実施形態に係るパラメータ調整方法を示すフローチャートである。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１及び図２を参照して、一実施形態に係るロボットシステム１０について説明する。ロボットシステム１０は、ロボット１２、視覚センサ１４、及び制御装置１６を備える。

本実施形態においては、ロボット１２は、垂直多関節ロボットであって、ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６、及びエンドエフェクタ２８を有する。ロボットベース１８は、作業セルの床の上に固定されている。旋回胴２０は、鉛直軸周りに旋回可能となるように、ロボットベース１８に設けられている。

下腕部２２は、旋回胴２０に水平軸周りに回動可能に設けられ、上腕部２４は、下腕部２２の先端部に回動可能に設けられている。手首部２６は、上腕部２４の先端部に回動可能に設けられた手首ベース２６ａと、手首軸Ａ１周りに回動可能となるように該手首ベース２６ａに設けられた手首フランジ２６ｂとを有する。

エンドエフェクタ２８は、手首フランジ２６ｂに着脱可能に取り付けられ、ワークＷに対して所定の作業を行う。本実施形態においては、エンドエフェクタ２８は、ワークＷを把持可能なロボットハンドであって、例えば、開閉可能な複数の指部、又は吸着部（負圧発生装置、吸盤、電磁石等）を有する。

ロボット１２の各構成要素（ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６）には、サーボモータ２９（図２）が設けられている。これらサーボモータ２９は、制御装置１６からの指令に応じて、ロボット１２の各可動要素（旋回胴２０、下腕部２２、上腕部２４、手首部２６、手首フランジ２６ｂ）を駆動軸周りに回動させる。その結果、ロボット１２は、エンドエフェクタ２８を移動させて任意の位置及び姿勢に配置することができる。

視覚センサ１４は、エンドエフェクタ２８（又は手首フランジ２６ｂ）に対して固定されている。例えば、視覚センサ１４は、撮像センサ（ＣＭＯＳ、ＣＣＤ等）と、該撮像センサへ被写体像を導光する光学レンズ（コリメートレンズ、フォーカスレンズ等）とを有する３次元視覚センサであって、光軸Ａ２に沿って被写体像を撮像するとともに、該被写体像までの距離ｄを測定するように構成される。

図１に示すように、ロボット１２には、ロボット座標系Ｃ１、及びツール座標系Ｃ２が設定されている。ロボット座標系Ｃ１は、ロボット１２の各可動要素の動作を制御するための制御座標系である。本実施形態においては、ロボット座標系Ｃ１は、その原点がロボットベース１８の中心に配置され、そのｚ軸が鉛直方向と平行となるように、ロボットベース１８に対して固定されている。

一方、ツール座標系Ｃ２は、ロボット座標系Ｃ１におけるエンドエフェクタ２８の位置を制御するための制御座標系である。本実施形態においては、ツール座標系Ｃ２は、その原点（いわゆる、ＴＣＰ）が、エンドエフェクタ２８の作業位置（ワーク把持位置）に配置され、そのｚ軸が、手首軸Ａ１と平行となる（具体的には、一致する）ように、エンドエフェクタ２８に対して設定されている。

エンドエフェクタ２８を移動させるとき、制御装置１６は、ロボット座標系Ｃ１においてツール座標系Ｃ２を設定し、設定したツール座標系Ｃ２によって表される位置にエンドエフェクタ２８を配置するように、ロボット１２の各サーボモータ２９への指令を生成する。こうして、制御装置１６は、ロボット座標系Ｃ１における任意の位置にエンドエフェクタ２８を位置決めできる。なお、本稿において、「位置」とは、位置及び姿勢を意味する場合がある。

一方、視覚センサ１４には、センサ座標系Ｃ３が設定されている。センサ座標系Ｃ３は、視覚センサ１４が撮像した画像データ（又は、撮像センサ）の各画素の座標を規定する。本実施形態においては、センサ座標系Ｃ３は、その原点が撮像センサの中心に配置され、そのｚ軸が光軸Ａ２と平行となる（具体的には、一致する）ように、視覚センサ１４に対して設定されている。

センサ座標系Ｃ３とツール座標系Ｃ２との位置関係は、キャリブレーションにより既知となっており、故に、センサ座標系Ｃ３の座標とツール座標系Ｃ２の座標とは、既知の変換行列（例えば、同次変換行列）を介して、相互変換可能となっている。また、ツール座標系Ｃ２とロボット座標系Ｃ１との位置関係は既知であるので、センサ座標系Ｃ３の座標とロボット座標系Ｃ１の座標とは、ツール座標系Ｃ２を介して、相互変換可能である。

制御装置１６は、ロボット１２の動作を制御する。具体的には、制御装置１６は、プロセッサ３０、メモリ３２、及びＩ／Ｏインターフェース３４を有するコンピュータである。プロセッサ３０は、メモリ３２及びＩ／Ｏインターフェース３４とバス３６を介して通信可能に接続され、これらコンポーネントと通信しつつ、後述する各種機能を実現するための演算処理を行う。

メモリ３２は、ＲＡＭ又はＲＯＭ等を有し、各種データを一時的又は恒久的に記憶する。Ｉ／Ｏインターフェース３４は、例えば、イーサネット（登録商標）ポート、ＵＳＢポート、光ファイバコネクタ、又はＨＤＭＩ（登録商標）端子を有し、プロセッサ３０からの指令の下、外部機器との間でデータを有線又は無線で通信する。ロボット１２の各サーボモータ２９及び視覚センサ１４は、Ｉ／Ｏインターフェース３４に通信可能に接続されている。

また、制御装置１６には、表示装置３８及び入力装置４０が設けられている。表示装置３８及び入力装置４０は、Ｉ／Ｏインターフェース３４に通信可能に接続されている。表示装置３８は、液晶ディスプレイ又は有機ＥＬディスプレイ等を有し、プロセッサ３０からの指令の下、各種データを視認可能に表示する。

入力装置４０は、キーボード、マウス、又はタッチパネル等を有し、オペレータからの入力データを受け付ける。なお、表示装置３８及び入力装置４０は、制御装置１６の筐体に一体に組み込まれてもよいし、又は、制御装置１６の筐体とは別体として該筐体に外付けされてもよい。

本実施形態においては、プロセッサ３０は、ロボット１２を動作させて、容器Ｂ内にバラ積みにされたワークＷをエンドエフェクタ２８で把持して取り上げるワークハンドリング作業を実行する。このワークハンドリング作業を実行するために、プロセッサ３０は、まず、視覚センサ１４で容器Ｂ内のワークＷを撮像する。

このときに視覚センサ１４が撮像する画像データＩＤ１は、撮像された各々のワークＷの視覚的な特徴点（エッジ、輪郭、面、辺、角、穴、突部等）を写すワーク特徴ＷＰと、視覚センサ１４（具体的には、センサ座標系Ｃ３の原点）から該ワーク特徴ＷＰの各画素が表すワークＷ上の点までの距離ｄの情報とを含む。

次いで、プロセッサ３０は、ワークＷをモデル化したワークモデルＷＭを、視覚センサ１４によって撮像されたワークＷのワーク特徴ＷＰと照合するためのパラメータＰＭを取得する。そして、プロセッサ３０は、該パラメータＰＭを所定のアルゴリズムＡＬ（ソフトウェア）に適用し、該アルゴリズムＡＬに従ってワークモデルＷＭとワーク特徴ＷＰとを照合することで、画像データＩＤ１に写るワークＷのセンサ座標系Ｃ３における位置（具体的には、位置及び姿勢）のデータ（具体的には、座標）を取得する。そして、プロセッサ３０は、取得したセンサ座標系Ｃ３の位置をロボット座標系Ｃ１に変換することで、撮像したワークＷのロボット座標系Ｃ１における位置データを取得する。

ここで、画像データＩＤ１に写るワークＷの位置を高精度に取得するためには、パラメータＰＭを最適化する必要がある。本実施形態においては、プロセッサ３０は、視覚センサ１４が撮像したワークＷのワーク特徴ＷＰを用いて、パラメータＰＭを最適化するように調整する。

以下、図３を参照して、パラメータＰＭを調整する方法について説明する。図３に示すフローは、例えば、制御装置１６が起動されたときに開始される。なお、図３のフローの開始時点で、上述のアルゴリズムＡＬと、予め準備されたパラメータＰＭ_１とが、メモリ３２に格納されている。

ステップＳ１において、プロセッサ３０は、パラメータ調整指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して、パラメータ調整指令を手動で入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０からパラメータ調整指令を受け付けるとＹＥＳと判定し、ステップＳ２へ進む。一方、プロセッサ３０は、パラメータ調整指令を受け付けていない場合はＮＯと判定し、ステップＳ６へ進む。

ステップＳ２において、プロセッサ３０は、視覚センサ１４によってワークＷを撮像する。具体的には、プロセッサ３０は、ロボット１２を動作させて、視覚センサ１４を、図１に示すように、該視覚センサ１４の視野に少なくとも１つのワークＷが収まる撮像位置に、位置決めする。

次いで、プロセッサ３０は、視覚センサ１４へ撮像指令を送り、該撮像指令に応じて、視覚センサ１４は、ワークＷを撮像して画像データＩＤ１を取得する。上述したように、画像データＩＤ１は、撮像された各々のワークＷのワーク特徴ＷＰと上述の距離ｄの情報とを含む。プロセッサ３０は、視覚センサ１４から画像データＩＤ１を取得する。画像データＩＤ１の各画素は、センサ座標系Ｃ３の座標として表される。

ステップＳ３において、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２を生成する。具体的には、プロセッサ３０は、視覚センサ１４から取得した画像データＩＤ１を基に、オペレータがワーク特徴ＷＰを視認可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）として、画像データＩＤ２を生成する。この画像データＩＤ２の一例を図４に示す。

図４に示す例では、画像データＩＤ２において、ワーク特徴ＷＰが、３次元点群として表示されている。また、画像データＩＤ２には、センサ座標系Ｃ３が設定されており、該画像データＩＤ２の各画素は、視覚センサ１４が撮像した画像データＩＤ１と同様に、センサ座標系Ｃ３の座標として表される。

そして、ワーク特徴ＷＰを構成する複数の点の各々は、上述の距離ｄの情報を有しているので、センサ座標系Ｃ３の３次元座標（ｘ，ｙ，ｚ）として表すことができるようになっている。すなわち、本実施形態においては、画像データＩＤ２は、３次元の画像データである。なお、図４では、理解の容易のために、画像データＩＤ２に計３個のワーク特徴ＷＰが表示されている例を示しているが、実際上は、より多くのワーク特徴ＷＰ（つまり、ワークＷ）が示され得ることを理解されたい。

プロセッサ３０は、画像データＩＤ２を、画像データＩＤ１よりも視認性に優れたＧＵＩとして、該画像データＩＤ１とは異なる画像データとして生成してもよい。例えば、プロセッサ３０は、画像データＩＤ１に写る、ワーク特徴ＷＰ以外の領域を無色にする一方で、ワーク特徴ＷＰに色付け（黒色、青色、赤色等）することによって、オペレータがワーク特徴ＷＰを容易に識別可能とするように、画像データＩＤ２を生成してもよい。

プロセッサ３０は、生成した画像データＩＤ２を表示装置３８に表示させる。こうして、オペレータは、図４に示すような画像データＩＤ２を視認することができる。このように、本実施形態においては、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２を生成する画像生成部５２（図２）として機能する。

なお、プロセッサ３０は、オペレータによる入力装置４０の操作に応じて画像データＩＤ２に写るワークＷを見る方向を変えるように（例えば、３ＤＣＡＤデータのように）、表示装置３８に表示する画像データＩＤ２を更新してもよい。この場合、オペレータは、入力装置４０を操作することで、画像データＩＤ２に写るワークＷを所望の方向から視認することが可能となる。

再度、図３を参照し、ステップＳ４において、プロセッサ３０は、マッチング位置を取得するプロセスを実行する。このステップＳ４について、図５を参照して説明する。ステップＳ１１において、プロセッサ３０は、上述のステップＳ３で生成した画像データＩＤ２に、ワークモデルＷＭをさらに表示する。本実施形態においては、ワークモデルＷＭは、３ＤＣＡＤデータである。

図６に、このステップＳ１１によって生成される画像データＩＤ２の一例を示す。ステップＳ１１において、プロセッサ３０は、センサ座標系Ｃ３によって規定される仮想空間にワークモデルＷＭを配置し、ワークＷのワーク特徴ＷＰとともにワークモデルＷＭが配置された仮想空間の画像データＩＤ２を生成する。また、プロセッサ３０は、センサ座標系Ｃ３において、ワークモデルＷＭとともに、ワーク座標系Ｃ４を設定する。このワーク座標系Ｃ４は、ワークモデルＷＭの位置（具体的には、位置及び姿勢）を規定する座標系である。

本実施形態においては、プロセッサ３０は、このステップＳ１１において、該ステップＳ１１の開始時点でメモリ３２に格納されているパラメータＰＭ_１を用いて、画像データＩＤ２におけるワークＷの位置を検出位置ＤＰ_１として求める。検出位置ＤＰ_１を求めるとき、プロセッサ３０は、パラメータＰＭ_１をアルゴリズムＡＬに適用し、該アルゴリズムＡＬに従って、ワークモデルＷＭを、画像データＩＤ２に写るワーク特徴ＷＰと照合する。

より具体的には、プロセッサ３０は、パラメータＰＭ_１が適用されたアルゴリズムＡＬに従って、センサ座標系Ｃ３によって規定される仮想空間においてワークモデルＷＭの位置を所定の変位量Ｅずつ徐々に変化させて、ワークモデルＷＭの特徴点（エッジ、輪郭、面、辺、角、穴、突部等）と、該特徴点に対応するワーク特徴ＷＰの特徴点とが互いに一致する、ワークモデルＷＭの位置を検索する。

そして、プロセッサ３０は、ワークモデルＷＭの特徴点が、対応するワーク特徴ＷＰの特徴点に一致したときに、該ワークモデルＷＭに設定されているワーク座標系Ｃ４の、センサ座標系Ｃ３における座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を、検出位置ＤＰ_１として検出する。ここで、座標（ｘ，ｙ，ｚ）は、センサ座標系Ｃ３におけるワーク座標系Ｃ４の原点位置を示し、座標（Ｗ，Ｐ，Ｒ）は、センサ座標系Ｃ３に対するワーク座標系Ｃ４の姿勢（いわゆる、ヨー、ピッチ、ロール）を示す。

上述のパラメータＰＭ_１は、ワークモデルＷＭをワーク特徴ＷＰと照合するためのものであって、例えば、上述の変位量Ｅ、画像データＩＤ２において互いに照合する特徴点を検索する範囲を画定するウィンドウのサイズＳＺ、照合時の画像粗さ（又は、分解能）σ、及び、ワークモデルＷＭとワーク特徴ＷＰのどの特徴点を互いに照合するかを特定するデータ（例えば、ワークモデルＷＭ及びワーク特徴ＷＰの「輪郭」を照合するように特定するデータ）を含む。

こうして、プロセッサ３０は、パラメータＰＭ_１を用いてワークモデルＷＭとワーク特徴ＷＰとを互いに照合することで、検出位置ＤＰ_１（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を取得する。したがって、本実施形態においては、プロセッサ３０は、パラメータＰＭ_１を用いて検出位置ＤＰ_１を求める位置検出部５４（図２）として機能する。

次いで、プロセッサ３０は、画像生成部５２として機能して、画像データＩＤ２において、取得した検出位置ＤＰ_１にワークモデルＷＭを表示する。具体的には、プロセッサ３０は、検出位置ＤＰ_１として検出したセンサ座標系Ｃ３の座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）に配置されたワーク座標系Ｃ４によって表される位置に、ワークモデルＷＭを表示する。

こうして、図６に示すように、画像データＩＤ２において、３個のワーク特徴ＷＰに対応する位置に、３個のワークモデルＷＭがそれぞれ表示されることになる。ここで、パラメータＰＭ_１が最適化されていない場合、図６に示すように、取得した検出位置ＤＰ_１（つまり、図６に表示されたワークモデルＷＭの位置）が、ワーク特徴ＷＰからずれてしまうことが起こり得る。

再度、図５を参照して、ステップＳ１２において、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭの位置を変位させるための入力データＩＰ１（第１の入力データ）を受け付けたか否かを判定する。具体的には、オペレータは、表示装置３８に表示された図６に示す画像データＩＤ２を視認しつつ、該画像データＩＤ２に表示されたワークモデルＷＭを、対応するワーク特徴ＷＰに一致する位置へ画像上で移動させるべく、入力装置４０を操作することで入力データＩＰ１を入力する。

プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ１を受け付けるとＹＥＳと判定し、ステップＳ１３へ進む。一方、入力装置４０から入力データＩＰ１を受け付けていない場合はＮＯと判定し、ステップＳ１４へ進む。このように、本実施形態においては、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭの位置を変位させるための入力データＩＰ１を受け付ける入力受付部５６（図２）として機能する。

ステップＳ１３において、プロセッサ３０は、入力データＩＰ１に応じて、画像データＩＤ２に表示されたワークモデルＷＭの位置を変位させる。具体的には、プロセッサ３０は、画像生成部５２として機能して、センサ座標系Ｃ３によって規定される仮想空間内で入力データＩＰ１に応じてワークモデルＷＭの位置を変位させるように、画像データＩＤ２を更新する。こうして、オペレータは、表示装置３８に表示された画像データＩＤ２を視認しつつ入力装置４０を操作することで、画像データＩＤ２においてワークモデルＷＭを対応するワーク特徴ＷＰに近づけるように、変位させることができる。

ステップＳ１４において、プロセッサ３０は、マッチング位置ＭＰを取得するための入力データＩＰ２を受け付けたか否かを判定する。具体的には、オペレータは、ステップＳ１３でワークモデルＷＭを変位させた結果、画像データＩＤ２においてワークモデルＷＭの位置がワーク特徴ＷＰの位置に一致したときに、入力装置４０を操作して、マッチング位置ＭＰを取得するための入力データＩＰ２を入力する。

図７に、画像データＩＤ２においてワークモデルＷＭの位置がワーク特徴ＷＰに一致した状態を示す。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ２を受け付けるとＹＥＳと判定し、ステップＳ１５へ進む一方、入力装置４０から入力データＩＰ２を受け付けていない場合はＮＯと判定し、ステップＳ１２へ戻る。こうして、プロセッサ３０は、ステップＳ１４でＹＥＳと判定するまで、ステップＳ１２～Ｓ１４をループする。

ステップＳ１５において、プロセッサ３０は、入力データＩＰ２を受け付けたときの画像データＩＤ２におけるワークモデルＷＭの位置をマッチング位置ＭＰとして取得する。上述したように、プロセッサ３０が入力データＩＰ２を受け付けたとき、図７に示すように、画像データＩＤ２において、ワークモデルＷＭが、それぞれ、対応するワーク特徴ＷＰに一致している。

プロセッサ３０は、マッチング位置ＭＰとして、図７に示すワークモデルＷＭの各々に設定されているワーク座標系Ｃ４のセンサ座標系Ｃ３における座標（ｘ，ｙ，ｚ，Ｗ，Ｐ，Ｒ）を取得し、メモリ３２に記憶する。このように、本実施形態においては、プロセッサ３０は、マッチング位置ＭＰを取得するマッチング位置取得部５８（図２）として機能する。

再度、図３を参照して、ステップＳ５において、プロセッサ３０は、パラメータＰＭを調整するプロセスを実行する。このステップＳ５について、図８を参照して説明する。ステップＳ２１において、プロセッサ３０は、パラメータＰＭ_ｎの更新回数を特定する番号「ｎ」を「１」にセットする。

ステップＳ２２において、プロセッサ３０は、位置検出部５４として機能し、検出位置ＤＰ_ｎを取得する。具体的には、プロセッサ３０は、このステップＳ２２の開始時点でメモリ３２に格納されているパラメータＰＭ_ｎを用いて検出位置ＤＰ_ｎを求める。仮に、このステップＳ２２の開始時点でｎ＝１にセットされている場合（すなわち、第１回目のステップＳ２２を実行する場合）、プロセッサ３０は、上述のステップＳ１１と同様に、パラメータＰＭ_１を用いて図６に示す検出位置ＤＰ_１を求める。

ステップＳ２３において、プロセッサ３０は、直近のステップＳ２２で求めた検出位置ＤＰ_ｎと、上述のステップＳ４で取得したマッチング位置ＭＰとの差を表すデータΔ_ｎを取得する。このデータΔ_ｎは、例えば、センサ座標系Ｃ３における検出位置ＤＰ_ｎとマッチング位置ＭＰとの差を表す目的関数の値である。この目的関数は、例えば、互いに対応する一対の検出位置ＤＰ_ｎ及びマッチング位置ＭＰの差の和、二乗和、平均値、又は二乗平均値を示す関数であり得る。プロセッサ３０は、取得したデータΔ_ｎをメモリ３２に記憶する。

仮に、このステップＳ２３の開始時点でｎ＝１にセットされている場合（すなわち、第１回目のステップＳ２３を実行する場合）、プロセッサ３０は、検出位置ＤＰ_１とマッチング位置ＭＰとの差を表すデータΔ_１を取得する。このデータΔ_１は、図６に示すワークモデルＷＭのセンサ座標系Ｃ３の位置（すなわち、検出位置ＤＰ_１）と、図７に示すワークモデルＷＭのセンサ座標系Ｃ３の位置（すなわち、マッチング位置ＭＰ）との差を表す。

ステップＳ２４において、プロセッサ３０は、直近のステップＳ２３で取得したデータΔ_ｎの値が、予め定めた閾値Δ_ｔｈ以下（Δ_ｎ≦Δ_ｔｈ）であるか否かを判定する。この閾値Δ_ｔｈは、オペレータによって定められ、メモリ３２に予め格納される。プロセッサ３０は、Δ_ｎ≦Δ_ｔｈである場合はＹＥＳと判定し、ステップＳ５を終了し、図３中のステップＳ６へ進む。

このステップＳ２４でＹＥＳと判定したとき、直近のステップＳ２２で求めた検出位置ＤＰ_ｎがマッチング位置ＭＰに実質一致しており、故に、パラメータＰＭ_ｎが最適化されていると見做すことができる。一方、プロセッサ３０は、Δ_ｎ＞Δ_ｔｈである場合はＮＯと判定し、ステップＳ２５へ進む。

ステップＳ２５において、プロセッサ３０は、直近のステップＳ２３で取得したデータΔ_ｎに基づいて、画像データＩＤ２において検出位置ＤＰ_ｎとマッチング位置ＭＰとの差を小さくすることができるパラメータＰＭ_ｎの変化量α_ｎを決定する。具体的には、プロセッサ３０は、直近のステップＳ２３で取得したデータΔ_ｎから、図８中のステップＳ２２～Ｓ２８のループを繰り返し実行したときにステップＳ２３で取得されるデータΔ_ｎの値をゼロへ向かって収束させることができる、パラメータＰＭ_ｎ（例えば、変位量Ｅ、サイズＳＺ、又は画像粗さσ）の変化量α_ｎを決定する。プロセッサ３０は、この変化量α_ｎを、データΔ_ｎと所定のアルゴリズムとを用いることで求めることができる。

ステップＳ２６において、プロセッサ３０は、パラメータＰＭ_ｎを更新する。具体的には、プロセッサ３０は、直近のステップＳ２５で決定した変化量α_ｎだけパラメータＰＭ_ｎ（例えば、変位量Ｅ、サイズＳＺ、又は画像粗さσ）を変化させることによって、該パラメータＰＭ_ｎを更新し、新たなパラメータＰＭ_ｎ＋１とする。プロセッサ３０は、更新後のパラメータＰＭ_ｎ＋１をメモリ３２に記憶する。仮に、ステップＳ２６の開始時点でｎ＝１にセットされていた場合、プロセッサ３０は、予め準備されたパラメータＰＭ_１を変化量α_１だけ変化させて、パラメータＰＭ_２へ更新する。

ステップＳ２７において、プロセッサ３０は、パラメータＰＭ_ｎの更新回数を特定する番号「ｎ」を「１」だけインクリメントする（ｎ＝ｎ＋１）。ステップＳ２８において、プロセッサ３０は、パラメータＰＭ_ｎの更新回数を特定する番号「ｎ」が、最大値ｎ_ＭＡＸを超えた（ｎ＞ｎ_ＭＡＸ）か、又は、直近のステップＳ２５で決定した変化量α_ｎが予め定めた閾値α_ｔｈ以下となった（α_ｎ≦α_ｔｈ）か否かを判定する。この最大値ｎ_ＭＡＸ及び閾値α_ｔｈは、オペレータによって予め定められ、メモリ３２に格納される。

ここで、プロセッサ３０は、図８に示すように、ステップＳ２４又はＳ２８でＹＥＳと判定するまで、ステップＳ２２～Ｓ２８のループを繰り返し実行する。上述のステップＳ２５にて、プロセッサ３０は、検出位置ＤＰ_ｎとマッチング位置ＭＰとの差（すなわち、データΔ_ｎの値）を小さくすることができるように変化量α_ｎを決定していることから、ステップＳ２２～Ｓ２８のループを繰り返す毎に、ステップＳ２３で取得するデータΔ_ｎの値、及び、ステップＳ２５で決定する変化量α_ｎが、小さくなっていく。

したがって、変化量α_ｎが閾値α_ｔｈ以下となった場合は、パラメータＰＭ_ｎが最適化されたものと見做すことができる。その一方で、ステップＳ２２～Ｓ２８のループを多数回に亘って繰り返し実行したとしても、変化量α_ｎがある値（＞α_ｔｈ）に収束して、閾値α_ｔｈ以下とならない場合がある。このような場合も、パラメータＰＭ_ｎが十分に最適化されたと見做すことができる。

よって、プロセッサ３０は、このステップＳ２８において、ｎ＞ｎ_ＭＡＸ、又は、α_ｎ≦α_ｔｈであるか否かを判定し、ｎ＞ｎ_ＭＡＸ、又は、α_ｎ≦α_ｔｈを満たす場合はＹＥＳと判定してステップＳ５を終了する。一方、プロセッサ３０は、ｎ≦ｎ_ＭＡＸ、且つ、α_ｎ＞α_ｔｈである場合はＮＯと判定し、ステップＳ２２へ戻り、更新後のパラメータＰＭ_ｎ＋１を用いてステップＳ２２～Ｓ２８のループを実行する。

このように、プロセッサ３０は、ステップＳ２４又はＳ２８でＹＥＳと判定するまで、ステップＳ２２～Ｓ２８の一連の動作を繰り返し実行することによって、データΔ_ｎに基づいてパラメータＰＭ_ｎを更新して調整している。したがって、本実施形態においては、プロセッサ３０は、データΔ_ｎに基づいてパラメータＰＭ_ｎを調整するパラメータ調整部６０（図２）として機能する。

プロセッサ３０は、位置検出部５４として機能して画像データＩＤ２から検出位置ＤＰ_ｎを求める場合に上述のように最適化されたパラメータＰＭ_ｎを用いることで、画像データＩＤ２における検出位置ＤＰ_ｎを、マッチング位置ＭＰに対応する（例えば、実質一致する）位置として求めることが可能となる。

再度、図３を参照して、ステップＳ６において、プロセッサ３０は、動作終了指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して、動作終了指令を手動で入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から動作終了指令を受け付けるとＹＥＳと判定し、制御装置１６の動作を終了する。一方、プロセッサ３０は、動作終了指令を受け付けていない場合はＮＯと判定し、ステップＳ１へ戻る。

例えば、オペレータは、ステップＳ５の終了後、動作終了指令を入力せずに、図１に示す容器Ｂ内のワークＷの配置を変化させる。次いで、オペレータは、入力装置４０を操作して、上述のパラメータ調整指令を入力する。そうすると、プロセッサ３０は、ステップＳ１でＹＥＳと判定し、容器Ｂ内の配置が変化した後のワークＷに対してステップＳ２～Ｓ５を実行し、パラメータＰＭ_ｎを調整する。このように、容器Ｂ内のワークＷの配置を変化させる毎にステップＳ２～Ｓ５を実行することによって、様々な位置に配置されたワークＷについてパラメータＰＭ_ｎを最適化することができる。

以上のように、本実施形態においては、プロセッサ３０は、画像生成部５２、位置検出部５４、入力受付部５６、マッチング位置取得部５８、及びパラメータ調整部６０として機能して、パラメータＰＭを調整している。従って、画像生成部５２、位置検出部５４、入力受付部５６、マッチング位置取得部５８、及びパラメータ調整部６０は、パラメータＰＭを調整するための装置５０（図２）を構成する。

この装置５０によれば、画像データＩＤ２においてワークモデルＷＭをワーク特徴ＷＰにマッチングさせたときに取得したマッチング位置ＭＰを用いてパラメータＰＭを調整している。このため、パラメータＰＭの調整に関する専門知識がないオペレータでも、マッチング位置ＭＰを取得することができ、これによりパラメータＰＭを調整することが可能となる。

また、本実施形態においては、プロセッサ３０は、図８中のステップＳ２２～Ｓ２８の一連の動作を繰り返し実行することによってパラメータＰＭ_ｎを調整している。この構成によれば、パラメータＰＭ_ｎを自動で調整することができるとともに、該パラメータＰＭ_ｎを迅速に最適化できる。

また、本実施形態においては、プロセッサ３０は、画像生成部５２として機能して、画像データＩＤ２にワークモデルＷＭをさらに表示し（ステップＳ１１）、入力データＩＰ１に応じて、画像データＩＤ２に表示されたワークモデルＷＭの位置を変位させている（ステップＳ１３）。そして、プロセッサ３０は、画像データＩＤ２においてワークモデルＷＭがワーク特徴ＷＰに一致するように配置されたときに、マッチング位置取得部５８として機能し、マッチング位置ＭＰを取得している（ステップＳ１５）。

この構成によれば、オペレータは、表示装置３８に表示された画像データＩＤ２を視認しつつ入力装置４０を操作することで、画像データＩＤ２においてワークモデルＷＭをワーク特徴ＷＰに容易に一致させることができ、以って、マッチング位置ＭＰを取得できる。したがって、パラメータＰＭの調整に関する専門知識がないオペレータでも、画像上でワークモデルＷＭをワーク特徴ＷＰに位置合わせするだけで、マッチング位置ＭＰを容易に取得可能となる。

上述のようにパラメータＰＭ_ｎを調整した後、プロセッサ３０は、調整後のパラメータＰＭ_ｎを用いて、ワークＷに対する作業（具体的には、ワークハンドリング作業）をロボット１２に実行させる。以下、ロボット１２が実行するワークＷに対する作業について説明する。プロセッサ３０は、オペレータ、上位コントローラ、又はコンピュータプログラムから作業開始指令を受け付けると、ロボット１２を動作させて、視覚センサ１４を、容器Ｂ内のワークＷを撮像可能な撮像位置に位置決めし、視覚センサ１４を動作させてワークＷを撮像する。

このときに視覚センサ１４が撮像する画像データＩＤ３には、少なくとも１つのワークＷのワーク特徴ＷＰが示されている。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して視覚センサ１４から画像データＩＤ３を取得し、該画像データＩＤ３に基づいて、ロボット１２を動作するための動作指令ＣＭを生成する。

より具体的には、プロセッサ３０は、位置検出部５４として機能して、調整後のパラメータＰＭ_ｎをアルゴリズムＡＬに適用し、該アルゴリズムＡＬに従って、ワークモデルＷＭを、画像データＩＤ３に写るワーク特徴ＷＰと照合する。その結果、プロセッサ３０は、画像データＩＤ３における検出位置ＤＰ_ＩＤ３を、センサ座標系Ｃ３の座標として取得する。

次いで、プロセッサ３０は、取得した検出位置ＤＰ_ＩＤ３をロボット座標系Ｃ１（又は、ツール座標系Ｃ２）に変換することで、撮像されたワークＷのロボット座標系Ｃ１（又は、ツール座標系Ｃ２）における位置データＰＤを取得する。次いで、プロセッサ３０は、取得した位置データＰＤに基づいて、ロボット１２を制御するための動作指令ＣＭを生成し、該動作指令ＣＭに従って各サーボモータ２９を制御することで、位置データＰＤを取得したワークＷをエンドエフェクタ２８で把持して取り上げるワークハンドリング作業をロボット１２に実行させる。

このように、本実施形態においては、プロセッサ３０は、動作指令ＣＭを生成する指令生成部６２として機能する。調整後のパラメータＰＭ_ｎを用いることによって、正確な検出位置ＤＰ_ＩＤ３（すなわち、位置データＰＤ）を検出できることから、プロセッサ３０は、ロボット１２にワークハンドリング作業を高精度に実行させることができる。

次に、図９を参照して、上述のステップＳ４（すなわち、マッチング位置を取得するプロセス）の他の例について説明する。なお、図９に示すフローにおいて、図５に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。図９に示すステップＳ４においては、プロセッサ３０は、ステップＳ１１の後、ステップＳ３１及びＳ３２を実行する。

具体的には、ステップＳ３１において、プロセッサ３０は、ワークモデルＷＭを画像データＩＤ２から削除するための入力データＩＰ３（第２の入力データ）、又は、さらなるワークモデルＷＭを画像データＩＤ２に追加するための入力データＩＰ４（第２の入力データ）を受け付けたか否かを判定する。

ここで、上述のステップＳ１１において、プロセッサ３０が、ワークモデルＷＭを不適切な位置に誤って表示してしまう場合がある。図１０に、ワークモデルＷＭが不適切な位置に表示されている画像データＩＤ２の例を示す。図１０に示す画像データＩＤ２においては、ワークＷとは別の部材の特徴Ｆが写り込んでいる。

プロセッサ３０は、パラメータＰＭ_１を用いて検出位置ＤＰ_１を求めたときに、特徴ＦをワークＷのワーク特徴ＷＰと誤認し、特徴Ｆに対応する検出位置ＤＰ_１を求めてしまう場合がある。このような場合、オペレータは、画像データＩＤ２から、特徴Ｆに対応する位置に表示されたワークモデルＷＭを削除する必要がある。

一方、上述のステップＳ１１において、プロセッサ３０が、画像データＩＤ２に写るワーク特徴ＷＰを認識できずに、ワークモデルＷＭを表示し損ねてしまう場合がある。このような例を図１１に示す。図１１に示す画像データＩＤ２においては、計３個のワーク特徴ＷＰのうち、右上のワーク特徴ＷＰに対応するワークモデルＷＭが表示されていない。このような場合、オペレータは、画像データＩＤ２にワークモデルＷＭを追加する必要がある。

そこで、本実施形態においては、プロセッサ３０は、ワークモデルＷＭを画像データＩＤ２から削除するための入力データＩＰ３、及び、さらなるワークモデルＷＭを画像データＩＤ２に追加するための入力データＩＰ４を受け付けるように構成されている。具体的には、ステップＳ１１で図１０に示す画像データＩＤ２が表示された場合、オペレータは、該画像データＩＤ２を視認しつつ入力装置４０を操作して、削除すべきワークモデルＷＭを指定する入力データＩＰ３を入力する。

また、ステップＳ１１で図１１に示す画像データＩＤ２が表示された場合、オペレータは、該画像データＩＤ２を視認しつつ入力装置４０を操作して、追加すべきワークモデルＷＭの画像データＩＤ２（センサ座標系Ｃ３）における位置（例えば、座標）を指定する入力データＩＰ４を入力する。

プロセッサ３０は、このステップＳ３１において、Ｉ／Ｏインターフェース３４を通して入力装置４０から入力データＩＰ３又はＩＰ４を受け付けるとＹＥＳと判定し、ステップＳ３２へ進む。一方、入力装置４０から入力データＩＰ３又はＩＰ４を受け付けていない場合はＮＯと判定し、ステップＳ１２へ進む。

ステップＳ３２において、プロセッサ３０は、画像生成部５２として機能し、受け付けた入力データＩＰ３又はＩＰ４に従って、表示したワークモデルＷＭを画像データＩＤ２から削除するか、又は、さらなるワークモデルＷＭを画像データＩＤ２に追加で表示する。例えば、入力データＩＰ３を受け付けたとき、プロセッサ３０は、図１０に示す画像データＩＤ２から、特徴Ｆに対応する位置に表示されたワークモデルＷＭを削除する。その結果、図１２に示すように画像データＩＤ２が更新される。

一方、入力データＩＰ４を受け付けたとき、プロセッサ３０は、図１１に示す画像データＩＤ２において、入力データＩＰ４によって指定された位置にワークモデルＷＭを追加で表示する。その結果、図６に示すように、全てのワーク特徴ＷＰに対応するように計３個のワークモデルＷＭが画像データＩＤ２に表示されることになる。

ステップＳ３２の後、プロセッサ３０は、図５のフローと同様にステップＳ１２～Ｓ１５を実行する。なお、図９に示すフローでは、プロセッサ３０は、ステップＳ１４でＮＯと判定した場合、ステップＳ３１へ戻る。以上のように、本実施形態によれば、オペレータは、ステップＳ１１で表示された画像データＩＤ２において、必要に応じてワークモデルＷＭを削除又は追加することができる。

なお、図９中のステップＳ１１において、プロセッサ３０は、画像データＩＤ２においてランダムに決定した位置にワークモデルＷＭを表示してもよい。プロセッサ３０が、ワークモデルＷＭを画像データＩＤ２にランダムに表示した例を、図１３に示す。この場合において、プロセッサ３０は、画像データＩＤ２に配置するワークモデルＷＭの個数をランダムに決定してもよいし、又は、オペレータが該個数を予め定めてもよい。

代替的には、図９中のステップＳ１１において、プロセッサ３０は、画像データＩＤ２において、予め定めた規則に従って決定した位置にワークモデルＷＭを表示してもよい。例えば、この規則は、ワークモデルＷＭを画像データＩＤ２において等間隔で格子状に配置する規則として、定められ得る。プロセッサ３０が、等間隔で格子状に配置するという規則に従ってワークモデルＷＭを画像データＩＤ２に表示した例を、図１４に示す。

プロセッサ３０がステップＳ１１でワークモデルＷＭをランダム又は所定の規則に従って配置した後、オペレータは、ステップＳ３１において入力装置４０に入力データＩＰ３又はＩＰ４を入力することで、画像データＩＤ２に表示されたワークモデルＷＭを、必要に応じて削除又は追加することができる。

次に、図１５を参照して、上述のステップＳ４（マッチング位置を取得するプロセス）のさらに他の例について説明する。図１５に示すステップＳ４においては、プロセッサ３０は、ステップＳ１１の後、ステップＳ４１及びＳ４２を実行する。ステップＳ４１において、プロセッサ３０は、画像データＩＤ２において、削除対象とする条件Ｇ１を満たしているワークモデルＷＭかあるか否かを判定する。

具体的には、プロセッサ３０は、画像データＩＤ２に写るワークモデルＷＭの各々について、該ワークモデルＷＭの占有領域内に存在する、ワーク特徴ＷＰを構成する３次元点群の点（又は、ワーク特徴ＷＰを写す画素）の数Ｎを算出する。そして、プロセッサ３０は、このステップＳ４１において、ワークモデルＷＭの各々について、算出した数Ｎが予め定めた閾値Ｎ_ｔｈ以下である（Ｎ≦Ｎ_ｔｈ）か否かを判定し、Ｎ≦Ｎ_ｔｈであると判定されたワークモデルＷＭがある場合に、該ワークモデルＷＭを削除対象として特定し、ＹＥＳと判定する。すなわち、本実施形態においては、条件Ｇ１は、数Ｎが閾値Ｎ_ｔｈ以下であることとして、定められている。

例えば、プロセッサ３０がステップＳ１１で図１４に示す画像データＩＤ２を生成したとする。この場合、画像データＩＤ２に写るワークモデルＷＭのうち、上列の左側から２番目及び４番目のワークモデルＷＭと、下列の左側から１番目、３番目及び４番目のワークモデルＷＭとに関し、その専有領域内に存在するワーク特徴ＷＰの点（画素）が少なくなっている。したがって、この場合、プロセッサ３０は、ステップＳ１１において、これら計５個のワークモデルＷＭを削除対象として特定し、ＹＥＳと判定することになる。

ステップＳ４２において、プロセッサ３０は、画像生成部５２として機能し、ステップＳ４１で削除対象として特定したワークモデルＷＭを画像データＩＤ２から自動で削除する。図１４に示す例の場合、プロセッサ３０は、削除対象として特定された上述の計５個のワークモデルＷＭを、画像データＩＤ２から自動で削除する。図１６に、これら５個のワークモデルＷＭが削除された画像データＩＤ２の例を示す。このように、本実施形態においては、プロセッサ３０は、予め定めた条件Ｇ１に従って、表示したワークモデルＷＭを画像データＩＤ２から自動で削除する。

代替的には、プロセッサ３０は、ステップＳ４１において、画像データＩＤ２においてワークモデルＷＭを追加する条件Ｇ２を満たしているか否かを判定してもよい。例えば、プロセッサ３０が、ステップＳ１１で図１１に示す画像データＩＤ２を生成したとする。プロセッサ３０は、各々のワーク特徴ＷＰについて、ワークモデルＷＭの専有領域に含まれる点（又は、画素）を有しているか否かを判定する。

そして、プロセッサ３０は、ワークモデルＷＭの専有領域に含まれる点（画素）を有さないワーク特徴ＷＰがある場合に、該ワーク特徴ＷＰをモデル追加対象として特定し、ＹＥＳと判定する。すなわち、本実施形態においては、条件Ｇ２は、ワークモデルＷＭの専有領域に含まれる点（画素）を有さないワーク特徴ＷＰが存在することとして、定められている。例えば図１１に示す例の場合、プロセッサ３０は、このステップＳ４１において、画像データＩＤ２の右上に示されたワーク特徴ＷＰをモデル追加対象として特定し、ＹＥＳと判定することになる。

そして、ステップＳ４２において、プロセッサ３０は、画像生成部５２として機能し、ステップＳ４１でモデル追加対象として特定したワーク特徴ＷＰに対応する位置に、ワークモデルＷＭを画像データＩＤ２に自動で追加する。その結果、例えば図６に示すようにワークモデルＷＭが追加される。

このように、本実施形態においては、プロセッサ３０は、予め定めた条件Ｇ２に従って、ワークモデルＷＭを画像データＩＤ２に追加で表示する。図１５に示すフローによれば、プロセッサ３０は、条件Ｇ１又はＧ２に従ってワークモデルＷＭを自動で削除又は追加することができるので、オペレータの作業を低減できる。

次に、図１７及び図１８を参照して、ロボットシステム１０の他の機能について説明する。本実施形態においては、プロセッサ３０は、まず、図１７に示す画像取得プロセスを実行する。ステップＳ５１において、プロセッサ３０は、視覚センサ１４が撮像する画像データＩＤ１_{_ｉ}を識別する番号「ｉ」を「１」にセットする。

ステップＳ５２において、プロセッサ３０は、撮像開始指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して撮像開始指令を入力する。プロセッサ３０は、Ｉ／Ｏインターフェース３４を通して入力装置４０から撮像開始指令を受け付けるとＹＥＳと判定し、ステップＳ５３へ進む。一方、プロセッサ３０は、撮像開始指令を受け付けていない場合はＮＯと判定し、ステップＳ５６へ進む。

ステップＳ５３において、プロセッサ３０は、上述のステップＳ２と同様に、視覚センサ１４によってワークＷを撮像する。その結果、視覚センサ１４は、第ｉ番目の画像データＩＤ１_{_ｉ}を撮像し、プロセッサ３０に供給する。ステップＳ５４において、プロセッサ３０は、直近のステップＳ５３で取得した第ｉ番目の画像データＩＤ１_{_ｉ}を、識別番号「ｉ」とともにメモリ３２に記憶する。ステップＳ５５において、プロセッサ３０は、識別番号「ｉ」を「１」だけインクリメントする（ｉ＝ｉ＋１）。

ステップＳ５６において、プロセッサ３０は、撮像終了指令を受け付けたか否かを判定する。例えば、オペレータは、入力装置４０を操作して撮像終了指令を入力する。プロセッサ３０は、撮像終了指令を受け付けるとＹＥＳと判定し、図１７に示すフローを終了する。一方、プロセッサ３０は、撮像終了指令を受け付けていない場合はＮＯと判定し、ステップＳ５２へ戻る。

例えば、オペレータは、ステップＳ５５の終了後、撮像終了指令を入力せずに、図１に示す容器Ｂ内のワークＷの配置を変化させる。次いで、オペレータは、入力装置４０を操作して撮像開始指令を入力する。そうすると、プロセッサ３０は、ステップＳ５２でＹＥＳと判定し、容器Ｂ内の配置が変化した後のワークＷに対してステップＳ５３～Ｓ５５を実行し、第ｉ＋１番目の画像データＩＤ１_{_ｉ＋１}を取得する。

図１７に示すフローの終了後、プロセッサ３０は、図１８に示すフローを実行する。なお、図１８に示すフローにおいて、図３及び図１７に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。プロセッサ３０は、ステップＳ１でＹＥＳと判定した場合はステップＳ５１へ進む一方、ＮＯと判定した場合はステップＳ６に進む。

そして、プロセッサ３０は、ステップＳ６においてＹＥＳと判定した場合は、図１８に示すフローを終了する一方、ＮＯと判定した場合は、ステップＳ１へ戻る。ステップＳ５１において、プロセッサ３０は、画像データＩＤ１_{_ｉ}の識別番号「ｉ」を「１」にセットする。

ステップＳ６２において、プロセッサ３０は、ワーク特徴ＷＰが表示された画像データＩＤ２_{_ｉ}を生成する。具体的には、プロセッサ３０は、識別番号「ｉ」で識別される第ｉ番目の画像データＩＤ１_{_ｉ}をメモリ３２から読み出す。そして、プロセッサ３０は、第ｉ番目の画像データＩＤ１_{_ｉ}を基に、第ｉ番目の画像データＩＤ１_{_ｉ}に写るワーク特徴ＷＰをオペレータが視認可能なＧＵＩとして、例えば図４に示すような第ｉ番目の画像データＩＤ２_{_ｉ}を生成する。

ステップＳ６２の後、プロセッサ３０は、第ｉ番目の画像データＩＤ２_{_ｉ}を用いて上述のステップＳ４及びＳ５を順次実行し、第ｉ番目の画像データＩＤ２_{_ｉ}に関して最適化するようにパラメータＰＭ_ｎを調整する。次いで、プロセッサ３０は、ステップＳ５５を実行し、識別番号「ｉ」を「１」だけインクリメントする（ｉ＝ｉ＋１）。

ステップＳ６４において、プロセッサ３０は、識別番号「ｉ」が、最大値ｉ_ＭＡＸを超えた（ｉ＞ｉ_ＭＡＸ）か否かを判定する。この最大値ｉ_ＭＡＸは、図１７のフローでプロセッサ３０が取得した画像データＩＤ１_{_ｉ}の総数である。プロセッサ３０は、ステップＳ６４において、ｉ＞ｉ_ＭＡＸである場合はＹＥＳと判定し、図１８に示すフローを終了する一方、ｉ≦ｉ_ＭＡＸである場合はＮＯと判定し、ステップＳ６２へ戻る。こうして、プロセッサ３０は、ステップＳ６４でＹＥＳと判定するまで、ステップＳ６２、Ｓ４、Ｓ５、Ｓ５５及びＳ６４のループを繰り返し実行し、全ての画像データＩＤ２_{_ｉ}（ｉ＝１，２，３，・・・ｉ_ＭＡＸ）に関してパラメータＰＭ_ｎを調整する。

以上のように、本実施形態においては、図１７に示すフローによって、様々な位置に配置したワークＷの画像データＩＤ１_{_ｉ}を複数蓄積し、その後に、図１８に示すフローにおいて、蓄積した複数の画像データＩＤ１_{_ｉ}を用いてパラメータＰＭを調整している。この構成によれば、様々な位置に配置したワークＷについてパラメータＰＭを最適化することができる。

なお、図１７に示すフローにおいて、プロセッサ３０は、ステップＳ５２を省略し、且つ、ステップＳ５６の代わりに上述のステップＳ６４を実行し、識別番号「ｉ」が最大値ｉ_ＭＡＸを超えた（ｉ＞ｉ_ＭＡＸ）か否かを判定してもよい。このときのステップＳ６４で用いられる閾値ｉ_ＭＡＸは、２以上の整数としてオペレータによって予め定められる。

そして、プロセッサ３０は、このステップＳ６４でＹＥＳと判定した場合は、図１７のフローを終了する方、ＮＯと判定した場合はステップＳ５３へ戻る。ここで、プロセッサ３０は、このような図１７のフローの変形例において、ステップＳ５３を実行する毎に、視覚センサ１４の位置（具体的には、位置及び姿勢）を変更して、ワークＷを異なる位置及び視線方向Ａ２から撮像してもよい。この変形例によれば、オペレータが手動でワークＷの配置を変えなくとも、様々な配置のワークＷを撮像した画像データＩＤ１_{_ｉ}を自動で取得し、蓄積することができる。

なお、プロセッサ３０は、メモリ３２に予め格納されたコンピュータプログラムに従って、図３、図１７及び図１８に示すフローを実行してもよい。このコンピュータプログラムは、図３、図１７及び図１８に示すフローをプロセッサ３０に実行させるための命令文を含み、メモリ３２に予め格納される。

上述の実施形態においては、プロセッサ３０が、実機のロボット１２及び視覚センサ１４によって、実物のワークＷの画像データＩＤ１を取得する場合について述べた。しかしながら、プロセッサ３０は、視覚センサ１４をモデル化した視覚センサモデル１４ＭによってワークモデルＷＭを仮想的に撮像することによって、画像データＩＤ１を取得してもよい。

この場合において、プロセッサ３０は、仮想空間内に、ロボット１２をモデル化したロボットモデル１２Ｍと、該ロボットモデル１２Ｍのエンドエフェクタモデル２８Ｍに固定した視覚センサモデル１４Ｍとを配置し、ロボットモデル１２Ｍ及び視覚センサモデル１４Ｍを仮想空間内で模擬的に動作させて、図３、図１７及び図１８に示すフローを実行してもよい（すなわち、シミュレーション）。この構成によれば、実機のロボット１２及び視覚センサ１４を用いることなく、いわゆるオフライン動作によってパラメータＰＭを調整することができる。

なお、上述の装置５０から入力受付部５６を省略することもできる。この場合において、プロセッサ３０は、図５のステップＳ１２～Ｓ１４を省略し、ステップＳ１１で生成した画像データＩＤ２からマッチング位置ＭＰを自動で取得してもよい。例えば、画像データＩＤに写るワーク特徴ＷＰとマッチング位置ＭＰとの相関性を示す学習モデルＬＭがメモリ３２に予め格納されてもよい。

この学習モデルＬＭは、例えば、少なくとも１つのワーク特徴ＷＰが写る画像データＩＤと、該画像データＩＤにおけるマッチング位置ＭＰのデータとの学習データセットを、機械学習装置に反復して与えることによって（例えば、教師あり学習）、構築することができる。プロセッサ３０は、ステップＳ１１で生成した画像データＩＤ２を学習モデルＬＭに入力する。そうすると、学習モデルＬＭは、入力された画像データＩＤ２に写るワーク特徴ＷＰに対応するマッチング位置ＭＰを出力する。こうして、プロセッサ３０は、画像データＩＤ２からマッチング位置ＭＰを自動で取得できる。なお、プロセッサ３０は、この機械学習装置の機能を実行するように構成されてもよい。

なお、上述の実施形態においては、画像データＩＤ２において、ワーク特徴ＷＰが３次元点群から構成される場合について述べた。しかしながら、これに限らず、プロセッサ３０は、ステップＳ３において、ワーク特徴ＷＰを写す各画素の色又は色調（濃淡）が上述の距離ｄに応じて変化するように表された距離画像として、画像データＩＤ２を生成してもよい。

また、プロセッサ３０は、ステップＳ３において、画像データＩＤ２を新たに生成することなく、視覚センサ１４から取得した画像データＩＤ１を、表示装置３８に表示するための画像データとして生成し、表示装置３８に表示させてもよい。そして、プロセッサ３０は、画像データＩＤ１を用いてステップＳ３及びＳ４を実行してもよい。

また、上述の装置５０から画像生成部５２を省略し、該画像生成部５２の機能を外部機器（例えば、視覚センサ１４、又はＰＣ）に求めることもできる。例えば、プロセッサ３０は、視覚センサ１４が撮像した画像データＩＤ１を、何ら変更を加えずに元のデータ形式として用いて、パラメータＰＭを調整してもよい。この場合、視覚センサ１４が画像生成部５２の機能を担うことになる。

視覚センサ１４は、３次元視覚センサに限らず、２次元カメラであってもよい。この場合において、プロセッサ３０は、２次元の画像データＩＤ１を基に、２次元の画像データＩＤ２を生成し、ステップＳ３及びＳ４を実行してもよい。この場合、センサ座標系Ｃ３は、２次元の座標系（ｘ，ｙ）となる。

上述の実施形態においては、装置５０が制御装置１６に実装される場合について述べた。しかしながら、これに限らず、装置５０は、制御装置１６とは別のコンピュータ（例えば、デスクトップ型ＰＣ、タブレット端末装置若しくはスマートフォン等のモバイル電子機器、又は、ロボット１２を教示するための教示装置）に実装されてもよい。この場合、該別のコンピュータは、装置５０として機能するプロセッサを有し、制御装置１６のＩ／Ｏインターフェース３４に通信可能に接続されてもよい。

なお、上述のエンドエフェクタ２８は、ロボットハンドに限らず、ワークに対する作業を行う如何なる装置（レーザ加工ヘッド、溶接トーチ、塗料塗布器等）であってもよい。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。

１０ ロボットシステム
１２ ロボット
１４ 視覚センサ
１６ 制御装置
３０ プロセッサ
５０ 装置
５２ 画像生成部
５４ 位置検出部
５６ 入力受付部
５８ マッチング位置取得部
６０ パラメータ調整部
６２ 指令生成部

Claims (8)

1. 視覚センサが撮像したワークのワーク特徴が表示された画像データにおいて前記ワークをモデル化したワークモデルを前記ワーク特徴と照合するためのパラメータを用いて、前記画像データにおける前記ワークの位置を検出位置として求める位置検出部と、
   前記ワーク特徴とともに前記ワークモデルを表示する前記画像データを生成する画像生成部と、
   前記画像データにおいて前記ワークモデルの位置を変位させるための第１の入力データを受け付ける入力受付部と、
   前記画像生成部が前記第１の入力データに応じて前記画像データに表示された前記ワークモデルの位置を変位させて該ワークモデルを前記ワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得するマッチング位置取得部と、
   前記検出位置と前記マッチング位置との差を表すデータと、予め定めた閾値と、の比較に基づいて調整の要否を判定し、必要と判定された場合に前記パラメータを調整するパラメータ調整部と、を備える、装置。
2. 前記画像生成部は、
   前記位置検出部が取得した前記検出位置に前記ワークモデルを表示するか、
   前記画像データにおいてランダムに決定した位置に前記ワークモデルを表示するか、又は、
   前記画像データにおいて予め定めた規則に従って決定した位置に前記ワークモデルを表示する、請求項１に記載の装置。
3. 前記入力受付部は、さらに、前記ワークモデルを前記画像データから削除するか、又は、第２の前記ワークモデルを前記画像データに追加するための第２の入力データを受け付け、
   前記画像生成部は、前記第２の入力データに従って、表示した前記ワークモデルを前記画像データから削除し、又は、前記第２のワークモデルを前記画像データに追加で表示する、請求項１又は２に記載の装置。
4. 前記画像生成部は、予め定めた条件に従って、表示した前記ワークモデルを前記画像データから削除するか、又は、第２の前記ワークモデルを前記画像データに追加で表示する、請求項１又は２に記載の装置。
5. 前記ワーク特徴は、前記視覚センサをモデル化した視覚センサモデルによって前記ワークモデルを仮想的に撮像することによって取得される、請求項１～４のいずれか１項に記載の装置。
6. ワークを撮像する視覚センサと、
   前記ワークに対する作業を実行するロボットと、
   前記視覚センサが撮像した画像データに基づいて、前記ロボットを動作させるための動作指令を生成する指令生成部と、
   請求項１～５のいずれか１項に記載の装置と、を備え、
   前記位置検出部は、前記パラメータ調整部によって調整された前記パラメータを用いて、前記視覚センサが撮像した前記画像データにおける前記ワークの位置を検出位置として取得し、
   前記指令生成部は、
   前記位置検出部が前記調整されたパラメータを用いて取得した前記検出位置に基づいて、前記ロボットを制御するための制御座標系における前記ワークの位置データを取得し、
   前記位置データに基づいて、前記動作指令を生成する、ロボットシステム。
7. プロセッサが、
   視覚センサが撮像したワークのワーク特徴が表示された画像データにおいて前記ワークをモデル化したワークモデルを前記ワーク特徴と照合するためのパラメータを用いて、前記画像データにおける前記ワークの位置を検出位置として求め、
   前記ワーク特徴とともに前記ワークモデルを表示する前記画像データを生成し、
   前記画像データにおいて前記ワークモデルの位置を変位させるための第１の入力データを受け付け、
   前記第１の入力データに応じて前記画像データに表示された前記ワークモデルの位置を変位させて該ワークモデルを前記ワーク特徴に一致するように配置したときの、該画像データにおける該ワークモデルの位置をマッチング位置として取得し、
   前記検出位置と前記マッチング位置との差を表すデータと、予め定めた閾値と、の比較に基づいて調整の要否を判定し、必要と判定された場合に前記パラメータを調整する、方法。
8. 請求項７に記載の方法を前記プロセッサに実行させるコンピュータプログラム。

Images