JP6937995B2 - 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法 - Google Patents

Description

本発明は、物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法に関する。

ＦＡ（Factory Automation）における検査や生産ラインにおいて、ばら積みされた部品（ワーク）等の物体をロボットによって１つずつ取り出す装置（いわゆるばら積みピッキング装置）が知られている。かかる装置では、例えば、ばら積みされたワークを３次元計測し、得られた計測結果とワークの３次元モデルデータとを照合することによって、個別のワークの３次元位置姿勢を認識する。このような物体（認識対象物）の３次元位置姿勢を認識する手法として、例えば特許文献１には、３次元計測手段により得られた画像から認識対象物の輪郭（エッジ）及び表面形状を抽出し、それらを３次元モデルデータにおけるエッジ及び表面形状と照合することにより、認識対象物の位置姿勢を評価する装置及び方法が記載されている。

特許第６１９８１０４号公報

ところで、従来の物体の位置姿勢認識手法においては、その位置姿勢認識結果の良否を判断するために、例えば３次元モデルデータと物体の計測データとの３次元マッチングにおける類似度（類似スコア）が用いられることが一般的である。上記特許文献１における表面形状の認識の程度を示す「点群評価値」も、かかる類似スコアの一例に相当する。例えば、類似度が所定の閾値より高ければ位置姿勢認識結果は正しいと判断し、類似度が所定の閾値より低ければ位置姿勢認識結果は誤りだと判定する。

しかし、認識対象物である物体の形状や物体が載置されている状態によっては、３次元マッチングの結果として高い類似スコアが得られた場合であっても、実際には認識に失敗していたり、認識されてはいるものの、その認識精度が低かったりするといった問題が生じていた。しかも、そのように言わば信頼度に劣る類似スコアに起因する低い精度の認識結果が得られても、類似スコアを用いた認識結果が正しいのか誤りなのかを判別することは困難であった。

また、物体の位置姿勢の認識精度を改善するべく、上記特許文献１に記載されているような輪郭（エッジ）の認識の程度を示す「輪郭評価値」を併用することも想定され得る。しかし、物体の輪郭を認識するために用いられる例えば輝度画像は、撮像時の照明や影の影響を受け易い傾向にある。従って、輪郭評価値を用いたとしても、物体の撮像状況によっては、認識精度を向上させることはできない。また、信頼度に劣る輪郭評価値に起因する低い精度の認識結果が得られても、類似スコアと輪郭表価値を併用した認識結果が正しいのか誤りなのかを判別することは依然として困難である。

そして、そのように類似スコアが高いにも拘わらず精度が低い認識結果に基づいて物体のピッキングを試行した場合、その物体を把持することができず、結果として、安定した良好なピッキング操作を行うことができないという課題があった。

そこで、本発明は、一側面では、かかる事情を鑑みてなされたものであり、ワーク等の物体の３次元位置姿勢の認識において、信頼度に劣る類似スコアに起因する精度が低い位置姿勢認識結果を判別することが可能であり、その結果、安定した良好なピッキング操作の実現に資することができる物体認識処理技術、及びそれを用いた物体ピッキング技術を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

〔１〕本開示に係る物体認識処理装置の一例は、物体の３次元形状を表す３次元モデルデータを取得するモデルデータ取得部と、前記物体の３次元位置情報を含む計測データを取得する計測部と、前記３次元モデルデータと前記計測データとに基づいて、前記物体の位置姿勢を認識する位置姿勢認識部と、前記物体の位置姿勢認識結果における前記３次元モデルデータと前記計測データとの類似度（合致度）を示す類似スコアを算出する類似スコア算出部と、前記物体の位置姿勢認識結果における該物体の３次元形状の特徴を示す指標を算出し、該指標に基づいて前記類似スコアの信頼度を算出する信頼度算出部と、前記類似スコアと前記信頼度とに基づいて、前記物体の位置姿勢認識結果の良否を示す統合スコアを算出する統合スコア算出部とを備える。

なお、類似スコアの「信頼度」を算出するための「指標」の種類は、単一であっても複数であってもよい。その際、単一の「指標」を用いる場合、その「指標」自体を「信頼度」としてもよいし、その「指標」に適宜の補正を施したものを「信頼度」としてもよい。また、複数の「指標」から「信頼度」を算出する場合、それらの複数の「指標」を組み合わせる演算としては、特に制限されず、例えば乗算や除算等を挙げることができ、また、個々の「指標」に適宜の補正を施したものを組み合わせてもよい。さらに、「統合スコア」を算出するための「類似スコア」とその「信頼度」を組み合わせる演算も、特に制限されず、例えば乗算や除算等を挙げることができる。

当該構成では、認識対象である物体の３次元モデルデータと物体の３次元位置情報を含む計測データとに基づいて、例えば両者の３次元マッチングにより、物体の位置姿勢を認識し、その位置姿勢認識結果における両者の類似スコアを算出する。また、位置姿勢認識結果における物体の３次元形状の特徴を示す指標を算出し、さらに、その指標に基づいて、類似スコアの当否を示す信頼度を算出する。そして、類似スコアと信頼度を統合することにより、位置姿勢認識結果の良否を示す統合スコアを算出するので、例えば、その統合スコアと所定の閾値とを比較することにより、類似スコアが高いにも拘わらず精度が低い位置姿勢認識結果を判別することができる。

これにより、例えば、ロボットとハンド等を用いて物体をピッキングする際に、位置姿勢認識結果における統合スコアが高い、すなわち、位置姿勢の認識精度が高い物体を把持対象として選定することができる。また、十分に高い統合スコアが得られない場合、すなわち、位置姿勢の認識精度が十分に高い物体を選定することができない場合には、例えば計測条件（撮像条件）や位置認識における物体の検出条件等を適宜変更した上で、計測データの再取得と位置姿勢の再認識を行うことが可能となる。その結果、例えば類似スコアのみに基づいて物体の位置姿勢認識結果の良否を判断してピッキングを行う場合に比して、良好且つ安定したピッキング操作を行い得る。

このとおり、当該構成によれば、物体の位置姿勢認識結果における類似スコアだけでは把握することができない物体の３次元形状の特徴に着目し、かかる３次元形状の特徴の程度（多さ）を測る指標に基づいて、類似スコアの当否を示す信頼度を算出し、それを類似スコアと組み合わせて統合スコアとして数値化することにより、位置姿勢認識結果の良否の判別精度を向上することが可能となる。

〔２〕上記構成において、前記物体の３次元形状の特徴は、例えば、前記物体の位置姿勢認識結果から把握される、前記物体の３次元形状の多様性を示す物理量である。

当該構成では、位置姿勢認識結果に反映された物体の３次元形状の多様性（換言すれば３次元形状の豊富さ）を示す物理量を、その位置姿勢認識結果に基づいて、上記指標として算出することができるので、物体の３次元形状の特徴を数値化して評価し易くなる。

〔３〕上記構成において、前記信頼度算出部は、前記物体の位置姿勢認識結果における面の数を、前記指標として算出してもよい。

当該構成では、物体の位置姿勢認識結果において検出される面の数が、その位置姿勢認識結果における物体の３次元形状の多様性や豊富さを反映するので、それを指標とすることにより、類似スコアの信頼度及び統合スコアの算出精度を向上させることができる。

〔４〕上記構成において、前記信頼度算出部は、前記物体の位置姿勢認識結果において検出される各面の法線方向を量子化し、当該量子化された前記法線方向の頻度分布における最頻値、又は、分散を、前記指標として算出してもよい。なお、法線方向の量子化方法は、特に制限されず、例えば、計測部の光軸（視点を通る軸）に直交する平面上の有限領域を複数のセグメントに分割し、各セグメントに適宜の番号を付し（ナンバリング）、各面の法線ベクトルをその平面上の有限領域に２次元投影したときに、各法線ベクトルが属するセグメントの番号をその法線ベクトルの向き（すなわち法線方向）に関連付ける（マッピング）といった方法を例示することができる。

当該構成では、物体の位置姿勢認識結果において検出される各面について量子化された法線方向の頻度分布における最頻値（その逆数でも実質的に同等である。）、又は、分散が、その位置姿勢認識結果において検出される面の分布を表す。よって、量子化された法線方向の頻度分布における最頻値、又は、分散は、その位置姿勢認識結果における物体の３次元形状の多様性や豊富さを反映するので、それらを指標とすることにより、類似スコアの信頼度及び統合スコアの算出精度を向上させることができる。

〔５〕上記構成において、前記信頼度算出部は、前記物体の位置姿勢認識結果における表面積を、前記指標として算出してもよい。

当該構成では、物体の位置姿勢認識結果において算出される物体の表面積が、その位置姿勢認識結果における物体の３次元形状の多様性や豊富さを反映するので、それを指標とすることにより、類似スコアの信頼度及び統合スコアの算出精度を向上させることができる。

〔６〕上記構成において、前記信頼度算出部は、前記物体の位置姿勢認識結果における輪郭線（エッジに該当する線分）の数、又は、長さ（各線分の合計長さ）を、前記指標として算出してもよい。

当該構成では、物体の位置姿勢認識結果において検出される輪郭線の数、又は、算出されるその輪郭線の長さが、その位置姿勢認識結果における物体の３次元形状の多様性や豊富さを反映するので、それらを指標とすることにより、類似スコアの信頼度及び統合スコアの算出精度を向上させることができる。

〔７〕上記構成において、前記信頼度算出部は、前記物体の位置姿勢認識結果における輝度分布の分散、又は、前記物体の位置姿勢認識結果における距離分布の分散を、前記指標として算出してもよい。

当該構成では、物体の位置姿勢認識結果において算出される輝度分布における分散、又は、物体の位置姿勢認識結果において算出される距離分布を表す値が、その位置姿勢認識結果における物体の３次元形状の多様性や豊富さを反映するので、それらを指標とすることにより、類似スコアの信頼度及び統合スコアの算出精度を向上させることができる。

〔８〕上記構成において、前記信頼度算出部は、前記指標に重み付けを行い、該重み付けした指標に基づいて、前記類似スコアの信頼度を算出してもよい。

当該構成では、指標に適宜の重み付けを行う補正を実施することにより、その指標の重要度を加味して類似スコアの信頼度を算出することができるので、類似スコアの信頼度及び統合スコアの算出精度を更に向上させることができる。

〔９〕上記構成において、前記信頼度算出部は、前記物体の異なる位置姿勢毎に前記指標又は前記信頼度を予め算出しておき、前記物体の位置姿勢認識結果に対応する前記指標又は前記信頼度を選定してもよい。

当該構成でも、物体の位置姿勢認識結果に対応したその物体の３次元形状の特徴を示す指標、又は、類似スコアについての信頼度を選定し、それらに基づいて統合スコアを算出することができるので、類似スコアが高いにも拘わらず精度が低い位置姿勢認識結果を判別することができる。

〔１０〕本開示に係る物体認識処理方法の一例は、モデルデータ取得部と、計測部と、位置姿勢認識部と、類似スコア算出部と、信頼度算出部と、統合スコア算出部とを備える本開示に係る物体認識処理装置の一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。すなわち、当該方法は、前記モデルデータ取得部が、物体の３次元形状を表す３次元モデルデータを取得するステップと、前記計測部が、前記物体の３次元位置情報を含む計測データを取得するステップと、前記位置姿勢認識部が、前記３次元モデルデータと前記計測データとに基づいて、前記物体の位置姿勢を認識するステップと、前記類似スコア算出部が、前記物体の位置姿勢認識結果における前記３次元モデルデータと前記計測データとの類似度を示す類似スコアを算出するステップと、前記信頼度算出部が、前記物体の位置姿勢認識結果における該物体の３次元形状の特徴を示す指標を算出し、該指標に基づいて前記類似スコアの信頼度を算出するステップと、前記統合スコア算出部が、前記類似スコアと前記信頼度とに基づいて、前記物体の位置姿勢認識結果の良否を示す統合スコアを算出するステップとを含む。

〔１１〕本開示に係る物体ピッキング装置の一例は、物体を把持して取り出すための装置であって、本開示に係る物体認識処理装置の一例と、前記物体を把持するハンドと、前記ハンドを移動するロボットと、前記物体認識処理装置、前記ハンド、及び前記ロボットを制御する制御装置とを備える。そして、前記制御装置は、前記物体認識処理装置によって算出された前記統合スコアに基づいて、前記ハンドが把持する前記物体を決定する把持物体決定部、前記ハンドが前記物体を把持する際の前記ハンドの把持姿勢を算出する把持姿勢算出部、及び、前記ロボットにより前記ハンドを前記把持姿勢へ移動する経路を算出する経路算出部を有する。なお、計測部は、固定されていてもよいし、移動可能に設置されていてもよく、後者の場合、計測部自体が駆動機構を有していてもよいし、計測部が例えばロボットに取り付けられていてもよい。

当該構成では、本開示に係る物体認識処理装置によって算出された統合スコアに基づいて、ピッキングにおける把持対象の物体を決定、例えば、位置姿勢認識結果における統合スコアが高い（すなわち、位置姿勢の認識精度が高い）物体を把持対象として選定する。よって、例えば類似スコアのみに基づいて物体の位置姿勢認識結果の良否を判断してピッキングを行う手法に比して、良好且つ安定したピッキング操作を実現することができる。

〔１２〕上記構成において、前記制御装置は、前記物体認識処理装置によって算出された前記統合スコアに基づいて、前記計測データを取得する際の計測条件を変更する計測条件変更部を有し、前記物体認識処理装置の前記計測部は、変更後の前記計測条件に基づいて、前記物体の３次元位置情報を含む計測データを再取得し、前記物体認識処理装置の前記位置姿勢認識部は、前記３次元モデルデータと再取得された前記計測データとに基づいて、前記物体の位置姿勢を再認識するように構成してもよい。

なお、このとき、最適化された計測条件へ変更することができない場合、例えば、計測部が物体又はその周辺の物体と物理的に干渉してしまうような場合には、そのような干渉等が生じるか否かを判定した上で、次に最適な計測条件への変更を行うようにすることもできる。

当該構成では、本開示に係る物体認識処理装置によって算出された統合スコアに基づいて、例えば、統合スコアが十分に高い（すなわち、認識精度が十分に高い）位置姿勢認識結果が得られなかった場合に、計測条件を変更した上で、物体の３次元位置情報を含む計測データの再取得、及び、物体の位置姿勢の再認識を行う。これにより、十分に高い統合スコアを有する位置姿勢認識結果が得られてから、ピッキングにおける把持対象の物体を決定することができる。従って、例えば類似スコアのみに基づいて物体の位置認識結果の良否を判断し、計測データの再取得や位置姿勢の再認識を行わずにピッキングを行う手法に比して、更に良好且つ安定したピッキング操作を実現することができる。

〔１３〕上記構成において、前記計測条件変更部は、前記計測条件として、前記計測部の位置姿勢を変更するようにしてもよい。

当該構成では、物体の３次元位置情報を含む計測データの再取得において、計測部の位置姿勢を変更することにより、物体に対する計測部の視点を変更することができる。その結果、物体の載置状態を変更することなく、その物体を計測する際の視野を種々変更することができるので、３次元形状の特徴の多様性が増大するような物体の位置姿勢を選択することにより、位置姿勢認識の精度を更に向上させることができる。

〔１４〕上記構成において、前記計測条件変更部は、前記３次元モデルデータ、再認識前の前記物体の位置姿勢認識結果、及び、前記計測データの再取得前の前記計測部の位置姿勢に基づいて、変更するべき前記計測部の位置姿勢を算出してもよい。

当該構成では、再認識前の物体の位置姿勢認識結果、及び、計測データの再取得前の計測部の位置姿勢が判明しているので、物体の３次元モデルデータを用いることにより、計測部の位置姿勢を種々変化させて計測データを再取得したときの物体の位置姿勢認識結果を予測することができる。また、得られた物体の種々の位置姿勢の予測認識結果について、先に述べた類似スコアの信頼度又は統合スコアを算出することにより、それらの予測認識結果の良否を推定することもできる。従って、物体の位置姿勢の予測認識結果のなかから、最適な又は良好な位置姿勢を選定し、その状態の物体の計測データを取得することが可能な計測部の位置姿勢を、変更するべき計測条件とすることができる。

〔１５〕本開示に係る物体ピッキング方法の一例は、本開示に係る物体ピッキング装置の一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。すなわち、当該方法は、本開示に係る物体認識処理装置の一例と、ハンドと、ロボットと、制御装置とを備える物体ピッキング装置を用い、物体を把持して取り出すための方法であって、前記物体認識処理装置が、前記物体の位置姿勢認識結果における良否を示す統合スコアを算出する算出ステップと、前記ハンドが、前記物体を把持する把持ステップと、前記ロボットが、前記ハンドを移動する移動ステップと、前記制御装置が、前記物体認識処理装置、前記ハンド、及び前記ロボットを制御する制御ステップとを含む。そして、前記制御ステップは、前記統合スコアに基づいて、前記ハンドが把持する前記物体を決定する把持物体決定ステップ、前記ハンドが前記物体を把持する際の前記ハンドの把持姿勢を算出する把持姿勢算出ステップ、及び、前記ロボットにより前記ハンドを前記把持姿勢へ移動する経路を算出する経路算出ステップを有する。

なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。

本発明によれば、ワーク等の物体の３次元位置姿勢の認識において、信頼度に劣る類似スコアに起因する精度が低い認識結果を判別することが可能であり、これにより、良好且つ安定したピッキング操作の実現に資することができる。

実施形態に係る物体認識処理装置を備える物体ピッキング装置の適用場面の一例を模式的に示す平面図である。 実施形態に係る物体認識処理装置を備える物体ピッキング装置のハードウェアの構成の一例を模式的に示す平面図である。 実施形態に係る物体認識処理装置を備える物体ピッキング装置の機能構成の一例を模式的に示す平面図である。 実施形態に係る物体認識処理装置を備える物体ピッキング装置における処理手順の一例を示すフローチャートである。 実施形態に係る物体ピッキング装置に備わる物体認識処理装置による物体の位置姿勢認識結果の一例を模式的に示す平面図である。 図５に示す物体の位置姿勢認識結果における類似スコア、指標、信頼度、及び統合スコアの算出結果の一覧を示す表である。 図５に示す物体の位置姿勢認識結果において特定された面の法線方向の頻度分布を模式的に示すグラフである。 図５に示す物体の位置姿勢認識結果において特定された面の法線方向の頻度分布を模式的に示すグラフである。 図５に示す物体の位置姿勢認識結果において特定された面の法線方向の頻度分布を模式的に示すグラフである。 図５に示す物体の位置姿勢認識結果において特定された面の法線方向の頻度分布を模式的に示すグラフである。 （Ａ）は、第１変形例に係る物体認識処理装置を備える物体ピッキング装置の適用場面の一例を模式的に示す平面図であり、（Ｂ）は、第１変形例に係る物体ピッキング装置に備わる物体認識処理装置による物体の位置姿勢認識結果の一例を模式的に示す平面図である。 図８（Ｂ）に示す位置姿勢認識結果における類似スコア、指標、信頼度、及び統合スコアの算出結果の一覧を示す表である。 （Ａ）は、第１変形例に係る物体認識処理装置を備える物体ピッキング装置の適用場面の他の一例を模式的に示す平面図であり、（Ｂ）は、第１変形例に係る物体ピッキング装置に備わる物体認識処理装置による物体の位置姿勢認識結果の他の一例を模式的に示す平面図である。 図１０（Ｂ）に示す位置姿勢認識結果における類似スコア、指標、信頼度、及び統合スコアの算出結果の一覧を示す表である。

以下、本開示の一例に係る実施の形態（以下「実施形態」とも表記する。）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

§１ 適用例
まず、図１を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００の適用場面の一例を模式的に示す平面図である。本実施形態に係るワークピッキング装置１００は、例えば収納容器６等の供給装置内にばら積みされた複数のワーク５を、その収納容器６から取り出して適宜のトレー等（図示せず）へ移設し、整列させて配置する。また、図１の例では、ワークピッキング装置１００は、センサ１、ハンド２、ロボット３、及び、制御装置４を備える。

このとおり、センサ１は、本発明に係る「物体認識処理装置」における「計測部」の一例に相当し、ハンド２、ロボット３、及び制御装置４は、本発明に係る「物体ピッキング装置」における「ハンド」、「ロボット」、及び「制御装置」のそれぞれの一例に相当する。また、ワーク５は、本発明に係る「物体認識処理装置」の認識対象である「物体」の一例に相当し、且つ、本発明に係る「物体ピッキング装置」のピッキング対象である「物体」の一例に相当する。さらに、ワークピッキング装置１００は、本発明に係る「物体ピッキング装置」の一例に相当する。

センサ１は、ワーク５の３次元位置情報を含む計測データを取得する距離センサであり、例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、ワーク５を所定の視野角で且つ所定の計測条件で撮像する。

ここで、ワーク５の計測方式としては、特に制限されず、例えば、光の直進性を用いる種々のアクティブ計測方式（例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式等）、光の直進性を用いる種々のパッシブ計測方式（例えば、三角測距を基本原理とするステレオカメラ方式、視体積交差方式、因子分解方式等、同軸測距を基本原理とするDepth from focusing方式等）、及び、光の速度を用いる種々のアクティブ計測方式（例えば、同時測距を基本原理とする光時間差（TOF）測定方式、レーザースキャン方式等）を適宜選択して用いることができる。

ワーク５の計測データとしては、それらの種々の計測方式で取得される画像データ（例えば３次元点群データや距離画像等）、また、ワーク５の３次元モデルデータと照合することが可能な適宜のデータ等を例示できる。なお、ワーク５の３次元モデルデータとしては、例えば、３次元座標データ、その３次元座標データをワーク５の種々の異なる位置姿勢に対応して２次元投影した２次元座標データ、その他適宜のテンプレートやパターンに対応するデータ等が挙げられる。

また、センサ１は、必要に応じて、適宜の計測光（例えば、アクティブ方式で用いられるパターン光やスキャン光等）を含むいわゆる３Ｄ用照明や、通常の照明であるいわゆる２Ｄ用照明をワーク５へ投射するプロジェクタ（図示せず）を有していてもよい。かかるプロジェクタの構成も特に制限されず、例えば、パターン光を投射するものの場合、レーザ光源、パターンマスク、及びレンズを備える構成を例示することができる。レーザ光源から出射された光は、所定のパターンが形成されたパターンマスクによって所定のパターンを有する計測光（パターン光）に変換され、レンズを介してワーク５へ投射される。

ハンド２は、個々のワーク５を掴み且つ離す動作が可能な把持機構を有する。ロボット３は、そのアームの先端部にハンド２が設けられており、ハンド２を収納容器６内のワーク５の把持位置に移動し、且つ、ワーク５を把持したハンド２をその把持位置から上述したトレー等に移動するための駆動機構を有する。制御装置４は、センサ１、ハンド２、及びロボット３のそれぞれに接続されており、センサ１によるワーク５の計測処理、ハンド２によるワーク５の把持処理、ロボット３の駆動処理の他、ワークピッキング装置１００において必要とされる種々の動作や演算に関する処理を制御する。より具体的には、制御装置４は、センサ１の制御の他、以下の（１）乃至（１０）に示す各処理を行う。

（１）モデルデータ取得処理
ワーク５に位置姿勢認識に先立って作成されたワーク５の３次元形状を表す３次元モデルデータ（３次元ＣＡＤモデルデータ）を取得する。また、その３次元モデルデータを用いて、後記の位置姿勢認識処理で使用可能な適宜のテンプレートやモデルパターンを必要に応じて作成する。

（２）位置姿勢認識処理
（１）の処理で取得又は作成した３次元モデルデータ等と、センサ１の計測データとを、所定の認識パラメータを用いて照合する３次元マッチングを行い、ワーク５の位置姿勢（例えば、そのワーク５の３次元座標及び３次元軸まわりの回転角度）を認識する。また、各ワーク５の位置姿勢認識結果として、例えば、各ワーク５について認識された位置姿勢を２次元投影した２次元画像に、３次元マッチングにおいてワーク５の特徴点や特徴部位として検出された例えば輪郭線（エッジに該当する線分）等を識別可能に表示した画像を出力する。

（３）類似スコア算出処理
（２）の処理で得たワーク５の位置姿勢認識結果における３次元モデルデータと計測データとの類似度として、ワーク５の位置姿勢認識の際に実施した３次元マッチングにおける合致度である類似スコアを、所定の算出パラメータを用いて算出する。

（４）信頼度算出処理
（２）の処理で得たワーク５の位置姿勢認識結果におけるワーク５の３次元形状の特徴を示す指標を算出する。ここで、ワーク５の３次元形状の特徴を示す「指標」としては、例えば、以下に示す特徴量、即ち位置姿勢認識結果から把握されるワーク５の３次元形状の多様性を示す物理量が挙げられる。但し、「指標」はこれらに限定されない。また、以下の各指標に示す値自体ではなく、その値に適宜の補正演算を施したものを「指標」としてもよい。

（指標１）ワーク５の位置姿勢認識結果において検出される面（先に例示した輪郭線によって画定された弁別可能な平面領域）の数であり、多いほど好ましい。
（指標２）ワーク５の位置姿勢認識結果において検出される各面について量子化された法線方向の頻度分布における最頻値又はその逆数であり、最頻度が小さいほど（その逆数が大きいほど）好ましい。
（指標３）ワーク５の位置姿勢認識結果において検出される各面について量子化された法線方向（頻度がゼロのものを除く）の頻度分布における分散であり、小さい方が好ましい。
（指標４）ワーク５の位置姿勢認識結果において算出されるワーク５の表面積であり、大きいほど好ましい。
（指標５）ワーク５の位置姿勢認識結果において検出される輪郭線（エッジに該当する線分）の数であり、多いほど好ましい。
（指標６）ワーク５の位置姿勢認識結果において検出される輪郭線（エッジに該当する線分）の長さであり、長いほど好ましい。
（指標７）ワーク５の位置姿勢認識結果における輝度分布の分散であり、大きいほど好ましい。
（指標８）ワーク５の位置姿勢認識結果における距離分布の分散であり、大きいほど好ましい。

また、ワーク５の３次元形状の特徴を示すこれらの指標を用い、（３）の処理で得た類似スコアについて、その信頼度を算出する。より具体的には、例えば、上記各指標のうち何れかのものを用いる場合、その単一の指標自体、又は、その単一の指標に適宜の補正（重み付け等）を施したものを、類似スコアの信頼度とすることができる。また、例えば、上記各指標のうち複数のものを用いる場合、それらの複数の指標、又は、各指標に適宜の補正を施したものを、適宜の演算によって組み合わせることにより、類似スコアの信頼度を算出することができる。

（５）統合スコア算出処理
（３）の処理で得た類似スコアと（４）の処理で得た信頼度とを用い、例えば両者を適宜の演算によって組み合わせることにより、（２）の処理で得たワーク５の位置姿勢認識結果の良否を示す統合スコアを算出する。

（６）把持物体決定処理
（５）の処理で得た統合スコアに基づいて、例えば、検出された各ワーク５についての位置姿勢認識結果の統合スコアを所定の閾値（判定値）と比較し、その閾値以上の統合スコアが得られた位置姿勢認識結果のワーク５を、ハンド２による把持対象のワーク５として決定する。

（７）計測条件変更処理
（５）の処理で得た統合スコアに基づいて、例えば、検出された各ワーク５についての位置姿勢認識結果の統合スコアを所定の閾値（判定値）と比較し、その閾値以上の統合スコアを有する位置姿勢認識結果が得られなかった場合に、計測条件を変更する。

（８）把持姿勢算出処理
（５）の処理で把持対象として決定されたワーク５について、（２）の処理で得たそのワーク５の位置姿勢認識結果に基づいて、ハンド２がそのワーク５を把持する際のハンド２の把持姿勢を、所定の算出パラメータを用いて算出する。

（９）経路算出処理
ハンド２の初期姿勢（初期位置）と、（８）の処理で得たワーク５を把持する際のハンド２の把持姿勢の算出結果に基づいて、ロボット３によりハンド２を初期姿勢から把持姿勢まで移動する経路を、所定の算出パラメータを用いて算出する。

（１０）各種制御処理
ワーク５の３次元位置情報を含む計測データを取得する際の計測条件に基づいてセンサ１の動作を制御し、算出された把持姿勢に基づいてハンド２の動作を制御し、算出された経路に基づいてロボット３の動作を制御する。

以上のとおり、制御装置４は、本発明に係る「物体認識処理装置」における「モデルデータ取得部」、「位置姿勢認識部」、「類似スコア算出部」、「信頼度算出部」、及び「統合スコア算出部」のそれぞれの一例に相当し、この点において、センサ１及び制御装置４は、本発明に係る「物体認識処理装置」の一例に相当する。また、制御装置４は、本発明に係る「物体ピッキング装置」における「把持物体決定部」、「計測条件変更部」、「把持姿勢算出部」、及び「経路算出部」のそれぞれの一例にも相当する。

以上のことから、本実施形態の物体認識処理装置を備えるワークピッキング装置１００によれば、従来の物体認識処理手法において課題であったワーク５の位置姿勢認識結果の良否を判別することが困難であり、その結果、ワーク５の把持に失敗してしまう場合が生じ得るという問題を解消し、安定した良好なピッキング操作を実現することが可能となる。

すなわち、従来の物体認識処理手法では、位置姿勢認識における３次元マッチングの結果として高い類似スコアが得られているにも拘わらず、実際には認識に失敗していたり、認識精度が低かったりするといった事態が生じてしまうことがあった。そして、そのような事態を把握しないまま、ワーク５のピッキングを試行すると、その物体を把持することができないことがあった。これに対し、本実施形態の物体認識処理装置を備えるワークピッキング装置１００によれば、３次元マッチングにおける類似スコアだけでなく、ワーク５に位置姿勢認識結果における３次元形状の多様性に着目した指標を用いて、類似スコアの信頼度ひいては統合スコアを算出する。そして、その統合スコアに基づいて、ワーク５の位置姿勢認識結果の良否を判別することができる。これにより、認識精度が高いワーク５を優先して把持対象とし、或いは、十分に精度が高い位置姿勢認識結果が得られない場合には、計測条件を変更した上でワーク５の位置姿勢の再認識を行うことができる。その結果、物体の把持及びピッキングの成功率を格段に向上させることができ、良好且つ安定したピッキング操作を実現することができる。

§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００のハードウェアの構成の一例を模式的に示す平面図である。

図２の例でも、ワークピッキング装置１００は、図１に例示したセンサ１、ハンド２、ロボット３、及び制御装置４を備える。ここで、制御装置４は、制御演算部４１、通信インタフェース（Ｉ／Ｆ）部４２、記憶部４３、入力部４４、及び出力部４５を含み、各部はバスライン４６を介して相互に通信可能に接続され得る。

制御演算部４１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。

通信Ｉ／Ｆ部４２は、例えば、有線又は無線により他の構成要素である「部」及び「装置」と通信するための通信モジュールである。通信Ｉ／Ｆ部４２が通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられ、バスライン４６と同等の適宜の通信線を適用することもできる。センサ１、ハンド２、及びロボット３ともに、通信Ｉ／Ｆ部４２を介して、制御演算部４１等と通信可能に設けることが可能である。

記憶部４３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり、制御演算部４１で実行される各種プログラム（前記（１）乃至（９）に示す各種処理を実行するための演算プログラム、並びに、前記（１０）に示すセンサ１、ハンド２、及びロボット３のそれぞれの動作の制御処理を行うための制御プログラム等）、センサ１から出力される計測データ、計測条件、認識パラメータ、及び種々の算出パラメータを含むデータベース、各種演算結果及び算出結果のデータ、ワーク５の位置姿勢認識結果に関するデータ、ワーク５のピッキング状況やピッキング記録に関するデータ等に加え、ワーク５の３次元モデルデータ等を記憶する。このとおり、記憶部４３に記憶された演算プログラム及び制御プログラムが制御演算部４１で実行されることにより、後述する機能構成例における各種処理機能が実現される。

入力部４４は、ワークピッキング装置１００を利用するユーザからの各種入力操作を受け付けるためのインタフェースデバイスであり、例えば、マウス、キーボード、タッチパネル、音声マイク等で実現し得る。出力部４５は、ワークピッキング装置１００を利用するユーザ等へ、各種情報を、その表示、音声出力、印刷出力等により報知するためのインタフェースデバイスであり、例えば、ディスプレイ、スピーカ、プリンタ等で実現し得る。

［機能構成］
次に、図３を用いて、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００の機能構成の一例を説明する。図３は、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００の機能構成の一例を模式的に示す平面図である。

図２に示すワークピッキング装置１００の制御演算部４１は、記憶部４３に記憶された各種プログラム（制御プログラム及び演算プログラム等）をＲＡＭに展開する。そして、制御演算部４１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に例示の如く、本実施形態に係るワークピッキング装置１００は、前記（１）乃至（９）に示す各処理をそれぞれ実行するモデルデータ取得部４１０、位置姿勢認識部４２０、類似スコア算出部４３０、信頼度算出部４４０、統合スコア算出部４５０、把持物体決定部４６０、計測条件変更部４７０、把持姿勢算出部４８０、及び経路算出部４９０、並びに、前記（１０）に示す制御処理を実行するセンサ制御部５１０、ハンド制御部５２０、及びロボット制御部５３０を有する制御装置４を備える構成を実現し得る。

なお、本実施形態では、ワークピッキング装置１００に備わる制御装置４で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１又は複数の専用のプロセッサによって実現されてもよい。また、ワークピッキング装置１００に備わる制御装置４の機能構成は、実施形態や構成例に応じて、適宜、機能の省略、置換、及び追加が行われてももちろんよい。また、「制御装置」とは、一般的な情報処理装置（例えば、コンピュータ、ワークステーション等）と解することができる。

§３ 動作例
次いで、図４を用いて、ワークピッキング装置１００の動作の一例について説明する。図４は、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００における処理手順の一例を示すフローチャートであり、物体認識処理装置を用いた物体認識処理方法の一例、及び、ワークピッキング装置１００を用いたワークピッキング方法における処理手順の一例を示すフローチャートでもある。なお、以下で説明する処理手順は一例に過ぎず、各処理は、本開示の技術思想の範囲内において可能な限り変更されてよい。また、以下で説明する処理手順は、実施形態や各構成例に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、ワークピッキング装置１００のユーザは、ワークピッキング装置１００を起動し、各種プログラム（演算プログラム、制御プログラム等）を実行させる。それから、制御装置４における制御演算部４１は、以下の処理手順に従って、センサ１、ハンド２、及びロボット３のそれぞれの動作を制御し、且つ、制御装置４における各機能部による演算処理を行う。また、本実施形態では、以下の各ステップにおける処理に先立って、個々のステップで必要となる計測条件、認識パラメータ、及び種々の算出パラメータの初期値セットを、記憶部４３から読み出し、センサ制御部５１０、位置姿勢認識部４２０、把持姿勢算出部４８０、及び経路算出部４９０に適宜保持しておく。但し、かかる計測条件や種々のパラメータの読み出しは、各ステップの処理前であれば適宜のタイミングで行うことができる。

（ステップＳ１）
ステップＳ１では、モデルデータ取得部４１０は、予め作成されたワーク５の３次元形状を表す３次元モデルデータ（３次元ＣＡＤモデルデータ）、３次元マッチングで使用可能なテンプレートやモデルパターンを取得し、それらを記憶部４３に記憶する。このとおり、ステップＳ１が前記適用例における「（１）モデルデータ取得処理」に相当する。

（ステップＳ２）
ステップＳ２では、センサ制御部５１０は、センサ１を作動させ、計測条件の初期値セットを用いて、ワーク５を計測し、ワーク５の３次元位置情報を含む計測データを取得する。計測条件としては、例えば、露光時間、照明照度、及び計測位置（例えば、ワーク５に対するセンサ１の相対的な３次元位置又は姿勢（光軸の向き））の他、適用される計測方式において設定される各種条件が挙げられる。そして、センサ１は、ワーク５の計測データとして、例えば３次元点群データ（ポイントクラウドデータ）や距離画像等に加え、必要に応じて例えば輝度画像等を制御装置４へ出力する。このとおり、ステップＳ２は前記適用例における「（１０）各種制御処理」に相当する。

（ステップＳ３）
ステップＳ３では、位置姿勢認識部４２０は、ワーク５の計測データからワーク５の３次元形状を示す特徴点を抽出し、ワーク５の３次元モデルデータにおいて対応する特徴点又は特徴パターンと、所定の探索領域において照合する３次元マッチングを行い、ワーク５の位置姿勢の認識パラメータの初期値セットを用いて、個々のワーク５の位置姿勢を認識する。位置姿勢の出力データとして、例えば、ワーク５の３次元座標（ｘ，ｙ，ｚ）及び３次元軸まわりの回転角度（ｒｘ，ｒｙ，ｒｚ）が挙げられる。また、位置姿勢認識部４２０は、必要に応じて位置姿勢が検出されたワーク５の数を算出し、それらの認識結果及び算出結果を記憶部４３に記憶する。ワーク５の位置姿勢の認識パラメータとしては、例えば、位置姿勢認識におけるワーク５の検出に関する閾値等が挙げられ、より具体的には、ワーク５の３次元モデルデータとワーク５の計測データとの３次元マッチングの閾値等を例示することができる。さらに、位置姿勢認識部４２０は、検出された各ワーク５の位置姿勢認識結果として、例えば図５に示す画像及びその描画データを出力し、それらを記憶部４３に記憶する。

ここで、図５は、実施形態に係るワークピッキング装置１００に備わる物体認識処理装置によるワーク５１〜５５（何れもワーク５に該当し、この例では、それらの３次元形状は全て同じであるとする。）の位置姿勢認識結果の一例を模式的に示す平面図である。図５に示す如く、ここで出力される位置姿勢認識結果は、例えば、各ワーク５１〜５５について認識された位置姿勢を２次元投影した２次元画像に、３次元マッチングにおいてワーク５１〜５５の特徴点や特徴部位として検出された例えば輪郭線（エッジに該当する線分であり、図５において太い実線で示す線分）を識別可能に表示した画像である。なお、この例におけるワーク５１〜５５のそれぞれの位置姿勢認識結果を便宜的に符号Ａ〜Ｅで表し、図５においては、ワーク５１〜５５の各表示領域に、それぞれに対応する位置姿勢認識結果の符号Ａ〜Ｅを付記した。このとおり、ステップＳ３は前記適用例における「（２）位置姿勢認識処理」に相当する。

（ステップＳ４）
ステップＳ４では、類似スコア算出部４３０は、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける３次元モデルデータと計測データとの類似度として、ステップＳ３で実施した３次元マッチングにおける合致度である類似スコアＳを、所定の算出パラメータの初期値セットを用いて算出する。ここで、類似スコアＳは、例えば０〜１００の範囲内の値で表され、類似スコアＳ＝０が最も低い合致度に相当し、類似スコアＳ＝１００が最も高い合致度に相当する。

すなわち、図５に表示されたワーク５１〜５５のうち、ワーク５１〜５４は、それらの手前に他のワークが重なっておらず、それぞれの位置姿勢の全体が視認可能な状態にある。よって、ワーク５１〜５４では、それらの形状全体の周縁及び面の境界に相当する輪郭（エッジ）が全て認識されており、また、認識結果の輪郭線（太い実直線）は、各ワーク５１〜５４の実際の輪郭と合致している。その結果、図５に示すワーク５１〜５４の位置姿勢認識結果Ａ〜Ｄにおける類似スコアＳは、何れも高く、例えば「１００」と算出される。

一方、図５に表示されたワーク５１〜５５のうち、ワーク５５は、その手前に他のワーク５２〜５４が重なっており、その位置姿勢の一部だけが認識可能な状態にある。よって、ワーク５５では、その形状の周縁に相当する輪郭（エッジ）のうち、他のワーク５２〜５４で隠れていない部分のみが認識されており、その認識結果の輪郭線（太い実直線）は、ワーク５５の見えている部分の実際の輪郭と合致している。その結果、図５に示すワーク５５の位置姿勢認識結果Ｅにおける類似スコアＳは、他のワーク５１〜５４の類似スコアＳよりも少し低く、例えば「７０」と算出される。

こうして得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける類似スコアＳの算出結果の一例を図６の表にまとめて示す。このとおり、ステップＳ４は前記適用例における「（３）類似スコア算出処理」に相当する。

（ステップＳ５）
ステップＳ５では、信頼度算出部４４０は、図５に示す各ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける３次元形状の特徴を示す指標Ｄ１を算出する。ここでは、信頼度算出部４４０は、まず、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅのそれぞれにおいて検出される面を特定する。次に、特定した各面の法線ベクトル（法線方向を示す）を求め、さらに、その法線方向を量子化する。そして、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅのそれぞれについて、量子化された法線方向の頻度分布における最頻値を算出する。そして、得られたその最頻値の逆数（最頻値に逆数演算子による補正を施した値）を、最終的に指標Ｄ１として算定する。このとおり、本ステップで算出する指標Ｄ１は、前記適用例における指標２（ワーク５の位置姿勢認識結果において検出される各面について量子化された法線方向の頻度分布における最頻値又はその逆数）に該当する。

より具体的には、図５に示されているとおり、位置姿勢認識結果Ａ〜Ｅのワーク５１〜５５において特定される面（認識結果の輪郭線によって画定された弁別可能な平面領域）の数は、それぞれ、１面（５１ａ）、２面（５２ａ，５２ｂ）、２面（５３ａ，５３ｂ）、３面（５４ａ，５４ｂ，５４ｃ）、及び１面（５５ａ）である。そして、それらの各面の向きに対応する法線ベクトルを、センサ１から出力された３次元点群データ等に基づいて公知の任意の手法により算出する。さらに、得られた各法線ベクトルに基づいて、公知の又は所定の手法（例えば、本出願人による特願２０１７−１８２５１７号に記載された法線方向の量子化方法を好ましい一例として挙げることができる。特に特願２０１７−１８２５１７号の図４及びその説明を参照されたい。）を用いて各面の法線方向を量子化する。

こうして図５に示す各ワーク５１〜５５に対して得られた量子化後の法線方向の頻度分布の一例を、図７Ａ〜図７Ｄに示す。図７Ａ（グラフ（Ａ））は、ワーク５１，５５における量子化された法線方向の頻度分布を示し、図７Ｂ〜図７Ｄ（グラフ（Ｂ）〜（Ｄ））は、それぞれワーク５２〜５４における量子化された法線方向の頻度分布を示す。なお、図７Ａ〜図７Ｄは、法線ベクトルを１０種類の方向に量子化したときの結果であり、横軸は、法線方向に対応する量子化番号を示し縦軸は、各法線方向の頻度を示す。なお、ここでは、各ワークについて法線方向の頻度の合計が「１」となるように正規化したときの各法線方向の頻度（正規化値）を示す。

より具体的には、図７Ａのとおり、ワーク５１，５５の位置姿勢認識結果Ａ，Ｅは、量子化された方向が「１」であり正規化された頻度が「１．０」である１つの法線方向（それぞれ面５１ａ，５５ａに対応）からなる頻度分布を示す。また、図７Ｂのとおり、ワーク５２の位置姿勢認識結果Ｂは、量子化された方向が「２」であり正規化された頻度が「０．７５」である法線方向（面５２ａに対応）と、量子化された方向が「８」であり正規化された頻度が「０．２５」である法線方向（面５２ｂに対応）とからなる頻度分布を示す。

一方、図７Ｃのとおり、ワーク５３の位置姿勢認識結果Ｃは、量子化された方向が「３」であり正規化された頻度が「０．７５」である法線方向（面５３ａに対応）と、量子化された方向が「９」であり正規化された頻度が「０．２５」である法線方向（面５３ｂに対応）とからなる頻度分布を示す。また、図７Ｄのとおり、ワーク５４の位置姿勢認識結果Ｅは、量子化された方向が「４」であり正規化された頻度が「０．６」である法線方向（面５４ａに対応）と、量子化された方向が「６」であり正規化された頻度が「０．２」である法線方向（面５４ｂに対応）と、量子化された方向が「１０」であり正規化された頻度が「０．２」である法線方向（面５４ｃに対応）からなる頻度分布を示す。

かかる図７Ａ〜図７Ｄに示す量子化された法線方向の頻度分布より、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける法線方向の最頻値は、それぞれ、「１．０」（面５１ａ）、「０．７５」（面５２ａ）、「０．７５」（面５３ａ）、「０．６０」（面５４ａ）、及び「１．０」（面５５ａ）となる。そして、それらの逆数を求めることにより、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける指標Ｄ１として、それぞれ、「１．０」（面５１ａ）、「１．３３」（面５２ａ）、「１．３３」（面５３ａ）、「１．６７」（面５４ａ）、及び「１．０」（面５５ａ）が算定される。こうして得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける指標Ｄ１の算出結果の一例を図６の表にまとめて示す。

（ステップＳ６）
ステップＳ６では、信頼度算出部４４０は、図５に示す各ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける３次元形状の特徴を示す指標Ｄ２として、認識された各ワーク５１〜５５の表面積を算出する。例えば、センサ１から出力された３次元点群データ、又は、それに対応する２次元画像において、図５に表示された各ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける平面領域（ワーク５１〜５５の実際の形状領域ではない。）の周縁を画定する輪郭線の２次元座標を特定し、その２次元座標から算出される面積を各ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける表面積とすることができる。

或いは、ステップＳ５においてワーク５１〜５５のそれぞれに対して特定された面毎の面積を同様に算出し、各ワーク５１〜５５についてそれらの面積の合計値を位置姿勢認識結果Ａ〜Ｅにおける表面積とすることもできる。さらに、得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける表面積は、絶対値をそのまま用いてもよく、或いは、特定のワーク５の表面積を基準とした相対値（すなわち正規化した値）としてもよい。このとおり、本ステップで算出する指標Ｄ２は、前記適用例における指標４（ワーク５の位置姿勢認識結果において算出されるワーク５の表面積）に該当する。

より具体的には、図５に示すワーク５１〜５５の表面積を算出し、さらに、ワーク５１の表面積を「１．０」とした場合の相対値を概算すると、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける指標Ｄ１として、それぞれ、「１．０」、「１．０」、「０．６」、「１．０」、及び「１．０」が算出される。こうして得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける指標Ｄ２の算出結果の一例を図６の表にまとめて示す。

（ステップＳ７）
ステップＳ７では、信頼度算出部４４０は、得られた指標Ｄ１，Ｄ２を用いて、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅの類似スコアの信頼度Ｒを算出する。ここでは、例えば、指標Ｄ１，Ｄ２のうち何れかをそのまま信頼度Ｒとしてもよく、或いは、指標Ｄ１，Ｄ２の重要度又は優先度に応じて重み付けするといった適宜の補正を施したものを信頼度Ｒとしてもよい。また、指標Ｄ１，Ｄ２、又は、各指標Ｄ１，Ｄ２に重み付け等の適宜の補正を施したものを、乗算等の適宜の演算によって組み合わせたものを信頼度Ｒとすることができる。

より具体的には、信頼度Ｒ＝指標Ｄ１×指標Ｄ２とすると、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける類似スコアＳの信頼度Ｒとして、それぞれ、「１．００」、「１．３３」、「０．８０」、「１．６７」、及び「１．００」が算出される。こうして得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける類似スコアＳの信頼度Ｒの算出結果の一例を図６の表にまとめて示す。このとおり、ステップＳ５〜Ｓ７が前記適用例における「（４）信頼度算出処理」に相当する。

（ステップＳ８）
ステップＳ８では、統合スコア算出部４５０は、得られた類似スコアＳと信頼度Ｒとを、乗算等の適宜の演算によって組み合わせたものを、統合スコアＳＴとして算出する。より具体的には、統合スコアＳＴ＝類似スコアＳ×信頼度Ｒとすると、ワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける統合スコアＳＴとして、それぞれ、「１００」、「１３３」、「８０」、「１６７」、及び「１００」が算出される。こうして得られたワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅにおける統合スコアＳＴの算出結果の一例を図６の表にまとめて示す。このとおり、ステップＳ８は前記適用例における「（５）統合スコア算出処理」に相当する。

（ステップＳ９）
分岐処理であるステップＳ９では、例えば、把持物体決定部４６０は、得られた統合スコアＳＴが予め設定された閾値（例えば、「９０」、「１００」、「１１０」等）以上であるか否かを判定する。統合スコアＳＴがその閾値以上である場合には、後述するステップＳ１０以降の処理へ移行し、統合スコアＳＴがその閾値未満である場合には、後述するステップＳ２０以降の処理へ移行する。

（ステップＳ１０）
ステップＳ９において、統合スコアＳＴが閾値以上であると判定された場合（ステップＳ９において「Ｙｅｓ」の場合）、ステップＳ１０では、把持物体決定部４６０は、その閾値以上の統合スコアＳＴが得られた位置姿勢認識結果のワーク５を選定する。例えば、統合スコアＳＴが高い順に、又は、任意の順に、ハンド２が把持する対象のワーク５を決定する。具体的には、その閾値が「９０」であり、図６に示す統合スコアＳＴが得られた場合、把持物体決定部４６０は、統合スコアＳＴがそれ以上であるワーク５１，５２，５４を選定し、統合スコアＳＴが高いその順に把持対象として決定することができる（この場合、例えば、直近に把持する対象は、統合スコアＳＴが「１６７」と最も高いワーク５４となる。）。このとおり、ステップＳ９，Ｓ１０が前記適用例における「（６）把持物体決定処理」に相当する。

（ステップＳ１１）
ステップＳ１１では、把持姿勢算出部４８０は、把持対象として決定されたワーク５を把持する際のハンド２の把持姿勢の算出パラメータの初期値セットを用いて、且つ、ステップＳ３で認識されたそのワーク５の位置姿勢に基づいて、ハンド２によるそのワーク５の把持姿勢を算出する。ハンド２によるワーク５の把持姿勢の算出パラメータとしては、例えば、把持姿勢算出における閾値等が挙げられる。なお、本ステップでは、直近の把持対象であるワーク５（例えばワーク５４）の把持姿勢のみ算出してもよいし、ステップＳ１０で把持対象として決定されたワーク５（例えばワーク５１，５２，５４）の把持姿勢を全て算出しておいてもよい。このとおり、ステップＳ１１は前記適用例における「（８）把持姿勢算出処理」に相当する。

（ステップＳ１２）
ステップＳ４０では、経路算出部４９０は、ハンド２の初期姿勢から把持姿勢へ移動する経路の算出パラメータの初期値セットを用いて、ハンド２を、その初期姿勢から、ステップＳ１１で算出された把持姿勢まで移動する経路を算出する。ハンド２の初期姿勢から把持姿勢へ移動する経路の算出パラメータとしては、例えば、ワーク５や収納容器６に対するハンド２の干渉判定の閾値等が挙げられる。このとおり、ステップＳ１２は前記適用例における「（９）経路算出処理」に相当する。

（ステップＳ１３）
そして、ステップ１３では、ロボット制御部５３０は、ステップＳ１２で算出された把持対象のワーク５への経路に基づいて、ロボット３を作動させ、ハンド２を、そのワーク５についてステップＳ１１で算出された把持姿勢まで移動する。それから、ハンド制御部５２０は、その把持姿勢に基づいて、ハンド２を作動させ、把持対象のワーク５を把持する。さらに、ロボット制御部５３０及びハンド制御部５２０は、把持したワーク５を収納容器６から取り出し、適宜のトレー等へ移設し、整列させて配置する。このとおり、ステップＳ１３も前記適用例における「（１０）各種制御処理」に相当する。

ステップＳ１３を実行した後、処理をステップＳ９へ戻入し、把持対象として決定された統合スコアＳＴが高い他のワーク５がある場合には、ステップＳ１０〜Ｓ１３の処理を繰り返し実施する。

（ステップＳ２０）
一方、ステップＳ９において、統合スコアＳＴが閾値未満であると判定された場合（ステップＳ９において「Ｎｏ」の場合）、分岐ステップであるステップＳ２０では、例えば、計測条件変更部４６０は、類似スコアＳの信頼度Ｒ又は統合スコアＳＴが、先のステップＳ７で一旦算出された信頼度Ｒ又は統合スコアＳＴよりも高くなり得るワーク５の位置姿勢があるか否かを判定する。

例えば、先のステップＳ３でワーク５の位置姿勢認識結果が得られており、また、先のステップＳ２でセンサ１の位置姿勢（例えばセンサ１の駆動機構のエンコーダのデータ等から取得可能）が判明していれば、先のステップＳ１で取得したワーク５の３次元モデルデータを用いることにより、センサ１の位置姿勢を種々変化させて計測したときのワーク５の位置姿勢認識結果を予測する。また、得られたワーク５の種々の位置姿勢の予測認識結果について、ステップＳ４〜Ｓ８で行った各処理を実行して、それらの予測認識結果における類似スコアＳの信頼度Ｒ及び統合スコアＳＴの予測値を算出する。そして、こうして得られた類似スコアＳの信頼度Ｒ及び統合スコアＳＴの予測値を、既に得られている値と比較し、より高い信頼度Ｒ又は統合スコアＳＴが得られるワーク５の位置姿勢があるか否かを判定する。ここで、より高い信頼度Ｒ又は統合スコアＳＴが得られるワーク５の位置姿勢がないと判定された場合（ステップＳ２０において「Ｎｏ」の場合）には、処理を終了する。

（ステップＳ２１）
一方、ステップＳ２０において、より高い信頼度Ｒ又は統合スコアＳＴが得られるワーク５の位置姿勢があると判定された場合（ステップＳ２０において「Ｙｅｓ」の場合）、分岐ステップであるステップ２１では、例えば、計測条件変更部４６０は、最も高い信頼度Ｒ又は統合スコアＳＴが得られるワーク５の最適な位置姿勢を、センサ１によって計測することができる計測条件（例えば、センサ１の位置姿勢）があるか否かを判定する。

一般に、ワーク５は収納容器６等に収容され、或いは、支持台上にばら積み状態で載置されているので、ワーク５の目的の位置姿勢を実現するには、ワーク５を移動するよりも、センサ１の位置姿勢といった計測条件を変更する方が有用である。但し、例えばセンサ１の位置姿勢を変更する場合、センサ１やセンサ１の駆動機構が、ワーク５やその周辺にある物体と物理的に干渉してしまう可能性がある。そうすると、実際には、センサ１を目的の位置姿勢へ移動することができず、ワーク５の目的の位置姿勢をセンサ１によって計測することができない。従って、そのようにワーク５の目的の位置姿勢をセンサ１によって計測することができないと判定された場合（ステップＳ２１において「Ｎｏ」の場合）、処理をステップＳ２０へ戻入し、次に最適なワーク５の位置姿勢の有無の判定、及び、ステップＳ２１における計測条件の有無の判定を繰り返し実施する。

ここで、センサ１及びその駆動機構について、それらの目的の位置姿勢を算出する方法及び手順は、特に制限されず、例えば、以下の方法及び手順を挙げることができる。すなわち、まず、センサ１に対して行うべき姿勢変換は、例えば、センサ１とワーク５との間の距離が変わらない場合、ワーク５の現在の位置姿勢から目的の位置姿勢への姿勢変換（行列）の符号を、ｘ−ｙ軸周りに反転させることにより得ることができる。さらに、センサ１を目的の位置姿勢へ移動するためのセンサ１の駆動機構（センサ１がロボット３に取り付けられている場合にはロボット３）の姿勢変換は、センサ１の座標系と駆動機構の座標系との対応関係を事前に較正（キャリブレーション）しておくことにより計算することができる。

（ステップＳ２２）
他方、ステップＳ２１において、ワーク５の目的の位置姿勢をセンサ１によって計測することができると判定された場合（ステップＳ２１において「Ｙｅｓ」の場合）、ステップＳ２２では、計測条件変更部４６０は、センサ１によるワーク５の計測条件の初期値セットを、ワーク５のその目的の位置姿勢が得られるセンサ１の位置姿勢を含むセットへ変更する。

ステップＳ２２を実行した後、処理をステップＳ２へ戻入し、センサ制御部５１０（センサ１がロボット３に取り付けられている場合には、加えてロボット制御部５３０）は、新たに設定された変更後の計測条件に基づいて、センサ１の位置姿勢を変更し、その状態のセンサ１によりワーク５の３次元位置情報を含む計測データを再取得し、ステップＳ３以降の処理を繰り返して実施する。

§４ 作用・効果
以上のとおり、本実施形態に係る物体認識処理装置を備えるワークピッキング装置１００、及び、それらを用いた方法の一例によれば、まず、ワーク５の位置姿勢を認識する際に、３次元モデルデータとワーク５の計測データとの３次元マッチングにおける類似スコアＳを算出する。また、かかる類似スコアＳのみではなく、位置姿勢認識結果におけるワーク５の３次元形状の特徴に着目し、かかる特徴を表す指標Ｄ１，Ｄ２を算出し、さらに、それらの指標Ｄ１，Ｄ２から類似スコアＳの信頼度Ｒを算出する。そして、類似スコアＳのみではなく、類似スコアＳとその信頼度Ｒとを組み合わせて得られる統合スコアＳＴを用いることにより、ワーク５の位置姿勢認識結果の良否（認識精度）を判別することができる。

例えば、図５及び図６に示すワーク５１〜５５の位置姿勢認識結果Ａ〜Ｅでは、図５に示すとおり、ワーク５１〜５４の各位置姿勢が互いに異なるにも拘わらず、類似スコアＳは全て高い同じ値（「１００」）であるため、類似スコアＳのみでは、かかるワーク５１〜５４の位置姿勢の相違を把握することができない。

これに対し、類似スコアＳが同値であるワーク５１〜５４の位置姿勢認識結果Ａ〜Ｄに対し、本実施形態によって指標Ｄ１，Ｄ２から算出された類似スコアＳの信頼度Ｒは「０．８０」〜「１．６７」の範囲内の異なる値である。その結果、類似スコアＳと信頼度Ｒから算出された統合スコアＳＴは「８０」〜「１６７」の範囲内の異なる値となるから、図５に示すようなワーク５１〜５４の位置姿勢の相違を十分に把握し、それらの位置姿勢認識結果Ａ〜Ｅの良否及び優劣を正確に判別することができる。

また、ワーク５５の手前にはワーク５２〜５４が重なっており、このままの状態のワーク５５をハンド２で把持できる可能性は低いが、ワーク５５の類似スコアＳは「７０」であって、ワーク５１〜５４の類似スコアＳの「１００」に比して低いものの、両者の差異は然程大きくない。これに対し、ワーク５５の位置姿勢認識結果Ｅにおける統合スコアＳＴは類似スコアＳと同値（「７０」）であるものの、統合スコアＳＴの最大値（ワーク５４の位置姿勢認識結果Ｄにおける「１６７」）との差異は極めて大きくなる。従って、把持対象を決定するための統合スコアＳＴの閾値を適切に設定することにより、ワーク５５の把持可能性をより確実に見極めることができる。

さらに、本発明者の知見によれば、図５に示すワーク５１の位置姿勢の如く平面しか見えていない位置姿勢の場合、特にその平面方向（ｘ−ｙ方向）の認識精度が悪化し易い傾向にある（後述する第１変形例も参照されたい。）。これに対し、本実施形態では、指標Ｄ１として、位置姿勢認識結果Ａ〜Ｅにおけるワーク５１〜５５の輪郭線で画定される面を検出し、そうして特定された各面について量子化された法線方向の頻度分布を求め、ワーク５１〜５５について得られた法線方向の頻度分布における最頻値（図７Ａ〜図７Ｄ参照）の逆数を算出する。すなわち、指標Ｄ１は、ワーク５の面の向きの数を数値化した値であり、ワーク５の３次元形状の多様性（豊富さ）が高く反映された指標といえる。すなわち、図５に示すとおり、ワーク５１〜５５の見えている面の数が多いほど３次元形状の多様性に富んでおり、図６に示すとおり、それに応じた指標Ｄ１が算出される。よって、指標Ｄ１を用いることにより、類似スコアＳの信頼度Ｒ及び統合スコアＳＴの算出精度を向上させることができ、その結果、ワーク５１〜５５における位置姿勢の相違の把握、及び、位置姿勢認識結果Ａ〜Ｅの良否及び優劣の判別をより正確に行うことができる。

またさらに、本実施形態では、指標Ｄ２として、位置姿勢認識結果Ａ〜Ｅにおけるワーク５１〜５５の表面積を算出する。ここで、かかる表面積が大きいほど、３次元マッチングにおいて照合されたワーク５１〜５５における特徴点が多くなるので、位置姿勢認識結果Ａ〜Ｅにおける表面積が大きいワーク５の位置姿勢の方が、表面積が小さいワーク５の位置姿勢よりも、ワーク５の３次元形状に関する情報をより多く含み得る。よって、指標Ｄ２もまた、ワーク５の３次元形状の多様性（豊富さ）が高く反映された指標といえる。そして、図５に示すワーク５１〜５５の表面積に応じた指標Ｄ２が、図６に示すとおり算出される。よって、指標Ｄ２を用いることにより、類似スコアＳの信頼度Ｒ及び統合スコアＳＴの算出精度を向上させることができ、その結果、ワーク５１〜５５における位置姿勢の相違の把握、及び、位置姿勢認識結果Ａ〜Ｅの良否及び優劣の判別を、更に正確に行うことができる。

そして、本実施形態では、ワーク５の位置姿勢認識結果Ａ〜Ｅにおける統合スコアＳＴを所定の閾値と比較し、例えばその閾値以上である統合スコアＳＴを示す位置姿勢認識結果のワーク５（すなわち、位置姿勢の認識精度が高いワーク５）を、ハンド２による把持対象として決定する。従って、類似スコアＳのみに基づいてワーク５の位置姿勢認識結果の良否を判断してピッキングを行う従来に比して、良好且つ安定したピッキング操作を実現することができる。

また、本実施形態では、閾値以上の統合スコアＳＴを示すワーク５の位置姿勢認識結果が得られなかった場合に、計測条件を変更してワーク５の３次元位置情報を含む計測データを再取得し、その結果に基づいて、ワーク５の位置姿勢を再認識する。よって、一旦認識したワーク５の位置姿勢の精度が悪く、そのワーク５を把持対象とすることができなかった場合でも、位置姿勢の認識精度を高めることができる。これにより、確実に把持できるワーク５の数を増大させる（すなわち把持成功率を高める）ことが可能となるので、更に良好且つ安定したピッキング操作を実現することができる。

しかも、その際、ワーク５の位置姿勢認識結果における類似スコアＳの信頼度Ｒ又は統合スコアＳＴが、計測データの再取得及び再認識前よりも改善され得るワーク５の位置姿勢を把握し、さらに、そのワーク５の位置姿勢の実現可能性をも判定した上で、センサ１の計測条件を変更する。従って、位置姿勢の認識精度をより高め、且つ、ハンド２によるワーク５の把持可能性を更に高めることができるので、更に一層良好且つ安定したピッキング操作を実現することができる。

§５ 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。

＜５．１：第１変形例＞
図８（Ａ）は、第１変形例に係る物体認識処理装置を備えるワークピッキング装置２００の適用場面の一例を模式的に示す平面図であり、図８（Ｂ）は、第１変形例に係るワークピッキング装置２００に備わる物体認識処理装置によるワーク５６，５７（何れもワーク５に該当し、この例では、それらの３次元形状は全て同じであるとする。）の位置姿勢認識結果の一例を模式的に示す平面図である。

図８（Ａ）に示す如く、第１変形例に係るワークピッキング装置２００は、センサ１がロボット３のアーム先端部に取り付けられていること以外は、図１に示すワークピッキング装置１００と同等に構成されたものである（制御装置４を図示せず。）。このとおり、ワークピッキング装置２００も、本発明に係る「物体ピッキング装置」の一例に相当する。

また、図８（Ｂ）に示す位置姿勢認識結果は、図５と同様に、例えば、各ワーク５６，５７について認識された位置姿勢を２次元投影した２次元画像に、３次元マッチングにおいてワーク５６，５７の特徴点や特徴部位として検出された例えば輪郭線（エッジに該当する線分であり、図８（Ｂ）において太い実線で示す線分）を識別可能に表示した画像である。なお、図８（Ｂ）においても、図５と同様に、ワーク５６，５７の各表示領域に、それぞれに対応する位置姿勢認識結果の符号Ｆ，Ｇを付記した。また、これらのワーク５６，５７の位置姿勢認識結果Ｆ，Ｇに対して算出した類似スコアＳ、指標Ｄ１，Ｄ２、信頼度Ｒ、及び統合スコアＳＴを、図９の表にまとめて示す。

図８（Ｂ）に示す位置姿勢認識結果Ｆ，Ｇにおけるワーク５６，５７の位置姿勢は、何れも平面しか見えていない位置姿勢の一例であり、前述の如く、このような平面のみの位置姿勢の場合、その平面方向（ｘ−ｙ方向）の認識精度が悪化し易い傾向にある。かかる状況は、例えば、矩形状をなすワーク５のピッキングが進行していき、収納容器６内に残存するワーク５が少なくなり、収納容器６の底面にワーク５が平らに置かれ、その状態を収納容器６の底面のほぼ真上からセンサ１によって計測した場合に生じ得る。

図８（Ｂ）に示すワーク５６では、認識結果である輪郭線で囲まれた範囲の大きさ（面積）がワーク５６の外形領域の面積とほぼ同等であるが、位置が若干ずれてしまっており、この点において、平面方向（ｘ−ｙ方向）の認識精度が悪いものの、図９のとおり、類似スコアは「８０」と算出されている。また、ワーク５７では、認識結果である輪郭線で囲まれた範囲の大きさ（面積）がワーク５６の外形領域の面積と全く異なっており、この点において、平面方向（ｘ−ｙ方向）の認識精度が悪いものの、輪郭線の位置自体はワーク５７の外形領域に合致又はその範囲内に含まれているため、類似スコアは「１００」と算出されている。

この場合、図８（Ｂ）からは一見して、ワーク５６の位置姿勢認識結果Ｆの方がワーク５７の位置姿勢認識結果Ｇよりも良いと判断し得るが、もし仮にこれらの良否を類似スコアＳのみで判別したとすると、結果は逆になってしまう。さらに、例えば類似スコアＳの閾値を、先の実施形態における統合スコアＳＴの閾値と同じ「９０」とすると、ワーク５６は把持対象にならない一方で、ワーク５７が把持対象と判定されてしまうおそれがある。しかし、実際のワーク５６の外形範囲と大きく異なる位置姿勢認識結果Ｇに基づいて、ワーク５７の把持を試行したとしても、把持できない可能性が高いといえる。

これに対し、第１変形例では、上記実施形態と同様に、ワーク５６，５７の位置姿勢認識結果Ｆ，Ｇの良否の判別は、統合スコアＳＴに基づいて行う（図４におけるステップＳ９）。例えば、統合スコアＳＴの閾値を上記実施形態と同じ「９０」とすると、位置姿勢認識結果Ｆ，Ｇの何れの統合スコアＳＴも閾値未満となる。よって、図８（Ｂ）に示す状況では、図４に示すフローチャートに従って、ステップＳ２０以降の処理により、計測条件を変更してワーク５６，５７の計測データを再取得し、さらに、位置姿勢の再認識を行う。

ここで、図１０（Ａ）は、第１変形例に係る物体認識処理装置を備えるワークピッキング装置２００の適用場面の他の一例を模式的に示す平面図であり、計測条件であるセンサ１の位置姿勢を変更して、ワーク５６，５７の計測データを再取得している状態を示す図である。また、図１０（Ｂ）は、第１変形例に係るワークピッキング装置２００に備わる物体認識処理装置によるワーク５６，５７の位置姿勢認識結果の他の一例を模式的に示す平面図である。なお、図１０（Ｂ）においても、図８（Ｂ）と同様に、ワーク５６，５７の各表示領域に、それぞれに対応する位置姿勢認識結果の符号Ｈ，Ｉを付記した。また、これらのワーク５６，５７の位置姿勢認識結果Ｈ，Ｉに対して算出した類似スコアＳ、指標Ｄ１，Ｄ２、信頼度Ｒ、及び統合スコアＳＴを、図１１の表にまとめて示す。

図１０（Ａ）に示すとおり、ロボット３のアームは図８（Ａ）に示す状態よりもアーム前方に延びており、また、ロボット３のアーム先端部の角度がアーム台側に傾くように変更されており、その結果、アーム先端部に取り付けられたセンサ１の位置姿勢（視点）が、ワーク５６，５７をやや斜め上方から覗くように変更されている。かかる位置姿勢のセンサ１で再取得された計測データに基づくワーク５６，５７の位置姿勢の再認識結果Ｈ，Ｉは、図１０（Ｂ）及び図１１の表に示す如く、何れも良好であり、例えば類似スコアＳも統合スコアＳＴも、図９の表に示す最初の結果よりも格段に改善されている。

以上のことから、かかる第１変形例によれば、上記実施形態と同様に、一旦認識したワーク５の位置姿勢の認識精度が悪く、そのワーク５を把持対象とすることができなかった場合でも、その位置姿勢の認識精度を高めることができる。これにより、確実に把持できるワーク５の数を増大させる（すなわち把持成功率を高める）ことが可能となるので、良好且つ安定したピッキング操作を実現することができる。

＜５．２：第２変形例＞
上記実施形態では、指標Ｄ１，Ｄ２の少なくとも何れかを用いたが、それに加えて、又は、それに代えて、前記適用例における指標１，３，５，６，７，８の少なくとも何れかを用いてもよい。

§６ 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。

（付記１）
物体（５）の３次元形状を表す３次元モデルデータを取得するモデルデータ取得部（４１０）と、
前記物体（５）の３次元位置情報を含む計測データを取得する計測部（１）と、
前記３次元モデルデータと前記計測データとに基づいて、前記物体（５）の位置姿勢を認識する位置姿勢認識部（４２０）と、
前記物体（５）の位置姿勢認識結果における前記３次元モデルデータと前記計測データとの類似度を示す類似スコア（Ｓ）を算出する類似スコア算出部（４３０）と、
前記物体（５）の位置姿勢認識結果における該物体（５）の３次元形状の特徴を示す指標（Ｄ１，Ｄ２）を算出し、該指標（Ｄ１，Ｄ２）に基づいて前記類似スコア（Ｓ）の信頼度（Ｒ）を算出する信頼度算出部（４４０）と、
前記類似スコア（Ｓ）と前記信頼度（Ｒ）とに基づいて、前記物体（５）の位置姿勢認識結果の良否を示す統合スコア（ＳＴ）を算出する統合スコア算出部（４５０）と、
を備える物体認識処理装置。

（付記２）
前記物体（５）の３次元形状の特徴は、前記物体（５）の位置姿勢認識結果から把握される、前記物体（５）の３次元形状の多様性を示す物理量である、
付記１の物体認識処理装置。

（付記３）
前記信頼度算出部（４４０）は、前記物体（５）の位置姿勢認識結果における面の数を、前記指標（Ｄ１，Ｄ２）として算出する、
付記１又は２の物体認識処理装置。

（付記４）
前記信頼度算出部（４４０）は、前記物体（５）の位置姿勢認識結果における各面の法線方向を量子化し、当該量子化された前記法線方向の頻度分布における最頻値、又は、分散を、前記指標（Ｄ１，Ｄ２）として算出する、
付記１乃至３の何れかの物体認識処理装置。

（付記５）
前記信頼度算出部（４４０）は、前記物体（５）の位置姿勢認識結果における表面積を、前記指標（Ｄ１，Ｄ２）として算出する、
付記１乃至４の何れかの物体認識処理装置。

（付記６）
前記信頼度算出部（４４０）は、前記物体（５）の位置姿勢認識結果における輪郭線の数、又は、長さを、前記指標（Ｄ１，Ｄ２）として算出する、
付記１乃至５の何れかの物体認識処理装置。

（付記７）
前記信頼度算出部（４４０）は、前記物体（５）の位置姿勢認識結果における輝度分布における分散、又は、前記物体（５）の位置姿勢認識結果における距離分布における分散を表す値を、前記指標（Ｄ１，Ｄ２）として算出する、
付記１乃至６の何れかの物体認識処理装置。

（付記８）
前記信頼度算出部（４４０）は、前記指標（Ｄ１，Ｄ２）に重み付けを行い、該重み付けした指標（Ｄ１，Ｄ２）に基づいて、前記類似スコア（Ｓ）の信頼度（Ｒ）を算出する、
付記１乃至７の何れかの物体認識処理装置。

（付記９）
前記信頼度算出部（４４０）は、前記物体（５）の異なる位置姿勢毎に前記指標（Ｄ１，Ｄ２）又は前記信頼度（Ｒ）を予め算出しておき、前記物体（５）の位置姿勢認識結果に対応する前記指標（Ｄ１，Ｄ２）又は前記信頼度（Ｒ）を選定する、
付記１乃至８の何れかの物体認識処理装置。

（付記１０）
モデルデータ取得部（４１０）と、計測部（１）と、位置姿勢認識部（４２０）と、類似スコア算出部（４３０）と、信頼度算出部（４４０）と、統合スコア算出部（４５０）とを備える物体認識処理装置を用いた物体認識処理方法であって、
前記モデルデータ取得部（４１０）が、物体（５）の３次元形状を表す３次元モデルデータを取得するステップと、
前記計測部（１）が、前記物体（５）の３次元位置情報を含む計測データを取得するステップと、
前記位置姿勢認識部（４２０）が、前記３次元モデルデータと前記計測データとに基づいて、前記物体（５）の位置姿勢を認識するステップと、
前記類似スコア算出部（４３０）が、前記物体（５）の位置姿勢認識結果における前記３次元モデルデータと前記計測データとの類似度を示す類似スコア（Ｓ）を算出するステップと、
前記信頼度算出部（４４０）が、前記物体（５）の位置姿勢認識結果における該物体（５）の３次元形状の特徴を示す指標（Ｄ１，Ｄ２）を算出し、該指標（Ｄ１，Ｄ２）に基づいて前記類似スコア（Ｓ）の信頼度（Ｒ）を算出するステップと、
前記統合スコア算出部（４５０）が、前記類似スコア（Ｓ）と前記信頼度（Ｒ）とに基づいて、前記物体（５）の位置姿勢認識結果の良否を示す統合スコア（ＳＴ）を算出するステップと、
を含む、
物体認識処理方法。

（付記１１）
物体（５）を把持して取り出すための物体ピッキング装置（１００，２００）であって、
付記１乃至９の何れかの物体認識処理装置と、
前記物体（５）を把持するハンド（２）と、
前記ハンド（２）を移動するロボット（３）と、
前記物体認識処理装置、前記ハンド（２）、及び前記ロボット（３）を制御する制御装置（４）と、
を備え、
前記制御装置（４）は、前記物体認識処理装置によって算出された前記統合スコア（ＳＴ）に基づいて、前記ハンド（２）が把持する前記物体（５）を決定する把持物体（５）決定部、前記ハンド（２）が前記物体（５）を把持する際の前記ハンド（２）の把持姿勢を算出する把持姿勢算出部（４８０）、及び、前記ロボット（３）により前記ハンド（２）を前記把持姿勢へ移動する経路を算出する経路算出部（４９０）を有する、
物体ピッキング装置（１００，２００）。

（付記１２）
前記制御装置（４）は、前記物体認識処理装置によって算出された前記統合スコア（ＳＴ）に基づいて、前記計測データを取得する際の計測条件を変更する計測条件変更部（４７０）を有し、
前記物体認識処理装置の前記計測部（１）は、変更後の前記計測条件に基づいて、前記物体（５）の３次元位置情報を含む計測データを再取得し、
前記物体認識処理装置の前記位置姿勢認識部（４２０）は、前記３次元モデルデータと再取得された前記計測データとに基づいて、前記物体（５）の位置姿勢を再認識する、
付記１１の物体ピッキング装置（１００，２００）。

（付記１３）
前記計測条件変更部（４７０）は、前記計測条件として、前記計測部（１）の位置姿勢を変更する、
付記１２の物体ピッキング装置（１００，２００）。

（付記１４）
前記パラメータ変更部（４７０）は、前記３次元モデルデータ、再認識前の前記物体（５）の位置姿勢認識結果、及び、前記計測データの再取得前の前記計測部（１）の位置姿勢に基づいて、変更するべき前記計測部（１）の位置姿勢を算出する、
付記１３の物体ピッキング装置（１００，２００）。

（付記１５）
付記１乃至９の何れかの物体認識処理装置と、ハンド（２）と、ロボット（３）と、制御装置（４）とを備える物体ピッキング装置（１００，２００）を用い、物体（５）を把持して取り出すための物体ピッキング方法であって、
前記物体認識処理装置が、前記物体（５）の位置姿勢認識結果における良否を示す統合スコア（ＳＴ）を算出する算出ステップと
前記ハンド（２）が、前記物体（５）を把持する把持ステップと、
前記ロボット（３）が、前記ハンド（２）を移動する移動ステップと、
前記制御装置（４）が、前記物体認識処理装置、前記ハンド（２）、及び前記ロボット（３）を制御する制御ステップと、
を含み、
前記制御ステップは、前記統合スコア（ＳＴ）に基づいて、前記ハンド（２）が把持する前記物体（５）を決定する把持物体決定ステップ、前記ハンド（２）が前記物体（５）を把持する際の前記ハンド（２）の把持姿勢を算出する把持姿勢算出ステップ、及び、前記ロボット（３）により前記ハンド（２）を前記把持姿勢へ移動する経路を算出する経路算出ステップを有する、
物体ピッキング方法。

１…センサ、２…ハンド、３…ロボット、４…制御装置、５…ワーク、６…収納容器、４１…制御演算部、４２…通信インタフェース（Ｉ／Ｆ）部、４３…記憶部、４４…入力部、４５…出力部、４６…バスライン、５１〜５７…ワーク、５１ａ，５２ａ，５２ｂ，５３ａ，５３ｂ，５４ａ，５４ｂ，５４ｃ，５５ａ…面、１００，２００…ワークピッキング装置、４１０…モデルデータ取得部、４２０…位置姿勢認識部、４３０…類似スコア算出部、４４０…信頼度算出部、４５０…統合スコア算出部、４６０…把持物体決定部、４７０…計測条件変更部、４８０…把持姿勢算出部、４９０…経路算出部、５１０…センサ制御部、５２０…ハンド制御部、５３０…ロボット制御部。

Claims (13)

1. 物体の３次元形状を表す３次元モデルデータを取得するモデルデータ取得部と、
   前記物体の３次元位置情報を含む計測データを取得する計測部と、
   前記３次元モデルデータと前記計測データとに基づいて、前記物体の位置姿勢を認識する位置姿勢認識部と、
   前記物体の位置姿勢認識結果における輪郭線と前記物体の実際の輪郭線との合致度の高低に基づいて、前記３次元モデルデータと前記計測データとの類似度を示す類似スコアを算出する類似スコア算出部と、
   前記物体の位置姿勢認識結果における各面の法線方向を量子化し、当該量子化された前記法線方向の頻度分布における最頻値、又は、分散を、該物体の３次元形状の特徴を示す指標として算出し、該指標の値をそのまま、又は、該指標に補正演算を施した値を前記類似スコアの信頼度として算出する信頼度算出部と、
   前記類似スコアと前記信頼度とを演算によって組み合わせた値を、前記物体の位置姿勢認識結果の良否を示す統合スコアとして算出する統合スコア算出部と、
   を備える物体認識処理装置。
2. 前記信頼度算出部は、前記物体の位置姿勢認識結果における面の数を、前記指標として算出する、
   請求項１記載の物体認識処理装置。
3. 前記信頼度算出部は、前記物体の位置姿勢認識結果における表面積を、前記指標として算出する、
   請求項１又は２記載の物体認識処理装置。
4. 前記信頼度算出部は、前記物体の位置姿勢認識結果における輪郭線の数、又は、長さを、前記指標として算出する、
   請求項１乃至３の何れか１項記載の物体認識処理装置。
5. 前記信頼度算出部は、前記物体の位置姿勢認識結果における輝度分布における分散、又は、前記物体の位置姿勢認識結果における距離分布における分散を表す値を、前記指標として算出する、
   請求項１乃至４の何れか１項記載の物体認識処理装置。
6. 前記信頼度算出部は、前記指標に前記補正演算としての重み付けを行い、該重み付けした指標の値を前記類似スコアの信頼度として算出する、
   請求項１乃至５の何れか１項記載の物体認識処理装置。
7. 前記信頼度算出部は、前記物体の異なる位置姿勢毎に前記指標又は前記信頼度を予め算出しておき、前記物体の位置姿勢認識結果に対応する前記指標又は前記信頼度を選定する、
   請求項１乃至６の何れか１項記載の物体認識処理装置。
8. モデルデータ取得部と、計測部と、位置姿勢認識部と、類似スコア算出部と、信頼度算出部と、統合スコア算出部とを備える物体認識処理装置を用いた物体認識処理方法であって、
   前記モデルデータ取得部が、物体の３次元形状を表す３次元モデルデータを取得するステップと、
   前記計測部が、前記物体の３次元位置情報を含む計測データを取得するステップと、
   前記位置姿勢認識部が、前記３次元モデルデータと前記計測データとに基づいて、前記物体の位置姿勢を認識するステップと、
   前記類似スコア算出部が、前記物体の位置姿勢認識結果における輪郭線と前記物体の実際の輪郭線との合致度の高低に基づいて、前記３次元モデルデータと前記計測データとの類似度を示す類似スコアを算出するステップと、
   前記信頼度算出部が、前記物体の位置姿勢認識結果における各面の法線方向を量子化し、当該量子化された前記法線方向の頻度分布における最頻値、又は、分散を、該物体の３次元形状の特徴を示す指標として算出し、該指標の値をそのまま、又は、該指標に補正演算を施した値を前記類似スコアの信頼度として算出するステップと、
   前記統合スコア算出部が、前記類似スコアと前記信頼度とを演算によって組み合わせた値を、前記物体の位置姿勢認識結果の良否を示す統合スコアとして算出するステップと、
   を含む、
   物体認識処理方法。
9. 物体を把持して取り出すための物体ピッキング装置であって、
   請求項１乃至７の何れか１項記載の物体認識処理装置と、
   前記物体を把持するハンドと、
   前記ハンドを移動するロボットと、
   前記物体認識処理装置、前記ハンド、及び前記ロボットを制御する制御装置と、
   を備え、
   前記制御装置は、前記物体認識処理装置によって算出された前記統合スコアに基づいて、前記ハンドが把持する前記物体を決定する把持物体決定部、前記ハンドが前記物体を把持する際の前記ハンドの把持姿勢を算出する把持姿勢算出部、及び、前記ロボットにより前記ハンドを前記把持姿勢へ移動する経路を算出する経路算出部を有する、
   物体ピッキング装置。
10. 前記制御装置は、前記物体認識処理装置によって算出された前記統合スコアに基づいて、前記計測データを取得する際の計測条件を変更する計測条件変更部を有し、
    前記物体認識処理装置の前記計測部は、変更後の前記計測条件に基づいて、前記物体の３次元位置情報を含む計測データを再取得し、
    前記物体認識処理装置の前記位置姿勢認識部は、前記３次元モデルデータと再取得された前記計測データとに基づいて、前記物体の位置姿勢を再認識する、
    請求項９記載の物体ピッキング装置。
11. 前記計測条件変更部は、前記計測条件として、前記計測部の位置姿勢を変更する、
    請求項１０記載の物体ピッキング装置。
12. 前記計測条件変更部は、前記３次元モデルデータ、再認識前の前記物体の位置姿勢認識結果、及び、前記計測データの再取得前の前記計測部の位置姿勢に基づいて、変更するべき前記計測部の位置姿勢を算出する、
    請求項１１記載の物体ピッキング装置。
13. 請求項１乃至７の何れか１項記載の物体認識処理装置と、ハンドと、ロボットと、制御装置とを備える物体ピッキング装置を用い、物体を把持して取り出すための物体ピッキング方法であって、
    前記物体認識処理装置が、前記物体の位置姿勢認識結果における良否を示す統合スコアを算出する算出ステップと
    前記ハンドが、前記物体を把持する把持ステップと、
    前記ロボットが、前記ハンドを移動する移動ステップと、
    前記制御装置が、前記物体認識処理装置、前記ハンド、及び前記ロボットを制御する制御ステップと、
    を含み、
    前記制御ステップは、前記統合スコアに基づいて、前記ハンドが把持する前記物体を決定する把持物体決定ステップ、前記ハンドが前記物体を把持する際の前記ハンドの把持姿勢を算出する把持姿勢算出ステップ、及び、前記ロボットにより前記ハンドを前記把持姿勢へ移動する経路を算出する経路算出ステップを有する、
    物体ピッキング方法。

Images