JP2018120388A - ワーク検出装置及び方法 - Google Patents

Abstract

【課題】複数山のワークそれぞれを的確に検出することができるワーク検出装置を提供する。【解決手段】画像演算処理装置は、複数山のワークが配置されている載置場所を撮影した撮影画像を取得する（ステップＳ１）。画像演算処理装置は、撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理する前処理を実行する（ステップＳ２）。画像演算処理装置は、画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理を実行する（ステップＳ３）。画像演算処理装置は、ラベル付けされたそれぞれのラベリング領域に外接する外接図形（例えば矩形）の面積を算出する（ステップＳ４）。画像演算処理装置は、算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録する（ステップＳ６及びＳ７）。【選択図】図４

Description

本発明は、載置場所に配置されている複数山のワークのそれぞれを検出することができるワーク検出装置及び方法に関する。

ベンディングマシン等の加工機で金属のワークを加工する際に、載置場所として例えばパレットに配置されているワークをワーク保持用ロボットで保持して、加工機へと搬送することがある。大量のワークを加工機で加工するために、パレットに同一形状のワークを複数山配置し、ワーク保持用ロボットで複数山に配置されたワークを１つずつ順に保持させて搬出することがある。

従来においては、パレット上にワークの２つの山を配置する場合、ワークの山を、パレットの前後または左右のように予め定めた２つの領域に分割した分割領域のそれぞれに配置する必要がある。また、パレット上にワークの４つの山を配置する場合、ワークの山を、パレットを前後及び左右の４つの領域に分割した分割領域のそれぞれに配置する必要がある。

特開平７−３１９５２５号公報 特開２０００−２８８９７４号公報

従来においては、パレットを２つまたは４つの領域に分割した境界である仮想的な分割線上にワークを配置したり、１つの分割領域に複数山のワークを配置したりすると、ワークを正しく検出することができない。

そのため、従来においては、作業者は、ワーク検出装置がパレットを撮影した撮影画像に設定している分割線を意識してワークの山を配置しなければならない。作業者がワークの山をパレットに配置するときには分割線を見ることができないため、作業者は、ワークの山をパレットに配置した後にワークの山が分割領域内に配置されているかを表示部で確認しなければならない。このような分割線を意識した作業は、ワークの山をパレットに配置する段取り作業の作業効率を悪化させる。

本発明は、複数山のワークを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークそれぞれを的確に検出することができるワーク検出装置及び方法を提供することを目的とする。

本発明は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を、前記ワークの輪郭が線画像として表現されるように画像処理する前処理部と、前記前処理部によって画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理部と、前記ラベリング処理部によってラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する面積算出部と、前記面積算出部によって算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録するラベリング領域登録部と、前記載置場所の全体的な撮像画像内に、前記ラベリング領域登録部によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する分割領域情報生成部とを備えることを特徴とするワーク検出装置を提供する。

また、本発明は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を取得し、前記撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理し、画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けし、ラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出し、算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録し、前記載置場所の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成することを特徴とするワーク検出方法を提供する。

本発明のワーク検出装置及び方法によれば、複数山のワークを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークそれぞれを的確に検出することができる。

加工システムの全体的な構成例を示す斜視図である。 一実施形態のワーク検出装置を含む加工システムの全体的な構成例を示すブロック図である。 図２の画像演算処理装置３の機能的な内部構成例を示すブロック図である。 画像演算処理装置３による自動領域分割の処理を示すフローチャートである。 複数山のワークが配置されている載置場所を撮影した撮影画像を概念的に示す図である。 図５に示す撮影画像に基づいてラベリング処理した結果の一例を概念的に示す図である。 ワークの向きによってラベリング領域に外接する矩形の面積が異なることを示す図である。 ラベリング領域を含む矩形の分割領域の位置を示す分割領域情報を概念的に示す図である。 図２のロボット制御装置５がワーク保持用ロボット２０を制御して載置場所上のワークを搬出するために必要な、画像演算処理装置３によるワークの検出処理を示すフローチャートである。 図９Ａに続く、図２のロボット制御装置５がワーク保持用ロボット２０を制御して載置場所上のワークを搬出するために必要な、画像演算処理装置３によるワークの検出処理を示すフローチャートである。

以下、一実施形態のワーク検出装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、載置場所に配置されているワークＷをワーク保持用ロボットで保持して、加工機へと搬送するように構成されている加工システムの全体的な構成例を説明する。図１に示す構成例において、加工機１０はベンディングマシンであり、ワーク保持用ロボット２０は、ワークＷを吸着または把持してベンディングマシンへと搬送するワーク搬送ロボットである。

加工機はベンディングマシンに限定されることはなく、パンチングマシン、レーザマシン等の任意の加工機でよい。

加工機１０は、上下方向に移動自在の上部テーブル１０１と、固定されている下部テーブル１０２とを有する。上部テーブル１０１にはパンチ金型Ｔｐが装着され、下部テーブル１０２にはダイ金型Ｔｄが装着されている。加工機１０には、後述するＮＣ装置２（図２に図示）と接続された表示・操作部２１（操作ペンダント）が装着されている。

加工機１０の前方には、多関節のワーク保持用ロボット２０が設置されている。ワーク保持用ロボット２０はガイドレール２００上に配置されており、ガイドレール２００に沿って加工機１０の左右方向に移動自在に構成されている。ワーク保持用ロボット２０は左右方向に移動自在ではなく、左右方向の位置が固定されていてもよい。

ワーク保持用ロボット２０の前方には、ワークＷの載置場所であるパレット３０が設置されている。ワークＷは所定の形状を有する金属の板材である。ここでは、ワークＷの形状が台形である場合を示している。パレット３０には、複数枚のワークＷが複数の箇所に積み重ねられている。即ち、パレット３０には、複数山のワークＷが配置されている。

パレット３０の近傍には、パレット３０の設置面に対して所定の高さまで延びる支柱４０１が配置されている。支柱４０１は、所定の高さまで垂直方向に延び、パレット３０側に水平方向に折れ曲がり、さらに、加工機１０の方向へと折れ曲がっている。支柱４０１の先端部には、カメラ４が装着されている。カメラ４はいわゆる単眼カメラである。カメラ４は、ＣＭＯＳ等の撮像素子と複数枚のレンズを内蔵している。

パレット３０を挟む側壁６１の上端部には、例えば複数個の発光ダイオード（ＬＥＤ）を内蔵する照明器具６２が取り付けられている。照明器具６２は、必要に応じて、パレット３０を照明する。照明器具６２による照明の角度は予め調整されている。

カメラ４は、パレット３０の全体を撮影して、パレット３０に置かれたワークＷを撮影するように構成されている。例えば、パレット３０の角部Ｐ０の位置を、カメラ４がパレット３０を撮影した撮影画像の原点とする。ワーク保持用ロボット２０の原点位置は、撮影画像の原点と一致するように設定されている。

照明器具６２によってワークＷが配置されたパレット３０を照明すると、ワークＷに影を付けることができる。よって、後述する画像演算処理装置３（図２に図示）がカメラ４による撮影画像に基づいてワークＷの位置を検出する際の検出精度を向上させることができる。

図２を用いて、加工機１０及びワーク保持用ロボット２０を制御する制御装置の構成及び動作を説明する。図２において、ＣＡＭ１は、図示していないＣＡＤで生成されたワークＷの製品形状を示すＣＡＤデータを保持している。ＣＡＤデータは例えばＣＳＶファイルで構成される。ＣＡＭ１はワークＷを加工するための加工プログラムを作成する。ＣＡＭ１は、加工プログラム及び製品形状を示すファイルをＮＣ装置２に転送する。

ＮＣ装置２には、画像演算処理装置３、ロボット制御装置５、加工機１０、表示・操作部２１が接続されている。ＮＣ装置２は、加工プログラムに基づいて、加工機１０によるワークＷの加工を制御する。ＮＣ装置２は、製品形状を示すファイルを画像演算処理装置３に転送する。

画像演算処理装置３は、例えばパーソナルコンピュータで構成することができる。画像演算処理装置３には、カメラ４が接続されている。画像演算処理装置３は、本実施形態のワーク検出装置を構成する。後述するように、画像演算処理装置３は、パレット３０に配置されたそれぞれの山のワークＷの位置を検出し、検出した位置情報をロボット制御装置５に供給する。ロボット制御装置５は、ワークＷの位置情報に基づいてワーク保持用ロボット２０を制御する。

画像演算処理装置３は、後述する各種の情報を保持するためのメモリ３０１を有する。ワーク保持用ロボット２０のワークＷを吸着または把持する部分には、ワークＷの実積載高さを検出するセンサが取り付けられている。即ち、ワーク保持用ロボット２０は、ワークＷの実積載高さ検出部２０１を有する。

図２に示す構成例では、加工機１０を制御するＮＣ装置２と、ワーク検出装置を構成する画像演算処理装置３と、ワーク保持用ロボット２０を制御するロボット制御装置５とを別々に設けているが、これは単なる一例である。

ＮＣ装置２に画像演算処理装置３の機能を持たせることによって、ＮＣ装置２がワーク検出装置を構成してもよい。ＮＣ装置２とロボット制御装置５とが一体化されていてもよい。ロボット制御装置５に画像演算処理装置３の機能を持たせることによって、ロボット制御装置５がワーク検出装置を構成してもよい。

図３を用いて、画像演算処理装置３の機能的な内部構成例と、画像演算処理装置３の概略的な動作を説明する。図３において、前処理部３０２は、カメラ４がパレット３０を撮影した撮影画像の画像データを前処理する。ラベリング処理部３０３は、前処理された画像データが示す撮影画像に含まれる後述する領域にラベル付けする。面積算出部３０４は、ラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する。

面積算出部３０４は、メモリ３０１に記憶されている面積基準範囲情報を参照して、算出された面積が予め設定した基準範囲内であるか否かを判定する。ラベリング領域登録部３０５には、面積が基準範囲内であるラベリング領域の情報が供給される。ラベリング領域登録部３０５は、ラベリング領域の情報を、ワークＷが存在するラベリング領域としてメモリ３０１に登録する。

分割領域情報生成部３０６は、パレット３０の全体的な撮像画像に、ラベリング領域登録部３０５によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、分割領域それぞれの位置を示す位置情報である分割領域情報を生成する。分割領域情報生成部３０６は、分割領域情報をメモリ３０１に保持させる。

ワーク有無検出部３０７は、メモリ３０１に保持された分割領域情報を参照して、前処理部３０２によって前処理された撮影画像における分割領域情報が示す分割領域それぞれでワークＷの有無を検出する。積載高さ検出部３０８は、ワークＷがあると検出された分割領域それぞれのワークＷの積載高さをワークＷの撮影画像の大きさに基づいて検出して、メモリ３０１に保持させる。

位置情報送信部３０９は、メモリ３０１に保持されたワークＷの積載高さ情報を参照して、複数の分割領域のうち、ワークＷの積載高さが最大であると検出された分割領域（以下、積載高さ最大分割領域）を抽出する。位置情報送信部３０９は、積載高さ最大分割領域のワークＷをワーク保持用ロボット２０によって保持させるために、積載高さ最大分割領域に対応する実際のパレット３０上の位置を示す位置情報をロボット制御装置５に送信する。

ワーク保持用ロボット２０の実積載高さ検出部２０１は、ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持するときにワークＷの実積載高さを検出する。ワークＷの実積載高さを示す情報はロボット制御装置５を介して画像演算処理装置３に供給される。実積載高さ受信部３１０は、ワークＷの実積載高さを示す情報を受信する。

積載高さ更新部３１１は、メモリ３０１に保持されている積載高さ最大分割領域のワークＷの積載高さを、実積載高さ受信部３１０が受信したワークＷの実積載高さを示す情報に基づいて算出した最新の実積載高さで更新する。

次に、図４に示すフローチャート及び図５〜図８を用いて、画像演算処理装置３の具体的な動作である自動領域分割の処理を説明する。図４において、処理が開始されると、画像演算処理装置３は、ステップＳ１にて、カメラ４がワークＷが配置されたパレット３０を撮影した画像データを取得する。図５は、画像データが示す画像を概念的に示している。

前処理部３０２は、ステップＳ２にて、画像データに対して前処理を施す。具体的には、前処理部３０２は、ノイズを除去し、例えば適応的閾値処理によって画像データを２値化し、モルフォロジー処理の１つである浸食処理を施す。前処理部３０２がこれらの前処理を施すと、ワークＷ等の物体の輪郭の線がつながった画像とすることができる。前処理部３０２は、ワークＷの輪郭が線画像として表現されるように画像処理すればよい。

ラベリング処理部３０３は、ステップＳ３にて、撮影画像に含まれる画素値が連続する閉じた線画像によって形成される領域に番号を割り振るラベリング処理を施す。図６は、ステップＳ３によるラベリング処理の結果の一例を概念的に示している。図６に示すように、１０か所の山のワークＷの領域は閉じた線画像の領域となっていて、それぞれ番号１〜１０が割り振られている。図６においては、番号１〜３及び５〜９のワークＷに囲まれた領域も閉じた線画像の領域となっていて、番号１１が割り振られている状態を示している。

面積算出部３０４は、ステップＳ４にて、ラベリングされた領域（以下、ラベリング領域）に外接するそれぞれの矩形の面積を算出する。矩形はラベリング領域に外接する外接図形の一例である。面積算出部３０４はラベリング領域に外接する外接円の面積を算出してもよい。面積算出部３０４は、それぞれのラベリング領域自体の面積を算出してもよい。ラベリング領域自体の面積を算出するよりもラベリング領域に外接する外接図形の面積を算出する方が、演算処理が簡略化されるので好ましい。外接図形としては矩形が好ましい。

図７は、番号１が割り振られたラベリング領域に外接する矩形と、番号５が割り振られたラベリング領域に外接する矩形を示している。番号１〜１０が割り振られたラベリング領域はワークＷの位置に対応する領域であり、それぞれのラベリング領域の面積はほぼ同じである。しかしながら、パレット３０の面内でワークＷの向きが異なれば、ラベリング領域に外接する矩形の面積は異なる。

面積算出部３０４は、ステップＳ５にて、ラベリング領域の１つを選択する。例えば、面積算出部３０４は、番号１が割り振られたラベリング領域を選択する。面積算出部３０４は、ステップＳ６にて、面積基準範囲情報を参照して、ラベリング領域に外接する矩形の面積が基準範囲内であるか否かを判定する。

ワークＷの面積は既知であり、ワークＷをパレット３０の面内で所定の角度に回転させたときのワークＷに外接する矩形の面積は予め求めることができる。パレット３０には、ワークＷが高さ方向に１つのみ配置されることがあり、複数のワークＷが積み重ねられて所定の高さの山として配置されることもある。撮影画像におけるワークＷの面積は、山の高さが低いほど小さくなり、山の高さが高いほど大きくなる。山の最大高さ（ワークＷの積載枚数）は予め想定されている。

画像演算処理装置３は、ワークＷが高さ方向に１つのみ配置された状態で回転させたときの矩形の最小面積及び最大面積と、ワークＷが最大高さで積み重ねられた状態で回転させたときの矩形の最小面積及び最大面積とを含むように、矩形の面積の基準範囲を予め求める。メモリ３０１は、このように求めた面積基準範囲情報を保持すればよい。

ＮＣ装置２が矩形の面積の基準範囲を予め求めて、面積基準範囲情報を画像演算処理装置３に供給してもよい。

ステップＳ６にてラベリング領域に外接する矩形の面積が基準範囲内であれば（YES）、ラベリング領域登録部３０５は、ステップＳ７にて、ワークＷが存在するラベリング領域としてメモリ３０１に登録する。ラベリング領域に外接する矩形の面積が基準範囲内でなければ（NO）、ラベリング領域登録部３０５は、ステップＳ８にて、ラベリング領域から除外する。

ワークＷに外接する矩形の代わりに外接円を用いる場合には、パレット３０の面内でワークＷの向きが異なっても外接円の面積は変わらない。外接円またはラベリング領域の面積を基準としてワークＷが存在するラベリング領域であるか否かを判定する場合には、ワークＷの積載高さ（山の高さ）の変化を考慮した面積基準範囲を設定すればよい。

面積算出部３０４は、ステップＳ９にて、未選択のラベリング領域があるか否かを判定する。未選択のラベリング領域があれば（YES）、面積算出部３０４はステップＳ５及びＳ６の処理を繰り返し、ラベリング領域登録部３０５はステップＳ７またはＳ８の処理を繰り返す。

図６において、番号１〜１０が割り振られたラベリング領域はワークＷの位置に対応する領域であるから、それぞれのラベリング領域に外接する矩形の面積は基準範囲内となり、ワークＷが存在するラベリング領域としてメモリ３０１に登録される。一方、番号１１が割り振られたラベリング領域はワークＷの位置に対応する領域ではなく、そのラベリング領域に外接する矩形の面積は基準範囲内とはならないため、ラベリング領域から除外される。

ステップＳ９にて未選択のラベリング領域がなければ（NO）、分割領域情報生成部３０６は、ステップＳ１０にて、パレット３０の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定して分割領域情報を生成する。面積算出部３０４がラベリング領域に外接する矩形を算出する例では、矩形がラベリング領域を含む分割領域となる。

分割領域情報生成部３０６は、分割領域情報をメモリ３０１に保持させる。図８は、メモリ３０１に保持される分割領域情報を概念的に示している。

以上のように、ステップＳ２にてワークＷの輪郭以外で閉じた線画像によって形成される領域が発生して、ステップＳ３にてラベル付けされたとしても、ワークＷに対応しないラベリング領域が除外される。よって、メモリ３０１には、それぞれのワークＷの山を示す分割領域情報のみが登録される。

さらに、図９Ａ及び図９Ｂを用いて、ロボット制御装置５がワーク保持用ロボット２０を制御してパレット３０上のワークＷを搬出するために必要な、画像演算処理装置３によるワークＷの検出処理を説明する。なお、図９Ａ及び図９Ｂに示す処理は、図３で説明した分割領域情報の登録が完了した後に実行される処理である。図９Ａ及び図９Ｂにおいて、一部の処理はロボット制御装置５によって実行される。

図９Ａにおいて、ワーク有無検出部３０７は、ステップＳ１１にて、メモリ３０１に保持されている分割領域情報を参照して、分割領域があるか否かを判定する。ワーク有無検出部３０７は、分割領域があれば（YES）、処理をステップＳ１２に移行させ、分割領域がなければ（NO）、ワークＷの検出処理を終了させる。

ワーク有無検出部３０７は、ステップＳ１２にて、分割領域の１つを選択し、ステップＳ１３にて、前処理部３０２によって画像処理された撮影画像における選択された分割領域でワークＷの有無を検出する。ワーク有無検出部３０７は、ワーク参照画像を用いる公知のパターンマッチングの手法を用いてワークＷを検出すればよい。

ワーク有無検出部３０７は、ステップＳ１４にて、ワークＷが検出されたか否かを判定する。ワークＷが検出されたか否かを示す情報は、積載高さ検出部３０８に供給される。ワークＷが検出されれば（YES）、積載高さ検出部３０８は、ステップＳ１５にて、ワークＷの撮影画像に基づいてワークＷの積載高さを検出し、検出された積載高さを分割領域に対応させてメモリ３０１に保持させる。ワークＷが検出されなければ（NO）、積載高さ検出部３０８は、ステップＳ１６にて、選択された分割領域を除外する。

ワーク有無検出部３０７は、ステップＳ１７にて、全ての分割領域内でのワークＷの検出が完了したか否かを判定する。全ての分割領域内でのワークＷの検出が完了していなければ（NO）、ワーク有無検出部３０７は、ステップＳ１２〜Ｓ１４の処理を繰り返し、積載高さ検出部３０８は、ステップＳ１５またはＳ１６の処理を繰り返す。

全ての分割領域内でのワークＷの検出が完了していれば（YES）、位置情報送信部３０９は、ステップＳ１８にて、積載高さ最大分割領域に対応するパレット３０上の位置情報をロボット制御装置５に送信する。パレット３０の撮像画像内の位置と実際のパレット３０上の位置とは対応付けられているから、位置情報送信部３０９は撮像画像内の分割領域の位置情報を実際のパレット３０上の位置情報に変換して、ロボット制御装置５に送信すればよい。

ロボット制御装置５は、ステップＳ１９にて、ワーク保持用ロボット２０によってワークＷの積載高さが最大のワークＷを保持して加工機１０へと搬送するよう、位置情報送信部３０９から供給された位置情報に基づいてワーク保持用ロボット２０を制御する。ワークＷが加工機１０に搬送されたら、ＮＣ装置２は、加工プログラムに基づいてワークＷを加工するよう加工機１０を制御する。

実積載高さ受信部３１０は、ステップＳ２０にて、実積載高さ検出部２０１が検出したワークＷの実積載高さを示す情報を受信する。実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さは、実積載高さ検出部２０１がワークＷの山の最上部に位置するワークＷの高さを検出した高さである。

最上部に位置するワークＷはステップＳ１９にて既に搬出されている。そこで、積載高さ更新部３１１は、ステップＳ２１にて、実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さからワークＷの１枚分の厚さを減じた最新の実積載高さを求め、メモリ３０１に保持されているワークＷの積載高さをその最新の実積載高さで更新する。

引き続き、図９Ｂにおいて、ワーク有無検出部３０７は、ステップＳ２２にて、メモリ３０１に保持されている分割領域情報を参照して、有効な分割領域があるか否かを判定する。有効な分割領域とは、図９ＡのステップＳ１６にて除外された分割領域を除く分割領域である。有効な分割領域があると判定されれば（YES）、ワーク有無検出部３０７は、ステップＳ２３にて、ワークＷの積載高さが最も高い分割領域を選択する。

画像演算処理装置３は、ステップＳ２４にて、カメラ４がパレット３０を新たに撮影した撮影画像を取得する。ワーク有無検出部３０７は、ステップＳ２５にて、選択された分割領域内でワークＷの有無を検出する。このとき、選択された分割領域におけるワークＷの積載高さが検出されているから、パターンマッチングの手法を用いてワークＷの有無を検出するときに、ワークＷの積載高さに対応する大きさ及びその近傍の大きさのワーク参照画像を用いてワークＷの有無を検出する。このようにすれば、ワークＷの有無の検出処理を高速化することができる。

ワーク有無検出部３０７は、ステップＳ２６にて、ワークＷが検出されたか否かを判定する。ワークＷが検出されなければ（NO）、ワーク有無検出部３０７は、ステップＳ３２にて、選択された分割領域を除外して、処理をステップＳ２２に戻す。

ワークＷが検出されれば（YES）、積載高さ検出部３０８は、ステップＳ２７にて、ワークＷの撮影画像に基づいてワークＷの積載高さを検出し、検出された積載高さを分割領域に対応させてメモリ３０１に保持させる。

位置情報送信部３０９は、ステップＳ２８にて、積載高さ最大分割領域に対応するパレット３０上の位置情報をロボット制御装置５に送信する。ロボット制御装置５は、ステップＳ２９にて、ワーク保持用ロボット２０によってワークＷの積載高さが最大のワークＷを保持して加工機１０へと搬送するよう、位置情報送信部３０９から供給された位置情報に基づいてワーク保持用ロボット２０を制御する。ワークＷが加工機１０に搬送されたら、ＮＣ装置２は、加工プログラムに基づいてワークＷを加工するよう加工機１０を制御する。

実積載高さ受信部３１０は、ステップＳ３０にて、実積載高さ検出部２０１が検出したワークＷの実積載高さを示す情報を受信する。積載高さ更新部３１１は、ステップＳ３１にて、実積載高さ受信部３１０が受信した情報が示すワークＷの実積載高さからワークＷの１枚分の厚さを減じた最新の実積載高さを求め、メモリ３０１に保存されているワークＷの積載高さをその最新の実積載高さで更新する。

メモリ３０１に保存されているワークＷの積載高さを更新したら、画像演算処理装置３は、ステップＳ２２以降の処理を繰り返す。ステップＳ２２以降の処理を繰り返して、ステップＳ２２にて有効な分割領域があると判定されなければ（NO）、パレット３０上の全てのワークＷの加工機１０への搬送が完了したということである。画像演算処理装置３は、ステップＳ２２にて有効な分割領域がなければ、ワークＷの検出処理を終了させる。

以上のように、本実施形態のワーク検出装置は、複数山のワークが配置されている載置場所を撮影した撮影画像を、ワークＷの輪郭が線画像として表現されるように画像処理する前処理部３０２、閉じた線画像によって形成される領域にラベル付けするラベリング処理部３０３を備える。

本実施形態のワーク検出装置は、ラベリング領域の面積またはラベル付けされたラベリング領域に外接する外接図形の面積を算出する面積算出部３０４を備える。本実施形態のワーク検出装置は、算出された面積に基づいてワークＷが存在するラベリング領域を登録するラベリング領域登録部３０５、ラベリング領域を含む分割領域の位置を示す分割領域情報を生成する分割領域情報生成部３０６を備える。

本実施形態のワーク検出方法は、複数山のワークが配置されている載置場所を撮影した撮影画像の取得処理、ワークＷの輪郭を線画像として表現する画像処理を実行する。本実施形態のワーク検出方法は、閉じた線画像によって形成される領域にラベル付けするラベリング処理、ラベリング領域またはラベリング領域に外接する外接図形の面積の算出処理を実行する。本実施形態のワーク検出方法は、算出された面積に基づいてワークＷが存在するラベリング領域を登録する登録処理、ラベリング領域を含む分割領域の位置を示す分割領域情報の生成処理を実行する。

よって、本実施形態のワーク検出装置及び方法によれば、複数山のワークＷを載置場所に配置するときの載置場所上の位置にかかわらず、複数山のワークＷそれぞれを的確に検出することができる。本実施形態のワーク検出装置及び方法によれば、ワークＷの山を載置場所に配置するときに位置が制約されないので、作業者がワークＷの山を載置場所に配置する段取り作業の作業効率を向上させることができる。

本実施形態のワーク検出装置及び方法によれば、ワークＷの山を載置場所に多く配置することが可能となるので、ワークＷを加工機１０に搬送して加工して製品を生産する連続的な生産数を増やすことができる。載置場所としてのパレット３０を交換する頻度を少なくすることができるから、生産効率を向上させることができる。

さらに、本実施形態のワーク検出装置は、分割領域それぞれでワークＷの有無を検出するワーク有無検出部３０７、分割領域それぞれのワークＷの積載高さを検出する積載高さ検出部３０８を備える。本実施形態のワーク検出装置は、積載高さ最大分割領域に対応するパレット３０上の位置を示す位置情報をロボット制御装置５に送信する位置情報送信部３０９を備える。

本実施形態のワーク検出方法は、分割領域それぞれでワークＷの有無を検出する検出処理、分割領域それぞれのワークＷの積載高さを検出する検出処理を実行する。本実施形態のワーク検出方法は、積載高さ最大分割領域を抽出する抽出処理、積載高さ最大分割領域に対応するパレット３０上の位置を示す位置情報をロボット制御装置５に送信する送信処理を実行する。

よって、本実施形態のワーク検出装置及び方法によれば、ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持するよう、ロボット制御装置５がワーク保持用ロボット２０を制御することができる。ワーク保持用ロボット２０が積載高さ最大分割領域のワークＷを保持すれば、ワーク保持用ロボット２０が誤って他の分割領域のワークＷの山に接触することなく加工機１０へと搬送することができる。

さらにまた、本実施形態のワーク検出装置は、ワークＷの実積載高さを示す情報を受信する実積載高さ受信部３１０、積載高さ最大分割領域のワークＷの積載高さを、最新の実積載高さで更新する積載高さ更新部３１１を備える。

本実施形態のワーク検出方法は、ワークＷの実積載高さを示す情報を受信する受信処理、実積載高さを示す情報に基づいて最新の実積載高さを求める算出処理、積載高さ最大分割領域のワークＷの積載高さを、最新の実積載高さで更新する更新処理を実行する。

よって、本実施形態のワーク検出装置及び方法によれば、ワーク保持用ロボット２０によって最上部のワークＷが搬出された山の積載高さを最新の高さとすることができる。本実施形態のワーク検出装置及び方法によれば、ワークＷの積載高さを実積載高さに基づいて正確な高さとすることができる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

本実施形態においては、ワーク検出装置の大方の構成を画像演算処理装置３によるソフトウェアによって構成しているが、ハードウェアによって構成してもよく、ソフトウェアとハードウェアとが混在した構成としてもよい。ソフトウェアとハードウェアとの使い分けは任意である。ハードウェアは集積回路であってもよい。

１ ＣＡＭ
２ ＮＣ装置
３ 画像演算処理装置（ワーク検出装置）
４ カメラ
５ ロボット制御装置
１０ 加工機
２０ ワーク保持用ロボット
３０ パレット（載置場所）
２０１ 実積載高さ検出部
３０１ メモリ
３０２ 前処理部
３０３ ラベリング処理部
３０４ 面積算出部
３０５ ラベリング領域登録部
３０６ 分割領域情報生成部
３０７ ワーク有無検出部
３０８ 積載高さ検出部
３０９ 位置情報送信部
３１０ 実積載高さ受信部
３１１ 積載高さ更新部
Ｗ ワーク

本発明は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を、前記ワークの輪郭が線画像として表現されるように画像処理する前処理部と、前記前処理部によって画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理部と、前記ラベリング処理部によってラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する面積算出部と、前記面積算出部によって算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録するラベリング領域登録部と、前記載置場所の全体的な撮像画像内に、前記ラベリング領域登録部によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する分割領域情報生成部と、前記前処理部によって画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出するワーク有無検出部と、前記ワーク有無検出部によってワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像の大きさに基づいて検出して、メモリに保持させる積載高さ検出部と、複数の前記分割領域のうち、前記積載高さ検出部によってワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出して、前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信する位置情報送信部とを備えることを特徴とするワーク検出装置を提供する。

また、本発明は、複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を取得し、前記撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理し、画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けし、ラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出し、算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録し、前記載置場所の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成し、画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出し、ワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像の大きさに基づいて検出してメモリに保持させ、複数の前記分割領域のうち、ワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出し、前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信することを特徴とするワーク検出方法を提供する。

Claims (6)

1. 複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を、前記ワークの輪郭が線画像として表現されるように画像処理する前処理部と、
   前記前処理部によって画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けするラベリング処理部と、
   前記ラベリング処理部によってラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出する面積算出部と、
   前記面積算出部によって算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録するラベリング領域登録部と、
   前記載置場所の全体的な撮像画像内に、前記ラベリング領域登録部によって登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する分割領域情報生成部と、
   を備えることを特徴とするワーク検出装置。
2. 前記前処理部によって画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出するワーク有無検出部と、
   前記ワーク有無検出部によってワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像に基づいて検出して、メモリに保持させる積載高さ検出部と、
   複数の前記分割領域のうち、前記積載高さ検出部によってワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出して、前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信する位置情報送信部と、
   をさらに備えることを特徴とする請求項１に記載のワーク検出装置。
3. 前記ワーク保持用ロボットが前記積載高さ最大分割領域のワークを保持するときに検出したワークの実積載高さを示す情報を受信する実積載高さ受信部と、
   前記実積載高さ受信部が受信した前記実積載高さを示す情報に基づいて前記積載高さ最大分割領域の最上部のワークを除いた最新の実積載高さを求め、前記積載高さ検出部によって検出されて前記メモリに保持されている前記積載高さ最大分割領域のワークの積載高さを、前記最新の実積載高さで更新する積載高さ更新部と、
   をさらに備えることを特徴とする請求項２に記載のワーク検出装置。
4. 複数のワークが積載されることによって形成された複数山のワークが配置されている載置場所を撮影した撮影画像を取得し、
   前記撮影画像を前記ワークの輪郭が線画像として表現されるように画像処理し、
   画像処理された撮影画像に含まれる閉じた線画像によって形成される領域のそれぞれにラベル付けし、
   ラベル付けされたそれぞれのラベリング領域の面積またはラベル付けされたそれぞれのラベリング領域に外接する外接図形の面積を算出し、
   算出された面積が予め設定した基準範囲内であるラベリング領域を、ワークが存在するラベリング領域として登録し、
   前記載置場所の全体的な撮像画像内に、登録されたそれぞれのラベリング領域を含む分割領域を設定し、前記分割領域それぞれの位置を示す位置情報である分割領域情報を生成する
   ことを特徴とするワーク検出方法。
5. 画像処理された撮影画像における前記分割領域情報が示す前記分割領域それぞれでワークの有無を検出し、
   ワークがあると検出された前記分割領域それぞれのワークの積載高さを前記ワークの撮影画像に基づいて検出してメモリに保持させ、
   複数の前記分割領域のうち、ワークの積載高さが最大であると検出された積載高さ最大分割領域を抽出し、
   前記積載高さ最大分割領域のワークをワーク保持用ロボットによって保持させるために、前記積載高さ最大分割領域に対応する前記載置場所上の位置を示す位置情報を、前記ワーク保持用ロボットを制御するロボット制御装置に送信する
   ことを特徴とする請求項４に記載のワーク検出方法。
6. 前記ワーク保持用ロボットが前記積載高さ最大分割領域のワークを保持するときに検出したワークの実積載高さを示す情報を受信し、
   受信した前記実積載高さを示す情報に基づいて前記積載高さ最大分割領域の最上部のワークを除いた最新の実積載高さを求め、
   前記メモリに保持されている前記積載高さ最大分割領域のワークの積載高さを、前記最新の実積載高さで更新する
   ことを特徴とする請求項５に記載のワーク検出方法。

Images