JP6568163B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関するものである。

従来、コンベヤにより搬送されてくる物品の位置および姿勢を検出してロボットで追いかけながらコンベヤ上から取り出すロボットシステムが知られている（例えば、特許文献１参照。）。
この特許文献１のロボットシステムは、コンベヤによる物品の供給が過剰の場合に、コンベヤ上から取り出した物品を一旦溜めておく仮置き台を備えており、コンベヤによる物品の供給が不足してきた場面で、仮置き台に溜めておいた物品を取り出して使用している。

特開２０１２−１８８２３１号公報

しかしながら、特許文献１のように仮置き台に物品を溜めておくことにより、コンベヤによる物品の供給不足を調整して平均化する方法では、ロボットにコンベヤから仮置き台への移動および仮置き台からの物品の取り出しを行わせる必要があり、ロボットにかかる負荷が大きくなるという不都合がある。また、仮置き台への物品の移動や仮置き台からの物品の取り出しをロボット側で判断する場合には動作プログラムが複雑になるという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、ロボットに余計な負荷をかけずかつ動作プログラムの複雑化を防止しつつコンベヤによる物品の供給不足を調整することができるロボットシステムを提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、物品を一方向に搬送する搬送装置と、該搬送装置の近傍に設置され、前記搬送装置により搬送されている前記物品に対して処理を行うロボットと、前記搬送装置上に前記物品を供給する第１供給部および第２供給部と、前記第１供給部により前記搬送装置に供給された前記物品の前記搬送装置による移動量を逐次検出する移動量検出部と、前記ロボットよりも搬送方向の上流側において前記搬送装置により搬送されている前記物品の視覚情報を逐次取得する単一の視覚センサと、該視覚センサにより取得された前記視覚情報を処理して前記物品の位置および姿勢を検出する物品検出部と、前記視覚センサにより取得された前記視覚情報を処理して、前記搬送装置上の前記物品の搬送方向の間隔を検出する間隔検出部と、前記移動量検出部により検出された前記物品の前記移動量および前記物品検出部により検出された前記物品の位置および姿勢に基づいて前記ロボットを制御する制御部と、前記間隔検出部により検出された前記間隔が所定の閾値より大きい場合に、前記第２供給部により前記間隔の位置に前記物品を供給させる生産管理部とを備えるロボットシステムを提供する。

本態様によれば、第１供給部から順次供給された物品が搬送装置によって搬送されている間に、搬送装置による物品の移動量が移動量検出部により逐次検出されるとともに、視覚センサによって視覚情報が取得される。取得された視覚情報が物品検出部によって処理されることにより物品の位置および姿勢が検出されるとともに、間隔検出部によって処理されることにより物品間の搬送方向の間隔が検出される。

制御部により移動量と位置および姿勢とに基づいてロボットが制御され、搬送装置により搬送されている物品に対して処理が行われる。
この場合において、生産管理部は間隔検出部によって検出された物品間の間隔が所定の閾値より大きい場合には、第２供給部を作動させて、検出された物品間の間隔の位置に物品を供給させる。これにより、仮置き台から物品を取り出させるような負荷をロボットに掛けることなく、かつ、ロボットに仮置き台から物品を取り出すか否かを判断させるような動作プログラムの複雑化を防止しつつ、物品の供給不足による生産性の低下を防止することができる。

上記態様においては、前記間隔検出部が、前記視覚センサの視野内に配置された所定の物品存在確認領域において前記物品が検出されなかった場合に、前記閾値より大きい前記間隔を検出した旨の信号を前記生産管理部に出力し、該生産管理部が、前記信号を受信したときに、前記第２供給部により前記物品存在確認領域内に前記物品を供給させてもよい。
このようにすることで、所定の閾値より大きい間隔を簡易に検出でき、生産管理部が、その間隔位置に第２供給部により物品を供給させて物品の供給不足を簡易に解消することができる。

また、上記態様においては、前記視覚センサが、前記視野内において同一の前記物品を２回以上検出するフレームレートで前記視覚情報を取得し、前記物品存在確認領域が、少なくとも前記視覚センサにより前記視覚情報を取得可能な距離だけ前記視野の下流端から上流側に離れた位置に配置されていてもよい。
このようにすることで、第１供給部から供給された一の物品が、搬送装置によって一方向に搬送され、視覚センサの視野内を通過する間に２回以上の視覚情報の取得が行われる。１回目の視覚情報の取得時に物品存在確認領域に物品が存在しなかった場合に、第２供給部から物品存在確認領域に供給された物品は、搬送装置によって下流側に移動させられるので、物品存在確認領域の下流端と視野の下流端との間において、２回目の視覚情報の取得が行われ、位置および姿勢を検出することができる。

また、上記態様においては、前記第２供給部が、前記生産管理部から指令を受けてから前記物品が前記搬送装置に供給されるまでの前記移動量だけ前記物品存在確認領域の中心から下流側に配置されていてもよい。
このようにすることで、視覚センサによる視覚情報の取得により物品存在確認領域内に物品が存在しないことが検出され、生産管理部から第２供給部に物品を供給するよう指令が出力された場合に、実際に物品が搬送装置上に供給されるまでにタイムラグが存在しても、さらに物品の間隔が物品存在確認領域の幅分しか空いていなくても、タイムラグ分を考慮して第２供給部を配置しておくことにより、物品の間隔の中心位置に物品をより確実に供給することができる。

本発明によれば、ロボットに余計な負荷をかけずかつ動作プログラムの複雑化を防止しつつコンベヤによる物品の供給不足を調整することができるという効果を奏する。

本発明の一実施形態に係るロボットシステムを示す全体構成図である。 図１のロボットシステムに備えられる制御部を示すブロック図である。 図１のロボットシステムのコンベヤとカメラの視野および物品存在確認領域との関係を示す平面図である。 図１のロボットシステムにおけるトラッキングの座標変換を説明する図である。 図１のロボットシステムにおいて物品存在確認領域における物品の不存在が検出された時点の一例を示す部分的な側面図である。 図５の検出後、第２供給部から物品が供給された時点の一例を示す部分的な側面図である。 図６において供給された物品を撮影する時点の一例を示す部分的な側面図である。 図１のロボットシステムの変形例を示す全体構成図である。 図１のロボットシステムの他の変形例であって、取得された画像からコンベヤによる物品の移動速度を検出する場合について説明する図である。

本発明の一実施形態に係るロボットシステム１について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム１は、図１に示されるように、物品Ｏを搬送するコンベヤ（搬送装置）２と、コンベヤ２の上流側からコンベヤ２上に物品Ｏを供給する第１供給部６と、コンベヤ２の近傍に設置されたロボット３と、ロボット３よりも搬送方向の上流側のコンベヤ２の上方に下向きに設置されたカメラ（視覚センサ）４と、カメラ４により取得された画像（視覚情報）に基づいてロボット３を制御する制御部５と、カメラ４の視野内に物品Ｏを供給する第２供給部７とを備えている。

コンベヤ２は、例えばベルトコンベヤであって、物品Ｏを搭載して一方向に搬送するベルト８を備えている。ベルト８はモータ８ａにより駆動されるようになっている。モータ８ａには、モータ８ａの回転角度を検出するエンコーダ（移動量検出部）９が備えられ、モータ８ａからベルト８への駆動力伝達機構（図示略）の減速比に基づいて間接的にベルト８による物品Ｏの移動量を検出するようになっている。また、エンコーダ９は、必ずしもモータ８ａに備えられている必要はなく、回転盤をエンコーダ９の回転軸に取付けて、ベルト８に回転盤を押し当てるようにしてもよい。
ロボット３は、平置き型あるいは天吊り型等、任意の形式のものでよいが、例えば、手首先端に物品Ｏを把持可能なロボットハンド１０を備えている。

カメラ４は、コンベヤ２上の搬送方向の一部の領域に固定された視野（図３参照）Ａを有し、コンベヤ２上を搬送されてくる物品Ｏの２次元画像を取得するようになっている。カメラ４は、同一物品Ｏが視野Ａを通過する間に２回以上撮影されるフレームレートに予め設定されている。

制御部５は、図２に示されるように、カメラ４により取得された画像を処理してコンベヤ２により搬送されている物品Ｏを認識する画像処理部１１と、該画像処理部１１により認識された物品Ｏの位置および姿勢を検出する物品検出部１２と、認識された物品Ｏ間の空きスペース（間隔）を検出するスペース検出部（間隔検出部）１３と、物品検出部１２により検出された物品Ｏの位置および姿勢と、エンコーダ９により検出された物品Ｏの移動量とに基づいてロボット３を制御する駆動制御部（制御部）１４と、スペース検出部１３により検出されたスペースが所定の大きさ（閾値）より大きい場合に、第２供給部７から物品Ｏを供給させる生産管理部１５とを備えている。制御部５は図示しないＣＰＵおよびメモリ等のハードウェアにより構成されている。

駆動制御部１４は、予め教示された動作プログラムに従ってロボット３を動作させるとともに、エンコーダ９により検出された物品Ｏの移動量に基づいて、コンベヤ２上の物品Ｏを追従するトラッキングを実施し、手首先端に取り付けたロボットハンド１０によって、移動している物品Ｏを把持し、コンベヤ２から取り上げる処理を行わせるようになっている。

さらに具体的には、画像処理部１１は、例えば、パターンマッチング等の手法により、取得された画像内において物品Ｏを認識するようになっている。また、物品検出部１２は、画像処理部１１において認識された物品Ｏの画像中における物品Ｏの有無を検出するとともに、物品Ｏが存在する場合にはその２次元的な座標（位置）および鉛直軸線回りの回転角度（姿勢）を検出するようになっている。

さらに、スペース検出部１３は、図３に示されるように、カメラ４の視野Ａ内に特定の物品存在確認領域Ｂを設定し、該物品存在確認領域Ｂ内に物品Ｏが存在するか否かを検出するようになっている。そして、スペース検出部１３は、物品存在確認領域Ｂ内に物品Ｏが存在しない場合に、物品Ｏを投入するための十分な空きスペースが存在するものと判定してその旨の信号を生産管理部１５に出力するようになっている。

カメラ４の視野Ａ内に設定される物品存在確認領域Ｂは、カメラ４の視野Ａの下流端に対して、カメラ４が物品Ｏの画像を取得可能なスペースを空けて上流側に配置されている。本実施形態においては、カメラ４の視野Ａをコンベヤ２による搬送方向の上流側と下流側に２等分し、上流側に物品存在確認領域Ｂを設定している。

第１供給部６は、例えば、図示しない他のコンベヤにより搬送されてきた物品Ｏを所定の間隔で本実施形態に係るロボットシステム１のコンベヤ２に移載する移載機である。例えば、物品Ｏは他のコンベヤによってランダムな間隔で搬送されてくる。本実施形態に係るロボットシステム１のコンベヤ２による物品Ｏの搬送速度は常に一定に保たれるので、物品Ｏが他のコンベヤによって密に搬送されてきたときには他のコンベヤを減速する等して、本実施形態に係るロボットシステム１のコンベヤ２に等間隔で移載することができる。一方、物品Ｏが他のコンベヤによって粗に搬送されてきたときには、間引かれた状態で移載される結果、コンベヤ２上の物品Ｏの間隔が開くことになる。

第２供給部７は、多数の物品Ｏを収容していて、生産管理部１５からの供給指令信号に応じて物品Ｏを１つずつ供給することができるホッパである。
第２供給部７は、図３に示されるように、物品存在確認領域Ｂの中心位置から所定距離Ｌだけ搬送方向の下流側に物品Ｏを供給するように配置されている。所定距離Ｌは、生産管理部１５からの指令信号を受信してからコンベヤ２上に物品Ｏが供給されるまでに要する時間と、コンベヤ２の標準的な速度とを乗算した値に設定されている。

このように構成された本実施形態に係るロボットシステム１の作用について以下に説明する。
本実施形態に係るロボットシステム１によれば、第１供給部６からコンベヤ２に物品Ｏが供給されると、供給された物品Ｏはコンベヤ２によって一方向に搬送され、カメラ４の視野Ａの範囲を通過する間にカメラ４によって撮影される。撮影により取得された画像は、画像処理部１１に送られて、画像処理されることにより、物品Ｏが認識される。

そして、認識された物品Ｏの情報は物品検出部１２およびスペース検出部１３に送られ、物品検出部１２において物品Ｏの位置および姿勢が検出されるとともに、スペース検出部１３において物品Ｏ間に所定以上の間隔が存在するか否かが検出される。例えば、物品Ｏが未検出であれば、物品存在確認領域Ｂのコンベヤ２の流れ方向の幅以上に物品Ｏの間隔が開いていることになり、所定以上の間隔が存在すると判断される。

駆動制御部１４は、図４に示されるように、物品検出部１２により検出された物品Ｏの位置および姿勢に基づいてトラッキング座標系ＴＦを設定し、撮影時刻と現在時刻とにおいてそれぞれエンコーダ９により検出されたエンコーダカウントｅ１，ｅ２と、これらエンコーダカウントｅ１，ｅ２とコンベヤ２の移動量との関係を示す定数Ｓｃａｌｅとに基づいて、
（ｅ２−ｅ１）／Ｓｃａｌｅ
により物品Ｏの移動量を算出する。そして、その移動量を成分とする座標変換行列Ｔをトラッキング座標系ＴＦに乗算することにより、現在のトラッキング座標系ＴＦ′を算出する。
ＴＦ′＝Ｔ・ＴＦ

また、図４において、符号ａは撮影時刻において座標系ＴＦからみたときの物品Ｏの位置および姿勢を示し、符号ａ′は、現在において座標系ＴＦ′から見たときの物品Ｏの位置および姿勢を示している。符号Ｘ，Ｙ，Ｘ′，Ｙ′はそれぞれ、座標系ＴＦ，ＴＦ′の座標軸を示している。
そして、駆動制御部１４は、算出されたトラッキング座標系ＴＦ′を基準としてコンベヤ２によって搬送されている物品Ｏに追従してロボットハンド１０を移動させ、物品Ｏを把持してコンベヤ２から取り上げることができる。

本実施形態に係るロボットシステム１によれば、図５に示されるように、いずれかの時点でカメラ４により取得された画像を処理することにより、物品検出部１２によって、カメラ４の視野Ａ内に設定された物品存在確認領域Ｂ内に物品Ｏが存在しないことが検出された場合には、生産管理部１５から供給指令が出力される。供給指令により第２供給部７が作動させられて第２供給部７から物品Ｏがコンベヤ２上に供給される。図中、黒塗りの丸印は、撮影時の物品存在確認領域Ｂの中心位置に対応するコンベヤ２の位置を示している。
すなわち、物品存在確認領域Ｂ内に物品Ｏが存在しない場合には、少なくとも該物品存在確認領域Ｂの範囲以上の空きスペースが存在することになるので、その空きスペースに物品Ｏを供給することにより、物品Ｏの供給不足を解消して、ロボット３による生産性の低下を防止することができるという利点がある。

この場合において、図６に示されるように、第２供給部７を構成しているホッパは、物品存在確認領域Ｂの中心よりも所定距離Ｌだけ下流側に配置されているので、物品Ｏの不存在が確認された時点で生産管理部１５から供給指令が出力されて物品Ｏが供給されるまでのタイムラグｔＬに対応する距離Ｌだけコンベヤ２が移動していても、空きスペースの位置、すなわち、撮影時に物品存在確認領域Ｂの中央に配置された黒塗りの丸印の位置に正しく物品（斜線を付した物品）Ｏを供給することができて、先行する物品Ｏや後続の物品Ｏとの隙間が小さくなり過ぎないようにすることができるという利点がある。

また、本実施形態においては、カメラ４の視野Ａが搬送方向に２分割されて上流側の領域に物品存在確認領域Ｂが配置されているので、１回目の撮影時に物品存在確認領域Ｂにおける物品Ｏの不存在が検出されることにより第２供給部７から供給された物品Ｏは、図７に示されるように、その後に、視野Ａ内の下流側の領域を通過する際に２回目の撮影によって撮影されるので、物品Ｏの位置および姿勢を検出することができる。

すなわち、本実施形態に係るロボットシステム１によれば、コンベヤ２によって搬送されている物品Ｏを撮影して物品Ｏの位置および姿勢を検出するためにカメラ４により取得された画像を用いてコンベヤ２上の空きスペースの有無を検出し、空きスペースに物品Ｏを供給するので、新たな視覚センサを追加することなく、かつ、仮置き台を不要として、ロボット３に余計な動きをさせずに済み、第１供給部６による物品Ｏの供給不足を補って、生産性の向上を図ることができるという利点がある。
また、仮置き台への物品Ｏの移動や仮置き台からの物品Ｏの取り出しをロボット３側で判断する必要がなく、動作プログラムを複雑化させずに済むという利点がある。

なお、本実施形態においては、単一のロボット３および制御部５を備えるロボットシステム１について説明したが、これに代えて、図８に示されるように、コンベヤ２の搬送方向に沿って複数台のロボット３が配置され、これらの制御部５が上位のセル制御装置１６に接続されていてもよい。
複数台のロボット３で同一のコンベヤ２によって搬送されてきた物品Ｏに対し作業をする場合に、１つのカメラ４で撮影した画像に基づいて算出された物品Ｏの位置および姿勢を全てのロボット３による処理に利用し、物品Ｏ間のスペースに基づいて物品Ｏを供給することができる。

この場合に、いずれかのロボット３がメインテナンス等によって電源オフの状態となっていても、セル制御装置１６に備えられた生産管理部１５によって、残りのロボット３の処理量に合わせて、コンベヤ２によって搬送されてくる物品Ｏの量が適切に調整されるように、第２供給部７に対して供給指令を出力することができる。

また、本実施形態においては、エンコーダ９を用いてコンベヤ２による物品Ｏの移動量を検出することとしたが、これに代えて、物品Ｏの位置および姿勢並びに物品Ｏ間のスペースを検出するカメラ４によって取得された画像を用いて物品Ｏの移動量を検出することにしてもよい。
この場合には、図９に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において取得された複数枚の画像内に含まれている物品Ｏを認識し、認識された物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３を算出する。

そして、時間軸方向に隣接して取得された画像内の搬送方向に直交する方向の同じ座標近傍に配置されている重心を有する物品Ｏを同一物品Ｏであると認識し、各物品Ｏの重心の搬送方向の座標値の差分ｄ３−ｄ２，ｄ２−ｄ１を撮影の時間間隔Δｔでそれぞれ除算することにより搬送速度Ｖを算出すればよい。同一物品Ｏについて搬送速度Ｖが複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度として出力してもよい。

また、この場合には、物品存在確認領域Ｂにおける物品Ｏの有無および物品Ｏの位置・姿勢を確認するための画像のフレームレートを低く、物品Ｏのコンベヤ２による物品Ｏの搬送速度Ｖを検出するための画像のフレームレートを高く設定してもよい。高フレームレートで取得された画像から物品Ｏの搬送速度Ｖを検出することにより、検出精度を向上することができる。

また、本実施形態においては、カメラ４のフレームレートが予め設定されていることとしたが、これに代えて、エンコーダ９によって検出された物品Ｏの移動量に応じて変更することにしてもよい。

１ ロボットシステム
２ コンベヤ（搬送装置）
３ ロボット
４ カメラ（視覚センサ）
６ 第１供給部
７ 第２供給部
９ エンコーダ（移動量検出部）
１２ 物品検出部
１３ スペース検出部（間隔検出部）
１４ 駆動制御部（制御部）
１５ 生産管理部
Ｏ 物品

Claims (4)

1. 物品を一方向に搬送する搬送装置と、
   該搬送装置の近傍に設置され、前記搬送装置により搬送されている前記物品に対して処理を行うロボットと、
   前記搬送装置上に前記物品を供給する第１供給部および第２供給部と、
   前記第１供給部により前記搬送装置に供給された前記物品の前記搬送装置による移動量を逐次検出する移動量検出部と、
   前記ロボットよりも搬送方向の上流側において前記搬送装置により搬送されている前記物品の視覚情報を逐次取得する単一の視覚センサと、
   該視覚センサにより取得された前記視覚情報を処理して前記物品の位置および姿勢を検出する物品検出部と、
   前記視覚センサにより取得された前記視覚情報を処理して、前記搬送装置上の前記物品の搬送方向の間隔を検出する間隔検出部と、
   前記移動量検出部により検出された前記物品の前記移動量および前記物品検出部により検出された前記物品の位置および姿勢に基づいて前記ロボットを制御する制御部と、
   前記間隔検出部により検出された前記間隔が所定の閾値より大きい場合に、前記第２供給部により前記間隔の位置に前記物品を供給させる生産管理部とを備えるロボットシステム。
2. 前記間隔検出部が、前記視覚センサの視野内に配置された所定の物品存在確認領域において前記物品が検出されなかった場合に、前記閾値より大きい前記間隔を検出した旨の信号を前記生産管理部に出力し、
   該生産管理部が、前記信号を受信したときに、前記第２供給部により前記物品存在確認領域内に前記物品を供給させる請求項１に記載のロボットシステム。
3. 前記視覚センサが、前記視野内において同一の前記物品を２回以上検出するフレームレートで前記視覚情報を取得し、
   前記物品存在確認領域が、少なくとも前記視覚センサにより前記視覚情報を取得可能な距離だけ前記視野の下流端から上流側に離れた位置に配置されている請求項２に記載のロボットシステム。
4. 前記第２供給部が、前記生産管理部から指令を受けてから前記物品が前記搬送装置に供給されるまでの前記移動量だけ前記物品存在確認領域の中心から下流側に配置されている請求項２または請求項３に記載のロボットシステム。
   

Images