JP6582921B2 - ロボットモニタシステム - Google Patents

Description

本発明は、ロボット本体を画像によりモニタするシステムに関する。

従来、ロボットと人とが共存する設備では、ロボットコントローラが例えばライトカーテンやレーザセンサ等を用いて人が接近したことを検出すると、ロボットアームの動作を停止させたり安全な低速で動作させることで、人の安全を確保するように制御している。

特開２０１０−２３１７１３号公報

しかしながら、作業者がロボットアームに背を向けて作業している状態では、作業者はロボットアームを目視することができない。
本発明は上記事情に鑑みてなされたものであり、その目的は、作業者がロボット本体に背を向けている状態でも、ロボット本体をモニタできるロボットモニタシステムを提供することにある。

請求項１記載のロボットモニタシステムによれば、位置情報取得部は、ロボット本体の作業領域内に位置する作業者の位置情報を取得し、方向情報出力部は、前記作業領域内に位置する作業者の頭部正面が向いている方向である頭部方向を検出するための方向情報を出力する。
表示制御部は、前記作業領域内に作業者が位置しており、且つ方向情報より検出される作業者の頭部方向が、当該作業者の背面側にロボット本体が位置する方向にあると、前記ロボット本体の画像データを、その時の作業者の位置からロボット本体を視界に入れた際に見えるロボット本体の状態の画像となるように加工して頭部装着型ディスプレイの表示部に投影する。

このように構成すれば、作業者がロボット本体に背を向けていることでロボット本体を直接目視できない状態にあっても、ロボット本体の画像データが、作業者がその位置からロボット本体側に振り返った際に見えるロボット本体の状態で頭部装着型ディスプレイに投影される。したがって、作業者は、自身の背面側に位置するロボット本体の状態を、頭部装着型ディスプレイに表示された画像により確認できるようになり、作業時の安全性を向上させることができる。

請求項２記載のロボットモニタシステムによれば、表示制御部は、ロボット本体を３次元でモデリングした３Ｄモデル画像データを前記加工の対象とする。このように構成すれば、作業者は、ロボット本体が３Ｄモデル画像で表示されることで、自身の背面側に位置するロボット本体の状態をよりリアルに視認できる。

請求項３記載のロボットモニタシステムによれば、表示制御部は、ロボット本体の姿勢情報を取得すると、頭部装着型ディスプレイの表示部に投影する画像データを、その時点の姿勢情報に応じた姿勢の画像データに加工する。このように構成すれば、作業者は、表示部に表示された画像によりその時点のロボット本体の姿勢も認識できる。したがって、安全性をより向上させることができる。

請求項４記載のロボットモニタシステムによれば、表示制御部は、位置情報よりロボット本体と前記作業者との距離を求めると、その距離に応じて頭部装着型ディスプレイの表示部に投影する画像データの大きさを変化させる。このように構成すれば、作業者は、頭部装着型ディスプレイに表示された画像によって、その時点のロボット本体との距離感も認識できるようになり、安全性を更に向上させることができる。

請求項５記載のロボットモニタシステムによれば、方向情報出力部に頭部装着型ディスプレイに配置される撮像器を備え、その撮像器により撮像された画像を処理して作業者の頭部方向を検出する。すなわち、頭部装着型ディスプレイに配置した撮像器によって、作業者の頭部が正面を向いている状態の画像を撮像すれば、その画像により作業者の視界にロボット本体が入っているか否かが分かる。したがって、撮像器により撮像された画像を処理すれば、作業者の頭部方向を容易に検出できる。

一実施形態であり、ロボットモニタシステムの構成を概略的に示す機能ブロック図 カメラによる撮像領域を示す側面図 カメラによる撮像領域を示す平面図 主に眼鏡型モニタデバイス側の処理内容を示すフローチャート 作業者が眼鏡型モニタの表示部を介して見る視界の一例を示す図

以下、一実施形態について説明する。図１は、本実施形態のロボットモニタシステムの構成を概略的に示す機能ブロック図である。このシステム１は、例えば組立用のロボットアーム２，このロボットアーム２を制御するロボットコントローラ３，カメラ４，眼鏡型モニタ５，付属カメラ６及び眼鏡型モニタデバイス７より構成されている。

ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボットアーム２は、前記ロボットコントローラ３に図示しない接続ケーブルを介して接続され、前記各軸のサーボモータがこのロボットコントローラ３により制御される。

表示制御部及びロボット側制御装置に対応するロボットコントローラ３は、矩形箱状をなすフレーム内に、何れも図示しない制御回路やサーボ制御部、電源装置等を組込んで構成されている。制御回路はマイコンを主体として構成され、予め記憶された動作プログラムや、図示しないティーチングペンダント等により設定された教示データ、各種パラメータ等に従い、サーボ制御部を介してロボットアーム２の各軸サーボモータを制御し、ロボットアーム２によるワークの組付け作業等を自動で実行させる。

また、ロボットコントローラ３には、上記の制御を行うため、各軸に配置されている図示しないエンコーダからのエンコーダ値が入力されている。更に、ロボットコントローラ３は、ロボットアーム２の形態を３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。

カメラ４は、その撮像領域が少なくともロボットアーム２の作業領域を含むように、例えば図２に示すように、ロボットアーム２の情報から前記作業領域を俯瞰するような位置に設置されている。カメラ４により撮像された画像データは、ロボットコントローラ３に入力される。カメラ４は位置情報取得部に相当し、図３に平面図を示すように、カメラ４の撮像領域内に作業者８が位置している際には、ロボットコントローラ３が入力される画像データを処理することで、ロボットアーム２の位置を原点として、作業者８の位置を示す情報である２次元座標値（ｘ，ｙ）を取得する。

頭部装着型ディスプレイである眼鏡型モニタ５は、図１に示すように、作業者８が頭部に眼鏡として装着するもので、眼鏡のレンズ部分に相当する透明な表示部５Ｄに、図示しない投影部を介して画像を投影可能な所謂透過型のディスプレイである。眼鏡型モニタ５のフレームの一側部には、方向情報出力部及び撮像器である付属カメラ６が配置されており、作業者７が眼鏡型モニタ５を頭部に装着した状態で、作業者８の頭部正面が向いている方向の画像を撮像する。カメラ４及び６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサなどで構成されている。

眼鏡型モニタ５は、表示制御部及びディスプレイ側制御装置である眼鏡型モニタデバイス７に無線又は有線で接続されている。眼鏡型モニタデバイス７は、マイクロコンピュータ等を内蔵して構成され、眼鏡型モニタ５の表示部５Ｄに投影する画像データを送信したり、付属カメラ６により撮像された画像データを受信する。また、眼鏡型モニタデバイス７は、ロボットコントローラ３と有線又は無線通信が可能となっており、ロボットコントローラ３より作業者８の位置情報を含む作業領域の監視情報や、姿勢情報であるロボットアーム２の各軸エンコーダ値，及び上述した３Ｄモデル画像データを取得する。

次に、本実施形態の作用について図４及び図５も参照して説明する。図４は、主に眼鏡型モニタデバイス７側の処理内容を示すフローチャートである。眼鏡型モニタデバイス７は、先ずロボットコントローラ３との通信を開始して接続すると（Ｓ１）、ロボットアーム２の３Ｄモデル画像データを取得する（Ｓ２）。以降のステップＳ３〜Ｓ１４の処理は無限ループとなっている。

ステップＳ４において領域監視情報を取得すると、ロボットアーム２の作業領域内に作業者８が存在するか否かを判断する（Ｓ５）。作業者８が存在しておらず「無」と判断するとステップＳ３に戻る。作業者８が存在しており「有」と判断すると、付属カメラ６より入力される画像データを処理する画像認識を行う（Ｓ６）。ここで、前記画像データにロボットアーム２を捉えた画像が含まれており、続くステップＳ７で「有」と判断した場合は、作業者８の頭部正面は概ねロボットアーム２の方向を向いていると推定されるので「正面判定」とする（Ｓ８）。この場合は特段の処理をすることなく、ステップＳ１４に移行する。

一方、ステップＳ７において、前記画像データにロボットアーム２を捉えた画像が含まれておらず「無」と判断すると、作業者８の頭部正面は概ねロボットアーム２とは反対の方向を向いていると推定されるので「背面判定」とする（Ｓ９）。そして、以降のようにロボットアーム２の３Ｄモデル画像データを加工、眼鏡型モニタ５の表示部５Ｄに投影する画像データを生成する。

先ず、作業者８が、現在の位置からロボットアーム２を見ようとした場合に、作業者８に見えるロボットアーム２の方向を算出する（Ｓ１０）。次に、ロボットコントローラ３より各軸のエンコーダ値を取得すると（Ｓ１１）、３Ｄモデル画像データにそのエンコーダ値を反映させて、ロボットアーム２が現在とっている姿勢を再現させる。またこの時、作業者８の位置からロボットアーム２の原点位置までの距離が分かるので、その距離に応じて表示させる画像データの大きさを変化させる（Ｓ１２）。ここでは言うまでもなく、距離が短くなるほど画像データが大きく表示されるように調整する。画像データの大きさを変化させる段階は必ずしも距離の分解能に比例させる必要はなく、例えば距離の長短を複数段階に区切る等して、その段階に応じて変化させても良い。

以上のようにして画像データを生成すると、当該データを眼鏡型モニタ５に送信して表示部５Ｄに表示させる（Ｓ１３）。この場合、作業者８が表示部５Ｄを介して見る視界には、例えば図５に示すように、表示部５Ｄを透過して見える実景を背景として、表示部５Ｄの一領域部分に表示されたロボットアーム２の３Ｄ画像データが重畳された状態となる。この時、３Ｄ画像データを見易くするため、ロボットアーム２の周辺の一定領域が非透明となるように塗り潰すように画像データを生成する。

以上のように本実施形態によれば、眼鏡型モニタデバイス７は、作業者８が頭部に装着している眼鏡型モニタ５の表示部５Ｄに投影する映像信号，画像データを送信する。カメラ４は、ロボットアーム２の作業領域内に位置する作業者８の位置情報を取得し、付属カメラ６は、前記作業領域内に位置する作業者８の頭部正面が向いている方向である頭部方向を検出するための方向情報としての画像データを出力する。ロボットコントローラ３は、ロボットアーム２の動作を制御すると共に、ロボットアーム２を３次元でモデリングした３Ｄモデル画像データを保持する。

眼鏡型モニタデバイス７は、ロボットコントローラ３より３Ｄモデル画像データを取得し、前記作業領域内に作業者８が位置しており、且つその作業者８の頭部方向が当該作業者８の視界にロボットアーム２が入らない方向にあると、３Ｄモデル画像データをその時の作業者８の位置からロボットアーム２を視界に入れた際に、ロボットアーム２が見える状態の画像となるように加工して眼鏡型モニタ５の表示部５Ｄに表示させる。

このように構成すれば、作業者８がロボットアーム２に背を向けておりロボットアーム２を直接目視できない状態にあっても、ロボットアーム２の３Ｄモデル画像データが、作業者８がその位置からロボットアーム２側に振り返った際に見えるロボットアーム２の状態で眼鏡型モニタ５に投影される。したがって、作業者８は、自身の背面側に位置するロボットアーム２の状態を、眼鏡型モニタ５に表示された３Ｄ画像によってリアルな状態で確認できるようになり、作業時の安全性を向上させることができる。

また、眼鏡型モニタデバイス７は、ロボットコントローラ３よりロボットアーム２のエンコーダ値を取得し、眼鏡型モニタ５に投影する３Ｄモデル画像データを、その時点のエンコーダ値に応じた姿勢の画像データに加工する。このように構成すれば、作業者８は、眼鏡型モニタ５に表示された画像によりその時点のロボットアーム２の姿勢も認識できる。したがって、安全性をより向上させることができる。

更に、眼鏡型モニタデバイス７は、位置情報よりロボットアーム２と作業者８との距離を求めると、その距離に応じて眼鏡型モニタ５に投影する３Ｄモデル画像データの大きさを変化させる。このように構成すれば、作業者８は、眼鏡型モニタ５に表示された画像によって、その時点のロボットアーム２との距離感も認識できるようになり、安全性を更に向上させることができる。

加えて、眼鏡型モニタデバイス７は、眼鏡型モニタ５に配置される付属カメラ６により撮像された画像を処理して作業者８の頭部方向を検出する。すなわち、付属カメラ６によって作業者８の頭部が正面を向いている状態の画像を撮像すれば、その画像により作業者８の視界にロボットアーム２が入っているか否かが分かる。そして、眼鏡型モニタデバイス７が撮像された画像を処理すれば、作業者８の頭部方向を容易に検出できる。

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
ロボット本体の画像データは、３Ｄモデル画像を生成するものに限らず、２次元的な画像を生成するものでも良い。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。
位置情報取得部に、レーザセンサや赤外センサを用いても良い。

カメラ４により撮像される作業者の画像を処理すれば、作業者の頭部が向いている方向を検出できる。したがって、カメラ４に方向情報出力部としての機能を持たせても良いし、カメラ４とは別個のカメラを方向情報出力部として用いても良い。また、これらの画像データを直接、眼鏡型モニタデバイス７に入力しても良い。
表示部５Ｄに表示させる３Ｄモデル画像データには、必ずしもロボットアーム２の姿勢を反映させる必要はない。また、画像の大きさを距離に応じて変化させる必要もなく、常に一定の大きさで表示させても良い。

ディスプレイ側制御装置とロボット側制御装置とを一体の制御装置として構成しても良い。この場合の「通信」は、例えばバスを介して制御装置の内部で行えば良い。
表示制御部としての機能は、必ずしもディスプレイ側制御装置とロボット側制御装置とに振り分ける必要はなく、全ての機能を何れか一方の制御装置に持たせても良い。或いは、全ての機能を独立した第３の制御装置に持たせても良い。
頭部装着型ディスプレイは、必ずしも眼鏡型モニタ５である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。

図面中、１はロボットモニタシステム、２はロボットアーム、３はロボットコントローラ、４はカメラ、５は眼鏡型モニタ、６は付属カメラ、７は眼鏡型モニタデバイス、８は作業者を示す。

Claims (5)

1. 作業者が頭部に装着する表示部に、画像を投影可能に構成される頭部装着型ディスプレイと、
   ロボット本体の作業領域内に位置する作業者の位置情報を取得する位置情報取得部と、
   前記作業領域内に位置する作業者の頭部正面が向いている方向である頭部方向を検出するための方向情報を出力する方向情報出力部と、
   前記作業領域内に作業者が位置しており、且つ前記方向情報より検出される前記作業者の頭部方向が、当該作業者の背面側に前記ロボット本体が位置する方向にあると、前記ロボット本体の画像データを、前記作業者の位置から前記ロボット本体を視界に入れた際に見える状態の画像となるように加工して前記頭部装着型ディスプレイの表示部に投影する表示制御部とを備えるロボットモニタシステム。
2. 前記表示制御部は、前記ロボット本体を３次元でモデリングした３Ｄモデル画像データを、前記加工の対象とする請求項１記載のロボットモニタシステム。
3. 前記表示制御部は、前記ロボット本体の姿勢情報を取得し、
   前記頭部装着型ディスプレイの表示部に投影する画像データを、その時点の姿勢情報に応じた姿勢の画像データに加工する請求項１又は２記載のロボットモニタシステム。
4. 前記表示制御部は、前記位置情報より前記ロボット本体と前記作業者との距離を求め、前記距離に応じて前記表示部に投影する画像データの大きさを変化させる請求項１から３の何れか一項に記載のロボットモニタシステム。
5. 前記方向情報出力部は、前記頭部装着型ディスプレイに配置される撮像器を有し、
   前記撮像器により撮像された画像を処理することで前記作業者の頭部方向を検出する請求項１から４の何れか一項に記載のロボットモニタシステム。

Images