TWI530375B - 機器手臂的教導裝置及方法 - Google Patents

Description

機器手臂的教導裝置及方法

本發明有關一種機器手臂的教導裝置及方法，尤其關於機器手臂利用視覺裝置，由遠端教導控制機器手臂移動的裝置及方法。

隨著工業生產技術的快速發展，為了追求大量生產的速度、產品品質的穩定及降低人工成本，工廠的生產線紛紛以機器手臂(Robot Arm)取代勞動人力。同時利用一人監管多台機器手臂的生產配置，進一步增加生產效率，以提高產品的市場競爭力。

機器手臂通常利用高速移動增加生產效率，對近距離操作機器手臂的操作人員，造成安全上巨大的威脅。尤其是輻射、高溫高壓或異常冷熱等對身體造成危害的工作環境，以及到達困難的惡劣環境，遠端教導機器手臂作業，讓操作人員遠離危險的工作環境，顯得相當重要。

遠端教導機器手臂，一般藉由攝影機或照相機等視覺裝置(Vision Device)拍攝機器手臂作業的現場環境，傳輸到設在遠端的螢幕，呈現機器手臂作業現場的影像。由操作人員觀看螢幕上機器手臂與工件的相對位置關係，利用操作有線或無線的遙控器，教導遠端的機器手臂移動，輸送或組裝工件以製造產品。

由於使用遙控方式教導機器手臂，不僅遙控器在操作的動作 上有所限制，且不方便隨時攜帶。先前技術美國專利案US20110118877，藉由偵測手勢，確認手勢的移動方向，教導機器手臂的移動方向，以取代遙控器的操作教導方式，讓操作更方便。

然而，先前技術的視覺裝置僅設在機器手臂外的作業環境，並不會隨機器手臂移動，以致遠端螢幕縮小顯示的畫面，僅能看到機器手臂整體的工作環境，卻無法清楚看到工件的擺置方位及機器手臂接近工件的相對位置。而先前技術單段式手勢控制機器手臂的移動方式，極易撞傷工件，並不適合機器手部接近工件的移動方式，也不適合機器手部(Robot Hand)微調方位以夾取工件的細部調整方式。因此，機器手臂在遠端教導移動的裝置及方法上，仍有問題亟待解決。

本發明之目的在提供一種機器手臂的教導裝置，藉由在機器手臂設置內置及外置的視覺裝置，遠端呈現的手臂環境影像及手部周圍影像，並偵測兩段控制手勢，分別呈現在手臂環境影像中，控制手臂單元高速移動，或呈現在手部周圍影像中，控制手部單元低速移動，以提高作業效率。

本發明另一目的在提供一種機器手臂的教導方法，利用兩段控制手勢分別在手臂移動模式控制手臂單元的移動，或在手部移動模式控制手部單元的移動，以精確教導機器手臂移動。

為了達到前述發明的目的，本發明機器手臂的教導裝置具有機器手臂，在手臂單元上設內置視覺裝置，擷取位於手臂單元移動端的手部單元的手部周圍影像，並在工作現場設外置視覺裝置，擷取機器手臂的 手臂環境影像；利用位於遠端的控制裝置，教導機器手臂移動，且接收內置視覺裝置與外置視覺裝置的擷取影像，以螢幕包含併列的外置畫面與內置畫面分割畫面，外置畫面呈現接收外置視覺裝置擷取的手臂環境影像，並具有一起呈現控制手勢影像的手臂控制手勢區，內置畫面呈現接收內置視覺裝置擷取的手部周圍影像，並具有一起呈現控制手勢影像的手部控制手勢區；藉由手勢辨識模組，偵測控制手勢，將偵測到的控制手勢訊號傳輸至控制裝置，並將控制手勢影像呈現在手臂控制手勢區或手部控制手勢區。

本發明機器手臂的教導裝置，利用控制裝置接收手勢辨識模組偵測到的控制手勢訊號，教導機器手臂移動，且將教導機器手臂的移動模式，分為手臂移動模式與手部移動模式，在手臂移動模式中，配合外置畫面呈現的手臂環境影像及手臂控制手勢，教導手臂單元高速移動至目標，在手部移動模式中，配合內置畫面呈現的手部周圍影像及手部控制手勢，教導手部單元低速移動處理目標。

本發明機器手臂的教導裝置的控制手勢為預先設定，包含限定用於手臂移動模式的手臂控制手勢、限定用於手部移動模式的手部控制手勢及移動模式共用的基本控制手勢。其中基本控制手勢包含用以啟動轉換移動模式的轉換手勢，用以喚醒機器手臂的喚醒手勢及用以結束移動模式的完成手勢。而手部控制手勢包含帶動手部單元移動調整方位的移動手勢、用以夾取處理目標的夾取手勢及用以釋放處理目標的釋放手勢。

本發明機器手臂的教導方法，利用控制手勢喚醒機器手臂，擷取影像遠端併列手臂環境影像及手部周圍影像；進入設定的手臂移動模 式；將控制手勢呈現在手臂環境影像；偵測手臂控制手勢；根據偵測到的手臂控制手勢，教導手臂單元以設定的速度移動至目標；利用控制手勢轉換為手部移動模式；將控制手勢呈現在手部周圍影像；偵測手部控制手勢；根據偵測到的手部控制手勢，教導手部單元以設定的速度移動處理目標；最後結束移動模式。

10‧‧‧機器手臂

11‧‧‧手臂單元

12‧‧‧手部單元

13‧‧‧工作檯

14‧‧‧夾取裝置

15‧‧‧工件

16‧‧‧內置視覺裝置

17‧‧‧外置視覺裝置

20‧‧‧控制裝置

21‧‧‧主機

22‧‧‧螢幕

23‧‧‧外置畫面

24‧‧‧內置畫面

25‧‧‧手勢辨識模組

26‧‧‧控制手勢

26a‧‧‧手臂控制手勢區

26b‧‧‧手部控制手勢區

圖1 為本發明機器手臂教導裝置的機器手臂之示意圖。

圖2 為本發明機器手臂教導裝置的控制裝置之示意圖。

圖3 為本發明教導機器手臂的控制手勢圖。

圖4 為本發明機器手臂的教導方法的流程圖。

有關本發明為達成上述目的，所採用之技術手段及其功效，茲舉較佳實施例，並配合圖式加以說明如下。

請同時參閱圖1、圖2及圖3，圖1為本發明機器手臂教導裝置的機器手臂，圖2為本發明機器手臂教導裝置的控制裝置，圖3為本發明教導機器手臂設定的控制手勢。本發明機器手臂的教導裝置包含位於工作現場的機器手臂10及位於遠端的控制裝置20。圖1中，機器手臂10具有手臂單元11及手部單元12，機器手臂10控制手臂單元11移動，帶動位於手臂單元11移動端的手部單元12接近或遠離目標的工作檯13。再驅動手部單元12的夾取裝置14調整方位，夾取位於工作檯13上的工件15，或將工件15釋放在工作檯13。

本發明的機器手臂10另設置攝影機或照相機等視覺裝置拍攝機器手臂10作業的現場影像，藉由有線或無線，將現場影像傳輸到設在遠端的控制裝置20。視覺裝置包含內置視覺裝置(Eye-In-Hand)16與外置視覺裝置(Eye-To-Hand)17。內置視覺裝置16直接設在手臂單元11上，一般設在接近手部單元12的位置，隨手臂單元11移動，就近擷取手部單元12附近的手部周圍影像。而外置視覺裝置17則設在機器手臂10外的工作現場中，一般固定在工作現場，不會隨機器手臂移動，以擷取機器手臂10整體工作現場的手臂環境影像。

圖2中，本發明教導裝置的控制裝置20，利用主機21接收機器手臂10中內置視覺裝置16與外置視覺裝置17擷取的影像，併列呈現在螢幕22上。螢幕22具有外置畫面23與內置畫面24的分割畫面，外置畫面23呈現外置視覺裝置17擷取的手臂單元11的手臂環境影像，內置畫面24則呈現內置視覺裝置16擷取的手部單元12附近的手部周圍影像。讓操作者可以同時觀看外置畫面23與內置畫面24。本發明雖以同一螢幕22的分割畫面舉例說明，但本發明亦可為以多個螢幕併列呈現不同視覺裝置擷取的影像，達到讓操作者同時觀看的目的。

本發明教導裝置的控制裝置20另設置手勢辨識模組25，用以偵測操作者的控制手勢26，並將控制手勢26的訊號傳輸至控制裝置20的主機21，依照教導的對象，重疊呈現在外置畫面23中的手臂控制手勢區26a或內置畫面24中的手部控制手勢區26b，分別與手臂環境影像及手部周圍影像一起呈現。

本發明控制裝置20另將教導機器手臂10的移動模式，分為手 臂移動模式與手部移動模式。手臂移動模式配合觀看外置畫面23呈現的手臂環境影像，利用手臂控制手勢區26a呈現偵測到的手臂控制手勢，以教導手臂單元11高速移動，儘快讓手部單元12接近目標的工作檯13。在手部移動模式中，配合觀看內置畫面24呈現的手部周圍影像，利用手部控制手勢區26b呈現偵測到的手部控制手勢，以教導手部單元12低速移動，精確調整方位夾取或釋放工件15。藉由手臂移動模式與手部移動模式不同的控制手勢，形成兩段控制手勢教導手臂單元11與手部單元12移動。

圖3中，本發明操作機器手臂的控制手勢26，控制手勢26為預先設定，包含基本控制手勢、手臂控制手勢及手部控制手勢。基本控制手勢為各移動模式共用，包含喚醒手勢、轉換手勢及完成手勢。其中，喚醒手勢為揮動伸展手掌，用以喚醒機器手臂10，並將喚醒手勢呈現在外置畫面23的手臂控制手勢區26a中，讓操作者知道本發明的控制裝置20已進入設定的手臂移動模式中，以控制手臂單元11移動。轉換手勢為伸展拇指與食指，用以啟動移動模式的轉換，讓本發明的控制裝置20在手臂移動模式與手部移動模式間轉換，轉換手勢將呈現在轉換後的畫面中，讓操作者知道本發明的控制裝置20已轉換為另一移動模式。完成手勢則為伸展中指與食指，用以結束本發明控制裝置20的移動模式，外置或內置畫面中的控制手勢將消失，讓操作者知道本發明的控制裝置20已停止移動模式操作。

手臂控制手勢限定用於手臂移動模式，為伸展手掌上下左右移動，可在手臂移動模式中帶動手臂單元11移動，手臂控制手勢僅呈現在外置畫面23的手臂控制手勢區26a中。而手部控制手勢限定用於手部移動模式，包含移動手勢、夾取手勢及釋放手勢，可在手臂移動模式中帶動手部 單元12移動，手部控制手勢僅呈現在內置畫面24的手部控制手勢區26b中。其中移動手勢為握拳上下左右移動，在手部移動模式中帶動手部單元12移動調整方位。夾取手勢為四指併攏與拇指成夾取狀，在手部移動模式中帶動手部單元12的夾取裝置14夾取工件。釋放手勢為伸展手掌，在手部移動模式中張開手部單元12的夾取裝置14以釋放工件。

本發明機器手臂的教導裝置在使用時，首先需由操作者利用喚醒手勢，經手勢辨識模組25偵測確認後，將訊號傳輸至主機21。由主機21喚醒機器手臂10，將內置視覺裝置16與外置視覺裝置17擷取的影像，分別傳輸至螢幕22的外置畫面23與內置畫面24的分割畫面。並進入設定的手臂移動模式，再將喚醒手勢呈現在外置畫面23中的手臂控制手勢區26a，與手臂環境影像一起呈現，以表示進入喚醒狀態。

接著操作者觀看外置畫面23中的手臂單元11位置，通常手臂單元11停留的位置離目標工作檯13較遠距離。利用手臂控制手勢由手勢辨識模組25偵測，經確認後呈現在外置畫面23中的手臂控制手勢區26a，同時觀看外置畫面23中的手臂環境影像，控制手臂單元11以設定的高速快速移動，讓位於手臂單元11移動端的手部單元12儘快接近目標的工作檯13。直到併列的內置畫面24呈現工作檯13的目標影像。

為了避免高速移動的手臂單元11容易撞擊工件15，且為了微調到合適的方位。操作者利用轉換手勢，經手勢辨識模組25偵測確認後，將本發明控制裝置20轉換為手部移動模式，並將轉換手勢呈現在轉換移動模式後的內置畫面24中的手部控制手勢區26b，以表示進入手部移動模式。再利用手部控制手勢的移動手勢，經手勢辨識模組25偵測確認後，呈現在 內置畫面24中的手部控制手勢區26b，藉觀看內置畫面24中的手部單元12，並控制手部單元12以設定低速移動，微調手部單元12到合適的方位。再利用手部控制手勢的夾取手勢，經手勢辨識模組25偵測確認後，呈現在內置畫面24中的手部控制手勢區26b，夾取位於目標工作檯13上的工件15，或利用手部控制手勢的釋放手勢，經手勢辨識模組25偵測確認後，呈現在內置畫面24中的手部控制手勢區26b，將工件15釋放在目標的工作檯13上。

前述手臂移動模式與手部移動模式在移動中，可視距離工件的遠近及調整工件的方位，利用轉換手勢隨意進行來回切換移動模式，讓畫面顯示的兩段控制手勢，使手部單元12能因應不同位置，以兩段速度儘快接近目標，直到完成移動機器手臂10的控制後，最後利用完成手勢，經手勢辨識模組25偵測確認後，消除在外置畫面23或內置畫面24中的手臂控制手勢26，以完成本發明機器手臂的教導裝置的移動模式。

因此，本發明的機器手臂的教導裝置，可藉由在機器手臂10設置內置視覺裝置16及外置的視覺裝置18，分別在遠端的內置畫面24呈現手部周圍影像，及外置畫面23呈現手臂環境影像，並利用偵測兩段控制手勢各自在外置畫面23中，控制手臂單元高速移動接近目標，或在內置畫面24中，控制手部單元低速移動夾取或釋放工件，以達到提高作業效率的目的。

如圖4所示，為本發明機器手臂的教導方法的流程圖。本發明機器手臂的遠端教導方法的詳細步驟說明如下：首先在步驟S1，利用控制手勢喚醒機器手臂，擷取影像遠端併列手臂環境影像及手部周圍影像。進入步驟S2，進入設定的手臂移動模式。在步驟S3，將控制手勢一起呈現在 手臂環境影像。再至步驟S4，偵測手臂控制手勢。在步驟S5，根據偵測到的手臂控制手勢，教導手臂單元以設定的速度移動至目標，可以手部周圍影像出現目標判斷移動至目標，且手臂單元的移動設定在高速，比手部單元移動的速度快。接著在步驟S6，利用控制手勢轉換為手部移動模式。在步驟S7，將控制手勢一起呈現在手部周圍影像。然後在步驟S8，偵測手部控制手勢。在步驟S9，根據偵測到的手部控制手勢教導手部單元以設定的低速移動處理目標，例如對目標夾取或釋放工件。最後進入步驟S10處理完成目標後，結束本發明的移動模式。

因此，本發明的機器手臂的教導方法，就可利用偵測兩段控制手勢，依序在手臂移動模式控制手臂單元高速移動，以及在手部移動模式的移動控制手部單元低速移動處理目標，達到教導機器手臂精確移動。

以上所述者，僅為用以方便說明本發明之較佳實施例，本發明之範圍不限於該等較佳實施例，凡依本發明所做的任何變更，於不脫離本發明之精神下，皆屬本發明申請專利之範圍。

20‧‧‧控制裝置

21‧‧‧主機

22‧‧‧螢幕

23‧‧‧外置畫面

24‧‧‧內置畫面

25‧‧‧手勢辨識模組

26‧‧‧控制手勢

26a‧‧‧手臂控制手勢區

26b‧‧‧手部控制手勢區

Claims (9)

1. 一種機器手臂的教導裝置，包含：一機器手臂，位於工作現場，包含手臂單元與手部單元，手臂單元上設內置視覺裝置，擷取位於手臂單元移動端的手部單元的手部周圍影像，工作現場設外置視覺裝置，擷取機器手臂的手臂環境影像；一控制裝置，位於遠端，教導機器手臂移動，且接收內置視覺裝置與外置視覺裝置的擷取影像，具有螢幕包含併列的外置畫面與內置畫面，外置畫面呈現接收外置視覺裝置擷取的手臂環境影像，並具有一起呈現控制手勢影像的手臂控制手勢區，內置畫面呈現接收內置視覺裝置擷取的手部周圍影像，並具有一起呈現控制手勢影像的手部控制手勢區；一手勢辨識模組，偵測控制手勢，將偵測到的控制手勢訊號傳輸至控制裝置，並將控制手勢影像呈現在該手臂控制手勢區或該手部控制手勢區；其中，該控制裝置接收手勢辨識模組偵測到的控制手勢訊號，教導機器手臂移動，且將教導機器手臂的移動模式，分為手臂移動模式與手部移動模式，利用控制手勢中的轉換手勢切換手臂移動模式與手部移動模式，在手臂移動模式中，配合外置畫面呈現的手臂環境影像及手臂控制手勢，教導手臂單元高速移動至目標，在手部移動模式中，配合內置畫面呈現的手部周圍影像及手部控制手勢，教導手部單元低速移動處理目標。
2. 根據申請專利範圍第1項所述之機器手臂的教導裝置，其中該控制手勢為預先設定，包含限定用於手臂移動模式的手臂控制手勢、限定用於手部移動模式的手部控制手勢及移動模式共用的基本控制手勢。
3. 根據申請專利範圍第2項所述之機器手臂的教導裝置，其中該基本控制手 勢另包含用以喚醒機器手臂的喚醒手勢及用以結束移動模式的完成手勢。
4. 根據申請專利範圍第2項所述之機器手臂的教導裝置，其中該手部控制手勢包含帶動手部單元移動調整方位的移動手勢、用以夾取處理目標的夾取手勢及用以釋放處理目標的釋放手勢。
5. 根據申請專利範圍第1項所述之機器手臂的教導裝置，其中該外置畫面與內置畫面為螢幕的的分割畫面。
6. 一種機器手臂的教導方法，其步驟包含：喚醒機器手臂，擷取影像遠端併列手臂環境影像及手部周圍影像；進入設定的手臂移動模式；將控制手勢一起呈現在手臂環境影像；偵測手臂控制手勢；根據偵測到的手臂控制手勢，教導手臂單元以設定的速度移動至目標；利用控制手勢轉換為手部移動模式；將控制手勢一起呈現在手部周圍影像；偵測手部控制手勢；根據偵測到的手部控制手勢，教導手部單元以設定的速度移動處理目標；結束移動模式。
7. 根據申請專利範圍第6項所述之機器手臂的教導方法，其中利用控制手勢喚醒機器手臂。
8. 根據申請專利範圍第6項所述之機器手臂的教導方法，其中以手部周圍影像出現目標判斷手臂單元移動至目標。
9. 根據申請專利範圍第6項所述之機器手臂的教導方法，其中該手臂單元的移動設定在高速，而手部單元的移動設定在低速。