TWI696529B - 自動定位方法以及自動控制裝置 - Google Patents

Abstract

本發明提出一種自動定位方法以及自動控制裝置。自動控制裝置包括處理單元、記憶單元與以及攝影單元，可自動控制機械手臂。當處理單元執行定位程序時，攝影單元取得機械手臂的第一影像。處理單元分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料。處理單元控制機械手臂移動多次，以藉由攝影單元依序取得機械手臂的多個第二影像，分析所述多個第二影像以及機械手臂的編碼器資訊，以取得第二空間定位資料。處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值，以結束定位程序。

Description

自動定位方法以及自動控制裝置

本發明是有關於一種自動控制技術，且特別是有關於一種可進行自動校正的自動控制裝置以及自動定位方法。

由於目前的製造工業皆朝向自動化的方向發展，因此目前在自動化工廠中大量運用機械手臂來取代人力。然而，傳統的機械手臂的移動性和佈署的便利性較低，多以強調速度以及精度為主要特點。對此，當製造產線進行更換或移動時，往往需要花費大量的時間以及人力來進行重新定位校正和評估，因此導致傳統的機械手臂無法應用在彈性的生產製造流程。對此，如何提供一種可提供有效的自動定位功能的自動控制裝置，以下將提出幾個實施例的解決方案。

本發明提供一種自動控制裝置以及自動定位方法可對機械手臂進行準確的定位操作。

本發明的自動控制裝置包括處理單元以及攝影單元。攝影單元耦接處理單元。當處理單元執行定位程序時，處理單元用以取得機械手臂的第一影像。處理單元分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料。處理單元控制機械手臂移動多次，以藉由攝影單元依序取得機械手臂的多個第二影像。處理單元分析所述多個第二影像以及機械手臂的編碼器資訊，以取得第二空間定位資料。處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值，以結束定位程序。

在本發明的一實施例中，上述的當處理單元執行定位程序時，處理單元控制攝影單元，以使攝影單元移動至對應於機械手臂的位置，並且操作攝影單元取得機械手臂的第一影像。

在本發明的一實施例中，上述的自動控制裝置更包括記憶單元。記憶單元耦接處理單元。記憶單元用以記錄機械手臂的立體機械手臂模型。處理單元依據立體機械手臂模型以及立體工作環境模型來對立體工作環境模型當中的虛擬機械手臂進行定位，以取得第一空間定位資料。

在本發明的一實施例中，上述的處理單元依據編碼器資訊來修正立體機械手臂模型。

在本發明的一實施例中，上述的處理單元控制機械手臂移動至少三次，以藉由攝影單元依序取得機械手臂的至少三個第二影像。

在本發明的一實施例中，上述的處理單元各別分析所述 多個第二影像當中的機械手臂的末端特徵，以對該機械手臂的該末端特徵進行定位，並且經由逆向運動運算取得第二定位資料。

在本發明的一實施例中，上述的當處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數未小於規範值時，處理單元依據第二空間定位資料來更新第一空間定位資料，並且重新控制機械手臂移動多次，以藉由攝影單元依序取得機械手臂的另多個第二影像，並且重新定位。

在本發明的一實施例中，上述的攝影單元為彩色深度攝影機，並且第一影像包括二維影像資訊以及三維影像資訊。

本發明的自動定位方法適用於自動控制裝置以及機械手臂。所述自動控制方法包括以下步驟：當執行定位程序時，藉由攝影單元取得機械手臂的第一影像；藉由處理單元分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料；藉由處理單元控制機械手臂移動多次，以使攝影單元依序取得機械手臂的多個第二影像；藉由處理單元分析所述多個第二影像以及機械手臂的編碼器資訊，以取得第二空間定位資料；以及藉由處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值，以結束定位程序。

在本發明的一實施例中，上述的藉由攝影單元取得機械手臂的第一影像的步驟包括：藉由處理單元控制攝影單元，以使攝影單元移動至對應於機械手臂的位置；以及藉由處理單元操作攝影單元取得機械手臂的第一影像。

在本發明的一實施例中，上述的藉由處理單元分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料的步驟包括：藉由處理單元依據記錄在記憶單元當中的立體機械手臂模型以及立體工作環境模型來對立體工作環境模型當中的虛擬機械手臂進行定位，以取得第一空間定位資料。

在本發明的一實施例中，上述的藉由處理單元分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料的步驟更包括：藉由處理單元依據編碼器資訊來修正立體機械手臂模型。

在本發明的一實施例中，上述的藉由處理單元控制機械手臂移動多次，以使攝影單元依序取得機械手臂的所述多個第二影像的步驟包括：藉由處理單元控制機械手臂移動至少三次，以藉由攝影單元依序取得機械手臂的至少三個第二影像。

在本發明的一實施例中，上述的藉由處理單元分析所述多個第二影像以及機械手臂的編碼器資訊，以取得第二空間定位資料的步驟包括：藉由處理單元各別分析所述多個第二影像當中的機械手臂的末端特徵，以對該機械手臂的該末端特徵進行定位，並且經由逆向運動運算取得第二定位資料。

在本發明的一實施例中，上述的藉由處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值，以結束定位程序的步驟包括：當處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數未小於規範值時，依 據第二空間定位資料來更新第一空間定位資料；以及藉由處理單元重新控制機械手臂移動多次，以藉由攝影單元依序取得機械手臂的另多個第二影像，並且重新定位。

在本發明的一實施例中，上述的攝影單元為彩色深度攝影機，並且第一影像包括二維影像資訊以及三維影像資訊。

基於上述，本發明的自動控制裝置以及自動定位方法，可藉由影像分析的方式來對機械手臂進行定位，以取得機械手臂的空間定位資料，並且可搭配逆向運動運算來校正機械手臂的空間定位資料，以達成準確的定位效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:自動控制裝置

110:處理單元

120:記憶單元

121:立體機械手臂模型

130:攝影單元

131、200:機械手臂

201:夾爪

202:基座

S301~S311、S410~S450:步驟

圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。

圖2是依照本發明的一實施例的自動控制裝置的示意圖。

圖3是依照本發明的一實施例的自動定位方法的流程圖。

圖4是依照本發明的另一實施例的自動定位方法的流程圖。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖 式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。參考圖1，自動控制裝置100包括處理單元110、記憶單元120、機械手臂200以及攝影單元130。處理單元110耦接記憶單元120以及攝影單元130。並且，自動控制裝置100的處理單元110可耦接外部的機械手臂200，以控制機械手臂200。在本實施例中，記憶單元120用以記錄立體機械手臂模型121。在本實施例中，自動控制裝置100可執行定位校正程序，以藉由影像分析的方式來對機械手臂200進行定位，並且取得機械手臂200的第一空間定位資料。在本實施例中，操作者可預先將機械手臂的立體機械手臂模型121記錄至記憶單元120當中。立體機械手臂模型121可例如是輸入電腦輔設計(Computer Aided Design,CAD)模型，但本發明並不限於此。值得注意的是，本實施例的機械手臂200可例如是任何市售的各式工業機械手臂，並且可藉由搭配本實施例的自動控制裝置100來實現準確的自動定位以及自動控制的效果。

在本實施例中，處理單元110可為影像訊號處理器(Image Signal Processor,ISP)、中央處理器(Central Processing Unit,CPU)、微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器(Programmable Logic Controller,PLC)、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、系統單晶片(System on Chip,SoC)或其他類似元件或上 述元件的組合，本發明並不加以限制。

在本實施例中，記憶單元120可為動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)、快閃記憶體(Flash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory,NVRAM)，本發明並不加以限制。記憶單元120可用以記錄本發明各實施例所述的立體模型、影像資料、控制模組以及各式分析模組等，以供處理單元110讀取並執行之。

在本實施例中，機械手臂200可為單軸或多軸，並且可執行物件抓取動作以及移動物件等姿勢。在本實施例中，攝影單元130可為彩色深度攝影機(RGB-D camera)，並且可用以同時取得二維(two-dimensional)影像資訊以及三維(three-dimensional)影像資訊，以提供至處理單元110進行分析例如影像辨識、深度量測、機械手臂識別或定位處理等諸如此類的分析操作，以實現本發明各實施例的自動定位程序以及自動定位方法。此外，在本實施例中，機械手臂200以及攝影單元130為可移動狀態。特別是，攝影單元130可外設於另一個機械手臂上，並且經由處理單元110操作，以使攝影單元130可自動追隨或自動搜尋機械手臂200，以取得機械手臂200的影像。

圖2是依照本發明的一實施例的自動控制裝置的示意圖。參考圖1以及圖2，在本實施例中，當自動控制裝置100執行定位程序時，自動控制裝置100可先定義攝影單元130在空間中的位置。舉例而言，攝影單元130可外設於另一個機械手臂131上或 基座上或手持，攝影單元130可依據此另一個機械手臂131上的編碼器資訊來決定攝影單元130在空間中經移動後的位置(經由手動或自動的方式)，或是依據基座的機構資訊或以光學式或以慣量式或以其他定位方式來決定之。接著，當攝影單元130移動至對應於機械手臂200的位置時，自動控制裝置100可藉由攝影單元130取得機械手臂200的第一影像，並且藉由處理單元110對第一影像進行分析。在本實施例中，第一影像包括二維影像以及三維影像。換言之，處理單元110可依據第一影像來取得二維的影像資訊以及深度資訊。

在本實施例中，首先，處理單元110可分析第一影像當中的機械手臂影像以及工作環境影像，以建立立體工作環境模型。在本實施例中，立體工作環境模型可為同步定位與地圖建構(Simultaneous Localization and Mapping,SLAM)模型，但本發明並不限於此。接著，在本實施例中，處理單元110可讀取記憶單元120，以取得對應於機械手臂200的立體機械手臂模型121，並且讀取機械手臂200的編碼器資訊。編碼器資訊例如包括機械手臂200的控制程式編碼以及控制參數等資訊。處理單元110可依據機械手臂200的編碼器資訊來修正立體機械手臂模型121，以使屬於原始姿勢形式的立體機械手臂模型121可修正為當前的機械手臂200的姿勢形式。並且，處理單元110將修正後的立體機械手臂模型與立體工作環境模型結合，以使立體工作環境模型的資訊完整，以利定位。換言之，處理單元110可依據立體機械手臂模型以及 立體工作環境模型來對立體工作環境模型當中的虛擬機械手臂進行定位，以有效取得第一空間定位資料。值得注意的是，在本實施例中，第一空間定位資料是指處理單元110依據機械手臂200的基座202的預先固定的定位資料以及立體機械手臂模型121來經由順向運動運算來推得虛擬機械手臂的末端特徵的位置。在本實施例中，所述末端特徵可指的是對應於機械手臂200的夾爪201。並且，上述的順向運動運算可基於順向運動學(Forward Kinematics)來設計之，但本發明並不限於此。

然而，在本實施例中，由於經由搭配分析立體工作環境模型而取得的上述的第一空間定位資料可能與實際機械手臂200的末端的夾爪201的位置之間存在誤差，因此為了進一步提升定位的準確度，本實施例的處理單元110可進一步執行定位校正。具體而言，處理單元110可控制機械手臂200移動多次，並且針對機械手臂200的每一次移動結果，處理單元110可透過攝影單元130依序取得機械手臂200的多個第二影像。在本實施例中，第二影像為二維影像，以使處理單元110可基於第二影像來取得二維影像資訊，但本發明並不限於此。在一實施例中，第二影像也可同時包括二維影像以及三維影像。在本實施例中，處理單元110分析這些第二影像當中的機械手臂200的末端特徵，並且執行逆向運動運算來取得對應於機械手臂200的移動結果的末端特徵的夾爪201的位置資料，以作為第二空間定位資料。在本實施例中，上述的逆向運動運算可基於逆向運動學(Inverse Kinematics)來設計 之，但本發明並不限於此。

接著，處理單元110藉由機械手臂200的編碼器資訊以及第一空間定位資料來推得機械手臂200在立體工作環境模型中的經移動後的第一空間定位資料。處理單元110可比對經移動後的第一空間定位資料以及第二空間定位資料之間的位置誤差是否小於規範值。當經移動後的第一空間定位資料以及第二空間定位資料之間的位置誤差小於規範值時，表示機械手臂200的定位為準確，因此處理單元110結束定位程序。反之，當經移動後的第一空間定位資料以及第二空間定位資料之間的位置誤差未小於規範值時，表示機械手臂200的定位仍有誤差，因此處理單元110依據第二空間定位資料來更新第一空間定位資料，以將第一空間定位資料取代為第二空間定位資料，並且重新執行定位，直到機械手臂200的定位為準確的狀態。據此，本實施例的自動控制裝置100可對機械手臂200進行準確的定位。

圖3是依照本發明的一實施例的自動定位方法的流程圖。參考圖1至圖3，本實施例的自動定位方法可適用於圖1以及圖2實施例的自動控制裝置100以及機械手臂200。在步驟S301中，處理單元110執行定位程序。在步驟S302中，處理單元110控制攝影單元130，以使攝影單元130移動至對應於機械手臂200的位置。在步驟S303中，判斷包括有機械手臂200的工作環境資訊是否收集完成。若否，則處理單元110重新執行步驟S302。若是，則處理單元執行步驟S304。在步驟S304中，處理單元110分析第 一影像，以建立立體工作環境模型。在步驟S305中，處理單元110依據立體機械手臂模型以及立體工作環境模型來進行定位，以取得第一空間定位資料。在步驟S306中，處理單元110控制機械手臂200移動。在步驟S307中，處理單元110藉由攝影單元130取得機械手臂200的第二影像，並且判斷是否已移動機械手臂N次，其中N為大於或等於3的正整數。若否，則處理單元110重新執行步驟S306。若是，則處理單元110執行步驟S308。在步驟S308中，處理單元110分析N個第二影像，並且經由逆向運動運算取得機械手臂的第二定位資料。在步驟S309中，處理單元110判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值。若否，則處理單元110執行步驟S310。在步驟S310中，處理單元110依據第二空間定位資料來更新第一空間定位資料，並且重新執行步驟306。若是，則處理單元110執行步驟S311，結束定位程序。因此，本實施例的自動控制裝置100可對機械手臂200進行準確的定位。

圖4是依照本發明的另一實施例的自動定位方法的流程圖。參考圖1以及圖4，本實施例的自動定位方法的流程可至少適用於圖1實施例的自動控制裝置100。在步驟S410中，當執行定位程序時，攝影單元130取得機械手臂200的第一影像。在步驟S420中，處理單元110分析第一影像，以建立立體工作環境模型，並且取得第一空間定位資料。在步驟S430中，處理單元110控制機械手臂200移動多次，以使攝影單元130依序取得機械手臂200 的多個第二影像。在步驟S440中，處理單元110分析所述多個第二影像以及機械手臂200的編碼器資訊，以取得第二空間定位資料。在步驟S450中，處理單元判斷第一空間定位資料以及第二空間定位資料之間的誤差參數是否小於規範值，以結束定位程序。因此，本實施例的自動定位方法可提供準確的機械手臂的定位操作。

綜上所述，本發明的自動控制裝置以及自動定位方法可藉由對機械手臂拍攝二維影像及三維影像，以建立包括有機械手臂的立體工作環境模型，並且搭配預先建立的機械手臂模型，來取得機械手臂的第一空間定位資料。並且，本發明的自動控制裝置以及自動定位方法還可進一步取得機械手臂移動後的多個二維影像，並且搭配逆向運動運算對第一空間定位資料進行校正。因此，本發明的自動控制裝置以及自動定位方法可提供準確的自動定位功能以及自動定位校正功能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：自動控制裝置 110：處理單元 120：記憶單元 121：立體機械手臂模型 130：攝影單元 200：機械手臂

Claims (16)

1. 一種自動控制裝置，包括：一處理單元；以及一攝影單元，耦接該處理單元，當該處理單元執行一定位程序時，用以取得一機械手臂的一第一影像，其中該處理單元分析該第一影像，以建立一立體工作環境模型，並且依據一立體機械手臂模型以及該立體工作環境模型來對該立體工作環境模型當中的一虛擬機械手臂進行定位，以取得一第一空間定位資料，其中該處理單元控制該機械手臂移動多次，以藉由該攝影單元依序取得該機械手臂的多個第二影像，並且該處理單元各別分析該些第二影像當中的該機械手臂的一末端特徵以及該機械手臂的一編碼器資訊，以對該機械手臂的該末端特徵進行定位，而取得一第二空間定位資料，其中該處理單元判斷經移動後的該第一空間定位資料以及該第二空間定位資料之間的一誤差參數是否小於一規範值，以結束該定位程序。
2. 如申請專利範圍第1項所述的自動控制裝置，其中當該處理單元執行該定位程序時，該處理單元控制該攝影單元，以使該攝影單元移動至對應於該機械手臂的位置，並且操作該攝影單元取得該機械手臂的該第一影像。
3. 如申請專利範圍第1項所述的自動控制裝置，更包括： 一記憶單元，耦接該處理單元，並且用以記錄該機械手臂的一立體機械手臂模型。
4. 如申請專利範圍第3項所述的自動控制裝置，其中該處理單元依據該編碼器資訊來修正該立體機械手臂模型。
5. 如申請專利範圍第1項所述的自動控制裝置，其中該處理單元控制該機械手臂移動至少三次，以藉由該攝影單元依序取得該機械手臂的至少三個第二影像。
6. 如申請專利範圍第1項所述的自動控制裝置，其中該處理單元對該機械手臂的該末端特徵進行定位，以經由一逆向運動運算取得該第二定位資料。
7. 如申請專利範圍第1項所述的自動控制裝置，其中當該處理單元判斷該第一空間定位資料以及該第二空間定位資料之間的該誤差參數未小於該規範值時，該處理單元依據該第二空間定位資料來更新該第一空間定位資料，並且重新控制該機械手臂移動多次，以藉由該攝影單元依序取得該機械手臂的另多個第二影像，並且重新定位。
8. 如申請專利範圍第1項所述的自動控制裝置，其中該攝影單元為一彩色深度攝影機，並且該第一影像包括一二維影像資訊以及一三維影像資訊。
9. 一種自動定位方法，適用於一自動控制裝置以及一機械手臂，其中該自動控制方法包括： 當執行一定位程序時，藉由一攝影單元取得該機械手臂的一第一影像；藉由一處理單元分析該第一影像，以建立一立體工作環境模型，並且依據一立體機械手臂模型以及該立體工作環境模型來對該立體工作環境模型當中的一虛擬機械手臂進行定位，以取得一第一空間定位資料；藉由該處理單元控制該機械手臂移動多次，以使該攝影單元依序取得該機械手臂的多個第二影像；藉由該處理單元各別分析該些第二影像當中的該機械手臂的一末端特徵以及該機械手臂的一編碼器資訊，以對該機械手臂的該末端特徵進行定位，而取得一第二空間定位資料；以及藉由該處理單元判斷經移動後的該第一空間定位資料以及該第二空間定位資料之間的一誤差參數是否小於一規範值，以結束該定位程序。
10. 如申請專利範圍第9項所述的自動定位方法，其中藉由該攝影單元取得該機械手臂的該第一影像的步驟包括：藉由該處理單元控制該攝影單元，以使該攝影單元移動至對應於該機械手臂的位置；以及藉由該處理單元操作該攝影單元取得該機械手臂的該第一影像。
11. 如申請專利範圍第9項所述的自動定位方法，其中該立體機械手臂模型記錄在一記憶單元當中。
12. 如申請專利範圍第11項所述的自動定位方法，其中藉由該處理單元分析該第一影像，以建立該立體工作環境模型，並且取得該第一空間定位資料的步驟更包括：藉由該處理單元依據該編碼器資訊來修正該立體機械手臂模型。
13. 如申請專利範圍第9項所述的自動定位方法，其中藉由該處理單元控制該機械手臂移動多次，以使該攝影單元依序取得該機械手臂的該些第二影像的步驟包括：藉由該處理單元控制該機械手臂移動至少三次，以藉由該攝影單元依序取得該機械手臂的至少三個第二影像。
14. 如申請專利範圍第9項所述的自動定位方法，其中藉由該處理單元各別分析該些第二影像當中的該機械手臂的該末端特徵以及該機械手臂的該編碼器資訊，以對該機械手臂的該末端特徵進行定位，而取得該第二空間定位資料的步驟包括：藉由該處理單元對該機械手臂的該末端特徵進行定位，以經由一逆向運動運算取得該第二定位資料。
15. 如申請專利範圍第9項所述的自動定位方法，其中藉由該處理單元判斷經移動後的該第一空間定位資料以及該第二空間定位資料之間的該誤差參數是否小於該規範值，以結束該定位程序的步驟包括： 當該處理單元判斷經移動後的該第一空間定位資料以及該第二空間定位資料之間的該誤差參數未小於該規範值時，依據該第二空間定位資料來更新該第一空間定位資料；以及藉由該處理單元重新控制該機械手臂移動多次，以藉由該攝影單元依序取得該機械手臂的另多個第二影像，並且重新定位。
16. 如申請專利範圍第9項所述的自動定位方法，其中該攝影單元為一彩色深度攝影機，並且該第一影像包括一二維影像資訊以及一三維影像資訊。

Images