TW201339903A - 無人飛行載具控制系統及方法 - Google Patents

Abstract

一種無人飛行載具控制系統及方法，該系統安裝並運行於主機中。於使用系統之前，需先建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫。該系統利用深度攝影機針對前方包含使用者之場景進行拍攝來獲取場景影像，從場景影像中偵測出使用者之3D立體人型影像，將3D立體人型影像與3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊。將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具的操控指令，並根據操控指令控制無人飛行載具之飛行狀態。

Description

無人飛行載具控制系統及方法

本發明涉及一種飛行器控制系統及方法，尤其係關於一種具備3D人型偵測技術之無人飛行載具控制系統及方法。

傳統無人飛行載具控制系統僅能提供使用者以實體控制器的操縱桿、按鍵等方式，進行無人飛行載具飛行指令之操控作業，除了控制器可能因家中遙控器過多或隨手亂放等因素搞混或遺失。另外，使用者也需逐一熟悉實體控制器各功能操控桿、按鍵之位置，方能以控制器進行無人飛行載具的飛行高度、方向等功能操控作業。若使用者對於實體控制器的各操縱桿、按鍵等操作功能不甚熟悉，亦容易導致使用者操控錯誤等情況發生，造成人員或無人飛行載具之損傷，在使用上較為不便。

鑒於以上內容，有必要提供一種無人飛行載具控制系統及方法，能夠藉由使用者之身體姿勢、動作來直接操控無人飛行載具之飛行狀態。

所述之無人飛行載具控制系統安裝並運行於主機中，該主機包括深度攝影機及儲存裝置。該系統包括：資料庫建立模組，用於建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫，並將該3D立體人型樣本資料庫儲存於儲存裝置中；影像偵測模組，用於利用深度攝影機針對前方包含使用者之場景進行拍攝，取得前方場景包含Z方向景深資訊之場景影像，從場景影像中偵測出使用者之3D立體人型影像，將3D立體人型影像與3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊；及飛行控制模組，用於將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具的操控指令，並將操控指令藉由無線通訊網路傳送至無人飛行載具針對無人飛行載具進行操控、調整作業。

所述之無人飛行載具控制方法應用於主機中，該主機包括深度攝影機及儲存裝置。該方法包括步驟：建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫，並將該3D立體人型樣本資料庫儲存於儲存裝置中；利用深度攝影機針對前方包含使用者之場景進行拍攝，取得前方場景包含Z方向景深資訊之場景影像；從場景影像中偵測出使用者之3D立體人型影像；將3D立體人型影像與3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊；將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具的操控指令；及將所述之操控指令藉由無線通訊網路傳送至無人飛行載具針對無人飛行載具進行操控、調整作業。

相較於習知技術，本發明所述之無人飛行載具控制系統及方法，能夠藉由使用者直接以身體姿勢、動作來進行無人飛行載具飛行狀態之操控作業，不僅可有效解決使用者混淆控制器的各操縱桿之控制功能，或遍尋不著控制器之困擾，也讓使用者能夠以更直覺地方式進行無人飛行載具之飛行方向、高度等控制作業。

參考圖1所示，係為本發明無人飛行載具（Unmanned Aerial Vehicle，UAV)控制系統10較佳實施例之架構圖。於本實施例中，所述之無人飛行載具控制系統10安裝並運行於主機1中，能夠藉由使用者直接以身體姿勢、動作來操控無人飛行載具2之飛行狀態，例如控制無人飛行載具2向左轉彎、向右轉彎、向下俯或向上仰，調整飛行速度、飛行側滑角度及偏航速率和航向等。於本實施例中，所述之主機1還包括，但不僅限於，深度攝影機（Depth-sensing Camera）11、儲存裝置12以及微處理器13。該主機1能夠透過無線通訊網路3與無人飛行載具2進行通訊，例如發送控制無人飛行載具2之飛行狀態的控制指令等。所述控制指令用於，但不僅限於，操控無人飛行載具2向左轉彎、向右轉彎、向下俯、向上仰、飛行速度、飛行側滑角度以及偏航速率和航向。

所述之深度攝影機11為一種具有3D攝像功能的TOF（Time of Flight）攝影機裝置，可取得被攝物體影像範圍內各點之水平方向（XY方向）距離資訊，亦即可以取得被攝物體影像各點距離攝影機鏡頭之縱深方向（Z方向）距離資訊。該深度攝影機11主要利用光照針對被攝物體發射參考光束，藉由計算返回光束的時間差或相位差來進行攝影機與被攝物體之間的距離換算，進而產生一組深度距離資訊，即Z方向距離資訊。

於本實施例中，所述之無人飛行載具控制系統10包括資料庫建立模組101、影像偵測模組102及飛行控制模組103。本發明所稱之模組係指一種能夠被主機1之微處理器13所執行並且能夠完成固定功能之一系列電腦程式段，其儲存於主機1之儲存裝置12中，關於各模組之功能將於圖2之流程圖中作具體描述。

參考圖2所示，係本發明無人飛行載具控制方法較佳實施例之流程圖。於本實施例中，該方法能夠藉由使用者之身體姿勢、動作來直接操控無人飛行載具2之飛行狀態，例如控制無人飛行載具2向左轉彎、向右轉彎、向下俯或向上仰，調整飛行速度、飛行側滑角度及偏航速率和航向等。

步驟S21，資料庫建立模組101建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫，並將該3D立體人型樣本資料庫儲存於儲存裝置12中。參考圖3所示，使用者先利用深度攝影機11對無人飛行載具2全部控制指令對應之人型身體姿勢、動作進行拍攝來蒐集大量人型身體姿勢、動作之3D立體人型影像資料，並根據各人型身體姿勢、動作所對應之無人飛行載具2的控制指令，利用資料庫建立模組101建立完善的3D立體人型樣本資料庫，以作為3D人型偵測技術判別使用者身體姿勢、動作之依據。

參考圖3所示，係為3D立體人型樣本資料庫建立之說明示意圖。於本實施例中，建立3D立體人型樣本資料庫包括如下步驟：（a）利用深度攝影機11拍攝搜集大量人型資料圖像，取得深度攝影機11鏡頭至人型各點之距離數據，並按人型正面、側面、背面進行分類；（b）將人型輪廓各點位至鏡頭之距離數據資料，轉為像素值並儲存為人型特徵陣列，其中最高點像素值為255，最低點像素值為0，在特徵陣列内按比例分佈；（c）針對所有搜集到之人型特徵陣列數據進行特徵對齊作業，並對所有對齊完成之人型特徵陣列進行逐點資訊統計，以標準差方式進行人型特徵陣列內各點像素值之容許範圍；（d）完成統計之人型特徵陣列各點數值容許範圍即為人型資料模板，其分為正面、側面、背面三類，作爲各式人型3D樣本，從而建立3D立體人型樣本資料庫。

步驟S22，影像偵測模組102利用深度攝影機11持續針對前方包含使用者之場景進行拍攝，取得前方場景包含Z方向景深資訊之場景影像。於本實施例中，當深度攝影機11拍攝前方包含使用者之場景時，同時取得深度攝影機11之鏡頭至場景各點之距離數據。參考圖4所示，影像偵測模組102利用深度攝影機11持續對前方包含使用者之場景A進行拍攝，取得場景中包含使用者之XY方向之場景影像B以及Z方向景深資訊。所述之Z方向景深資訊係指深度攝影機11之鏡頭與場景各點之距離數據。

步驟S23，影像偵測模組102利用3D人型偵測技術從攝得之場景影像中偵測出使用者之3D立體人型影像。於本實施例中，所述利用3D人型偵測技術從攝得之場景影像中偵測出3D立體人型影像的步驟包括如下步驟：（a）影像偵測模組102將深度攝影機11攝得之場景影像各點至深度攝影機11鏡頭之Z方向景深資訊轉為像素值，並將各像素值儲存為場景陣列；（b）影像偵測模組102將場景陣列與3D立體人型樣本資料庫中的人型資料模板進行比對偵測出使用者之3D立體人型影像；（c）若比對場景範圍內之某一點位數值與人型資料模板內之相同點位數值之差距小於5%時（例如模板點位數值為255，場景點位數值為250，兩者比例差距2%），則判斷場景内該點數值落於資料庫模板相同點位數值之容許範圍內；（d）若比對區域內有85%~90%以上之點位其數值皆落於人型資料模板相同點位之容許範圍內，則代表該比對區域之數值分佈與人型資料模板相近，可將該比對區域確定為3D立體人型影像。

步驟S24，影像偵測模組102將偵測出之3D立體人型影像與儲存於儲存裝置12內之3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊。於本實施例中，影像偵測模組102取得影像中使用者之3D立體人型影像等資訊後，即對3D立體人型影像之所在位置進行標定，並根據取得使用者之3D立體人型影像等資料與儲存裝置12內之3D立體人型樣本資料庫進行比對、分析，以確認使用者之身體姿勢、動作資訊。

步驟S25，飛行控制模組103將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具2的操控指令，並將該操控指令藉由無線通訊網路3傳送至無人飛行載具2中。於本實施例中，飛行控制模組103根據使用者之身體姿勢、移動資訊產生使用者之身體姿勢、移動狀況相對應之無人飛行載具2的操作指令，並透過無線通訊網路3傳送至無人飛行載具2中。

步驟S26，飛行控制模組103根據該操作指令驅動無人飛行載具2之制動單元對無人飛行載具2進行操控、調整作業，例如控制無人飛行載具2向左轉彎、向右轉彎、向下俯、向上仰、飛行速度、飛行側滑角度以及偏航速率和航向。

參考圖5所示，係為使用者利用身體姿勢及移動狀況操控無人飛行載具之飛行狀態之具體示意圖。於本實施例中，使用者利用雙手擺動姿勢之組合可操控無人飛行載具2之多種飛行狀態，例如，使用者雙手向左擺動的姿勢時，則控制操控無人飛行載具2向左轉彎，使用者雙手向右擺動的姿勢時，則控制操控無人飛行載具2向右轉彎。使用者雙手向下移動時，則控制無人飛行載具2向下俯，使用者雙手向上移動時，則控制無人飛行載具2向上仰。

以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾，均應包含於下述之申請專利範圍內。

1．．．主機

10．．．無人飛行載具控制系統

101．．．資料庫建立模組

102．．．影像偵測模組

103．．．飛行控制模組

11．．．深度攝影機

12．．．儲存裝置

13．．．微處理器

2．．．無人飛行載具

3．．．無線通訊網路

圖1係本發明無人飛行載具控制系統較佳實施例之架構圖。

圖2係本發明無人飛行載具控制方法較佳實施例之流程圖。

圖3係為3D立體人型樣本資料庫建立之說明示意圖。

圖4係為利用深度攝影機拍攝場景影像示意圖。

圖5係為利用使用者身體姿勢操控無人飛行載具之具體實例示意圖。

1．．．主機

10．．．無人飛行載具控制系統

101．．．資料庫建立模組

102．．．影像偵測模組

103．．．飛行控制模組

11．．．深度攝影機

12．．．儲存裝置

13．．．微處理器

2．．．無人飛行載具

3．．．無線通訊網路

Claims (10)

1. 一種無人飛行載具控制系統，安裝並運行於主機中，該主機包括深度攝影機及儲存裝置，所述之無人飛行載具控制系統包括：
   資料庫建立模組，用於建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫，並將該3D立體人型樣本資料庫儲存於儲存裝置中；
   影像偵測模組，用於利用深度攝影機針對前方包含使用者之場景進行拍攝，取得前方場景包含Z方向景深資訊之場景影像，從場景影像中偵測出使用者之3D立體人型影像，將3D立體人型影像與3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊；及
   飛行控制模組，用於將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具的操控指令，並將該操控指令藉由無線通訊網路傳送至無人飛行載具針對無人飛行載具進行操控、調整作業。
2. 如申請專利範圍第1項所述之無人飛行載具控制系統，其中，所述之深度攝影機為一種具有3D攝像功能的TOF攝影機裝置，用於取得被攝物體影像範圍內各點之XY方向水平距離資訊及被攝物體影像各點距離攝影機鏡頭之Z方向深度距離資訊。
3. 如申請專利範圍第1項所述之無人飛行載具控制系統，其中，所述之建立3D立體人型樣本資料庫之步驟包括：
   利用深度攝影機對無人飛行載具全部控制指令對應之人型身體姿勢、動作進行拍攝來蒐集大量人型身體姿勢、動作之3D立體人型影像資料；及
   根據各人型身體姿勢、動作所對應之無人飛行載具的控制指令建立完善的3D立體人型樣本資料庫。
4. 如申請專利範圍第1項所述之無人飛行載具控制系統，其中，所述之偵測3D立體人型影像之步驟包括：
   將深度攝影機攝得之場景影像各點至深度攝影機鏡頭之Z方向景深資訊轉為像素值，並將各像素值儲存為場景陣列；及
   將場景陣列與3D立體人型樣本資料庫中人型資料模板進行比對偵測出使用者之3D立體人型影像。
5. 如申請專利範圍第1項所述之無人飛行載具控制系統，其中，所述之控制指令包括操控無人飛行載具向左轉彎、向右轉彎、向下俯、向上仰、飛行速度、飛行側滑角度及偏航速率和航向之指令。
6. 一種無人飛行載具控制方法，應用於主機中，該主機包括深度攝影機及儲存裝置，該方法包括步驟：
   建立一個用於判別使用者身體姿勢、動作之3D立體人型樣本資料庫，並將該3D立體人型樣本資料庫儲存於儲存裝置中；
   利用深度攝影機針對前方包含使用者之場景進行拍攝，取得前方場景包含Z方向景深資訊之場景影像；
   從場景影像中偵測出使用者之3D立體人型影像；
   將3D立體人型影像與3D立體人型樣本資料庫進行比對分析出使用者之身體姿勢、動作資訊；
   將使用者之身體姿勢、動作資訊轉換為對應之無人飛行載具的操控指令；及
   將所述之操控指令藉由無線通訊網路傳送至無人飛行載具針對無人飛行載具進行操控、調整作業。
7. 如申請專利範圍第6項所述之無人飛行載具控制方法，其中，所述之深度攝影機為一種具有3D攝像功能的TOF攝影機裝置，用於取得被攝物體影像範圍內各點之XY方向水平距離資訊及被攝物體影像各點距離攝影機鏡頭之Z方向深度距離資訊。
8. 如申請專利範圍第6項所述之無人飛行載具控制方法，其中，所述之建立3D立體人型樣本資料庫之步驟包括：
   利用深度攝影機對無人飛行載具全部控制指令對應之人型身體姿勢、動作進行拍攝來蒐集大量人型身體姿勢、動作之3D立體人型影像資料；及
   根據各人型身體姿勢、動作所對應之無人飛行載具的控制指令建立完善的3D立體人型樣本資料庫。
9. 如申請專利範圍第6項所述之無人飛行載具控制方法，其中，所述之從場景影像中偵測出使用者之3D立體人型影像之步驟包括：
   將深度攝影機攝得之場景影像各點至深度攝影機鏡頭之Z方向景深資訊轉為像素值，並將各像素值儲存為場景陣列；及
   將場景陣列與3D立體人型樣本資料庫中人型資料模板進行比對偵測出使用者之3D立體人型影像。
10. 如申請專利範圍第6項所述之無人飛行載具控制方法，其中，所述之控制指令包括操控無人飛行載具向左轉彎、向右轉彎、向下俯、向上仰、飛行速度、飛行側滑角度及偏航速率和航向之指令。