TW201415291A - 基於物件追蹤的手勢辨識方法及系統 - Google Patents

Abstract

一種基於物件追蹤的手勢辨識方法及系統，包含對操作區域打光，俾在接收的影像中產生因物件反光而形成的亮區，從該亮區的重心位置、平均亮度或面積的變化判斷手勢，據以產生指令。本發明以簡單的操作及運算即可偵測物件在影像的X軸、Y軸或Z軸的運動，進而辨識出物件移動所表達的手勢。

Description

基於物件追蹤的手勢辨識方法及系統

本發明係有關一種手勢偵測，特別是關於一種動態手勢辨識。

手勢控制系統提供簡單且直覺式的操作便利性，但是使用諸如觸控面板這類接觸式的人機介面的系統限制使用者必須緊貼該介面操作，對於某些應用而言相當不便。相反的，使用非接觸式介面的手勢控制系統讓使用者能在相對較遠的距離操作，但是必須藉由影像的擷取及辨識來判斷手勢，所以難度較高。

一種已知的手勢辨識方法係輸入可見光影像，從影像中辨識膚色範圍，再對膚色範圍辨識形狀找出手的位置，依據連續影像中手的位置的變化追蹤手的位移，進而判斷出手勢。然而膚色分析需要很複雜的演算法，而且與環境光有密切的關係，錯誤率比較高。手勢的形狀辨識也需要複雜的演算法，還要求使用者維持固定的手勢形狀，例如五指張開或手指比著V字形，因此不能偵測某些手勢，例如翻掌、握拳變張開手指、張開手指變握拳。不同使用者的手結構差異也增加辨識的困難度或錯誤率。其他的缺點還有暗處無法偵測、需要特定的手掌起手式等等。由於依賴形狀辨識來追蹤手的位移，所以這類方法只能辨識在影像的X軸及Y軸運動的手勢，不能辨識在影像的Z軸運動的手勢，因此不能偵測手向前推或向後拉的手勢。在某些應用中，例如手機或筆記型電腦，使用者的背後可能會有人體移動，這也可能造成辨識錯誤。

另一種依靠連續影像的手勢辨識方法，例如微軟的體感裝置Kinect，除了二維的影像分析以外，還利用影像的深度資訊來建立人體的骨架模型，再藉骨架模型來追蹤手的位置變化以進行手勢辨識。這種方法使用的演算法更複雜，需要更多運算時間，雖然可以偵測在影像的Z軸運動的手勢，但是只能應用在一個固定的操作距離，而且允許使用者前後移動的空間很小，如果使用者不在預設的操作距離上，或是使用環境不足以提供預設的操作距離，那麼這種辨識系統就不能使用。這種操作距離的僵固性對手勢辨識系統的製造商造成困擾，製造商只能預設一個合理的操作距離，並以其為基礎設定手勢辨識系統的參數值，因此這種辨識系統無法適用在不同的場合。

上述兩種方法皆需大量的運算，因此軟硬體的成本比較高，不適合某些較簡單的應用，而且大量的運算還會造成系統的反應較慢。上述兩種方法也不適合短距離的應用，例如操作距離在1公尺以內時，系統的穩定度會變差。此外，上述兩種方法都需要依賴手的膚色和輪廓來作辨識，所以載手套、手指捲曲或手指不全也不適用，當然也不適用在其他物件操作，例如筆或紙捲。

本發明的目的之一，在於提出一種簡單的手勢辨識方法及系統。

本發明的目的之一，在於提出一種較低成本的手勢辨識方法及系統。

本發明的目的之一，在於提出一種基於物件追蹤的手勢辨識方法及系統。

本發明的目的之一，在於提出一種可調整操作距離的手勢辨識方法及系統。

本發明的目的之一，在於提出一種可偵測物件的三維運動的手勢辨識方法及系統。

本發明的目的之一，在於提出一種適用廣泛的操作物件的手勢辨識方法及系統。

根據本發明，一種基於物件追蹤的手勢辨識方法包含提供光線向操作區域投射，接收來自該操作區域的影像，偵測該影像中的亮區，以及從該亮區的重心位置、平均亮度或面積的變化判斷手勢。

根據本發明，一種基於物件追蹤的手勢辨識系統包含發光單元提供光線向操作區域投射，影像感測器從該操作區域擷取影像，以及處理器偵測該影像中的亮區，利用該亮區提供的資訊進行物件追蹤，以及將該物件追蹤的結果比對手勢定義，以判斷操作手勢。

參照圖1的實施例，本發明的手勢辨識系統包含影像感測器10、發光單元12及處理器14。影像感測器10的視角為θ，由其定義的視錐範圍即影像感測器10可擷取影像的區域。物件16的操作距離為D，視錐在此距離的截面為物件16的操作區域A。處理器14分別藉控制訊號Si及S1控制影像感測器10及發光單元12，發光單元12提供可見光或不可見光向操作區域A投射，影像感測器10感測的波長範圍包含發光單元12提供的光的波長。物件16反射發光單元12提供的光，在影像感測器10接收到的影像中形成亮區。影像感測器10把接收到的影像以視訊VI 傳給處理器14，處理器14利用亮區提供的資訊來追蹤物件16，進而判斷手勢，據以產生指令Sc。

處理器14可藉切換影像感測器10的視角θ或利用影像處理技巧來切換操作距離D。影像感測器10可使用定焦鏡頭或變焦鏡頭。若使用定焦鏡頭，則影像感測器10的視角θ是固定的。若使用變焦鏡頭，則影像感測器10的視角θ可動態調整。

較佳者，發光單元12是可調整的，例如，操作距離D越遠時，發光單元12提供越高亮度的光。調整發光單元12的方式有很多種，例如，因應操作距離D的改變調整發光單元12的操作電流，以調整發光單元12提供的光亮度；或者在發光單元12中配置不同出光角度的發光源18及20，在較近的操作距離D時使用發光源18，在較遠的操作距離D時切換為發光源20，其中發光源18具有較大的出光角度，而發光源20具有相對較小的出光角度；或者使用光學組件來調整發光單元12的出光角度。

參照圖2，在一實施例中，步驟22輸入影像，步驟24偵測影像中的亮區，然後步驟26利用亮區提供的資訊進行物件追蹤，例如，步驟28計算亮區的重心位置，步驟30計算重心位置的變化，步驟32把重心位置的變化與預設的手勢定義比對，如果符合某一定義的手勢，則步驟34產生該手勢相對應的指令Sc，如果重心位置的變化不符合任何手勢定義，則回到步驟22繼續輸入影像實施辨識。

較佳者，步驟22具有影像緩衝的功能，當處理器14在進行其他步驟時，步驟22即可先讀入下一幀(frame)影像，如此可以縮短整體辨識作業的時間，加快辨識系統的反應速率。

在進行步驟24時，使用一個門檻值作為比較基準，只有亮 度超過門檻值的像素被列為亮區的元素。例如，影像感測器10的亮度分為32階，門檻值設為18階，只有亮度在18階以上的影像區塊會被判定為亮區。回到圖1，雖然物件16的背後可能會有其他物件，但是經過門檻值的篩選後被排除了。較佳者，發光單元12提供的是不可見光，以避免可見光的干擾。較佳者，偵測亮區所用的門檻值是可調整的。

圖3到圖5係揭露利用亮區的重心位置的變化來判斷物件16之運動(如：使用者之手勢)的示意圖。在圖3中，連續多幀影像的亮區計算出來的重心位置P1到P5顯示朝向一特定方向，因此處理器14可判定使用者之手勢是朝向該特定方向運動。在圖4中，重心位置的移動向量顯示其運動方向改變達到角度a，因此可判定手勢是轉向，依此原理，若使用者的手勢是進行旋轉手勢之動作時，便可透過前述計算重心位置、移動向量和兩個移動向量之間的角度之方法，而判定手勢是旋轉，如圖5所示。

回到圖2，如前所述，步驟28及30係追蹤物件16在影像的X軸及Y軸的運動，要追蹤物件16在影像的Z軸的運動，可以利用亮區提供的其他資訊，例如平均亮度或面積的變化。例如圖2中所示，步驟36計算亮區的平均亮度，步驟38計算平均亮度的變化，步驟32根據平均亮度的變化與預設的手勢定義比對的結果，決定到步驟34或22。參照圖1，物件16相對於影像感測器10的前後移動會造成反光亮度的變化，進而造成亮區的平均亮度改變，例如參照圖6所示，連續多幀影像的亮區平均亮度遞減，表示物件16離影像感測器10更遠，因此手勢為物件16拉回；反之，連續多幀影像的亮區平均亮度遞增，表示物件16 向影像感測器10靠近，因此手勢為推出。計算亮區的平均亮度只需要很簡單的運算，例如把亮區的每一個像素的亮度相加後，再除以亮區包含的像素數量，此運算也可以在執行步驟24時一起執行。

參照圖1，由於透視的緣故，只要視角θ維持不變，則物件16在影像感測器10取得的影像中，其大小會隨著物件16與影像感測器10的距離改變，因此物件16相對於影像感測器10的前後移動會造成亮區面積的變化，例如參照圖7所示，在一幀影像46中，物件16距離影像感測器10較近產生的亮區48會比距離影像感測器10較遠產生的亮區50更大。回到圖2，步驟40計算亮區的面積，步驟42計算面積的變化，步驟32根據面積的變化與預設的手勢定義比對的結果，決定到步驟34或22。例如參照圖8所示，連續多幀影像的亮區面積遞減表示物件16是向後拉回的手勢，連續多幀影像的亮區面積遞增表示物件16是向前推出的手勢。計算亮區的面積只需要計算亮區包含的像素數量即可，因此運算很簡單，而且可以在執行步驟24時一起執行。值得一提的是，上述偵測物件16於Z軸上運動的方式可以同時結合上述步驟36、38以及步驟40、42之結果而決定，意即：可同時根據平均亮度的變化以及亮區面積的變化而判斷物件16於Z軸上之運動。

回到圖2，在步驟24後可增加步驟44來優化偵測結果，以提高準確度，例如使用習知技術的斷開運算(opening operation)，包含侵蝕(erosion)及擴張(dilation)處理，以去除雜訊在影像中產生的雜點；又例如，在偵測到一幀影像包含數個分離區塊的亮區時，選擇最亮的區塊，其餘的捨棄；又例如，捨棄面積 不在某個區間內的亮區。

圖9係切換操作距離的示意圖。如前所述，切換影像感測器10的視角可切換操作距離，例如，視角從θ1切換到θ2，相當於操作距離從D1切換到D2，但操作區域A1的大小維持不變。在相同的視角θ2下，在較近的操作距離D1的操作區域A2會小於在更遠的操作距離D2的操作區域A1，因此物件16在操作區域A2產生的影像會比較大。特別地，此系統可根據操作距離動態切換影像感測器10接收影像的位置(D)或大小(A)。即使不切換影像感測器10的視角，亦可利用影像處理的技巧達到切換操作距離的效果，例如參照圖10所示，在影像感測器10中，光學感測陣列52及透鏡54的硬體配置為視角60°，如果只擷取光學感測陣列52取得的影像的中央一部分，則其效果相當於擷取較遠操作距離的影像，例如，光學感測陣列52取得的影像大小為100×100，如果只擷取該影像的中央大小為50×50的區塊，則相當於以視角30°擷取影像。利用此技巧，即使影像感測器10係使用定焦鏡頭，依然可切換操作距離。較佳者，當切換操作距離時，也控制發光單元12切換其發光亮度或投射角度。變化地，亦可切換影像感測器10的光敏感度，例如電路增益，或切換步驟24用來偵測亮區的門檻值，效果如同切換發光單元12的發光亮度或投射角度。

圖11及圖12係使用光學組件調整發光單元12的實施例，二者分別使用可移動的透鏡56及拋物面反射鏡58來調整光的投射角度。

亦可由系統自動切換操作距離，例如參照圖13的實施例，步驟60預設操作距離，例如系統允許的最短距離，在此操作距 離，步驟62偵測是否有物件移動，若偵測到有物件移動，則步驟64進行手勢偵測以產生指令Sc，若未偵測到有物件移動，則步驟66切換操作距離，例如增加操作距離，再回到步驟62偵測是否有物件移動。此實施例可用來搜尋操作物件，並將系統切換到最合適的操作距離。值得一提的是，上述所謂是否偵測到有物件移動，係指物件影像是否達到一定品質的要求，而符合物件偵測之標準，其中品質的要求例如是亮度是否達到一亮度門檻值、亮度變化程度是否達到一亮度變化門檻值，或亮區面積的變化之程度是否到達到一面積變化門檻值等等。

在另一實施例中，參照圖14，步驟68計算亮區的面積R，步驟70判斷亮區佔一幀影像的面積比例R/A是否在門檻值T1與Th之間，若是，則步驟64進行手勢偵測以產生指令Sc，否則步驟66切換操作距離，再回到步驟68。

如果因為動態調整導致要辨識的影像大小不同，例如圖10所示的狀況，可以在影像感測器10送出影像前先將影像正規化(normalization)，例如使用習知的尺度調整(scaling)或縮減取樣(downsampling)等技術，在影像辨識前把所有的影像都調整成大小一致。圖15係縮減取樣的示意圖，將每2×2的像素的亮度平均後當作一個像素的亮度，可將一幀100×100的影像frame1縮減成50×50的影像frame2。

本發明的手勢辨識方法不需要運算複雜的深度資訊，也不需要知道使用者的手部形狀或膚色等等的資訊，在應用上相對便利，軟硬體的成本也比較低，而且系統的反應快。此外，因為不需要辨識手部形狀或膚色，所以操作物件不限於手，只要能反射投射光的物件皆可適用。由於操作距離可動態切換，因 此對使用者的空間限制較鬆。

以上對於本發明之較佳實施例所作的敘述係為闡明之目的，而無意限定本發明精確地為所揭露的形式，基於以上的教導或從本發明的實施例學習而作修改或變化是可能的，實施例係為解說本發明的原理以及讓熟習該項技術者以各種實施例利用本發明在實際應用上而選擇及敘述，本發明的技術思想企圖由以下的申請專利範圍及其均等來決定。

10‧‧‧影像感測器

12‧‧‧發光單元

14‧‧‧處理器

16‧‧‧物件

18‧‧‧發光源

20‧‧‧發光源

22‧‧‧輸入影像

24‧‧‧偵測亮區

26‧‧‧物件追蹤

28‧‧‧計算重心位置

30‧‧‧計算重心位置的變化

32‧‧‧手勢比對

34‧‧‧產生指令

36‧‧‧計算平均亮度

38‧‧‧計算平均亮度的變化

40‧‧‧計算面積

42‧‧‧計算面積的變化

44‧‧‧優化

46‧‧‧影像

48‧‧‧影像

50‧‧‧影像

52‧‧‧光學感測陣列

54‧‧‧透鏡

56‧‧‧透鏡

58‧‧‧拋物面反射鏡

60‧‧‧預設操作距離

62‧‧‧偵測移動物件

64‧‧‧偵測手勢

66‧‧‧切換操作距離

68‧‧‧計算亮區的面積

70‧‧‧判斷亮區佔一幀影像的面積比例

圖1係本發明的手勢辨識系統的實施例；圖2係本發明的手勢辨識方法的實施例；圖3係利用重心位置的變化判斷手勢的示意圖；圖4係利用重心位置的變化判斷手勢的示意圖；圖5係利用重心位置的變化判斷手勢的示意圖；圖6係利用平均亮度的變化判斷手勢的示意圖；圖7係物件的前後移動造成亮區面積變化的示意圖；圖8係利用面積的變化判斷手勢的示意圖；圖9係切換操作距離的示意圖；圖10係利用影像處理的技巧切換操作距離的示意圖；圖11係使用可移動的透鏡調整光的投射角度的實施例；圖12係使用可移動的拋物面反射鏡調整光的投射角度的實施例；圖13係自動切換操作距離的實施例；圖14係自動切換操作距離的實施例；以及圖15係縮減取樣以縮減影像的示意圖。

10‧‧‧影像感測器

12‧‧‧發光單元

14‧‧‧處理器

16‧‧‧物件

18‧‧‧發光源

20‧‧‧發光源

Claims (22)

1. 一種基於物件追蹤的手勢辨識方法，包含下列步驟：A.)提供光線向操作區域投射；B.)從該操作區域擷取影像；C.)偵測該影像中的亮區；D.)利用該亮區提供的資訊進行物件追蹤；以及E.)將該物件追蹤的結果比對手勢定義，以判斷操作手勢。
2. 如請求項1之手勢辨識方法，其中該步驟B包含正規化該影像的大小。
3. 如請求項1之手勢辨識方法，其中該步驟C包含使用門檻值比較該影像的像素的亮度，以決定該亮區。
4. 如請求項1之手勢辨識方法，其中該步驟D包含下列步驟：計算該亮區的平均亮度；以及計算該平均亮度的變化。
5. 如請求項1之手勢辨識方法，其中該步驟D包含下列步驟：計算該亮區的面積；以及計算該面積的變化。
6. 如請求項1之手勢辨識方法，更包含切換向該操作區域投射光線的亮度。
7. 如請求項1之手勢辨識方法，更包含切換向該操作區域投射光線的角度。
8. 如請求項1之手勢辨識方法，更包含切換操作距離。
9. 如請求項1之手勢辨識方法，更包含從該影像擷取一部分，以達到等同於切換操作距離。
10. 如請求項1之手勢辨識方法，更包含下列步驟： 以第一操作距離偵測是否有物件移動；以及若未偵測到有物件移動，則切換到第二操作距離。
11. 如請求項1之手勢辨識方法，更包含下列步驟：在第一操作距離時計算該亮區的面積；判斷該亮區佔該影像的面積比例是否在二門檻值之間；以及若該亮區佔該影像的面積比例不在二門檻值之間，則切換到第二操作距離。
12. 一種基於物件追蹤的手勢辨識系統，包含：受控制的發光單元，提供光線向操作區域投射；影像感測器，從該操作區域擷取影像；以及處理器，連接該發光單元及該影像感測器，從該影像感測器接收該影像，偵測該影像中的亮區，利用該亮區提供的資訊進行物件追蹤，以及將該物件追蹤的結果比對手勢定義，以判斷操作手勢。
13. 如請求項12之手勢辨識系統，其中該影像感測器正規化該影像的大小。
14. 如請求項12之手勢辨識系統，其中該處理器使用門檻值比較該影像的像素的亮度，以決定該亮區。
15. 如請求項12之手勢辨識系統，其中該處理器計算該亮區的平均亮度，以及計算該平均亮度的變化。
16. 如請求項12之手勢辨識系統，其中該處理器計算該亮區的面積，以及計算該面積的變化。
17. 如請求項12之手勢辨識系統，其中該處理器控制該影像感測器切換視角。
18. 如請求項12之手勢辨識系統，其中該處理器控制該影像感測器 切換光敏感度。
19. 如請求項12之手勢辨識系統，其中該處理器控制該發光單元切換光線的亮度。
20. 如請求項12之手勢辨識系統，其中該處理器控制該發光單元切換出光角度。
21. 如請求項20之手勢辨識系統，其中該處理器控制該發光單元切換具有不同發光角度的發光源。
22. 如請求項20之手勢辨識系統，其中該處理器控制該發光單元中的透鏡或反射鏡移動，以切換該出光角度。