TWI758561B - 用於手勢辨識之控制器及手勢辨識之方法 - Google Patents

Abstract

本發明提出一種用於手勢辨識之控制器，其包含一握把本體、一操控組件及一感測組件。握把本體包含一頭端部及相對於頭端部設置之一握持部，握持部包含複數個手指接觸區域。操控組件設置於頭端部，感測組件包含複數個手指感測器，分別設置於握持部之該等手指接觸區域中。本發明另提出一種手勢辨識之方法，其包含：自一控制器接收一手指動作訊號，手指動作訊號係由控制器之複數手指感測器之至少一者感測到使用者之複數手指之至少一者接觸或接近控制器而產生；以及根據手指動作訊號來判斷手指所構成之一手勢，並產生對應手勢之一手勢訊號。

Description

用於手勢辨識之控制器及手勢辨識之方法

本發明係關於一種用於手勢辨識之控制器及其手勢辨識之方法。

在虛擬實境之體驗(例如遊戲或教育)中，使用者之肢體動作可由若干個動作感測器來偵測，然後同步地表現於虛擬實境之立體影像中，為使用者帶來沉浸體驗，彷彿自身處於虛擬實境中。而現有的虛擬實境之設備中，所使用的動作感測器大多是偵測使用者的主要動作，例如偵測頭部的移動及轉向、手部或手臂的移動及擺動等。

對於使用者的細部動作，例如手指的動作，若能進一步偵測並同步地表現於虛擬影像中，應可帶給使用者更佳的沉浸體驗。目前已有將動作感測器設置於一手套中的技術，然後使用者穿戴該手套後即可偵測手指的動作。然而，使用者穿戴手套時難免會覺得麻煩，悶熱，且手套尺寸為固定，難以配合不同大小的使用者的手掌。

本發明之一目的在於提供一種用於手勢辨識之控制器及一種手勢辨識之方法，其藉由感測使用者的手指接觸或接近控制器與否來判斷出使用者的手勢。本發明之又一目的在於，該控制器及方法可適應不同手部大小的使用者而判斷其所構成的手勢。本發明之另一目的在於，根據該控制器及方法所判斷出的使用者的手勢可應用於虛擬實境等互動應用中。

為達上述目的，本發明提出的控制器包含：一握把本體，其包含一頭端部及相對於頭端部設置之一握持部，握持部包含複數個手指接觸區域；一操控組件，其設置於頭端部；以及一感測組件，其包含複數個手指感測器，分別設置於握持部之複數個手指接觸區域中。

於一實施例中，握把本體更包含一扣附部，扣附部包含一上端與相對於上端設置之一下端，其中，上端連接至頭端部及/或下端連接至握持部。

於一實施例中，感測組件更包含一生理感測器，設置於扣附部上。

於一實施例中，握持部包含一容置區及一蓋板，複數手指感測器設置於容置區中，而蓋板遮蔽容置區及複數手指感測器。

在一實施例中，蓋板包含複數開孔，該等開孔之位置分別對應該等手指感應器。

於一實施例中，複數手指感測器之每一個包含一近接感測元件、一電容式觸控元件、一電阻式觸控元件、一電感式觸控元件、一壓力 感測元件或一光學式觸控元件。

於一實施例中，複數手指接觸區域包含一中指接觸區域、一無名指接觸區域及一小指接觸區，各至少對應複數手指感測器之其中一個。

於一實施例中，無名指接觸區域及小指接觸區各至少對應該等手指感測器之其中兩個。

於一實施例中，複數手指接觸區域更包含一食指接觸區域，至少對應該等手指感測器之其中一個。

於一實施例中，頭端部包含一拇指接觸區域，至少對應該等手指感測器之其中一個。

為達上述目的，本發明所提出的手勢辨識之方法包含步驟如下：自一控制器接收一手指動作訊號，其中控制器包含複數個手指感測器，而手指動作訊號係由複數手指感測器之至少一者感測到一使用者之複數個手指之至少一者接觸或接近控制器而產生；以及根據手指動作訊號來判斷複數手指所構成之一手勢，並產生對應該手勢之一手勢訊號。

於一實施例中，手指動作訊號係由該等手指感測器之至少一者感測到複數手指之至少一者從控制器離開而產生。

於一實施例中，根據手指動作訊號來定義該等手指接觸控制器之一範圍。

於一實施例中，中止位於範圍之外的手指感測器運作。

於一實施例中，手指動作訊號包含一第一訊號、一第二訊號及一第三訊號，各由複數手指感測器之其中一者或數者感測到該等手指之一中指、一無名指及一小指之其中一者接觸或接近控制器而產生。

於一實施例中，手指動作訊號包含一第四訊號，由該等手指感測器之其中一者或數者感測到複數手指之一食指接觸或接近控制器而產生。

於一實施例中，手指動作訊號包含一第五訊號，由該等手指感測器之其中一者或數者感測到該等手指之一拇指接觸或接近控制器而產生。

於一實施例中，自控制器接收一生理訊號，其中控制器包含一生理感測器，而生理訊號係由生理感測器感測使用者之一手背而產生。

為讓上述目的、技術特徵及優點能更明顯易懂，下文係以較佳之實施例配合所附圖式進行詳細說明。

10‧‧‧控制器

20‧‧‧控制器

100‧‧‧握把本體

101‧‧‧處理器

102‧‧‧通訊模組

110‧‧‧頭端部

120‧‧‧握持部

122‧‧‧手指接觸區域

122a‧‧‧中指接觸區域

122b、122b’‧‧‧無名指接觸區域

122c、122c’‧‧‧小指接觸區域

122d‧‧‧食指接觸區域

122e‧‧‧拇指接觸區域

124‧‧‧容置區

126‧‧‧蓋板

130‧‧‧扣附部

132‧‧‧上端

134‧‧‧下端

200‧‧‧操控組件

300‧‧‧感測組件

310、310’‧‧‧手指感測器

320‧‧‧生理感測器

500‧‧‧手勢

501‧‧‧手勢訊號

503‧‧‧手勢影像

600、600’‧‧‧範圍

D1‧‧‧第一方向

D2‧‧‧第二方向

第1A圖為依據本發明第1較佳實施例之控制器之立體圖；第1B圖為依據本發明第1較佳實施例之控制器之示意圖；第2圖為第1圖之控制器包含一扣附部之示意圖；第3圖為第1圖之控制器包含另一扣附部之示意圖；第4圖至第6圖分別為第2圖之控制器被手部尺寸不同之使用者握持之示意圖；第7圖及第8圖分別為本發明第2較佳實施例之控制器之側視圖及正視圖；第9圖為第7圖之控制器被使用者握持之示意圖；第10圖為依據本發明較佳實施例之手勢辨識之方法之步驟流程圖； 第11A圖至第11D圖為使用者之不同手勢及一虛擬實境之提供裝置因應該手勢而顯示出的影像之示意圖。

請參閱第1A圖，其為依據本發明之第1較佳實施例之控制器10之立體圖，控制器10可與虛擬實境之提供裝置(圖未示，可包含一頭戴式顯示器及主機之組合)搭配使用，其中使用者之手指動作能被控制器10偵測，然後由提供裝置根據偵測到的手勢來同步呈現對應的影像與執行相對應的指令；控制器10亦可與一遊戲主機(圖未示)配合使用。此外，控制器10亦可具備感測使用者之手部旋轉、移動等動作之技術，此技術之實現方式應屬本技術領域所知悉者，故不予累述。

控制器10可包含一握把本體100、一操控組件200及一感測組件300，各元件之技術內容依序說明如下。

握把本體100結構上包含一頭端部110及相對於頭端部110設置之一握持部120，而操控組件200至少設置於頭端部110，感測組件300至少設置於握持部120。更具體而言，沿著一第一方向D1量測，頭端部110較為短，握持部120相對地較長，而沿著一第二方向D2(其與第一方向垂直)量測，頭端部110較為寬，握持部120相對地較窄。此種尺寸配置可讓使用者握持握把本體100時，使用者之拇指及虎口便於扣住頭端部110，其他四指便於握住握持部120，其中，拇指可操控頭端部110上的操控組件200，而中指、無名指及小指可接觸握持部120，食指可選擇性地操控操控組件200或接觸握持部120。此外，握把本體100被使用者握持時，其不會包覆使用者之手指，故使用者能輕鬆、快速地握持或放開該握把本體100。

握持部120還包含複數個手指接觸區域122，其為握持部120之外表面可被使用者之手指彎曲接觸到之區域。由於不同使用者有不同尺寸的手部(包含手掌及手指)，故手指接觸到握持部120之外表面的位置亦會不同；手指接觸區域122可定義成對應多數個使用者之手指可能會接觸到之區域，不侷限對應於單一使用者之手部尺寸。本實施例中，該等手指接觸區域122可沿著第一方向D1排列，定義出一長條區域。此外，頭端部110也可包含手指接觸區域(圖未示)，以對應拇指及食指的接觸。

操控組件200設置於頭端部110，俾以使用者通過操控制組件200來輸入控制訊號至虛擬實境之提供裝置。操控組件200可包含按鈕、旋鈕、搖桿及/或觸控板等元件，以提供使用者多樣化的操控方式。操控組件200除了可設置於頭端部110，亦可設置於握持部120上，位於手指接觸區域122之外(如後述第7圖所示之第2實施例)。

感測組件300可包含複數個手指感測器310，分別設置於握持部120之該等手指接觸區域122中(亦可能設置於頭端部110之手指接觸區域)。每一個手指接觸區域122中，可設置有一個或多個手指感測器310，因此手指感測器310之數目不小於手指接觸區域122的數目。該等手指感測器310可感測手指接觸、接近或離開手指接觸區域122，藉以輸出不同內容之手指動作訊號；每一個手指感測器310包含一近接感測元件、一電容式觸控元件、一電阻式觸控元件、一電感式觸控元件、一壓力感測元件及一光學式觸控元件之其中一者或其組合；本實施例係以應用紅外線之近接感測元件為例。另外，手指感測器310亦可能感測手指的按壓力道，藉以輸出包含力量資訊的手指動作訊號。

握持部120可選擇地包含一容置區124及一蓋板126，容置區124可為一凹槽，該等手指感測器310可設置於容置區124中，而蓋板126設置於容置區124上，以遮蔽容置區124及該等手指感測器310。依據手指感測器310的種類，蓋板126之性質及結構亦有所不同；例如為近接感測元件時，蓋板126可為透光者(可為半透明)，以不阻擋紅外線；例如為電容式觸控元件時，蓋板126可作為電容式觸控元件之一部分(感測層)。透過蓋板126的設置，控制器10可具有較整潔、平順之外觀，但不以此為限。另外，蓋板126亦可依手指感測器310的技術特性，設置有複數開孔(圖未示)，手指感測器310可部分地容置於開孔中(即，部分地突出於開孔外)，換言之，該等開孔之位置配置係對應該等手指感測器310之位置配置，以使手指感測器310可通過開孔來感測手指之動作；藉此，在某些操作情況下，手指感測器310可被手指碰觸而直接偵測手指的動作並產生相對應的訊號。

請參閱第1B圖，握把本體100還可包含一處理器101及一通訊模組102，兩者可設置於頭端部110及/或握持部120之殼體內。處理器101可與操控組件200及感測組件300電性連接，其用以控制操控組件200及感測組件300之運作及處理所產生之訊號；處理器101可為中央處理器(CPU)、微處理器(microprocessor)或其他本領域所知悉的處理器。通訊模組102亦電性連接至處理器101，用以將操控組件200及感測組件300所產生之訊號以有線或無線方式傳遞至外部的虛擬實境之提供裝置；若為無線者，通訊模組102可為紅外線通訊模組、無線射頻通訊模組、GPRS/CDMA通訊模組、Wi-Fi通訊模組或其他本領域所知悉通訊模組。

請參閱第2圖所示，結構上握把本體100可選擇地更包含一扣 附部130，其包含一上端132與相對於上端132設置之一下端134，上端132可連接、固定至頭端部110，而下端134未有連接至握持部120；亦可採上端132未有連接至頭端部110，而下端134連接固定至握持部120的方式。當使用者的手部穿置於控制器10時，使用者之手掌位於扣附部130及握持部120之間，而使用者手部的虎口處被兩者夾置；如此，使用者之拇指及食指既使沒有握住握持部120或頭端部110，而剩下的三指亦沒有握住握持部120，於此狀況下，握把本體100整體也不易從手掌掉落。藉此，使用者之所有手指皆可相對於握把本體100移動，以做出多種手勢。

請參閱第3圖所示，於另一實施態樣中，扣附部130之上端132及下端134皆分別連接至頭端部110及握持部120，如此可將握持本體100附掛於使用者之手部的虎口處，更使握持本體100不易脫落。扣附部130可應使用需求採取一硬質或軟質材料製作，例如扣附部130設置成可調整鬆緊之環帶，以因應不同手部尺寸的使用者。

另外，感測組件300更可包含一生理感測器320，且設置於扣附部130，以於使用者握持該握把本體100時，使用者之手背監測使用者之脈搏、體溫等生理數據，然後傳遞給虛擬實境之提供裝置。藉此，使用者之生理反應亦可即時反映於虛擬實境中，以提升操作樂趣。

請參閱第4圖至第6圖，以下將進一步說明手指接觸區域122及手指感測器310之技術內容。如第4圖所示，若一手部尺寸較小的使用者握持該握把本體100時，使用者的中指、無名指及小指接觸到握持部120所定義出的手指接觸區域122，其包含一中指接觸區域122a、一無名指接觸區域122b及一小指接觸區域122c；由於手指及/或手掌較窄，中指接觸區域 122a、無名指接觸區域122b及小指接觸區域122c相應地較小，各對應到一個手指感測器310。

如第5圖所示，若一手部尺寸較大的使用者握持該握把本體100時，使用者的中指、無名指及小指接觸到握持部120所定義出的手指接觸區域122，其包含一中指接觸區域122a、一無名指接觸區域122b’及一小指接觸區域122c’；由於手指及/或手掌較寬，中指接觸區域122a、無名指接觸區域122b’及小指接觸區域122c’相應地較大，可對應一個或兩個以上的手指感測器310。

由此可知，控制器10可依據使用者之手部尺寸不同，動態地定義手指接觸區域122之位置及/或所對應之手指感測器310。另一方面，相鄰的兩手指接觸區域122之中的手指感測器310的感測範圍可不重疊，但同一根手指卻可被相鄰的手指感測器310所分別定義；為此，手指感測器310的感測範圍較佳地應較小。手指感測器310以紅外線之近接感測元件為例，其感測範圍較佳地不超過光軸之正負10度內。

如第6圖所示，若使用者之食指及/或拇指的動作亦需感測，手指接觸區域122亦可相應地定義有包含一食指接觸區域122d及/或一拇指接觸區域122e；食指接觸區域122d係為握持部120所包含者，而拇指接觸區域122e係為頭端區110所包含者，然而，頭端區110亦可能包含另一食指接觸區域(圖未示)。依據手指的尺寸，食指接觸區域122d及拇指接觸區域122e各可對應至少一個或兩個手指感測器310。

當中指接觸區域122a、無名指接觸區域122b(122b’)及小指接觸區域122c(122c’)、食指接觸區域122d及拇指接觸區域122e因應不同 手部尺寸而定義出後，位於其中的手指感測器310可感測所對應的手指的動作(即手指接觸、接近或離開握把本體100)。

請參閱第7圖及第8圖，其係為依據本發明第2較佳實施例之控制器20的左側視圖及正視圖，控制器20與控制器10大致上相似，因此兩者的技術內容可相互參考。控制器20與控制器10除了握把本體100之外型不同外，其操控組件200可設置於握持部120，且其手指感測器310’之配置與數量亦有不同。

更具體而言，感測組件300所包含的手指感測器310’之數目較多，且該等手指感測器310’排列較為密集。請參閱第9圖，藉此，使用者握持該控制器20時，其手指無論接觸或接近握持部120之何處，都有手指感測器310’能感測該手指，不會因為手指剛好放置於兩個手指感測器310’之間而無法被感測。

以上為依據本發明較佳實施例之用於手勢辨識之控制器之技術內容說明，接著將說明依據本發明另一較佳實施例的手勢辨識之方法。該手勢辨識之方法可藉由上述較佳實施例的控制器(或技術內容實質相同的其他控制器)來實現，故該方法的技術內容與控制器的技術內容可相互參考，重複的部分將省略或簡化。

手勢辨識之方法可由一處理器來執行，例如由控制器10本身之處理器101(如第1B圖所示)來執行，或是虛擬實境之提供裝置等外部裝置之中的處理器(圖未示)來執行，或者由兩處理器配合執行。以下將以控制器10為例來更具體地說明手勢辨識之方法的步驟。

請參閱第10圖及第1A圖所示，首先執行步驟S101，即處理 器自控制器10接受一手指動作訊號，手指動作訊號係由手指感測器310之至少一者感測到一使用者之複數個手指之至少一者接觸或接近控制器10而產生。申言之，使用者之任何一個手指接觸到控制器10之握把本體100時，相對應之手指接觸區域112中的手指感測器310會產生一訊號；使用者之手指接近但未有接觸握把本體100時，手指感測器310亦可產生一訊號，該訊號之內容因應手指與握把本體100之距離而不同。因此，該手指動作訊號可包含各手指是否碰觸到握把本體100、手指相對於握把本體100之遠近等資料或資訊。

此外，手指動作訊號亦可因應手指感測器310之至少一者感測到使用者之手指離開控制器10之握把本體100而產生。申言之，使用者之手指從握把本體100離開時，手指感測器310亦可產生對應內容的訊號，藉此後續步驟能判斷手指接觸握把本體100之時間。

手指動作訊號可定義成包含一第一訊號、一第二訊號及一第三訊號，分別由手指感測器310之其中一者或數者感測到使用者之中指、無名指及小指之其中一者接觸、接近或離開控制器10而產生；舉例而言，中指接觸區域122a(如第4圖所示)之中的手指感測器310感測到中指接觸、接近或離開中指接觸區域122a時，可產生第一訊號。若食指及/或拇指的動作亦有感測時(如第7圖所示)，手指動作訊號可定義成更包含一第四訊號及/或一第五訊號，第四訊號由手指感測器310之其中一者或數者感測到使用者之食指接觸接近或離開控制器10而產生；第五訊號由手指感測器310之其中一者或數者感測到拇指接觸接近或離開控制器10而產生。

此外，使用者可將中指至小指皆接觸握把本體100，中指至 小指會接觸握把本體100之不同處，而該處之一個或數個手指感測器310會產生訊號，俾以定義出對應該使用者的手部尺寸的中指接觸區域122a、無名指接觸區域122b(122b’)及小指接觸區域122c(122c’)，如第4圖或第5圖所示。使用者亦可將食指及/或拇指接觸握把本體100，以定義出食指接觸區122d及拇指接觸區122e，如第6圖所示。

請參閱第10圖及第11A~11D圖，接著執行步驟S103，即根據所接收之手指動作訊號來判斷該等手指所構成之一手勢500，並產生對應手勢500之一手勢訊號501。申言之，手指動作訊號包含各手指是否碰觸握把本體100、各手指相對於握把本體100之遠近等資料或資訊，處理器可綜合這些資料或資訊判斷出該等手指所構成之各種手勢500，然後產生對應該手勢500之手勢訊號501。

虛擬實境之提供裝置可接收、應用該手勢訊號501，使虛擬實境或電子遊戲中之虛擬角色進行抓取、丟撿、握放、擊球、彈琴、射箭、拳擊、猜拳等手勢動作，亦可同步顯示相對應之手勢影像503。

於其他實施態樣中，手勢辨識之方法更可包含以下步驟：處理器接收手指動作訊號後，可根據手指動作訊號來定義該等手指接觸控制器之一範圍。例如第4圖所示者，使用者之手部較小時，控制器10之握持部120之中的五個手指感測器310的其中三個有感測到手指接觸，故可定義範圍600涵蓋三個手指感測器310；例如第5圖所示者，使用者之手部較大時，握持部120的五個手指感測器310都有感測到手指接觸，故可定義範圍600’涵蓋五個手指感測器310。範圍600(600’)亦可視為包含中指接觸區域122a、無名指接觸區域122b(122b’)及小指接觸區域122c(122c’)。

定義出範圍600後，手勢辨識的方法可更包含：中止位於範圍600(600’)之外的手指感測器310之運作。也就是，由於手部較小，範圍600之外的手指感測器310應難以被手指接觸到(或僅僅是被手指不小心碰觸到)，故中止範圍600(600’)外之手指感測器310之運作，可節省電能，亦可減少手勢判斷之誤差。

除此之外，手勢辨識的方法更可包含：自控制器10接收一生理訊號，該生理訊號係由生理感測器320(如第2圖或第3圖所示)感測使用者之手背而產生。

上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

10‧‧‧控制器

100‧‧‧握把本體

110‧‧‧頭端部

120‧‧‧握持部

122‧‧‧手指接觸區域

124‧‧‧容置區

126‧‧‧蓋板

200‧‧‧操控組件

300‧‧‧感測組件

310‧‧‧手指感測器

D1‧‧‧第一方向

D2‧‧‧第二方向

Claims (18)

1. 一種用於手勢辨識之控制器，包含：一握把本體，包含一頭端部及相對於該頭端部設置之一握持部，該握持部包含複數個手指接觸區域；一操控組件，設置於該頭端部；以及一感測組件，包含複數個手指感測器，該等手指感測器分別設置於該握持部之該等手指接觸區域中。
2. 如請求項1所述之控制器，其中，該握把本體更包含一扣附部，該扣附部包含一上端與相對於該上端設置之一下端，其中，該上端連接至該頭端部及/或該下端連接至該握持部。
3. 如請求項2所述之控制器，其中，該感測組件更包含一生理感測器，設置於該扣附部上。
4. 如請求項1所述之控制器，其中，該握持部包含一容置區及一蓋板，該等手指感測器設置於該容置區中，而該蓋板遮蔽該容置區及該等手指感測器。
5. 如請求項1所述之控制器，其中，該握持部包含一容置區及一蓋板，該等手指感測器設置於該容置區中，該蓋板包含複數開孔，該等開孔之位置分別對應該等手指感應器之位置。
6. 如請求項1至5任一項所述之控制器，其中，該等手指感測器之每一個包含一近接感測元件、一壓力感測元件、一電容式觸控元件、一電阻式觸控元件、一電感式觸控元件或一光學式觸控元件。
7. 如請求項1至5任一項所述之控制器，其中，該等手指接觸區域包含一中 指接觸區域、一無名指接觸區域及一小指接觸區域，各至少對應該等手指感測器之至少其中一個。
8. 如請求項7所述之控制器，其中，該無名指接觸區域及該小指接觸區各對應該等手指感測器之至少其中兩個。
9. 如請求項1至5任一項所述之控制器，其中，該等手指接觸區域更包含一食指接觸區域，對應該等手指感測器之至少其中一個。
10. 如請求項7所述之控制器，其中，該頭端部包含一拇指接觸區域，該等手指感測器之其中一個設置於該拇指接觸區域中。
11. 一種手勢辨識之方法，包含：自一控制器接收一手指動作訊號，其中該控制器包含複數個手指感測器，而該手指動作訊號係由該等手指感測器之至少一者感測到一使用者之複數個手指之至少一者接觸或接近該控制器而產生；以及根據該手指動作訊號來判斷該等手指所構成之一手勢，並產生對應該手勢之一手勢訊號。
12. 如請求項11所述之方法，其中，該手指動作訊號亦由該等手指感測器之其中一者感測到該等手指之至少一者從該控制器離開而產生。
13. 如請求項11所述之方法，更包含：根據該手指動作訊號來定義該等手指接觸該控制器之一範圍。
14. 如請求項13所述之方法，更包含：中止位於該範圍之外的該手指感測器運作。
15. 如請求項11所述之方法，其中，該手指動作訊號包含一第一訊號、一第二訊號及一第三訊號，分別由該等手指感測器之其中一者或數者感測到 該等手指之一中指、一無名指及一小指之其中一者接觸或接近該控制器而產生。
16. 如請求項15所述之方法，其中，該手指動作訊號更包含一第四訊號，由該等手指感測器之其中一者或數者感測到該等手指之一食指接觸或接近該控制器而產生。
17. 如請求項16所述之方法，其中，該手指動作訊號更包含一第五訊號，由該等手指感測器之其中一者或數者感測到該等手指之一拇指接觸或接近該控制器而產生。
18. 如請求項11所述之方法，更包含：自該控制器接收一生理訊號，其中該控制器包含一生理感測器，而該生理訊號係由該生理感測器感測該使用者之一手背而產生。

Images