[go: up one dir, main page]

TWI855078B - 可穿戴式人機介面及可利用此介面執行的方法 - Google Patents

可穿戴式人機介面及可利用此介面執行的方法 Download PDF

Info

Publication number
TWI855078B
TWI855078B TW109116890A TW109116890A TWI855078B TW I855078 B TWI855078 B TW I855078B TW 109116890 A TW109116890 A TW 109116890A TW 109116890 A TW109116890 A TW 109116890A TW I855078 B TWI855078 B TW I855078B
Authority
TW
Taiwan
Prior art keywords
movement
magnetic
human
machine interface
deformation
Prior art date
Application number
TW109116890A
Other languages
English (en)
Other versions
TW202113554A (zh
Inventor
安德莉亞 蓋爾
普拉撒米須普瑞莎德 沙斯
羅雷可斯摩楊 塔克
Original Assignee
德商人類解決介面（有限責任）公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德商人類解決介面（有限責任）公司 filed Critical 德商人類解決介面（有限責任）公司
Publication of TW202113554A publication Critical patent/TW202113554A/zh
Application granted granted Critical
Publication of TWI855078B publication Critical patent/TWI855078B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/08—Touch switches specially adapted for time-pieces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Magnetic Variables (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Electrotherapy Devices (AREA)

Abstract

本發明係關於一種可穿戴式人機介面(10)，其包括：一待穿戴的元件(13)，其構造成附接於一人類或動物肢體之一皮膚區域，具磁性之一撓性層(26)，其係在面對該人類或動物肢體之該皮膚區域之一側上附接於該待穿戴的元件(13)，以接觸該皮膚區域之表面，其中具磁性之該層(26)之撓性使得該層(26)至少能實質上依循該皮膚區域之該表面之變形，及其中該層(26)之該等磁性係以該皮膚區域之該表面之一變形導致該等磁性之可量測變化的方式來構造，一偵測單元，其測量該撓性層(26)之該等磁性之可量測變化，及一整合的或分離的處理單元，其適用於執行一演算法，將該等磁性之該可量測變化分配給一構造及/或移動及/或移動強度。
本發明亦係關於一種可利用該人機介面執行之方法。

Description

可穿戴式人機介面及可利用此介面執行的方法
本發明係關於新穎人機介面及可以此人機介面實行之方法。
由於在目前人類與動物所處環境中的互連性及數位化增加，故在人類(或動物)和各種電子裝置間之通信需求日增。此處可言及之關鍵字係術語物聯網(IoT)，泛知其係指與複數個裝置之連結或將來可允許使用者透過網際網路操作或控制這些裝置。略舉此類裝置實例包含所有種類車輛、家電、建物用加熱系統、健身訓練機、遊戲裝置、無人機、機器人及諸多其他裝置。為了操作或控制這些及其他裝置，需要智慧型人機介面而盡可能便於人類(或動物)以直覺使用此類裝置。
本發明之主要目的在於提供此一特別是可穿戴式的人機介面。
為了達成前述目的，提出一較佳可穿戴式人機介面，其具有一待穿戴的元件，其構造成附接於人類或動物肢體皮膚區域。任何適於緊固人機介面(較佳可分離)至人類或動物肢體之所欲皮膚區域之元件均可作為待穿戴元件。依本發明之 人機介面進一步具有具磁性之一撓性層，其係於面對該人類或動物肢體之該皮膚區域之一側上附接於該待穿戴的元件，以接觸該皮膚區域表面。具磁性之該層之撓性使得該層至少能實質上依循該皮膚區域表面之變形。在本發明之內文中，「磁性」係指該層之該等磁性係以具磁性的撓性層所依循之該皮膚區域表面的變形導致該等磁性之可量測變化之方式構造。依本發明之人機介面進一步包括一偵測單元，其測量該撓性層之該等磁性之可量測變化。換言之，該偵測單元構造成測量該撓性層之該等磁性之因皮膚區域表面變形而相對於初始狀態之至少該等變化。最終，依本發明之人機介面進一步包括一處理單元，其適用於執行一演算法，將該等磁性之該可量測變化分配給一構造及/或移動及/或移動強度。
皮膚區域表面變形之因可為隨意或非隨意。例如一人可隨意移動四肢至不同位置，造成特定皮膚區域之對應變形。另言之，會發生特定皮膚區域之非隨意變形，例如人因病而發生例如非隨意肌肉收縮或器官移動，其等之偵測與分配使得醫生得以進行更佳診斷。
在本發明之內文中，術語「構造」係指為描述所論肢體自由度所需之整體關節角度。換言之，「構造」係人類或動物肢體之特定位置(此處可述及之實例包含：腿伸展、腿彎曲、手開闔、手臂伸直、手臂彎曲、手相對於手肘扭曲與否等)。構造當然亦可指陳兩端部構造間的狀態，例如手臂部分伸展，手部分握實等。
在本發明之內文中，術語「移動」係指構造之暫時變化(尤其是就大小與速度而言)。
在本發明之內文中，「移動強度」之表達尤其係指移動之施力。
概言之，在人類或動物體內之隨意或非隨意肌、肌腱、韌帶、骨骼及/或器官移動造成皮膚區域表面變形。本發明之目的在於偵測此變形且可靠地將之分配給特定狀態(構造)及/或移動及若需要，亦指移動強度。
屬於人機介面之前述處理單元可係整合的或分離的。「整合的」在此係指處理單元直接位於可穿戴式人機介面上。但處理單元亦可在可穿戴式人機介面遠端並透過例如有線或無線連接與人機介面通信。
具磁性之撓性層可具不同形式。但重要的是足以符貼所關注之皮膚區域表面，使得發生皮膚表面變形及撓性層之相關變形時，導致磁性之可量測變化。詳言之，較佳量測磁場強度變化及/或磁通密度變化。換言之，量測在各案例中產生之磁場，藉此使得既有磁場本身無須改變，而僅須建構皮膚變形後偵測單元所見之磁場變化。此連結之優點見於撓性層包含具有許多南北極對之極構造時。按此方式，具磁性之撓性層之位移或扭曲造成可藉由自外部量測磁場而量測磁化。此處之重要因素係具所論磁化強度之極構造，使得磁通密度及/或磁場強度變化係磁力計可量測。
依據依本發明之人機介面之一較佳實施例，撓性層包含較佳以陣列形式配置之複數個磁鐵，其中如前述，已知該撓性層之該等磁性之該可量測變化係磁場強度之可量測變化及/或磁通密度之可量測變化。此處之術語「磁鐵」係指單一永久磁鐵，但亦指有電流流過之導體或一可磁化粒子或一群可磁化粒子(可配置為例如磁帶或磁條)。重要處在於僅有各「磁鐵」導致有效向外且可被偵測單元偵測的磁化。具磁性之撓性層及具優點之極構造可藉由例如設置具簡單南北極構造之市售永久磁鐵於帶狀彈性矽樹脂層中而達成。當然亦可察覺許多其他類似之適合配置。
具磁性之撓性層確實無法與待穿戴元件分離。在依本發明之人機介面之具優點實施例中，實際上適於組合待穿戴元件與具磁性撓性層於一組件中。組合兩元件之此組件可呈例如腕錶中所採用之帶狀型式。
依本發明之人機介面之偵測單元包含多個磁力計，用於量測撓性層磁性變化。多個磁力計的優點在於類似以陣列型式配置，其中此陣列無須對應於其中配置複數個磁鐵之陣列。磁力計數量亦無需對應於撓性層所含磁體數。
除了量測撓性層磁性變化外，優點在於可獲得在所關注皮膚區域表面變形期間增加之進一步資訊。因此，在依本發明之人機介面之較佳實施例中進一步呈現一個以上加速度感測器及/或轉速感測器，其等之輸出訊號亦可饋送至處理單元。
根據所偵測之因所關注皮膚區域表面變形導致之撓性層磁性變化，處理單元實行分配演算法，將磁性之一個所量測變化(或多個所量測變化)分配給構造及/或移動及/或移動強度。根據所分配之構造及/或移動及/或移動強度，處理單元或下游控制單元可接著例如產生控制指令並饋送至裝置，俾後續實行對應於控制指令之動作。因此，由裝置實行之動作對應於由處理單元分配之至少一個構造及/或移動及/或移動強度，或分配演算法。所分配之構造及/或移動及/或移動強度可為例如一個姿勢。
分配由偵測單元偵測之撓性層磁性變化(例如藉由磁力計量測)至人類之體構造，例如優點在於可由人工智慧輔助達成。依本發明之人機介面之處理單元因而較佳適用於在貝斯分類器、人工神經網路、支持向量機、有限狀態機、隱馬可夫模型、相關向量機、動態時間規整法、條件隨機場法、決定樹、隨機森林法、K最近鄰演算法、辦別分析、線性回歸、邏輯回歸、高斯處理、感知器及/或集成法(貝斯最佳分類器、裝袋、增強)之輔助下，選擇另納入轉速及/或加速度感測器供應之資料，將撓性層磁性之所量測變化分配給構造及/或移動及/或移動強度。概言之，可謂之先記錄由特定磁性及相關之任意構造及/或移動組成的資料集，並接著在所謂的訓練中判定參數間關係。因而造成學習或訓練模式間差異，其中須獲得充分之量測資料並依序於預測模式中分配，以允許正確分配單一磁力計量測或多個磁力計量測至構造及/或移動及/或移動強度。
依本發明之人機介面之具優點實施例進一步設置用於根據與人機介面交換的資料而與至少一個外部裝置交換資料之通信單元，該外部裝置可實行對應於至少一個分配構造及/或移動及/或移動強度之動作。例如，依本發明之人機介面可整合於智慧型手錶中，使得可在依本發明之人機介面輔助下實行智慧型手錶功能。可覺察到例如特定手指及/或手移動被分配至一智慧型手錶之特定功能及/或控制指令，使得可藉由實行該等移動而簡單的直覺性操作智慧型手錶。
本發明亦係關於一種用於偵測一人類或動物肢體之皮膚區域表面變形且將該經偵測的變形分配給一構造及/或移動及/或移動強度之方法，該方法包括以下步驟： 配置一磁鐵陣列於一皮膚區域或接近該皮膚區域，使得該陣列依循該皮膚之一變形； 藉由量測已因該皮膚之一變形而發生該磁鐵陣列之該等磁性之該可量測變化而判定該磁鐵陣列之至少一個磁性特徵；及 執行用以將該經判定之至少一個磁性特徵分配給一構造及/或移動及/或移動強度之一演算法。
如前述，皮膚區域表面之變形可根據非隨意或隨意肌、肌腱、韌帶、骨骼及/或器官移動。
如前併同依本發明之人機介面所述，分配演算法較佳係經訓練之人工智慧，其已根據由至少一個磁性特徵及相關構造及/或移動及/或移動強度組成的資料集(data set)，判定或學習到磁性特徵與相關構造及/或移動及/或移動強度間的關係。較佳可採用已如前述併同人機介面之演算法為分配演算法。
「磁鐵陣列之磁性特徵」之表達係指待量測或已量測之磁鐵陣列之整體磁性變化，此變化係因所關注之皮膚區域表面發生變形所致。在發生皮膚變形前描述初始狀態之另一磁性特徵可供參考。尤其是在開始偵測磁性特徵變化前，可根據預定參考構造實行訊號調整或初始化。例如，對於此參考構造，可將所有量測訊號歸零並自此參考構造開始量測磁性特徵變化。依據一實例性實施例，各磁性特徵係由磁鐵陣列之量測磁場強度及/或量測磁通密度組成。
因此，在本發明中，因皮膚之一變形或多個變形所致之磁性層或磁鐵陣列之磁性之量測變化構成所要的訊號。因例如擾動變數如地磁或磁性物導致之其他變化須視需要自量測訊號中濾除。例如若具有在人機介面中之磁分量，則可藉由所謂的硬軟鐵校準做永久補償，亦即針對一給定人機介面僅須實行此校準一次。在使用人機介面處之地磁亦可藉由此一硬軟鐵校準做永久補償。為了補償其他外部干擾源，可配置人機介面之一個以上磁力計使得該等磁力計僅測量干擾源的磁場。按此方式，可接著在使用磁力計判定磁層或磁鐵陣列因皮膚變形導致磁性變化的情況下補償干擾源。
如前併同依本發明之人機介面所述，優點在於待量測之磁場強度及/或待量測之磁通密度係以多個磁力計偵測，其等較佳以陣列形式配置(但無需與其中配置磁鐵之陣列對應)。藉此較佳於x及/或y及/或z方向上偵測待量測之磁場強度及/或待量測之磁通密度。在依本發明之方法及依本發明之人機介面之較佳實例性實施例中，所述參數之偵測係在x、y及z方向上。
除了判定磁性特徵外，依本發明之方法之實施例可包括判定加速度及/或轉速的步驟。
如前述，依本發明之方法可選擇性包括分配控制指令至經分配之構造及/或移動及/或移動強度之步驟，且包括發送控制指令至一裝置之步驟。此裝置可形成具有依本發明之人機介面之單元或可在人機介面遠端。可以有線或無線方式發送控制指令至裝置，並可涉及例如網際網路之使用。
圖1及2概略顯示蓋以10標註之人機介面，用以實行以下詳述之依本發明之方法。在所示實例性實施例中，人機介面10類似於智慧型手錶且頂部具有成框架形式之封圍一凹部12之蓋11，該凹部12在此係矩形且空的，一般用以接收智慧型手錶模組(未顯示)或微控制器及/或微處理器(未顯示)。藉由待穿戴之帶狀元件13，人機介面10可被緊固至使用者手腕。待穿戴之元件13可以腕錶帶方式調整，俾能適用於不同腕徑。
在下部區域中，待穿戴之元件13具有三個區段14、16及18，其等以鉸接方式連接在一起且用以各別接收3×3之磁力計20陣列。在實例性實施例中，各磁力計20包含三個非共線霍爾(Hall)效應感測器且可依此量測在x、y及z方向上的磁通密度。各3×3磁力計陣列在此構造成印刷電路板21，其中各具配置有磁力計20之3×3感測器晶片20a。各感測器晶片20a除磁力計20之外尚包含加速度感測器及轉速感測器，且依此允許9軸量測。但在此情況下，僅使用各感測器晶片20a之磁力計功能。市售有所述類型之感測器晶片及構造。取代此處採用之市售感測器晶片，亦可採用純磁力計，藉此磁力計陣列可小些或可在相同尺寸下獲得更多磁力計量測。
磁力計20配置於待穿戴元件13內側且依此面向人機介面10緊固於其上之手腕皮膚表面。
藉由兩個鉸接元件22、24，矽樹脂橡膠製之帶狀撓性層26附接至上方的待穿戴之元件13，在圖中，三個區段14、16及18承載磁力計20，其中撓性層嵌有4×12磁鐵28之陣列。此處所述示例性實施例中採用之矽樹脂橡膠是透光的。其中嵌有磁鐵28之撓性層26以符貼皮膚之方式抵於使用者手腕下側。磁力計20及磁鐵28並非由實體媒介耦合，而這在例如力或壓力感測器之情況下是必要的。矽樹脂橡膠撓性層26具高度彈性，以將磁滯現象降至最低，但同時具足夠撓性以依循皮膚之甚微變形。
此處採用之磁鐵28係呈碟狀之NdFeB之釹永久磁鐵，直徑1.5mm且高0.5mm。磁化係N50，磁化方向呈軸向，亦即與高度方向平行。各磁鐵28之北極配置於皮膚側，各磁鐵28之南極因此面向磁力計20。各磁鐵28間距為5mm。
三個區段14、16及18係以鉸接方式配置，在此各具有約22mm(寬度)×29mm(長度)之大小，配置於其上之磁力計20併同在此未顯示之多工器(多工器係選用且僅用以允許經由少量資料線與大量感測器通信)及前已描述但未顯示之微控制器形成人機介面10之偵測單元。作為微控制器，可使用例如已存在於智慧型手錶或其他電子裝置中之微控制器，或微處理器。
經偵測之磁力計量測由微控制器饋送至處理單元，此處未顯示，藉由其中施行之CNN，可實行分配經量測磁性特徵至構造及/或移動及/或移動強度。此處理單元可整合於智慧型手錶中，例如接著係人機介面10之一體部分；但其亦可在人機介面遠端並以無線方式與例如圖中所示配置通信。
現將描述之依本發明之方法之實例性實施例允許分配磁力計量測至例如由前述人機介面10認知之姿態意境內之複數個可自由定義之手/手指構造。
人機介面10之緊固像是腕錶至使用者左腕，且接著以此人機介面10量測關聯於特定手/手指構造之磁性特徵。使用者之平坦外伸展手做為參考構造。
採用之人機介面10內含矽樹脂層做為具磁性之撓性層26，其中嵌有4×12磁鐵陣列。磁鐵28間相對距離係5mm。
為了量測此磁鐵陣列之磁性特徵，採用具有9×3磁力計20且分為具有3×3磁力計之三個子陣列之磁力計陣列。
為了將由人機介面10供應之磁力計量測分配給左手之各手指之構造，在此採用所謂的卷積神經網路(CNN)，其係人工神經網路之一實例性實施例。各磁力計20偵測作用於其上之在x、y及z方向上的磁場。因此，每一量測步驟須處理81個量測值，換言之，各磁性特徵係由81個各別值組成。根據大量之此量測，在預測模式中之CNN可自磁力計量測預測特定類別。此類別對應於各別姿勢，藉此各姿勢應具不同磁性特徵。在此處所述情況中，分配問題因而被表述為多類別分類問題。
採用CNN並非依本發明之方法之條件。亦可另採用例如支援向量機、隨機森林法或前述之其他方法或演算法。但採用CNN具其優點，因為其使用造成極佳結果且CNN亦極易於按比例縮放至大量資料。此外，採用CNN允許待學習之參數之特定壓縮代表，優點在於分類精確性及資源效率，尤其是在行動應用及IoT(物聯網)應用之所欲使用情況中。此外，CNN在轉換、轉動、縮放及強度變數上趨於強健，使得一方面可產生用於最佳化自由參數之大資料池以增加CNN有效性，及另一方面更易於將皮膚變形與相關構造間的所學習關聯性之成果轉移給複數個使用者及轉移成其個別特性。
CNN一般係屬於人工智慧的演算法之一，詳言之係由人工神經網路監測學習。磁力計量測做為CNN之輸入，而相關之任意姿勢記錄或定義為CNN之輸出。記錄或準備由磁力計量測(CNN之輸入)及相關之任意姿勢(CNN之輸出)組成的資料集，且接著藉由最佳化CNN的自由參數而判定該等參數之關聯性謂之訓練。
在所述實例性實施例中，由手的量化構造，亦即編碼為所謂的一熱向量之定義類別，及在x、y及z方向上偵測的同時維持手之量化構造之整體磁力計量測組成個別訓練實例。
由於所採用之人機介面10中之磁力計20配置為3×9陣列，故在一量測之情況下獲得在x、y及z方向上之磁性特徵之量測用之27個支援點。自個別磁力計量測獲得且歸因於皮膚變形之撓性層26之磁性特徵因而彙集為皮膚變形之拓樸量測，其中27個支援點做為在CNN中處理之矩陣。如前述，訓練實例係由指示相關類別(亦即相關構造)之各別標籤完成。因此，在所述實例性實施例中，訓練資料集係由維度之矩陣X組成 (m, nC, nH, nW) ，其中m係訓練實例數，nH係在y方向(磁力計陣列高度)上之磁力計數量，nW係在x方向(磁力計陣列寬度)上之磁力計數量，nC係通道數(x、y、z方向)， 及維度之矩陣Y (m, nG)，其中m係訓練實例數及nG係姿勢數。
磁性特徵之81個量測值的每一者係由計算手段及矩陣X判定之標準差(所謂的Z範疇標準化或Z轉換)在各情況中標準化。這些計算手段及在訓練模式中自量測值判定之標準差亦可供後續使用，亦即當完成訓練時，在用於標準化磁性特徵之新量測之訊號調節用之預測模式中使用。
在實驗性試驗之情境中，m=18,000個訓練實例(形成訓練資料集)、3,375個測試實例(形成測試資料集)、1,125個驗證實例(形成驗證資料集)及nG=6個姿勢，首先被研究來訓練CNN。僅以訓練資料集訓練CNN。測試資料集之估計係用以估計及微調CNN，以就預測精確性及CNN之可普及性而言達成最佳性能。驗證資料集係在最終估計之末時使用，以藉此確保CNN可實際可靠地分類，亦即分配此後對其係未知的資料集。
CNN的訓練係由所謂的前向傳播及後向傳播組成。前向傳播描述計算之前向分支，亦即根據磁力計量測及CNN之瞬時參數之類別預測。藉由成本函數，接著在後向傳播中(憶及在後向分支中)改變CNN的自由參數，使得成本函數值變小且尤其是最小化。在此處所述實例性實施例中，成本函數被表述為所謂的分類交叉熵損失。後向傳播因此係用於判定CNN的自由參數之最佳化方法。所採用之CNN在50個時期中訓練，每批大小為16，亦即整個訓練資料集被送至CNN最佳化50次，藉此因數值穩定性之故，總是同時將16個訓練資料集饋送至CNN中。Adadelta最佳化方法採用下列參數：初始適用性訓練率IR=1.0、Adadelta延遲因子rho=0.95、模糊因子epsilon=1e-07、初始學習率延遲因子decay=0.0。
所採CNN架構示如下表1。 表1
層 起始維度 濾波核 大步 前進 啟動函數
  輸入 (無, 3, 3, 9) / / / /
卷積塊 1 卷積 (無, 9, 3, 9) (1,1) (1,1) 「相同」 /
啟動 (無, 9, 3, 9) / / / ReLu
最大池化 (無, 9, 2, 5) (2,2) (2,2) 「相同」 /
卷積塊 2 卷積 (無, 18, 2, 5) (2,2) (1,1) 「相同」 /
啟動 (無, 18, 2, 5) / / / ReLu
最大池化 (無, 18, 1, 3) (2,2) (2,2) 「相同」 /
卷積塊 3 卷積 (無, 36, 1, 3) (3,3) (1,1) 「相同」 /
啟動 (無, 36, 1, 3) / / / ReLu
最大池化 (無, 36, 1, 2) (2,2) (2,2) 「相同」 /
4 平坦化 (無, 72) / / / /
5 全連接 (無, 6) / / / /
6 輸出 (無, 6) / / / Softmax
  輸出 分類對應於最大或然率值
卷積及全連接層之濾波核藉此由Glorot均勻(Xavier)法初始化。此外，卷積層之濾波核被0.001 L2-範數加權因子常規化。最終，卷積層之濾波核包含初始設定為0之偏差。
總而言之，磁力計量測被分類為正確類別，其精確性如下：訓練99.34%、測試99.53%、驗證99.29%。
按所述實例性實施例，在依此方式訓練之CNN之預測模式中，人機介面之所有磁力計之單一量測步驟接著足以識別靜態姿勢。但可不只量測靜態，亦可量測磁性特徵之暫時變化，為達此目的，接著需要多個量測步驟。對此估計，可採用所謂的遞迴神經網路(LSTMs[long-short-term memory；長短期記憶])或GNNs[gated neural network；閘控神經網路]，以分類姿勢或識別連續手指移動。
可穿戴式人機介面10係在腕錶上呈帶狀，使得偵測單元之感測器模組藉由磁通密度變化記錄腕部皮膚變形。詳言之，藉由實行手與手指移動，皮膚因肌肉、肌腱、韌帶及骨骼移動而變形。具有嵌入式磁鐵28之撓性層26依循此變形，使得以發生磁鐵28相對於磁力計20之相對位移及轉動。這些因手與手指移動所致之磁通密度之相對變化可因而自磁力計量測重建。訓練階段常需重度計算且優點在於係在針對人工神經網路最佳化之高功能電腦或處理單元上實行。
但經訓練之CNN可以極具計算效率方式實行預測。考量因訓練階段所致之許多資料集，不僅達成預測之高精確性，並且達成高強健性。由於預測模式異於用於訊號調整之處理，僅包含所謂的前向傳播，故相較於訓練，預測極具計算效率且因而可於例如智慧型手機及類似的行動裝置上實行。在詳實之實例中，可視取樣頻率由81個磁力計量測極快速識別姿勢，其中的量測透過藉由訓練而最佳化之CNN於單一步驟中傳送。分配給經識別姿勢之控制訊號可接著由處理單元或下游控制單元直接傳送至待控制之裝置。
10:人機介面 11:蓋 12:凹部 13:待穿戴之帶狀元件 14:區段 16:區段 18:區段 20:磁力計 20a:感測器晶片 21:印刷電路板 22:鉸接元件 24:鉸接元件 26:撓性層 28:磁鐵
以下將參考隨附簡圖詳述依本發明之人機介面及依本發明之方法之實例性實施例，其中： 圖1係自斜上方所見人機介面之實例性實施例之空間圖；及 圖2係圖1之人機介面之側視圖。
10:人機介面
11:蓋
12:凹部
13:待穿戴之帶狀元件
14:區段
16:區段
18:區段
20:磁力計
20a:感測器晶片
21:印刷電路板
22:鉸接元件
24:鉸接元件
26:撓性層
28:磁鐵

Claims (20)

  1. 一種可穿戴式人機介面(10)，其包括：一待穿戴的元件(13)，其構造成附接於一人類或動物肢體之一皮膚區域，具磁性之一撓性層(26)，其係於面對該人類或動物肢體之該皮膚區域之一側上附接於該待穿戴的元件(13)，以接觸該皮膚區域之表面，其中具磁性之該撓性層(26)之撓性使得該撓性層(26)至少能依循該皮膚區域之該表面之變形，及其中該撓性層(26)之該等磁性係以該皮膚區域之該表面之該變形導致該等磁性之可量測變化，一偵測單元，其測量該撓性層(26)之該等磁性之該可量測變化，及一整合的或分離的處理單元，其適用於執行一演算法，將該等磁性之該可量測變化分配給一構造及/或移動及/或移動強度，其中該構造為一人類或動物肢體之特定部位；該移動為該構造之暫時變化；該移動強度為執行該移動之施力；其中該整合的或分離的處理單元配置為產生與分配給該構造及/或移動及/或移動強度之該等磁性之該可量測變化相對應之一控制指令，並將該控制指令傳送給一設備，以使該設備執行與該控制指令相對應的動作。
  2. 如請求項1之人機介面，其中該撓性層(26)包含複數個磁鐵(28)，及其中該撓性層(26)之該等磁性之該可量測變化係磁場強度之可 量測變化及/或磁通密度之可量測變化。
  3. 如請求項1之人機介面，其中該待穿戴的元件(13)及具磁性之該撓性層(26)組合為一個組件。
  4. 如請求項1之人機介面，其中該偵測單元包含多個磁力計(20)。
  5. 如請求項1之人機介面，其中該皮膚區域之該表面之該變形係基於不隨意或隨意肌、肌腱、韌帶、骨骼及/或器官移動。
  6. 如請求項1之人機介面，其中一個以上的加速感測器及/或轉動速率感測器進一步設置於該人機介面(10)上，該等感測器之輸出信號被饋送至該處理單元。
  7. 如請求項1之人機介面，其中在貝斯分類器、人工神經網路、支持向量機、有限狀態機、隱馬可夫模型、相關向量機、動態時間規整法、條件隨機場法、決定樹、隨機森林法、K最近鄰演算法、辦別分析、線性回歸、邏輯回歸、高斯處理、感知器及/或集成法(其中該集成法為貝斯最佳分類器、裝袋、增強中的至少一者)之至少一者的輔助下，該處理單元係適用於將該撓性層(26)之該等磁性之該可量測變化分配給該構造及/或移動及/或移動強度。
  8. 如請求項1之人機介面，其進一步包括一通信單元，用於與至少一個外部裝 置交換資料，該通信單元係基於與該人機介面(10)交換的資料而可執行對應於至少一個經分配的該構造及/或移動及/或移動強度之一動作。
  9. 如請求項1之人機介面，其中其整合於一智慧型手錶中。
  10. 一種用於偵測一人類或動物肢體之一皮膚區域之表面之一變形且將該經偵測的變形分配給一構造及/或移動及/或移動強度之方法，該方法包括以下步驟：配置一磁鐵陣列於一皮膚區域或接近該皮膚區域，使得該磁鐵陣列依循該皮膚區域之該表面之一變形；藉由量測已因該皮膚區域之該表面之該變形而發生該磁鐵陣列之磁性之可量測變化而判定該磁鐵陣列之至少一個磁性特徵；執行用以將該經判定之至少一個磁性特徵分配給該構造及/或移動及/或移動強度之一演算法，其中該構造為一人類或動物肢體之特定部位；該移動為該構造之暫時變化；該移動強度為執行該移動之施力；及指定與分配給該構造及/或移動及/或移動強度之該等磁性之該可量測變化相對應之一控制指令，並將該控制指令傳送給一設備，以使該設備執行與該控制指令相對應的動作。
  11. 如請求項10之方法，其中該演算法係經訓練之人工智慧，其已根據由至少一個磁性特徵及相關之該構造及/或移動及/或移動強 度組成之資料集判定或學習磁性特徵與該相關之該構造及/或移動及/或移動強度之間的關係。
  12. 如請求項11之方法，其中在貝斯分類器、人工神經網路、支持向量機、有限狀態機、隱馬可夫模型、相關向量機、動態時間規整法、條件隨機場法、決定樹、隨機森林法、K最近鄰演算法、辦別分析、線性回歸、邏輯回歸、高斯處理、感知器及/或集成法(其中該集成法為貝斯最佳分類器、裝袋、增強中的至少一者)之至少一者的輔助下，該等磁性特徵係被分配給該構造及/或移動及/或移動強度。
  13. 如請求項10之方法，其中每一磁性特徵係由經量測磁場強度及/或經量測磁通密度組成。
  14. 如請求項10之方法，其中在量測因該皮膚區域之該表面之該變形而發生該磁鐵陣列之該等磁性之該可量測變化前，基於一預定參考構造執行一信號初始化。
  15. 如請求項13之方法，其中藉由多個磁力計偵測待量測之磁場強度及/或待量測之磁通密度。
  16. 如請求項15之方法，其中於x及/或y及/或z方向上偵測待量測之磁場強度及/或待量測之磁通密度。
  17. 如請求項14或16之方法，其中為了該信號初始化，根據該預定參考構造而於 每一偵測方向上將該等磁力計歸零。
  18. 如請求項10之方法，其中該皮膚區域之該表面之該變形係基於不隨意或隨意肌、肌腱、韌帶、骨骼及/或器官移動。
  19. 如請求項10之方法，其中除了判定磁性特徵外，進一步包括判定該磁鐵陣列之加速及/或轉動速率之步驟。
  20. 如請求項10之方法，其中進一步包括以下步驟：指定一控制指令至一經分配的該構造及/或移動及/或移動強度，及發送該控制指令至一裝置。
TW109116890A 2019-05-28 2020-05-21 可穿戴式人機介面及可利用此介面執行的方法 TWI855078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/EP2019/063795 2019-05-28
PCT/EP2019/063795 WO2020239202A1 (de) 2019-05-28 2019-05-28 Tragbare mensch-maschine schnittstelle und mit dieser ausführbares verfahren

Publications (2)

Publication Number Publication Date
TW202113554A TW202113554A (zh) 2021-04-01
TWI855078B true TWI855078B (zh) 2024-09-11

Family

ID=66752075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116890A TWI855078B (zh) 2019-05-28 2020-05-21 可穿戴式人機介面及可利用此介面執行的方法

Country Status (12)

Country Link
US (1) US12001601B2 (zh)
EP (1) EP3977238B1 (zh)
JP (1) JP7596313B2 (zh)
KR (1) KR102871208B1 (zh)
CN (1) CN113874814A (zh)
AU (1) AU2019448100B2 (zh)
CA (1) CA3141192A1 (zh)
IL (1) IL288334B2 (zh)
SG (1) SG11202112942XA (zh)
TW (1) TWI855078B (zh)
WO (1) WO2020239202A1 (zh)
ZA (1) ZA202109423B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655531A (zh) * 2022-10-27 2023-01-31 歌尔科技有限公司 腕带设备佩戴松紧度检测方法、装置、系统及腕带设备
AT528253A1 (de) * 2024-04-24 2025-11-15 Haspro Gmbh Verfahren und vorrichtung zur pulsmessung bei säugetieren

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179440A1 (en) * 2006-09-01 2010-07-15 Unimatec Co. Ltd. Pulsimeter sensor using hall device
US20120154288A1 (en) * 2010-12-17 2012-06-21 Research In Motion Limited Portable electronic device having a sensor arrangement for gesture recognition
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US20150101423A1 (en) * 2013-10-14 2015-04-16 Nokia Corporation Deviational Plane Wrist Input
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
CN105433949A (zh) * 2014-09-23 2016-03-30 飞比特公司 混合角运动传感器
CN106535750A (zh) * 2014-07-14 2017-03-22 森斯弗里有限公司 用于非接触式动脉压力估计器的系统及方法
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112725A (ja) 1999-10-15 2001-04-24 Dia Syst Kk 生体情報計測装置
WO2008010581A1 (en) * 2006-07-21 2008-01-24 Brother Kogyo Kabushiki Kaisha Operation device and operation system
JP4736052B2 (ja) * 2006-07-21 2011-07-27 ブラザー工業株式会社 操作信号出力装置及び操作システム
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US10921886B2 (en) * 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
CA2902045A1 (en) * 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
US10042422B2 (en) * 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
JP6255963B2 (ja) 2013-12-11 2018-01-10 富士通株式会社 バンド型デバイスおよびその検出制御方法
US20150269825A1 (en) 2014-03-20 2015-09-24 Bao Tran Patient monitoring appliance
WO2016077489A1 (en) 2014-11-11 2016-05-19 Innovaura Corporation Heart rate monitor
KR102433382B1 (ko) 2014-12-08 2022-08-16 로힛 세스 착용가능 무선 hmi 디바이스
CN105433490B (zh) 2015-04-26 2017-01-18 周盈裕 一种防水服装防水加工设备
WO2017065482A1 (ko) * 2015-06-12 2017-04-20 스피어다인 주식회사 입력 장치 및 이의 ui 설정 및 실행 방법
CN107850935B (zh) 2015-07-17 2021-08-24 电子部品研究院 可穿戴设备及利用该设备输入数据的方法
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10736555B2 (en) 2015-11-15 2020-08-11 Erin Marie Carr-Jordan Wearable mood and activity monitoring system
US11331045B1 (en) * 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
KR20180028861A (ko) * 2016-09-09 2018-03-19 엘지전자 주식회사 맥진 센서 및 그 제어 방법
US10478099B2 (en) * 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
KR20180086536A (ko) * 2016-12-28 2018-08-01 주식회사 스탠딩에그 센서 초기화 방법 및 장치
US10928180B2 (en) * 2017-04-22 2021-02-23 Tactual Labs Co. Flexible deformation sensor
US10928905B2 (en) * 2017-10-09 2021-02-23 TacSense, Inc. Body motion and position sensing, recognition and analytics from an array of wearable pressure sensors
US11992307B2 (en) 2017-10-10 2024-05-28 Massachusetts Institute Of Technology Method for neuromechanical and neuroelectromagnetic mitigation of limb pathology
WO2019083863A1 (en) * 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
US10824235B2 (en) * 2018-01-08 2020-11-03 Facebook Technologies, Llc Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
US10845212B1 (en) * 2018-01-11 2020-11-24 Facebook Technologies, Llc Giant magnetoresistance strain gauge sensor
US11493993B2 (en) * 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
CN109765996A (zh) * 2018-11-23 2019-05-17 华东师范大学 基于fmg臂带的对穿戴位置偏移不敏感的手势检测系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179440A1 (en) * 2006-09-01 2010-07-15 Unimatec Co. Ltd. Pulsimeter sensor using hall device
US20120154288A1 (en) * 2010-12-17 2012-06-21 Research In Motion Limited Portable electronic device having a sensor arrangement for gesture recognition
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US20150101423A1 (en) * 2013-10-14 2015-04-16 Nokia Corporation Deviational Plane Wrist Input
CN106535750A (zh) * 2014-07-14 2017-03-22 森斯弗里有限公司 用于非接触式动脉压力估计器的系统及方法
CN105433949A (zh) * 2014-09-23 2016-03-30 飞比特公司 混合角运动传感器
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统

Also Published As

Publication number Publication date
IL288334A (en) 2022-07-01
CA3141192A1 (en) 2020-12-03
EP3977238B1 (de) 2023-12-06
AU2019448100B2 (en) 2025-01-30
AU2019448100A1 (en) 2021-12-16
KR102871208B1 (ko) 2025-10-16
SG11202112942XA (en) 2021-12-30
TW202113554A (zh) 2021-04-01
CN113874814A (zh) 2021-12-31
ZA202109423B (en) 2023-04-26
US20220236789A1 (en) 2022-07-28
JP2022536264A (ja) 2022-08-15
EP3977238A1 (de) 2022-04-06
JP7596313B2 (ja) 2024-12-09
KR20220010564A (ko) 2022-01-25
IL288334B2 (en) 2025-05-01
IL288334B1 (en) 2025-01-01
US12001601B2 (en) 2024-06-04
WO2020239202A1 (de) 2020-12-03
BR112021023351A2 (pt) 2022-01-04

Similar Documents

Publication Publication Date Title
Liu et al. NeuroPose: 3D hand pose tracking using EMG wearables
US20250214255A1 (en) Event-driven visual-tactile sensing and learning for robots
Ortiz Smartphone-based human activity recognition
US11327566B2 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
CN111095167A (zh) 用于使用电阻抗测量追踪手部运动的臂带
TWI855078B (zh) 可穿戴式人機介面及可利用此介面執行的方法
CN114692667B (zh) 一种模型训练方法及相关装置
Fernandez-Bermejo et al. Edge computing transformers for fall detection in older adults
CN113557069B (zh) 用于手势分类和施加的力估计的无监督机器学习的方法和装置
CN117523675A (zh) 一种基于神经网络的人体动作识别方法、装置及介质
Dhammi et al. Classification of human activities using data captured through a smartphone using deep learning techniques
CN117521845A (zh) 一种动作预测方法、训练方法、系统、设备及介质
HK40061068A (zh) 可穿戴的人机联接装置及可利用此联接装置执行的方法
Wang et al. A Soft Neuromorphic Approach for Contact Spatial Shape Sensing Based on Vision-Based Tactile Sensor
Sharma et al. Self-supervised perception for tactile skin covered dexterous hands
TWI887446B (zh) 智慧型人機介面及可以其執行的方法
CN116977405B (zh) 基于电磁的人脸区域定位方法、装置及可穿戴设备
CN115471912B (zh) 人体姿态的确定方法及其确定装置
Lingwal et al. Deep Learning in Mobile Device Sensors
Bao et al. Subtle Hand Action Recognition in Factory Based on Inertial Sensors
Tahir et al. Enhanced Human Activity Recognition (HAR) with IMU Sensors in Smartphones: Insights from Machine Learning Models
BR112021023351B1 (pt) Interface homem-máquina vestível, e, método para detectar uma deformação da superfície de uma área de pele de um corpo humano ou animal
Kanjilal et al. Human Activity Recognition: A Review of RFID and Wearable Sensor Technologies Powered by AI
Chu et al. Proximity Capacitive Gesture Recognition for Recursive Neighbor Memory Neural Network
Wang Active Tactile Sensing for Texture Perception in Robotic Systems