[go: up one dir, main page]

TW201533613A - 偏極化凝視追蹤 - Google Patents

偏極化凝視追蹤 Download PDF

Info

Publication number
TW201533613A
TW201533613A TW104100433A TW104100433A TW201533613A TW 201533613 A TW201533613 A TW 201533613A TW 104100433 A TW104100433 A TW 104100433A TW 104100433 A TW104100433 A TW 104100433A TW 201533613 A TW201533613 A TW 201533613A
Authority
TW
Taiwan
Prior art keywords
polarization
light
user
phase
pupil
Prior art date
Application number
TW104100433A
Other languages
English (en)
Inventor
Vaibhav Thukral
Sudipta Sinha
Vivek Pradeep
Timothy Andrew Large
Nigel Stuart Keam
David Nister
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201533613A publication Critical patent/TW201533613A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

係揭露關於決定凝視位置的實施例。在一個實施例中，一方法包括以下步驟：向配戴眼鏡的該使用者的該等眼睛沿一向外光路徑照射光。在偵測該等眼鏡時，係以一偏極化方式動態偏極化該光，該偏極化方式在一隨機偏極化階段及一單偏極化階段之間切換，其中該隨機偏極化階段包括沿一向外光路徑進行的一第一偏極化，及沿一反射光路徑進行之正交於該第一偏極化的一第二偏極化。該單偏極化階段具有一單偏極化。在該等隨機偏極化階段期間，自該等眼鏡反射的眩光被過濾掉，且瞳孔影像被捕捉。反光影像係在該單偏極化階段期間捕捉。基於瞳孔特性及反光特性，重複偵測凝視位置。

Description

偏極化凝視追蹤
此發明係關於偏極化凝視追蹤。
眼睛或凝視追蹤系統及技術可用以決定人凝視的方向及/或位置。在某些示例中，光源可照明使用者的眼睛或多個眼睛，且相對應的攝影機可捕捉眼睛的影像。這樣的影像可包括來自眼睛角膜的反射或「反光」。來自所捕捉之影像之瞳孔及反光的位置可用以決定周圍環境中使用者凝視的方向及/或位置。
然而，在使用者戴眼鏡的情況中，來自光源的光可能造成來自眼鏡鏡片的鏡面反射。這樣的鏡面反射可能造成可阻擋角膜反射反光及瞳孔及/或角膜緣影像的眩光。這樣的眩光可能減低用以準確決定瞳孔及/或反光位置之凝視追蹤系統的能力。據此，所估計之人凝視的方向及或位置的準確度可能受損。
係於本文中揭露各種實施例，其關於用於決定使用者眼睛之凝視位置的系統及方法。例如，一個所揭露的實施 例提供一種用於決定一使用者之一眼睛之凝視位置的方法，其中係向配戴眼鏡之該使用者的該等眼睛自一光源沿一向外光路徑照射光。該方法包括以下步驟：使用由一影像捕捉裝置所捕捉的一影像，來偵測該使用者是配戴眼鏡的。
在偵測該使用者是配戴眼鏡時，係以一偏極化方式動態偏極化該光，該偏極化方式以至少60Hz的一速率在一隨機偏極化階段及一單偏極化階段之間重複切換，其中該隨機偏極化階段包括沿該向外光路徑進行之該光的一第一偏極化，及沿一反射光路徑進行之正交於該第一偏極化的一第二偏極化，其中該向外光路徑係在該光源及該使用者之該等眼鏡之間，該反射光路徑係在該等眼鏡及該影像捕捉裝置之間。該單偏極化階段具有沿該向外光路徑及該反射光路徑中之一或更多者進行的一單偏極化。
在該隨機偏極化階段期間，自該等眼鏡反射的眩光被過濾掉，否則該等眩光會阻擋該眼睛的一瞳孔。在該隨機偏極化階段期間，當該等眩光被過濾掉時，係以30Hz或更高的一速率捕捉瞳孔影像。在該等單偏極化階段期間，係以30Hz或更高的一速率捕捉反光影像。基於該等瞳孔影像中所識別的瞳孔特性及時間上在該等瞳孔影像附近所捕捉之該等反光影像中所識別的反光特性，以至少30Hz的一速率重複偵測該等凝視位置。
係提供此發明內容以使用簡化的形式來介紹一系列概念，該等概念係於實施方式中進一步描述於下。此發明內容係不意欲識別申請標的之關鍵特徵或必要特徵，亦不意欲 用以限制申請標的之範圍。此外，申請標的係不限於解決在此揭露之任何部分中所指出之任何或所有缺點之實施。
10‧‧‧凝視追蹤系統
14‧‧‧使用者
16‧‧‧凝視追蹤模組
18‧‧‧大量儲存器
20‧‧‧動態偏極化模組
22‧‧‧計算裝置
26‧‧‧記憶體
28‧‧‧光源
30‧‧‧處理器
32‧‧‧偏極化過濾器
34‧‧‧影像捕捉裝置
38‧‧‧顯示裝置
40‧‧‧顯示器
44‧‧‧偏極化方式
48‧‧‧隨機偏極化階段
52‧‧‧單偏極化階段
56‧‧‧第一偏極化
60‧‧‧第二偏極化
64‧‧‧反光影像
68‧‧‧瞳孔影像
70‧‧‧單偏極化
72‧‧‧瞳孔特性
76‧‧‧反光特性
202‧‧‧平板電腦使用者
206‧‧‧眼鏡
210‧‧‧平板電腦
214‧‧‧LED光源
218‧‧‧凝視偵測攝影機
222‧‧‧輸入裝置
226‧‧‧顯示器
234‧‧‧遊戲使用者
238‧‧‧眼鏡
302‧‧‧第一光源
306‧‧‧第一向外光路徑
310‧‧‧第二光源
314‧‧‧第二向外光路徑
318‧‧‧向外偏極化過濾器
322‧‧‧眼睛
326‧‧‧透鏡
328‧‧‧眼鏡
332‧‧‧影像捕捉裝置
336‧‧‧瞳孔
340‧‧‧向內偏極化過濾器
344‧‧‧反射光路徑
350‧‧‧未偏極化光的第一部分
354‧‧‧未偏極化光的第二部分
360‧‧‧水平偏極化光的第一部分
364‧‧‧水平偏極化光的第二部分
370‧‧‧向外偏極化過濾器
502‧‧‧單紅外光源
506‧‧‧可切換偏極化過濾器
602‧‧‧單紅外光源
606‧‧‧單向外偏極化過濾器
610‧‧‧第一影像捕裝置
644‧‧‧反射光路徑
650‧‧‧偏極化光的第一部分
654‧‧‧第一向外光路徑
656‧‧‧偏極化光的第二部分
660‧‧‧第一向內偏極化過濾器
670‧‧‧第二向外光路徑
674‧‧‧偏極化光的第一部分
676‧‧‧第二向內偏極化過濾器
680‧‧‧第二影像捕捉裝置
684‧‧‧光的第二部分
700‧‧‧方法
702‧‧‧步驟
706‧‧‧步驟
710‧‧‧步驟
714‧‧‧步驟
718‧‧‧步驟
722‧‧‧步驟
726‧‧‧步驟
730‧‧‧步驟
734‧‧‧步驟
738‧‧‧步驟
742‧‧‧步驟
746‧‧‧步驟
750‧‧‧步驟
754‧‧‧步驟
758‧‧‧步驟
762‧‧‧步驟
766‧‧‧步驟
800‧‧‧計算系統
804‧‧‧邏輯子系統
808‧‧‧儲存子系統
812‧‧‧感應器子系統
816‧‧‧顯示子系統
820‧‧‧通訊子系統
822‧‧‧輸入子系統
824‧‧‧可移除式電腦可讀取儲存媒體
依據本揭露的實施例，圖1係凝視追蹤系統的示意圖，該凝視追蹤系統用於決定使用者眼睛的凝視位置。
依據本揭露的實施例，圖2係一房間的示意透視圖，該房間包括兩個戴眼鏡的使用者、包括凝視追蹤系統的壁掛式(wall-mounted)顯示器及包括凝視追蹤系統的平板電腦。
依據本揭露的實施例，圖3係凝視追蹤系統的示意圖。
依據本揭露的另一實施例，圖4係凝視追蹤系統的示意圖。
依據本揭露的另一實施例，圖5係凝視追蹤系統的示意圖。
依據本揭露的另一實施例，圖6係凝視追蹤系統的示意圖。
依據本揭露的實施例，圖7A及7B係用於決定使用者凝視位置之方法的流程圖。
圖8係計算裝置之實施例的簡化示意說明。
圖1圖示凝視追蹤系統10之一個實施例的示意圖，該凝視追蹤系統10用於決定使用者14之眼睛的一或更多個凝視位置。凝視追蹤系統10包括凝視追蹤模組16及動態偏 極化模組20，該等凝視追蹤模組16及動態偏極化模組20可儲存於計算裝置22的大量儲存器18中。凝視追蹤模組16及動態偏極化模組20可被載入記憶體26及由計算裝置22的處理器30所執行，以執行以下所更詳細描述之方法及程序中之一或更多者。
凝視追蹤系統10包括一或更多個光源28，例如(舉例而言)LED光源。在某些示例中，光源(或多個)28可包括發射紅外光的紅外光源，例如紅外線LED。在其他示例中，光源(或多個)28可包括發射可見光的可見光源，例如可見光LED，用於攝影機的閃光用途或膝上型電腦上的鍵盤照明。在某些示例中，光源(或多個)28可包括計算裝置(例如手機)上的顯示器。
如於以下更詳細描述的，光源28可向使用者眼睛沿向外的光路徑來照射光，該使用者可能配戴眼鏡。一或更多個偏極化過濾器32係經配置以動態地偏極化由光源28所發射的光。凝視追蹤系統10更包括一或更多個影像捕捉裝置34，該等影像捕捉裝置34係經配置，以捕捉自使用者的眼鏡及眼睛反射及散射之光的影像。
在某些示例中，計算裝置22、光源(或多個)28、偏極化過濾器(或多個)32及影像捕捉裝置(或多個)34可集成進通用外殼，以形成單一裝置。這樣的裝置可包括(但不限於)桌上型電腦、PC、手持式智慧型手機、電子閱讀器、膝上型電腦、筆記型電腦及平板電腦、顯示器、互動電視、機頂盒、遊戲控制台...等等。舉例而言且參照圖2，配戴眼鏡 206的平板電腦使用者202可利用包括凝視追蹤系統10的平板電腦210。平板電腦210可包括具有偏極化過濾器的LED光源214及凝視偵測攝影機218。
在其他示例中，光源(或多個)28、偏極化過濾器(或多個)32及影像捕捉裝置(或多個)34中之一或更多者可實體上自計算裝置22隔離且可通訊地耦合至計算裝置22。在一個示例中，光源(或多個)28、偏極過濾器(或多個)32及影像捕捉裝置(或多個)34可安置於安裝於壁掛式顯示器226附近的輸入裝置222中，且可透過有線或無線連接可通訊地耦合至顯示器中或單獨元件(例如遊戲控制台)中的計算裝置22。配戴眼鏡238的遊戲使用者234可使用他的眼睛透過計算裝置22上之輸入裝置222及凝視追蹤模組16來與由顯示器226所顯示的內容互動。將理解的是，具有各種形式因素之凝視追蹤系統10的許多其他類型及配置(無論是從計算裝置22隔離或與計算裝置22集成)亦可被使用且在本揭露的範圍內。
計算裝置22可採取桌上型計算裝置、行動計算裝置(例如智慧型手機)、膝上型電腦、筆記型電腦或平板電腦、網路電腦、家用娛樂電腦、互動型電視、遊戲系統或其他合適類型之計算裝置的形式。關於計算裝置22之元件及計算態樣的額外細節係於以下參照圖8來更詳細地描述。
再次參照圖1且如上所述，在某些示例中，凝視追蹤系統10可包括顯示裝置38或可通訊地耦合至顯示裝置38。在一個示例中，顯示裝置38可包括單獨顯示器(例如舉 例而言是獨立的監視器)，該顯示器係透過有線或無線連接來可操作地連接至計算裝置22。顯示器38可包括用於向使用者呈現一或更多個視覺構件的顯示系統40。
凝視追蹤模組16可經配置以使用任何合適的方式來決定使用者眼睛中之一者或兩者的凝視方向。例如，凝視追蹤模組16可利用由影像捕捉裝置(或多個)34所捕捉之瞳孔及角膜反射的影像來決定瞳孔及反光位置的中心，其中角膜反射產生角膜反光。反光及瞳孔中心之間的向量可用以決定眼睛的凝視位置。
在一個示例中，可利用明亮瞳孔技術，其中來自光源(或多個)28的經照明的光係與眼睛的光學路徑同軸，使得光反射離開視網膜。在其他示例中，可利用黑暗瞳孔技術，其中該經照明的光係自該光學路徑偏移。為了本揭露的目的，將提供利用黑暗瞳孔技術的凝視追蹤系統10的示例。
如從自影像捕捉裝置(或多個)34所收集之影像資料所決定之角膜反光的影像及瞳孔的影像可用以決定各眼睛的光學軸。藉由使用此資訊，凝視追蹤模組16可決定使用者凝視的方向及/或使用者在凝視哪個實體物件或虛擬物件。凝視追蹤模組16可進一步決定使用者在凝視實體或虛擬物件上的哪個點。這樣的凝視追蹤資料可接著被提供至計算裝置22，且可依所需由一或更多個應用程式或其他程式所利用。
現亦參照圖3-6，現將提供凝視追蹤系統10之示例實施例的描述。在圖示於圖3中的一個示例中，凝視追蹤系統10包括沿第一向外光路徑306照射紅外光的第一紅外光源 302，及沿第二向外光路徑314照射紅外光的第二紅外光源310。將理解的是，第一向外光路徑306自第一光源302延伸至眼睛322，且第二向外光路徑314自第二光源310延伸至眼睛。將理解的是，紅外光源僅提供為示例，且任何其他適合的光源可被利用且在本揭露的範圍內。亦參照圖1且如以下所更詳細描述的，在偵測到使用者14是戴著眼睛時，自第一光源302及第二光源310所發射的紅外光可以偏極化方式44且使用向外偏極化過濾器318及向內偏極化過濾器340來進行來動態地偏極化，該偏極化方式44重複地在隨機偏極化階段48及單偏極化階段52之間切換。
如圖3中所示，使用者14的眼睛322透過由該使用者所配戴之眼鏡328的透鏡326來窺視。影像捕捉裝置332係經配置以捕捉由第一光源302及第二光源310所發射之光的影像，該光線係自眼睛322及眼鏡328的透鏡326所反射及散射。如上所述，來自光源302及/或310的光可自透鏡326反射，而在由影像捕捉裝置332所捕捉的影像中造成眩光。有益地，動態偏極化模組20係經配置以實質上過濾掉這樣的眩光，否則該等眩光可能阻擋眼睛322的瞳孔336。
更特定而言且在一個示例中，動態偏極化模組20係經配置以使用偏極化方式44且透過向外偏極化過濾器318及向內偏極化過濾器340來動態地偏極化自第一光源302及第二光源310所發射的紅外光，該偏極化方式44以至少60Hz的速率在隨機偏極化階段48及單偏極化階段52之間重複地切換。隨機偏極化階段48包括紅外光的第一偏極化56，該第 一偏極化56是沿在第一光源302及使用者眼鏡328之間的第一向外光路徑306而由向外偏極化過濾器318所提供的。隨機偏極化階段48亦包括第二偏極化60，該第二偏極化60係正交於第一偏極化56，且是沿在眼鏡328及影像捕捉裝置332之間的反射光路徑344由向內偏極化過濾器340所提供。在此示例中，單偏極化階段52具有單偏極化70，該單偏極化70是沿反射光路徑344由向內偏極化過濾器340所提供。將理解的是，反射光路徑344自眼睛322延伸至影像捕捉裝置332。
如圖3中所示，來自第二向外光路徑314之未偏極化光的第一部分350係向影像捕捉裝置332通過向外偏極化過濾器430沿反射光路徑344反射離開透鏡326。來自第二向外光路徑314之未偏極化光的第二部分354通過透鏡326，且反射離開眼睛322的角膜，產生了角膜反光，該等角膜反光向影像捕捉裝置332通過向內偏極化過濾器340沿反射光路徑344行進。在單偏極化階段52期間，光的第一部分350及第二部分354可用以捕捉反光影像64。
向外偏極化過濾器318及向內偏極化過濾器340可包括線性、圓形或任何其他適合類型的偏極化過濾器。如圖3中所示，第一向外光路徑306包括了已通過水平偏極化過濾器318的光。來自第一向外光路徑306之水平偏極化光的第一部分360係向影像捕捉裝置332通過垂直偏極化的向內偏極化過濾器340沿反射光路徑344反射離開透鏡326。光的此第一部分360包括自透鏡326表面反射的眩光。因為是被反 射的，光的此第一部分360維持其水平偏極化，這正交於向內偏極化過濾器340的垂直偏極化。據此，向內偏極化過濾器340在光的此第一部分360到達影像捕捉裝置332之前從光的此第一部分360實質上衰減及消除了眩光。將理解的是，向外偏極化過濾器318及向內偏極化過濾器340的方向可具有彼此正交的任何合適方向。
來自第一向外光路徑306之光的第二部分364通過透鏡326，且反射離開眼睛322的角膜，產生水平偏極化的角膜反光。此第二部分364中之水平偏極化的角膜反光向影像捕捉裝置332通過垂直偏極化的向內偏極化過濾器340沿反射光路徑344行進。因為是被反射的，光的此第二部分364亦維持其水平偏極化。據此，垂直偏極化的向內偏極化過濾器340在光的此第二部分364到達影像捕捉裝置332之前從光的此第二部分364實質上衰減及消除了水平偏極化的角膜反光。
光的此第二部分364亦由瞳孔336所散射，產生了照明瞳孔及角膜緣特徵之未偏極化的漫射光。來自瞳孔336的此未偏極化的漫射光亦向影像捕捉裝置332通過向內偏極化過濾器340沿光路徑344行進。有益地，藉由從如上所述而來自第一向外光路徑306之光的第一部分360及第二部分364衰減眩光及反光，在隨機偏極化階段48期間，第二部分364中之未偏極化的漫射光可用以捕捉未被這樣的眩光及/或反光所阻擋的瞳孔影像68。
如上所述，動態偏極化模組20係經配置以使用偏極 化方式44來動態偏極化紅外光，該偏極化方式44以至少60Hz的速率在隨機偏極化階段48及單偏極化階段52之間重複地切換。在某些示例中，在單偏極化階段52期間，可以30Hz或更高的速率來捕捉反光影像64。在隨機偏極化階段48期間，當眩光被過濾掉時，亦可以30Hz或更高的速率來捕捉瞳孔影像68。有益地，藉由使用這些反光影像64及瞳孔影像68，可基於瞳孔影像中所識別的瞳孔特性72及時間上在瞳孔影像附近所捕捉之反光影像中所識別的反光特性76，以至少30Hz的速率重複偵測眼睛322的凝視位置。例如，凡瞳孔影像68及反光影像64是以30Hz的速率捕捉的，則相鄰之經捕捉的瞳孔影像及反光影像之間的間隔可為0.020秒、0.015秒、0.010秒或任何其他合適的間隔。
這樣的瞳孔特性72可包括(但不限於)瞳孔中心。這樣的反光特性76可包括(但不限於)相對於瞳孔中心之反光的位置。如上所述，可利用任何合適的凝視追蹤技術來決定這樣的凝視位置。
在某些示例(例如可自使用者接收更頻繁之眼睛移動的特定應用程式或程式)中，可利用更快的捕捉速率及更頻繁的凝視位置偵測。例如，動態偏極化模組可經配置以使用60Hz及120Hz之間的速率在隨機偏極化階段48及單偏極化階段52之間重複切換。在這樣的示例中，可以30Hz及60Hz之間的速率捕捉瞳孔影像68及反光影像64。
在一個示例中，在隨機偏極化階段48及單偏極化階段52之間切換的速率可為捕捉瞳孔影像68之速率的兩倍， 且為捕捉反光影像64之速率的兩倍。例如，動態偏極化模組可經配置以使用120Hz的速率在隨機偏極化階段48及單偏極化階段52之間重複切換，而瞳孔影像68及反光影像64可以60Hz的速率來捕捉。
在某些示例中，動態偏極化模組20可經配置以偵測使用者是否配戴眼鏡。例如，動態偏極化模組20可藉由決定一或更多個眩光是位於使用者眼睛的附近，來識別來自眼鏡的眩光。
動態偏極化模組20亦可自角膜反光區隔這樣的眩光。反射自眼鏡透鏡的眩光一般在尺寸上遠大於角膜反光。眩光亦可能具有獨特的、不規則的形狀。換句話說，角膜反光一般小於眩光(通常包括多個輻射臂)，且可能具有約兩倍於瞳孔直徑的直徑而為圓形的。在某些示例中，動態偏極化模組可使用這樣的區隔資訊來識別來自眼鏡的一或更多個眩光。
在某些示例中，動態偏極化模組20可偵測使用者沒有配戴眼鏡。在此情況中，來自眼鏡的眩光不出現。據此，在偵測使用者沒有配戴眼鏡時，動態偏極化模組20可經配置以避免以偏極化方式44動態偏極化紅外光。有益地，這可允許凝視追蹤系統10例如藉由以下步驟來降低電力消耗：藉由照明第二、未偏極化光源310且不照明第一、偏極化光源302來執行凝視追蹤。在使用來自第二光源310的光一個示例中，瞳孔影像68及眩光影像64可以30Hz的速率在單偏極化階段52期間來捕捉，且凝視位置亦可以30Hz的速率來偵測。
現參照圖4，在另一示例中，額外的向外偏極化過濾器370可被增加至第二光源310，其中該過濾器370具有與向內偏極化過濾器340相同的方向。使用此配置，沿第一向外光路徑306及第二向外光路徑314兩者行進的光被偏極化。有益地，向外偏極化過濾器318及額外向外偏極化過濾器370可經配置以使得沿第一向外光路徑306及第二向外光路徑314行進的光具有類似的亮度。以此方式，在影像捕捉裝置332處所捕捉的反光影像64及瞳孔影像68可具有類似的亮度及訊號對雜訊比，這可強化凝視位置決定的準確度。
現參照圖5，在另一示例中，凝視追蹤系統10可包括單紅外光源502及可切換偏極化過濾器506，該可切換偏極化過濾器506可在第一偏極化及正交於第一偏極化之第二偏極化之間變換。在圖5的示例中，可切換偏極化過濾器506可在垂直及水平方向之間變換。據此，自單光源502發射的紅外光可如上所述地以偏極化方式44動態地偏極化，且由影像捕捉裝置332所捕捉。如上所述的眩光影像64及瞳孔影像68可接著如上所述地為了決定凝視位置而被捕捉及利用。
現參照圖6，在另一示例中，凝視追蹤系統10可包括單紅外光源602及單向外偏極化過濾器606，該單向外偏極化過濾器606以第一方向偏極化自該光源發射的光。在此示例中，來自第一向外光路徑654之偏極化光的第一部分650係向第一影像捕裝置610通過第一向內偏極化過濾器660沿反射光路徑644反射離開透鏡326。如圖6中所示，第一向內偏極化過濾器660具有與向外偏極化過濾器606相同的水平 方向。
類似地，來自第一向外光路徑654之偏極化光的第二部分656通過透鏡326且反射離開眼睛322的角膜，產生了向第一影像捕捉裝置610通過第一向內偏極化過濾器660沿反射光路徑644行進的角膜反光。如上所解釋的，在單偏極化階段52期間，光的第一部分650及第二部分656亦可用以使用第一影像捕捉裝置610來捕捉反光影像64。
如圖6中所示，第二向外光路徑670包括已通過向外偏極化過濾器606的光。來自第二向外光路徑670之偏極化光的第一部分674係向第二影像捕捉裝置680通過第二向內偏極化過濾器676沿反射光路徑644反射離開透鏡326。第二向內偏極化過濾器676具有正交於向外偏極化過濾器606之水平方向的垂直方向。據此，第二向內偏極化過濾器676在光的此第一部分674到達第二影像捕捉裝置680之前從光的此第一部分674實質上衰減及消除了眩光。
來自第二向外光路徑670之光的第二部分684通過透鏡326且反射離開眼睛322的角膜，產生了水平偏極化的角膜反光。第二部分684中的這些偏極化反光向第二影像捕捉裝置680通過垂直偏極化第二向內偏極化過濾器676沿反射光路徑644行進。據此，第二向內偏極化過濾器676在光的此第二部分684到達第二影像捕捉裝置680之前從光的此第二部分684實質上衰減及消除了水平偏極化的角膜反光。如上所解釋的，在隨機偏極化階段48期間，光的第一部分674及第二部分684可用以使用第二影像捕捉裝置680來捕捉瞳 孔影像68。
圖7A及7B繪示方法700的流程圖，該方法700用於依據本揭露的實施例來導航視覺構件的階層。方法700的以下描述是參照以上所述且圖示於圖1-6中之凝視追蹤系統10的軟體及硬體元件來提供的。將理解的是，方法700亦可使用其他合適的硬體及軟體元件來執行於其他背景中。
參照圖7A，在702處，方法700可包括向配戴眼鏡的使用者眼睛自光源沿向外光路徑照射光。在706處，方法700包括使用由影像捕捉裝置所捕捉的影像來偵測使用者是配戴眼鏡的。在710處，方法700可包括，在偵測使用者是配戴眼鏡時，以一偏極化方式動態地偏極化光，該偏極化方式以至少60Hz的速率在隨機偏極化階段及單偏極化階段之間重複地切換。隨機偏極化階段包括沿向外光路徑進行之光的第一偏極化，及沿反射光路徑進行之正交於第一偏極化的第二偏極化，其中該向外光路徑係在光源及使用者眼鏡之間，該反射光路徑係在眼鏡及影像捕捉裝置之間。單偏極化階段具有沿向外光路徑及反射光路徑中之一或更多者進行的單偏極化。
在714處，方法700可包括藉由以120Hz的速率在隨機偏極化階段及單偏極化階段之間重複切換，來以一偏極化方式動態地偏極化光。在718處，方法700可包括藉由在第一偏極化及正交於第一偏極化的第二偏極化之間變換可切換的偏極化過濾器，來動態地偏極化光。在722處，方法700可包括，在隨機偏極化階段期間，過濾掉自眼鏡反射的眩光， 否則該等眩光會阻擋眼睛的瞳孔。
在726處，方法700可包括，在隨機偏極化階段期間，當眩光被過濾掉時，以30Hz或更高的速率捕捉瞳孔影像。在730處，方法700可包括，在單偏極化階段期間，以30Hz或更高的速率捕捉反光影像。在734處，方法700可包括基於瞳孔影像中所識別的瞳孔特性及時間上在瞳孔影像附近所捕捉之反光影像中所識別的反光特性，以至少30Hz的速率重複偵測凝視位置。
現參照7B，於738處，方法700可包括藉由決定眩光中之一或更多者是位於所捕捉影像中的使用者眼睛附近，來偵測使用者是配戴眼鏡的。在742處，方法700可包括以60Hz的速率捕捉瞳孔影像及反光影像，及以60Hz的速率重複偵測凝視位置。在746處，方法700可包括偵測使用者沒有配戴眼鏡。於750處，方法700可包括，在偵測使用者沒有配戴眼鏡時，避免以該偏極化方式動態地偏極化光。
在754處，方法700可包括以30Hz或更高的速率在單偏極化階段期間捕捉瞳孔影像及反光影像。在758處，方法700可包括單偏極化階段的單偏極化，該單偏極化階段包括在向外光路徑上施加第二偏極化。在762處，凡光源是第一光源，方法700可包括第二光源，該第二光源向配戴眼鏡的使用者眼睛發射未偏極化光，其中未偏極化光係用以捕捉反光影像。在766處，其中影像捕捉裝置是捕捉瞳孔影像的第一影像捕捉裝置，方法700可包括使用捕捉反光影像的第二影像捕捉裝置。
將理解的是，是藉由示例的方式提供方法700，且方法700並不意味著是限制。因此，要了解的是，相較於圖7A及7B中所繪示的那些步驟，方法700可包括額外的及/或替代的步驟。進一步地，要了解的是方法700可以任何合適的順序來執行。仍進一步地，要了解的是，可從方法700忽略一或更多個步驟而不脫離此揭露的範圍。
圖8示意地圖示計算系統800的非限制性實施例，該計算系統800可執行上述方法及程序中之一或更多者。計算裝置22可採取計算系統800中之一或更多個態樣的形式，或包括計算系統800中的一或更多個態樣。計算系統800係以簡化形式來圖示。要了解的是，實質上，可使用任何的電腦架構而不脫離此揭露的範圍。在不同的實施例中，計算系統800可採取主機電腦、伺服器電腦、卓上型電腦、膝上型電腦、平板電腦、家用娛樂電腦、網路計算裝置、行動計算裝置、行動通訊裝置、遊戲裝置...等等的形式。
如圖8中所示，計算系統800包括邏輯子系統804、儲存子系統808及感應器子系統812。計算系統800可以可選地包括顯示子系統816、通訊子系統820、輸入子系統822及/或未示於圖8中的其他子系統及元件。計算系統800亦可包括電腦可讀取媒體，其中該電腦可讀取媒體包括電腦可讀取儲存媒體及電腦可讀取通訊媒體。計算系統800亦可以可選地包括其他使用者輸入裝置，例如鍵盤、滑鼠、遊戲控制器及/或觸控螢幕，舉例而言。進一步地，在某些實施例中，本文中所描述的方法及程序可實施為電腦應用程式、電腦服 務、電腦API、電腦程序庫及/或包括一或更多個電腦之計算系統中的其他電腦程式產品。
邏輯子系統804可包括經配置以執行一或更多個指令的一或更多個實體裝置。例如，邏輯子系統804可經配置以執行一或更多個指令，該等指令為一或更多個應用程式、服務、程式、常式、程序庫、物件、元件、資料結構或其他邏輯構造的部分。這樣的指令可經實施以執行任務、實施資料類型、轉換一或更多個裝置的狀態或要不就達到所需的結果。
邏輯子系統804可包括經配置以執行軟體指令的一或更多個處理器。此外或替代性地，邏輯子系統可包括經配置以執行硬體或韌體指令的一或更多個硬體或韌體邏輯機器。邏輯子系統的處理器可為單核心或多核心，且在其上所執行的程式可對於平行或分佈式處理而經配置。邏輯子系統可以可選地包括分佈於二或更多個裝置各處的個別元件，該等裝置可能位於遠端及/或對於協調處理而經配置。邏輯子系統的一或更多個態樣可藉由以雲端計算配置來配置之遠端可存取的聯網計算裝置來虛擬化及執行。
儲存子系統808可包括一或更多個實體的、持續性的裝置，該等裝置係經配置以保持可由邏輯子系統804所執行以實施本文中所述之方法及程序的資料及/或指令。當這樣的方法及程序被實施，儲存子系統808的狀態可被轉換(例如用以保持不同資料)。
儲存子系統808可包括可移除式媒體及/或內建裝 置。儲存子系統808除了其他物以外可包括光學記憶裝置(例如CD、DVD、HD-DVD、藍光光碟...等等)、半導體記憶裝置(例如RAM、EPROM、EEPROM...等等)及/或磁式記憶裝置(例如硬碟驅動器、軟碟驅動器、磁帶驅動器、MRAM...等等)。儲存子系統808可包括具有下列特性中之一或更多者的裝置：依電性、非依電性、動態、靜態、讀取/寫入、唯讀、隨機存取、順序存取、位置可定址的、檔案可定址的及內容可定址的。
在某些實施例中，邏輯子系統804及儲存子系統808的態樣可被集成進一或更多個通用裝置，本文中所描述的功能性可通過該等通用裝置來至少部分地制定。這樣的硬體邏輯元件可包括場效可編程閘極陣列(FPGA)、程式特定及應用程式特定的集成電路(PASIC/ASIC)，程式特定及應用程式特定的標準產品(PSSP/ASSP)、晶片上系統(SOC)的系統及複合可編程邏輯裝置(CPLD)，舉例而言。
圖8亦以可移除式電腦可讀取儲存媒體824的形式圖示儲存子系統808的態樣，該態樣可用以儲存可被執行以實施本文中所述之方法及程序的資料及/或指令。可移除式電腦可讀取儲存媒體824除了其他物以外可採取CD、DVD、HD-DVD、藍光光碟、EEPROM及/或軟碟的形式。
要理解的是，儲存子系統808包括一或更多個實體的、持續性的裝置。相較之下，在某些實施例中，本文中所描述之指令的態樣可藉由純訊號(例如電磁訊號、光學訊號...等等)以過渡的方式來傳播，該純訊號至少在一有限的期間 不是由實體裝置所保持的。並且，屬於本揭露的資料及/或其他形式的資訊可透過電腦可讀取通訊媒體藉由純訊號來傳播。
感應器子系統812可包括一或更多個感應器，該等感應器係經配置以感應如上所述的不同實體現象(例如可見光、紅外光、聲音、加速、方向、位置...等等)。感應器子系統812可經配置以向邏輯子系統804提供感應器資料，例如，這樣的資料可包括影像資訊、周圍照明資訊、深度資訊、音訊資訊、位置資訊、運動資訊、使用者位置資訊及/或可用以執行上述之方法及程序的任何其他合適的感應器資料。
當被包括時，顯示子系統816可用以呈現由儲存子系統808所保持之資料的視覺表示。當上述的方法及程序改變了由儲存子系統808所保持的資料，且因此轉換了儲存子系統的狀態時，顯示子系統816的狀態可同樣地轉換成下層資料中的視覺呈現改變。顯示子系統816可包括利用實質上任何類型科技的一或更多個顯示裝置。這樣的顯示裝置可在共享外殼中與邏輯子系統804及/或儲存子系統808結合，或這樣的顯示裝置可為周邊顯示裝置。
當被包括時，通訊子系統820可經配置以與一或更多個網路及/或一或更多個其他計算裝置可通訊地耦合計算系統800。通訊子系統820可包括相容於一或更多個不同通訊協定的有線及/或無線通訊裝置。作為非限制性示例，通訊子系統820可經配置以供透過無線電話網路、無線區域網路、有線區域網路、無線廣域網路、有線廣域網路...等等來進行通 訊。在某些實施例中，通訊子系統可允許計算系統800透過網路(例如網際網路)向其他裝置發送及/或自其他裝置接收信息。
當被包括時，輸入子系統822可包括一或更多個感應器或使用者輸入裝置(例如遊戲控制器、手勢輸入偵測裝置、語音辨識器、慣性測量單元、鍵盤、滑鼠或觸控螢幕)或與一或更多個感應器或使用者輸入裝置互接。在某些實施例中，輸入子系統822可包括經選擇的自然使用者輸入(NUI)元件部分或與經選擇的自然使用者輸入元件部分互接。這樣的元件部分可能是經集成的或周邊的，且輸入動作的轉導及/或處理可被板上地(on-board)或離板地(off-board)處理。示例NUI元件部分可包括：用於語音及/或聲音辨識的麥克風；用於機器視覺及/或手勢辨識之紅外的、彩色的、立體的及/或深度攝影機；用於運動偵測及/或意圖辨識的頭部追蹤器、眼睛追蹤器、加速儀及/或陀螺儀；以及用於評估腦部活動的電場感應元件部分。
用詞「模組」可用以描述凝視追蹤系統10的態樣，該態樣係經實施以執行一或更多個特定功能。在某些情況中，這樣的模組可透過邏輯子系統804來樣例化，該邏輯子系統804執行由儲存子系統808所保持之指令。要了解的是，不同的模組可從相同的應用程式、服務、碼塊、物件、程序庫、常式、API、功能...等等而被樣例化。同樣地，相同的模組可由不同應用程式、服務、碼塊、物件、常式、API、功能...等等所樣例化。用詞「模組」意在包括個別的可執行檔案、 資料檔案、程序庫、驅動器、腳本、資料庫記錄...等等，或可執行檔案、資料檔案、程序庫、驅動器、腳本、資料庫記錄...等等的群組。
要了解的是，本文中所描述的配置及/或方法在本質上是示例性的，且這些特定實施例或示例並非要以限制的意義來考慮，因為許多變化是可能的。本文中所描述的特定程序或方法可代表任何數量之處理策略中的一或更多者。如此，可以所繪示的順序、以其他順序或平行地執行所繪示的各種動作，或在某些情況中忽略所繪示的各種動作。同樣地，上述程序的順序可被改變。
本揭露的申請標的包括本文中所揭露之各種程序、系統及配置、及其他特徵、功能、動作及/或屬性的所有新穎的及非顯而易見的組合及子組合，以及其任何及所有等效物。
10‧‧‧凝視追蹤系統
14‧‧‧使用者
16‧‧‧凝視追蹤模組
18‧‧‧大量儲存器
20‧‧‧動態偏極化模組
22‧‧‧計算裝置
26‧‧‧記憶體
28‧‧‧光源
30‧‧‧處理器
32‧‧‧偏極化過濾器
34‧‧‧影像捕捉裝置
38‧‧‧顯示裝置
40‧‧‧顯示器
44‧‧‧偏極化方式
48‧‧‧隨機偏極化階段
52‧‧‧單偏極化階段
56‧‧‧第一偏極化
60‧‧‧第二偏極化
64‧‧‧反光影像
68‧‧‧瞳孔影像
70‧‧‧單偏極化
72‧‧‧瞳孔特性
76‧‧‧反光特性

Claims (20)

  1. 一種用於決定一使用者之一眼睛的凝視位置的方法，該方法包括以下步驟：向配戴眼鏡之該使用者的該眼睛自一光源沿一向外光路徑照射光；使用由一影像捕捉裝置所捕捉的一影像，來偵測該使用者是配戴眼鏡的；在偵測該使用者是配戴眼鏡時，以一偏極化方式動態地偏極化該光，該偏極化方式以至少60Hz的一速率在一隨機偏極化階段及一單偏極化階段之間重複切換，其中該隨機偏極化階段包括沿該向外光路徑進行之該光的一第一偏極化，及沿一反射光路徑進行之正交於該第一偏極化的一第二偏極化，且該單偏極化階段具有沿該向外光路徑及該反射光路徑中之一或更多者進行的一單偏極化，其中該向外光路徑係在該光源及該使用者之該等眼鏡之間，該反射光路徑係在該等眼鏡及該影像捕捉裝置之間；在該等隨機偏極化階段期間，過濾掉自該等眼鏡反射的眩光，否則該等眩光會阻擋該眼睛的一瞳孔；在該等隨機偏極化階段期間，當該等眩光被過濾掉時，以30Hz或更高的一速率捕捉瞳孔影像；在該等單偏極化階段期間，以30Hz或更高的一速率捕捉反光影像；及 基於該等瞳孔影像中所識別的瞳孔特性及時間上在該等瞳孔影像附近所捕捉之該等反光影像中所識別的反光特性，以至少30Hz的一速率重複偵測該等凝視位置。
  2. 如請求項1所述之方法，其中偵測該使用者是配戴眼鏡的步驟進一步包括以下步驟：決定該等眩光中的一或更多者是位於該經捕捉之影像中之該使用者之該眼睛的附近。
  3. 如請求項1所述之方法，其中以一偏極化方式動態偏極化該光的步驟進一步包括以下步驟：以120Hz的一速率在該隨機偏極化階段及該單偏極化階段之間重複切換。
  4. 如請求項1所述的方法，其中係以60Hz的一速率捕捉該等瞳孔影像及該等反光影像，且以60Hz的一速率重複偵測該等凝視位置。
  5. 如請求項1所述之方法，更包括以下步驟：偵測該使用者沒有配戴眼鏡；在偵測該使用者沒有配戴眼鏡時，避免以該偏極化方式動態偏極化該光，該偏極化方式在該隨機偏極化階段及該單偏極化階段之間重複切換；及以30Hz或更高的一速率在該單偏極化階段期間捕捉該等瞳孔影像及該等反光影像。
  6. 如請求項1所述之方法，其中該等單偏極化階段的該單偏極化進一步包括在該向外光路徑上施加該第二偏極化。
  7. 如請求項1所述之方法，其中動態偏極化該光的步驟包括以下步驟：在該第一偏極化及正交於該第一偏極化的該第二偏極化之間變換一可切換偏極化過濾器。
  8. 如請求項1所述之方法，其中該光源係一第一光源，且一第二光源向配戴眼鏡之該使用者的該等眼睛發射未偏極化光，其中該未偏極化光係用以捕捉該等反光影像。
  9. 如請求項1所述之方法，其中該影像捕捉裝置係捕捉該等瞳孔影像的一第一影像捕捉裝置，且該方法進一步包括以下步驟：使用捕捉該等反光影像的一第二影像捕捉裝置。
  10. 一種用於決定一使用者之一眼睛之凝視位置的凝視追蹤系統，該凝視追蹤系統包括：一光源，用於向配戴眼鏡之該使用者的該等眼睛沿一向外光路徑照射光；一偏極化過濾器，係經配置以動態偏極化該光；一影像捕捉裝置，係經配置以捕捉自該使用者之該眼睛及該等眼鏡反射及散射之該光的影像；一計算裝置，可操作地至少連接至該光源及該影像捕捉裝置； 一動態偏極化模組，由該計算裝置的一處理器所執行，該動態偏極化模組係經配置以進行以下步驟：使用由該影像捕捉裝置所捕捉的一影像，來偵測該使用者是配戴眼鏡的；在偵測該使用者是配戴眼鏡時，以一偏極化方式動態地偏極化該光，該偏極化方式以至少60Hz的一速率在一隨機偏極化階段及一單偏極化階段之間重複切換，其中該隨機偏極化階段包括沿該向外光路徑進行之該光的一第一偏極化，及沿一反射光路徑進行之正交於該第一偏極化的一第二偏極化，且該單偏極化階段具有沿該向外光路徑及該反射光路徑中之一或更多者進行的一單偏極化，其中該向外光路徑係在該光源及該使用者之該等眼鏡之間，該反射光路徑係在該等眼鏡及該影像捕捉裝置之間；在該等隨機偏極化階段期間，過濾掉自該等眼鏡反射的眩光，否則該等眩光會阻擋該眼睛的一瞳孔；在該等隨機偏極化階段期間，當該等眩光被過濾掉時，以30Hz或更高的一速率以該影像捕捉裝置捕捉瞳孔影像；及在該等單偏極化階段期間，以30Hz或更高的一速率以該影像捕捉裝置捕捉反光影像；及一凝視追蹤模組，係經配置以基於該等瞳孔影像中所識別的瞳孔特性及時間上在該等瞳孔影像附近所捕捉之該等反光影像中所識別的反光特性，來以至少30Hz的一速率重複偵測該等凝視位置。
  11. 如請求項10所述的凝視追蹤系統，其中該動態偏極化模組係經進一步配置，以藉由決定該等眩光中的一或更多者是位於該經捕捉影像中之該使用者的該眼睛附近，來偵測該使用者是配戴眼鏡的。
  12. 如請求項10所述之凝視追蹤系統，其中該動態偏極化模組係經進一步配置，以藉由以120Hz的一速率在該隨機偏極化階段及該單偏極化階段之間重複切換，以一偏極化方式動態偏極化該光。
  13. 如請求項10所述之凝視追蹤系統，其中該動態偏極化模組係經進一步配置，以用60Hz的一速率捕捉該等瞳孔影像及該等反光影像，及以60Hz的一速率偵測該等凝視位置。
  14. 如請求項10所述之凝視追蹤系統，其中該動態偏極化模組係經進一步配置以進行以下步驟：偵測該使用者沒有配戴眼鏡；在偵測該使用者沒有配戴眼鏡時，避免以該偏極化方式動態偏極化該光，該偏極化方式在該隨機偏極化階段及該單偏極化階段之間重複切換；及以30Hz或更高的一速率在該等單偏極化階段期間捕捉該等瞳孔影像及該等反光影像。
  15. 如請求項10所述之凝視追蹤系統，其中該等單偏極化階段的該單偏極化包括在該向外光路徑上施加該第二偏極化。
  16. 如請求項10所述之凝視追蹤系統，其中該動態偏極化模組係經進一步配置，以藉由在該第一偏極化及正交於該第一偏極化的該第二偏極化之間變換一可切換偏極化過濾器，來動態偏極化該光。
  17. 如請求項10所述之凝視追蹤系統，其中該光源係一第一光源，其中該單偏極化階段具有沿該反射光路徑進行的該單偏極化，且該凝視追蹤系統進一步包括一第二光源，該第二光源向配戴眼鏡之該使用者的該等眼睛發射未偏極化光，其中該未偏極化光係用以捕捉該等反光影像。
  18. 如請求項10所述之凝視追蹤系統，其中該影像捕捉裝置係捕捉該等瞳孔影像的一第一影像捕捉裝置，且該動態偏極化模組係經進一步配置以使用一第二影像捕捉裝置來捕捉該等反光影像。
  19. 一種用於決定一使用者之一眼睛凝視位置的方法，該方法包括以下步驟：向配戴眼鏡之該使用者的該等眼睛自一光源沿一向外光路徑照射光； 使用由一影像捕捉裝置所捕捉的一影像，來偵測該使用者是配戴眼鏡的；在偵測該使用者是配戴眼鏡時，以一偏極化方式動態偏極化該光，該偏極化方式以至少60Hz的一速率在一隨機偏極化階段及一單偏極化階段之間重複切換，其中該隨機偏極化階段包括沿該向外光路徑進行之該光的一第一偏極化，及沿一反射光路徑進行之正交於該第一偏極化的一第二偏極化，且該單偏極化階段具有沿該向外光路徑及該反射光路徑中之一或更多者進行的一單偏極化，其中該向外光路徑係在該光源及該使用者之該等眼鏡之間，該反射光路徑係在該等眼鏡及該影像捕捉裝置之間；在該隨機偏極化階段期間，過濾掉自該等眼鏡反射的眩光，否則該等眩光會阻擋該眼睛的一瞳孔；在該等隨機偏極化階段期間，當該等眩光被過濾掉時，以30Hz或更高的一速率捕捉瞳孔影像；在該單偏極化階段期間，以30Hz或更高的一速率捕捉反光影像；基於該等瞳孔影像中所識別的瞳孔特性及時間上在該等瞳孔影像附近所捕捉之該等反光影像中所識別的反光特性，以至少30Hz的一速率重複偵測該等凝視位置；偵測該使用者沒有配戴眼鏡；在偵測該使用者沒有配戴眼鏡時，避免以該偏極化方式動態偏極化該光，該偏極化方式在該隨機偏極化階段及該單偏極化階段之間重複切換；及 以30Hz或更高的一速率在該等單偏極化階段期間捕捉該等瞳孔影像及該等反光影像。
  20. 如請求項19所述之方法，其中動態偏極化該光的步驟包括以下步驟：在該第一偏極化及正交於該第一偏極化的該第二偏極化之間變換一可切換偏極化過濾器。
TW104100433A 2014-02-26 2015-01-07 偏極化凝視追蹤 TW201533613A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/191,305 US9330302B2 (en) 2014-02-26 2014-02-26 Polarized gaze tracking

Publications (1)

Publication Number Publication Date
TW201533613A true TW201533613A (zh) 2015-09-01

Family

ID=52630498

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104100433A TW201533613A (zh) 2014-02-26 2015-01-07 偏極化凝視追蹤

Country Status (6)

Country Link
US (1) US9330302B2 (zh)
EP (1) EP3111369A1 (zh)
KR (1) KR102368457B1 (zh)
CN (1) CN106062776B (zh)
TW (1) TW201533613A (zh)
WO (1) WO2015130580A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292017B (zh) * 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
ES2742416T3 (es) * 2014-12-10 2020-02-14 Ericsson Telefon Ab L M Dispositivo y método de imagen corneal
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
WO2016127204A1 (en) * 2015-02-12 2016-08-18 Seeing Machines Limited Automotive phone docking station for enhanced driving safety
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
KR20230004905A (ko) * 2015-11-10 2023-01-06 루미리즈 홀딩 비.브이. 적응형 광원
CN108431820B (zh) * 2015-12-07 2021-12-03 达美生物识别科技有限公司 用于基于双折射的生物认证的方法和装置
JP2017169803A (ja) * 2016-03-23 2017-09-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20180081434A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
US10438414B2 (en) 2018-01-26 2019-10-08 Microsoft Technology Licensing, Llc Authoring and presenting 3D presentations in augmented reality
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10417784B1 (en) * 2018-06-29 2019-09-17 Facebook Technologies, Llc Boundary region glint tracking
KR102004504B1 (ko) * 2018-08-28 2019-07-26 에스케이텔레콤 주식회사 전방 상향 시현용 광학시스템
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
CN109581655B (zh) * 2019-01-08 2021-06-29 北京七鑫易维信息技术有限公司 一种抑制透镜反光的眼球追踪系统及眼球追踪方法
US11861941B1 (en) 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
CN109767602A (zh) * 2019-03-14 2019-05-17 钧捷智能（深圳）有限公司 一种全天候疲劳驾驶预警系统用摄像头
US11073906B1 (en) * 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
US11694723B2 (en) * 2020-06-16 2023-07-04 Samuel Chi Hong Yau Removing visual content representing a reflection of a screen
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US20220252924A1 (en) 2021-02-11 2022-08-11 Seeing Machines Limited Cabin monitoring with electrically switched polarization
BE1029378B1 (fr) * 2021-05-05 2022-12-05 P³Lab Procede de traitement d'images
KR102598322B1 (ko) * 2021-11-05 2023-11-02 연세대학교 산학협력단 안구 운동 측정 장치 및 방법
CN114596613A (zh) * 2022-03-03 2022-06-07 浙江大华技术股份有限公司 一种人脸识别方法和设备
KR20250039783A (ko) * 2023-09-14 2025-03-21 삼성전자주식회사 시선 추적을 위한 전자 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US20020089744A1 (en) 2000-01-13 2002-07-11 Myers Kenneth J. Masked split image stereoscopic system and method
US6492635B2 (en) 2001-01-09 2002-12-10 Dror Simchoni Method and device for automatically controlling a polarizing filter
AU2002233323A1 (en) 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
JP2006520570A (ja) * 2003-03-14 2006-09-07 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 三次元映像による会議開催
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
EP1820142A4 (en) 2004-12-07 2010-03-10 Aoptix Technologies IRISIZATION WITH THE HELP OF THE EYE REFLECTION
US7418115B2 (en) 2004-12-07 2008-08-26 Aoptix Technologies, Inc. Iris imaging using reflection from the eye
US20060215076A1 (en) 2005-03-22 2006-09-28 Karim John H Selective light transmitting and receiving system and method
US8807751B2 (en) 2008-04-22 2014-08-19 Annidis Health Systems Corp. Retinal fundus surveillance method and apparatus
CN102292017B (zh) 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
US20100231700A1 (en) 2009-03-10 2010-09-16 Lsi Industries, Inc. 3d screen with modular polarized pixels
WO2010136762A1 (en) 2009-05-28 2010-12-02 Milan Momcilo Popovich Apparatus for providing a 3d display
US20110170061A1 (en) 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light
US20110170060A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US20120218253A1 (en) 2011-02-28 2012-08-30 Microsoft Corporation Adjusting 3d effects for wearable viewing devices
GB2498954B (en) 2012-01-31 2015-04-15 Samsung Electronics Co Ltd Detecting an object in an image

Also Published As

Publication number Publication date
US20150242680A1 (en) 2015-08-27
CN106062776B (zh) 2019-04-30
CN106062776A (zh) 2016-10-26
KR20160126060A (ko) 2016-11-01
KR102368457B1 (ko) 2022-02-25
US9330302B2 (en) 2016-05-03
EP3111369A1 (en) 2017-01-04
WO2015130580A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
KR102368457B1 (ko) 편광 시선 추적
KR102283747B1 (ko) 시선 추적을 갖는 타겟 위치결정
US9465991B2 (en) Determining lens characteristics
US9977492B2 (en) Mixed reality presentation
RU2663477C2 (ru) Навигация по пользовательскому интерфейсу
US9773170B2 (en) Pupil detection
KR102291777B1 (ko) 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법
JP2020013601A (ja) 目追跡でのグレアに対処すること
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
KR20160071404A (ko) 사용자 인터페이스 프로그래밍적 스케일링
KR20160148557A (ko) 월드 락 디스플레이의 품질 피드백 기법
KR20160132411A (ko) 제스처 파라미터 튜닝
WO2014116467A1 (en) Mixed reality experience sharing
HK1234172A1 (zh) 在眼睛追踪中处理眩光