[go: up one dir, main page]

TWI792033B - 穿戴式眼動追蹤系統 - Google Patents

穿戴式眼動追蹤系統 Download PDF

Info

Publication number
TWI792033B
TWI792033B TW109127042A TW109127042A TWI792033B TW I792033 B TWI792033 B TW I792033B TW 109127042 A TW109127042 A TW 109127042A TW 109127042 A TW109127042 A TW 109127042A TW I792033 B TWI792033 B TW I792033B
Authority
TW
Taiwan
Prior art keywords
light
user
eye
face
display module
Prior art date
Application number
TW109127042A
Other languages
English (en)
Other versions
TW202207706A (zh
Inventor
方亮
簡韶逸
Original Assignee
見臻科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 見臻科技股份有限公司 filed Critical 見臻科技股份有限公司
Priority to TW109127042A priority Critical patent/TWI792033B/zh
Priority to CN202010885968.2A priority patent/CN114077060A/zh
Priority to US17/177,210 priority patent/US20220043510A1/en
Publication of TW202207706A publication Critical patent/TW202207706A/zh
Application granted granted Critical
Publication of TWI792033B publication Critical patent/TWI792033B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

眼動追蹤系統包含可透光顯示模組、反射鏡、成像系統，以及計算單元。可透光顯示模組包含一第一側和一第二側。成像系統設置在可透光顯示模組之第二側，其包含鏡頭和影像感測器。鏡頭上覆有一鍍膜塗層，用來接收使用者臉部反射的光線。影像感測器用來依據使用者之臉部反射的光線提供一眼部影像。計算單元用來分析眼部影像以求出使用者的眼部特徵信息，其中當使用者穿戴上眼動追蹤系統後，使用者之臉部位於可透光顯示模組之第一側。

Description

穿戴式眼動追蹤系統
本發明相關於一種穿戴式眼動追蹤系統，尤指一種廣視角之穿戴式眼動追蹤系統。
虛擬實境(virtual reality,VR)是利用電腦技術模擬出一個立體且高擬真的三維空間，當使用者穿戴特殊顯示裝置執行VR應用時會產生好像處在現實中的錯覺。擴增實境(augmented reality,AR)是一種將虛擬資訊擴增到現實空間中的技術，相較於取代現實空間的VR，AR是在現實空間中添加虛擬物件。混合實境(mixed reality,MR)則是把現實世界與虛擬世界合併在一起，從而建立出一個新的環境以及符合一般視覺上所認知的虛擬影像，其中現實世界中的物件能夠與數位世界中的物件共同存在並且即時的產生互動。現有VR/AR/MR的應用多半是透過雙手控制搖桿或是觸控面板來操作，但在不同場所需要隨時攜帶這些控制裝置，在使用上並不便利。若是將眼動追蹤(eye-tracking)的技術應用在VR/AR/MR領域，使用者可輕易地將眼睛變成操作介面，透過眼睛注視點、聚焦點和特定細微動作即可完成選取或點擊物件的動作。
針對VR/AR/MR應用，先前技術通常使用紅外光光源、顯示 模組、成像系統，以及計算單元來提供眼動追蹤。成像系統會設置在顯示模組的旁邊，當光源照射使用者臉部時，成像系統可捕捉包含光源反射點之使用者臉部影像，再由計算單元依據使用者臉部影像來分析出使用者的眼球運動和注視位置等資訊。然而，此種架構容易因成像系統的拍攝角度過大而無法準確獲取使用者臉部影像。
針對VR/AR/MR應用，另一種先前技術會在顯示模組中另設置一光學元件，例如一熱鏡。光學元件可改變特定波段光線之行進路徑，亦即特定波段之光線導向將成像系統。在此種架構下，成像系統可設置在不會遮蔽使用者視線之位置，並依據特定波段之光線間接地可捕捉使用者臉部影像，再由計算單元依據使用者臉部影像分析出使用者的眼睛運動和注視位置等資訊。然而，此種架構需提供光學元件額外設置空間，難以實現在緊實且短適眼距離的頭戴式顯示器(head-mounted display,HMD)或近眼顯示模組中。
本發明另提供一種眼動追蹤系統，其包含一可透光顯示模組、一成像系統，以及一計算單元。該可透光顯示模組包含一第一側和一第二側。該成像系統設置在該可透光顯示模組之該第二側，其包含一鏡頭和一影像感測器。該鏡頭上覆有一鍍膜塗層，用來接收一使用者之臉部反射的光線。該影像感測器用來依據該使用者之臉部反射的光線提供一眼部影像。該計算單元用來分析該眼部影像以求出該使用者的一眼部特徵信息，其中當該使用者穿戴上該眼動追蹤系統後，該使用者之臉部位於該可透光顯示模組之該第一側。
本發明另提供一種眼動追蹤系統，其包含一可透光顯示模組、一反射鏡、一成像系統，以及一計算單元。該可透光顯示模組包含一第一側和一第二側，設置在一第一成像光路上。該反射鏡設置在該可透光顯示模組之該第二側，用來接收在被一使用者之臉部反射後沿著一第二成像光路行進的光線，並將該使用者之臉部反射的光線導向沿著該第一成像光路行進。該成像系統設置在該第一成像光路上且位於該可透光顯示模組之該第一側或平行位置，用來依據該使用者之臉部反射的光線提供一眼部影像。該計算單元用來分析該眼部影像以求出該使用者的一眼部特徵信息。
本發明另提供一種眼動追蹤系統，其包含一反射鏡、一可透光顯示模組，以及一計算單元。該反射鏡用來接收在被一使用者之臉部反射後沿著一第一成像光路行進的光線，使一部分該使用者之臉部反射的光線穿透，並將另一部分光線導向沿著一第二成像光路行進。該可透光顯示模組設置在該第二成像光路上。該成像系統設置在反射鏡背面位於該第一成像光路的延伸路徑上，或設置在與該可透光顯示模組相同深度的一平面上，用來依據該使用者之臉部反射的光線提供一眼部影像。該計算單元，用來分析該眼部影像以求出該使用者的一眼部特徵信息。
10:使用者
21、22:可透光顯示模組
21A:透鏡
22B:微型顯示屏
30:成像系統
32:鏡頭
34:影像感測器
35:反射鏡
36:光學鍍膜塗層
40:計算單元
50:光源
101~106:眼球追蹤系統
S1、S2:成像光路
第1圖為本發明實施例中一種針對VR應用之穿戴式眼動追蹤系統的示 意圖。
第2圖為本發明實施例中一種針對VR應用之穿戴式眼動追蹤系統的示意圖。
第3A和3B圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統的示意圖。
第4圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統的示意圖。
第5圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統的示意圖。
第6圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統的示意圖。
第1圖為本發明實施例中一種針對VR應用之穿戴式眼動追蹤系統101的示意圖。第2圖為本發明實施例中一種針對VR應用之穿戴式眼動追蹤系統102的示意圖。第3A和3B圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統103的示意圖。第4圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統104的示意圖。第5圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統105的示意圖。第6A和6B圖為本發明實施例中一種針對AR/MR應用之穿戴式眼動追蹤系統106的示意圖。
在第1圖和第2圖所示之實施例中，眼動追蹤系統101和102各包含一可透光顯示模組21、一成像系統30、一計算單元40，以及一光 源50。可透光顯示模組21包含一透鏡21A和一微型顯示屏21B，透鏡21A可將微型顯示屏21B提供的近距離實像放大成虛像以在使用者10的視網膜清晰成像，進而提供虛擬全景空間。眼動追蹤系統101和102採用單一直線成像光路設計，當使用者10穿戴上眼動追蹤系統101或102後，使用者10臉部和成像系統30會分別位於可透光顯示模組21兩對向側之相對應位置，使得使用者10臉部反射的光線會沿著單一成像光路(由箭頭S1表示)行進，並在通過可透光顯示模組21後抵達成像系統30。在另一實施例中，可透光顯示模組21可包含複數個透鏡21A和一微型顯示屏21B，沿一成像光路S1抵達透鏡組21A之光線，可於複數個透鏡21A內進行多次反射或折射，並沿成像光路S1離開透鏡組21A。然而，可透光顯示模組21所包含之透鏡數目並不限定本發明之範疇。
在第3A和3B圖所示之實施例中，眼動追蹤系統103包含一可透光顯示模組21、一成像系統30、一反射鏡35、一計算單元40，以及一光源50。可透光顯示模組21包含一透鏡21A和一微型顯示屏21B，透鏡21A可將微型顯示屏21B提供的近距離實像放大成虛像，該虛像經由反射鏡35的反射可在使用者10的視網膜清晰成像，進而提供虛擬全景空間。反射鏡35可為一半自由曲面反射鏡或透鏡，但反射鏡35之實施方式並不限定本發明之範疇。
在第3A圖所示之實施例中，眼動追蹤系統103採用反射成像光路設計，當使用者10穿戴上眼動追蹤系統103後，反射鏡35和成像系統30會分別位於可透光顯示模組21之兩對向側之相對應位置，使得使用者10臉部反射的光線會沿著第一成像光路(由箭頭S1表示)抵達反射 鏡35，再由反射鏡35改變其行進方向而導向沿著第二成像光路(由箭頭S2表示)來抵達成像系統30。在另一實施例中，成像系統30可位於與可透光顯示顯示模組21相同深度或類似深度的平面上，例如設置在可透光顯示顯示模組21的側邊。
在圖3B所示之實施例中，當使用者10穿戴上眼動追蹤系統103後，使用者10臉部和成像系統30會分別位於反光鏡35的兩對向側之相對應位置，使用者10臉部反射的光線會沿著第一成像光路S1抵達反射鏡35，其中符合特定光學條件的光線會穿透反射鏡35繼續沿第一成像光路S1的延伸路徑抵達成像系統30；其餘光線則由反射鏡35改變其行進方向而導向沿著第二成像光路S2前進。在此實施例中，特定光學條件可為特定波長範圍的光線、或抵達反射鏡35的光線總量的一定比例。
在第4圖和第5圖所示之實施例中，眼動追蹤系統104和105各包含一可透光顯示模組22、一成像系統30、一計算單元40，以及一光源50。可透光顯示模組22可為一光學組合器，用來透過「層疊」的形式來將虛擬信息和真實場景融為一體。眼動追蹤系統104和105採用單一直線成像光路設計，當使用者10穿戴上眼動追蹤系統104或105後，使用者10臉部和成像系統30會分別位於可透光顯示模組22兩對向側之相對應位置，使得使用者10臉部反射的光線會沿著單一成像光路(由箭頭S1表示)行進，並在通過可透光顯示模組22後抵達成像系統30。
在第6A和6B圖所示之實施例中，眼動追蹤系統106包含一可 透光顯示模組22、一成像系統30、一可透光反射鏡35、一計算單元40，以及一光源50。可透光顯示模組22可為一光學組合器，用來透過「層疊」的形式來將虛擬信息和真實場景融為一體。反射鏡35可為一半自由曲面反射鏡或透鏡，但反射鏡35之實施方式並不限定本發明之範疇。
在第6A圖所示之實施例中，眼動追蹤系統106採用反射成像光路設計，當使用者10穿戴上眼動追蹤系統106後，反射鏡35和成像系統30會分別位於可透光顯示模組22之兩對向側之相對應位置，使得使用者10臉部反射的光線會沿著第一成像光路(由箭頭S1表示)抵達反射鏡35，再由反射鏡35改變其行進方向而導向沿著第二成像光路(由箭頭S2表示)來抵達成像系統30。在另一實施例中，成像系統30可位於與可透光顯示顯示模組22相同深度或類似深度的平面上，例如設置在可透光顯示顯示模組22的側邊。
在圖6B所示之實施例中，當使用者10穿戴上眼動追蹤系統106後，使用者10臉部與成像系統30會分別位於反射鏡35的兩對向側之相對應位置，使用者10臉部反射的光線會沿第一成像光路S1抵達反射鏡，抵達反射鏡35的光線中具特定光學條件的光線會穿透反射鏡35繼續沿第一成像光路S1的延伸路徑抵達成像系統30，其餘未具特定光學條件之光線則由反射鏡35改變其行進方向而導向沿著第二成像光路S2前進。在此實施例中，特定光學條件可為特定波長範圍的光線，或抵達反射鏡35的光線總量的一定比例。
在眼動追蹤系統101~106中，成像系統30包含一鏡頭32和一 影像感測器34，可依據使用者10臉部反射的光線來偵測使用者10的眼部影像。影像感測器34可採用感光耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)或其他具類似功能之元件，用來將探測到的光學信號轉換成類比訊號，再進行類比/數位轉換和色彩調整等處理以提供數位化的影像資訊。在一實施例中，成像系統30包含分離設置之鏡頭32和影像感測器34。在另一實施例中，可使用半導體製程將鏡頭32直接製作在影像感測器34上。然而，影像感測器34之種類和實作方式並不限定本發明之範疇。
當使用者10穿戴上眼動追蹤系統101~106後，光源50可提供照亮使用者10臉部之光線。在眼動追蹤系統101和104中，光源50和成像系統30位於顯示模組20之同一側，而使用者10臉部位於顯示模組20之另一側，亦即光源50設置在較為接近成像系統30的位置。在眼動追蹤系統102和105中，光源50和使用者10臉部位於顯示模組20之同一側，而成像系統30位於顯示模組20之另一側，亦即光源50設置在較為接近使用者10臉部的位置。在眼動追蹤系統103和106中，光源50可設置在任何適合照亮使用者10臉部之的位置。光源50可包含一個或多個發光二極體(light emitting diode,LED)元件，眼動追蹤系統101~103或104~105在運作時可依據環境亮度來隨時調節光源50的開關與亮度。然而，光源50之設置位置或種類並不限定本發明之範疇。
在眼動追蹤系統101~106中，成像系統30之鏡頭32上可覆有提供截止濾波(cut filtering)或帶通濾波(band-pass filtering)功能的光學 鍍膜塗層36，藉以提高影像感測器34所偵測到的影像品質。
計算單元40可分析成像系統30所提供之眼部影像，以求出使用者10的眼部特徵信息。上述眼部特徵信息可包含使用者的視線方向、眨眼次數、眼皮開闔程度、虹膜狀態、瞳孔大小，以及其它可辨識使用者10身份和精神狀態的訊息，進而計算出使用者10的眼睛注視位置、眼球運動和臉部圖像等資訊。在本發明實施例中，計算單元40可為提供眼動追蹤及相關功能之一特殊應用積體電路(application-specific integrated circuit,ASIC)晶片、一現場可程式化邏輯閘陣列(field programmable gate array,FPGA)、一加速處理器(accelerated processing unit,APU)，或一中央處理器(central processing unit,CPU)。然而，計算單元40之實作方式並不限定本發明之範疇。
綜上所述，在本發明穿戴式眼動追蹤系統中，成像系統是隔著可透光顯示模組設置在使用者臉部的相對面，或是設置在反射成像光路上，因此可以提供廣視角的眼動追蹤功能。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:使用者
21:可透光顯示模組
21A:透鏡
21B:微型顯示屏
30:成像系統
32:鏡頭
34:影像感測器
36:光學鍍膜塗層
40:計算單元
50:光源
101:眼球追蹤系統
S1:成像光路

Claims (10)

  1. 一種穿戴式眼動追蹤系統，其包含：一可透光顯示模組，其包含：一第一側；一第二側；一微型顯示屏，用來提供一近距離實像；以及一透鏡，用來將該近距離實像放大成一虛像以提供一虛擬全景空間；一成像系統，設置在該可透光顯示模組之該第二側，其包含：一鏡頭，其上覆有一鍍膜塗層，用來接收一使用者之臉部反射的光線；以及一影像感測器，用來依據該使用者之臉部反射的光線提供一眼部影像；以及一計算單元，用來分析該眼部影像以求出該使用者的一眼部特徵信息，其中當該使用者穿戴上該眼動追蹤系統後，該使用者之臉部位於該可透光顯示模組之該第一側。
  2. 一種穿戴式眼動追蹤系統，其包含：一反射鏡，用來接收在被一使用者之臉部反射後沿著一第一成像光路行進的光線，並將該使用者之臉部反射的光線導向沿著一第二成像光路行進；一可透光顯示模組，設置在該第二成像光路上，其包含：一第一側，其中該反射鏡設置在該可透光顯示模組之該第一側； 一第二側；一微型顯示屏，用來提供一近距離實像；以及一透鏡，用來將該近距離實像放大成一虛像以提供一虛擬全景空間一成像系統，設置在該第二成像光路上且位於該可透光顯示模組之該第二側，用來依據該使用者之臉部反射的光線提供一眼部影像；以及一計算單元，用來分析該眼部影像以求出該使用者的一眼部特徵信息。
  3. 一種穿戴式眼動追蹤系統，其包含：一反射鏡，用來接收在被一使用者之臉部反射後沿著一第一成像光路行進的光線，使一部分該使用者之臉部反射的光線穿透，並將另一部分光線導向沿著一第二成像光路行進；一可透光顯示模組，設置在該第二成像光路上，其包含：一微型顯示屏，用來提供一近距離實像；以及一透鏡，用來將該近距離實像放大成一虛像以提供一虛擬全景空間；一成像系統，設置在反射鏡背面位於該第一成像光路的延伸路徑上，或設置在與該可透光顯示模組相同深度或類似深度的一平面上，用來依據該使用者之臉部反射的光線提供一眼部影像；以及一計算單元，用來分析該眼部影像以求出該使用者的一眼部特徵信息。
  4. 如請求項1至3中任一項所述之穿戴式眼動追蹤系統，其中該成像系統中的該鏡頭和該影像感測器彼此分離設置，或是使用一半導體製程將該鏡頭直接製作在該像感測器上。
  5. 如請求項1至3中任一項所述之穿戴式眼動追蹤系統，其中該眼部特徵信息包含該使用者的一視線方向、一眨眼次數、一眼皮開闔程度、一虹膜狀態，或一瞳孔大小。
  6. 如請求項1至3中任一項所述之穿戴式眼動追蹤系統，其中該計算單元包含一特殊應用積體電路(application-specific integrated circuit,ASIC)晶片、一現場可程式化邏輯閘陣列(field programmable gate array,FPGA)、一加速處理器(accelerated processing unit,APU)，或一中央處理器(central processing unit,CPU)。
  7. 如請求項1所述之穿戴式眼動追蹤系統，其另包含一光源，設置在該可透光顯示模組之該第一側或該第二側，用來提供照亮該使用者之臉部的光源。
  8. 如請求項2至3所述之穿戴式眼動追蹤系統，其另包含一光源，用來提供照亮該使用者之臉部的光源。
  9. 如請求項1至3中任一項所述之穿戴式眼動追蹤系統，其 中該成像系統包含：一鏡頭，其上覆有一鍍膜塗層，用來接收該使用者之臉部反射的光線；以及一影像感測器，用來依據該使用者之臉部反射的光線來提供該眼部影像。
  10. 如請求項11所述之穿戴式眼動追蹤系統，其中成像系統包含一覆有一鍍膜塗層的鏡頭，且該鍍膜塗層具有供截止濾波(cut filtering)或帶通濾波(band-pass filtering)功能。
TW109127042A 2020-08-10 2020-08-10 穿戴式眼動追蹤系統 TWI792033B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109127042A TWI792033B (zh) 2020-08-10 2020-08-10 穿戴式眼動追蹤系統
CN202010885968.2A CN114077060A (zh) 2020-08-10 2020-08-28 穿戴式眼动追踪系统
US17/177,210 US20220043510A1 (en) 2020-08-10 2021-02-17 Wearable eye-tracking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109127042A TWI792033B (zh) 2020-08-10 2020-08-10 穿戴式眼動追蹤系統

Publications (2)

Publication Number Publication Date
TW202207706A TW202207706A (zh) 2022-02-16
TWI792033B true TWI792033B (zh) 2023-02-11

Family

ID=80114979

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127042A TWI792033B (zh) 2020-08-10 2020-08-10 穿戴式眼動追蹤系統

Country Status (3)

Country Link
US (1) US20220043510A1 (zh)
CN (1) CN114077060A (zh)
TW (1) TWI792033B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114660803B (zh) * 2022-03-07 2024-05-31 玩出梦想(上海)科技有限公司 一种屏下眼动追踪系统
CN116953922A (zh) * 2022-04-13 2023-10-27 北京七鑫易维信息技术有限公司 一种眼球追踪装置及头戴式显示设备
CN115963629B (zh) * 2023-01-17 2025-09-16 富泰华工业（深圳）有限公司 头戴式设备
WO2024191436A1 (en) * 2023-03-14 2024-09-19 Qualcomm Incorporated Extended reality headset with shared ocular region sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284980A1 (en) * 2005-10-10 2008-11-20 Tobii Technology Ab Eye Tracker Having an Extended Span of Operating Distances
US20170083044A1 (en) * 2015-09-18 2017-03-23 Everdisplay Optronics (Shanghai) Limited Transparent display device
TW201902212A (zh) * 2017-05-15 2019-01-01 美商谷歌有限責任公司 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
TW201908812A (zh) * 2017-06-01 2019-03-01 美商帕戈技術股份有限公司 用於眼鏡之可拆卸地可附接擴增實境系統
TW201917446A (zh) * 2017-10-02 2019-05-01 美商谷歌有限責任公司 使用具有小面化組合器的光導之眼動追蹤
TW202008033A (zh) * 2018-07-30 2020-02-16 宏達國際電子股份有限公司 頭戴式顯示器及其使用方法
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438111A (zh) * 2011-09-20 2012-05-02 天津大学 一种基于双阵列图像传感器的三维测量芯片及系统
NZ627582A (en) * 2012-01-24 2016-11-25 Univ Arizona State Compact eye-tracked head-mounted display
WO2015066332A1 (en) * 2013-10-30 2015-05-07 Technology Against Als Communication and control system and method
CN107852474B (zh) * 2015-08-11 2021-01-08 索尼互动娱乐股份有限公司 头戴式显示器
CN110850594B (zh) * 2018-08-20 2022-05-17 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
CN111399633B (zh) * 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284980A1 (en) * 2005-10-10 2008-11-20 Tobii Technology Ab Eye Tracker Having an Extended Span of Operating Distances
US20170083044A1 (en) * 2015-09-18 2017-03-23 Everdisplay Optronics (Shanghai) Limited Transparent display device
TW201902212A (zh) * 2017-05-15 2019-01-01 美商谷歌有限責任公司 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
TW201908812A (zh) * 2017-06-01 2019-03-01 美商帕戈技術股份有限公司 用於眼鏡之可拆卸地可附接擴增實境系統
TW201917446A (zh) * 2017-10-02 2019-05-01 美商谷歌有限責任公司 使用具有小面化組合器的光導之眼動追蹤
TW202008033A (zh) * 2018-07-30 2020-02-16 宏達國際電子股份有限公司 頭戴式顯示器及其使用方法
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays

Also Published As

Publication number Publication date
TW202207706A (zh) 2022-02-16
CN114077060A (zh) 2022-02-22
US20220043510A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
TWI792033B (zh) 穿戴式眼動追蹤系統
US12455630B2 (en) See-through computer display systems
JP7076891B2 (ja) 視標追跡機能を備えるヘッドマウント式ディスプレイ
US11796799B2 (en) See-through computer display systems
CN107515466B (zh) 一种眼球追踪系统和眼球追踪方法
RU2623708C2 (ru) Компактный наголовный дисплей с отслеживанием движения глаз
US10592739B2 (en) Gaze-tracking system and method of tracking user's gaze
US20190235236A1 (en) Gaze-tracking system and aperture device
CN211454097U (zh) 一种头戴设备的眼球追踪装置以及头戴设备
KR20170118618A (ko) 눈 촬영 장치
US12105281B2 (en) See-through computer display systems
JP2025157255A (ja) 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
US20250362511A1 (en) Eye tracking head mounted display device
WO2016101861A1 (zh) 头戴式显示装置
US11988828B1 (en) Multi-pupil display and eye-tracking with interferometric sensing
US20250216671A1 (en) Eye tracking device
CN114252998B (zh) 近眼显示装置
CN113795783A (zh) 用于头戴式显示器的与显示器集成的成像设备
Järvenpää et al. Highly integrated near-to-eye display and gaze tracker
CN117706773A (zh) 显示装置及显示系统
HK40079112B (zh) 用於头戴式显示器的与显示器集成的成像设备
CN116149051A (zh) 一种透镜组件、红外补光方法及眼动跟踪方法和系统
TW202101296A (zh) 圖像採集裝置及電子設備