[go: up one dir, main page]

TWI676821B - 適應性視線追蹤的校正方法 - Google Patents

適應性視線追蹤的校正方法 Download PDF

Info

Publication number
TWI676821B
TWI676821B TW107144502A TW107144502A TWI676821B TW I676821 B TWI676821 B TW I676821B TW 107144502 A TW107144502 A TW 107144502A TW 107144502 A TW107144502 A TW 107144502A TW I676821 B TWI676821 B TW I676821B
Authority
TW
Taiwan
Prior art keywords
eyeball model
preset
pupil data
gaze tracking
item
Prior art date
Application number
TW107144502A
Other languages
English (en)
Other versions
TW202022432A (zh
Inventor
簡韶逸
Shao-Yi Chien
方亮
Liang Fang
Original Assignee
國立臺灣大學
National Taiwan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學, National Taiwan University filed Critical 國立臺灣大學
Priority to TW107144502A priority Critical patent/TWI676821B/zh
Priority to CN201910134285.0A priority patent/CN111308697B/zh
Priority to US16/299,026 priority patent/US10895910B2/en
Application granted granted Critical
Publication of TWI676821B publication Critical patent/TWI676821B/zh
Publication of TW202022432A publication Critical patent/TW202022432A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種適應性視線追蹤的校正方法，包含產生一眼球模型，作為當前眼球模型；校正眼球模型；當發生預設事件時，比較即時瞳孔數據集與當前眼球模型相應的瞳孔數據集，以得到瞳孔數據差值；及如果瞳孔數據差值大於預設臨界值，則產生新的眼球模型。

Description

適應性視線追蹤的校正方法
本發明係有關視線追蹤，特別是關於一種適應性視線追蹤的校正方法。
視線追蹤(eye tracking)是一種使用感測裝置以得到人眼注視位置(gaze position)的技術。視線追蹤裝置(又稱眼動儀)根據配置位置可分為遠距型(remote)與攜帶型(mobile)兩大類。遠距型的視線追蹤裝置距離人眼至少為數十公分以上，因此準確度較低。攜帶型的視線追蹤裝置設置於人眼附近，例如設置於眼鏡架上，可達成較高的準確度。然而，於進行追蹤時，視線追蹤裝置的電源須持續開啟，因此使用時間受到限制，例如僅能使用數小時。
視線追蹤裝置可適用於各種的應用場合。例如，使用視線追蹤裝置於醫療照護(healthcare)，可輔助偵測眨眼來改善或預防乾眼症狀。使用視線追蹤裝置於車用安全，可對駕駛進行專注力分析以預防疲勞駕駛的情形發生。使用視線追蹤裝置於虛擬實境(VR)或擴增實境(AR)，可輔助收集資訊，使虛擬實境或擴增實境達到更好的效能。
於使用視線追蹤裝置之前，通常需進行校正程序。第一圖顯示傳統視線追蹤校正的示意圖。傳統視線追蹤的校正程序主要係藉由偵測反射點位置以得到眼球模型與光軸(optical axis)，且藉由校正點可得到視軸(visual axis)。最後，計算光軸與視軸兩者的差值，以完成校正。
傳統視線追蹤裝置於持續使用過程中或使用者再次使用同一裝置時，其位置不可避免的會發生變動或滑動，因而造成追蹤誤差或錯誤。因此亟需提出一種新穎的視線追蹤校正方法，用以改善傳統視線追蹤裝置的缺失。
鑑於上述，本發明實施例的目的之一在於提出一種適應性視線追蹤的校正方法，可適用於視線追蹤裝置以得到人眼的注視位置。當視線追蹤裝置的位置發生變動時，本實施例可適應性自動完成補償或自動進行校正，以避免追蹤誤差或錯誤。
根據本發明實施例，適應性視線追蹤的校正方法包含以下步驟：(a)產生一眼球模型，作為當前眼球模型；(b)校正眼球模型；(c)當發生預設事件時，比較即時瞳孔數據集與當前眼球模型相應的瞳孔數據集，以得到瞳孔數據差值；及(d)如果瞳孔數據差值大於預設臨界值，則產生新的眼球模型。
第二圖顯示本發明實施例之適應性(adaptive)視線追蹤(eye tracking)的校正方法200的流程圖，可用以自動校正視線追蹤裝置以得到人眼的注視位置(gaze position)。本實施例可適用於遠距型(remote)視線追蹤裝置，例如視線追蹤裝置與人眼相距0.5公尺。本實施例也可適用於攜帶型(mobile)視線追蹤裝置，例如穿戴式電腦眼鏡(wearable computer glasses)，或稱為智慧型眼鏡(smart glasses)。第三圖例示智慧型眼鏡的立體圖，主要包含鏡腿(leg)31、鏡框(frame)33及鏡片34。智慧型眼鏡還包含控制盒32，可設於鏡框33或鏡腿31上。控制盒32內可設有處理器(例如數位影像處理器)，用以執行本實施例之校正方法200。控制盒32內還可設有視線追蹤裝置的其他元件，例如感測器、發光器(illuminator)等。
在本實施例中(如第二圖所示)，於步驟21，接收複數瞳孔影像以得到相應的瞳孔數據集，據以產生眼球模型，作為當前(current)眼球模型。根據所產生的眼球模型，可得到光軸(optical axis)，其代表瞳孔向量。在本實施例中，眼球模型的產生可使用傳統方法來產生，其細節不予贅述。
接著，於步驟22，使用至少一個校正點以得到視軸(visual axis)，再根據視軸與光軸之間的差值，對(步驟21產生的)眼球模型進行校正。在本實施例中，根據校正點與光軸，計算得到旋轉矩陣，據以進行旋轉匹配而補償視軸與光軸之間的差值，因而完成校正。
於校正完成後，視線追蹤裝置即可開始進行視線追蹤。然而，於持續使用過程中或使用者再次使用同一裝置時，視線追蹤裝置(例如智慧型眼鏡)的位置不可避免的會發生變動或滑動。鑑於此，本實施例於後續的步驟當中，進行適應性的自動補償或自動校正，以避免追蹤誤差或錯誤。
於步驟23，判斷是否發生預設事件(event)。在一實施例中，使用計時器以計數是否已達預設期間(time interval)。若已達預設期間(表示發生預設事件)，則流程進入步驟24；否則，重複執行步驟23。藉此，本實施例即可定時執行後續步驟所進行的適應性自動補償或自動校正。在本說明書中，預設一詞可指系統開機時所設定的，也可為系統使用期間所動態設定的。
在另一替代(alternative)實施例中，步驟23係等待一或多個事件源(event source)，當事件源發出觸發(trigger)或通知(notification)時(表示發生預設事件)，則流程進入步驟24；否則，重複執行步驟23。藉此，本實施例即可於需要時執行後續步驟所進行的適應性自動補償或自動校正。
於步驟24，(當發生預設事件時)接收複數即時(real-time)瞳孔影像以得到相應的即時瞳孔數據集，據以和當前眼球模型相應的瞳孔數據集進行比較，以得到兩者之間的瞳孔數據(絕對)差值。如果瞳孔數據差值大於預設臨界值(表示當前眼球模型相應的瞳孔數據集已經產生實質的誤差，或者表示當前眼球模型的中心與相應光軸之間的幾何距離過大且其分佈過於分散)，則進入步驟21以產生新的眼球模型，作為當前(current)眼球模型。如前所述，步驟23當中的預設期間是可以動態設定的。例如，當瞳孔數據差值愈大，則將預設期間設得愈小，使得本實施例之校正方法200的執行頻率變高。相反的，當瞳孔數據差值愈小，則將預設期間設得愈大，使得本實施例之校正方法200的執行頻率變低。
如果步驟24當中瞳孔數據差值未大於預設臨界值(表示當前眼球模型相應的瞳孔數據集未產生實質的誤差)，則進入步驟25，使用(步驟24得到的)即時瞳孔數據集以更新當前眼球模型。
在另一替代(alternative)實施例中，如果步驟24當中瞳孔數據差值未大於預設臨界值，例如瞳孔數據差值過小(遠小於預設臨界值)，則流程直接回到步驟23(而不執行步驟25)，如虛線所示。
根據上述實施例，視線追蹤裝置於持續使用過程中或使用者再次使用同一裝置時，可能造成視線追蹤裝置的位置的變動，本實施例可適應性自動完成補償或自動進行校正，不需使用者的介入，也不會造成使用的中斷。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
200‧‧‧適應性視線追蹤的校正方法
21‧‧‧產生眼球模型
22‧‧‧校正眼球模型
23‧‧‧判斷是否發生預設事件
24‧‧‧判斷瞳孔數據差值是否大於臨界值
25‧‧‧更新眼球模型
31‧‧‧鏡腿
32‧‧‧控制盒
33‧‧‧鏡框
34‧‧‧鏡片
第一圖顯示傳統視線追蹤校正的示意圖。 第二圖顯示本發明實施例之適應性視線追蹤的校正方法的流程圖。 第三圖例示智慧型眼鏡的立體圖。

Claims (14)

  1. 一種適應性視線追蹤的校正方法，包含：(a)產生一眼球模型，作為當前眼球模型；(b)校正該眼球模型；(c)當發生預設事件時，比較即時瞳孔數據集與該當前眼球模型相應的瞳孔數據集，以得到瞳孔數據差值；及(d)如果該瞳孔數據差值大於預設臨界值，則產生新的眼球模型；其中該預設事件的判斷係等待一或多個事件源，當該事件源發出觸發或通知時則表示發生該預設事件。
  2. 根據申請專利範圍第1項所述之適應性視線追蹤的校正方法，其中該步驟(a)包含：接收複數瞳孔影像以得到相應的瞳孔數據集，據以產生該眼球模型；及根據所產生的該眼球模型，得到光軸。
  3. 根據申請專利範圍第2項所述之適應性視線追蹤的校正方法，其中該步驟(b)包含：使用至少一個校正點以得到視軸；及根據該視軸與該光軸之間的差值，對該眼球模型進行校正。
  4. 根據申請專利範圍第3項所述之適應性視線追蹤的校正方法，其中該步驟(b)包含：根據該校正點與該光軸，計算得到旋轉矩陣，據以進行旋轉匹配而補償該視軸與該光軸之間的差值，對該眼球模型進行校正。
  5. 根據申請專利範圍第1項所述之適應性視線追蹤的校正方法，其中該預設事件的判斷係使用計時器以計數是否已達預設期間，若已達預設期間則表示發生該預設事件。
  6. 根據申請專利範圍第5項所述之適應性視線追蹤的校正方法，其中該預設期間根據該瞳孔數據差值動態設定。
  7. 根據申請專利範圍第1項所述之適應性視線追蹤的校正方法，更包含：如果該瞳孔數據差值未大於該預設臨界值，則使用該即時瞳孔數據集以更新該當前眼球模型。
  8. 根據申請專利範圍第1項所述之適應性視線追蹤的校正方法，更包含：如果該瞳孔數據差值未大於該預設臨界值，則判斷是否發生該預設事件。
  9. 一種適應性視線追蹤的校正方法，包含：(a)接收複數瞳孔影像以得到相應的瞳孔數據集，據以產生一眼球模型；(b)根據所產生的該眼球模型，得到光軸；(c)使用至少一個校正點以得到視軸；(d)根據該視軸與該光軸之間的差值，對該眼球模型進行校正；(e)判斷是否發生預設事件；(f)當發生預設事件時，比較即時瞳孔數據集與該當前眼球模型相應的瞳孔數據集，以得到瞳孔數據差值；及(g)如果該瞳孔數據差值大於預設臨界值，則產生新的眼球模型；其中該步驟(e)包含等待一或多個事件源，當該事件源發出觸發或通知時則表示發生該預設事件。
  10. 根據申請專利範圍第9項所述之適應性視線追蹤的校正方法，其中該步驟(d)包含：根據該校正點與該光軸，計算得到旋轉矩陣，據以進行旋轉匹配而補償該視軸與該光軸之間的差值，對該眼球模型進行校正。
  11. 根據申請專利範圍第9項所述之適應性視線追蹤的校正方法，其中該步驟(e)包含：使用計時器以計數是否已達預設期間，若已達預設期間則表示發生該預設事件。
  12. 根據申請專利範圍第11項所述之適應性視線追蹤的校正方法，其中該預設期間根據該瞳孔數據差值動態設定。
  13. 根據申請專利範圍第9項所述之適應性視線追蹤的校正方法，更包含：如果該瞳孔數據差值未大於該預設臨界值，則使用該即時瞳孔數據集以更新該當前眼球模型。
  14. 根據申請專利範圍第9項所述之適應性視線追蹤的校正方法，更包含：如果該瞳孔數據差值未大於該預設臨界值，則執行該步驟(e)以判斷是否發生該預設事件。
TW107144502A 2018-12-11 2018-12-11 適應性視線追蹤的校正方法 TWI676821B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107144502A TWI676821B (zh) 2018-12-11 2018-12-11 適應性視線追蹤的校正方法
CN201910134285.0A CN111308697B (zh) 2018-12-11 2019-02-22 适应性视线追踪的校正方法
US16/299,026 US10895910B2 (en) 2018-12-11 2019-03-11 Adaptive eye-tracking calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107144502A TWI676821B (zh) 2018-12-11 2018-12-11 適應性視線追蹤的校正方法

Publications (2)

Publication Number Publication Date
TWI676821B true TWI676821B (zh) 2019-11-11
TW202022432A TW202022432A (zh) 2020-06-16

Family

ID=69189048

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144502A TWI676821B (zh) 2018-12-11 2018-12-11 適應性視線追蹤的校正方法

Country Status (3)

Country Link
US (1) US10895910B2 (zh)
CN (1) CN111308697B (zh)
TW (1) TWI676821B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201721516A (zh) * 2015-12-02 2017-06-16 China Unionpay Co Ltd 一種眼球追蹤的方法及裝置
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7686451B2 (en) * 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム
CN104750232B (zh) * 2013-12-28 2017-12-29 华为技术有限公司 一种眼动跟踪方法及装置
US9785233B2 (en) * 2014-04-11 2017-10-10 Facebook, Inc. Systems and methods of eye tracking calibration
CN106168853B (zh) * 2016-06-23 2019-10-01 中国科学技术大学 一种自由空间头戴式视线跟踪系统
CN107358217B (zh) * 2017-07-21 2020-01-07 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201721516A (zh) * 2015-12-02 2017-06-16 China Unionpay Co Ltd 一種眼球追蹤的方法及裝置
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Also Published As

Publication number Publication date
TW202022432A (zh) 2020-06-16
CN111308697B (zh) 2021-11-05
US20200183489A1 (en) 2020-06-11
CN111308697A (zh) 2020-06-19
US10895910B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
US8878749B1 (en) Systems and methods for position estimation
EP3123279B1 (en) Eye gaze tracking using binocular fixation constraints
US20220137704A1 (en) Gaze tracking using mapping of pupil center position
AU2015264699A1 (en) Eye gaze tracking based upon adaptive homography mapping
CN108968907A (zh) 眼动数据的校正方法及装置
AU2013331977B2 (en) Method for providing at least part of an eyewear equipment
US10706281B2 (en) Controlling focal parameters of a head mounted display based on estimated user age
CN109976514B (zh) 基于眼球误差模型的眼动数据校正方法
EP3979896A1 (en) Devices, systems and methods for predicting gaze-related parameters
WO2018145460A1 (zh) 一种智能用户体验设备及智能头盔
TWI676821B (zh) 適應性視線追蹤的校正方法
CN114967904B (zh) 视线定位方法、头戴显示设备、计算机设备及存储介质
US11973927B2 (en) Detecting eye tracking calibration errors
US12329453B2 (en) Device calibration via a projective transform matrix
CN112132755A (zh) 校正标定瞳孔位置的方法、装置、系统及计算机可读介质
US10768452B2 (en) Method for ordering an optical equipment
CN104921867B (zh) 一种检测眼镜佩戴状态的方法和装置
CN119816836A (zh) 用于虚拟眼镜试戴的设备、方法和计算机程序
CN113568498B (zh) 一种应用于vr设备的辅助对焦方法及vr设备
US11808939B2 (en) Pupil characteristic detection and spectacles correction/adjustment based thereon
CN105323374A (zh) 移动终端的多窗口任务执行方法及其移动终端
US20250204771A1 (en) System for conducting eye examinations for visual acuity
CN118349102A (zh) 扩展现实设备的控制方法、装置、电子设备及相关设备