TW201331850A - 車內眼控裝置及其方法 - Google Patents
車內眼控裝置及其方法 Download PDFInfo
- Publication number
- TW201331850A TW201331850A TW101102170A TW101102170A TW201331850A TW 201331850 A TW201331850 A TW 201331850A TW 101102170 A TW101102170 A TW 101102170A TW 101102170 A TW101102170 A TW 101102170A TW 201331850 A TW201331850 A TW 201331850A
- Authority
- TW
- Taiwan
- Prior art keywords
- eye
- command
- vehicle
- image
- control
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
一種車內眼控裝置及其方法,用以監測駕駛的眼睛動作,而對車外進行溝通或是對車內的設備進行控制,主要包含有擷取駕駛影像的取像單元,處理單元對所取得的影像進行運算處理,眼部判定單元對眼睛的動作加以監控並產生眼控作業指令,系統操控單元依據眼控作業指令,執行相應的系統執行程序而提供多樣化的訊息溝通或控制等解決方案。
Description
本發明是一關於一種使用於車輛上的電子裝置,特別是一種依據眼部動作而進行控制的車用眼控裝置及其方法。
關於行車駕駛的道路安全等等議題,近年來逐漸受到重視。由於駕駛的不正確操作而導致的交通安全事故經常發生,主因是由於駕駛睡眠不足所導致的疲勞、開車時間過長而沒有適度的休息,或是酒後駕車等等。精神渙散、注意力不集中等等,駕駛的精神狀況不佳而導致車禍事故的發生。為了解決此類問題,有多種技術方案已被提出。如中國專利第200910310326.3號,「駕駛監控裝置及方法」,主要是透過影像的擷取,偵測駕駛者的眼睛區域與放在方向盤的手,判斷駕駛的手是否放在方向盤上的正確區域以及眼睛是否張開或是因為疲勞而閉上。而美國專利第8,045,766號,「Device,program,and method for determining sleepiness」提供了另一種解決手段,主要是擷取駕駛的臉部影像,透過特定的演算法對臉部進行計算,發現駕駛的精神狀態不好時,利用氣體裝置與安全帶震動裝置喚醒駕駛,甚至是透過煞車控制器予以警示。
此外,如美國專利第6,842,670號,「Eye-tracking driving system」提供一種眼睛追蹤系統,包含有特別設計的眼鏡,於眼鏡上裝配攝影機而取得眼睛的影像,讓行動不便的老年人利用眼睛的轉動進而控制輪椅。
以上是利用眼睛的動作,藉以偵測駕駛狀況並加以喚醒警示,或是用來控制輪椅等技術,都能合理運作而有一定的效果,然而功能相當侷限,駕駛無法利用眼睛的動作來進一步地操控其他車用設備或對外發出訊息。
有鑑於此,本發明於此提出一種車內眼控裝置及其方法,利用監測駕駛眼睛的動作變化,進而操控車內的收音機等各種設備或是撥打電話等多種車外溝通作業。
本發明之另一目的,在於提供一種車內眼控裝置及其方法,能發出求救訊息,當駕駛被挾持搶劫或基於其他緣由而需要對外界請求協助時,只要駕駛做出特定的眼睛動作,本發明之裝置就可以自動發出求救訊息,具有使用迅速、靜態警示、操作簡單等優點。
依據本發明所提供之車內眼控裝置,主要包含有取像單元,用以擷取駕駛的頭部影像。處理單元包含有影像處理運算單元,用以對頭部影像進行影像處理,而取得眼部影像。眼部判定單元對眼部影像進行運算處理,取得眼部特徵參數,並依據眼部特徵參數與系統控制條件進行比對,而產生眼控作業指令。系統操控單元依據眼控作業指令而進行各種系統執行程序。通訊處理單元與系統操控單元連接,依據眼控作業指令或系統執行程序,對車外發出各種訊息資料。狀態反饋單元,依據系統執行程序,發出執行成功或失敗的提示訊息,提醒駕駛本發明裝置之各種作業執行狀態。
有關本發明之目的、技術內容與特點,以下舉一較佳實施例並配合圖式予以說明。
請參考圖1為本發明之車內眼控裝置的系統架構示意圖。本發明之裝置主要由處理單元10、取像單元20、與狀態反饋單元30所組成。取像單元20用以擷取使用者之頭部影像,如圖2所示,裝置本體60較佳者,可裝配於儀表板上方,藉以取得駕駛清晰的頭部影像。處理單元10由影像處理運算單元11、眼部判定單元12、系統操控單元13,以及通訊處理單元14等等組件構成。續請配合參考圖3至圖5,影像處理運算單元11可將頭部影像50進行影像處理,並於頭部影像50的影像範圍之內,建立眼部搜尋區域51。接著,於眼部搜尋區域51之內,定義切割出眼部影像52。然後對眼部影像52進行運算處理,而取得眼部特徵參數。如圖4與圖5所示,駕駛眨眼,或是朝左朝右看,或是順時針旋轉一圈,或反時針旋轉一圈等等特定眼部動作,都會對應到不同的眼部特徵參數。眼部特徵參數被確認後,將與系統控制條件進行比對,而產生眼控作業指令。系統操控單元13將依據眼控作業指令,而進行各種系統執行程序。對車內設備而言,如播放音樂、調整音量大小、控制空調系統溫度等等。對車外而言,如撥打電話、切斷來電,發出求救訊息等等。通訊處理單元14依據系統操控單元13的指令,負責對車外的資訊溝通作業。狀態反饋單元30可發出多種提示訊息,如系統作業執行成功或失敗,或是撥打或來電訊息的系統狀態提示。
關於本發明之車內眼控的方法,續請配合參考圖6與圖7,說明本發明之方法部分的運作流程。
首先,取得駕駛之頭部影像(S101),對頭部影像進行影像處理(S102)。接著於頭部影像之內,建立眼部搜尋區域(S103),在於眼部搜尋區域之內,取得眼部影像(S104)。然後,當眼部影像被定義切割出來後,對眼部影像進行運算處理,取得眼部特徵參數(S105)。實際上眼部特徵參數相應於駕駛的眼睛動作,如眨眼、朝左朝右,或是朝上朝下,或是順時針反時針繞圈等等。接續步驟S105之後,裝置會依據眼部特徵參數,與系統控制條件進行比對,而產生眼控作業指令(S106)。其中,系統控制條件包含了多數個眼動控制選項,如前面提到的駕駛眼睛動作,將對應不同的眼動控制選項:先左後右指令、先右後左指令、先上後下指令、先下後上指令、或是繞圈指令等等。而依據系統控制條件之眼動控制選項,眼控作業指令會依據不同的功能而有對應的變化,如開啟燈光指令、關閉燈光指令、開啟音樂指令、關閉音樂指令、增大音量指令、減小音量指令、開啟空調指令、關閉空調指令等等。以上是車內設備的各種控制,除此之外還有與車外溝通與其他的部份,眼控作業指令還包含有:撥打電話指令、發送訊息指令、切斷來電通訊指令等等。
接續步驟S106之後,會進行通訊連接作業而產生通訊反饋訊息(S107),依據通訊反饋訊息而確認通訊狀態。假如無法與外部通訊的話,將發送通訊失敗提示訊息(S109),提醒告知駕駛。反之,與外部通訊建立成功的話,則依據眼控作業指令進行系統執行程序(S110),補充說明,步驟S110是依據眼控作業指令的不同狀態而選擇性的進行,假如駕駛想要控制車內設備,如音量大小,那麼就沒有查核通訊狀態的必要,而步驟S110就可以省略。接著,依據前述的各種眼控作業指令,進行各種系統執行程序,而實際操控各種設備。如控制收音機的音量大小、開關空調設備、撥打電話等等。最後,將確認系統執行程序的進行狀態(S111),假如程序被正確執行的話,就發送執行成功提示訊息(S112)告知駕駛,反之,就發送執行失敗提示(S113)訊息。
雖然本發明揭露較佳實施例如上,然其並非用以限定本發明,本發明領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,本發明之保護範圍當以後附的申請專利範圍所界定者為準。
10...處理單元
11...影像處理運算單元
12...眼部判定單元
13...系統操控單元
14...通訊處理單元
20...取像單元
30...狀態反饋單元
50...頭部影像
51...眼部搜尋區域
52...眼部影像
60...裝置本體
S101...取得駕駛之頭部影像
S102...對頭部影像進行影像處理
S103...於頭部影像之內,建立眼部搜尋區域
S104...於眼部搜尋區域內,取得眼部影像
S105...對眼部影像進行運算處理,取得眼部特徵參數
S106...依據眼部特徵參數,與系統控制條件進行比對,而產生眼控作業指令
S107...進行通訊連接作業,產生通訊反饋訊息
S108...依據通訊反饋訊息,確認通訊狀態
S109...發送通訊失敗提示訊息
S110...依據眼控作業指令,進行系統執行程序
S111...確認系統執行程序的進行狀態
S112...發送執行成功提示訊息
S113...發送執行失敗提示訊息
圖1是本發明的裝置架構示意圖。
圖2是本發明的裝置裝配示意圖。
圖3是本發明的方法流程示意圖。
圖4是本發明的接續方法流程示意圖。
圖5是本發明的眼部影像取得示意圖。
圖6是本發明的第一眼睛動作示意圖。
圖7是本發明的第二眼睛動作示意圖。
10...處理單元
11...影像處理運算單元
12...眼部判定單元
13...系統操控單元
14...通訊處理單元
20...取像單元
30...狀態反饋單元
Claims (10)
- 一種車內眼控的方法,透過一安裝於車輛內的裝置讓駕駛進行控制,包含有下列步驟:取得駕駛之一眼部影像;對該眼部影像進行運算處理,取得一眼部特徵參數;依據該眼部特徵參數,與一系統控制條件進行比對,而產生一眼控作業指令;以及依據該眼控作業指令,進行一系統執行程序。
- 如申請專利範圍第1項所述之車內眼控的方法,其中該眼部特徵參數,係相應於駕駛之眼睛動作。
- 如申請專利範圍第1項所述之車內眼控的方法,其中更包含有下列步驟:取得駕駛之一頭部影像;對該頭部影像進行影像處理;於該頭部影像之內,建立一眼部搜尋區域;以及於該眼部搜尋區域內,取得該眼部影像。
- 如申請專利範圍第1項所述之車內眼控的方法,其中該系統控制條件,係由複數個眼動控制選項所組成。
- 如申請專利範圍第4項所述之車內眼控的方法,其中該眼動控制選項,係選自一先左後右指令、一先右後左指令、一先上後下指令、一先下後上指令、一繞圈指令所構成之組合其中之一。
- 如申請專利範圍第1項所述之車內眼控的方法,其中該眼控作業指令,係選自一撥打電話指令、一發送訊息指令、與一切斷來電通訊指令所構成之組合其中之一。
- 如申請專利範圍第1項所述之車內眼控的方法,其中該眼控作業指令,係選自一開啟燈光指令、一關閉燈光指令、一開啟音樂指令、一關閉音樂指令、一增大音量指令、一減小音量指令、一開啟空調指令、與一關閉空調指令所構成之組合其中之一。
- 如申請專利範圍第1項所述之車內眼控的方法,其中更包含有下列步驟:確認系統執行程序的進行狀態;以及發送一執行成功提示訊息。
- 如申請專利範圍第1項所述之車內眼控的方法,其中更包含有下列步驟:確認系統執行程序的進行狀態;以及發送一執行失敗提示訊息。
- 如申請專利範圍第1項所述之車內眼控的方法,其中更包含:進行一通訊連接作業,而產生一通訊反饋訊息;以及依據該通訊反饋訊息,確認通訊狀態。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101102170A TWI582707B (zh) | 2012-01-19 | 2012-01-19 | 車內眼控的方法 |
| US13/594,461 US20130187847A1 (en) | 2012-01-19 | 2012-08-24 | In-car eye control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101102170A TWI582707B (zh) | 2012-01-19 | 2012-01-19 | 車內眼控的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201331850A true TW201331850A (zh) | 2013-08-01 |
| TWI582707B TWI582707B (zh) | 2017-05-11 |
Family
ID=48796810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101102170A TWI582707B (zh) | 2012-01-19 | 2012-01-19 | 車內眼控的方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20130187847A1 (zh) |
| TW (1) | TWI582707B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018010270A1 (zh) * | 2016-07-15 | 2018-01-18 | 宇龙计算机通信科技(深圳)有限公司 | 提醒方法、智能眼镜及车载系统 |
| TWI741512B (zh) * | 2019-03-18 | 2021-10-01 | 大陸商北京市商湯科技開發有限公司 | 駕駛員注意力監測方法和裝置及電子設備 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101480594B1 (ko) * | 2012-12-18 | 2015-01-08 | 현대자동차주식회사 | 시선기반 착신 제어 방법과 이를 위한 이동통신 단말 |
| WO2015198767A1 (ja) * | 2014-06-27 | 2015-12-30 | 日本電気株式会社 | 異常検知装置及び異常検知方法 |
| CN105260703B (zh) * | 2015-09-15 | 2019-07-05 | 西安邦威电子科技有限公司 | 一种适用于多姿态下的驾驶人员抽烟行为检测方法 |
| CN105260705B (zh) * | 2015-09-15 | 2019-07-05 | 西安邦威电子科技有限公司 | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 |
| CN108162810A (zh) * | 2017-12-15 | 2018-06-15 | 北京汽车集团有限公司 | 座椅控制方法及装置 |
| CN112114671A (zh) * | 2020-09-22 | 2020-12-22 | 上海汽车集团股份有限公司 | 一种基于人眼视线的人车交互方法、装置和存储介质 |
| CN114523886B (zh) * | 2020-10-30 | 2023-03-24 | 上海汽车集团股份有限公司 | 一种车内交互控制方法及系统 |
| WO2025239879A1 (en) * | 2024-05-13 | 2025-11-20 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3134667B2 (ja) * | 1994-06-02 | 2001-02-13 | 日産自動車株式会社 | 車両用表示装置 |
| US6842670B2 (en) * | 2003-05-02 | 2005-01-11 | Chung Shan Institute Of Science And Technology | Eye-tracking driving system |
| US7932895B2 (en) * | 2005-05-24 | 2011-04-26 | Nokia Corporation | Control of an electronic device using a gesture as an input |
| US7933385B2 (en) * | 2005-08-26 | 2011-04-26 | Telecommunication Systems, Inc. | Emergency alert for voice over internet protocol (VoIP) |
| JP2007287135A (ja) * | 2006-03-20 | 2007-11-01 | Denso Corp | 画像表示制御装置および画像表示制御装置用のプログラム |
| TWI478836B (zh) * | 2009-12-02 | 2015-04-01 | Hon Hai Prec Ind Co Ltd | 駕駛監控裝置及方法 |
| WO2011106798A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
-
2012
- 2012-01-19 TW TW101102170A patent/TWI582707B/zh active
- 2012-08-24 US US13/594,461 patent/US20130187847A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018010270A1 (zh) * | 2016-07-15 | 2018-01-18 | 宇龙计算机通信科技(深圳)有限公司 | 提醒方法、智能眼镜及车载系统 |
| TWI741512B (zh) * | 2019-03-18 | 2021-10-01 | 大陸商北京市商湯科技開發有限公司 | 駕駛員注意力監測方法和裝置及電子設備 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI582707B (zh) | 2017-05-11 |
| US20130187847A1 (en) | 2013-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI582707B (zh) | 車內眼控的方法 | |
| JP6331875B2 (ja) | 車載制御装置 | |
| JP2019074791A (ja) | 車両用運転支援装置 | |
| JP6341055B2 (ja) | 車載制御装置 | |
| US20140121927A1 (en) | Vehicle emergency evacuation device | |
| TWI459333B (zh) | An Attractive Force Detection Device and Its Method for Interactive Voice | |
| JP2016045714A (ja) | 車載制御装置 | |
| CN109080536B (zh) | 一种车道偏离预警系统 | |
| CN105678961A (zh) | 一种防疲劳驾驶的汽车安全警示系统及警示方法 | |
| JP2013152679A (ja) | 運転支援装置 | |
| TW201924982A (zh) | 以生理監測結合車輛控制之方法 | |
| JP6256433B2 (ja) | 運転者状態検出装置 | |
| WO2016107211A1 (zh) | 一种驾驶状态监控方法及相关设备 | |
| CN112292081A (zh) | 用于自主车辆的乘员意识监视 | |
| JP2018154329A (ja) | 車載制御装置及び車載システム | |
| JP2013128226A (ja) | 携帯端末使用制限装置 | |
| CN103259971A (zh) | 车内眼控装置及其方法 | |
| KR20220095051A (ko) | 운전자 관리 시스템 및 그 운영방법 | |
| CN106064581B (zh) | 一种提醒方法、装置和车辆 | |
| CN106740860A (zh) | 车用安全方法及车用安全系统 | |
| CN115837825A (zh) | 一种车内空间的二氧化碳监测系统及方法 | |
| JP2017137034A (ja) | 自動運転制御装置 | |
| CN103625289A (zh) | 疲劳驾驶报警系统及其报警方法 | |
| JP2009090876A (ja) | 居眠り防止装置 | |
| CN114620073B (zh) | 一种基于驾驶行为检测的自动驾驶约束系统及方法 |