CN106774885A - 一种车载眼动控制系统 - Google Patents
一种车载眼动控制系统 Download PDFInfo
- Publication number
- CN106774885A CN106774885A CN201611157014.XA CN201611157014A CN106774885A CN 106774885 A CN106774885 A CN 106774885A CN 201611157014 A CN201611157014 A CN 201611157014A CN 106774885 A CN106774885 A CN 106774885A
- Authority
- CN
- China
- Prior art keywords
- video
- vehicle
- module
- unit
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车载眼动控制系统，包括：用于获取被跟踪人员联合特征的视频采集模块；与所述视频采集模块连接，且用于分析处理所述被跟踪人员联合特征的视频处理模块；与所述视频处理模块连接，接收分析处理信息，并生成眼动控制信号的车载控制模块；以及与所述车载控制模块连接，接收眼动控制信号并产生控制动作的车载设备模块。本系统是基于深度机器学习的处理方法，可以极大的提高瞳孔和眼球检测效率和鲁棒性，系统检测单次循环不超过38ms，检测成功率达93％以上。
Description
技术领域
本发明涉及智能视觉处理技术领域，特别涉及一种车载眼动控制系统。
背景技术
随着现代社会的发展，人们对安全、智能与舒适的要求越来越高，采用眼控跟踪技术可以在不需要人手部参与的情况下对车辆智能设备进行控制，实现车辆的智能操控。
目前，常用的眼控跟踪技术采用的是基于红外光源探测获取眼球运动信息的方法，其技术要点在于传统方法：首先，使用外接红外摄像模组获取眼球图像,并进行图像预处理。然后，对瞳孔的中心和红外led灯产生的普洱钦斑的大小、位置等特征进行检测；接着，建立瞳孔角膜反射向量,进而通过该向量映射、求解注视点在屏幕上的坐标，获得眼动信息。该方法结构简单，易于实现。
但是目前的这些车载控制手段普遍存在与行车安全方面的矛盾。即操作都要基于用户的双眼离开当前的关注方向，并要靠在要使手离开原来的驾驶位置，而这些附加的动作将导致行车安全方面的隐患。即便是目前的在乘用车上，少量使用的语音控制，其初始化部分依然要用户使用按键(导航面板上或方向盘上)来触发。在对驾驶安全的要求日益增加的几天，这些操作方式无疑不是最佳的
随着低成本消费电子设备的出现，在低频视频设备上，该技术的弊病日益显现。在驾驶员疲劳检测、人脸金融支付等领域，该方法也存在着识别效率较低，判断不够准确，可靠性较差等问题。阻碍了该技术的进一步推广和实验，成为亟待解决和提高的问题。
发明内容
本发明的目的是：提出一种识别率高、判断精准，且能够提升驾驶安全性，并简化操控方式的车载眼动控制系统，来弥补现有技术的不足之处。
本发明解决其技术问题所采用的技术方案是：
一种车载眼动控制系统，包括
用于获取被跟踪人员联合特征的视频采集模块；
与所述视频采集模块连接，且用于分析处理所述被跟踪人员联合特征的视频处理模块；
与所述视频处理模块连接，接收分析处理信息，并生成眼动控制信号的车载控制模块；以及
与所述车载控制模块连接，接收眼动控制信号并产生控制动作的车载设备模块。
进一步，所述视频采集模块采用分辨率大于100万像素的红外偏振光摄像头。
进一步，所述被跟踪人员联合特征包括瞳孔特征、眼脸形状特征和头部姿势特征。
进一步，所述视频处理模块包括依次连接的视频转换单元、视频解码单元和视频信号处理单元；所述视频转换单元将接收到的模拟视频信号转换为数字视频信号，再经所述视频解码单元解码后，传输给所述视频信号处理单元。
进一步，所述视频信号处理单元包括用于提取瞳孔和眼球位置信息的位置信息识别单元和用于提取瞳孔和眼球运动速度和方向信息的移动信息识别单元。
本发明的有益效果是：本系统是基于深度机器学习的处理方法，可以极大的提高瞳孔和眼球检测效率和鲁棒性，系统检测单次循环不超过38ms，检测成功率达93％以上。本系统采用消费级的电子设备摄像头作为环境感知设备，极大降低了推广和使用的成本，还可以获得更为准确可靠的眼控跟踪。
附图说明
图1是车载眼动控制系统的系统结构示意图。
图2是视频信息处理单元的结构框体。
图中：01-视频采集模块、02-视频处理模块、03-车载控制模块、04-车载设备模块；021-视频转换单元、022-视频解码单元、023-视频信号处理单元；0231-位置信息识别单元、0232-移动信息识别单元。
具体实施方式
以下结合附图。对本发明做进一步说明。
本发明所述的一种车载眼动控制系统，其系统结构如图1所示，包括视频采集模块01、视频处理模块02、车载控制模块03和车载设备模块04。
其中，视频采集模块01采用分辨率大于100万像素的红外偏振光摄像头，主要用于获取被跟踪人员联合特征。
此处，被跟踪人员联合特征包括瞳孔特征、眼脸形状特征和头部姿势特征。
视频处理模块02与视频采集模块01连接，且用于分析处理被跟踪人员联合特征。
视频处理模块02具体包括：依次连接的视频转换单元021、视频解码单元022和视频信号处理单元023；其中，视频转换单元021将接收到的模拟视频信号转换为数字视频信号，再经视频解码单元022解码后，传输给视频信号处理单元023。
视频信号处理单元023如图2所示，具体包括：用于提取瞳孔和眼球位置信息的位置信息识别单元0231和用于提取瞳孔和眼球运动速度和方向信息的移动信息识别单元0232。
其中，移动信息识别单元的移动算法如下：以8～10帧/秒的速度检测眼睛中心位置的变化，并通过采样后差分的方法将眼睛位移变化计算出来，并对照之前得到的眼睛位移变化数据，从中提取出符合眼球动作的变化数据，并输出这些变化数据。由于捕捉位置所用的摄像头安装位置相对固定，人脸成像的位置也相对固定，眼睛区域也相对固定。所以采用投射法，加快处理速度，增加系统实时性。
车载控制模块03与视频处理模块02连接，并接收视频信号处理单元023传送的瞳孔位置信息和瞳孔运动速度和方向信息，并生成眼动指针，并将指针信号转换为控制信号发送至车载设备模块04，用于控制车载设备模块04的动作。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种车载眼动控制系统，其特征在于，包括：
用于获取被跟踪人员联合特征的视频采集模块；
与所述视频采集模块连接，且用于分析处理所述被跟踪人员联合特征的视频处理模块；
与所述视频处理模块连接，接收分析处理信息，并生成眼动控制信号的车载控制模块；以及
与所述车载控制模块连接，接收眼动控制信号并产生控制动作的车载设备模块。
2.如权利要求1所述的一种车载眼动控制系统，其特征在于，包括：所述视频采集模块采用分辨率大于100万像素的红外偏振光摄像头。
3.如权利要求1所述的一种车载眼动控制系统，其特征在于，所述被跟踪人员联合特征包括瞳孔特征、眼脸形状特征和头部姿势特征。
4.如权利要求1所述的一种车载眼动控制系统，其特征在于，所述视频处理模块包括依次连接的视频转换单元、视频解码单元和视频信号处理单元；所述视频转换单元将接收到的模拟视频信号转换为数字视频信号，再经所述视频解码单元解码后，传输给所述视频信号处理单元。
5.如权利要求4所述的一种车载眼动控制系统，其特征在于，所述视频信号处理单元包括用于提取瞳孔和眼球位置信息的位置信息识别单元和用于提取瞳孔和眼球运动速度和方向信息的移动信息识别单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611157014.XA CN106774885A (zh) | 2016-12-15 | 2016-12-15 | 一种车载眼动控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611157014.XA CN106774885A (zh) | 2016-12-15 | 2016-12-15 | 一种车载眼动控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106774885A true CN106774885A (zh) | 2017-05-31 |
Family
ID=58888399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611157014.XA Withdrawn CN106774885A (zh) | 2016-12-15 | 2016-12-15 | 一种车载眼动控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106774885A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107515466A (zh) * | 2017-08-14 | 2017-12-26 | 华为技术有限公司 | 一种眼球追踪系统和眼球追踪方法 |
| CN107885124A (zh) * | 2017-11-21 | 2018-04-06 | 中国运载火箭技术研究院 | 一种增强现实环境中的脑眼协同控制方法及系统 |
| CN109995986A (zh) * | 2017-12-29 | 2019-07-09 | 北京亮亮视野科技有限公司 | 控制智能眼镜拍摄视角移动的方法 |
-
2016
- 2016-12-15 CN CN201611157014.XA patent/CN106774885A/zh not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107515466A (zh) * | 2017-08-14 | 2017-12-26 | 华为技术有限公司 | 一种眼球追踪系统和眼球追踪方法 |
| WO2019033757A1 (zh) * | 2017-08-14 | 2019-02-21 | 华为技术有限公司 | 一种眼球追踪系统和眼球追踪方法 |
| CN107515466B (zh) * | 2017-08-14 | 2019-11-26 | 华为技术有限公司 | 一种眼球追踪系统和眼球追踪方法 |
| US11067795B2 (en) | 2017-08-14 | 2021-07-20 | Huawei Technologies Co., Ltd. | Eyeball tracking system and eyeball tracking method |
| US11598956B2 (en) | 2017-08-14 | 2023-03-07 | Huawei Technologies Co., Ltd. | Eyeball tracking system and eyeball tracking method |
| CN107885124A (zh) * | 2017-11-21 | 2018-04-06 | 中国运载火箭技术研究院 | 一种增强现实环境中的脑眼协同控制方法及系统 |
| CN109995986A (zh) * | 2017-12-29 | 2019-07-09 | 北京亮亮视野科技有限公司 | 控制智能眼镜拍摄视角移动的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816983B2 (en) | Helmet wearing determination method, helmet wearing determination system, helmet wearing determination apparatus, and program | |
| CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| US20190279009A1 (en) | Systems and methods for monitoring driver state | |
| CN106965675B (zh) | 一种货车集群智能安全作业系统 | |
| CN107679468A (zh) | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 | |
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| CN105260705B (zh) | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 | |
| Bhaskar et al. | Blink detection and eye tracking for eye localization | |
| US20180239975A1 (en) | Method and system for monitoring driving behaviors | |
| CN105117681B (zh) | 基于安卓的多特征疲劳实时检测方法 | |
| CN110858295A (zh) | 一种交警手势识别方法、装置、整车控制器及存储介质 | |
| CN104574820B (zh) | 一种基于眼睛特征的疲劳驾驶检测方法 | |
| WO2018006019A1 (en) | System and method for driver monitoring | |
| CN105574518A (zh) | 人脸活体检测的方法和装置 | |
| CN106504751A (zh) | 自适应唇语交互方法以及交互装置 | |
| CN102201148A (zh) | 一种基于视觉的驾驶员疲劳检测方法及系统 | |
| CN104224204A (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
| CN108701214A (zh) | 图像数据处理方法、装置及设备 | |
| JPWO2013008305A1 (ja) | 瞼検出装置 | |
| CN108089695B (zh) | 一种控制可移动设备的方法和装置 | |
| CN106814853A (zh) | 一种基于机器学习的眼控跟踪方法 | |
| CN101201695A (zh) | 一种基于眼部区域运动特征提取与跟踪的鼠标系统 | |
| CN106503673A (zh) | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 | |
| CN104331160A (zh) | 一种基于唇部状态识别的智能轮椅人机交互系统及方法 | |
| CN106774885A (zh) | 一种车载眼动控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170531 |
|
| WW01 | Invention patent application withdrawn after publication |