CN110781810A - 一种人脸情绪识别方法 - Google Patents
一种人脸情绪识别方法 Download PDFInfo
- Publication number
- CN110781810A CN110781810A CN201911015332.6A CN201911015332A CN110781810A CN 110781810 A CN110781810 A CN 110781810A CN 201911015332 A CN201911015332 A CN 201911015332A CN 110781810 A CN110781810 A CN 110781810A
- Authority
- CN
- China
- Prior art keywords
- micro expression
- image data
- output result
- change
- micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸情绪识别方法，包括以下步骤：（1）、采集人脸情绪表情视频图像数据；（2）、按时间帧切割视频图像数据，得到各个时间帧下的视频图像数据；（3）、在每个时间帧下的视频图像数据中分别截取多个微表情区域；（4）、比较相邻时间帧的相同微表情区域图像数据，判断是否存在微表情表达，并在存在微表情表达时输出第一输出结果；（5）、将第一输出结果进行时间阈值比较；（6）、将第一输出结果进行次数阈值比较；（7）、将第一输出结果与预设图像变化阈值进行比较，得到有效输出结果；（8）通过有效输出结果，实现基于微表情的人脸情绪识别。本发明提高了人脸情绪识别的准确性。
Description
技术领域
本发明涉及人脸识别方法领域，具体是一种人脸情绪识别方法。
背景技术
人脸识别可通过脸部特征信息对身份进行识别，也可以基于脸部特征信息对实验者当前情绪进行识别，人脸情绪识别可用于刑侦等领域。现有技术人脸情绪识别方法依靠脸部显著变化的特征信息进行判断，但在实验者故意掩盖情绪时，明显的脸部特征变化并不一定能够反映真实情绪变化，比如当实验者脸部表现悲伤情绪、而内心实际存在相反情绪时，在脸部特征可能具有明显的悲伤表情特征，此时传统的依靠脸部显著变化特征进行判断的方法难以准确判断实验者实际情绪。
发明内容 本发明的目的是提供一种人脸情绪识别方法，以解决现有技术人脸情绪判断方法难以在掩盖情绪时判断真实情绪的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种人脸情绪识别方法，其特征在于：包括以下步骤：
（1）、采集一段时间内人脸情绪表情的视频图像数据；
（2）、将步骤（1）中采集时间分割为多个时间帧，并按时间帧切割视频图像数据，得到各个时间帧下的视频图像数据；
（3）、设定多个微表情区域，并在每个时间帧下的视频图像数据中分别截取设定的多个微表情区域各自对应的图像数据；
（4）、比较相邻时间帧的相同微表情区域图像数据，若该微表情区域图像存在变化，则选取变化开始时对应时间帧的该微表情区域图像数据、变化结束时对应时间帧的该微表情区域图像数据、变化开始及变化结束之间时间间隔内的各个时间帧对应的该微表情区域图像数据作为第一输出结果；
（5）、将步骤（4）得到的第一输出结果中变化开始及变化结束之间时间段，与预设的时间阈值范围进行比较，若时间段在时间阈值范围内，则保留第一输出结果，否则放弃第一输出结果；
（6）、统计步骤（5）保留的每个微表情区域第一输出结果出现的次数，并将次数与预设的次数阈值进行比较，若次数大于预设的次数阈值则保留第一输出结果，否则放弃第一输出结果；
（7）、从步骤（6）保留的第一输出结果中各个时间帧的微表情区域图像数据中找出变化最大时对应的微表情区域图像，并将变化最大时对应的微表情区域图像与采集时间段内未变化微表情区域图像进行比较，得到的比较结果与预设图像变化阈值再次比较，若大于预设图像变化阈值则保留第一输出结果作为有效输出结果，否则放弃第一输出结果；
（8）通过有效输出结果，实现基于微表情的人脸情绪识别。
所述的一种人脸情绪识别方法，其特征在于：步骤（3）中的微表情区域是指嘴部区域、鼻子区域、眼部区域、每个眉毛区域。
所述的一种人脸情绪识别方法，其特征在于：步骤（3）中，在每个时间帧下的视频图像数据中分别截取设定的多个微表情区域各自对应的图像数据，然后将每个微表情区域图像数据分别进行灰度化处理得到微表情区域灰度图像，步骤（4）中对相邻时间帧微表情区域灰度图像进行比较，确定存在变化的对应的微表情区域灰度图像，并以此得到对应的微表情区域图像构成第一输出结果。
所述的一种人脸情绪识别方法，其特征在于：步骤（3）中，不同时间帧中相同微表情区域灰度图像的灰度级相同，不同微表情区域灰度图像的灰度级不同；且眼部区域灰度图像中，眼白和眼球分别设为不同灰度级。
所述的一种人脸情绪识别方法，其特征在于：步骤（5）中的时间阈值范围、步骤（6）中的次数阈值，步骤（7）中的预设阈值均根据专家经验，或者根据对具体个人的观测实验获得。
所述的一种人脸情绪识别方法，其特征在于：步骤（7）中的预设图像变化阈值中，当微表情区域为嘴部区域、鼻子区域、眉毛区域时，预设图像变化阈值是指几何形状的变化量；当微表情区域为眼部区域时，预设图像变化阈值是指眼部轮廓几何形状的变化量以及眼球位置变化量。
本发明根据微表情理论，构建一种基于微表情识别人脸情绪的方法。通过设定几个微表情区域，并在时间段内划分时间帧，比较相邻时间帧相同微表情区域的变化以判断是否存在微表情。同时本发明基于预设的阈值对微表情的有效性进行监测，以获取真实可靠的微表情信息，最终以得到的真实可靠的微表情信息作为人脸情绪识别的依据。
与现有技术相比，本发明能够实现基于微表情的脸部情绪识别，再结合现有技术基于脸部显著特征变化的情绪识别方法，能够在掩盖情绪时获得真实情绪信息，提高了人脸情绪识别的准确性。
附图说明
图1是本发明流程框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种人脸情绪识别方法，包括以下步骤：
（1）、采集一段时间内人脸情绪表情的视频图像数据；
（2）、将步骤（1）中采集时间分割为多个时间帧，并按时间帧切割视频图像数据，得到各个时间帧下的视频图像数据；时间帧分割越细，后续进行图像数据比较时结果越准确。
（3）、设定多个微表情区域，并在每个时间帧下的视频图像数据中分别截取设定的多个微表情区域各自对应的图像数据；
本发明基于微表情理论，选择具有微表情表达功能的嘴部、鼻子、眼部、眉毛几个区域作为微表情区域。
在每个时间帧下的视频图像数据中，分别截取设定的多个微表情区域各自对应的图像数据，然后将每个微表情区域图像数据分别进行灰度化处理得到微表情区域灰度图像。对微表情区域图像数据进行灰度化处理的目的是在后续步骤（4）判断是否存在微表情时，简化数据比较工作以提高效率。
在不同时间帧中相同微表情区域灰度图像的灰度级相同，即嘴部区域设定为相同灰度级，鼻子区域设定为相同灰度级，眉毛区域设定为相同灰度级，但不同微表情区域灰度图像的灰度级不同。眼部区域由于其在微表情表达中具有特殊性，即一方面眼部轮廓的扩大是该区域微表情表达的方式之一，眼球和眼白的移动是该区域微表情表达的另一种方式，因此眼部区域灰度图像中，外轮廓、眼白和眼球分别设为不同灰度级。
（4）、比较相邻时间帧的相同微表情区域图像数据，若该微表情区域图像存在变化，则初步判断该微表情区域存在微表情表达，选取变化开始时对应时间帧的该微表情区域图像数据、变化结束时对应时间帧的该微表情区域图像数据、变化开始及变化结束之间时间间隔内的各个时间帧对应的该微表情区域图像数据作为第一输出结果；
具体的，步骤（4）中对相邻时间帧微表情区域灰度图像进行比较，确定存在变化的对应的微表情区域灰度图像，并以此得到对应的微表情区域图像构成第一输出结果。
（5）、将步骤（4）得到的第一输出结果中变化开始及变化结束之间时间段，与预设的时间阈值范围进行比较，若时间段在时间阈值范围内，则保留第一输出结果，否则放弃第一输出结果；
步骤（5）中，时间阈值范围可由专家确定，即专家根据统计研究，确定人脸在某种表面情绪表达时嘴部、鼻子、眉毛、眼部作出微表情表达的时间范围作为时间阈值范围。或者针对具体个人，可提前对该个人进行实验观测统计，确定其在某种表面情绪表达时嘴部、鼻子、眉毛、眼部作出微表情表达的时间范围作为时间阈值范围。
（6）、统计步骤（5）保留的每个微表情区域第一输出结果出现的次数，并将次数与预设的次数阈值进行比较，若次数大于预设的次数阈值则保留第一输出结果，否则放弃第一输出结果。
步骤（6）与步骤（5）相同，可由专家根据统计研究确定人脸在某种表面情绪表达时嘴部、鼻子、眉毛、眼部作出微表情表达的次数作为次数阈值，或者对个人进行实验观测统计，确定其在某种表面情绪表达时嘴部、鼻子、眉毛、眼部作出微表情表达的次数作为次数阈值。
（7）、从步骤（6）保留的第一输出结果中各个时间帧的微表情区域图像数据中找出变化最大时对应的微表情区域图像，并将变化最大时对应的微表情区域图像与采集时间段内未变化微表情区域图像进行比较，得到的比较结果与预设图像变化阈值再次比较，若大于预设图像变化阈值则保留第一输出结果作为有效输出结果，否则放弃第一输出结果；
针对不同微表情区域进行微表情表达时的不同表现，当微表情区域为嘴部区域、鼻子区域、眉毛区域时，预设图像变化阈值是指几何形状的变化量，该预设图像变化阈值同样可由专家统计研究确认，或者通过对个人的观测统计获得。眼部区域在进行微表情表达时由于其特殊性，因此预设图像变化阈值包括眼部轮廓几何形状的变化量，以及眼球和眼白位置变化量。
（8）、最终通过有效输出结果，再结合传统的人脸情绪识别方法，可判断微表情表达的情绪和脸部显著特征变化反应的表面情绪是否一致，进而得到准确的情绪识别信息。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案做出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
Claims (6)
1.一种人脸情绪识别方法，其特征在于：包括以下步骤：
（1）、采集一段时间内人脸情绪表情的视频图像数据；
（2）、将步骤（1）中采集时间分割为多个时间帧，并按时间帧切割视频图像数据，得到各个时间帧下的视频图像数据；
（3）、设定多个微表情区域，并在每个时间帧下的视频图像数据中分别截取设定的多个微表情区域各自对应的图像数据；
（4）、比较相邻时间帧的相同微表情区域图像数据，若该微表情区域图像存在变化，则选取变化开始时对应时间帧的该微表情区域图像数据、变化结束时对应时间帧的该微表情区域图像数据、变化开始及变化结束之间时间间隔内的各个时间帧对应的该微表情区域图像数据作为第一输出结果；
（5）、将步骤（4）得到的第一输出结果中变化开始及变化结束之间时间段，与预设的时间阈值范围进行比较，若时间段在时间阈值范围内，则保留第一输出结果，否则放弃第一输出结果；
（6）、统计步骤（5）保留的每个微表情区域第一输出结果出现的次数，并将次数与预设的次数阈值进行比较，若次数大于预设的次数阈值则保留第一输出结果，否则放弃第一输出结果；
（7）、从步骤（6）保留的第一输出结果中各个时间帧的微表情区域图像数据中找出变化最大时对应的微表情区域图像，并将变化最大时对应的微表情区域图像与采集时间段内未变化微表情区域图像进行比较，得到的比较结果与预设图像变化阈值再次比较，若大于预设图像变化阈值则保留第一输出结果作为有效输出结果，否则放弃第一输出结果；
（8）通过有效输出结果，实现基于微表情的人脸情绪识别。
2.根据权利要求1所述的一种人脸情绪识别方法，其特征在于：步骤（3）中的微表情区域是指嘴部区域、鼻子区域、眼部区域、每个眉毛区域。
3.根据权利要求1所述的一种人脸情绪识别方法，其特征在于：步骤（3）中，在每个时间帧下的视频图像数据中分别截取设定的多个微表情区域各自对应的图像数据，然后将每个微表情区域图像数据分别进行灰度化处理得到微表情区域灰度图像，步骤（4）中对相邻时间帧微表情区域灰度图像进行比较，确定存在变化的对应的微表情区域灰度图像，并以此得到对应的微表情区域图像构成第一输出结果。
4.根据权利要求2或3所述的一种人脸情绪识别方法，其特征在于：步骤（3）中，不同时间帧中相同微表情区域灰度图像的灰度级相同，不同微表情区域灰度图像的灰度级不同；且眼部区域灰度图像中，眼白和眼球分别设为不同灰度级。
5.根据权利要求1所述的一种人脸情绪识别方法，其特征在于：步骤（5）中的时间阈值范围、步骤（6）中的次数阈值，步骤（7）中的预设阈值均根据专家经验，或者根据对具体个人的观测实验获得。
6.根据权利要求4所述的一种人脸情绪识别方法，其特征在于：步骤（7）中的预设图像变化阈值中，当微表情区域为嘴部区域、鼻子区域、眉毛区域时，预设图像变化阈值是指几何形状的变化量；当微表情区域为眼部区域时，预设图像变化阈值是指眼部轮廓几何形状的变化量以及眼球位置变化量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015332.6A CN110781810B (zh) | 2019-10-24 | 2019-10-24 | 一种人脸情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015332.6A CN110781810B (zh) | 2019-10-24 | 2019-10-24 | 一种人脸情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781810A true CN110781810A (zh) | 2020-02-11 |
| CN110781810B CN110781810B (zh) | 2024-02-27 |
Family
ID=69387367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911015332.6A Active CN110781810B (zh) | 2019-10-24 | 2019-10-24 | 一种人脸情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781810B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN118918514A (zh) * | 2024-09-25 | 2024-11-08 | 浙江久婵物联科技有限公司 | 一种基于机器视觉的人员异常行为监控方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN107895146A (zh) * | 2017-11-01 | 2018-04-10 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置、系统及计算机可读存储介质 |
| CN110197107A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 微表情识别方法、装置、计算机设备及存储介质 |
| WO2019184125A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
-
2019
- 2019-10-24 CN CN201911015332.6A patent/CN110781810B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| WO2019029261A1 (zh) * | 2017-08-07 | 2019-02-14 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN107895146A (zh) * | 2017-11-01 | 2018-04-10 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置、系统及计算机可读存储介质 |
| WO2019085495A1 (zh) * | 2017-11-01 | 2019-05-09 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置、系统及计算机可读存储介质 |
| WO2019184125A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
| CN110197107A (zh) * | 2018-08-17 | 2019-09-03 | 平安科技（深圳）有限公司 | 微表情识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 刘欣;解仑;王志良;付冬梅;: "基于3D梯度投影描述的微表情捕捉与识别", 华中科技大学学报(自然科学版), no. 12, 31 December 2014 (2014-12-31) * |
| 许刚;赵中原;谈元鹏;: "基于差分定位与光流特征提取的微表情识别", 计算机应用与软件, no. 01, 15 January 2017 (2017-01-15) * |
| 赵明珠;王志勇;王世斌;李林安;孙颖;李毓;: "基于三维数字图像相关方法的面部表情变形测量研究", 实验力学, no. 02, 31 December 2017 (2017-12-31) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN116665281B (zh) * | 2023-06-28 | 2024-05-10 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN118918514A (zh) * | 2024-09-25 | 2024-11-08 | 浙江久婵物联科技有限公司 | 一种基于机器视觉的人员异常行为监控方法及系统 |
| CN118918514B (zh) * | 2024-09-25 | 2025-05-02 | 浙江久婵物联科技有限公司 | 一种基于机器视觉的人员异常行为监控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781810B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104794464B (zh) | 一种基于相对属性的活体检测方法 | |
| CN101305913B (zh) | 一种基于视频的人脸美丽评价方法 | |
| CN113920568B (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
| EP2737434B1 (en) | Gait recognition methods and systems | |
| CN111191573A (zh) | 一种基于眨眼规律识别的驾驶员疲劳检测方法 | |
| CN109299690B (zh) | 一种可提高视频实时人脸识别精度的方法 | |
| WO2019014813A1 (zh) | 一种定量检测人脸肤质参量的方法、装置和智能终端 | |
| CN103218615B (zh) | 人脸判定方法 | |
| CN108369644A (zh) | 一种定量检测人脸抬头纹的方法和智能终端 | |
| KR102399121B1 (ko) | 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법 | |
| Chen et al. | Principle component analysis and its variants for biometrics | |
| CN110781810A (zh) | 一种人脸情绪识别方法 | |
| Soldera et al. | Facial biometrics and applications | |
| CN110688962B (zh) | 人脸图像处理方法、用户设备、存储介质及装置 | |
| CN111368580A (zh) | 一种基于视频分析的疲劳状态检测方法及装置 | |
| Sheela et al. | Iris detection for gaze tracking using video frames | |
| Dahal et al. | Incorporating skin color for improved face detection and tracking system | |
| Vupputuri et al. | Facial expression recognition using local binary patterns and kullback leibler divergence | |
| CN108288040A (zh) | 基于面部轮廓的多参数人脸识别系统 | |
| Phung et al. | Skin colour based face detection | |
| CN111898464A (zh) | 一种基于5g网络的人脸识别方法 | |
| Clawson et al. | Automated representation of non-emotional expressivity to facilitate understanding of facial mobility: Preliminary findings | |
| US20240212332A1 (en) | Fatigue level determination method using multimodal tensor fusion | |
| KR102550632B1 (ko) | 피부 진단 정보를 이용한 맞춤형 화장품 제조 시스템 및 그 방법 | |
| Hosseini et al. | Facial expression analysis for estimating patient's emotional states in RPMS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |