CN109766759A - 情绪识别方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种情绪识别方法及相关产品，所述方法包括：获取指定时间段的针对目标用户的视频片段和音频片段；对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。通过本申请实施例能够从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪。

Description

情绪识别方法及相关产品

技术领域

本申请涉及视频监控技术领域，具体涉及一种情绪识别方法及相关产品。

背景技术

随着经济、社会、文化的快速发展，国内外影响力的与日俱增，越来越多外来人口流向城市，这些人口增加在加快城市化进程的同时，也为城市管理带来更大的挑战，虽然，视频监控对城市安全提供了技术支持，目前来看，摄像头已经在城市中布局开来，摄像头可对城市的安全进行有效监控，以及为相关机构的安保提供有效帮助。但生活中，主要是通过摄像头获取人的图像信息来识别人的表情，进而分析人的情绪，但这种单一的评判方式识别出的情绪精准度低。

发明内容

本申请实施例提供了一种情绪识别方法及相关产品，可以对用户表情识别精准识别。

本申请实施例第一方面提供了一种情绪识别方法，包括：

获取指定时间段的针对目标用户的视频片段和音频片段；

对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

可选地，所述方法还包括：

对所述目标用户进行身份验证；

在所述目标用户身份验证通过后，获取室内地图；

在所述室内地图中对所述目标用户的位置进行标记，得到所述目标用户所在的目标区域；

按照预设的情绪与控制参数之间的映射关系，确定所述目标情绪对应的用于控制所述目标区域对应的至少一个智能家居设备的目标控制参数；

依据所述目标控制参数对所述至少一个智能家居设备进行调节。

进一步可选地，所述对所述目标用户进行身份验证，包括：

获取所述目标用户的第一人脸图像；

对所述第一人脸图像进行图像质量评价，得到目标图像质量评价值；

按照预设的图像质量评价值与匹配阈值之间的映射关系，确定所述目标图像质量评价值对应的目标匹配阈值；

对所述第一人脸图像进行轮廓提取，得到第一外围轮廓；

对所述第一人脸图像进行特征点提取，得到第一特征点集；

将所述第一外围轮廓与所述预设人脸模板的第二外围轮廓进行匹配，得到第一匹配值；

所述第一特征点集与所述预设人脸模板的第二特征点集进行匹配，得到第二匹配值；

依据所述第一匹配值、所述第二匹配值确定目标匹配值；

在所述目标匹配值大于所述目标匹配阈值时，确认所述目标用户身份验证通过。

本申请实施例第二方面提供了一种情绪识别装置，包括:

获取单元，用于获取指定时间段的针对所述目标用户的视频片段和音频片段；

分析单元，用于对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

提取单元，用于对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

决策单元，用于依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

第三方面，本申请实施例提供一种情绪识别装置，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具有如下有益效果：

可以看出，通过本申请实施例情绪识别方法及相关产品，获取指定时间段的针对目标用户的视频片段和音频片段，对视频片段进行分析，得到目标用户的目标肢体行为以及目标面部表情，对音频片段进行参数提取，得到目标用户的目标语音特征参数，依据目标肢体行为、面部表情以及语音特征参数决策出目标用户的目标情绪，如此，从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种情绪识别方法的实施例流程示意图；

图1B是本申请实施例提供的另一种情绪识别方法的演示示意图；

图2是本申请实施例提供的另一种情绪识别方法的实施例流程示意图；

图3是本申请实施例提供的一种情绪识别装置的实施例结构示意图；

图4是本申请实施例提供的另一种情绪识别装置的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述情绪识别装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、视频矩阵、监控平台、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述情绪识别装置还可以为服务器。

需要说明的是，本申请实施例中的情绪识别装置可与多个摄像头连接，每一摄像头均可用于抓拍视频图像，每一摄像头均可有一个与之对应的位置标记，或者，可有一个与之对应的编号。通常情况下，摄像头可设置在公共场所，例如，学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院、地铁站、车站、公交站台、超市、酒店、娱乐场所等等。摄像头在拍摄到视频图像后，可将该视频图像保存到情绪识别装置所在系统的存储器。存储器中可存储有多个图像库，每一图像库可包含同一人的不同视频图像，当然，每一图像库还可以用于存储一个区域的视频图像或者某个指定摄像头拍摄的视频图像。

进一步可选地，本申请实施例中，摄像头拍摄的每一帧视频图像均对应一个属性信息，属性信息为以下至少一种：视频图像的拍摄时间、视频图像的位置、视频图像的属性参数(格式、大小、分辨率等)、视频图像的编号和视频图像中的人物特征属性。上述视频图像中的人物特征属性可包括但不仅限于：视频图像中的人物个数、人物位置、人物角度、年龄、图像质量等等。

进一步需要说明的是，每一摄像头采集的视频图像通常为动态人脸图像，因而，本申请实施例中可以对人脸图像的角度信息进行规划，上述角度信息可包括但不仅限于：水平转动角度、俯仰角或者倾斜度。例如，可定义动态人脸图像数据要求两眼间距不小于30像素，建议60像素以上。水平转动角度不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°。建议水平转动角度不超过±15°、俯仰角不超过±10°、倾斜角不超过±15°。例如，还可对人脸图像是否被其他物体遮挡进行筛选，通常情况下，饰物不应遮挡脸部主要区域，饰物如深色墨镜、口罩和夸张首饰等，当然，也有可能摄像头上面布满灰尘，导致人脸图像被遮挡。本申请实施例中的视频图像的图像格式可包括但不仅限于：BMP，JPEG，JPEG2000，PNG等等，其大小可以在10-30KB之间，每一视频图像还可以对应一个拍摄时间、以及拍摄该视频图像的摄像头统一编号、与人脸图像对应的全景大图的链接等信息(人脸图像和全局图像建立特点对应性关系文件)。

请参阅图1A，为本申请实施例提供的一种情绪识别方法的实施例流程示意图。本实施例中所描述的情绪识别方法，包括以下步骤：

101、获取指定时间段的针对目标用户的视频片段和音频片段。

其中，上述指定时间段可以由用户自行设置或者系统默认。上述视频片段、音频片段可以针对同一物理场景以及同一指定时间段。目标用户可以为任一用户，可以对目标用户进行跟踪拍摄，得到目标用户的视频片段，同时，对拍摄现场进行拍摄，得到音频片段。

102、对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情。

其中，视频片段为目标用户的一系列肢体动作，因此，可以对这些肢体动作加以识别，得到目标肢体行为，目标肢体行为可以为至少一个行为，本申请实施例中，肢体行为可以为以下至少一种：走路、叉腰、跑步、举手、敲键盘、思考、牵手、打架等等，在此不作限定。当然，视频片段中还可以包括人脸，对人脸进行表情识别，可以得到目标面部表情，本申请实施例中，表情可以为以下至少一种：喜、怒、哀、乐、郁闷、浮躁、惊讶、尴尬、激动、紧张等等，在此不作限定。

可选地，上述步骤102，对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情，可包括如下步骤：

21、对所述视频片段进行解析，得到多帧视频图像；

22、对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

23、依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

24、对所述多个目标图像进行人脸识别，得到多个人脸图像；

25、对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

其中，具体实现中，可以对视频片段进行解析，得到多帧视频图像，当然，并非每帧视频图像中均包括人体图像，因此，可以对多帧视频图像进行图像分割，得到多个目标图像，每一目标图像中均包括用户的整个人体图像，进而，可以对多个目标图像进行行为识别，得到目标肢体行为，具体地，可以将多个目标图像输入到预设神经网络模型，得到至少肢体行为，预设神经网络模型可以由用户自行设置或者系统默认，例如，卷积神经网络模型，还可以对多个目标图像进行人脸识别，得到多个人脸图像，对该多个人脸图像进行表情识别，由于不同的人脸图像可以对应不同的表情，因此，可以得到多个表情，进而，可以将多个表情中出现次数最多的表情作为目标面部表情，如此，可以通过一系列视频图像解析出肢体行为，还可以精准识别出用户的面部表情。

103、对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数。

其中，本申请实施例中，语音特征参数可以包括以下至少一种：语速、语调、关键字、音色等等，在此不作限定，音色则与声音的频率相关。由于语音中包括一些信息可以从侧面反映用户情绪，例如，用户说“美滋滋”，则可以表明其情绪为喜，或者乐。又例如，用户说“尴尬”，则可以表明其情绪为尴尬。

可选地，所述目标语音特征参数包括以下至少一种：目标语速、目标语调、至少一个目标关键字；上述步骤103，对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数，可包括如下步骤：

31、对所述音频片段进行语义分析，得到多个字符；

32、确定所述多个字符对应的发音时长，以及依据所述多个字符、所述发音时长确定所述语速；

或者，

33、将所述多个字符进行字符分割，得到多个关键字；

34、将所述多个关键字与预设关键字集进行匹配，得到所述至少一个目标关键字；

或者，

35、提取所述语音片段的波形图；

36、对所述波形图进行解析，得到所述目标语调。

其中，具体实现中，可以对音频片段进行语义分析，得到多个字符，该多个字符中每一字符可以对应一个发音时长，进而，可以确定该多个字符对应的发音时长，语速＝多个字符对应的发音时长/多个字符的总数量，进一步地，可以对多个字符进行字符分割，得到多个关键字，每一个关键字可以理解为一个词，本申请实施例中，还可以预先存储预设关键字集，该预设关键字集中可以包括至少一个关键字，进而，将该关键字与预设关键字集进行匹配，得到匹配成功的至少一个目标关键字，对于语调而言，可以提取语音片段的波形图，对该波形图进行解析，得到目标语调，例如，将平均振幅作为目标语调，如此，可以通过对语音片段进行解析，得到多个维度的特征参数。

104、依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

其中，由于肢体行为、面部情绪、语音特征参数，均从一定程度上反映了用户的情绪，因此，可以通过该三个维度进行决策，得到最终的目标情绪。

可选地，上述步骤104，依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪，可包括如下步骤：

41、确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

42、确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

43、确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

44、获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

45、依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

46、从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

其中，可以参阅图1B，图1B示出了，每一种肢体行为可以对应至少一个情绪，每一种面部表情可以对应至少一个情绪，每一语音特征参数也可以对应至少一个情绪，每一情绪对应一个情绪概率值，由上述所有的情绪以及情绪概率值可以决策出最终的目标情绪。

具体地，不同的肢体行为可以对应不同的情绪，因此，情绪识别装置中可以预先存储肢体行为与情绪之间的映射关系，进而，可以依据该映射关系确定目标肢体行为对应的至少一个情绪，由该至少一个情绪可以构成第一情绪集，当然，每一情绪可以对应一个第一情绪概率值，该第一情绪概率值可以预先设置或者系统默认。当然，不同的面部表情也可以对应不同的情绪，因此，情绪识别装置中可以预先存储面部表情与情绪之间的映射关系，通过该映射关系可以确定目标面部表情对应的至少一个情绪，由该至少一个情绪可以构成第二情绪集，第二情绪集中的每一情绪可以对应一个第二情绪概率值，该第二情绪概率值可以预先设置或者系统默认。另外，每一语音特征参数也可以对应不同的情绪，因此，情绪识别装置中还可以预先存储语音特征参数与情绪之间的映射关系，进而，依据该映射关系确定目标语音特征参数对应的至少一个情绪，由该至少一个情绪可以构成第三情绪集，该第三情绪集中的每一情绪可以对应一个第三情绪概率值，该第三情绪概率值可以预先设置或者系统默认。进一步地，还可以获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值，当然，该第一权值、第二权值、第三权值可以预先设置，第一权值+第二权值+第三权值＝1。每一情绪的得分值＝情绪值*情绪概率值，于是，可以得到每一个情绪的得分值，再确定每一类情绪对应的得分值，得到每一类对应的得分值，从该每一类得分值中选取最大值，将该最大值对应的情绪作为目标情绪，如此，可以通过肢体行为、面部表情、语音三个维度决策出最终的情绪，单一维度情绪识别误差较大，多个维度则可以弱化单一维度造成的识别误差，提升了情绪识别精度。

其中，上述第一概率值、第二概率值、第三概率值均可以由大数据得到，具体地，采集大量的用户的肢体行为、面部表情以及语音，分析其肢体行为对应的情绪的概率值。

进一步可选地，所述目标肢体行为包括至少一个肢体行为；上述步骤23，依据所述多个目标图像进行行为识别，得到所述目标肢体行为，可以按照如下方式实施：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

则，上述步骤41，确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值，可包括如下步骤：

411、按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

412、依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

其中，上述目标肢体行为可以包括至少一个肢体行为，由于行为识别，有可能将一个肢体动作识别为多个肢体行为，每一肢体行为则可以对应一个识别概率，具体实现中，可以将多个目标图像输入到预设神经网络模型中，由该预设神经网络模型对每一张目标图像进行行为识别，可以得到至少一个肢体行为，每一肢体行为可以对应一个识别概率。情绪识别装置中可以预先存储预设的肢体行为与情绪之间的映射关系，进而，依据该映射关系确定至少一个肢体行为对应的情绪，得到最少一个情绪，每一个情绪可以对应一个预设概率值，该预设概率值可以预先设置，进而，依据每一肢体行为对应的识别概率、至少一个情绪中每一情绪对应的预设概率值进行运算，得到至少一个第一情绪概率值，即第一情绪概率值＝识别概率*预设概率值，如此，可以通过肢体行为的识别精度以及情绪的概率值，精准确定最终的情绪概率值，有利于精准分析用户的情绪。

当然，上述步骤42-43，均可以人脸图像或者语音输入到一个神经网络模型，通过该神经网络模型得到对应的情绪，具体思想可以参照上述步骤411-步骤412，不再赘述。

举例说明下，情绪识别装置可以采用摄像机捕捉测试对象的信息包括基于抓拍机的抓拍图像以及一定时间内包含测试对象的视频，其中，抓拍图像用于识别测试对象的面部表情信息，视频内容可用于识别测试对象的肢体行为，还可以测试对象的面部表情，具体地，可以通过抓拍机捕捉到的人脸信息进行分析获取，可对测试对象在视频片段内的肢体行为进行分析，具体地，利用深度学习预训练模型同时以面部表情信息和肢体行为作为输入，输出情绪多分类概率，以此作为测试对象的情绪预判定。当然，情绪的类别可以根据具体情况而定，例如，包括高兴、激动、紧张、愤怒等等，在此不作限定。另外，情绪识别装置可以采用录音设备(如扬声器)获取测试对象在同一时间内的音频片段，音频内容用于识别测试对象的语音、语速以及语调，最后，可以利用测试对象的语音、语速和语调，输入基于深度学习的预训练模型中，输出情绪多分类概率，以此基于测试对象的音频的情绪结果预判，最后，综合上述三种情绪多分类概率预判结果，基于深度学习模型，输出最终的综合情绪判定结果。

进一步可选地，上述步骤104之后，还可以包括如下步骤：

A1、对所述目标用户进行身份验证；

A2、在所述目标用户身份验证通过后，获取室内地图；

A3、在所述室内地图中对所述目标用户的位置进行标记，得到所述目标用户所在的目标区域；

A4、按照预设的情绪与控制参数之间的映射关系，确定所述目标情绪对应的用于控制所述目标区域对应的至少一个智能家居设备的目标控制参数；

A5、依据所述目标控制参数对所述至少一个智能家居设备进行调节。

其中，情绪识别装置中可以预先存储预设的情绪与控制参数之间的映射关系，上述智能家居设备可以为以下至少一种：智能空调、智能加湿器、智能音箱、智能灯、智能窗帘、智能按摩椅、智能电视等等，在此不作限定。具体实现中，可以对目标用户进行身份验证，在其身份验证通过后，则可以获取当前场景的室内地图，并在室内地图中对目标用户的位置进行标记，得到目标用户所在的目标区域，依据上述预先存储预设的情绪与控制参数之间的映射关系，可以确定目标情绪对应的用于控制目标区域对应的至少一个智能家居设备的目标控制参数，上述控制参数可以为以下至少一种：温度调节参数、湿度调节参数、音箱播放参数(例如，音量、曲目、音效等等)、亮度或者色温调节参数、窗帘控制参数(闭合程度参数)、按摩椅控制参数(按摩方式、按摩时长)、电视控制参数(音量、曲面、亮度、色温等等)，进而，依据该目标控制参数对至少一个智能家居设备进行调节，如此，可以依据不同的情绪，调节不同的环境，有助于缓和用户情绪，提升用户体验。

进一步可选地，上述步骤A1，对所述目标用户进行身份验证，可以包括如下步骤：

A11、获取所述目标用户的第一人脸图像；

A12、对所述第一人脸图像进行图像质量评价，得到目标图像质量评价值；

A13、按照预设的图像质量评价值与匹配阈值之间的映射关系，确定所述目标图像质量评价值对应的目标匹配阈值；

A14、对所述第一人脸图像进行轮廓提取，得到第一外围轮廓；

A15、对所述第一人脸图像进行特征点提取，得到第一特征点集；

A16、将所述第一外围轮廓与所述预设人脸模板的第二外围轮廓进行匹配，得到第一匹配值；

A17、将所述第一特征点集与所述预设人脸模板的第二特征点集进行匹配，得到第二匹配值；

A18、依据所述第一匹配值、所述第二匹配值确定目标匹配值；

A19、在所述目标匹配值大于所述目标匹配阈值时，确认所述目标用户身份验证通过。

其中，情绪识别装置可预先存储预设人脸模板，在人脸识别过程中，成功与否很大程度上取决于人脸图像质量，因此，本申请实施例中，则可以考虑动态匹配阈值，即若质量好，则匹配阈值则可以提高，若质量差，则匹配阈值可以降低，由于暗视觉环境下，拍摄的图像未必图像质量好，因此，可以适当调节匹配阈值。情绪识别装置中还可以存储预设的图像质量评价值与匹配阈值之间的映射关系，进而，依据该映射关系确定目标图像质量评价值对应的目标匹配阈值，在此基础上，对第一人脸图像进行轮廓提取，得到第一外围轮廓，对第一人脸图像进行特征点提取，得到第一特征点集，将第一外围轮廓与预设人脸模板的第二外围轮廓进行匹配，得到第一匹配值，将第一特征点集与预设人脸模板的第二特征点集进行匹配，得到第二匹配值，进而，依据第一匹配值、第二匹配值确定目标匹配值，例如，中可以预先存储环境参数与权重值对之间的映射关系，得到第一匹配值对应的第一权重系数，以及第二匹配值对应的第二权重系数，目标匹配值＝第一匹配值*第一权重系数+第二匹配值*第二权重系数，最后，在目标匹配值大于目标匹配阈值时，确认第一人脸图像与所述预设人脸模板匹配成功，否则，确认人脸识别失败，如此，动态调节人脸匹配过程，有利于针对具体环境，提升人脸识别效率。

另外，轮廓提取的算法可以为以下至少一种：霍夫变换、canny算子等等，在此不做限定，特征点提取的算法可以为以下至少一种：Harris角点、尺度不变特征提取变换(scaleinvariant feature transform，SIFT)等等，在此不做限定。

可选地，上述步骤A12，对所述第一人脸图像进行图像质量评价，得到目标图像质量评价值，可按照如下方式实施：

采用至少一个图像质量评价指标对第一人脸图像进行图像质量评价，得到目标图像质量评价值。

其中，图像质量评价指标可包括但不仅限于：平均灰度、均方差、熵、边缘保持度、信噪比等等。可定义为得到的图像质量评价值越大，则图像质量越好。

可以看出，通过本申请实施例情绪识别方法，获取指定时间段的针对目标用户的视频片段和音频片段，对视频片段进行分析，得到目标用户的目标肢体行为以及目标面部表情，对音频片段进行参数提取，得到目标用户的目标语音特征参数，依据目标肢体行为、面部表情以及语音特征参数决策出目标用户的目标情绪，如此，从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪。

与上述一致地，请参阅图2，为本申请实施例提供的一种情绪识别方法的实施例流程示意图。本实施例中所描述的情绪识别方法，包括以下步骤：

201、获取指定时间段的针对目标用户的视频片段和音频片段。

202、对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情。

203、对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数。

204、依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

205、对所述目标用户进行身份验证。

206、在所述目标用户身份验证通过后，获取室内地图。

207、在所述室内地图中对所述目标用户的位置进行标记，得到所述目标用户所在的目标区域。

208、按照预设的情绪与控制参数之间的映射关系，确定所述目标情绪对应的用于控制所述目标区域对应的至少一个智能家居设备的目标控制参数。

209、依据所述目标控制参数对所述至少一个智能家居设备进行调节。

其中，上述步骤201-步骤209所描述的情绪识别方法可参考图1A所描述的情绪识别方法的对应步骤。

可以看出，通过本申请实施例情绪识别方法，获取指定时间段的针对目标用户的视频片段和音频片段，对视频片段进行分析，得到目标用户的目标肢体行为以及目标面部表情，对音频片段进行参数提取，得到目标用户的目标语音特征参数，依据目标肢体行为、面部表情以及语音特征参数决策出目标用户的目标情绪，对目标用户进行身份验证，在目标用户身份验证通过后，获取室内地图，在室内地图中对目标用户的位置进行标记，得到目标用户所在的目标区域，按照预设的情绪与控制参数之间的映射关系，确定目标情绪对应的用于控制目标区域对应的至少一个智能家居设备的目标控制参数，依据目标控制参数对至少一个智能家居设备进行调节，如此，从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪，还能够依据情绪调节环境内的智能家居设备，有助于缓和用户情绪，提升用户体验。

与上述一致地，以下为实施上述情绪识别方法的装置，具体如下：

请参阅图3，为本申请实施例提供的一种情绪识别装置的实施例结构示意图。本实施例中所描述的情绪识别装置，包括：获取单元301、分析单元302、提取单元和决策单元304，具体如下：

获取单元301，用于获取指定时间段的针对目标用户的视频片段和音频片段；

分析单元302，用于对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

提取单元303，用于对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

决策单元304，用于依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

其中，上述获取单元301可用于实现上述步骤101所描述的方法，分析单元302可用于实现上述步骤102所描述的方法，上述提取单元303可用于实现上述步骤103所描述的方法，上述决策单元304可用于实现上述步骤104所描述的方法，以下如此类推。

可以看出，通过本申请实施例情绪识别装置，应用于情绪识别装置，获取指定时间段的针对目标用户的视频片段和音频片段，对视频片段进行分析，得到目标用户的目标肢体行为以及目标面部表情，对音频片段进行参数提取，得到目标用户的目标语音特征参数，依据目标肢体行为、面部表情以及语音特征参数决策出目标用户的目标情绪，如此，从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪。

在一个可能的示例中，在所述对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情方面，所述分析单元302具体用于：

对所述视频片段进行解析，得到多帧视频图像；

对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

对所述多个目标图像进行人脸识别，得到多个人脸图像；

对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

在一个可能的示例中，在所述依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪方面，所述决策单元304具体用于：

确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

在一个可能的示例中，所述目标肢体行为包括至少一个肢体行为；

在所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为方面，所述分析单元302具体用于：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

在所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值方面，所述决策单元具体用于：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

在一个可能的示例中，所述目标肢体行为包括至少一个肢体行为；

在所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为方面，所述分析单元302具体用于：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值，包括：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

在一个可能的示例中，所述目标语音特征参数包括以下至少一种：目标语速、目标语调、至少一个目标关键字；

在所述对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数方面，所述提取单元303具体用于：

对所述音频片段进行语义分析，得到多个字符；

确定所述多个字符对应的发音时长，以及依据所述多个字符、所述发音时长确定所述语速；

或者，

将所述多个字符进行字符分割，得到多个关键字；

将所述多个关键字与预设关键字集进行匹配，得到所述至少一个目标关键字；

或者，

提取所述语音片段的波形图；

对所述波形图进行解析，得到所述目标语调。

可以理解的是，本实施例的情绪识别装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

与上述一致地，请参阅图4，为本申请实施例提供的一种情绪识别装置的实施例结构示意图。本实施例中所描述的情绪识别装置，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

获取指定时间段的针对目标用户的视频片段和音频片段；

对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

可以看出，通过本申请实施例情绪识别装置，获取指定时间段的针对目标用户的视频片段和音频片段，对视频片段进行分析，得到目标用户的目标肢体行为以及目标面部表情，对音频片段进行参数提取，得到目标用户的目标语音特征参数，依据目标肢体行为、面部表情以及语音特征参数决策出目标用户的目标情绪，如此，从视频中解析出肢体行为、面部表情以及语音特征，以上三个维度均在一定程度上反映了用户情绪，进而，通过该三个维度共同决策出用户的情绪，能够精准识别出用户情绪。

在一个可能的示例中，在所述对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情方面，上述处理器3000具体用于：

对所述视频片段进行解析，得到多帧视频图像；

对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

对所述多个目标图像进行人脸识别，得到多个人脸图像；

对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

在一个可能的示例中，在所述依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪方面，上述处理器3000具体用于：

确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

在一个可能的示例中，所述目标肢体行为包括至少一个肢体行为；

在所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为方面，上述处理器3000具体用于：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

在所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值方面，上述处理器3000具体用于：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

在一个可能的示例中，所述目标语音特征参数包括以下至少一种：目标语速、目标语调、至少一个目标关键字；

在所述对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数方面，上述处理器3000具体用于：

对所述音频片段进行语义分析，得到多个字符；

确定所述多个字符对应的发音时长，以及依据所述多个字符、所述发音时长确定所述语速；

或者，

将所述多个字符进行字符分割，得到多个关键字；

将所述多个关键字与预设关键字集进行匹配，得到所述至少一个目标关键字；

或者，

提取所述语音片段的波形图；

对所述波形图进行解析，得到所述目标语调。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种情绪识别方法的部分或全部步骤。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种情绪识别方法，其特征在于，包括：

获取指定时间段的针对目标用户的视频片段和音频片段；

对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情，包括：

对所述视频片段进行解析，得到多帧视频图像；

对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

对所述多个目标图像进行人脸识别，得到多个人脸图像；

对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

3.根据权利要求1或2所述的方法，其特征在于，所述依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪，包括：

确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

4.根据权利要求3所述的方法，其特征在于，所述目标肢体行为包括至少一个肢体行为；

所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为，包括：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值，包括：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标语音特征参数包括以下至少一种：目标语速、目标语调、至少一个目标关键字；

所述对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数，包括：

对所述音频片段进行语义分析，得到多个字符；

确定所述多个字符对应的发音时长，以及依据所述多个字符、所述发音时长确定所述语速；

或者，

将所述多个字符进行字符分割，得到多个关键字；

将所述多个关键字与预设关键字集进行匹配，得到所述至少一个目标关键字；

或者，

提取所述语音片段的波形图；

对所述波形图进行解析，得到所述目标语调。

6.一种情绪识别装置，其特征在于，包括:

获取单元，用于获取指定时间段的针对目标用户的视频片段和音频片段；

分析单元，用于对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

提取单元，用于对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

决策单元，用于依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

7.根据权利要求6所述的装置，其特征在于，在所述对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情方面，所述分析单元具体用于：

对所述视频片段进行解析，得到多帧视频图像；

对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

对所述多个目标图像进行人脸识别，得到多个人脸图像；

对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

8.根据权利要求6或7所述的装置，其特征在于，在所述依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪方面，所述决策单元具体用于：

确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

9.根据权利要求8所述的装置，其特征在于，所述目标肢体行为包括至少一个肢体行为；

在所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为方面，所述分析单元具体用于：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

在所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值方面，所述决策单元具体用于：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。