CN109829362A - 安检辅助分析方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，特别涉及一种安检辅助分析方法、装置、计算机设备和存储介质。方法包括：获取安检对象的身份识别信息和实时安检图像；查找与身份识别信息对应的身份图像；将实时安检图像与身份图像进行人像比对得到人像比对结果；当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同一人时，从实时安检图像中提取图像特征，并将图像特征与预设微表情的细节特征进行比对得到微表情相似度；查找各情绪模式下各预设微表情对应的表情系数；根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值；根据情绪数值确定安检对象的情绪模式。采用本方法能够确定安检对象实时情绪，辅助进行安检决策，提高安检准确率。

Description

安检辅助分析方法、装置、计算机设备和存储介质

技术领域

本申请涉及安检技术领域，特别是涉及一种安检辅助分析方法、装置、计算机设备和存储介质。

背景技术

现有的安检设备主要是检查人们随身携带的行李物品或对人体进行全身检查，检查人体是否携带违禁品，但这些都不能通过犯罪分子的特征主动识别罪犯。在现有安检模式中，安检员只能在显示屏上看到物品的X光图像、当前柜台号等信息，无法全面了解安检现场的情况，只能根据片面信息进行安检，可能存在漏检或者错检等现象，导致安检的准确率低，安检效果差，且对于危险的防范比较被动。

发明内容

基于此，有必要针对上述技术问题，提供一种能够辅助安检的安检辅助分析方法、装置、计算机设备和存储介质。

一种安检辅助分析方法，所述方法包括：

获取安检对象的身份识别信息和实时安检图像；

查找与所述身份识别信息对应的身份图像；

将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并将所述图像特征与预设微表情的细节特征进行相似度比对，得到微表情相似度；

查找各情绪模式下各所述预设微表情对应的表情系数；

根据所述表情系数及所述微表情相似度计算各所述情绪模式下所述安检对象的情绪数值；

根据所述情绪数值确定所述安检对象的情绪模式。

在其中一个实施例中，所述将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果，包括：

从所述实时安检图像中提取安检人像信息，并从所述身份图像中提取身份人像信息；

从所述身份人像信息中提取身份特征矢量，从所述安检人像信息中提取安检特征矢量；

计算所述安检特征矢量与所述身份特征矢量的相似度百分比；

获取预设百分比阈值；

将所述相似度百分比与所述预设百分比阈值进行比较并得到人像比对结果。

在其中一个实施例中，所述获取安检对象的身份识别信息和实时安检图像，包括：

获取所述身份识别信息；

根据获取的所述身份识别信息进行随机动作提示；

获取所述随机动作提示对应的连续拍摄图像；

提取所述连续拍摄图像中的面部特征值并计算所述面部特征值的特征变化数值；

获取预设面部变化阈值，将所述特征变化数值与所述预设面部变化阈值进行比较；

当所述特征变化数值不小于所述预设面部变化阈值时，从所述连续拍摄图像中提取出实时安检图像。

在其中一个实施例中，所述从所述实时安检图像中提取图像特征，根据所述图像特征与预设微表情的细节特征得到微表情相似度，包括：

从所述实时安检图像中提取图像特征；

将所述图像特征与各预设细节特征进行比对得到特征比对结果；

当根据所述特征比对结果判断所述图像特征与所述预设细节特征为同一特征时，查找提取出的各所述细节特征对应的微表情类别；

计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征的总数中的所占比例，得到各所述微表情类别下的微表情相似度。

在其中一个实施例中，所述根据所述表情系数及所述微表情相似度计算各情绪模式下所述安检对象的情绪数值，包括：

获取预设提取数量；

将所述图像特征对应的微表情根据对应的所述微表情相似度由大至小的顺序进行排序，将排在前列的所述微表情提取为待处理微表情，且提取出所述待处理微表情的数量与所述预设提取数量一致；

根据所述待处理微表情的所述表情系数及所述微表情相似度计算得到各所述情绪模式下所述安检对象的情绪数值。

在其中一个实施例中，所述根据所述情绪数值判定所述安检对象的情绪模式之后，包括：

获取所述情绪模式对应的情绪异常阈值范围；

将所述安检对象的情绪数值与所述情绪异常阈值范围进行比对；

当所述情绪数值处于所述情绪异常阈值范围内时，生成情绪异常确认信息。

一种安检辅助分析装置，所述装置包括：

安检获取模块，用于获取所述安检对象的身份识别信息和实时安检图像；

身份图像查找模块，用于查找与所述身份识别信息对应的身份图像；

人像比对模块，用于将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

微表情分析模块，用于当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并根据所述图像特征与预设微表情的细节特征得到微表情相似度；

表情系数获取模块，用于查找各情绪模式下各所述预设微表情对应的表情系数；

计算模块，用于根据所述表情系数及所述微表情相似度计算各情绪模式下所述安检对象的情绪数值；

情绪模式判定模块，用于根据所述情绪数值确定所述安检对象的情绪模式。

在其中一个实施例中，所述微表情分析模块包括：

特征提取单元，用于从所述实时安检图像中提取图像特征；

特征比对单元，用于将所述图像特征与各预设细节特征进行比对得到特征比对结果；

属性查找单元，用于当根据所述特征比对结果判断所述图像特征与所述预设细节特征为同一特征时，查找提取出的各所述细节特征对应的微表情类别；

相似度计算单元，用于计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征总数中的所占比例，得到各所述微表情类别下的微表情相似度。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取安检对象的身份识别信息和实时安检图像；

查找与所述身份识别信息对应的身份图像；

将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并根据所述图像特征与预设微表情的细节特征得到微表情相似度；

查找各情绪模式下各所述预设微表情对应的表情系数；

根据所述表情系数及所述微表情相似度计算各所述情绪模式下所述安检对象的情绪数值；

根据所述情绪数值确定所述安检对象的情绪模式。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取安检对象的身份识别信息和实时安检图像；

查找与所述身份识别信息对应的身份图像；

将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并根据所述图像特征与预设微表情的细节特征得到微表情相似度；

查找各情绪模式下各所述预设微表情对应的表情系数；

根据所述表情系数及所述微表情相似度计算各所述情绪模式下所述安检对象的情绪数值；

根据所述情绪数值确定所述安检对象的情绪模式。

上述安检辅助分析方法、装置、计算机设备和存储介质，先获取安检对象的身份图像和实时安检图像，对两个图像进行比对分析，确定安检对象的身份，从而可以对安检对象的行踪进行追溯，而且也可以降低冒用他人身份的发生概率。而后在确认安检对象身份的情况下对安检对象的面部表情进行微表情分析，得到安检对象的当前情绪模式，从而确定安检对象的实时情绪，进而实现对安检对象的进一步了解，辅助进行安检决策，提高安检的准确率和安检效果。

附图说明

图1为一个实施例中安检辅助分析方法的应用场景图；

图2为一个实施例中安检辅助分析方法的流程示意图；

图3为一个实施例中人像比对步骤的流程示意图；

图4为一个实施例中安检信息获取步骤的流程示意图；

图5为另一个实施例中微表情分类步骤的流程示意图；

图6为一个实施例中安检辅助分析装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的安检辅助分析方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式安检智能设备。在一个实施例中，终端102为设置在火车站或者机场等人流量较大位置处的安检辅助分析装置。安检辅助分析装置既可以通过获取设置在外部的摄像头间接获取安检对象的实时安检图像，也可以采用摄像模块对安检对象进行实时拍摄直接获取实时安检图像。终端102将获取到的身份识别信息上传给服务器104，服务器104根据接收到的身份识别信息查找身份图像，并将对应的身份图像发送给终端102，终端102接收到身份图像后，先将实时安检图像与身份图像进行人像比对得到人像比对结果；而后进行微表情分析。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，为终端102提供数据接入服务。

在一个实施例中，如图2所示，提供了一种安检辅助分析方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

步骤202，获取安检对象的身份识别信息和实时安检图像。

在本实施例中，安检对象可以是乘客或者乘务人员。身份识别信息可以是安检对象事先在安检系统中存储的身份证号码、护照号码、指纹等等。终端102可以获取安检对象身份证的身份证号码和/或获取安检对象的指纹。

终端102在获取安检对象的身份识别信息的同时，获取实时安检图像。实时安检图像是安检对象在经过预定位置处时的拍摄图像。拍摄图像可以根据需要为一至多张。当拍摄图像仅为一张时，该拍摄图像就是实时安检图像；当拍摄图像为多张时，可以设定其中某一张拍摄图像为实时安检图像，也可以设定某几张拍摄图像均为实时安检图像。

步骤204，查找与身份识别信息对应的身份图像。

具体地，终端102将获取的身份识别信息发送给服务器，并在服务器内根据身份识别信息进行查找，并获取对应的身份图像。在一实施例中，终端102可以生成一个含有身份识别信息的图像获取请求发送给服务器，并接收服务器基于该图像获取请求返回被请求的身份图像。服务器根据图像获取请求中身份识别信息进行查找，并将查找到的身份图像发送给终端102。

步骤206，将实时安检图像与身份图像进行人像比对得到人像比对结果。

判断实时安检图像对应的人像与身份图像对应的人像是否同属一人，可以采用人脸图像比对识别方法也可以采用两照比对识别方法将实时安检图像与身份图像进行人像比对判断。

具体地，当采用人脸图像比对识别方法时，终端102先对实时安检图像和身份图像进行归一化处理；再获取事先建立好的通用三维人脸模型库，通过预先训练好的多任务学习神经网络对实时安检图像和身份图像进行人脸检测及人脸关键点信息提取确定各器官的位置，进而对实时安检图像和身份图像中的人脸头像提取对应的尺寸数据；根据尺寸数据计算人像中的脸部比例数据；判断身份头像和安检头像的脸部比例数据是否一致并生成人像比对结果。

通用三维人脸模型库适用于所有人群，存储有将人脸分为眼眉、眼睛、鼻子、嘴巴、下巴、脸颊、额头、耳朵以及后脑共九个区域分类以及分类数据。每个区域分类分别定义了区域轮廓点以及特征点。分类数据还记录了区域轮廓点以及特征点的几何关系。因而，采用通用三维人脸模型库可以迅速定位出眼眉、眼睛、鼻子、嘴巴、下巴、脸颊、额头以及耳朵在人脸的位置，进而提取出各器官在人脸的尺寸数据。终端102根据尺寸数据分别计算实时安检图像和身份图像中人像的脸部比例数据，并将两种图像的脸部比例数据进行比对判断。当脸部比例数据一致时，生成实时安检图像对应的人像与身份图像对应的人像同属一人的人像比对结果；当脸部比例数据不一致时，生成实时安检图像对应的人像与身份图像对应的人像不是同一人的人像比对结果。

步骤208，当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同属一人时，从实时安检图像中提取图像特征，并根据图像特征与预设微表情的细节特征得到微表情相似度。

当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同属一人时，终端102从实时安检图像中提取图像特征，

并将图像特征与预先存储的预设微表情的细节特征进行相似度比对，得到微表情相似度。例如，将实时安检图像中提取出的图像特征与事先存储的微表情“眯眼睛”、“嘴角上扬”、“嘴角下拉”、“眨眼睛”以及“露牙齿”的图像特征逐个进行相似度比对，比对数值分别为40％、80％、0％、10％以及90％。因此，实时安检图像中仅存在微表情“眯眼睛”、“嘴角上扬”、“眨眼睛”以及“露牙齿”，且微表情相似度分别为40％、80％、10％以及90％。

步骤210，查找各情绪模式下各微表情对应的表情系数。

终端根据微表情分别查找对应的各情绪模式下的表情系数。在一实施例中，情绪模式有7种，分别为高兴、伤心、害怕、愤怒、厌恶、惊讶以及轻蔑。但是不同微表情与各情绪模式之间的相关性不一样，所以表情系数也不一样，例如，微表情“嘴角上扬”与高兴、伤心、害怕、愤怒、厌恶、惊讶以及轻蔑对应的表情系数分别为9、0、0、5、3、1以及2。

步骤212，根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值。

终端根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值，例如，在情绪模式为高兴的情况下，提取到的微表情为“眯眼睛”、“嘴角上扬”、“眨眼睛”以及“露牙齿”，微表情相似度分别为40％、80％、10％以及90％，微表情“眯眼睛”与高兴的表情系数为4，微表情“嘴角上扬”与高兴的表情系数为9，微表情“眨眼睛”与高兴的表情系数为1，微表情“露牙齿”与高兴的表情系数为10，此时，高兴情绪模式下安检对象的情绪数值为17.9(＝40％*4+80％*9+10％*1+90％*10)。

步骤214，根据情绪数值确定安检对象的情绪模式。

具体地，终端根据各情绪模式的情绪数值将情绪数值最大的情绪模式设定为安检对象的情绪模式。

上述安检辅助分析方法中，先获取安检对象的身份图像和实时安检图像，对两个图像进行比对分析，确定安检对象的身份，从而可以对安检对象的行踪进行追溯，而且也可以降低冒用他人身份的发生概率。而后在确认安检对象身份的情况下对安检对象的面部表情进行微表情分析，得到安检对象的当前情绪模式，从而确定安检对象的实时情绪，进而实现对安检对象的进一步了解，辅助进行安检决策，提高安检的准确率和安检效果。

在一个实施例中，如图3所示，将实时安检图像与身份图像进行人像比对得到人像比对结果，具体包括以下步骤：

步骤302，从实时安检图像中提取安检人像信息，并从身份图像中提取身份人像信息。

终端对实时安检图像进行人像检测，确定人像在实时安检图像的位置，而后根据确定的图像位置从实时安检图像中提取安检人像信息。同样的，终端对身份图像也进行人像检测，确定人像在身份图像的位置，而后根据确定的图像位置从身份图像中提取身份人像信息。

步骤304，从身份人像信息中提取身份特征矢量，从安检人像信息中提取安检特征矢量。

每个人的身高、体重、肩宽等等尺寸比例都是独一无二的，因而采用对不同人的人像信息进行分析时，得到的图像特征矢量也不可能完全一致，所以可以用来判断是否是同一个人。在一实施例中，身份特征矢量和安检特征矢量均是通过Gabor滤波器进行提取。身份人像信息包含含有BMP格式的身份人像，安检人像信息包含含有BMP格式的安检人像。

I(x,y)为一幅图像的灰度分布，其Gabor特征表示为：

O_μ，ν(x,y)＝I(x,y)*ψ_μ，ν(x,y)，也可以表示为O_k(z)＝I(z)*ψ(k,z)，

其中，ψ_μ，ν(x,y)是Gabor核函数，O_μ，ν(x,y)就是相应于尺度μ、方向ν的Gabor小波卷积结果。ψ_μ，ν(x,y)表示为下式：

其中，确定了Gabor内核的尺度和方向，z＝(x,y)为空间位置坐标，k_ν＝k_max/f^ν为采样尺度，φ_μ＝πμ/8为采样方向，k_max为最大频率，f是频域中的内核间隔因子。

对于人脸识别而言，一般选用5个尺度8个方向的Gabor小波卷积结果，即ν∈{0，...,4},μ∈{0，...,7}，其余参数设为k_max＝π/2，以及σ＝2π。由于直接将所有尺度、方向的Gabor小波卷积结果变换表示成一个级联的特征矢量，会导致图像的维数太高而难于处理，因而对各Gabor小波卷积结果进行下采样处理，采样因子为ρ，所以一幅图像的级联的特征矢量X为：

当终端对身份人像进行处理，得到的特征矢量X就是身份特征矢量；对安检人像进行处理，得到的特征矢量X’就是安检特征矢量。

步骤306，计算安检特征矢量与身份特征矢量的相似度百分比。

O_k(z)的幅值和相位分别为A_k和Ф_k，则组合不同尺度和方向的O_k(z)构成图像在z位置处的特征矢量X。

身份特征矢量X和安检特征矢量X’的相似性S_A计算公式如下：

终端将在步骤304中计算得到的身份特征矢量X和安检特征矢量X’代入相似性S_A计算公式得到相似度百分比。

步骤308，获取预设百分比阈值。

考虑到拍摄环境、拍摄设备以及拍摄者的变化，设置一个预设百分比阈值。为了降低误判率，一般预设百分比阈值设置在60％～95％。

步骤310，将相似度百分比与预设百分比阈值进行比较并得到人像比对结果。

判断相似度百分比与预设百分比阈值之间的大小，当相似度百分比大于预设百分比阈值时，生成实时安检图像对应的人像与身份图像对应的人像同属一人的人像比对结果；当相似度百分比小于预设百分比阈值时，生成实时安检图像对应的人像与身份图像对应的人像不是同一人的人像比对结果。

在上述安检辅助分析方法中，由于Gabor小波多分辨率、多方向地反映图像局部特性，所以对于光照的反应不敏感，对光照具有更好的适应性，对图像特征的提取也更准确。

在另一实施例中，如图4所示，获取安检对象的身份识别信息和实时安检图像，具体包括以下步骤：

步骤402，获取身份识别信息。

终端102获取安检对象身份证的身份证号码、护照号码和/或获取安检对象的指纹。

步骤404，根据获取的身份识别信息进行随机动作提示。

终端102确认身份识别信息获取成功后，进行随机动作提示。随机动作提示一般提示安检对象进行某一面部操作，例如，随机动作提示可以是“请微笑”或者“请眨眼”等等。

步骤406，获取随机动作提示对应的连续拍摄图像。

在安检对象进行随机动作时，终端102获取随机动作对应的连续拍摄图像。

步骤408，提取连续拍摄图像中的面部特征值并计算面部特征值的特征变化数值。

终端102根据随机动作提示获取与随机动作对应的面部特征提取位置，并根据该面部特征提取位置提取连续拍摄图像中对应的面部特征值，进一步计算面部特征值的特征变化数值。例如，随机动作为“请眨眼”，终端102根据该随机动作获取眼部特征提取位置，并提取连续拍摄图像中该眼部特征提取位置的像素值以及临近区域内的像素值(即面部特征值)，根据局部二值模式计算眼部特征提取位置的像素与邻域像素之间的差值(即特征变化数值)。

步骤410，获取预设面部变化阈值，将特征变化数值与预设面部变化阈值进行比较。

终端102根据随机动作提示获取预设面部变化阈值，并将特征变化数值与预设面部变化阈值的大小进行比较。

步骤412，当特征变化数值不小于预设面部变化阈值时，从连续拍摄图像中提取出实时安检图像。

当特征变化数值不小于预设面部变化阈值时，终端102从连续拍摄图像中提取出一帧图像作为实时安检图像。终端102可以随机提取如第一帧图像、第N帧图像或者最后一帧图像作为实时安检图像。优选地，因为在最后一帧图像中，安检对象已经做完提示动作，所以，为了减小对后续微表情分析的影响，终端102可以将最后一帧图像作为实时安检图像。

在上述安检辅助分析方法中，通过让安检对象进行随机动作，能够防范危险分子使用照片、3D人脸模型或者面具等方式进行验证，提高安检的安全系数。

在一实施例中，如图5所示，从实时安检图像中提取图像特征，并根据图像特征与预设微表情的细节特征得到微表情相似度，具体包括以下步骤：

步骤502，从实时安检图像中提取图像特征。

微表情数据库中具有20多万个细节特征，同一个微表情根据不同人的行为习惯会有极大的变化，为了实现对微表情的准确定义采用多个细节特征对同一类微表情进行反映，在一实施例中，预设微表情共有54种，每类微表情具有1000～4000个预设细节特征，但每个预设细节特征具有唯一的特征参数。终端根据微表情数据库中预设细节特征的特征参数从实时安检图像中提取存在的图像特征。

步骤504，将所述图像特征与各预设细节特征进行比对得到特征比对结果。

每个图像特征和预设细节特征均具有唯一的特征参数，终端将图像特征与所有预设细节特征的特征参数一一进行比对，并判断两者的特征参数是否一致，然后生成特征比对结果。例如，实时安检图像中存在“嘴角向上的弧度为3度”图像特征，该图像特征的特征参数为“弧度为3度”。该图像特征的特征参数与预设细节特征“嘴角向上的弧度为3度”的特征参数是一致的，与预设细节特征“嘴角向上的弧度为5度”的特征参数是不一致的。

步骤506，当根据特征比对结果判断图像特征与细节特征为同一特征时，查找提取出的各图像特征对应的微表情类别。

当根据特征比对结果判断图像特征与细节特征为同一特征时，终端根据与图像特征相同的各细节特征依次进行微表情分类属性查找，并确定图像特征对应的微表情类别。在本实施例中，预设微表情共有54种，微表情类别也存在54种，例如，预设微表情的细节特征为嘴角向上的弧度为3度，该细节特征的微表情类别为“嘴角上扬”，因而，当图像特征也为嘴角向上的弧度为3度时，图像特征对应的微表情分类就是“嘴角上扬”。

步骤508，计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征的总数中的所占比例，得到各所述微表情类别下的微表情相似度。

终端计算每个微表情类别下图像特征的数量，并计算各微表情类别下图像特征数量在提取出的图像特征总数中的所占比例，该所占比例就是各微表情的微表情相似度。

在一个实施例中，根据表情系数及出现概率计算各情绪模式下安检对象的情绪数值，包括：获取预设提取数量；将微表情根据对应的出现概率由大至小的顺序进行排序，将排在前列的微表情提取为待处理微表情，且提取出待处理微表情的数量与预设提取数量一致；根据待处理微表情的表情系数及出现概率计算得到各情绪模式下安检对象的情绪数值。

当终端获得的微表情数量比较多时，计算比较繁复，为了快速得到安检对象的情绪数值，可以设置预设提取数量，一般设置4～10个。终端将提取出的待处理微表情的表情系数和出现概率的乘积进行累加得到各情绪模式下安检对象的情绪数值。

在一个实施例中，根据情绪数值判定安检对象的情绪模式之后，方法还包括：获取情绪模式对应的情绪异常阈值范围；将安检对象的情绪数值与情绪异常阈值范围进行比对；当情绪数值处于情绪异常阈值范围内时，生成情绪异常确认信息。

每个情绪均有对应的情绪异常阈值范围，且不同情绪的情绪异常阈值范围不一定相同。当安检对象进行某些危害社会安全行为时，安检对象的情绪数值一般处于情绪异常阈值范围内，所以设定情绪异常阈值范围，通过对安检对象的情绪数值的判断，可以预估安检对象是否存在危害社会安全的举措。终端根据情绪数值可以确定安检对象的当前情绪是否异常。当安检对象被判定为情绪异常时，终端生成情绪异常确认信息并显示给协警或安检员持有的智能终端，以便协警或安检员了解安检对象的状况，并与安检对象进行沟通。例如，当安检对象情绪阈值落入紧张异常阈值范围时，情绪异常确认信息可以是“警告！身份证号为“XXXXXXX”的安检对象的当前情绪模式为紧张，此人的情绪阈值落入紧张异常阈值范围，此人情绪过于紧张，请与该名安检对象进行沟通确认！”。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种安检辅助分析装置，包括：安检获取模块602、身份图像查找模块604、人像比对模块606、微表情分析模块608、表情系数获取模块610、计算模块612和情绪模式判定模块614，其中：

安检获取模块602，用于获取安检对象的身份识别信息和实时安检图像。

身份图像查找模块604，用于查找与身份识别信息对应的身份图像。

人像比对模块606，用于将实时安检图像与身份图像进行人像比对得到人像比对结果。

微表情分析模块608，用于当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同属一人时，从实时安检图像中提取图像特征，并将图像特征与预设微表情的细节特征进行比对，得到微表情相似度。

表情系数获取模块610，用于查找各情绪模式下各预设微表情对应的表情系数。

计算模块612，用于根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值。

情绪模式判定模块614，用于根据情绪数值确定安检对象的情绪模式。

在一些实施例中，人像比对模块包括人像提取单元、特征矢量提取单元、相似度计算单元、百分比阈值获取单元以及人像比对单元，其中：

人像提取单元，用于从实时安检图像中提取安检人像信息，并从身份图像中提取身份人像信息。

特征矢量提取单元，用于从身份人像信息中提取身份特征矢量，从安检人像信息中提取安检特征矢量。

相似度计算单元，用于计算安检特征矢量与身份特征矢量的相似度百分比。

百分比阈值获取单元，用于获取预设百分比阈值。

人像比对单元，用于将相似度百分比与预设百分比阈值进行比较并得到人像比对结果。

在另一实施例中，安检获取模块包括身份识别获取单元、动作提示单元、拍摄图像获取单元、特征变化值计算单元、面部变化阈值获取比较单元以及安检图像提取单元，其中：

身份识别获取单元，用于获取身份识别信息。

动作提示单元，用于根据获取的身份识别信息进行随机动作提示。

拍摄图像获取单元，用于获取随机动作提示对应的连续拍摄图像。

特征变化值计算单元，用于提取连续拍摄图像中的面部特征值并计算面部特征值的特征变化数值。

面部变化阈值获取比较单元，用于获取预设面部变化阈值，将特征变化数值与预设面部变化阈值进行比较。

安检图像提取单元，用于当特征变化数值不小于预设面部变化阈值时，从连续拍摄图像中提取出实时安检图像。

在另一实施例中，微表情分析模块包括特征提取单元、特征比对单元、属性查找单元、分类单元以及概率计算单元，其中：

特征提取单元，用于从所述实时安检图像中提取图像特征。

特征比对单元，用于将所述图像特征与各预设细节特征进行比对得到特征比对结果。

属性查找单元，用于当根据所述特征比对结果判断所述图像特征与所述预设细节特征为同一特征时，查找提取出的各所述细节特征对应的微表情类别。

相似度计算单元，用于计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征总数中的所占比例，得到各所述微表情类别下的微表情相似度。

在另一实施例中，计算模块包括数量提取单元，微表情提取单元以及情绪数值计算单元，其中：

数量提取单元，用于获取预设提取数量；

微表情提取单元，用于将微表情根据对应的出现概率由大至小的顺序进行排序，将排在前列的微表情提取为待处理微表情，且提取出待处理微表情的数量与预设提取数量一致；

情绪数值计算单元，用于根据待处理微表情的表情系数及出现概率计算得到各情绪模式下安检对象的情绪数值。

在一实施例中，安检辅助分析装置还包括异常阈值获取模块、情绪数值比对模块以及异常信息生成模块，其中：

异常阈值获取模块，用于获取情绪模式对应的情绪异常阈值范围；

情绪数值比对模块，用于将安检对象的情绪数值与情绪异常阈值范围进行比对；

异常信息生成模块，用于当情绪数值处于情绪异常阈值范围内时，生成情绪异常确认信息。

关于安检辅助分析装置的具体限定可以参见上文中对于安检辅助分析方法的限定，在此不再赘述。上述安检辅助分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种安检辅助分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取安检对象的身份识别信息和实时安检图像；查找与身份识别信息对应的身份图像；将实时安检图像与身份图像进行人像比对得到人像比对结果；当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同属一人时，从实时安检图像中提取图像特征，并根据图像特征与预设微表情的细节特征得到微表情相似度；查找各情绪模式下各预设微表情对应的表情系数；根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值；根据情绪数值确定安检对象的情绪模式。

处理器执行计算机程序时实现将实时安检图像与身份图像进行人像比对得到人像比对结果的步骤时，还用于：从实时安检图像中提取安检人像信息，并从身份图像中提取身份人像信息；从身份人像信息中提取身份特征矢量，从安检人像信息中提取安检特征矢量；计算安检特征矢量与身份特征矢量的相似度百分比；获取预设百分比阈值；将相似度百分比与预设百分比阈值进行比较并得到人像比对结果。

在一个实施例中，处理器执行计算机程序时实现将获取安检对象的身份识别信息和实时安检图像的步骤时，还用于：获取身份识别信息；根据获取的身份识别信息进行随机动作提示；获取随机动作提示对应的连续拍摄图像；提取连续拍摄图像中的面部特征值并计算面部特征值的特征变化数值；获取预设面部变化阈值，将特征变化数值与预设面部变化阈值进行比较；当特征变化数值不小于预设面部变化阈值时，从连续拍摄图像中提取出实时安检图像。

在一个实施例中，处理器执行计算机程序时实现将从实时安检图像中提取图像特征，并根据图像特征与预设微表情的细节特征得到微表情相似度的步骤时，还用于：从实时安检图像中提取图像特征；将图像特征与各预设细节特征进行比对得到特征比对结果；当根据特征比对结果判断图像特征与预设细节特征为同一特征时，查找提取出的各细节特征对应的微表情类别；计算各微表情类别对应的图像特征的数量在提取出的图像特征的总数中的所占比例，得到各微表情类别下的微表情相似度。

在一个实施例中，处理器执行计算机程序时实现将根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值的步骤时，还用于：获取预设提取数量；将图像特征对应的微表情根据对应的微表情相似度由大至小的顺序进行排序，将排在前列的微表情提取为待处理微表情，且提取出待处理微表情的数量与预设提取数量一致；根据待处理微表情的表情系数及微表情相似度计算得到各情绪模式下安检对象的情绪数值。

在一个实施例中，处理器执行计算机程序时实现将根据情绪数值判定安检对象的情绪模式的步骤之后，还用于：获取情绪模式对应的情绪异常阈值范围；将安检对象的情绪数值与情绪异常阈值范围进行比对；当情绪数值处于情绪异常阈值范围内时，生成情绪异常确认信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取安检对象的身份识别信息和实时安检图像；

查找与身份识别信息对应的身份图像；

将实时安检图像与身份图像进行人像比对得到人像比对结果；

当根据人像比对结果判定实时安检图像对应的人像与身份图像对应的人像同属一人时，从实时安检图像中提取图像特征，并根据图像特征与预设微表情的细节特征得到微表情相似度；

查找各情绪模式下各预设微表情对应的表情系数；

根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值；

根据情绪数值确定安检对象的情绪模式。

在一个实施例中，计算机程序被处理器执行时实现将实时安检图像与身份图像进行人像比对得到人像比对结果步骤时还用于：从实时安检图像中提取安检人像信息，并从身份图像中提取身份人像信息；从身份人像信息中提取身份特征矢量，从安检人像信息中提取安检特征矢量；计算安检特征矢量与身份特征矢量的相似度百分比；获取预设百分比阈值；将相似度百分比与预设百分比阈值进行比较并得到人像比对结果。

在一个实施例中，计算机程序被处理器执行时实现获取安检对象的身份识别信息和实时安检图像步骤时还用于：获取身份识别信息；根据获取的身份识别信息进行随机动作提示；获取随机动作提示对应的连续拍摄图像；提取连续拍摄图像中的面部特征值并计算面部特征值的特征变化数值；获取预设面部变化阈值，将特征变化数值与预设面部变化阈值进行比较；当特征变化数值不小于预设面部变化阈值时，从连续拍摄图像中提取出实时安检图像。

在一个实施例中，计算机程序被处理器执行时实现从实时安检图像中提取图像特征，根据图像特征与预设微表情的细节特征得到微表情相似度步骤时还用于：从实时安检图像中提取图像特征；将图像特征与各预设细节特征进行比对得到特征比对结果；当根据特征比对结果判断图像特征与预设细节特征为同一特征时，查找提取出的各细节特征对应的微表情类别；计算各微表情类别对应的图像特征的数量在提取出的图像特征的总数中的所占比例，得到各微表情类别下的微表情相似度。

在一个实施例中，计算机程序被处理器执行时实现根据表情系数及微表情相似度计算各情绪模式下安检对象的情绪数值步骤时还用于：获取预设提取数量；将图像特征对应的微表情根据对应的微表情相似度由大至小的顺序进行排序，将排在前列的微表情提取为待处理微表情，且提取出待处理微表情的数量与预设提取数量一致；根据待处理微表情的表情系数及微表情相似度计算得到各情绪模式下安检对象的情绪数值。

在一个实施例中，计算机程序被处理器执行时实现根据情绪数值判定安检对象的情绪模式步骤之后还用于：获取情绪模式对应的情绪异常阈值范围；将安检对象的情绪数值与情绪异常阈值范围进行比对；当情绪数值处于情绪异常阈值范围内时，生成情绪异常确认信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种安检辅助分析方法，所述方法包括：

获取安检对象的身份识别信息和实时安检图像；

查找与所述身份识别信息对应的身份图像；

将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并根据所述图像特征与预设微表情的细节特征得到微表情相似度；

查找各情绪模式下各所述预设微表情对应的表情系数；

根据所述表情系数及所述微表情相似度计算各所述情绪模式下所述安检对象的情绪数值；

根据所述情绪数值确定所述安检对象的情绪模式。

2.根据权利要求1所述的方法，其特征在于，所述将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果，包括：

从所述实时安检图像中提取安检人像信息，并从所述身份图像中提取身份人像信息；

从所述身份人像信息中提取身份特征矢量，从所述安检人像信息中提取安检特征矢量；

计算所述安检特征矢量与所述身份特征矢量的相似度百分比；

获取预设百分比阈值；

将所述相似度百分比与所述预设百分比阈值进行比较并得到人像比对结果。

3.根据权利要求1所述的方法，其特征在于，所述获取安检对象的身份识别信息和实时安检图像，包括：

获取所述身份识别信息；

根据获取的所述身份识别信息进行随机动作提示；

获取所述随机动作提示对应的连续拍摄图像；

提取所述连续拍摄图像中的面部特征值并计算所述面部特征值的特征变化数值；

获取预设面部变化阈值，将所述特征变化数值与所述预设面部变化阈值进行比较；

当所述特征变化数值不小于所述预设面部变化阈值时，从所述连续拍摄图像中提取出实时安检图像。

4.根据权利要求1所述的方法，其特征在于，所述从所述实时安检图像中提取图像特征，根据所述图像特征与预设微表情的细节特征得到微表情相似度，包括：

从所述实时安检图像中提取图像特征；

将所述图像特征与各预设细节特征进行比对得到特征比对结果；

当根据所述特征比对结果判断所述图像特征与所述预设细节特征为同一特征时，查找提取出的各所述细节特征对应的微表情类别；

计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征的总数中的所占比例，得到各所述微表情类别下的微表情相似度。

5.根据权利要求1所述的方法，所述根据所述表情系数及所述微表情相似度计算各情绪模式下所述安检对象的情绪数值，包括：

获取预设提取数量；

将所述图像特征对应的微表情根据对应的所述微表情相似度由大至小的顺序进行排序，将排在前列的所述微表情提取为待处理微表情，且提取出所述待处理微表情的数量与所述预设提取数量一致；

根据所述待处理微表情的所述表情系数及所述微表情相似度计算得到各所述情绪模式下所述安检对象的情绪数值。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述根据所述情绪数值判定所述安检对象的情绪模式之后，包括：

获取所述情绪模式对应的情绪异常阈值范围；

将所述安检对象的情绪数值与所述情绪异常阈值范围进行比对；

当所述情绪数值处于所述情绪异常阈值范围内时，生成情绪异常确认信息。

7.一种安检辅助分析装置，其特征在于，所述装置包括：

安检获取模块，用于获取所述安检对象的身份识别信息和实时安检图像；

身份图像查找模块，用于查找与所述身份识别信息对应的身份图像；

人像比对模块，用于将所述实时安检图像与所述身份图像进行人像比对得到人像比对结果；

微表情分析模块，用于当根据所述人像比对结果判定所述实时安检图像对应的人像与所述身份图像对应的人像同属一人时，从所述实时安检图像中提取图像特征，并根据所述图像特征与预设微表情的细节特征得到微表情相似度；

表情系数获取模块，用于查找各情绪模式下各所述预设微表情对应的表情系数；

计算模块，用于根据所述表情系数及所述微表情相似度计算各情绪模式下所述安检对象的情绪数值；

情绪模式判定模块，用于根据所述情绪数值确定所述安检对象的情绪模式。

8.根据权利要求7所述的装置，其特征在于，所述微表情分析模块包括：

特征提取单元，用于从所述实时安检图像中提取图像特征；

特征比对单元，用于将所述图像特征与各预设细节特征进行比对得到特征比对结果；

属性查找单元，用于当根据所述特征比对结果判断所述图像特征与所述预设细节特征为同一特征时，查找提取出的各所述细节特征对应的微表情类别；

相似度计算单元，用于计算各所述微表情类别对应的所述图像特征的数量在提取出的所述图像特征总数中的所占比例，得到各所述微表情类别下的微表情相似度。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。