CN111353326A - 基于多光谱人脸差值图的活体检测方法 - Google Patents

Abstract

本发明提供了一种基于多光谱人脸差值图的活体检测方法，通过虹膜识别设备的红外灯、红外摄像头和可见光摄像头进行活体检测，本发明基于所述检测方法的步骤包括：11：采集当前活体检测对象的多光谱人脸差值图，并确定感兴趣区域；12：将感兴趣区域输入到对应的分类模型；13：根据分类模型的检测结果，确定是否通过活体检测。

Description

基于多光谱人脸差值图的活体检测方法

技术领域

本发明涉及活体检测技术领域，特别涉及一种基于多光谱人脸差值图的活体检测方法。

背景技术

现有的虹膜防伪方法存在以下缺陷:

1、频谱分析的方法，对于高清打印的虹膜图像或存在运动模糊的虹膜图像，该方法无法准确判断；2、反光信息分析的方法，对于佩戴隐形眼镜的打印虹膜图像，该方法将失效；3、纹理分析的方法，在虹膜图像处于模糊与清晰的分界区域附近，该方法无法准确判断是否为活体；4、检测瞳孔收缩的方法，该方法需要强光刺激瞳孔，从而引起瞳孔收缩达到活体检测的目的，用户体验差，难以被用户接受。

发明内容

为了解决上述技术问题，本发明提出了一种基于多光谱人脸差值图的活体检测方法，所述方法的步骤包括：

S1：对当前用户分别采集可见光图像和红外图像；

S2：将红外图像和可见光图像分别转化为灰度图像；

S3：对两幅图像分别进行人脸检测；

S4：判断两幅图像中是否均检测到人脸，若没有均检测到人脸，则认为当前用户为非活体；

S5：若两张图像均检测到人脸，则对两幅图像进行人脸关键点检测，得到感兴趣区域的关键点；

S6：根据关键点检测结果，使用人脸对齐算法对齐两张图像中的人脸区域，得到人脸差值图像；

S7：根据人脸差值图像的关键点信息，确定人脸差值图像的感兴趣区域；

S8：将人脸差值图像的感兴趣区域输入到提前训练好的分类模型中，得到活体检测结果。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S1所述可见光图像和红外图像分别通过可见光摄像头和红外摄像头同时进行采集。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S1所述可见光图像和红外图像是通过可切换滤镜的单摄像头分别进行采集。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S5所述感兴趣区域共有4类，分别是眼睛区域、鼻子区域、嘴巴区域以及脸颊区域，

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S6所述人脸对齐算法对齐两张图像中的人脸区域是以可见光图像中的人脸为基准，将红外图像中的人脸与之对齐重合的。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S6所述人脸差值图像是将可见光图像的人脸区域与对齐后的红外图像的人脸区域求差，得到人脸差值图像。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S8所述分类模型有4个，分别是眼睛活体分类模型、鼻子活体分类模型、嘴巴活体分类模型以及脸颊活体分类模型。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，所述4个分类模型的建立方法包括步骤：

S01：按照步骤S1-S7分别采集活体人脸差值图像的感兴趣区域和非活体人脸差值图像的感兴趣区域；

S02：将活体人脸差值图像的眼睛区域作为正样本，非活体人脸差值图像的眼睛区域作为负样本输入到卷积神经网络中训练眼睛活体分类模型；

将活体人脸差值图像的鼻子区域作为正样本，非活体人脸差值图像的鼻子区域作为负样本输入到卷积神经网络中训练鼻子活体分类模型；

将活体人脸差值图像的嘴巴区域作为正样本，非活体人脸差值图像的嘴巴区域作为负样本输入到卷积神经网络中训练嘴巴活体分类模型；

将活体人脸差值图像的脸颊区域作为正样本，非活体人脸差值图像的脸颊区域作为负样本输入到卷积神经网络中训练脸颊活体分类模型。

本发明基于多光谱人脸差值图的活体检测方法的进一步改进在于，步骤S8所述检测结果包括活体检测通过和活体检测不通过，判断检测结果包括步骤：

S11：按照步骤S1-S7采集当前活体检测对象的人脸差值图像，并确定所述人脸差值图像的感兴趣区域；

S12：分别将眼睛区域、鼻子区域、嘴巴区域以及脸颊区域图像输入到眼睛活体分类模型、鼻子活体分类模型、嘴巴活体分类模型以及脸颊活体分类模型中，分别得出各个活体分类模型的检测结果，包括：眼睛活体检测值、鼻子活体检测值、嘴巴活体检测值、脸颊活体检测值；

S13：将眼睛活体检测值、鼻子活体检测值、嘴巴活体检测值、脸颊活体检测值分别乘以各自的预设权重并求和，得到综合活体检测值；

S14判断综合活体检测值是否高于预设活体检测阈值，是，则活体检测通过，否，则活体检测不通过。

本发明基于多光谱人脸差值图的活体检测方法无需用户主动配合，对于用户没有异常刺激，能够有效抵挡照片攻击、视频攻击、3D人脸模型或3D人脸面具攻击，与现有技术相比，本发明具有速度快，准确率高，用户体验好的优点。除了用于虹膜活体检测，本方法也可以应用于人脸活体检测。

附图说明

图1是活体检测流程示意图。

图2是训练分类模型流程示意图。

图3是采集多光谱人脸差值图并确定感兴趣区域流程示意图。

具体实施方式

下面结合附图对本发明进行进一步详细描述。

本发明提出了一种基于多光谱人脸差值图的活体检测方法，所述方法实现步骤如图1所示，包括：

11：采集当前活体检测对象的多光谱人脸差值图，并确定感兴趣区域；

12：将感兴趣区域输入到对应的分类模型；

13：根据分类模型的检测结果，确定是否通过活体检测。

步骤11采集当前活体检测对象的多光谱人脸差值图，并确定感兴趣区域的实现步骤如图3所示，包括：

31：分别采集可见光图像和红外图像；

优选的，本实施例中，采集可见光图像和红外图像是分别通过可见光摄像头和红外摄像头同时进行采集的，所述同时采集是指两颗摄像头曝光起始时间相同；在其他实施例中还可采用切换滤镜的单摄像头采集可见光图像和红外图像，所述可切换滤镜的单摄像头可以切换红外带通滤镜和红外截止滤镜作为摄像头滤镜，当摄像头切换为红外带通滤镜时，摄像头可以采集红外图像，当摄像头切换为红外截止滤镜时，摄像头可以采集可见光图像；

32：将红外图像和可见光图像转化为灰度图像；

33：对两幅图像分别进行人脸检测；

34：两幅图像中是否均检测到人脸；若没有均检测到人脸，则认为当前用户为非活体；

35：若两张图像均检测到人脸，则对两幅图像进行人脸关键点检测，得到感兴趣区域的关键点；

本实施例中，所述关键点共有68个，指明了眉毛、眼睛、鼻子、嘴巴、脸颊的位置信息以及人脸的轮廓；

36：根据关键点检测结果，使用人脸对齐算法对齐人脸，得到人脸差值图像；

具体的，包括步骤：首先使用人脸对齐算法对齐两张图像中的人脸区域，本实施例中，人脸对齐算法以可见光图像中的人脸为基准，对红外图像的人脸做出形变，使红外图像的人脸和可见光图像的人脸的轮廓和感兴趣区域均对齐；在其他实施例中还可以人脸对齐算法以红外图像中的人脸为基准，对可见光图像的人脸做出形变，使可见光图像的人脸和红外图像的人脸的轮廓和感兴趣区域均对齐；对齐后将可见光图像的人脸区域与对齐后的红外图像的人脸区域求差，得到人脸差值图像，所述求差是将图像对应的像素值相减，本实施例中对像素值相减的结果取绝对值；在其他实施例中还可以将可见光图像的人脸区域与对齐后的红外图像的人脸区域求和，得到人脸叠加图像，所述求差是将图像对应的像素值相加，若像素值相加的结果大于255，则用该结果减去255来表示该像素叠加后的像素值；

37：根据人脸差值图像的关键点信息，确定感兴趣区域；

由于本实施例中人脸对齐算法是以可见光图像中的人脸为基准，因此人脸差值图像中的关键点信息与可见光图像中的关键点信息相同。

如图2所示：训练得到步骤12所述分类模型包括步骤：

21：采集活体和非活体的多光谱人脸差值图像，并确定感兴趣区域；

采集人脸差值图像的方法步骤31-37已经示出，在此不再赘述，本实施例中所述非活体采集对象可以是打印在纸张上的人脸图像或3D人脸模型或3D人脸面具，若非活体采集对象不能通过步骤34的检测，也不进行感兴趣区域的采集，

22：将正样本和负样本输入到卷积神经网络中训练分类模型；

本实施例中所述分类模型共有4个，分别是眼睛活体分类模型、鼻子活体分类模型、嘴巴活体分类模型以及脸颊活体分类模型；在其他实施例中还可以包括眉毛或人脸的其他区域训练的分类模型；

所述分类模型的训练方法是：

指定活体分类模型的预测值为1或0（1为正样本的标签，0为负样本的标签）；

将活体人脸差值图像的眼睛区域作为正样本，非活体人脸差值图像的眼睛区域作为负样本输入到卷积神经网络中训练眼睛活体分类模型；

将活体人脸差值图像的鼻子区域作为正样本，非活体人脸差值图像的鼻子区域作为负样本输入到卷积神经网络中训练鼻子活体分类模型；

将活体人脸差值图像的嘴巴区域作为正样本，非活体人脸差值图像的嘴巴区域作为负样本输入到卷积神经网络中训练嘴巴活体分类模型；

将活体人脸差值图像的脸颊区域作为正样本，非活体人脸差值图像的脸颊区域作为负样本输入到卷积神经网络中训练脸颊活体分类模型。

由于眼睛感兴趣区域、鼻子感兴趣区域、嘴巴感兴趣区域、脸颊感兴趣区域在活体检测中的重要程度是不同的；因此，在计算活体检测结果的方法中需要为不同区域预设权重，本实施例中上述四个感兴趣区域预设权重分别为0.5，0.1， 0.2， 0.2；步骤13活体检测结果的计算方法包括步骤：将每个感兴趣区域输入对应活体分类模型后得出的预测值乘以对应的权重并求和得到综合预测值，将综合预测值与预设的活体检测阈值进行对比，若小于活体检测预设值，则不通过活体检测，若大于等于活体检测预设值，则通过活体检测，本实施例中所述活体检测阈值为0.6。

显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (9)

1.一种基于多光谱人脸差值图的活体检测方法，其特征在于所述基于多光谱人脸差值图的活体检测方法的步骤包括：

S1：对当前用户分别采集可见光图像和红外图像；

S2：将红外图像和可见光图像分别转化为灰度图像；

S3：对两幅图像分别进行人脸检测；

S4：判断两幅图像中是否均检测到人脸，若没有均检测到人脸，则认为当前用户为非活体；

S5：若两张图像均检测到人脸，则对两幅图像进行人脸关键点检测，得到感兴趣区域的关键点；

S6：根据关键点检测结果，使用人脸对齐算法对齐两张图像中的人脸区域，得到人脸差值图像；

S7：根据人脸差值图像的关键点信息，确定人脸差值图像的感兴趣区域；

S8：将人脸差值图像的感兴趣区域输入到提前训练好的分类模型中，得到活体检测结果。

2.根据权利要求1所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S1所述可见光图像和红外图像分别通过可见光摄像头和红外摄像头同时进行采集。

3.根据权利要求1所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S1所述可见光图像和红外图像是通过可切换滤镜的单摄像头分别进行采集。

4.根据权利要求1所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S5所述感兴趣区域共有4类，分别是眼睛区域、鼻子区域、嘴巴区域以及脸颊区域。

5.根据权利要求1所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S6所述人脸对齐算法对齐两张图像中的人脸区域是以可见光图像中的人脸为基准，将红外图像中的人脸与之对齐重合的。

6.根据权利要求1所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S6所述人脸差值图像是将可见光图像的人脸区域与对齐后的红外图像的人脸区域求差，得到人脸差值图像。

7.根据权利要求4所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S8所述分类模型有4个，分别是眼睛活体分类模型、鼻子活体分类模型、嘴巴活体分类模型以及脸颊活体分类模型。

8.根据权利要求7所述的基于多光谱人脸差值图的活体检测方法，其特征在于所述4个分类模型的建立方法包括步骤：

S01：按照步骤S1-S7分别采集活体人脸差值图像的感兴趣区域和非活体人脸差值图像的感兴趣区域；

S02：将活体人脸差值图像的眼睛区域作为正样本，非活体人脸差值图像的眼睛区域作为负样本输入到卷积神经网络中训练眼睛活体分类模型；

将活体人脸差值图像的鼻子区域作为正样本，非活体人脸差值图像的鼻子区域作为负样本输入到卷积神经网络中训练鼻子活体分类模型；

将活体人脸差值图像的嘴巴区域作为正样本，非活体人脸差值图像的嘴巴区域作为负样本输入到卷积神经网络中训练嘴巴活体分类模型；

将活体人脸差值图像的脸颊区域作为正样本，非活体人脸差值图像的脸颊区域作为负样本输入到卷积神经网络中训练脸颊活体分类模型。

9.根据权利要求7所述的基于多光谱人脸差值图的活体检测方法，其特征在于步骤S8所述检测结果包括活体检测通过和活体检测不通过，判断检测结果包括步骤：

S11：按照步骤S1-S7采集当前活体检测对象的人脸差值图像，并确定所述人脸差值图像的感兴趣区域；

S12：分别将眼睛区域、鼻子区域、嘴巴区域以及脸颊区域图像输入到眼睛活体分类模型、鼻子活体分类模型、嘴巴活体分类模型以及脸颊活体分类模型中，分别得出各个活体分类模型的检测结果，包括：眼睛活体检测值、鼻子活体检测值、嘴巴活体检测值、脸颊活体检测值；

S13：将眼睛活体检测值、鼻子活体检测值、嘴巴活体检测值、脸颊活体检测值分别乘以各自的预设权重并求和，得到综合活体检测值；

S14判断综合活体检测值是否高于预设活体检测阈值，是，则活体检测通过，否，则活体检测不通过。

Images