CN111259757B

CN111259757B - 一种基于图像的活体识别方法、装置及设备

Info

Publication number: CN111259757B
Application number: CN202010029901.9A
Authority: CN
Inventors: 徐崴
Original assignee: Alipay Labs Singapore Pte Ltd
Current assignee: Ant Shield Co ltd
Priority date: 2020-01-13
Filing date: 2020-01-13
Publication date: 2023-06-20
Anticipated expiration: 2040-01-13
Also published as: CN111259757A

Abstract

本说明书实施例提供一种基于图像的活体识别方法、装置及设备。获取包括待识别活体的第一人脸图像数据和待识别活体的第一手掌图像数据的第一图像数据；获取包括待识别活体的第二人脸图像数据和待识别活体的第二手掌图像数据的第二图像数据；根据第一人脸图像数据和第一手掌图像数据确定第一肤色相似度；根据第二人脸图像数据和第二手掌图像数据确定第二肤色相似度；基于第一肤色相似度和第二肤色相似度确定待识别活体为深肤色活体。

Description

一种基于图像的活体识别方法、装置及设备

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种基于图像的活体识别方法、装置及设备。

背景技术

随着深度学习技术的发展，人脸识别技术也日益成熟并在中国国内各个生活领域取得大规模应用，例如：安防、支付、认证等相关领域。国内的线上支付平台利用人脸识别技术实现刷脸登陆、刷脸支付和刷脸实名认证等业务场景。在这些业务场景中，人脸识别技术已经成为认证用户身份的主要手段之一，而在进行人脸验证时，首先需要识别出被验证对象为活体。避免攻击者通过拍摄合法者的照片、录制视频或蜡像来混淆，导致信息安全问题的产生。

现有技术中，为了保证信息安全，通过人脸数据训练出的人脸活体检测算法来进行检测识别。由于模型的训练需要正样本和攻击样本(比如：打印照片、手机屏幕截屏照片等)，而模型训练的样本中深肤色人群人脸出现不多，导致深肤色人群的特性难被模型捕捉到，进一步采集深肤色人群中的攻击样本更为困难，因此，现有技术中训练深肤色人群人脸活体识别模型想学到攻击样本的特征，对非活体人脸攻击的样本依赖较大，但是深肤色人群人脸的攻击数据获取较为困难，导致模型应用在国际业务场景中进行认证识别时，可能会将深肤色人群识别为攻击样本，从而出现误拦截的情况。

因此，需要提供一种更可靠的活体识别方案。

发明内容

有鉴于此，本说明书一个或多个实施例提供了一种基于图像的活体识别方法、装置及设备，用于降低对深肤色人群的误拦截率，提高深肤色人群的识别准确率。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种基于图像的活体识别方法，包括：

获取第一图像数据；所述第一图像数据中包括待识别活体的第一人脸图像数据和所述待识别活体的第一手掌图像数据，所述第一手掌图像数据包含所述待识别活体的掌心区域的图像数据；

获取第二图像数据，所述第二图像数据中包括所述待识别活体的第二人脸图像数据和所述待识别活体的第二手掌图像数据，所述第二手掌图像数据包含所述待识别活体的手背区域的图像数据；

根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度；

根据所述第二人脸图像数据和所述第二手掌图像数据确定第二肤色相似度；

基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体。

本说明书实施例提供的一种基于图像的活体识别装置，包括：

第一图像数据获取模块，用于获取第一图像数据；所述第一图像数据中包括待识别活体的第一人脸图像数据和所述待识别活体的第一手掌图像数据，所述第一手掌图像数据包含所述待识别活体的掌心区域的图像数据；

第二图像数据获取模块，用于获取第二图像数据，所述第二图像数据中包括所述待识别活体的第二人脸图像数据和所述待识别活体的第二手掌图像数据，所述第二手掌图像数据包含所述待识别活体的手背区域的图像数据；

第一肤色相似度确定模块，用于根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度；

第二肤色相似度确定模块，用于根据所述第二人脸图像数据和所述第二手掌图像数据确定第二肤色相似度；

深肤色活体确定模块，用于基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体。

本说明书实施例提供的一种基于图像的活体识别设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现一种基于图像的活体识别方法。

本说明书一个实施例实现了能够达到以下有益效果：通过获取包含人脸区域图像数据和掌心区域图像数据的第一图像数据以及包含人脸区域图像数据和手背区域图像数据的第二图像数据，并通过第一图像数据和第二图像数据确定人脸区域与掌心区域的第一相似度以及人脸区域与手背区域的第二相似度，基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体，不需要通过获取大量的深肤色人群的人脸数据来训练人脸活体检测模型，只需要基于“深肤色人群的人脸肤色与手背肤色相近，人脸肤色与掌心肤色差别较大”这一特性就可以在识别深度色人群，降低了对深肤色人群的误拦截率，从而提高了深肤色人群的识别准确率；节省了收集训练模型正负样本的时间，提高了识别深肤色活体的效率。

附图说明

此处所说明的附图用来提供对本说明书一个或多个实施例的进一步理解，构成本说明书一个或多个实施例的一部分，本说明书的示意性实施例及其说明用于解释本说明书一个或多个实施例，并不构成对本说明书一个或多个实施例的不当限定。在附图中：

图1为本说明书实施例提供的一种基于图像的活体识别方法的流程示意图；

图2为本说明书实施例提供的一种基于图像的活体识别方法中活体验证界面示意图；

图3为本说明书实施例提供的一种基于图像的活体识别方法中人脸图像和掌心图像采集界面示意图；

图4为本说明书实施例提供的一种基于图像的活体识别方法中人脸图像和手背图像采集界面示意图；

图5为本说明书实施例提供的对应于图1的一种基于图像的活体识别装置的结构示意图；

图6为本说明书实施例提供的对应于图1的一种基于图像的活体识别设备的结构示意图。

具体实施方式

为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。

在身份认证识别领域，为了防止攻击者假冒合法用户的身份，通过打印照片、高清打印、手机屏幕拍摄或者录制视频以及面具攻击等来完成用户识别，从而导致合法用户的信息安全受到破坏，如果通过人脸数据训练出的人脸活体检测算法来进行检测，会由于深肤色人群的相关数据获取困难而导致深肤色人群无法被识别而出现误拦截的情况。本方案摒弃训练模型的方式，通过基于“深肤色人群的掌心和手背的肤色具有很大的视觉色差，手背的肤色与人脸肤色相近”的特性，作为活体检测算法的视觉特征，基于这一特征提出基于“手掌翻转+人脸人手色差检测+轮廓匹配”的检测方法，来解决深肤色人群人脸难以进行活体检测的问题。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的一种基于图像的活体识别方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。

如图1所示，该流程可以包括以下步骤：

步骤102：获取第一图像数据；所述第一图像数据中包括待识别活体的第一人脸图像数据和所述待识别活体的第一手掌图像数据，所述第一手掌图像数据包含所述待识别活体的掌心区域的图像数据。

图像数据(Image Data)，可以是用数值表示的各像素(pixel)的灰度值的集合。由于本方案基于的特性是“深肤色人群的人脸肤色与手背肤色相近，人脸肤色与掌心肤色差别较大”这一特征，因此，在获取图像数据时，需要获取人脸的图像数据、掌心的图像数据和手背的图像数据。这里提到的第一图像数据中包括第一人脸图像数据和第一手掌图像数据，其中，第一手掌图像数据中包含了待识别活体的掌心区域的图像数据，可以理解为，第一图像数据中包括了人脸数据和掌心数据，但是也不排除第一图像数据中还包括其他数据，比如：除了人脸和人手之外的环境数据等等。这里用第一图像数据、第一人脸图像数据以及第一手掌图像数据，只是为了与其他的图像数据进行区分，这里的“第一”并没有其他的特殊含义。

步骤104：获取第二图像数据，所述第二图像数据中包括所述待识别活体的第二人脸图像数据和所述待识别活体的第二手掌图像数据，所述第二手掌图像数据包含所述待识别活体的手背区域的图像数据。

与上述步骤102中的第一图像数据相比，第二图像数据中不包含掌心区域的图像数据，但是包含了手背区域的图像数据。第二图像数据中的第二人脸图像数据与第一图像数据中的人脸图像数据应当属于同一活体对应的人脸图像数据，如果不属于活体，可以认为存在攻击特征。这里用到的“第一”、“第二”仅为了便于解释本方案，在实际应用中，第一人脸数据和第二人脸数据可以不用分两次获取，如果是在视频图像采集的情况下，仅需要追踪人手翻转的状态，并获取人手翻转前后的掌心区域和手背区域的图像数据就可以采集到人脸图像数据、掌心图像数据和手背图像数据。

步骤106：根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度。

利用相似度的方法可以是指以若干特定的相对指标为统一尺度，运用模糊综合评判原理，确定评价标准值，得出待识别对象在设定的指标上与标准值的相似度，据此来进行识别的方法。这一步骤是为了确定人脸区域与掌心区域的肤色相似度，在确定肤色相似度时，可以采用算法进行计算，也可以采用除算法之外的其他方式来确定人脸肤色和掌心肤色的相似度。确定肤色相似度可以采用以下步骤流程进行实现：获取图像参数→图像从RGB映射到YCbCr(色彩空间的一种，Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量)→建立肤色模型→利用肤色模型求相似度矩阵→中值滤波→相似度归一。具体地，在计算相似度时，可以采用多种方式，例如：欧式距离、余弦距离等等，只要是适用于计算肤色相似度的方法均属于本说明书实施例的保护范围，本方案对此不做具体限定。

确定肤色相似度时，可以先确定人脸区域、掌心区域以及手背区域的平均色度，然后确定各个区域之间平均色度的相似度。

步骤108：根据所述第二人脸图像数据和所述第二手掌图像数据确定第二肤色相似度。

这一步骤是为了确定人脸肤色和手背肤色的相似度，确定方法可以参照步骤106中的方式。

步骤110：基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体。

根据人脸肤色与掌心肤色的相似度值以及人脸肤色与手背肤色的相似度值，可以确定待识别活体是否是深肤色活体，在确定过程中，需要基于“深肤色活体具有人脸肤色与手背肤色相近，人脸肤色与手心肤色差别较大”的特性来进行确定。至于人脸肤色与手背肤色的相似度阈值以及人脸肤色与掌心肤色的相似度阈值可以根据实际情况进行限定，本方案对此不做具体限定。

图1中的方法，通过获取包含人脸区域图像数据和掌心区域图像数据的第一图像数据以及包含人脸区域图像数据和手背区域图像数据的第二图像数据，并通过第一图像数据和第二图像数据确定人脸区域与掌心区域的第一相似度以及人脸区域与手背区域的第二相似度，基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体，不需要通过获取大量的深肤色人群的人脸数据来训练人脸活体检测模型，只需要基于“深肤色人群的人脸肤色与手背肤色相近，人脸肤色与掌心肤色差别较大”这一特性就可以在识别深度色人群时，降低对深肤色人群的误拦截率，从而提高深肤色人群的识别准确率。

基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。

在进行深肤色活体识别的过程中，既需要识别出“深肤色”，也需要识别出“活体”，识别深肤色时，可以采用图2中的方式来实现，在识别深肤色之前，也可以先识别待识别对象是否是活体。具体地，获取第一图像数据之前，还可以包括：

获取连续的多帧图像数据；

根据所述多帧图像数据判断所述多帧图像数据对应的图像中是否存在待识别活体。

首先需要说明的是，在进行深肤色活体识别的过程中，需要使用技术手段识别判断当前使用扫脸界面设计(User Interface Design，简称UI)的用户是正常的活体自然人，还是假冒当前用户身份的非活体攻击(如照片、高清打印、手机屏幕、面具攻击等)。因此，可以先判断多帧图像数据对应的图像中是否存在待识别活体，再识别待识别的对象是否为深肤色，也可以先识别待识别的对象是否为深肤色，再判断多帧图像数据对应的图像中是否存在待识别活体，可以根据实际情况随意选择。

连续的多帧图像数据可以是一段视频，也可以是一个动图，其目的是为了检测多帧图像数据对应的图像中是否存在待识别活体，也可以称作基于随机动作的活体识别方法，可以指在活体检测时，系统随机挑选动作要求用户现场完成，并使用视觉算法判断用户是否做到。以此来进行活体识别，其随机性能有效提升攻击成本，防止攻击者事前准备。比如：可以在拍摄界面上显示提示信息，指示待识别对象做出指定的动作来进行活体检测。活体检测可以应用在一些身份验证场景中来确定对象的真实生理特征，常用的活体检测方法大致可以分为四类，第一类是检测人脸固有的特征，包括眨眼检测，频谱分析等。第二类是利用光源或者传感设备等，热图像传感器在红外光下，通过探测活体人脸和虚假图像的反射区别检测欺骗攻击。第三类是从视频和音频中提取特征信息，人说话时嘴部运动和声音是同步的。最后一类是要求用户做指定的动作，通过动作判定验证它们是否同步来进行活体检测。当然，在人脸识别应用中，活体检测除了可以通过眨眼，还可以通过张嘴、摇头、点头和/或平视摄像头等动作，使用人脸关键点定位和人脸追踪等技术，以确定待识别对象是否为活体。

当然，除了上面提到的方法，也可以通过监测用户的手掌翻转过程来确定待识别对象是否为活体，例如：采用基于SSD神经网络的实时手部检测器来追踪用户手掌的翻转过程，以验证用户是否为活体等。以上这些活体识别方法都落入本方案的保护范围之内。本说明书实施例针对识别活体的方法不做具体限定。

通过上述方法可以有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。

图1的方法步骤中，在确定人脸区域和掌心区域的第一肤色相似度以及人脸区域和手背区域的第二相似度之后，可以基于第一肤色相似度和第二肤色相似度来确定待识别活体是否为深肤色活体，具体地，可以包括：

判断是否所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值，得到第一判断结果；

当所述第一判断结果表示所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值时，确定所述待识别活体为深肤色活体，所述第二阈值大于所述第一阈值。

由于深肤色人群的人脸肤色与手背肤色相近，人脸肤色与掌心肤色差异较大，可以理解为，人脸区域的肤色与手背区域的肤色相似度较大，人脸区域的肤色与掌心区域的肤色相似度较小，因此，在设置阈值时，第一阈值应该远远小于第二阈值。例如：根据第一人脸图像数据和第一手掌图像数据确定得到人脸区域和掌心区域的第一肤色相似度为0.1，根据第二人脸图像数据和第二手掌图像数据确定得到人脸区域和手背区域的第二肤色相似度为0.9，设置的第一阈值为0.3，第二阈值为0.7，第二阈值大于第一阈值，此时，第一肤色相似度0.1＜0.3且第二肤色相似度0.9＞0.7，因此，可以确定待识别活体为深肤色活体。

还需要说明的是，上述方法中确定了第一肤色相似度和第二肤色相似度之后，还需要将肤色相似度与设置的相似度阈值进行比较，上面提到的第一阈值和第二阈值可以通过实践采集样本进行统计后进行确定，也可以通过利用正反样本进行机器学习的方式进行确定，本说明书实施例对此不做具体限定。

通过上述方法，可以实现深肤色人群人脸的活体识别，解决了因为深肤色人群人脸外观的特殊性导致的常规活体算法对深肤色人群人脸误拦截率过高的问题。

在确定深肤色活体的过程中，为了避免不同用户协作完成认证(比如：用户A的脸放置在人脸采集区域中，但是采集到的手部信息为用户B的手部信息)，可以通过比对不同图像数据中的人脸轮廓相似度、掌心轮廓与手背轮廓相似度来确定采集的图像数据是否属于同一个人。具体方法如下：

所述基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体之前，还可以包括：

根据所述第一人脸图像数据和所述第二人脸数据确定所述第一图像数据与所述第二图像数据中的人脸区域的第一轮廓相似度；

根据所述第一手掌图像数据与所述第二手掌图像数据确定所述掌心区域与所述手背区域的第二轮廓相似度；

判断是否所述第一轮廓相似度大于或等于第一阈值且所述第二轮廓相似度大于或等于第二阈值，得到第一判断结果；

当所述第一判断结果表示所述第一轮廓相似度大于或等于第一阈值且所述第二轮廓相似度大于或等于第二阈值时，确定所述第一图像数据与所述第二图像数据对应的待识别活体为同一对象。

在实际应用场景中，如果被识别的活体为同一用户，那么，获取到的第一图像数据和第二图像数据中的人脸轮廓应该是相同的，第一图像数据中的掌心轮廓和第二图像数据中的手背轮廓应该是对称的。在设置第三阈值和第四阈值时，可以根据实际情况进行设置，阈值可以通过实践采集样本进行统计后进行确定，也可以通过利用正反样本进行机器学习的方式进行确定，本说明书实施例对此不做具体限定。

轮廓相似度的确定方法可以参照前面提到的肤色相似度的确定方法，此处不再赘述。

需要说明的是，在比较轮廓相似度时，如果定义相似度时，完全相同，认为相似度最大，那么掌心图像和手背图像由于是对称的，二者之间的相似度就会相对较小；如果定义为轮廓越相似，相似度越大的话，手背图像与掌心图像的相似度就会相对较大。本方案中比较轮廓相似度，可以理解为只要轮廓基本相似，就可以认为轮廓相似度较大。

通过上述方法，可以确定获取的图像数据中的人脸图像属于同一个活体，能更好地保证活体识别的准确性。

在判断轮廓相似度之前，还需要从获取的图像中分割出人脸区域、掌心区域以及手背区域，具体实现过程可以采用以下方法：

所述根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度之前，还可以包括：

采用人脸分割算法，将所述第一图像数据与所述第二图像数据进行分割，分别得到所述第一图像数据与所述第二图像数据对应的人脸区域；

采用手分割算法，将所述第一图像数据与所述第二图像数据进行分割，分别得到所述第一图像数据中的掌心区域和所述第二图像数据中的手背区域。

人脸分割算法是计算机智能信息处理和计算机视觉系统的研究内容之一，这里提到的人脸分割算法可以有很多种，例如：可以利用人脸的颜色与周围环境的明显区别，利用人脸的颜色特征来进行人脸分割；可以利用图像的运动特征来进行人脸的定位和分割，比如：通过比较运动图像序列中相邻图像帧之间的差值，从而判断场景中人的运动，勾勒出人的大致轮廓，然后进一步定位人脸图像的位置；也可以采用依据人脸对称性的灰度图像的人脸分割算法，进行边缘提取、边缘细化、对称性分析以及人脸分割等步骤；还可以采用人脸解析(Face Parsing)，将人脸的各个部分分割出来。

手分割算法用于解决手分割问题，手分割问题可以看作是一个在Kinect传感器获得的RGB图像和深度图像中的手像素和非手像素标记问题。手分割方法主要有基于肤色的手分割算法、基于运动的手分割算法以及基于轮廓的手分割算法。

上述的方法中，采用人脸分割算法的目的是将人脸区域分割出来，采用手分割算法的目的是将掌心区域和手背区域分割出来，具体采用何种人脸分割算法和手分割算法本说明书实施例对此不进行具体限定。

通过上述方法，将人脸区域对应的图像数据、掌心区域对应的图像数据以及手背区域对应的图像数据从第一图像数据和第二图像数据中分割出来，便于后续确定第一相似度和第二相似度，能够更快速、准确地进行深肤色活体识别。

在具体的应用场景中，为了对待识别对象进行认证识别，在采集图像的终端设备界面中都会相应显示提示信息，提示待识别对象做出相应动作，以此来进行认证识别。其中，在获取连续的多帧图像数据之前，可以先显示提示信息，具体可以包括：

显示用于提示待识别对象执行第一指定动作的第一提示信息，所述第一指定动作用于检测所述待识别对象是否为活体。

所述显示用于提示待识别对象执行第一指定动作的第一提示信息，具体可以包括：

显示第一拍摄框；

和/或用于表示所述第一指定动作的图像说明；

和/或用于表示所述第一指定动作的动画。

在实际应用场景中，在获取连续的多帧图像数据之前，会在采集图像的终端界面上显示提示信息以及拍摄框。第一提示信息可以是为了提示待识别对象执行第一指定动作的信息。这里提到的第一指定动作可以是能够识别出待识别对象是否为活体的动作，比如：指定待识别对象平视镜头眨眼、举起手掌面向摄像头翻转和/或张嘴、摇头、点头等动作。具体地，可以结合以下各个附图进行说明：

图2为本说明书实施例提供的一种基于图像的活体识别方法中活体验证界面示意图。

如图2所示，当需要进行活体识别时，图像采集终端打开拍摄界面，显示第一提示信息，第一提示信息可以包括第一拍摄框201和/或用于表示所述第一指定动作的图像说明、文字说明202；和/或用于表示所述第一指定动作的动画203，例如：此时的终端界面上可以显示“请保持头部在拍摄框内，举起左手抬高至与眼睛同等水平高度，面向摄像头做出眨眼动作”的文字说明202以及第一拍摄框201。这里需要说明的是，在实际应用场景中，具体的提示信息的内容可以根据实际情况进行设定，只要保证能够提示用户做出具体的指定动作即可，本说明书实施例中所列举的所有例子仅用于解释方案，并不对本方案起到任何限定作用。

显示的第一拍摄框201具体可以是按照实际需求设置的各种形状的拍摄框，只需要保证能够采集到待识别对象所执行的指定动作图像即可，比如：假设第一指定动作为：用户眨眼以及举起左手，做出握拳动作，此时，第一拍摄框可以是圆形区域、方形区域或其他形状的区域，只需要保证人脸和左手能够放置在第一拍摄框中即可，当然，一般情况下，为了能够清楚地采集到人脸图像，在提示用户做出指定动作时，举起的手不应该遮挡住人脸。另外，第一拍摄框中也可以包含头像拍摄框和手势拍摄框，具体地，可以根据实际情况进行设定，本说明书实施例对此不进行具体限定。当待识别对象通过活体识别后，可以显示“活体验证通过”或者其他用于提示用户进入下一阶段验证的提示信息。

在验证待识别对象为活体之后，需要进一步确定待识别活体的肤色，首先，需要采集待识别活体的人脸图像和掌心图像，此时，终端界面的信息显示情况可以结合以下附图进行说明：

图3为本说明书实施例提供的一种基于图像的活体识别方法中人脸图像和掌心图像采集界面示意图。

所述获取第一图像数据之前，还可以包括：

显示用于提示待识别活体执行第二指定动作的第二提示信息，所述第二提示信息用于提示所述待识别活体将人脸面向摄像头，并将手的掌心面向摄像头放置。

所述显示用于提示待识别活体执行第二指定动作的第二提示信息，具体可以包括：

显示用于拍摄人像的第二拍摄框；

和/或用于拍摄掌心的第三拍摄框；

和/或用于表示所述第二指定动作的图像说明，文字说明；

和/或用于表示所述第二指定动作的动画。

如图3所示，在确定待识别对象为活体之后，在终端界面上显示第二提示信息，第二提示信息可以用于提示所述待识别活体将人脸面向摄像头，并将手的掌心面向摄像头放置，具体地，第二提示信息可以包括用于拍摄人像的第二拍摄框301；和/或用于拍摄掌心的第三拍摄框302；和/或用于表示所述第二指定动作的图像说明、文字说明303；和/或用于表示所述第二指定动作的动画304。其中，第二拍摄框301、第三拍摄框302的形状可以根据实际情况进行设定，可以参照第一提示信息中的拍摄框进行设定。当然，这里第二拍摄框301和第三拍摄框302仅用于解释此处需要采集人脸图像和掌心图像，在实际应用过程中，可以有多个拍摄框，也可以仅有一个拍摄框，只需要保证能够采集到人脸图像和掌心图像即可。提示信息中的文字说明也可以根据实际情况进行限定，比如：可以显示文字说明：“请将头部和掌心放置在相应的拍摄框内”，如果只有一个拍摄框框，可以显示文字说明：“请将头部和掌心放置在拍摄框内”。具体地，为了采集到掌心图像数据，可以提示待识别活体将手举到人脸旁边，五指张开，不遮挡人脸，以保证拍摄到人脸和手心共存的图像。

在采集完人脸图像数据和掌心图像，需要采集人脸和手背共存的图像，在采集图像时，显示界面信息可以结合一下附图进行说明：

图4为本说明书实施例提供的一种基于图像的活体识别方法中人脸图像和手背图像采集界面示意图。

所述获取第二图像数据之前，还可以包括:

显示用于提示待识别活体执行第三指定动作的第三提示信息，所述第三提示信息用于提示所述待识别活体保持所述第一指定动作不变，将另一只手的手背面向摄像头放置。具体地，显示用于提示待识别活体执行第三指定动作的第二提示信息，具体可以包括：

显示用于拍摄人像的第四拍摄框；

和/或用于拍摄手背的第五拍摄框；

和/或用于表示所述第三指定动作的图像说明、文字说明；

和/或用于表示所述第二指定动作的动画。

如图4所示，在采集人脸图像和手背图像时。获取人脸图像数据和手背图像数据之前，可以在终端界面上显示第三提示信息，第三提示信息可以用于提示所述待识别活体将人脸面向摄像头，并将手的手背面向摄像头放置，具体地，第三提示信息可以包括用于拍摄人像的第四拍摄框401；和/或用于拍摄手背的第五拍摄框402；和/或用于表示所述第三指定动作的图像说明、文字说明403；和/或用于表示所述第三指定动作的动画404。其中，第四拍摄框401、第五拍摄框402的形状可以根据实际情况进行设定，可以参照第一提示信息中的拍摄框进行设定。当然，这里第四拍摄框401和第五拍摄框402仅用于解释此处需要采集人脸图像和手背图像，在实际应用过程中，可以有多个拍摄框，也可以仅有一个拍摄框，只需要保证能够采集到人脸图像和手背图像即可。提示信息中的文字说明也可以根据实际情况进行限定，比如：可以显示文字说明：“请将头部和手背放置在对应的拍摄框内”。如果只有一个拍摄框，可以显示文字说明：“请将头部和手背放置在拍摄框内”。具体地，为了采集到手背图像数据，可以提示待识别活体将手举到人脸旁边，五指张开，手背面向摄像头，不遮挡人脸，以保证拍摄到人脸和手背共存的图像。

通过上述方法，在终端界面上显示相应的提示信息以提示待识别对象做出相应动作，便于对待识别对象进行识别，从而提高深肤色活体识别的效率。

在具体应用场景中，识别出深肤色活体之后，可以进一步验证用户的身份，例如：可以进一步将采集到的人脸图像信息与系统中提前存入的人脸图像信息进行比对，确定待识别活体的身份是否正确，若正确，则认证通过。相应的，可以在终端界面上显示指示用户继续进行身份认证操作的提示信息，在认证通过后，在显示界面上显示表示验证通过的提示信息。

需要说明的是，上述实施例中的方法在具体的应用场景中，可以采用拍摄照片的方式实现，也可以采用录制视频或拍摄动图的方式来实现，在判断待识别对象是否是活体时，可以采用多种方式。在指示待识别对象做出指定动作时，可以设置采集图像的时间，当规定时间内未采集到指定动作，可以再次显示相应的提示信息，提示待识别对象按照提示做出指定动作。在采集待识别活体的掌心图像数据时，可以提示待识别活体掌心面向摄像头，五指张开。当然，也可以执行其他指定动作，只要能够准确采集到掌心图像数据即可。在获取人脸图像数据、掌心图像数据以及手背图像数据时，手的放置位置可以根据实际情况进行设定，比如：可以放置在人脸旁边，不遮挡人脸，也可以放置在头顶上方，对此，本说明书实施例对此不做具体限定。为了更好地说明上述实施例中的技术方案，可以结合下面的具体流程步骤来进行说明：

假设在安防场景中，需要对用户的身份进行认证，此时可以采用以下步骤来确定待识别用户是否为深肤色活体：

1)在交互UI中提示待识别对象将一只手抬高到与眼睛同等水平高度，并面向拍摄屏幕的摄像头，进行眨眼。采用相应的识别算法来识别用户是否执行了眨眼动作，如果是则进入下面的步骤2)。否则判断为非活体的攻击。

需要说明的是，这一步骤可以是系统指定的随机动作，在这次认证过程中的指定动作可以是用户提前无法得知的动作。比如：指定动作可以包括眨眼、翻转手掌、张嘴、摇头等中的一种或多种。

2)提示待识别对象将另一只手举起到人脸旁边(手不要遮挡人脸，五指张开)，这时拍摄一种人脸和掌心共存的照片。

3)提示待识别对象翻转步骤2)中的手(翻转后的手还是不要遮挡人脸，五指张开)，然后拍摄一张人脸和手背共存的照片。

4)使用步骤2)与步骤3)拍摄的图片，基于以下规则来判断该活体是否为深肤色活体：

A)使用手掌分割算法，将掌心图与手背图中的手部区域抠取下来，两种的轮廓应该是对称的；

B)使用人脸分割算法，将掌心图与手背图中的人脸区域抠取下来，两者的轮廓与平均色度应该是相似的；

C)手背图中的手背区域平均色度与人脸平均色度近似；

D)掌心图中的掌心区域平均色度与人脸平均色度不能太接近。

以上规则如果都满足，则判断待识别对象是深肤色活体。

当然，需要注意的是，上述1)-4)中的步骤以及规则A)-D)仅用于帮助解释说明本说明书实施例中的具体方案，并不对本方案造成范围上的限定，在实际应用场景中，只需要围绕“深肤色人群的掌心和手背的肤色具有很大的视觉色差，手背的肤色与人脸肤色相近”这一特性即可。

通过上述实施例中的方法，围绕“深肤色人群的掌心和手背的肤色具有很大的视觉色差，手背的肤色与人脸肤色相近”的特性。不需要采集深肤色活体的正负样本来训练模型，采用“手掌翻转+人脸人手色差检测+轮廓匹配”对深肤色人群人脸进行活体识别的方法，降低了对深肤色人群的误拦截率，从而提高了深肤色人群的识别准确率。

基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图5为本说明书实施例提供的对应于图1的一种基于图像的活体识别装置的结构示意图。如图5所示，该装置可以包括：

第一图像数据获取模块502，用于获取第一图像数据；所述第一图像数据中包括待识别活体的第一人脸图像数据和所述待识别活体的第一手掌图像数据，所述第一手掌图像数据包含所述待识别活体的掌心区域的图像数据；

第二图像数据获取模块504，用于获取第二图像数据，所述第二图像数据中包括所述待识别活体的第二人脸图像数据和所述待识别活体的第二手掌图像数据，所述第二手掌图像数据包含所述待识别活体的手背区域的图像数据；

第一肤色相似度确定模块506，用于根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度；

第二肤色相似度确定模块508，用于根据所述第二人脸图像数据和所述第二手掌图像数据确定第二肤色相似度；

深肤色活体确定模块510，用于基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体。

可选的，所述装置，还可以包括：

连续的多帧图像数据获取模块，用于获取连续的多帧图像数据；

待识别活体判断模块，用于根据所述多帧图像数据判断所述多帧图像数据对应的图像中是否存在待识别活体。

可选的，所述深肤色活体确定模块510，具体可以包括：

判断单元，用于判断是否所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值，得到第一判断结果；

深肤色活体确定单元，用于当所述第一判断结果表示所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值时，确定所述待识别活体为深肤色活体，所述第二阈值大于所述第一阈值。

可选的，所述装置，还可以包括：

第一轮廓相似度确定模块，用于根据所述第一人脸图像数据和所述第二人脸数据确定所述第一图像数据与所述第二图像数据中的人脸区域的第一轮廓相似度；

第二轮廓相似度确定模块，用于根据所述第一手掌图像数据与所述第二手掌图像数据确定所述掌心区域与所述手背区域的第二轮廓相似度；

判断模块，用于判断是否所述第一轮廓相似度大于或等于第三阈值且所述第二轮廓相似度大于或等于第四阈值，得到第二判断结果；

确定模块，用于当所述第二判断结果表示所述第一轮廓相似度大于或等于第三阈值且所述第二轮廓相似度大于或等于第四阈值时，确定所述第一图像数据与所述第二图像数据对应的待识别活体为同一对象。

可选的，所述装置，还可以包括：

人脸区域分割模块，用于采用人脸分割算法，将所述第一图像数据与所述第二图像数据进行分割，分别得到所述第一图像数据与所述第二图像数据对应的人脸区域；

手区域分割模块，用于采用手分割算法，将所述第一图像数据与所述第二图像数据进行分割，分别得到所述第一图像数据中的掌心区域和所述第二图像数据中的手背区域。

可选的，所述装置，还可以包括：

第一提示信息显示模块，用于显示用于提示待识别对象执行第一指定动作的第一提示信息，所述第一指定动作用于检测所述待识别对象是否为活体。

可选的，所述第一提示信息显示模块，具体用于：

显示第一拍摄框；

和/或用于表示所述第一指定动作的图像说明、文字说明；

和/或用于表示所述第一指定动作的动画。

可选的，所述装置，还可以包括：

第二提示信息显示模块，用于显示用于提示待识别活体执行第二指定动作的第二提示信息，所述第二提示信息用于提示所述待识别活体将人脸面向摄像头，并将手的掌心面向摄像头放置。

可选的，所述第二提示信息显示模块，具体可以用于：

显示用于拍摄人像的第二拍摄框；

和/或用于拍摄掌心的第三拍摄框；

和/或用于表示所述第二指定动作的图像说明、文字说明；

和/或用于表示所述第二指定动作的动画。

可选的，所述装置，还可以包括：

第三提示信息显示模块，用于显示用于提示待识别活体执行第三指定动作的第三提示信息，所述第三提示信息用于提示所述待识别活体保持人脸面向摄像头，并将手的手背面向摄像头放置。

通过设置上述装置，降低了对深肤色人群的误拦截率，从而提高了深肤色人群的识别准确率；节省了收集训练模型正负样本的时间，提高了识别深肤色活体的效率。

基于同样的思路，本说明书实施例还提供了上述方法对应的设备。图6为本说明书实施例提供的对应于图1的一种基于图像的活体识别设备的结构示意图。如图6所示，设备600可以包括：

至少一个处理器610；以及，

与所述至少一个处理器通信连接的存储器630；其中，

所述存储器630存储有可被所述至少一个处理器610执行的指令620，所述指令被所述至少一个处理器610执行。

所述指令可以使所述至少一个处理器610能够：

基于同样的思路，本说明书实施例还提供了上述方法对应的计算机可读介质。计算机可读介质上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现以下方法：

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims

1.一种基于图像的活体识别方法，包括：

基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体，具体包括：判断是否所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值，得到第一判断结果；当所述第一判断结果表示所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值时，确定所述待识别活体为深肤色活体，所述第二阈值大于所述第一阈值。

2.如权利要求1所述的方法，在所述获取第一图像数据之前，还包括：

获取连续的多帧图像数据；

3.如权利要求1所述的方法，在所述基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体之前，还包括：

判断是否所述第一轮廓相似度大于或等于第三阈值且所述第二轮廓相似度大于或等于第四阈值，得到第二判断结果；

当所述第二判断结果表示所述第一轮廓相似度大于或等于第三阈值且所述第二轮廓相似度大于或等于第四阈值时，确定所述第一图像数据与所述第二图像数据对应的待识别活体为同一对象。

4.如权利要求1所述的方法，在所述根据所述第一人脸图像数据和所述第一手掌图像数据确定第一肤色相似度之前，还包括：

5.如权利要求2所述的方法，在所述获取连续的多帧图像数据之前，还包括：

6.如权利要求5所述的方法，所述显示用于提示待识别对象执行第一指定动作的第一提示信息，具体包括：

显示第一拍摄框；

和/或用于表示所述第一指定动作的图像说明、文字说明；

和/或用于表示所述第一指定动作的动画。

7.如权利要求1所述的方法，所述获取第一图像数据之前，还包括：

8.如权利要求7所述的方法，所述显示用于提示待识别活体执行第二指定动作的第二提示信息，具体包括：

显示用于拍摄人像的第二拍摄框；

和/或用于拍摄掌心的第三拍摄框；

和/或用于表示所述第二指定动作的图像说明、文字说明；

和/或用于表示所述第二指定动作的动画。

9.如权利要求1所述的方法，在所述获取第二图像数据之前，还包括:

显示用于提示待识别活体执行第三指定动作的第三提示信息，所述第三提示信息用于提示所述待识别活体保持人脸面向摄像头，并将手的手背面向摄像头放置。

10.一种基于图像的活体识别装置，包括：

深肤色活体确定模块，用于基于所述第一肤色相似度和所述第二肤色相似度确定所述待识别活体为深肤色活体；

所述深肤色活体确定模块，具体包括：

第一判断单元，用于判断是否所述第一肤色相似度小于第一阈值且所述第二肤色相似度大于或等于第二阈值，得到第一判断结果；

11.如权利要求10所述的装置，所述装置，还包括：

12.一种基于图像的活体识别设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

13.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至9中任一项所述的基于图像的活体识别方法。