CN105426827A

CN105426827A - 活体验证方法、装置和系统

Info

Publication number: CN105426827A
Application number: CN201510756011.7A
Authority: CN
Inventors: 郭亨凯; 彭义刚; 李�诚; 吴立威
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2015-11-09
Filing date: 2015-11-09
Publication date: 2016-03-23
Anticipated expiration: 2035-11-09
Also published as: CN105426827B

Abstract

本发明公开了一种活体验证方法、装置和系统，其中所述方法包括：生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集多帧被测对象的人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；对所采集的每帧人脸图像提取图像信息；根据所提取的图像信息估计出视线向量；根据估计出的视线向量得到估计的投影轨迹；将所述估计的投影轨迹与所述视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

Description

活体验证方法、装置和系统

技术领域

本发明涉及计算机视觉领域，具体来说涉及一种活体验证方法、装置和系统。

背景技术

近年来，人脸识别技术有了长足的发展。但是在很多应用场合，例如人脸识别移动支付、视频见证开户等，在对人脸图像进行验证的时候，同时需要判断该人脸图像是活体的人脸图像，还是照片或是录制的视频中的人脸图像。

目前常用的人脸活体验证方法主要有如下几种：

1)通过采集人脸图像的深度信息，将其建模重构与三维模板匹配。这种方法的缺点是受环境条件限制，可能不易获得完整的深度信息，且三维建模的准确性仍有待提高。

2)根据人脸纹理细节信息，将人脸图像中的一些特征点或统计特征信息与真实人脸模板进行比对。但是，当待检测图像的分辨率较低或不够完整时，无法准确获得纹理细节信息时，该方法并不适用。

3)中国专利申请CN201210331141.2公开了一种活体检测方法，其采集多帧人脸图像，对各帧图像中的人脸关键点/块进行定位，通过判断平均差异值是否大于预设阈值来判断是否活体。中国专利申请CN201510243778.X也公开了一种活体检测方法，同样也是采集多帧人脸图像，通过判断关键点的属性变化值的规律是否符合真实人脸的变化规律来判断是否活体。然而，此类检测人脸全局运动的方法由于人脸的运动是单一的生物特征，且不易改变，当该类方法与基于人脸的身份认证方法结合时，如果一个人被他人恶意收集到了大量本人的人脸运动图像用于检测，则此类方法的可靠性将会降低。

4)中国专利申请CN201310363154.2所公开的方法中，通过检测图像中的人脸的眨眼等运动来判断是否是活体。然而，对于眨眼这样简单的动作，比较容易被伪造，使得此类方法防伪的可靠性降低。

发明内容

本发明所要解决的技术问题在于现有活体验证方案装置复杂，且准确度和可靠性不高。

为此，本发明实施例提出了一种活体验证方法，包括：生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集多帧被测对象的人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；对所采集的每帧人脸图像提取图像信息；根据所提取的图像信息估计出视线向量；根据估计出的视线向量得到估计的投影轨迹；将所述估计的投影轨迹与所述视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

优选地，所述根据所提取的图像信息估计出视线向量是将所述图像信息输入到神经网络模型来得到估计的视线向量，所述神经网络模型通过以下步骤得到：采集海量不同人、不同视线下的人脸图像；从采集到的人脸图像中提取图像信息和视线向量；根据所得到的图像信息和视线向量得到所述神经网络模型。

优选地，所述图像信息包括眼部图像，所述从采集到的人脸图像中提取图像信息的步骤包括：对采集到的每幅人脸图像进行人脸检测，得到人脸区域；对所得到的人脸区域，标记出人脸特征点；根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

优选地，所述根据所得到的图像信息和视线向量得到所述神经网络模型的步骤包括：将所得到的眼部图像作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，所得到的视线向量作为输出层；利用所得到的眼部图像和视线向量，对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

优选地，所述图像信息包括人脸姿态特征和眼部图像，所述从采集到的人脸图像中提取图像信息的步骤包括：对采集到的每幅人脸图像进行人脸检测，得到人脸区域；对所得到的人脸区域，标记出人脸特征点；对标记出的人脸特征点进行归一化，将归一化后的人脸特征点作为人脸姿态特征；根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

优选地，所述根据所得到的图像信息和视线向量得到所述神经网络模型的步骤包括：将所得到的眼部图像作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，并将所得到的人脸姿态特征和这个f维的全连接层拼接在一起，作为拓展的全连接层，所得到的视线向量作为输出层；利用所得到的人脸姿态特征、眼部图像和视线向量，对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

优选地，所述从采集到的人脸图像中提取视线向量的步骤包括：获取头部三维模型；将标记出的人脸特征点对齐到所述头部三维模型上；根据所得到的人脸特征点和头部三维模型的对齐结果和视觉中心点位置，计算视线向量。

优选地，所述图像信息包括眼部图像，所述对所采集的每帧人脸图像提取图像信息的步骤包括：对每帧人脸图像进行人脸检测，得到人脸区域；对所得到的人脸区域，标记出人脸特征点；根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

优选地，所述图像信息包括人脸姿态特征和眼部图像，所述对所采集的每帧人脸图像提取图像信息包括：对每帧人脸图像进行人脸检测，得到人脸区域；对所得到的人脸区域，标记出人脸特征点；对标记出的人脸特征点进行归一化，将归一化后的人脸特征点作为人脸姿态特征；根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

本发明实施例还提供了一种活体验证装置，包括：轨迹生成和图像采集单元，用于生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集被测对象的多帧人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；图像信息提取单元，用于对所采集的每帧人脸图像提取图像信息；视线向量估计单元，用于根据所提取的图像信息估计出视线向量；投影轨迹生成单元，根据估计出的视线向量得到估计的投影轨迹；对比单元，将所述估计的投影轨迹与所述视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

优选地，所述视线向量估计单元将所述图像信息输入到神经网络模型来得到估计的视线向量，所述神经网络模型通过以下子单元得到：采集子单元，用于采集海量不同人、不同视线下的人脸图像；提取子单元，用于从采集到的人脸图像中提取图像信息和视线向量；神经网络模型生成子单元，用于根据所得到的图像信息和视线向量得到所述神经网络模型。

优选地，所述图像信息包括眼部图像，所述图像信息提取单元包括：人脸检测子单元，用于对每帧人脸图像进行人脸检测，得到人脸区域；人脸特征点标记子单元，用于对所得到的人脸区域，标记出人脸特征点；眼部图像裁剪子单元，用于根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

优选地，所述图像信息包括人脸姿态特征和眼部图像，所述图像信息提取单元包括：人脸检测子单元，用于对每帧人脸图像进行人脸检测，得到人脸区域；人脸特征点标记子单元，用于对所得到的人脸区域，标记出人脸特征点；人脸特征点归一化子单元，用于对标记出的人脸特征点进行归一化，将归一化后的人脸特征点作为人脸姿态特征；眼部图像裁剪子单元，用于根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

本发明实施例进一步还提供了一种活体验证系统，包括：显示装置，用于显示预设轨迹运动的视觉中心点；图像采集装置，用于在所述视觉中心点运动过程中采集被测对象的多帧人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；处理器，用于生成按所述预设轨迹运动的所述视觉中心点；对所采集的每帧人脸图像提取图像信息；根据所提取的图像信息估计出视线向量；根据估计出的视线向量得到估计的投影轨迹；将估计的投影轨迹与视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

根据本发明实施例的活体验证方法、装置和系统，通过在验证过程中实时采集被测对象的人脸图像，根据人脸图像估计被测对象的视线轨迹，并通过将估计的视线轨迹与视觉中心点的实际运动轨迹对比来判断被测对象是否活体，仅需要带有摄像头和屏幕的设备即可以完成判断，不需要复杂的外设设备；采用视线追踪的方式让被测对象的视线随着随机生成的预设轨迹移动，难以被伪造，大大提升了活体验证的准确度和可靠性。

根据本发明实施例的活体验证方法、装置和系统，将所得到的图像信息作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，所得到的视线向量作为输出层，并利用所得到的图像信息和视线向量，对所搭建的深度卷积神经网络进行训练以得到神经网络模型，从而可以快速准确地从所提取出的图像信息估计出视线向量，进而提升了活体判断的准确度。

根据本发明实施例的活体验证方法、装置和系统，选取眼部图像来作为图像信息从而可以简化计算，快速完成检测；在进一步优选的实施方式中，选取人脸姿态特征和眼部图像这两者来作为图像信息，进一步考虑了被测对象的头部发生运动的情况，在被测对象头部发生运动时，仍然可以准确地进行活体检测。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明实施例的活体验证方法的流程图；

图2示出了根据本发明实施例的对所采集的每帧人脸图像提取图像信息的步骤的流程图；

图3示出了21点人脸特征点的示意图；

图4示出了根据本发明实施例的神经网络模型的获取方法的流程图；

图5示出了根据本发明实施例的神经网络模型的示意图；

图6示出了根据本发明另一实施例的活体验证方法的流程图；

图7示出了根据本发明另一实施例的对所采集的每帧人脸图像提取图像信息的步骤的流程图；

图8示出了根据本发明实施例的活体验证装置的示意图；

图9示出了根据本发明实施例的活体验证系统的示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。

实施例1

如图1所示，本实施例提供的活体验证方法，该验证方法仅需要一带有摄像头和屏幕的设备即可以完成，包括如下步骤：

S11.生成按预设轨迹运动的视觉中心点，并在该视觉中心点运动过程中采集多帧人脸图像。在采集过程中，被测对象的视线需要始终跟随视觉中心点运动，注视在视觉中心点上，该视觉中心点按照预设的运行轨迹和运行方式，在屏幕上移动，其运行轨迹可以是屏幕从左到右的直线、从上到下的直线、一个圆形轨迹等等，但不限于所列举的这几种运行轨迹。为了提升伪造的难度，运行轨迹也可以是每次验证随机生成的随机运行轨迹。视觉中心点运行方式可以是匀速率的，也可以是变速率的。在测试过程中，也会实时采集人脸图像，图像采集的方式可以是连续采集，也可以间隔采集，间隔时间可以相同也可以不同。

S12.对所采集的每帧人脸图像提取图像信息，在本实施例中，选取眼部图像来作为图像信息，从而可以简化计算，快速完成检测。当然，也可以从所采集的人脸图像中提取更多的信息，以提升验证的准确度。

S13.根据所提取的眼部图像估计出视线向量。通常，该步骤可以利用神经网络模型来实现，即将所提取的眼部图像输入到已训练好的关联眼部图像与视线向量的神经网络模型中，就可以得到估计的视线向量，从而可以快速准确地估计出视线向量。

S14.根据估计出的视线向量得到估计的投影轨迹。通常，可以先根据各帧图像所估计出的视线向量得到视线向量的运动轨迹，将该运动轨迹投影到屏幕所在的平面，然后即可以得到估计出的视线向量的运动轨迹在屏幕上的投影轨迹。

S15.将估计的投影轨迹与预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，可以判断被测对象为活体，当两者间的相似度小于预设阈值时，可以判断被测对象不是活体。

根据本实施例的活体验证方法是基于视线追踪的方法来实现活体验证，然而现有的视线追踪方案往往需要复杂而昂贵的眼动仪等外设设备以及光源、平台的配合，而不可能将其应用到活体检测中，更不可能将其应用到移动端的活体检测中，而现有的不采用眼动仪等外设设备的视线追踪方案则往往又精确度不够，无法应用于活体检测中。

本发明实施例所公开的活体验证方法，通过在验证过程中实时采集被测对象的人脸图像，根据人脸图像估计被测对象的视线轨迹，并通过将估计的视线轨迹与视觉中心点的实际运动轨迹对比来判断被测对象是否活体，仅需要带有摄像头和屏幕的设备即可以完成判断，不需要复杂的外设设备；采用视线追踪的方式让被测对象的视线随着随机生成的预设轨迹移动，难以被伪造，大大提升了活体验证的准确度和可靠性。此外，在本发明实施例所公开的活体验证过程中，验证装置与用户之间不必通过声音提示，用户也不必出声。

优选地，如图2所示，上述步骤S12可以包括：

S121.对每帧人脸图像进行人脸检测，得到人脸区域。

S122.对所得到的人脸区域，标记出人脸特征点。例如，可以使用人脸特征点定位的方法标记出人脸特征点，参见文献SupervisedDescentMethodanditsApplicationstoFaceAlignment，ComputerVisionandPatternRecognition(CVPR),2013IEEEConference，第532-539页。图3中示出了21点人脸特征点的示意图，即左右眼各6个特征点，鼻部4个特征点，嘴部5个特征点，本领域技术人员应当理解，采用更多或更少的人脸特征点也是可行的。

S123.根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像。

S124.将所裁剪出的眼部图像归一化到统一的分辨率m×n像素大小。

通过上述步骤，即可以很方便、快速地从人脸图像中提取出眼部图像。在下文中将详细介绍神经网络模型的获取方法，如图4所示，该方法可以包括如下步骤：

S21.采集海量不同人、不同视线下的人脸图像，具体可以包括如下步骤：

S21a)使用成熟的摄像头校准的方法，得到摄像头的内部参数，同时，使用基于镜面的校准方法，估算出屏幕的三维位置。

S21b)使用带有摄像头和屏幕的设备，在屏幕上随机逐个生成若干个视觉中心点。

S21c)要求被采集人将视线注视在屏幕上的视觉中心点，当采集人确认视线已注视到视觉中心点时，采集此时的人脸图像。

S21d)重复上述步骤S21b和S21c，采集海量的不同人、不同视线下的人脸图像。其中，采集设备包括不同型号的摄像头和屏幕，如笔记本电脑、平板电脑、智能手机等，被采集人人数众多，采集环境多变。

S22.从采集到的人脸图像中提取眼部图像和视线向量，具体可以包括如下步骤：

S22a)利用与步骤S12相同的方法，从采集到的人脸图像中提取眼部图像，在此不再赘述。

S22b)获取头部三维模型，该模型可以是事先建模得到的该特定被采集人的头部三维模型，也可以对不同人采用事先定义的一个平均的头部三维模型。

S22c)利用如EPnP算法等已有算法，将标记出的人脸特征点对齐到头部三维模型上，并逐步优化，得到将人脸特征点对齐到头部三维模型的优化结果。

S22d)根据所得到的人脸特征点和头部三维模型的对齐结果和视觉中心点位置，计算视线向量，即眼睛(眼部中间特征点作为眼睛的位置)到视觉中心点的向量，并将该向量归一化到单位长度。

S23.根据所得到的眼部图像和视线向量得到神经网络模型，具体可以包括如下步骤：

S23a)搭建深度神经网络模型，将所得到的m×n分辨率的眼部图像作为输入，搭建多层深度卷积神经网络，深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，所得到的视线向量v作为输出层，如图5所示。

S23b)利用所得到的眼部图像和视线向量数据，对所搭建的深度卷积神经网络进行训练，得到视线追踪的深度神经网络模型。训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

通过采用该深度神经网络模型来估计视线向量，无需复杂而昂贵的眼动仪等外设设备就可以快速准确地进行视线向量估计，从而提升了活体判断的准确度。

实施例2

当被测对象的头部发生运动时，会影响到视线向量估计的准确度，进而会影响到活体判断的准确度。因此，与实施例1不同的是，在进行活体检测时，还需要考虑到被测对象的头部发生运动的影像。为此，如图6所示，本实施例提供的活体验证方法同样仅需要一带有摄像头和屏幕的设备即可以完成，包括如下步骤：

S31.生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集多帧人脸图像。

S32.对每帧人脸图像提取图像信息。为了消除可能发生的被测对象的头部发生运动对活体验证准确度产生的影响，在本实施例中，选取人脸姿态特征和眼部图像来作为图像信息。

S33.根据所提取的人脸姿态特征和眼部图像估计出视线向量。通常，可以将所提取的人脸姿态特征和眼部图像输入到已训练好的关联人脸姿态特征、眼部图像与视线向量的神经网络模型中，就可以得到估计的视线向量。

S34.根据估计出的视线向量得到估计的投影轨迹。

S35.将投影轨迹与预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，可以判断被测对象为活体，当两者间的相似度小于预设阈值时，可以判断被测对象不是活体。

根据本实施例的活体验证方法，通过在验证过程中实时采集被测对象的人脸图像，根据人脸图像估计被测对象的视线轨迹，并通过将估计的视线轨迹与视觉中心点的实际运动轨迹对比来判断被测对象是否活体，仅需要带有摄像头和屏幕的设备即可以完成判断，不需要复杂的外设设备；采用视线追踪的方式让被测对象的视线随着随机生成的预设轨迹移动，难以被伪造，大大提升了活体验证的准确度和可靠性，并且还进一步考虑了被测对象的头部发生运动的情况，在被测对象头部发生运动时，仍然可以准确地进行活体检测。

优选地，如图7所示，上述步骤S32可以包括：

S321.每帧人脸图像进行人脸检测，得到人脸区域。

S322.对所得到的人脸区域，标记出人脸特征点。

S323.对标记出的人脸特征点进行归一化，使坐标位于[0,1]×[0,1]坐标范围内，将归一化后的人脸特征点作为人脸姿态特征。

S324.根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像。

S325.将所裁剪出的眼部图像归一化到统一的分辨率m×n像素大小。

通过上述步骤，即可以很方便、快速地从人脸图像中提取出人脸姿态特征和眼部图像。在下文中将详细介绍神经网络模型的获取方法，如图7所示，该方法可以包括如下步骤：

S41.采集海量不同人、不同视线下的人脸图像，具体可以包括如下步骤：

S41a)使用成熟的摄像头校准的方法，得到摄像头的内部参数，同时，使用基于镜面的校准方法，估算出屏幕的三维位置。

S41b)使用带有摄像头和屏幕的设备，在屏幕上随机逐个生成若干个视觉中心点。

S41c)要求被采集人将视线注视在屏幕上的视觉中心点，当采集人确认视线已注视到视觉中心点时，采集此时的人脸图像。

S41d)重复上述步骤S41b和S41c，采集海量的不同人、不同视线下的人脸图像。同样地，采集设备包括不同型号的摄像头和屏幕，如笔记本电脑、平板电脑、智能手机等，被采集人人数众多，采集环境多变。

S42.从采集到的人脸图像中提取人脸姿态特征、眼部图像和视线向量，具体可以包括如下步骤：

S42a)对采集到的人脸图像进行人脸检测，得到人脸区域。

S42b)对所得到的人脸区域，标记出人脸特征点。

S42c)对标记出的人脸特征点进行归一化，使坐标位于[0,1]×[0,1]坐标范围内，将归一化后的人脸特征点作为人脸姿态特征。

S42d)根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并归一化到统一的分辨率m×n像素大小。

S42e)获取头部三维模型。

S42f)将所得到的人脸特征点对应到头部三维模型上。

S42g)根据所得到的人脸特征点和头部三维模型的对齐结果和视觉中心点位置，计算视线向量，即眼睛(眼部中间特征点作为眼睛的位置)到视觉中心点的向量，并将该向量归一化到单位长度。

S43.根据所得到的人脸姿态特征、眼部图像和视线向量得到神经网络模型，具体可以包括如下步骤：

S23a)搭建深度神经网络模型，将所得到的m×n分辨率的眼部图像作为输入，搭建多层深度卷积神经网络，该多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，并将所得到的人脸姿态特征和这个f维的全连接层拼接在一起，作为拓展的全连接层，所得到的视线向量v作为输出层，同样如图5所示。

S23b)利用所得到的人脸姿态特征、眼部图像和视线向量数据，所搭建的深度神经网络进行训练，得到视线追踪的深度神经网络模型。训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

实施例3

本实施例公开了一种活体验证装置，如图8所示，包括：

轨迹生成和图像采集单元11，用于生成按预设轨迹运动的视觉中心点，并在视觉中心点运动过程中采集多帧人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；

图像信息提取单元12，用于对所采集的每帧人脸图像提取图像信息；

视线向量估计单元13，用于根据所提取的图像信息估计出视线向量；

投影轨迹生成单元14，根据估计出的视线向量得到估计的投影轨迹；

对比单元15，将估计的投影轨迹与视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

根据本实施例的活体验证装置，通过在验证过程中实时采集被测对象的人脸图像，根据人脸图像估计被测对象的视线轨迹，并通过将估计的视线轨迹与视觉中心点的实际运动轨迹对比来判断被测对象是否活体，仅需要带有摄像头和屏幕的设备即可以完成判断，与现有技术中的活体验证方法相比，不需要复杂的平台和光源配合，并且判断的准确度和可靠性高。

当图像信息是眼部图像时，该图像信息提取单元12可以包括：

人脸检测子单元，用于对每帧人脸图像进行人脸检测，得到人脸区域；

人脸特征点标记子单元，用于对所得到的人脸区域，标记出人脸特征点；

眼部图像裁剪子单元，用于根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

作为一种优选实施方式，当图像信息是人脸姿态特征和眼部图像时，图像信息提取单元可以包括：

人脸特征点归一化子单元，用于对标记出的人脸特征点进行归一化，将归一化后的人脸特征点作为人脸姿态特征；

由此，进一步考虑了被测对象的头部发生运动的情况，在被测对象头部发生运动时，仍然可以准确地进行活体检测。

优选地，视线向量估计单元13将所述图像信息输入到神经网络模型来得到估计的视线向量，该神经网络模型可以通过以下子单元得到：

采集子单元，用于采集海量不同人、不同视线下的人脸图像；

提取子单元，用于从采集到的人脸图像中提取图像信息和视线向量；

神经网络模型生成子单元，用于根据所得到的图像信息和视线向量得到所述神经网络模型。

神经网络模型的生成方法与实施例1和实施例2相同，在此不再赘述。通过采用该深度神经网络模型来估计视线向量，无需复杂而昂贵的眼动仪等外设设备就可以快速准确地进行视线向量估计，从而提升了活体判断的准确度。

实施例4

本实施例公开了一种活体验证系统，该活体验证系统可以应用于手机、平板电脑、笔记本电脑、PC机以及其他所有带有摄像头和屏幕的设备，如图9所示，该系统包括：

显示装置21，用于显示预设轨迹25运动的视觉中心点24，该显示装置21例如可以是显示屏；

图像采集装置22，用于在视觉中心点24运动过程中采集被测对象的多帧人脸图像，在采集过程中，被测对象的视线始终跟随视觉中心点24运动，该图像采集装置22例如可以是摄像头；

处理器23，用于生成该按预设轨迹25运动的视觉中心点24；对所采集的每帧人脸图像提取图像信息；根据所提取的图像信息估计出视线向量；根据估计出的视线向量得到估计的投影轨迹26；将估计的投影轨迹26与视觉中心点的预设轨迹25进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

根据本实施例的活体验证系统，通过在验证过程中实时采集被测对象的人脸图像，根据人脸图像估计被测对象的视线轨迹，并通过将估计的视线轨迹与视觉中心点的实际运动轨迹对比来判断被测对象是否活体，仅需要带有摄像头和屏幕的设备即可以完成判断，不需要复杂的外设设备；采用视线追踪的方式让被测对象的视线随着随机生成的预设轨迹移动，难以被伪造，大大提升了活体验证的准确度和可靠性。

当图像信息是眼部图像时，该对所采集的每帧人脸图像提取图像信息的步骤可以包括：

对每帧人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

根据标记出的人脸特征点，得到眼部的位置，裁剪出左右两眼的眼部图像，并将所裁剪出的眼部图像统一到相同像素大小。

作为一种优选实施方式，当图像信息是人脸姿态特征和眼部图像时，该对所采集的每帧人脸图像提取图像信息的步骤可以包括：

对每帧人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

对标记出的人脸特征点进行归一化，将归一化后的人脸特征点作为人脸姿态特征；

作为一种优选实施方式，通过将所提取的眼部图像或人脸姿态特征和眼部图像两者输入到已训练好的神经网络模型，以得到估计的视线向量，神经网络模型的生成方法与实施例1和实施例2相同，在此不再赘述。通过采用该深度神经网络模型来估计视线向量，无需复杂而昂贵的眼动仪等外设设备就可以快速准确地进行视线向量估计，从而提升了活体判断的准确度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种活体验证方法，其特征在于，包括：

生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集多帧被测对象的人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；

对所采集的每帧人脸图像提取图像信息；

根据所提取的图像信息估计出视线向量；

根据估计出的视线向量得到估计的投影轨迹；

将所述估计的投影轨迹与所述视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

2.根据权利要求1所述的方法，其特征在于，所述根据所提取的图像信息估计出视线向量是将所述图像信息输入到神经网络模型来得到估计的视线向量，所述神经网络模型通过以下步骤得到：

采集海量不同人、不同视线下的人脸图像；

从采集到的人脸图像中提取图像信息和视线向量；

根据所得到的图像信息和视线向量得到所述神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述图像信息包括眼部图像，所述从采集到的人脸图像中提取图像信息的步骤包括：

对采集到的每幅人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

4.根据权利要求3所述的方法，其特征在于，所述根据所得到的图像信息和视线向量得到所述神经网络模型的步骤包括：

将所得到的眼部图像作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，所得到的视线向量作为输出层；

利用所得到的眼部图像和视线向量，对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

5.根据权利要求2所述的方法，其特征在于，所述图像信息包括人脸姿态特征和眼部图像，所述从采集到的人脸图像中提取图像信息的步骤包括：

对采集到的每幅人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

6.根据权利要求5所述的方法，其特征在于，所述根据所得到的图像信息和视线向量得到所述神经网络模型的步骤包括：

将所得到的眼部图像作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，并将所得到的人脸姿态特征和这个f维的全连接层拼接在一起，作为拓展的全连接层，所得到的视线向量作为输出层；

利用所得到的人脸姿态特征、眼部图像和视线向量，对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

7.根据权利要求2-6中任一项所述的方法，其特征在于，所述从采集到的人脸图像中提取视线向量的步骤包括：

获取头部三维模型；

将标记出的人脸特征点对齐到所述头部三维模型上；

根据所得到的人脸特征点和头部三维模型的对齐结果和视觉中心点位置，计算视线向量。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述图像信息包括眼部图像，所述对所采集的每帧人脸图像提取图像信息的步骤包括：

对每帧人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

9.根据权利要求1-7中任一项所述的方法，其特征在于，所述图像信息包括人脸姿态特征和眼部图像，所述对所采集的每帧人脸图像提取图像信息包括：

对每帧人脸图像进行人脸检测，得到人脸区域；

对所得到的人脸区域，标记出人脸特征点；

10.一种活体验证装置，其特征在于，包括：

轨迹生成和图像采集单元，用于生成按预设轨迹运动的视觉中心点，并在所述视觉中心点运动过程中采集被测对象的多帧人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；

图像信息提取单元，用于对所采集的每帧人脸图像提取图像信息；

视线向量估计单元，用于根据所提取的图像信息估计出视线向量；

投影轨迹生成单元，根据估计出的视线向量得到估计的投影轨迹；

对比单元，将所述估计的投影轨迹与所述视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。

11.根据权利要求10所述的装置，其特征在于，所述视线向量估计单元将所述图像信息输入到神经网络模型来得到估计的视线向量，所述神经网络模型通过以下子单元得到：

12.根据权利要求10或11所述的装置，其特征在于，所述图像信息包括眼部图像，所述图像信息提取单元包括：

13.根据权利要求10或11所述的装置，其特征在于，所述图像信息包括人脸姿态特征和眼部图像，所述图像信息提取单元包括：

14.一种活体验证系统，其特征在于，包括：

显示装置，用于显示预设轨迹运动的视觉中心点；

图像采集装置，用于在所述视觉中心点运动过程中采集被测对象的多帧人脸图像，在采集过程中，被测对象的视线始终跟随所述视觉中心点运动；

处理器，用于生成按所述预设轨迹运动的所述视觉中心点；对所采集的每帧人脸图像提取图像信息；根据所提取的图像信息估计出视线向量；根据估计出的视线向量得到估计的投影轨迹；将估计的投影轨迹与视觉中心点的预设轨迹进行对比，当两者间的相似度大于或等于预设阈值时，判断被测对象为活体，当两者间的相似度小于预设阈值时，判断被测对象不是活体。