CN111079587B

CN111079587B - 人脸的识别方法、装置、计算机设备及可读存储介质

Info

Publication number: CN111079587B
Application number: CN201911222160.XA
Authority: CN
Inventors: 王泽荣
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Force Map New Chongqing Technology Co ltd
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2023-09-22
Anticipated expiration: 2039-12-03
Also published as: CN111079587A

Abstract

本申请涉及一种人脸的识别方法、装置、计算机设备及可读存储介质。所述方法包括：获取目标用户的人脸图像；根据所述人脸图像，确定所述目标用户的人脸纹理特征和人脸形状特征；对所述人脸纹理特征和所述人脸形状特征进行融合处理，得到所述目标用户的第一人脸特征；对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。采用本申请可以提高人脸识别的准确率。

Description

人脸的识别方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种人脸的识别方法、装置、计算机设备及可读存储介质。

背景技术

目前，传统的人脸识别技术主要是通过图像采集装置采集目标用户的人脸图像。然后，通过卷积神经网络(Convolutional Neural Networks，CNN)提取该人脸图像对应的人脸纹理特征。之后，将提取到的人脸纹理特征与预先存储的合法用户的人脸纹理特征进行特征比对，从而判断该目标用户是否为合法用户。

然而，当非法用户的人脸纹理特征与合法用户的人脸纹理特征相近时，采用传统的人脸识别技术，容易将非法用户识别为合法用户。因此，亟需一种能够提高人脸识别准确率的方案。

发明内容

基于此，有必要针对上述技术问题，提供一种人脸的识别方法、装置、计算机设备及可读存储介质。

第一方面，提供了一种人脸的识别方法，所述方法包括：

获取目标用户的人脸图像；

根据所述人脸图像，确定所述目标用户的人脸纹理特征和人脸形状特征；

对所述人脸纹理特征和所述人脸形状特征进行融合处理，得到所述目标用户的第一人脸特征；

对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。

作为一种可选地实施方式，所述根据所述人脸图像，确定所述目标用户的人脸纹理特征和人脸形状特征，包括：

从所述人脸图像中提取所述目标用户的面部特征点；

根据所述面部特征点，构建所述目标用户的面部特征对应的几何关系图；

将所述几何关系图输入至预先训练的图卷积神经网络，输出所述目标用户的人脸形状特征，并将所述人脸图像输入至预先训练的卷积神经网络，输出所述目标用户的人脸纹理特征。

作为一种可选地实施方式，所述根据所述面部特征点，构建所述目标用户的面部特征对应的几何关系图，包括：

针对每个面部特征点，在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并确定该面部特征点与邻接面部特征点对应的边的权重；

根据所述各面部特征点的属性信息，构建特征点矩阵，并根据所述各面部特征点与邻接面部特征点对应的边的权重，构建邻接矩阵；

根据所述特征点矩阵和所述邻接矩阵，构建所述目标用户的面部特征对应的几何关系图。

作为一种可选地实施方式，所述针对每个面部特征点，在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并确定该面部特征点与邻接面部特征点对应的边的权重，包括：

针对每个面部特征点，确定该面部特征点与其他面部特征点的距离，并在所述其他面部特征点中，将距离最小的预设数目个其他面部特征点，确定为该面部特征点对应的邻接面部特征点；

根据该面部特征点与邻接面部特征点的距离，确定该面部特征点与邻接面部特征点对应的边的权重。

作为一种可选地实施方式，所述对所述人脸纹理特征和所述人脸形状特征进行融合处理，得到所述目标用户的第一人脸特征，包括：

对所述人脸纹理特征和所述人脸形状特征进行对位相乘，得到所述目标用户的第一人脸特征。

作为一种可选地实施方式，所述对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果，包括：

计算所述第一人脸特征与预先存储的第二人脸特征的距离；

如果所述距离小于或等于预设距离阈值，则比对结果为所述目标用户与所述第二人脸特征所属的用户为同一用户；

如果所述距离大于所述预设距离阈值，则比对结果为所述目标用户与所述第二人脸特征所属的用户为不同用户。

将所述第一人脸特征和预先存储的第二人脸特征输入至预先训练的特征比对向量机或特征比对神经网络，得到比对结果。

第二方面，提供了一种人脸的识别装置，所述装置包括：

获取模块，用于获取目标用户的人脸图像；

确定模块，用于根据所述人脸图像，确定所述目标用户的人脸纹理特征和人脸形状特征；

融合模块，用于对所述人脸纹理特征和所述人脸形状特征进行融合处理，得到所述目标用户的第一人脸特征；

比对模块，用于根据预设的特征比对算法，对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。

第三方面，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

本申请实施例提供了一种人脸的识别方法、装置、计算机设备及可读存储介质。终端设备获取目标用户的人脸图像。然后，终端设备根据人脸图像，确定目标用户的人脸纹理特征和人脸形状特征，并对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征。之后，终端设备根据预设的特征比对算法，对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。这样，通过人脸纹理特征和人脸形状特征融合得到的人脸特征来进行人脸识别，可以提高人脸识别的准确率。

附图说明

图1为本申请实施例提供的一种人脸的识别方法的流程图；

图2为本申请实施例提供的一种人脸的识别方法的流程图；

图3为本申请实施例提供的一种人脸的识别方法的流程图；

图4A为本申请实施例提供的一种人脸图像的示意图；

图4B为本申请实施例提供的一种面部特征点的示意图；

图5为本申请实施例提供的一种人脸的识别装置的结构示意图；

图6为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供了一种人脸的识别方法，该方法可以应用于终端设备，该终端设备中设置有用于采集目标用户的人脸图像的图像采集装置。其中，该终端设备可以为手机、平板、笔记本电脑等终端设备。该方法也可以应用于人脸识别系统中的服务器。该人脸识别系统包括图像采集设备和服务器。其中，图像采集设备，用于采集目标用户的人脸图像；服务器，用于根据该人脸图像，确定该目标用户的第一人脸特征，并根据预设的特征比对算法，对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。本申请实施例以该方法应用于终端设备为例进行介绍，其他情况与之类似。

下面将结合具体实施方式，对本申请实施例提供的一种人脸的识别方法进行详细的说明，如图1所示，具体步骤如下：

步骤101，获取目标用户的人脸图像。

在实施中，当某一用户(即目标用户)需要对终端设备进行解锁时，该目标用户可以点击识别按钮。相应的，终端设备则可以检测到识别指令，并通过图像采集装置采集该目标用户的人脸图像(如图4A所示)。

步骤102，根据人脸图像，确定目标用户的人脸纹理特征和人脸形状特征。

在实施中，终端设备采集到目标用户的人脸图像后，可以根据该人脸图像，确定目标用户的人脸纹理特征和人脸形状特征。其中，如图2所示，终端设备根据该人脸图像，确定目标用户的人脸纹理特征和人脸形状特征的处理过程如下：

步骤201，从人脸图像中提取目标用户的面部特征点。

在实施中，如图4B所示，该终端设备获取到目标用户的人脸图像后，可以根据预设的人脸面部特征点提取算法，从人脸图像中提取目标用户的多个面部特征点。其中，面部特征点可以包括面部轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点等。例如，该终端设备可以根据预设的人脸面部特征点提取算法，从人脸图像中提取目标用户的81个面部特征点。

步骤202，根据面部特征点，构建目标用户的面部特征对应的几何关系图。

在实施中，终端设备提取到该目标用户的面部特征点后，可以根据面部特征点，构建该目标用户的面部特征对应的几何关系图。其中，如图3所示，终端设备根据面部特征点，构建该目标用户的面部特征对应的几何关系图的处理过程如下：

步骤301，针对每个面部特征点，在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并确定该面部特征点与邻接面部特征点对应的边的权重。

在实施中，终端设备提取到该目标用户的面部特征点后，针对各面部特征点中的每个面部特征点，该终端设备可以在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并进一步确定该面部特征点与邻接面部特征点对应的边的权重。其中，终端设备在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并进一步确定该面部特征点与邻接面部特征点对应的边的权重的处理过程如下：

步骤一，针对每个面部特征点，确定该面部特征点与其他面部特征点的距离，并在其他面部特征点中，将距离最小的预设数目个其他面部特征点，确定为该面部特征点对应的邻接面部特征点。

在实施中，终端设备提取到面部特征点后，可以在人脸图像所对应的欧式空间中，确定各面部特征点的坐标。然后，针对每个面部特征点，终端设备可以确定该面部特征点与其他面部特征点的欧式距离，并构建距离矩阵。例如，面部特征点的数目为81个，则终端设备可以构建大小为81*81的距离矩阵，N为正整数。之后，针对每个面部特征点，终端设备可以进一步将与该面部特征点的距离最小的预设数目个(比如8个)面部特征点，作为该面部特征点对应的邻接面部特征点。

步骤二，根据该面部特征点与邻接面部特征点的距离，确定该面部特征点与邻接面部特征点对应的边的权重。

在实施中，终端设备得到该面部特征点对应的邻接面部特征点后，终端设备将该面部特征与邻接面部特征点的距离输入至预设的权重算法，得到该面部特征点与邻接面部特征点对应的边的权重，从而得到权重矩阵。其中，预设的权重算法可以为以自然常数e为底的指数函数y＝exp(-x)，y为权重，x为距离。

步骤302，根据各面部特征点的属性信息，构建特征点矩阵，并根据各面部特征点对应的邻接面部特征点的权重，构建邻接矩阵。

在实施中，终端设备提取到该目标用户的面部特征点后，可以进一步在人脸图像中，提取各面部特征点的属性信息，并根据各面部特征点的属性信息构建特征点矩阵。其中，该属性信息可以为像素信息或坐标信息；该像素信息可以为灰度像素信息，也可以为RGB(Red Green Blue，红绿蓝)像素信息。同时，终端设备还可以根据各面部特征点对应的邻接面部特征点的权重，构建邻接矩阵。也即，终端设备在权重矩阵中，将该面部特征点与除邻接面部特征点以外的其他面部特征点的距离置0或置为无限大值，从而得到邻接矩阵。

需要说明的是，假设面部特征点的数目为N，当属性信息为位置信息时，该特征点矩阵的大小为N*2；当属性信息为像素信息，且像素信息为灰度像素信息时，该特征点矩阵的大小为N*1；当属性信息为像素信息，且像素信息为RGB像素信息时，该特征点矩阵的大小为N*3。

步骤303，根据特征点矩阵和邻接矩阵，构建目标用户的面部特征对应的几何关系图。

在实施中，终端设备得到特征点矩阵和邻接矩阵后，可以根据该特征点矩阵和邻接矩阵，构建该目标用户的面部特征对应的几何关系图。其中，该几何关系图G＝(V，E)，其中，V为特征点矩阵，E为邻接矩阵。

步骤203，将几何关系图输入至预先训练的图卷积神经网络，输出目标用户的人脸形状特征，并将人脸图像输入至预先训练的卷积神经网络，输出目标用户的人脸纹理特征。

在实施中，终端设备得到该目标用户对应的几何关系图后，可以将该几何关系图输入至预先训练的图卷积神经网络。相应的，该图卷积神经网络则会输出目标用户的人脸形状特征。同理，终端设备可以将人脸图像输入至预先训练的卷积神经网络。相应的，该卷积神经网络则会输出目标用户的人脸纹理特征。

步骤103，对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征。

在实施中，终端设备得到该目标用户的人脸纹理特征和人脸形状特征后，可以根据预设的融合算法，对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征。可选的，融合算法可以为对位相乘(element-wise)融合算法。终端设备可以对该目标用户的人脸纹理特征和人脸形状特征进行对位相乘，得到目标用户的第一人脸特征。

步骤104，对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。

在实施中，终端设备中可以预先存储有合法用户的人脸特征(即第二人脸特征)。其中，该终端设备可以根据合法用户录入的人脸图像，通过步骤101至步骤103得到该合法用户的第二人脸特征。终端设备得到该目标用户的第一人脸特征后，可以对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。如果比对结果为相同，则判定该目标用户为合法用户，该终端设备可以进行解锁操作。如果比对结果为不相同，则判定该目标用户为非法用户，该终端设备无需进行解锁操作。其中，终端设备对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果的处理方式可以是多种多样的，本申请实施例提供了两种可行的方式进行介绍，具体处理过程如下：

方式一，终端设备可以根据第一人脸特征与预先存储的第二人脸特征的距离，确定对比结果，具体处理过程如下：

步骤一，计算第一人脸特征与预先存储的第二人脸特征的距离。

在实施中，终端设备得到该目标用户的第一人脸特征后，可以计算第一人脸特征与预先存储的第二人脸特征的距离。其中，该距离可以为欧式距离，也可以为其他类型的距离，本申请实施例不作限定。

步骤二，如果距离小于或等于预设距离阈值，则比对结果为目标用户与第二人脸特征所属的用户为同一用户。

在实施中，终端设备中可以预先存储有预设距离阈值。该预设距离阈值可以由技术人员根据经验进行设置。终端设备得到第一人脸特征与第二人脸特征的距离后，可以进一步判断该距离是否小于或等于预设距离阈值。如果该距离小于或等于预设距离阈值，则终端设备可以判定比对结果为目标用户与第二人脸特征所属的用户为同一用户。相应的，终端设备可以判定该目标用户为合法用户，该终端设备可以进行解锁操作。

步骤三，如果距离大于预设距离阈值，则比对结果为目标用户与第二人脸特征所属的用户为不同用户。

在实施中，如果该距离大于预设距离阈值，则终端设备可以判定比对结果为目标用户与第二人脸特征所属的用户为不同用户。相应的，该终端设备可以判定该目标用户为非法用户，该终端设备无需进行解锁操作。

方式二，终端设备将第一人脸特征和预先存储的第二人脸特征输入至预先训练的特征比对向量机或特征比对神经网络，得到比对结果。

在实施中，终端设备中可以预先存储有预先训练的特征比对向量机或特征比对神经网络。其中，特征比对向量机或特征比对神经网络与提取人脸特征的模型相耦合。终端设备得到该目标用户的第一人脸特征后，可以将将第一人脸特征和预先存储的第二人脸特征输入至预先训练的特征比对向量机或特征比对神经网络，得到比对结果。如果比对结果为相同，则判定该目标用户为合法用户，该终端设备可以进行解锁操作。如果比对结果为不相同，则判定该目标用户为非法用户，该终端设备无需进行解锁操作。

本申请实施例提供了一种人脸的识别方法。终端设备获取目标用户的人脸图像。然后，终端设备根据人脸图像，确定目标用户的人脸纹理特征和人脸形状特征，并对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征。之后，终端设备根据预设的特征比对算法，对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。这样，通过人脸纹理特征和人脸形状特征融合得到的人脸特征来进行人脸识别，可以提高人脸识别的准确率。

本申请实施例还提供了一种人脸的识别装置，如图5所示，该装置包括：

获取模块510，用于获取目标用户的人脸图像；

确定模块520，用于根据人脸图像，确定目标用户的人脸纹理特征和人脸形状特征；

融合模块530，用于对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征；

比对模块540，用于对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。

作为一种可选地实施方式，确定模块520，具体用于：

从人脸图像中提取目标用户的面部特征点；

根据面部特征点，构建目标用户的面部特征对应的几何关系图；

将几何关系图输入至预先训练的图卷积神经网络，输出目标用户的人脸形状特征，并将人脸图像输入至预先训练的卷积神经网络，输出目标用户的人脸纹理特征。

作为一种可选地实施方式，确定模块520，具体用于：

根据各面部特征点的属性信息，构建特征点矩阵，并根据各面部特征点与邻接面部特征点对应的边的权重，构建邻接矩阵；

根据特征点矩阵和邻接矩阵，构建目标用户的面部特征对应的几何关系图。

作为一种可选地实施方式，确定模块520，具体用于：

针对每个面部特征点，确定该面部特征点与其他面部特征点的距离，并在其他面部特征点中，将距离最小的预设数目个其他面部特征点，确定为该面部特征点对应的邻接面部特征点；

作为一种可选地实施方式，融合模块530，具体用于：

对人脸纹理特征和人脸形状特征进行对位相乘，得到目标用户的第一人脸特征。

作为一种可选地实施方式，比对模块540，具体用于：

计算第一人脸特征与预先存储的第二人脸特征的距离；

如果距离小于或等于预设距离阈值，则比对结果为目标用户与第二人脸特征所属的用户为同一用户；

如果距离大于预设距离阈值，则比对结果为目标用户与第二人脸特征所属的用户为不同用户。

作为一种可选地实施方式，比对模块540，具体用于：

将第一人脸特征和预先存储的第二人脸特征输入至预先训练的特征比对向量机或特征比对神经网络，得到比对结果。

本申请实施例提供了一种人脸的识别装置。终端设备获取目标用户的人脸图像。然后，终端设备根据人脸图像，确定目标用户的人脸纹理特征和人脸形状特征，并对人脸纹理特征和人脸形状特征进行融合处理，得到目标用户的第一人脸特征。之后，终端设备根据预设的特征比对算法，对第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果。这样，通过人脸纹理特征和人脸形状特征融合得到的人脸特征来进行人脸识别，可以提高人脸识别的准确率。

在一个实施例中，提供了一种计算机设备，如图6所示，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人脸的识别方法步骤。

在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理的方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸的识别方法，其特征在于，所述方法包括：

获取目标用户的人脸图像；

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像，确定所述目标用户的人脸纹理特征和人脸形状特征，包括：

从所述人脸图像中提取所述目标用户的面部特征点；

3.根据权利要求2所述的方法，其特征在于，所述根据所述面部特征点，构建所述目标用户的面部特征对应的几何关系图，包括：

4.根据权利要求3所述的方法，其特征在于，所述针对每个面部特征点，在各面部特征点中，确定该面部特征点对应的邻接面部特征点，并确定该面部特征点与邻接面部特征点对应的边的权重，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述人脸纹理特征和所述人脸形状特征进行融合处理，得到所述目标用户的第一人脸特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果，包括：

计算所述第一人脸特征与预先存储的第二人脸特征的距离；

7.根据权利要求1所述的方法，其特征在于，所述对所述第一人脸特征与预先存储的第二人脸特征进行特征比对处理，得到比对结果，包括：

8.一种人脸的识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标用户的人脸图像；

9.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。