CN105303150B - 实现图像处理的方法和系统 - Google Patents

Abstract

本发明提供了一种实现图像处理的方法和系统。所述方法包括：获取具有人脸区域的有效目标图像；提取有效目标图像的人脸特征；将所述有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配；将匹配的有效目标图像关联至参考图像的图像信息。所述系统包括：有效图像获取装置，用于获取具有人脸区域的有效目标图像；提取装置，用于提取有效目标图像的人脸特征；匹配装置，用于将所述有效目标图像中的人脸特征与预置的参考图像的人脸特征进行匹配；关联装置，用于将匹配的有效目标图像关联至参考图像的图像信息。采用本发明能第一时间准确快速的为图像关联相应的图像信息，使得图像的处理不需要依赖于人工操作。

Description

实现图像处理的方法和系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种实现图像处理的方法和系统。

背景技术

随着计算机计算的发展，越来越多的需要获取大量具有人脸区域的图像，以分别将每一具有人脸区域的图像与一定的图像信息进行关联，进而以此为基础实现各种互联网应用。

然而，在传统的图像处理过程中，依靠于人工对图像所进行的人眼识别和人工选定该图像所对应的图像信息，进而将选定的图像信息与该图像进行关联。因此，传统的图像处理过程无法在获取得到具有人脸图像的第一时间准确快速的与相应图像信息进行关联，使得图像处理过程存在着依赖人工操作的局限性。

发明内容

基于此，有必要提供一种能第一时间准确快速的为图像关联相应的图像信息，使得图像的处理不需要依赖于人工操作的实现图像处理的方法。

此外，还有必要提供一种能第一时间准确快速的为图像关联相应的图像信息，使得图像的处理不需要依赖于人工操作的实现图像处理的系统。

一种实现图像处理的方法，包括如下步骤：

获取具有人脸区域的有效目标图像；

提取有效目标图像的人脸特征；

将所述有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配；

将匹配的有效目标图像关联至参考图像的图像信息。

一种实现图像处理的系统，其特征在于，包括：

有效图像获取装置，用于获取具有人脸区域的有效目标图像；

提取装置，用于提取有效目标图像的人脸特征；

匹配装置，用于将所述有效目标图像中的人脸特征与预置的参考图像的人脸特征进行匹配；

关联装置，用于将匹配的有效目标图像关联至参考图像的图像信息。

上述实现图像处理的方法和系统，获取具有人脸区域的有效目标图像，由有效目标图像提取得到人脸特征，将有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配，以将匹配的有效目标图像关联至参考图像的图像信息，进而在不需要人工参与的情况下实现了有效目标图像与图像信息之间的关联，因此，如上所述的图像处理过程是通过对有效目标图像中的人脸自动进行关联的，能够在第一时间准确快速的实现图像处理，并且不需要依赖于人工操作实现。

附图说明

图1为本发明实施例涉及的硬件运行环境架构示意图；

图2为一个实施例中实现图像处理的方法流程图；

图3为图2中获取具有人脸区域的有效目标图像的方法流程图；

图4为图3中对目标图像进行人脸检测得到具有人脸区域的目标图像的方法流程图；

图5为一个实施例中的训练图像示意图；

图6为图4中人脸轮廓标注准则的示意图；

图7为图4中左眉毛标注准则的示意图；

图8为图4中右眉毛标注准则的示意图；

图9为图4中左眼睛标注准则的示意图；

图10为图4中右眼睛标注准则的示意图；

图11为图4中鼻子标注准则的示意图；

图12为图4中嘴巴标注准则的示意图；

图13为图1中将有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配的方法流程图；

图14为图13中将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合的方法流程图；

图15为一个实施例中按照关联的图像信息进行有效目标图像的推荐的方法流程图；

图16为一个实施例中实现图像处理的方法运行的计算机系统的结构示意图；

图17为一个实施例中实现图像处理的系统的结构示意图；

图18为图17中有效图像获取装置的结构示意图；

图19为图18中人脸检测模块的结构示意图；

图20为另一个实施例中实现图像处理的系统的结构示意图；

图21为图20中聚类计算装置的结构示意图；

图22为一个实施例中推荐装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例提供的一种服务器结构示意图。该服务器100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)122(例如，一个或一个以上处理器)和存储器132，一个或一个以上存储应用程序142或数据144的存储介质130(例如一个或一个以上海量存储设备)。其中，存储器132和存储介质130可以是短暂存储或持久存储。存储在存储介质130的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器122可以设置为与存储介质130通信，在服务器100上执行存储介质130中的一系列指令操作。服务器100还可以包括一个或一个以上电源126，一个或一个以上有线或无线网络接口150，一个或一个以上输入输出接口158，和/或，一个或一个以上操作系统141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在一个实施例中，如图2所示，一种实现图像处理的方法，包括如下步骤：

步骤210，获取具有人脸区域的有效目标图像。

本实施例中，有效目标图像是具有人脸区域且成像质量较高的图像，例如，具有人脸区域且不存在着图像模糊等问题的图像。

步骤230，提取有效目标图像的人脸特征。

本实施例中，对有效目标图像中包含的人脸区域进行特征提取，以得到有效目标图像中人脸区域所对应的特征，其中，所提取得到的人脸特征可以为Gabor特征(伽柏特征)，也可以是其它形式的特征，在此不一一进行限定。

进一步的，由有效目标图像提取得到的人脸特征为Gabor特征，则将有效目标图像进行尺度和光照归一化，得到归一化的有效目标图像，将归一化的有效目标图像与多个尺度多个方向的Gabor滤波器进行卷积运算得到特征系数。

此时，将对得到的特征系数进行降维，例如，可采用主成分分析法将高维的特征系数降维至6400维，以得到该有效目标图像对应的人脸特征。

在实际的运营过程中，将有效目标图像的宽与高统一为80×80，像素值均值归一为0，像素值方差归一到1，然后将归一化的有效目标图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80×80×5×8的特征。

步骤250，将有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配。

本实施例中，预先存储了已标注相应图像信息的参考图像，该参考图像所标注的图像信息可以是人工标注的，也可以是预先通过本发明的方式所得到的，为有效目标图像中人脸所对应的图像信息提供已知人脸。其中，该图像信息将包括了用户标识、用户昵称等信息，根据标注的图像信息即可获知参考图像所属的用户。

获取标注了图像信息的参考图像，将获取的参考图像与有效目标图像进行匹配，以根据人脸特征判断参考图像与有效目标图像是否相似，若为是，则有效目标图像未能得到对应的图像信息。

具体的，将获取的参考图像中的已知人脸与有效目标图像中的人脸进行匹配，以得到参考图像中与有效目标图像的人脸相似的已知人脸。

步骤270，将匹配的有效目标图像关联至参考图像的图像信息。

本实施例中，根据与有效目标图像匹配的参考图像得到图像信息，进而将该有效目标图像关联至所得到的图像信息。

通过如上所述的方式，将使得批量的有效目标图像也能通过特征提取和匹配来准确的与相应的图像信息进行关联，大为提高了处理效率，实现准确快速的批量图像处理。

如图3所示，在一个实施例中，上述步骤210包括：

步骤211，对目标图像进行人脸检测得到具有人脸区域的目标图像。

本实施例中，目标图像是通过一定方式输入的，其中，目标图像可以是用户通过一定的页面上传至后台的服务器，此时，后台的服务器将获取得到用户所上传的目标图像。

具体的，将使用若干台服务器搭建分布式计算集群，以将多张目标图像分发到不同服务器同时进行，以提高响应速度。在实际运营过程中，服务器的数量为100台，所搭建的分布式计算集群将得以同时处理数百张目标图像。

由于目标图像中可能包含了一个或者多个人脸，但也有可能并不包含人脸，因此，将对目标图像进行人脸检测，以判定得到目标图像中具有人脸区域的目标图像。

步骤213，过滤具有人脸区域的目标图像得到有效目标图像。

本实施例中，成像质量不高的目标图像将存在着图像模糊等问题，因此，需要对人脸检测所得到的具有人脸区域的目标图像进行过滤，通过过滤所得到的具有人脸区域的目标图像即为有效目标图像。

在一个实施例中，上述步骤213的具体过程为：获取具有人脸区域的目标图像中人脸区域所对应的参数，根据该参数判断人脸区域是否模糊，若为是，则剔除目标图像，若为否，则将目标图像置为有效目标图像。

其中，具有人脸区域的目标图像中余下的目标图像即为有效人脸图像。

本实施例中，用于判别人脸区域是否的参数可以是清晰度和/或人脸尺寸。具体的，可根据目标图像中人脸区域得到清晰度，该清晰度是通过计算目标图像中人脸区域的梯度绝对值的平均值与灰度范围之间的比值。人脸尺寸则是人脸检测所得到的人脸区域的面积，即总的像素个数。

对于人脸区域的清晰度而言，将判断清晰度是否小于设定的清晰度阈值，若为是，则代表人脸区域过于模糊，将其过滤，若为否，则将其判定为有效目标图像。人脸尺寸也将通过如上所述方式进行人脸区域是否模糊的判别。

随着目标图像的过滤，具有人脸区域的目标图像中余下的目标图像即为有效目标图像。

如图4所示，在一个实施例中，上述步骤211包括：

步骤2111，对目标图像进行分类特征的提取，并将分类特征图集级联强分类器以得到具有人脸区域的目标图像以及目标图像中的人脸参数。

本实施例中，由目标图像提取得到的分类特征可为haar特征(矩形特征)，进而可由提取得到的haar特征和自适应boosting分类方法进行人脸检测，以得到输入的目标图像中具有人脸区域的目标图像以及该目标图像中的人脸参数，其中，人脸参数包括了目标图像中的人脸位置和人脸尺寸。

在优选的实施例中，为方便后续处理，将按照人脸尺寸对具有人脸区域的目标图像按照从大到小的顺序进行排序。

步骤2113，获取预置的样本图像，根据人脸参数将目标图像与样本图像中的人脸形状匹配，得到初始的人脸区域以及具有初始的人脸区域的目标图像。

本实施例中，预先设置样本图像，其中，样本图像中标注了人脸所存在的若干个关键点，关键点的分布将表征了样本图像中人脸的五官分布。

由于样本图像中的人脸形状与目标图像中的人脸区域分别处于不同的坐标系中，因此，需要根据定位得到的人脸参数对样本图像进行调整，以使得调整后样本图像中的人脸形状所在的坐标系与目标图像的坐标系对齐，并且调整后的人脸形状与目标图像中的人脸匹配度达到最佳，也就是说，人脸形状上各个关键点的坐标与人脸区域的坐标之间的误差总和最小，由此即可确定目标图像中初始的人脸区域。

进一步的，预先设置多张不同年龄、不同性别和不同姿态的人脸图像作为训练图像，在训练图像中，将预先对其进行关键点标注，标注的脸部对象将包括了眉毛、眼睛、鼻子、嘴巴和人脸轮廓。

例如，训练图像如图5所示，其上将标注了88个关键点，标注时将精确到像素，所采用的标注准则分别如图6至图12所示。

对于每一训练图像，首先对其88个关键点所形成的形状进行PCA(PrincipalComponent Analysis,主成分分析)建模得到平均形状和特征值矩阵Λ的特征向量U，然后依次对88个关键点的纹理信息进行建模。

其中，在88个关键点中，对于任一关键点q，将按照特定方向提取以关键点q为中心，逐点采集7个像素点形成线段，将该线段上7个像素点的灰度值作为该关键点q的纹理特征v_q。

通过如上所述的方式计算得到每一关键点所对应的纹理特征，进而得到训练图像中纹理特征所对应的均值以及对应的协方差矩阵的逆矩阵M。

对若干个训练图像进行K均值聚类，以将聚类所得到的均值作为脸部对象的模板，即样本图像。

得到了样本图像之后，将根据目标图像中的人脸参数对样本图像中的平均形状进行调整，该平均形状即为样本图像中的人脸形状，该调整将包括了人脸形状的缩放、旋转和平移，以使得调整后的人脸形状的坐标系与目标图像的坐标系对齐，并且该调整后的人脸形状与目标图像中的人脸匹配程度最佳，以得到初始的人脸区域s^t。

在一个实施例中，上述步骤2111的具体过程为：对目标图像进行多尺度空间搜索得到每一搜索窗口的特征，将每一搜索窗口的特征输入级联强分类器，以根据级联强分类器的判别结果得到具有人脸区域的目标图像。

本实施例中，对输入的目标图像以不同大小和位置的窗口进行多尺度空间搜索，以得到每一搜索窗口的特征。

预先通过一定的样本形成级联级强分类器，以通过级联强分类器根据输入的每一搜索窗口的特征判断目标图像是否具有人脸区域，若为是，则判定该目标图像即为具有人脸区域的目标图像，并输出目标图像中的人脸参数，即人脸位置和人脸尺寸。

进一步的，为得到级联强分类器，将采集预定数目的人脸图像和非人脸图像作为正负样本，分别提取样本中的特征，通过自适应boosting分类器挑选最佳的特征及相应的阈值和权重，以得到级联强分类器。

步骤2115，对具有人脸区域的目标图像中初始的人脸区域进行形状优化得到优化的人脸区域以及具有人脸区域的目标图像。

本实施例中，在具有人脸区域的目标图像中，对初始的人脸区域进行迭代优化，以更新目标图像中关键点位置，得到优化的人脸区域。

初始的人脸区域所进行的迭代优化过程具体包括：

(1)对初始的人脸区域中的每一个关键点P，以关键点P为中心，沿特定方向逐点采集15个像素点形成线段，对于线段上的任一点r，将按照线段方向提取以点r为中心，由7个像素点组成的子线段，将子线段上7个像素点的灰度值作为点r的纹理特征v_r。

(2)对于15个像素点中的每一点r，按照公式计算与关键点P对应的训练模型{M}之间的距离，在点r中选取距离最小的对应的点r^*作为新的关键点p，通过如此过程对所有关键点依次更新，以得到新的形状s^*。

(3)在新的形状s^*中，对于特征向量U中每一个特征向量u_i以及该特征向量对应的特征值λ_i，以每一个特征向量之间的内积作为投影系数ω_i，将投影系数ω_i限定于范围之内，即当ω_i小于时直接设置ω_i为当ω_i大于时直接设置ω_i为然后按照公式进行PCA重建得到形状s^t+1。

(4)对s^t+1重复进行上所述迭代优化，直至s^t+1的变化小于预定阈值，以得到优化的人脸区域。

通过如上所述的方式实现人脸区域的优化，有效地保证了所得到的人脸区域的精确性。

如图13所示，在一个实施例中，上述步骤250包括：

步骤251，将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合。

本实施例中，未匹配的有效目标图像通常为多个，因此，将对多个未匹配的有效目标图像进行聚类得到聚类计算结果集合，其中，所得到的聚类计算结果集合将包含了若干个由有效目标图像形成的集合，即最终人脸归类集合，每一集合所包含的有效目标图像中存在的人脸将是相互匹配的。

步骤253，通过对聚类计算结果集合触发的标注操作得到聚类计算结果集合中每一最终人脸归类集合对应的图像信息，并将聚类计算结果集合关联至图像信息。

本实施例中，可获取得到人工触发的标注操作，该标注操作是对聚类计算结果集合中的最终人脸归类集合所进行的图像信息标注，通过标注操作使得最终人脸归类集合与一定的图像信息相关联。

具体的，将对聚类所得到的聚类计算结果集合进行显示，以便于用户或者后端的开发者得以对聚类计算结果集合中的最终人脸归类集合进行手动标注。

用于进行聚类计算结果集合显示的页面可以是虚拟社交网络页面，也可以是其它的一些页面，根据实际的应用场景进行灵活的设定。

如图14所示，在一个实施例中，上述步骤251包括：

步骤2511，对未匹配的有效目标图像进行两两计算，以得到两个有效目标图像之间的相似度和Rank-Order距离。

本实施例中，对未得到对应图像信息的有效目标图像所进行的两两计算是针对该有效目标图像中的人脸区域进行的。

对于Rank-Order距离，给定固定的相似度矩阵G，分别以人脸区域u、v作为查询将其余元素a₁,a₂,…,a_m和b₁,b₂,…,b_n进行相似度排序，得到排序R_u、R_v和位置函数N(u,a_k)，即：

R_u＝u,a₁,a₂,…,a_m,v

R_v＝v,b₁,b₂,…,b_n,u

N(u,a_k)＝q,ifb_q＝a_k

其中，q为一设定值。

为了表示u、v的邻居以及邻居之间的序关系所反映出的u、v相异度，u、v之间的Rank-Order距离定义为：

步骤2513，以相似度和Rank-Order距离作为合并条件，进行有效目标图像的合并以得到若干个初始人脸归类集合。

本实施例中，根据相似度和Rank-Order距离进行有效目标图像的合并，以将相似的有效目标图像归为一个初始人脸归类集合。

步骤2515，在初始人脸归类集合中根据人脸数目将初始人脸归类集合归为显著类或者非显著类。

本实施例中，获取初始人脸归类集合中的人脸数目，判断人脸数目是否大于显著阈值，若为是，则将这一初始人脸归类集合归为显著类，若为否，则将这一初始人脸归类集合归为非显著类。

步骤2517，计算显著类和非显著类之间的匹配程度，并根据匹配程度归并显著类和非显著类得到聚类计算结果集合。

本实施例中，显著类和非显著类之间匹配程度将通过Hausdoff距离的计算实现。

具体的，Hausdoff距离将度量两个集合，即任一显著类A和任一非显著类B之间的最大不匹配程度，设a_k∈A，b_k∈B，则

其中，i和j是指从所有可能的数值中，选择满足条件最好的一个。

判断计算得到的Hausdoff距离(豪斯多夫距离)是否小于匹配阈值，若为是，则将显著类A和非显著类B归并为一个集合中，以得到最终人脸归类集合，进而通过如上所述的过程得到若干个最终人脸归类集合，这些最终人脸归类集合便形成了聚类计算结果集合。

在另一个实施例中，如上所述的方法还包括了按照关联的图像信息进行有效目标图像的推荐的步骤。

本实施例中，将根据有效目标图像所关联的图像信息，将这一有效目标图像进行推荐，以使得相应的用户通过一定的页面即可查看得到推荐的有效目标图像，大为提高了图像推荐的方便性和准确性。

通过如上所述的图像推荐方式，将使得批量的目标图像也能够通过人脸检测、过滤、特征提取和相似性处理来准确地向相应的用户进行推荐，大为提高了处理效率，实现准确快速的批量图像推荐处理。

在另一个实施例中，上述步骤210之前，如上所述的方法还包括了通过虚拟社交网络页面上传目标图像的步骤。

如图15所示，上述按照关联的图像信息进行有效目标图像的推荐的步骤包括：

步骤1501，由图像信息提取得到用户标识。

步骤1503，按照用户标识推送有效目标图像，以将有效目标图像显示于用户标识所在的虚拟社交网络页面。

本实施例中，按照有效目标图像关联的图像信息中记录的用户标识，将有效目标图像推送至该用户标识所在的虚拟社交网页页面中，以实现图像推荐的实时响应。

通过如上所述的方法，将得以实现海量目标图像的快速处理，并且准确地识别出目标图像中人脸所对应的用户，以准确地将目标图像推荐给相应的用户，获得了优异的准确性。

在一个实施例中，如上所述的实现图像处理的方法，该方法所运行的计算机系统也可如图16所示，该计算机系统包括虚拟社交网络应用10和服务器30。

其中，虚拟社交网络应用10将以浏览器加载的网页页面的形式或者客户端的形式运行于用户所使用的个人电脑、笔记本电脑、平板电脑或者智能手机等终端设备中。服务器30与虚拟社交网络应用进行交互。

需要说明的是，上述实现图像推荐的方法在该计算机系统上运行时，用户将通过虚拟社交网络页面进行目标图像的上传，而并不需要在上传于虚拟社交网络页面的目标图像中一一指定进行图像推荐的目标用户，将在服务器30的作用下识别得到目标图像所对应的目标用户，该目标用户即为目标图像中人脸所对应的用户，进而将上传于虚拟社交网络页面的目标图像推送至目标用户所在的虚拟社交网络页面中，以供目标用户浏览，从而实现了快速准确的图像推荐，有利于快速进行批量的图像推荐。

如图17所示，在一个实施例中，一种实现图像处理的系统，包括有效图像获取装置1710、提取装置1730、匹配装置1750和关联装置1770。

有效图像获取装置1710，用于获取具有人脸区域的有效目标图像。

本实施例中，有效目标图像是具有人脸区域且成像质量较高的图像，例如，具有人脸区域且不存在着图像模糊等问题的图像。

提取装置1730，用于提取有效目标图像的人脸特征。

本实施例中，提取装置1730对有效目标图像中包含的人脸区域进行特征提取，以得到有效目标图像中人脸区域所对应的特征，其中，提取装置1730所提取得到的人脸特征可以为Gabor特征(伽柏特征)，也可以是其它形式的特征，在此不一一进行限定。

进一步的，提取装置1730由有效目标图像提取得到的人脸特征为Gabor特征，则将有效目标图像进行尺度和光照归一化，得到归一化的有效目标图像，将归一化的有效目标图像与多个尺度多个方向的Gabor滤波器进行卷积运算得到特征系数。

此时，将对得到的特征系数进行降维，例如，可采用主成分分析法将高维的特征系数降维至6400维，以得到该有效目标图像对应的人脸特征。

在实际的运营过程中，将有效目标图像的宽与高统一为80×80，像素值均值归一为0，像素值方差归一到1，然后将归一化的有效目标图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80×80×5×8的特征。

匹配装置1750，用于将有效目标图像中的人脸特征与预置的参考图像的人脸特征进行匹配。

本实施例中，预先存储了已标注相应图像信息的参考图像，该参考图像所标注的图像信息可以是人工标注的，也可以是预先通过本发明的方式所得到的，为有效目标图像中人脸所对应的图像信息提供已知人脸。其中，该图像信息将包括了用户标识、用户昵称等信息，根据标注的图像信息即可获知参考图像所属的用户。

匹配装置1750获取标注了图像信息的参考图像，将获取的参考图像与有效目标图像进行匹配，以根据人脸特征判断参考图像与有效目标图像是否相似，若为是，则有效目标图像未能得到对应的图像信息。

具体的，匹配装置1750将获取的参考图像中的已知人脸与有效目标图像中的人脸进行匹配，以得到参考图像中与有效目标图像的人脸相似的已知人脸。

关联装置1770，用于将匹配的有效目标图像关联至参考图像的图像信息。

本实施例中，关联装置1770根据与有效目标图像匹配的参考图像得到图像信息，进而将该有效目标图像关联至所得到的图像信息。

通过如上所述的方式，将使得批量的有效目标图像也能通过特征提取和匹配来准确的与相应的图像信息进行关联，大为提高了处理效率，实现准确快速的批量图像处理。

如图18所示，在一个实施例中，上述有效图像获取装置1710包括人脸检测模块1711和过滤模块1713。

人脸检测模块1711，用于对目标图像进行人脸检测得到具有人脸区域的目标图像。

本实施例中，目标图像是通过一定方式输入的，其中，目标图像可以是用户通过一定的页面上传至后台的服务器，此时，后台的服务器将获取得到用户所上传的目标图像。

具体的，将使用若干台服务器搭建分布式计算集群，以将多张目标图像分发到不同服务器同时进行，以提高响应速度。在实际运营过程中，服务器的数量为100台，所搭建的分布式计算集群将得以同时处理数百张目标图像。

由于目标图像中可能包含了一个或者多个人脸，但也有可能并不包含人脸，因此，人脸检测模块1711将对目标图像进行人脸检测，以判定得到目标图像中具有人脸区域的目标图像。

过滤模块713，用于过滤具有人脸区域的目标图像得到有效目标图像。

本实施例中，成像质量不高的目标图像将存在着图像模糊等问题，因此，需要过滤模块1713对人脸检测所得到的具有人脸区域的目标图像进行过滤，通过过滤所得到的具有人脸区域的目标图像即为有效目标图像。

在一个实施例中，过滤模块1713还用于获取具有人脸区域的目标图像中人脸区域所对应的参数，根据该参数判断人脸区域是否模糊，若为是，则剔除目标图像，若为否，则将目标图像置为有效目标图像。

其中，具有人脸区域的目标图像中余下的目标图像即为有效人脸图像。

本实施例中，过滤模块1713用于判别人脸区域是否的参数可以是清晰度和/或人脸尺寸。具体的，过滤模块1713可根据目标图像中人脸区域得到清晰度，该清晰度是通过计算目标图像中人脸区域的梯度绝对值的平均值与灰度范围之间的比值。人脸尺寸则是人脸检测所得到的人脸区域的面积，即总的像素个数。

对于人脸区域的清晰度而言，过滤模块1713将判断清晰度是否小于设定的清晰度阈值，若为是，则代表人脸区域过于模糊，将其过滤，若为否，则将其判定为有效目标图像。人脸尺寸也将通过如上所述方式进行人脸区域是否模糊的判别。

随着目标图像的过滤，具有人脸区域的目标图像中余下的目标图像即为有效目标图像。

如图19所示，如上所述的人脸检测模块1711包括特征分类单元17111、样本匹配单元17113和形状优化单元17115。

特征分类单元17111，用于对目标图像进行分类特征的提取，并将分类特征输入级联强分类器以得到具有人脸区域的目标图像以及目标图像中的人脸参数。

本实施例中，特征分类单元17111由目标图像提取得到的分类特征可为haar特征(矩形特征)，进而可由提取得到的haar特征和自适应boosting分类方法进行人脸检测，以得到输入的目标图像中具有人脸区域的目标图像以及该目标图像中的人脸参数，其中，人脸参数包括了目标图像中的人脸位置和人脸尺寸。

在优选的实施例中，为方便后续处理，特征分类单元17111将按照人脸尺寸对具有人脸区域的目标图像按照从大到小的顺序进行排序。

样本匹配单元17113，用于获取预置的样本图像，根据人脸参数将目标图像与样本图像中的人脸形状匹配，得到初始的人脸区域以及具有初始的人脸区域的目标图像。

本实施例中，预先设置样本图像，其中，样本图像中标注了人脸所存在的若干个关键点，关键点的分布将表征了样本图像中人脸的五官分布。

由于样本图像中的人脸形状与目标图像中的人脸区域分别处于不同的坐标系中，因此，需要根据定位得到的人脸参数对样本图像进行调整，以使得调整后样本图像中的人脸形状所在的坐标系与目标图像的坐标系对齐，并且调整后的人脸形状与目标图像中的人脸匹配度达到最佳，也就是说，人脸形状上各个关键点的坐标与人脸区域的坐标之间的误差总和最小，由此即可确定目标图像中初始的人脸区域。

进一步的，预先设置多张不同年龄、不同性别和不同姿态的人脸图像作为训练图像，在训练图像中，将预先对其进行关键点标注，标注的脸部对象将包括了眉毛、眼睛、鼻子、嘴巴和人脸轮廓。

例如，训练图像如图5所示，其上将标注了88个关键点，标注时将精确到像素，所采用的标注准则分别如图6至图12所示。

对于每一训练图像，首先对其88个关键点所形成的形状进行PCA(PrincipalComponent Analysis,主成分分析)建模得到平均形状和特征值矩阵Λ的特征向量U，然后依次对88个关键点的纹理信息进行建模。

其中，在88个关键点中，对于任一关键点q，将按照特定方向提取以关键点q为中心，逐点采集7个像素点形成线段，将该线段上7个像素点的灰度值作为该关键点q的纹理特征v_q。

通过如上所述的方式计算得到每一关键点所对应的纹理特征，进而得到训练图像中纹理特征所对应的均值以及对应的协方差矩阵的逆矩阵M。

对若干个训练图像进行K均值聚类，以将聚类所得到的均值作为脸部对象的模板，即样本图像。

得到了样本图像之后，样本匹配单元17113将根据目标图像中的人脸参数对样本图像中的平均形状进行调整，该平均形状即为样本图像中的人脸形状，该调整将包括了人脸形状的缩放、旋转和平移，以使得调整后的人脸形状的坐标系与目标图像的坐标系对齐，并且该调整后的人脸形状与目标图像中的人脸匹配程度最佳，以得到初始的人脸区域s^t。

在一个实施例中，上述样本匹配单元17113还用于对目标图像进行多尺度空间搜索得到每一搜索窗口的特征，将每一搜索窗口的特征输入级联强分类器，以根据级联强分类器的判别结果得到具有人脸区域的目标图像。

本实施例中，样本匹配单元17113对输入的目标图像以不同大小和位置的窗口进行多尺度空间搜索，以得到每一搜索窗口的特征。

预先通过一定的样本形成级联级强分类器，样本匹配单元17113通过级联强分类器根据输入的每一搜索窗口的特征判断目标图像是否具有人脸区域，若为是，则判定该目标图像即为具有人脸区域的目标图像，并输出目标图像中的人脸参数，即人脸位置和人脸尺寸。

进一步的，为得到级联强分类器，将采集预定数目的人脸图像和非人脸图像作为正负样本，分别提取样本中的特征，通过自适应boosting分类器挑选最佳的特征及相应的阈值和权重，以得到级联强分类器。

形状优化单元17115，用于对具有人脸区域的目标图像中初始的人脸区域进行形状优化得到优化的人脸区域以及具有人脸区域的目标图像。

本实施例中，在具有人脸区域的目标图像中，形状优化单元17115对初始的人脸区域进行迭代优化，以更新目标图像中关键点位置，得到优化的人脸区域。

初始的人脸区域所进行的迭代优化过程具体包括：

(1)对初始的人脸区域中的每一个关键点P，以关键点P为中心，沿特定方向逐点采集15个像素点形成线段，对于线段上的任一点r，将按照线段方向提取以点r为中心，由7个像素点组成的子线段，将子线段上7个像素点的灰度值作为点r的纹理特征v_r。

(2)对于15个像素点中的每一点r，按照公式计算与关键点P对应的训练模型{M}之间的距离，在点r中选取距离最小的对应的点r^*作为新的关键点p，通过如此过程对所有关键点依次更新，以得到新的形状s^*。

(3)在新的形状s^*中，对于特征向量U中每一个特征向量u_i以及该特征向量对应的特征值λ_i，以每一个特征向量之间的内积作为投影系数ω_i，将投影系数ω_i限定于范围之内，即当ω_i小于时直接设置ω_i为当ω_i大于时直接设置ω_i为然后按照公式进行PCA重建得到形状s^t+1。

(4)对s^t+1重复进行上所述迭代优化，直至s^t+1的变化小于预定阈值，以得到优化的人脸区域。

通过如上所述的方式实现人脸区域的优化，有效地保证了所得到的人脸区域的精确性。

如图20所示，在一个实施例中，如上所述的系统还包括了聚类计算装置2010和标注装置2030。

聚类计算装置2010，用于将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合。

本实施例中，未匹配的有效目标图像通常为多个，因此，聚类计算装置2010将对多个未匹配的有效目标图像进行聚类得到聚类计算结果集合，其中，所得到的聚类计算结果集合将包含了若干个由有效目标图像形成的集合，即最终人脸归类集合，每一集合所包含的有效目标图像中存在的人脸将是相互匹配的。

标注装置2030，用于通过对聚类计算结果集合触发的标注操作得到聚类计算结果集合中每一最终人脸归类集合对应的图像信息，并将聚类计算结果集合关联至图像信息。

本实施例中，标注装置2030可获取得到人工触发的标注操作，该标注操作是对聚类计算结果集合中的最终人脸归类集合所进行的图像信息标注，通过标注操作使得最终人脸归类集合与一定的图像信息相关联。

具体的，标注装置2030将对聚类所得到的聚类计算结果集合进行显示，以便于用户或者后端的开发者得以对聚类计算结果集合中的最终人脸归类集合进行手动标注。

用于进行聚类计算结果集合显示的页面可以是虚拟社交网络页面，也可以是其它的一些页面，根据实际的应用场景进行灵活的设定。

如图21所示，在一个实施例中，上述聚类计算装置2010包括两两计算模块2011、合并模块2013、归类模块2015和归并模块2017。

两两计算模块2011，用于对未匹配的有效目标图像进行两两计算，以得到两个有效目标图像之间的相似度和Rank-Order距离。

本实施例中，两两计算模块2011对未得到对应图像信息的有效目标图像所进行的两两计算是针对该有效目标图像中的人脸区域进行的。

对于Rank-Order距离，给定固定的相似度矩阵G，分别以人脸区域u、v作为查询将其余元素a₁,a₂,…,a_m和b₁,b₂,…,b_n进行相似度排序，得到排序R_u、R_v和位置函数N(u,a_k)，即：

R_u＝u,a₁,a₂,…,a_m,v

R_v＝v,b₁,b₂,…,b_n,u

N(u,a_k)＝q,ifb_q＝a_k

其中，q为一设定值。

为了表示u、v的邻居以及邻居之间的序关系所反映出的u、v相异度，u、v之间的Rank-Order距离定义为：

合并模块2013，用于以相似度和Rank-Order距离作为合并条件，进行有效目标图像的合并以得到若干个初始人脸归类集合。

本实施例中，合并模块2013根据相似度和Rank-Order距离进行有效目标图像的合并，以将相似的有效目标图像归为一个初始人脸归类集合。

归类模块2015，用于在初始人脸归类集合中根据人脸数目将初始人脸归类集合归为显著类或者非显著类。

本实施例中，归类模块2015获取初始人脸归类集合中的人脸数目，判断人脸数目是否大于显著阈值，若为是，则将这一初始人脸归类集合归为显著类，若为否，则将这一初始人脸归类集合归为非显著类。

归并模块2017，用于计算显著类和非显著类之间的匹配程度，并根据匹配程度归并显著类和非显著类得到聚类计算结果集合。

本实施例中，显著类和非显著类之间匹配程度将通过Hausdoff距离的计算实现。

具体的，Hausdoff距离将度量两个集合，即任一显著类A和任一非显著类B之间的最大不匹配程度，设a_k∈A，b_k∈B，则

其中，i和j是指从所有可能的数值中，选择满足条件最好的一个。

归并模块2017判断计算得到的Hausdoff距离(豪斯多夫距离)是否小于匹配阈值，若为是，则将显著类A和非显著类B归并为一个集合中，以得到最终人脸归类集合，进而通过如上所述的过程得到若干个最终人脸归类集合，这些最终人脸归类集合便形成了聚类计算结果集合。

在另一个实施例中，如上所述的系统还包括了推荐装置。该推荐装置用于按照关联的图像信息进行有效目标图像的推荐。

本实施例中，推荐装置将根据有效目标图像所关联的图像信息，将这一有效目标图像进行推荐，以使得相应的用户通过一定的页面即可查看得到推荐的有效目标图像，大为提高了图像推荐的方便性和准确性。

通过如上所述的图像推荐方式，将使得批量的目标图像也能够通过人脸检测、过滤、特征提取和相似性处理来准确地向相应的用户进行推荐，大为提高了处理效率，实现准确快速的批量图像推荐处理。

在另一个实施例中，如上所述的系统还包括了上传装置，用于通过虚拟社交网络页面上传目标图像。

如图22所示，在一个实施例中，如上所述的推荐装置包括了标识提取模块2201和推送模块2203。

标识提取模块2201，用于由图像信息提取得到用户标识。

推送模块2203，用于按照用户标识推送有效目标图像，以将有效目标图像显示于用户标识所在的虚拟社交网络页面。

本实施例中，推送模块2203按照有效目标图像关联的图像信息中记录的用户标识，将有效目标图像推送至该用户标识所在的虚拟社交网页页面中，以实现图像推荐的实时响应。

通过如上所述的系统，将得以实现海量目标图像的快速处理，并且准确地识别出目标图像中人脸所对应的用户，以准确地将目标图像推荐给相应的用户，获得了优异的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种实现图像处理的方法，包括如下步骤：

获取具有人脸区域的有效目标图像；

提取有效目标图像的人脸特征；

将所述有效目标图像的人脸特征与预置的参考图像的人脸特征进行匹配；

将匹配的有效目标图像关联至参考图像的图像信息；

将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合；

通过对所述聚类计算结果集合触发的标注操作得到所述聚类计算结果集合中每一最终人脸归类集合对应的图像信息，并将所述聚类计算结果集合关联至所述图像信息。

2.根据权利要求1所述的方法，其特征在于，所述获取具有人脸区域的有效目标图像的步骤包括：

对目标图像进行人脸检测得到具有人脸区域的目标图像；

过滤所述具有人脸区域的目标图像得到有效目标图像。

3.根据权利要求2所述的方法，其特征在于，所述对目标图像进行人脸检测得到具有人脸区域的目标图像的步骤包括：

对所述目标图像进行分类特征的提取，并将所述分类特征输入级联强分类器以得到具有人脸区域的目标图像以及所述目标图像中的人脸参数；

获取预置的样本图像，根据所述人脸参数将所述目标图像与所述样本图像中的人脸形状匹配，得到初始的人脸区域以及具有初始的人脸区域的目标图像；

对所述具有人脸区域的目标图像中初始的人脸区域进行形状优化得到优化的人脸区域以及具有人脸区域的目标图像。

4.根据权利要求2所述的方法，其特征在于，所述过滤所述具有人脸区域的目标图像得到有效目标图像的步骤包括：

获取所述具有人脸区域的目标图像中人脸区域所对应的参数，根据所述参数判断所述人脸区域是否模糊，若为是，则剔除所述目标图像；

所述具有人脸区域的目标图像中余下的目标图像即为有效人脸图像。

5.根据权利要求1所述的方法，其特征在于，所述将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合的步骤包括：

对未匹配的有效目标图像进行两两计算，以得到两个有效目标图像之间的相似度和Rank-Order距离；

以所述相似度和Rank-Order距离作为合并条件，进行所述有效目标图像的合并以得到若干个初始人脸归类集合；

在所述初始人脸归类集合中根据人脸数目将所述初始人脸归类集合归为显著类或者非显著类；

计算所述显著类和非显著类之间的匹配程度，并根据所述匹配程度归并所述显著类和非显著类得到聚类计算结果集合。

6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

按照所述关联的图像信息进行所述有效目标图像的推荐。

7.根据权利要求6所述的方法，其特征在于，所述获取具有人脸区域的有效目标图像的步骤之前，所述方法还包括：

通过虚拟社交网络页面上传目标图像。

8.根据权利要求7所述的方法，其特征在于，所述按照所述关联的图像信息进行所述有效目标图像的推荐的步骤包括：

由所述图像信息提取得到用户标识；

按照所述用户标识推送所述有效目标图像，以将所述有效目标图像显示于所述用户标识所在的虚拟社交网络页面。

9.一种实现图像处理的系统，其特征在于，包括：

有效图像获取装置，用于获取具有人脸区域的有效目标图像；

提取装置，用于提取有效目标图像的人脸特征；

匹配装置，用于将所述有效目标图像中的人脸特征与预置的参考图像的人脸特征进行匹配；

关联装置，用于将匹配的有效目标图像关联至参考图像的图像信息；

聚类计算装置，用于将未匹配的有效目标图像进行聚类，以得到聚类计算结果集合；

标注装置，用于通过对所述聚类计算结果集合触发的标注操作得到所述聚类计算结果集合中每一最终人脸归类集合对应的图像信息，并将所述聚类计算结果集合关联至所述图像信息。

10.根据权利要求9所述的系统，其特征在于，所述有效图像获取装置包括：

人脸检测模块，用于对目标图像进行人脸检测得到具有人脸区域的目标图像；

过滤模块，用于过滤所述具有人脸区域的目标图像得到有效目标图像。

11.根据权利要求10所述的系统，其特征在于，所述人脸检测模块包括：

特征分类单元，用于对所述目标图像进行分类特征的提取，并将所述分类特征输入级联强分类器以得到具有人脸区域的目标图像以及所述目标图像中的人脸参数；

样本匹配单元，用于获取预置的样本图像，根据所述人脸参数将所述目标图像与所述样本图像中的人脸形状匹配，得到初始的人脸区域以及具有初始的人脸区域的目标图像；

形状优化单元，用于对所述具有人脸区域的目标图像中初始的人脸区域进行形状优化得到优化的人脸区域以及具有人脸区域的目标图像。

12.根据权利要求10所述的系统，其特征在于，所述过滤模块还用于获取所述具有人脸区域的目标图像中人脸区域所对应的参数，根据所述参数判断所述人脸区域是否模糊，若为是，则剔除所述目标图像；

所述具有人脸区域的目标图像中余下的目标图像即为有效人脸图像。

13.根据权利要求9所述的系统，其特征在于，所述聚类计算装置包括：

两两计算模块，用于对未匹配的有效目标图像进行两两计算，以得到两个有效目标图像之间的相似度和Rank-Order距离；

合并模块，用于以所述相似度和Rank-Order距离作为合并条件，进行所述有效目标图像的合并以得到若干个初始人脸归类集合；

归类模块，用于在所述初始人脸归类集合中根据人脸数目将所述初始人脸归类集合归为显著类或者非显著类；

归并模块，用于计算所述显著类和非显著类之间的匹配程度，并根据所述匹配程度归并所述显著类和非显著类得到聚类计算结果集合。

14.根据权利要求9或10所述的系统，其特征在于，所述系统还包括：

推荐装置，用于按照所述关联的图像信息进行所述有效目标图像的推荐。

15.根据权利要求14所述的系统，其特征在于，所述系统还包括：

上传装置，用于通过虚拟社交网络页面上传目标图像。

16.根据权利要求15所述的系统，其特征在于，所述推荐装置包括：

标识提取模块，用于由所述图像信息提取得到用户标识；

推送模块，用于按照所述用户标识推送所述有效目标图像，以将所述有效目标图像显示于所述用户标识所在的虚拟社交网络页面。