[go: up one dir, main page]

CN106874826A - 人脸关键点跟踪方法和装置 - Google Patents

人脸关键点跟踪方法和装置 Download PDF

Info

Publication number
CN106874826A
CN106874826A CN201510922450.0A CN201510922450A CN106874826A CN 106874826 A CN106874826 A CN 106874826A CN 201510922450 A CN201510922450 A CN 201510922450A CN 106874826 A CN106874826 A CN 106874826A
Authority
CN
China
Prior art keywords
key point
face
face key
field picture
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510922450.0A
Other languages
English (en)
Inventor
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510922450.0A priority Critical patent/CN106874826A/zh
Priority to PCT/CN2016/081631 priority patent/WO2017096753A1/zh
Publication of CN106874826A publication Critical patent/CN106874826A/zh
Priority to US15/715,398 priority patent/US10452893B2/en
Priority to US16/567,940 priority patent/US11062123B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人脸关键点跟踪方法和装置。所述方法包括：读取视频文件中一帧图像；检测所述一帧图像中人脸位置，获取人脸坐标框位置，并配置人脸关键点的初始位置；根据所述人脸关键点的初始位置获取人脸关键点坐标位置；读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。上述人脸关键点跟踪方法和装置，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。

Description

人脸关键点跟踪方法和装置
技术领域
本发明涉及图像处理领域，特别是涉及一种人脸关键点跟踪方法和装置。
背景技术
人脸跟踪是指在视频文件或视频流或图像序列中确定某个人脸的运动轨迹及大小变化的过程。人脸跟踪在图像分析和识别图像领域具有重大意义。人脸跟踪算法的鲁棒性和实时性是两个难以同时满足的指标，因为随着鲁棒性的提升，算法的复杂程度会大幅度增加，受限于有限的计算机处理能力，人脸跟踪的实时性必会降低。
在视频文件或视频流中为了实现人脸跟踪效果，需对每一帧做人脸检测和人脸关键点定位，如此人脸检测算法需要耗费大量时间，跟踪效率低。
发明内容
基于此，有必要针对传统的人脸关键点跟踪需要耗费大量时间，跟踪效率低的问题，提供一种人脸关键点跟踪方法，能节省时间，提高人脸跟踪效率。
此外，还有必要提供一种人脸关键点跟踪装置，能节省时间，提高人脸跟踪效率。
一种人脸关键点跟踪方法，包括：
读取视频文件中一帧图像；
检测所述一帧图像中人脸位置，获取人脸坐标框位置；
根据所述人脸坐标框位置配置人脸关键点的初始位置；
根据所述人脸关键点的初始位置获取人脸关键点坐标位置；
重复执行如下步骤：
读取视频文件中相邻下一帧图像；
将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；
根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
一种人脸关键点跟踪装置，包括：
读取模块，用于读取应用或视频文件中一帧图像；
检测模块，用于检测所述一帧图像中人脸位置，获取人脸坐标框位置；
配置模块，用于根据所述人脸坐标框位置配置人脸关键点的初始位置；
获取模块，用于根据所述人脸关键点的初始位置获取人脸关键点坐标位置；
重复执行如下过程：
所述读取模块还用于读取视频文件中相邻下一帧图像；
所述配置模块还用于将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；
所述获取模块还用于根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
上述人脸关键点跟踪方法和装置，通过人脸坐标框位置配置人脸关键点的初始位置，再根据人脸关键点的初始位置获取人脸关键点坐标位置，读取下一帧图像，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。
附图说明
图1为一个实施例中终端的内部结构示意图；
图2为一个实施例中人脸关键点跟踪方法的流程图；
图3为一个实施例中根据该人脸坐标框位置配置人脸关键点的初始位置的具体步骤流程图；
图4为一个实施例中将人脸关键点与人脸坐标框位置中心对齐的示意图；
图5为一个实施例中缩放人脸关键点的示意图；
图6为获取五官点坐标位置的示意图；
图7为一个实施例中人脸关键点跟踪装置的结构框图；
图8为另一个实施例中人脸关键点跟踪装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中终端的内部结构示意图。如图1所示，该终端包括通过系统总线连接的处理器、存储介质、内存和网络接口、图像采集装置、显示屏、扬声器和输入装置。其中，终端的存储介质存储有操作系统，还包括一种人脸关键点跟踪装置，该人脸关键点跟踪装置用于实现一种人脸关键点跟踪方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存为存储介质中的人脸关键点跟踪装置的运行提供环境，网络接口用于与服务器进行网络通信，如发送视频文件请求至服务器，接收服务器返回的视频文件等。终端的图像采集装置可采集外部图像，例如摄像头拍摄图像等。显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图2为一个实施例中人脸关键点跟踪方法的流程图。如图2所示，一种人脸关键点跟踪方法，可运行于图1中的终端上，包括：
步骤202，读取视频文件中一帧图像。
具体地，视频文件可为在线视频文件或下载在终端上的视频文件。在线视频文件可以一边播放，一边读取。下载在终端上的视频文件也可以一边播放，一边读取。
视频文件在播放时视频图像是一帧一帧的进行播放，可以抓取每一帧图像进行处理。首先，读取视频文件中的其中某一帧图像进行处理。该某一帧图像可为视频文件的第一帧图像，也可为其他帧图像。
步骤204，检测该一帧图像中人脸位置，获取人脸坐标框位置。
本实施例中，检测该一帧图像中人脸位置，获取人脸坐标框位置的步骤包括：利用人脸检测技术检测一帧图像中人脸位置，获取人脸坐标框位置。
具体地，人脸检测技术是输入包含人脸图的图像，可以检测出人脸的矩形坐标框位置。
人脸检测技术主要采用Robust Real-Time Face Detection(鲁棒实时人脸检测)。可通过Haar-Like特征与Adaboost算法实现人脸检测，在该方法中，采用Haar-Like特征表示人脸，对各Haar-Like特征进行训练得到弱分类器，通过Adaboost算法选择多个最能代表人脸的弱分类器构成强分类器，将若干个强分类器串联组成一个级联结构的层叠分类器，即人脸检测器。其中，每个Haar-Like特征考虑基准框与一个领域框的人脸图像信息。
也可采用多尺度块状局部二值模式(Multi-sale Block based Local BinaryPatterns，MBLBP)特征与Adaboost算法实现人脸检测。该方法中采用可表示基准框与8个领域框的人脸图像信息的MBLBP特征表示人脸，通过比较基准框的平均灰度与8个领域框各自的平均灰度计算MBLBP特征。
也可采用多尺度的结构化定序测量特征(Multi-scale Structured OrdinalFeatures，MSOF)与Adaboost算法实现人脸检测。该方法中采用可表示基准框与8个领域框的人脸图像信息的MSOF特征表示人脸，8个领域框相对于基准框的距离可调，且基准框与8个领域框可以不相连。
也可采用采集人脸和非人脸图像作为训练样本集，提取人脸和非人脸图像的弹性的块状局部二值模式(Flexible Block Based Local Binary Patterns，FBLBP)特征构成FBLBP特征集。利用FBLBP特征和GentleBoost算法进行训练，得到第一分类器，第一层分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得。第一分类器为强分类器，第二分类器为弱分类器。将弱分类器累加得到强分类器。将多层第一分类器级联成人脸检测器。采用人脸检测器检测第一帧图像或其他帧图像中的人脸位置，获取人脸坐标框位置。
人脸坐标框的坐标是以终端屏幕显示时左上角作为坐标原点，以横向为X轴和纵向为Y轴建立的坐标系，不限于此，也可采用其他自定义方式建立坐标系。
步骤206，根据该人脸坐标框位置配置人脸关键点的初始位置。
在一个实施例中，如图3所示，根据该人脸坐标框位置配置人脸关键点的初始位置包括：
步骤302，通过平移预存的人脸关键点，使该预存的人脸关键点和该人脸坐标框位置中心对齐。
具体地，预存的人脸关键点有中心，人脸坐标框位置也有中心，将预存的人脸关键点的中心与人脸坐标框位置中心重合在一起，即中心对齐。
步骤304，缩放该预存的人脸关键点，使该预存的人脸关键点尺寸与该人脸坐标框尺寸一致。
具体地，当预存的人脸关键点和人脸坐标框位置中心重合在一起后，通过缩放人脸关键点，使得人脸关键点尺寸与人脸坐标框尺寸一样。
通过平移和缩放人脸关键点，使得人脸关键点和人脸坐标框位置匹配，得到一帧图像的人脸关键点的初始位置，计算量小，操作简单。
步骤208，根据该人脸关键点的初始位置获取人脸关键点坐标位置。
本实施例中，根据该人脸关键点的初始位置获取人脸关键点坐标位置的步骤包括：利用人脸关键点定位技术根据该人脸关键点的初始位置获取人脸关键点坐标位置。
具体地，人脸关键点定位技术是指输入包含人脸图像、人脸关键点初始位置，得到人脸关键点坐标位置。人脸关键点坐标位置是指多个点的二位坐标值。
人脸关键点定位是在人脸检测基础上，进一步定位人脸的眼睛、眉毛、鼻子、嘴巴、轮廓等，主要是利用关键点附近的信息以及各个关键点之间的相互关系来定位。人脸关键点定位技术采用基于回归的算法，如Face Alignment byExplicit Shape Regression。Face Alignment by Explicit Shape Regression使用了一个两级的boosted regressor。使用了第一层10级，第二层500级。在这个二级结构中，第一级中每个节点都是500个弱分类器的级联，也就是一个第二层的regressor中。在第二层中regressor中，特征是保持不变的，在第一层中，特征是变化的。在第一层，每一个节点的输出都是上一个节点的输入。
fern作为原始regressor。fern是N个特征和阈值的组合，将训练样本划分为2的F次幂个bins。每一个bin对应一个输出yb，即
这里β是过拟合系数，|Ωb|是当前bin中样本总数。这样，最后的输出就是一个所有训练样本的线性组合。并采用shape index feature，就是根据关键点的位置和一个偏移量，取得该位置的像素值，然后计算两个这样的像素的差值，从而得到了形状索引特征。该方法中采用的是局部坐标而非全局坐标系，极大的增强了特征的鲁棒性。
此外，人脸关键点定位可包括(1)(2)(3)：
(1)使用训练的多个定位模型在输入的人脸图像上得到多个定位结果。每一个定位结果包括多个人脸关键点位置。人脸关键点位置包括眼睛、眉毛、鼻子、嘴巴、轮廓的位置。
假设采用K个定位模型A1～AK，这K个定位模型的集合被表示为A。将输入的人脸图像与K个定位模型对齐，用(x,y)表示像素在图像上的位置，从而得到的K个定位结果，分别表示为S1,S2,…,SK，每个定位结果S中具有L个人脸关键点位置，因此，S可表示为：S＝{x1,y1,x2,y2,…,xL,yL}。
可通过在训练集C(C1～CK)上训练得到定位模型A。每一个训练集CK具有大量人脸图像样本的集合，训练集CK中的每一张人脸图像样本Ii上标定了L个关键点位置，即Si＝{xi1,yi1,xi2,yi2,…,xiL,yiL}。
训练集C1～CK的人脸图像样本可根据表情、年龄、人种、身份等因素被分类为不同类型。如此，可以根据不同的类型来训练得到定位模型A。
在训练定位模型A时，首先统计训练集C中全部样本关键点位置的平均值S0，称为平均关键点位置。|C|表示训练集C中样本的数量，则可通过以下的公式来得到平均关键点位置S0：
公式(1)
对于训练集C中每一张人脸图像样本Ii，将平均关键点位置S0放置在图像中间，然后提取平均关键点位置S0的各个关键点位置的尺度不变特征变换(SIFT)特征，将提取的SIFT特征拼接成特征向量fi。这样，可以根据训练集C中的全部样本图片建立一个回归模型，使得
fi·A＝Si-S0 公式(2)
对于一张输入的需要定位的人脸图像，首先将平均关键点位置S0放置在该输入图像的中间，然后提取S0个关键点位置的SIFT特征拼接得到特征向量f。可通过以下等式得到包括K个定位结果的定位结果集合S。
S＝S0+f·A 公式(3)
通过上述方式，可从训练的多个定位模型得到关于输入图像的关键点位置的多个定位结果。
(2)对得到的多个定位结果进行评价，从中选择出最优的定位结果。
训练集C中的人脸图像样本Ii上标定了L个关键点的位置Si＝{xi1,yi1,xi2,yi2,…,xiL,yiL}。可针对每一个关键点训练一个Boost分类器，从而可得到L个分类器h1,h2,…hL。这L个分类器可形成评价模型E。
在训练分类器时，可使用训练集C的人脸图像中距离关键点位置较近的图像块(例如，图像块的中心位置与关键点位置的距离在第一预定距离以内)作为正样本，并使用距离关键点位置较远(例如，图像块的中心位置与关键点位置的距离超过第二预定距离)的图像块作为负样本来训练关键点分类器。
关键点定位结果Si进行评价时，将以各个关键点位置(xj，yj)为中心的预定大小的图像块分别输入到对应的关键点分类器hj，从而得到一个评分hj(xj，yj)。由此可得到全部关键点分类器针对此关键点定位结果的Sj评分，然后得到该定位结果的平均评分：
公式(4)
可以得到K个定位结果S1，S2，…，SK中的每个定位结果的评分，并从中选择最优的定位结果S*，即，评分最高的定位结果，作为最终的人脸关键点位置的定位结果。
(3)得到的最优定位结果S*的评分超过预定阈值T，则利用定位结果更新评价模型和/或定位模型。
具体地，在更新评价模型时，可将与定位结果S*对应的输入图像加入到训练集C中，利用定位结果S*的L个关键点位置生成预定数量的正样本图像块和负样本图像块，然后利用生成的正样本图像块和负样本图像块来训练L个关键点的分类器h1,h2,…hL，从而可更新评价模型E。例如，根据本发明的实施例，可使用在线AdaBoost方法来训练关键点分类器h1,h2,…hL。
在更新定位模型时，当确定存在评分超过预定阈值的新的定位结果S*时，确定与定位结果S*对应的定位模型的类型。具体地，可基于与定位结果S*对应的SIFT特征向量f，利用在线K均值方法查找S*所属的类型。如果确定S*属于当前已有的K个定位模型中的某一类Ak，则将其加入与Ak对应的训练集Ck，并基于前面所述的训练定位模型的方法重新训练定位模型Ak，从而更新定位模型Ak。
如果确定S*不属于当前已有的K类的定位模型中的某一类，则新建一个对应的训练集CK+1。当新增训练集CK+1中的样本数量超过一门限时，使用其训练新的定位模型AK+1。这样，可从原有的K个定位模型增加到K+1个定位模型，在增加定位模型之后，定位结果从原来的K个增加为K+1个。
用F来表示为训练集C中的样本图片的全部样本特征向量f组成的矩阵，F的第i行表示第i个样本的特征向量；用S表示训练集C中全部样本的人工标定的关键点位置组成的矩阵，S的第i行表示第i个样本的关键点位置；用S0表示训练集C中全部样本的平均关键点位置组成的矩阵，S0的第i行表示第i个样本的平均关键点位置。则在更新之前的原有定位模型A满足以下等式：
F·A＝S-S0
可以通过最小二乘方式求解A：
A＝(FTF)-1·F·(S--S0)
其中协方差矩阵：
Covxx＝FTF，Covxy＝F·(S-S0)
Covxx和Covxy的第m行第n列的元素可以表示为：
其中，fim表示训练集C中第i样本的特征向量的第m维的值；Sin表示训练集C中第i样本的人工标定的关键点位置的第n维的值；表示训练集C中第i个样本的平均关键点位置的第n维的值。
当新增样本s*时，可如以下的等式所示更新协方差矩阵的元素：
其中，表示新增样本的特征向量的第m维的值；表示新增样本的人工标定的关键点的第n维的值；表示新增样本的平均关键点位置的第n维的值。
采用上述的人脸关键点定位技术根据人脸关键点的初始位置获取人脸关键点坐标位置。
步骤210，读取视频文件中相邻下一帧图像。
具体地，读取视频文件中上一被处理的一帧图像的相邻下一帧图像。
步骤212，将上一帧图像的人脸关键点坐标位置作为相邻下一帧图像的人脸关键点的初始位置。
步骤214，根据该下一帧图像的人脸关键点的初始位置获取该下一帧图像的人脸关键点坐标位置。
本实施例中，根据该下一帧图像的人脸关键点的初始位置获取该下一帧图像的人脸关键点坐标位置的步骤包括：利用人脸关键点定位技术根据该下一帧图像的人脸关键点的初始位置获取该下一帧图像的人脸关键点坐标位置。
步骤216，判断视频文件处理完毕，若是，则结束，若否，则返回步骤210。
具体地，重复执行步骤210至214，直到应用退出或视频文件处理完毕。
该人脸关键点包括五官点。五官点包括眼睛、眉毛、鼻子、嘴巴、耳朵。采用五官点跟踪，计算量小，可提高跟踪效率。
上述人脸关键点跟踪方法，通过人脸坐标框位置配置人脸关键点的初始位置，再根据人脸关键点的初始位置获取人脸关键点坐标位置，读取下一帧图像，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。
此外，因移动终端的数据处理能力有限，采用上述人脸关键点跟踪方法，可节省大量的计算，方便移动终端快速进行人脸跟踪，提高人脸关键点跟踪的效率。
在一个实施例中，上述人脸关键点跟踪方法，在读取视频文件中的一帧图像或相邻下一帧图像后，可对读取的一帧图像进行去噪处理。通过去噪处理提高图像的清晰度，方便更加准确的跟踪人脸。
具体地，可对读取的一帧图像采用平均加权方法进行去噪处理，即对图像中所有像素采用平均加权进行处理。
下面结合具体的应用场景描述人脸关键点跟踪方法的实现过程。人脸关键点以五官点为例。如图4所示，读取视频文件中一帧图像，检测到一帧图像中人脸位置，并获取人脸坐标框位置410，将预存的人脸关键点420的中心与人脸坐标框位置410的中心对齐。如图5所示，当预存的人脸关键点420的中心与人脸坐标框位置410的中心对齐后，缩放预存的人脸关键点420，使得人脸关键点的尺寸与人脸坐标框的尺寸一样，如此得到人脸关键点的初始位置。如图6所示，根据人脸关键点的初始位置获取人脸关键点坐标位置，即五官点的坐标位置，如图6中交叉点“x”所示。再读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据下一帧图像的人脸关键点的初始位置获取下一帧图像的人脸关键点坐标位置。
图7为一个实施例中人脸关键点跟踪装置的结构框图。如图7所示，一种人脸关键点跟踪装置，运行于终端上，包括读取模块702、检测模块704、配置模块706和获取模块708。其中：
读取模块702用于读取视频文件中一帧图像。
具体地，视频文件可为在线视频文件或下载在终端上的视频文件。在线视频文件可以一边播放，一边读取。下载在终端上的视频文件也可以一边播放，一边读取。
检测模块704用于检测该一帧图像中人脸位置，获取人脸坐标框位置。
本实施例中，检测模块704利用人脸检测技术检测一帧图像中人脸位置，获取人脸坐标框位置。
具体地，人脸检测技术是输入包含人脸图的图像，可以检测出人脸的矩形坐标框位置。
配置模块706用于根据该人脸坐标框位置配置人脸关键点的初始位置。
本实施例中，配置模块706还用于通过平移预存的人脸关键点，使该预存的人脸关键点和该人脸坐标框位置中心对齐；以及缩放该预存的人脸关键点，使该预存的人脸关键点尺寸与该人脸坐标框尺寸一致。
具体地，预存的人脸关键点有中心，人脸坐标框位置也有中心，将预存的人脸关键点的中心与人脸坐标框位置中心重合在一起，即中心对齐。当预存的人脸关键点和人脸坐标框位置中心重合在一起后，通过缩放人脸关键点，使得人脸关键点尺寸与人脸坐标框尺寸一样。通过平移和缩放人脸关键点，使得人脸关键点和人脸坐标框位置匹配，得到一帧图像的人脸关键点的初始位置，计算量小，操作简单。
获取模块708用于根据该人脸关键点的初始位置获取人脸关键点坐标位置。
本实施例中，获取模块708还用于利用人脸关键点定位技术根据该人脸关键点的初始位置获取人脸关键点坐标位置。
具体地，人脸关键点定位技术是指输入包含人脸图像、人脸关键点初始位置，得到人脸关键点坐标位置。人脸关键点坐标位置是指多个点的二位坐标值。
重复执行如下过程：
读取模块702还用于读取视频文件中相邻下一帧图像。
具体地，读取视频文件中上一被处理的一帧图像的相邻下一帧图像。
配置模块706还用于将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置。
获取模块708还用于根据该下一帧图像的人脸关键点的初始位置获取该下一帧图像的人脸关键点坐标位置。
本实施例中，获取模块708还用于利用人脸关键点定位技术根据该下一帧图像的人脸关键点的初始位置获取该下一帧图像的人脸关键点坐标位置。
直到应用退出或视频文件处理完毕。
该人脸关键点包括五官点。五官点包括眼睛、眉毛、鼻子、嘴巴、耳朵。采用五官点跟踪，计算量小，可提高跟踪效率。
上述人脸关键点跟踪装置，通过人脸坐标框位置配置人脸关键点的初始位置，再根据人脸关键点的初始位置获取人脸关键点坐标位置，读取下一帧图像，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。
图8为另一个实施例中人脸关键点跟踪装置的结构框图。如图8所示，一种人脸关键点跟踪装置，运行于终端上，除了包括读取模块702、检测模块704、配置模块706和获取模块708，还包括去噪模块710。其中：
去噪模块710用于在读取视频文件中的一帧图像或相邻下一帧图像后，可对读取的一帧图像进行去噪处理。通过去噪处理提高图像的清晰度，方便更加准确的跟踪人脸。
具体地，可对读取的一帧图像采用平均加权方法进行去噪处理，即对图像中所有像素采用平均加权进行处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸关键点跟踪方法，包括：
读取视频文件中一帧图像；
检测所述一帧图像中人脸位置，获取人脸坐标框位置；
根据所述人脸坐标框位置配置人脸关键点的初始位置；
根据所述人脸关键点的初始位置获取人脸关键点坐标位置；
重复执行如下步骤：
读取视频文件中相邻下一帧图像；
将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；
根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
2.根据权利要求1所述的方法，其特征在于，所述检测所述一帧图像中人脸位置，获取人脸坐标框位置的步骤包括：
利用人脸检测技术检测所述一帧图像中人脸位置，获取人脸坐标框位置。
3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸坐标框位置配置人脸关键点的初始位置的步骤包括：
通过平移预存的人脸关键点，使所述预存的人脸关键点和所述人脸坐标框位置中心对齐；
缩放所述预存的人脸关键点，使所述预存的人脸关键点尺寸与所述人脸坐标框尺寸一致。
4.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点的初始位置获取人脸关键点坐标位置的步骤包括：
利用人脸关键点定位技术根据所述人脸关键点的初始位置获取人脸关键点坐标位置；
根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置的步骤包括：
利用人脸关键点定位技术根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
5.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括五官点。
6.一种人脸关键点跟踪装置，其特征在于，包括：
读取模块，用于读取视频文件中一帧图像；
检测模块，用于检测所述一帧图像中人脸位置，获取人脸坐标框位置；
配置模块，用于根据所述人脸坐标框位置配置人脸关键点的初始位置；
获取模块，用于根据所述人脸关键点的初始位置获取人脸关键点坐标位置；
重复执行如下过程：
所述读取模块还用于读取视频文件中相邻下一帧图像；
所述配置模块还用于将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；
所述获取模块还用于根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
7.根据权利要求6所述的装置，其特征在于，所述检测模块还用于利用人脸检测技术检测所述一帧图像中人脸位置，获取人脸坐标框位置。
8.根据权利要求6所述的装置，其特征在于，所述配置模块还用于通过平移预存的人脸关键点，使所述预存的人脸关键点和所述人脸坐标框位置中心对齐；以及缩放所述预存的人脸关键点，使所述预存的人脸关键点尺寸与所述人脸坐标框尺寸一致。
9.根据权利要求6所述的装置，其特征在于，所述获取模块还用于利用人脸关键点定位技术根据所述人脸关键点的初始位置获取人脸关键点坐标位置；以及利用人脸关键点定位技术根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。
10.根据权利要求6所述的装置，其特征在于，所述人脸关键点包括五官点。
CN201510922450.0A 2015-12-11 2015-12-11 人脸关键点跟踪方法和装置 Pending CN106874826A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510922450.0A CN106874826A (zh) 2015-12-11 2015-12-11 人脸关键点跟踪方法和装置
PCT/CN2016/081631 WO2017096753A1 (zh) 2015-12-11 2016-05-11 人脸关键点跟踪方法、终端和非易失性计算机可读存储介质
US15/715,398 US10452893B2 (en) 2015-12-11 2017-09-26 Method, terminal, and storage medium for tracking facial critical area
US16/567,940 US11062123B2 (en) 2015-12-11 2019-09-11 Method, terminal, and storage medium for tracking facial critical area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510922450.0A CN106874826A (zh) 2015-12-11 2015-12-11 人脸关键点跟踪方法和装置

Publications (1)

Publication Number Publication Date
CN106874826A true CN106874826A (zh) 2017-06-20

Family

ID=59013685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510922450.0A Pending CN106874826A (zh) 2015-12-11 2015-12-11 人脸关键点跟踪方法和装置

Country Status (3)

Country Link
US (2) US10452893B2 (zh)
CN (1) CN106874826A (zh)
WO (1) WO2017096753A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304758A (zh) * 2017-06-21 2018-07-20 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置
CN108875506A (zh) * 2017-11-17 2018-11-23 北京旷视科技有限公司 人脸形状点跟踪方法、装置和系统及存储介质
CN108960206A (zh) * 2018-08-07 2018-12-07 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN109858402A (zh) * 2019-01-16 2019-06-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN110544272A (zh) * 2019-09-06 2019-12-06 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN111199165A (zh) * 2018-10-31 2020-05-26 浙江宇视科技有限公司 图像处理方法及装置
CN111523467A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人脸跟踪方法和装置
CN111914598A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 连续帧人脸关键点检测方法、装置、设备及存储介质
CN112417985A (zh) * 2020-10-30 2021-02-26 杭州魔点科技有限公司 一种人脸特征点追踪方法、系统、电子设备和存储介质
CN113409354A (zh) * 2020-03-16 2021-09-17 深圳云天励飞技术有限公司 人脸跟踪方法、装置及终端设备
CN115797993A (zh) * 2022-11-10 2023-03-14 深圳市即构科技有限公司 一种人脸跟踪方法、装置、计算机设备及存储介质
CN115909444A (zh) * 2022-11-10 2023-04-04 深圳市即构科技有限公司 一种基于视频流的头部姿态方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924452B (zh) 2015-06-26 2022-07-19 英特尔公司 用于图像中的脸部对准的组合形状回归
US10592729B2 (en) * 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US11361588B2 (en) * 2018-12-27 2022-06-14 Nec Corporation Information processing apparatus, information processing method, and program
CN109993067B (zh) * 2019-03-07 2022-01-28 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN110211181B (zh) * 2019-05-15 2021-04-23 达闼机器人有限公司 视觉定位的方法、装置、存储介质和电子设备
CN110276767B (zh) 2019-06-28 2021-08-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111582207B (zh) * 2020-05-13 2023-08-15 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN111695512B (zh) * 2020-06-12 2023-04-25 嘉应学院 一种无人值守文物监测方法及装置
CN113657462B (zh) * 2021-07-28 2024-07-26 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN103942542A (zh) * 2014-04-18 2014-07-23 重庆卓美华视光电有限公司 人眼跟踪方法及装置
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050281464A1 (en) * 2004-06-17 2005-12-22 Fuji Photo Film Co., Ltd. Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US7688988B2 (en) * 2004-06-17 2010-03-30 Fujifilm Corporation Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US7957555B2 (en) * 2006-02-08 2011-06-07 Fujifilm Corporation Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP2009277027A (ja) * 2008-05-15 2009-11-26 Seiko Epson Corp 画像における顔の器官の画像に対応する器官領域の検出
WO2011120206A1 (en) * 2010-04-02 2011-10-06 Nokia Corporation Methods and apparatuses for face detection
CN102136062B (zh) * 2011-03-08 2013-04-17 西安交通大学 一种基于多分辨lbp的人脸检索方法
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device
US8983152B2 (en) * 2013-05-14 2015-03-17 Google Inc. Image masks for face-related selection and processing in images
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN103942542A (zh) * 2014-04-18 2014-07-23 重庆卓美华视光电有限公司 人眼跟踪方法及装置
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304758B (zh) * 2017-06-21 2020-08-25 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置
CN108304758A (zh) * 2017-06-21 2018-07-20 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置
CN108875506B (zh) * 2017-11-17 2022-01-07 北京旷视科技有限公司 人脸形状点跟踪方法、装置和系统及存储介质
CN108875506A (zh) * 2017-11-17 2018-11-23 北京旷视科技有限公司 人脸形状点跟踪方法、装置和系统及存储介质
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN108960206A (zh) * 2018-08-07 2018-12-07 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN111199165B (zh) * 2018-10-31 2024-02-06 浙江宇视科技有限公司 图像处理方法及装置
CN111199165A (zh) * 2018-10-31 2020-05-26 浙江宇视科技有限公司 图像处理方法及装置
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN109858402B (zh) * 2019-01-16 2021-08-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN109858402A (zh) * 2019-01-16 2019-06-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN111914598A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 连续帧人脸关键点检测方法、装置、设备及存储介质
CN110544272A (zh) * 2019-09-06 2019-12-06 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN110544272B (zh) * 2019-09-06 2023-08-04 腾讯科技（深圳）有限公司 脸部跟踪方法、装置、计算机设备及存储介质
CN113409354A (zh) * 2020-03-16 2021-09-17 深圳云天励飞技术有限公司 人脸跟踪方法、装置及终端设备
CN111523467A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人脸跟踪方法和装置
CN111523467B (zh) * 2020-04-23 2023-08-08 北京百度网讯科技有限公司 人脸跟踪方法和装置
CN112417985A (zh) * 2020-10-30 2021-02-26 杭州魔点科技有限公司 一种人脸特征点追踪方法、系统、电子设备和存储介质
CN115797993A (zh) * 2022-11-10 2023-03-14 深圳市即构科技有限公司 一种人脸跟踪方法、装置、计算机设备及存储介质
CN115909444A (zh) * 2022-11-10 2023-04-04 深圳市即构科技有限公司 一种基于视频流的头部姿态方法及装置
CN115909444B (zh) * 2022-11-10 2025-08-22 深圳市即构科技有限公司 一种基于视频流的头部姿态方法及装置
CN115797993B (zh) * 2022-11-10 2025-08-22 深圳市即构科技有限公司 一种人脸跟踪方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2017096753A1 (zh) 2017-06-15
US20200005022A1 (en) 2020-01-02
US20180018503A1 (en) 2018-01-18
US11062123B2 (en) 2021-07-13
US10452893B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN106874826A (zh) 人脸关键点跟踪方法和装置
Tu et al. RGBT salient object detection: A large-scale dataset and benchmark
CN110555481B (zh) 一种人像风格识别方法、装置和计算机可读存储介质
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
Wang et al. Dynamic attention guided multi-trajectory analysis for single object tracking
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN108520229A (zh) 图像检测方法、装置、电子设备和计算机可读介质
Wan et al. Face image reflection removal
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN110399882A (zh) 一种基于可变形卷积神经网络的文字检测方法
Wang et al. Learning behavior recognition in smart classroom with multiple students based on yolov5
US11157765B2 (en) Method and system for determining physical characteristics of objects
Dakhia et al. A hybrid-backward refinement model for salient object detection
CN115205777A (zh) 基于密度级别的人群计数方法
CN112580584A (zh) 起立行为检测方法、装置、系统及存储介质
CN115862127B (zh) 一种基于CBC分类器的Attention-YOLOv5网络手势识别方法
CN111507421A (zh) 一种基于视频的情感识别方法及装置
CN115205779B (zh) 基于人群图像模板的人数检测方法
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
CN116958859A (zh) 基于视频的高尔夫挥杆评测方法及系统
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620