[go: up one dir, main page]

CN109376684B - 一种人脸关键点检测方法、装置、计算机设备和存储介质 - Google Patents

一种人脸关键点检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109376684B
CN109376684B CN201811347185.8A CN201811347185A CN109376684B CN 109376684 B CN109376684 B CN 109376684B CN 201811347185 A CN201811347185 A CN 201811347185A CN 109376684 B CN109376684 B CN 109376684B
Authority
CN
China
Prior art keywords
face
key point
image
angle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811347185.8A
Other languages
English (en)
Other versions
CN109376684A (zh
Inventor
周卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201811347185.8A priority Critical patent/CN109376684B/zh
Publication of CN109376684A publication Critical patent/CN109376684A/zh
Priority to SG11202104992RA priority patent/SG11202104992RA/en
Priority to US17/293,402 priority patent/US11727663B2/en
Priority to RU2021116083A priority patent/RU2762142C1/ru
Priority to PCT/CN2019/106587 priority patent/WO2020098374A1/zh
Priority to EP19883857.5A priority patent/EP3882809B1/en
Application granted granted Critical
Publication of CN109376684B publication Critical patent/CN109376684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸关键点检测方法、装置、计算机设备和存储介质，该包括：获取包含人脸的图像数据；在所述图像数据中检测所述人脸的第一人脸关键点；根据所述第一人脸关键点识别所述人脸的人脸类型；参考所述人脸类型对所述第一人脸关键点进行位置校正；基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；在所述五官图像中检测所述人脸的第二人脸关键点。通过区分人脸类型，使用不同的分支分类对不同人脸类型的第一关键点进行修正，简化了定位操作，降低计算量，保证在移动终端等资源较为紧缺的计算机设备中实时进行人脸关键点检测的同时，也提升了人脸关键点定位的准确度。

Description

一种人脸关键点检测方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及生物特征处理的技术，尤其涉及一种人脸关键点检测方法、装置、计算机设备和存储介质。
背景技术
对于直播和短视频等以用户互动为主的应用中，往往需要进行人脸关键点检测，定位人脸轮廓、五官轮廓等人脸关键点定位，用于进行人脸美颜、在五官位置上的贴纸特效、人脸变形及换脸等处理。
为了提升用户体验，如让美颜更加精细、五官贴纸特效更加稳定等，需要需求人脸关键点检测足够精确，同时，为了能够保证在移动终端等资源较为紧缺的计算机设备中实时进行人脸关键点检测，需要人脸关键点检测的速度足够快。
目前，提升人脸关键点检测的精确度的方案主要分为两类：
1、引入更大的网络模型，对人脸全局进行更加详细的特征表达，从而获得更加准确的人脸关键点。
2、引入更多层级的网络模型，即由粗到细的多个级联的网络模型，不断挖掘人脸全局以及局部细节特征，对定位点位置不断修正。但是，网络模型和层级模型单一，为了能够处理不同的人脸，导致网络模型和层级模型的体积较大，使得计算量大，时间复杂度高，导致对资源要求高，难以应用在移动终端等资源较为紧缺的计算机设备中。
发明内容
本发明实施例提供一种人脸关键点检测方法、装置、计算机设备和存储介质，以解决在保证人脸关键点检测精确度的同时，保证在移动终端等资源较为紧缺的计算机设备中实时进行人脸关键点检测。
第一方面，本发明实施例提供了一种人脸关键点检测方法，包括：
获取包含人脸的图像数据；
在所述图像数据中检测所述人脸的第一人脸关键点；
根据所述第一人脸关键点识别所述人脸的人脸类型；
参考所述人脸类型对所述第一人脸关键点进行位置校正；
基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
在所述五官图像中检测所述人脸的第二人脸关键点。
可选地，所述在所述图像数据中检测所述人脸的第一人脸关键点，包括：
在所述图像数据中提取包含所述人脸的第一人脸图像；
将所述第一人脸图像输入预置的人脸关键点检测模型，以输出所述人脸的第一人脸关键点。
可选地，所述根据所述第一人脸关键点识别所述人脸的人脸类型，包括：
采用所述第一人脸关键点计算所述人脸的姿态角；
基于所述人脸的姿态角识别所述人脸的人脸类型。
可选地，所述姿态角包括航向角；
所述基于所述人脸的姿态角识别所述人脸的人脸类型，包括：
在预设的映射表中确定所述航向角归属的角度范围；
将所述角度范围对应的人脸类型设置为所述人脸的人脸类型；
其中，所述映射表记录有角度范围与人脸类型之间的映射关系。
可选地，在所述基于所述人脸的姿态角识别所述人脸的人脸类型之前，还包括：
基于所述姿态角对所述人脸进行角度校正。
可选地，所述姿态角包括横滚角；
所述基于所述姿态角对所述人脸进行角度校正，包括：
在所述第一人脸关键点中选择人脸基点；
保持所述人脸基点的位置，并调整所述图像数据，直至所述横滚角为指定角度值。
可选地，所述参考所述人脸类型对所述第一人脸关键点进行位置校正，包括：
查找所述人脸类型对应的位置校正模型；
基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像；
将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正。
可选地，所述第一人脸关键点包括如下的至少一种：
嘴巴关键点、眉毛关键点、眼睛关键点；
所述将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正，包括：
连接位于嘴角位置的嘴巴关键点，获得第一基准线；
在所述第一基准线上选择嘴巴基点；
保持所述嘴巴基点的位置，并调整所述嘴巴关键点，直至所述第一基准线位于指定的第一位置；
和/或，
连接位于眉角位置的眉毛关键点，获得第二基准线；
在所述第二基准线上选择眉毛基点；
保持所述眉毛基点的位置，并调整所述眉毛关键点，直至所述第二基准线位于指定的第二位置；
和/或，
连接位于眼角位置的眼睛关键点，获得第三基准线；
在所述第三基准线上选择眼睛基点；
保持所述眼睛基点的位置，并调整所述眼睛关键点，直至所述第三基准线位于指定的第三位置。
可选地，所述在所述五官图像中检测所述人脸的第二人脸关键点，包括：
查找所述五官图像对应的五官关键点检测模型；
将所述五官图像输入至所述五官关键点检测模型，以输出所述人脸的第二人脸关键点。
第二方面，本发明实施例还提供了一种人脸关键点检测装置，其特征在于，
包括：
图像数据获取模块，用于获取包含人脸的图像数据；
第一人脸关键点检测模块，用于在所述图像数据中检测所述人脸的第一人脸关键点；
人脸类型识别模块，用于根据所述第一人脸关键点识别所述人脸的人脸类型；
位置校正模块，用于参考所述人脸类型对所述第一人脸关键点进行位置校正；
五官图像提取模块，用于基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
第二人脸关键点检测模块，用于在所述五官图像中检测所述人脸的第二人脸关键点。
可选地，所述第一人脸关键点检测模块包括：
第一人脸图像提取子模块，用于在所述图像数据中提取包含所述人脸的第一人脸图像；
人脸关键点检测模型调用子模块，用于将所述第一人脸图像输入预置的人脸关键点检测模型，以输出所述人脸的第一人脸关键点。
可选地，所述人脸类型识别模块包括：
姿态角计算子模块，用于采用所述第一人脸关键点计算所述人脸的姿态角；
姿态角识别子模块，用于基于所述人脸的姿态角识别所述人脸的人脸类型。
可选地，所述姿态角包括航向角；
所述姿态角识别子模块包括：
角度范围确定单元，用于在预设的映射表中确定所述航向角归属的角度范围；
人脸类型设置单元，用于将所述角度范围对应的人脸类型设置为所述人脸的人脸类型；
其中，所述映射表记录有角度范围与人脸类型之间的映射关系。
可选地，所述人脸类型识别模块还包括：
角度校正子模块，用于基于所述姿态角对所述人脸进行角度校正。
可选地，所述姿态角包括横滚角；
所述角度校正子模块包括：
人脸基点选择单元，用于在所述第一人脸关键点中选择人脸基点；
图像数据调整单元，用于保持所述人脸基点的位置，并调整所述图像数据，直至所述横滚角为指定角度值。
可选地，所述位置校正模块包括：
校正模型查找子模块，用于查找所述人脸类型对应的位置校正模型；
第二人脸图像提取子模块，用于基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像；
位置校正模型调用子模块，用于将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正。
可选地，所述第一人脸关键点包括如下的至少一种：
嘴巴关键点、眉毛关键点、眼睛关键点；
所述位置校正模型调用子模块包括：
嘴巴关键点连接单元，用于连接位于嘴角位置的嘴巴关键点，获得第一基准线；
嘴巴基点选择子单元，用于在所述第一基准线上选择嘴巴基点；
嘴巴关键点调整单元，用于保持所述嘴巴基点的位置，并调整所述嘴巴关键点，直至所述第一基准线位于指定的第一位置；
和/或，
眉毛关键点连接单元，用于连接位于眉角位置的眉毛关键点，获得第二基准线；
眉毛基点选择子单元，用于在所述第二基准线上选择眉毛基点；
眉毛关键点调整单元，用于保持所述眉毛基点的位置，并调整所述眉毛关键点，直至所述第二基准线位于指定的第二位置；
和/或，
眼睛关键点连接单元，用于连接位于眼角位置的眼睛关键点，获得第三基准线；
眼睛基点选择子单元，用于在所述第三基准线上选择眼睛基点；
眼睛关键点调整单元，用于保持所述眼睛基点的位置，并调整所述眼睛关键点，直至所述第三基准线位于指定的第三位置。
可选地，所述第二人脸关键点检测模块包括：
五官关键点检测模型查找子模块，用于查找所述五官图像对应的五官关键点检测模型；
五官关键点检测模型调用子模块，用于将所述五官图像输入至所述五官关键点检测模型，以输出所述人脸的第二人脸关键点。
第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求第一方面任一所述的人脸关键点检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求第一方面任一所述的人脸关键点检测方法。
在本发明实施例中，对于包含人脸的图像数据，在图像数据中检测人脸的第一人脸关键点，根据第一人脸关键点识别人脸的人脸类型，参考人脸类型对第一人脸关键点进行位置校正，基于位置校正之后的第一人脸关键点从图像数据中提取包含五官的五官图像，并在五官图像中检测人脸的第二人脸关键点，通过区分人脸类型，使用不同的分支分类对不同人脸类型的第一关键点进行修正，简化了定位操作，降低计算量，保证在移动终端等资源较为紧缺的计算机设备中实时进行人脸关键点检测的同时，也提升了人脸关键点定位的准确度。
附图说明
图1为本发明实施例一提供的一种人脸关键点检测方法的流程图；
图2是本发明实施例二提供的一种人脸关键点检测方法的流程图；
图3是本发明实施例二提供的一种级联网络的结构示意图；
图4A-图4C是本发明实施例二提供的一种人脸关键点检测的示例图；
图5为本发明实施例三提供的一种人脸关键点检测装置的结构示意图。
图6为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种人脸关键点检测方法的流程图，本实施例可适用于在直播、短视频等以用户交互为主的应用中实时进行人脸关键点检测的场景，该方法可以由一种人脸关键点检测装置来执行，该装置可以由软件和/或硬件的方式实现，可配置于资源较为紧缺的计算机设备中，该计算机设备可以为手机、平板电脑、可穿戴设备(如智能手表、智能眼镜等)等移动终端，又或者，该计算机设备可以为智能电视等非移动终端。该方法具体包括如下步骤：
S110、获取包含人脸的图像数据。
在具体实现中，对于直播、短视频等视频场景中，在播放视频数据时，可从视频数据中不断提取当前播放的视频帧图像，从而识别包含人脸的图像数据。
当然，在其它场景中，如拍照之后进行美颜处理等，用户也可以直接输入单独一帧包含人脸的图像数据，本发明实施例对此不加以限制。
所谓人脸，可以指人的脸部，在同一帧图像数据中，人脸的数量可以是一个，也可以是多个，人脸的区域可以是脸部的全部区域，也可以是脸部的部分区域，等等，本发明实施例对此不加以限制。
需要说明的是，对于计算机设备而言，可以添加人脸/非人脸分类器，从而检测当前的图像数据是否具有人脸，如果具有人脸，则执行后续操作，如果不具有人脸，则继续检测其它图像数据，直至检测到包含人脸的图像数据。
S120、在所述图像数据中检测所述人脸的第一人脸关键点。
对于图像数据，可以对人脸进行粗定位，在图像数据中可定位粗糙的第一人脸关键点。
第一人脸关键点对于具体到描述每个关键点来说，可能不是特别精准，但是，对于描述整个人脸在图像数据中的位置来说，是相对比较准确的。
S130、根据所述第一人脸关键点识别所述人脸的人脸类型。
应用本发明实施例，可以预先根据人脸的朝向划分不同的人脸类型，如左侧人脸(人脸朝右，左侧脸部显露较多)、正面人脸(人脸朝正，左侧脸部和右侧脸部显露相差较小)、右侧人脸(人脸朝左，右侧脸部显露较多)等。
针对当前图像数据，可以从人脸的第一人脸关键点识别人脸的朝向，从而确定人脸类型。
S140、参考所述人脸类型对所述第一人脸关键点进行位置校正。
不同人脸类型的人脸具有不同的特性，因此，可根据不同人脸类型的特性对第一人脸关键点进行位置校正，使其与人脸更加贴近。
S150、基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像。
对第一关键点校正位置之后，则可以按照五官进行划分，从图像数据中提取包含五官的五官图像，例如，眼睛、眉毛、鼻子、嘴巴，等等。
其中，由于人脸的朝向不同，因此，可检测到五官的数量可以是一个，也可以是多个，五官的区域可以是五官的全部区域，也可以是五官的部分区域，等等，本发明实施例对此不加以限制。
S160、在所述五官图像中检测所述人脸的第二人脸关键点。
对于五官图像，可以对五官进行细定位，在五官图像中可定位精细的第二人脸关键点。
在本发明实施例中，对于包含人脸的图像数据，在图像数据中检测人脸的第一人脸关键点，根据第一人脸关键点识别人脸的人脸类型，参考人脸类型对第一人脸关键点进行位置校正，基于位置校正之后的第一人脸关键点从图像数据中提取包含五官的五官图像，并在五官图像中检测人脸的第二人脸关键点，通过区分人脸类型，使用不同的分支分类对不同人脸类型的第一关键点进行修正，简化了定位操作，降低计算量，保证在移动终端等资源较为紧缺的计算机设备中实时进行人脸关键点检测的同时，也提升了人脸关键点定位的准确度。
实施例二
图2为本发明实施例二提供的一种人脸关键点检测方法的流程图，本实施例以前述实施例为基础，进一步增加三级网络的处理操作。该方法具体包括如下步骤：
S201，获取包含人脸的图像数据。
如图3所示，本发明实施例可包括人脸全局模型和五官局部模型。
进一步而言，全局模型包括人脸关键点检测模型310和位置校正模型320，五官局部模型包括五官关键点检测模型330。
人脸关键点检测模型310、位置校正模型320和五官关键点检测模型330组成三层的级联网络。
S202，在所述图像数据中提取包含所述人脸的第一人脸图像。
在具体实现中，利用人脸检测器在图像数据中找到人脸，生成人脸检测框，截取人脸检测框截中的图像数据，作为第一人脸图像，排除大量背景噪声。
由于人脸检测框在定位不同人脸时会有一定的偏差，通常需要基于人脸检测框向四周扩展一定比例来截取第一人脸图像，来保证人脸能够完全被截取到。
S203，将所述第一人脸图像输入预置的人脸关键点检测模型，以输出所述人脸的第一人脸关键点。
如图3所示，人脸关键点检测模型310为第一层网络，将第一人脸图像输入至人脸关键点检测模型310进行处理，可输出第一人脸关键点。
人脸关键点检测模型310可以采用一个端到端的卷积神经网络模型，目标是初步获取人脸轮廓与五官轮廓等第一人脸关键点，第一人脸关键点的位置粗糙即可，考虑到后续网络的校正，人脸关键点检测模型可以设计得相对较小，从而保证检测第一人脸关键点的速度。
将第一人脸图像缩放到固定大小，输入到人脸关键点检测模型310进行粗定位，可以获得粗糙的第一人脸关键点。
例如，如图4A所示，从某帧图像数据中截取第一人脸图像(方框部分)，缩放到70*70，并输入至人脸关键点检测模型进行处理，输出为212维度的第一人脸关键点(点部分)。
由图4A可见，第一层网络的预测结果(第一人脸关键点)相对粗糙，外轮廓和五官都不够准确，输入的人脸检测框无法保证覆盖人脸所有内容，信噪比较大。
S204，采用所述第一人脸关键点计算所述人脸的姿态角。
基于第一人脸关键点，通过简单的姿态角估计模型，即可回归出人脸的姿态角，该姿态角包括俯仰角(PICTH)、横滚角(ROLL)、航向角(YAW)。
姿态角估计模型相对简单，如两层的全连接网络，耗时几乎可以忽略不计。
例如，如图4A所示，姿态角估计模型的输入为的212维的第一人脸关键点，输出为3维的姿态角。
S205，基于所述姿态角对所述人脸进行角度校正。
一般情况下，为了方便计算，训练位置校正模型的人脸样本数据，可以统一将某个姿态角调整至指定的位置，如水平位置。
此时，对于当前包含人脸的图像，可以对图像数据进行调整，从而对当前的人脸进行角度的校正，与人脸样本数据保持一致，可简化第一人脸关键点的修正处理。
在一种实施方式中，姿态角包括横滚角(ROLL)。
在此实施方式中，可以在第一人脸关键点中选择人脸基点，如处于鼻尖位置的第一人脸关键点。
保持人脸基点的位置，并调整图像数据，直至横滚角(ROLL)为指定角度值(如0)。
S206，基于所述人脸的姿态角识别所述人脸的人脸类型。
人脸的姿态角可以表达人脸的朝向，以此识别人脸的人脸类型。
在一种实施方式中，姿态角包括航向角(YAW)。
在此实施方式中，可以在预设的映射表中确定航向角归属的角度范围，将角度范围对应的人脸类型设置为人脸的人脸类型。
其中，映射表记录有角度范围与人脸类型之间的映射关系。
在一个示例中，映射表记录如下表所示：
角度范围 人脸类型
YAW≤-25° 左侧人脸
-25°＜YAW＜25° 正面人脸
25°≤YAW 右侧人脸
在此示例中，人脸类型包括左侧人脸、正面人脸、右侧人脸，如果人脸的航向角(YAW)小于或等于-25°，则可以认为该人脸为左侧人脸，如果人脸的航向角(YAW)大于-25°且小于25°，则可以认为该人脸为正面人脸，如果人脸的航向角(YAW)大于或等于25°，则可以认为该人脸为右侧人脸。
例如，如图4A所示，人脸的航向角(YAW)为-60°，小于或等于-25°，确认为该人脸为左侧人脸。
当然，上述人脸类型及其识别方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他人脸类型及其识别方式，例如，人脸类型划分为重度左侧脸(YAW≤-60°)、轻度左侧脸(-60°＜YAW≤30°)、正脸(-30°＜YAW＜30°)、轻度右侧脸(30°≤YAW＜60°)、重度右侧脸(60°≤YAW)，同时使用俯仰角(PITCH)和旋转角(ROLL)识别人脸的人脸类型，等等，本发明实施例对此不加以限制。另外，除了上述人脸类型及其识别方式外，本领域技术人员还可以根据实际需要采用其它人脸类型及其识别方式，本发明实施例对此也不加以限制。
S207，查找所述人脸类型对应的位置校正模型。
S208，基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像。
如图3所示，位置校正模型320属于第二层网络，将第二人脸图像输入至位置校正模型320进行处理，可输出位置校正后的第一人脸关键点。
针对每个人脸类型，可以使用该人脸类型下的人脸样本数据(包含人脸关键点)，训练该人脸类型对应的位置校正模型，具体的，该位置修正模型可以采用端到端的卷积神经网络模型。
例如，如图3所示，假设人脸类型包括左侧人脸、正面人脸和右侧人脸，则可以相应地训练左侧脸校正模型321、正脸校正模型322和右侧脸校正模型323，其中，左侧脸校正模型321用于对属于左侧人脸的第二人脸图像进行位置校正，正脸校正模型322用于对属于正面人脸的第二人脸图像进行位置校正，右侧脸校正模型323用于对属于右侧人脸的第二人脸图像进行位置校正。
在本发明实施例中，若识别出当前图像数据中人脸的人脸类型，一方面，查找该人脸类型对应的位置校正模型，另一方面，基于第一人脸关键点可以得到人脸包围框，如将所有第一人脸关键点包含在内的最小矩形框，该人脸包围框相对于人脸检测框来说，可以更加精确地定位出人脸的位置。
由于对于每帧第二人脸图像来说，运行一个分支网络，所以不会增加耗时，相反地，通过对人脸类型进行区分后，位置修正会变得更加简单，用一个较小的网络即可达到较佳的效果。
由于人脸包含框在定位不同人脸时会有一定的偏差，通常需要基于人脸包含框向四周扩展一定比例来截取第二人脸图像，来保证人脸能够完全被截取到，可减少背景噪声，并简化第一人脸关键点的修正处理。
S209，将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正。
对于人脸关键点检测模型的粗定位而言，不同人脸类型的位置校正模型属于多个不同的分支，可对粗定位进行修正。
如图3所示，将第二人脸图像缩放到固定大小，并输入与人脸类型相匹配的分支上的位置校正模型320(如左侧脸校正模型321、正脸校正模型322和右侧脸校正模型323等)，对不同人脸类型的第一人脸关键点进行修正。
同时输入的第二人脸图像具有一定的类别特征或者说共性，如都是左侧人脸，在人脸角度校正、第二人脸数据截图等因素的影响下，第一人脸关键点的修正使用一个很轻的网络就能够达到很好的效果，即位置校正模型可以设计得相对较小，从而保证修正第一人脸关键点的速度。
由于五官对应的第一人脸关键点通常比较集中，具有很强的局部特征，仅仅靠整个人脸区域来定位的话，相对来说信噪比偏大，因此，对于五官对应的第一人脸关键点具有进一步修正的空间。
在一个示例中，第一人脸关键点包括如下的至少一种：
1、嘴巴关键点
嘴巴关键点为嘴巴对应的第一关键点。
针对嘴巴关键点，位置校正模型可以连接位于嘴角位置的嘴巴关键点，获得第一基准线。
在第一基准线上选择嘴巴基点(如中点)。
保持嘴巴基点的位置，并调整嘴巴关键点，直至第一基准线位于指定的第一位置(如水平位置)。
2、眉毛关键点
眉毛关键点为眉毛对应的第一关键点。
针对眉毛关键点，位置校正模型可以连接位于眉角位置的眉毛关键点，获得第二基准线。
在第二基准线上选择眉毛基点(如中点)。
保持眉毛基点的位置，并调整眉毛关键点，直至第二基准线位于指定的第二位置(如水平位置)。
需要说明的是，为了提高眉毛关键点的校正准确性，左眉毛的眉毛关键点和右眉毛的眉毛关键点可以分开进行校正。
3、眼睛关键点
眼睛关键点为眼睛对应的第一关键点。
针对眼睛关键点，位置校正模型可以连接位于眼角位置的眼睛关键点，获得第三基准线。
在第三基准线上选择眼睛基点(如中点)。
保持眼睛基点的位置，并调整眼睛关键点，直至第三基准线位于指定的第三位置(如水平位置)。
需要说明的是，为了提高眼睛关键点的校正准确性，左眼睛的眼睛关键点和右眼睛的眼睛关键点可以分开进行校正。
当然，上述校正方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他校正方式，本发明实施例对此不加以限制。另外，除了上述校正方式外，本领域技术人员还可以根据实际需要采用其它校正方式，本发明实施例对此也不加以限制。
例如，如图4B所示，从角度校正后的图像数据中截取第二人脸图像(方框部分)，缩放到70*70，并输入至位置校正模型进行处理，输出为212维度的第一人脸关键点(点部分)。
由图4B可见，第二层网络的预测结果(位置修正后的第一人脸关键点)，输入的人脸包围框能覆盖人脸大部分内容，同时尽可能减少背景噪声，相比第一层网络的预测结果更为准确，外轮廓贴合得更好，五官部分也有一定修正。
S210，基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像。
基于校正之后的第一人脸关键点可以得到五官包围框，如将某个五官对应的、所有校正之后的第一人脸关键点包含在内的最小矩形框，该五官包围框可以精确地定位出五官的位置。
由于五官包含框在定位不同人脸的五官时会有一定的偏差，通常需要基于五官包含框向四周扩展一定比例来截取五官人脸图像，来保证五官能够完全被截取到，可减少背景噪声，并简化第二人脸关键点的定位处理。
S211,查找所述五官图像对应的五官关键点检测模型。
S212,将所述五官图像输入至所述五官关键点检测模型，以输出所述人脸的第二人脸关键点。
如图3所示，五官关键点检测模型330属于第三层网络，将五官图像输入至五官关键点检测模型330进行处理，可输出第二人脸关键点。
针对每个五官，如眼睛、嘴巴、眉毛、鼻子等，可以使用该五官对应的五官样本数据，训练该五官对应的五官关键点检测模型，具体地，五官关键点检测模型可以采用端到端的卷积神经网络模型。
将五官图像缩放到固定大小，并输入至相应的五官关键点检测模型，检测不同五官的第二人脸关键点。
由于对于每个五官部位来说，局部区域范围较小，输入的五官图像很小，输出维度由不同五官的关键点数目设定。
由于五官关键点检测模型的输入很小，计算量相对较少，可以改善在特殊表情下的大量的局部定位错误，例如，闭眼、张嘴、挑眉等等。
对于位置校正模型而言，其修正的五官与五官关键点检测模型可以是一一对应关系。
例如，如图3所示，五官关键点检测模型330包括嘴巴检测模型331、眼睛检测模型332和眉毛检测模型333，位置校正模型320对嘴巴、眼睛、眉毛的第一人脸关键点进行修正，则可以基于修正后的第一人脸关键点相应提取嘴巴图像、眼睛图像、眉毛图像等五官图像。
将嘴巴图像输入至嘴巴检测模型331进行处理，检测嘴巴的第二人脸关键点。
将眼睛图像输入至眼睛检测模型332进行处理，检测眼睛的第二人脸关键点。
将眉毛图像输入至眉毛检测模型333进行处理，检测眉毛的第二人脸关键点。
例如，如图4C所示，从位置校正后的图像数据中截取嘴巴图像和眼睛图像(方框部分)，缩放到30*30，并将嘴巴图像输入至嘴巴检测模型检测第二人脸关键点，将眼睛图像输入至眼睛检测模型检测第二人脸关键点(点部分)。
由图4C可见，第三层网络的预测结果(第二人脸关键点)，输入的五官包围框能覆盖五官大部分内容，同时尽可能减少背景噪声，相比第二层网络的预测结果更为准确，五官部分进一步修正，例如，眼睛的第二关键点能够更为准确描述眼睛闭合的程度。
实施例三
图5为本发明实施例三提供的一种人脸关键点检测装置的结构示意图，该装置具体可以包括如下模块：
图像数据获取模块510，用于获取包含人脸的图像数据；
第一人脸关键点检测模块520，用于在所述图像数据中检测所述人脸的第一人脸关键点；
人脸类型识别模块530，用于根据所述第一人脸关键点识别所述人脸的人脸类型；
位置校正模块540，用于参考所述人脸类型对所述第一人脸关键点进行位置校正；
五官图像提取模块550，用于基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
第二人脸关键点检测模块560，用于在所述五官图像中检测所述人脸的第二人脸关键点。
在本发明的一个实施例中，所述第一人脸关键点检测模块520包括：
第一人脸图像提取子模块，用于在所述图像数据中提取包含所述人脸的第一人脸图像；
人脸关键点检测模型调用子模块，用于将所述第一人脸图像输入预置的人脸关键点检测模型，以输出所述人脸的第一人脸关键点。
在本发明的一个实施例中，所述人脸类型识别模块530包括：
姿态角计算子模块，用于采用所述第一人脸关键点计算所述人脸的姿态角；
姿态角识别子模块，用于基于所述人脸的姿态角识别所述人脸的人脸类型。
在本发明实施例的一个示例中，所述姿态角包括航向角；
所述姿态角识别子模块包括：
角度范围确定单元，用于在预设的映射表中确定所述航向角归属的角度范围；
人脸类型设置单元，用于将所述角度范围对应的人脸类型设置为所述人脸的人脸类型；
其中，所述映射表记录有角度范围与人脸类型之间的映射关系。
在本发明的一个实施例中，所述人脸类型识别模块530还包括：
角度校正子模块，用于基于所述姿态角对所述人脸进行角度校正。
在本发明实施例的一个示例中，所述姿态角包括横滚角；
所述角度校正子模块包括：
人脸基点选择单元，用于在所述第一人脸关键点中选择人脸基点；
图像数据调整单元，用于保持所述人脸基点的位置，并调整所述图像数据，直至所述横滚角为指定角度值。
在本发明的一个实施例中，所述位置校正模块540包括：
校正模型查找子模块，用于查找所述人脸类型对应的位置校正模型；
第二人脸图像提取子模块，用于基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像；
位置校正模型调用子模块，用于将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正。
在本发明实施例的一个示例中，所述第一人脸关键点包括如下的至少一种：
嘴巴关键点、眉毛关键点、眼睛关键点；
所述位置校正模型调用子模块包括：
嘴巴关键点连接单元，用于连接位于嘴角位置的嘴巴关键点，获得第一基准线；
嘴巴基点选择子单元，用于在所述第一基准线上选择嘴巴基点；
嘴巴关键点调整单元，用于保持所述嘴巴基点的位置，并调整所述嘴巴关键点，直至所述第一基准线位于指定的第一位置；
和/或，
眉毛关键点连接单元，用于连接位于眉角位置的眉毛关键点，获得第二基准线；
眉毛基点选择子单元，用于在所述第二基准线上选择眉毛基点；
眉毛关键点调整单元，用于保持所述眉毛基点的位置，并调整所述眉毛关键点，直至所述第二基准线位于指定的第二位置；
和/或，
眼睛关键点连接单元，用于连接位于眼角位置的眼睛关键点，获得第三基准线；
眼睛基点选择子单元，用于在所述第三基准线上选择眼睛基点；
眼睛关键点调整单元，用于保持所述眼睛基点的位置，并调整所述眼睛关键点，直至所述第三基准线位于指定的第三位置。
在本发明的一个实施例中，所述第二人脸关键点检测模块560包括：
五官关键点检测模型查找子模块，用于查找所述五官图像对应的五官关键点检测模型；
五官关键点检测模型调用子模块，用于将所述五官图像输入至所述五官关键点检测模型，以输出所述人脸的第二人脸关键点。
本发明实施例所提供的人脸关键点检测装置可执行本发明任意实施例所提供的人脸关键点检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器600、存储器610、输入装置620和输出装置630；计算机设备中处理器600的数量可以是一个或多个，图6中以一个处理器600为例；计算机设备中的处理器600、存储器610、输入装置620和输出装置630可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人脸关键点检测方法对应的程序指令/模块(例如，图像数据获取模块510、第一人脸关键点检测模块520、人脸类型识别模块530、位置校正模块540、五官图像提取模块550和第二人脸关键点检测模块560)。处理器600通过运行存储在存储器610中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的人脸关键点检测方法。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器600远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置620可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置630可包括显示屏等显示设备。
实施例五
本发明实施例D还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人脸关键点检测方法，该方法包括：
获取包含人脸的图像数据；
在所述图像数据中检测所述人脸的第一人脸关键点；
根据所述第一人脸关键点识别所述人脸的人脸类型；
参考所述人脸类型对所述第一人脸关键点进行位置校正；
基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
在所述五官图像中检测所述人脸的第二人脸关键点。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人脸关键点检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述人脸关键点检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人脸关键点检测方法，其特征在于，包括：
获取包含人脸的图像数据；
调用人脸关键点检测模型，在所述图像数据中检测所述人脸的第一人脸关键点；
采用所述第一人脸关键点计算所述人脸的姿态角；
基于所述人脸的姿态角识别所述人脸的人脸类型；
查找所述人脸类型对应的位置校正模型；
基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像；
将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正；
基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
调用所述五官图像对应的五官关键点检测模型，在所述五官图像中检测所述人脸的第二人脸关键点。
2.根据权利要求1所述的方法，其特征在于，所述调用人脸关键点检测模型，在所述图像数据中检测所述人脸的第一人脸关键点，包括：
在所述图像数据中提取包含所述人脸的第一人脸图像；
将所述第一人脸图像输入预置的人脸关键点检测模型，以输出所述人脸的第一人脸关键点。
3.根据权利要求1所述的方法，其特征在于，所述姿态角包括航向角；
所述基于所述人脸的姿态角识别所述人脸的人脸类型，包括：
在预设的映射表中确定所述航向角归属的角度范围；
将所述角度范围对应的人脸类型设置为所述人脸的人脸类型；
其中，所述映射表记录有角度范围与人脸类型之间的映射关系。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述人脸的姿态角识别所述人脸的人脸类型之前，还包括：
基于所述姿态角对所述人脸进行角度校正。
5.根据权利要求4所述的方法，其特征在于，所述姿态角包括横滚角；
所述基于所述姿态角对所述人脸进行角度校正，包括：
在所述第一人脸关键点中选择人脸基点；
保持所述人脸基点的位置，并调整所述图像数据，直至所述横滚角为指定角度值。
6.根据权利要求1所述的方法，其特征在于，所述第一人脸关键点包括如下的至少一种：
嘴巴关键点、眉毛关键点、眼睛关键点；
所述将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正，包括：
连接位于嘴角位置的嘴巴关键点，获得第一基准线；
在所述第一基准线上选择嘴巴基点；
保持所述嘴巴基点的位置，并调整所述嘴巴关键点，直至所述第一基准线位于指定的第一位置；
和/或，
连接位于眉角位置的眉毛关键点，获得第二基准线；
在所述第二基准线上选择眉毛基点；
保持所述眉毛基点的位置，并调整所述眉毛关键点，直至所述第二基准线位于指定的第二位置；
和/或，
连接位于眼角位置的眼睛关键点，获得第三基准线；
在所述第三基准线上选择眼睛基点；
保持所述眼睛基点的位置，并调整所述眼睛关键点，直至所述第三基准线位于指定的第三位置。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述调用五官关键点检测模型，在所述五官图像中检测所述人脸的第二人脸关键点，包括：
查找所述五官图像对应的五官关键点检测模型；
将所述五官图像输入至所述五官关键点检测模型，以输出所述人脸的第二人脸关键点。
8.一种人脸关键点检测装置，其特征在于，包括：
图像数据获取模块，用于获取包含人脸的图像数据；
第一人脸关键点检测模块，用于调用人脸关键点检测模型，在所述图像数据中检测所述人脸的第一人脸关键点；
人脸类型识别模块，用于根据所述第一人脸关键点识别所述人脸的人脸类型；
位置校正模块，用于调用所述人脸类型对应的位置校正模型，参考所述人脸类型对所述第一人脸关键点进行位置校正；
五官图像提取模块，用于基于位置校正之后的第一人脸关键点从所述图像数据中提取包含五官的五官图像；
第二人脸关键点检测模块，用于调用所述五官图像对应的五官关键点检测模型，在所述五官图像中检测所述人脸的第二人脸关键点；
其中，所述位置校正模块包括：
校正模型查找子模块，用于查找所述人脸类型对应的位置校正模型；
第二人脸图像提取子模块，用于基于所述第一人脸关键点在所述图像数据中提取包含所述人脸的第二人脸图像；
位置校正模型调用子模块，用于将所述第二人脸图像输入所述位置校正模型，以对所述第一人脸关键点进行位置校正；
其中，所述人脸类型识别模块包括：
姿态角计算子模块，用于采用所述第一人脸关键点计算所述人脸的姿态角；
姿态角识别子模块，用于基于所述人脸的姿态角识别所述人脸的人脸类型。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的人脸关键点检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的人脸关键点检测方法。
CN201811347185.8A 2018-11-13 2018-11-13 一种人脸关键点检测方法、装置、计算机设备和存储介质 Active CN109376684B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811347185.8A CN109376684B (zh) 2018-11-13 2018-11-13 一种人脸关键点检测方法、装置、计算机设备和存储介质
SG11202104992RA SG11202104992RA (en) 2018-11-13 2019-09-19 Face key point detection method, apparatus, computer device and storage medium
US17/293,402 US11727663B2 (en) 2018-11-13 2019-09-19 Method and apparatus for detecting face key point, computer device and storage medium
RU2021116083A RU2762142C1 (ru) 2018-11-13 2019-09-19 Способ и устройство для определения ключевой точки лица, компьютерное устройство и носитель данных
PCT/CN2019/106587 WO2020098374A1 (zh) 2018-11-13 2019-09-19 人脸关键点检测方法、装置、计算机设备和存储介质
EP19883857.5A EP3882809B1 (en) 2018-11-13 2019-09-19 Face key point detection method, apparatus, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811347185.8A CN109376684B (zh) 2018-11-13 2018-11-13 一种人脸关键点检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109376684A CN109376684A (zh) 2019-02-22
CN109376684B true CN109376684B (zh) 2021-04-06

Family

ID=65384722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811347185.8A Active CN109376684B (zh) 2018-11-13 2018-11-13 一种人脸关键点检测方法、装置、计算机设备和存储介质

Country Status (6)

Country Link
US (1) US11727663B2 (zh)
EP (1) EP3882809B1 (zh)
CN (1) CN109376684B (zh)
RU (1) RU2762142C1 (zh)
SG (1) SG11202104992RA (zh)
WO (1) WO2020098374A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109949237A (zh) * 2019-03-06 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN109993067B (zh) * 2019-03-07 2022-01-28 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN111797656B (zh) * 2019-04-09 2023-08-22 Oppo广东移动通信有限公司 人脸关键点检测方法、装置、存储介质及电子设备
CN110008930A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于识别动物面部状态的方法和装置
CN110147742B (zh) * 2019-05-08 2024-04-16 腾讯科技（深圳）有限公司 一种关键点定位方法、装置及终端
CN110147776B (zh) * 2019-05-24 2021-06-11 北京百度网讯科技有限公司 确定人脸关键点位置的方法和装置
CN112016371B (zh) * 2019-05-31 2022-01-14 广州市百果园信息技术有限公司 人脸关键点检测方法、装置、设备及存储介质
CN110348496B (zh) * 2019-06-27 2023-11-14 广州久邦世纪科技有限公司 一种人脸图像融合的方法及系统
CN111104846B (zh) * 2019-10-16 2022-08-30 平安科技（深圳）有限公司 数据检测方法、装置、计算机设备和存储介质
CN111027600B (zh) * 2019-11-25 2021-03-23 腾讯科技（深圳）有限公司 图像类别预测方法和装置
CN111091083B (zh) * 2019-12-09 2023-08-08 Oppo广东移动通信有限公司 基于图像的人脸尺度计算方法、装置及电子设备
CN111292253B (zh) * 2019-12-11 2023-04-18 新绎健康科技有限公司 一种人体辉光图像校准方法及装置
CN111046801A (zh) * 2019-12-13 2020-04-21 广州市久邦数码科技有限公司 一种人脸面部图像处理方法
CN111061899B (zh) * 2019-12-18 2022-04-26 深圳云天励飞技术股份有限公司 一种档案代表图片生成方法、装置和电子设备
CN111191571A (zh) * 2019-12-26 2020-05-22 新绎健康科技有限公司 一种基于人脸特征点检测的中医面诊脸部分区方法和系统
CN111488836B (zh) * 2020-04-13 2023-06-02 广州市百果园信息技术有限公司 人脸轮廓修正方法、装置、设备及存储介质
SG10202004550UA (en) * 2020-05-15 2021-12-30 Yitu Pte Ltd A method, a device and a computer-readable storage medium for face frontalization
CN111832557A (zh) * 2020-06-04 2020-10-27 北京百度网讯科技有限公司 电网巡检方法、装置、电子设备及存储介质
CN111726536B (zh) * 2020-07-03 2024-01-05 腾讯科技（深圳）有限公司 视频生成方法、装置、存储介质及计算机设备
CN113971822A (zh) * 2020-07-22 2022-01-25 武汉Tcl集团工业研究院有限公司 一种人脸检测方法、智能终端及存储介质
CN112069885A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 人脸属性识别方法、装置及移动终端
CN112633084B (zh) * 2020-12-07 2024-06-11 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112597944B (zh) * 2020-12-29 2024-06-11 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN115705750A (zh) * 2021-08-12 2023-02-17 北京旷视科技有限公司 一种人脸关键点检测、妆容处理方法、装置及存储介质
CN114399803A (zh) * 2021-11-30 2022-04-26 际络科技(上海)有限公司 人脸关键点检测方法及装置
CN114373043A (zh) * 2021-12-16 2022-04-19 聚好看科技股份有限公司 一种头部三维重建方法及设备
KR102584485B1 (ko) * 2022-02-14 2023-10-04 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법
CN114742725B (zh) * 2022-03-30 2025-09-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115223114A (zh) * 2022-09-16 2022-10-21 松立控股集团股份有限公司 一种基于双向融合特征金字塔的端到端车辆姿态估计方法
CN116152896A (zh) * 2023-02-17 2023-05-23 佛山虎牙虎信科技有限公司 人脸关键点预测方法、app、终端设备及存储介质
CN116664533A (zh) * 2023-06-05 2023-08-29 济南博观智能科技有限公司 一种缝合缺陷检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361316A (zh) * 2014-10-30 2015-02-18 中国科学院自动化研究所 一种基于多尺度时序建模的维度情感识别方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831846A (zh) * 2006-04-20 2006-09-13 上海交通大学 基于统计模型的人脸姿势识别方法
JP4781467B2 (ja) * 2007-04-16 2011-09-28 富士通株式会社 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
TWI405143B (zh) * 2009-11-27 2013-08-11 Altek Corp 用於辨識的物件影像校正裝置與其方法
CN101968846B (zh) 2010-07-27 2013-05-15 上海摩比源软件技术有限公司 一种人脸跟踪方法
JP6424822B2 (ja) * 2013-08-29 2018-11-21 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
WO2015180100A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
CN104091148B (zh) 2014-06-16 2017-06-27 联想(北京)有限公司 一种人脸特征点定位方法和装置
CN104091149B (zh) * 2014-06-20 2018-01-26 中国船舶重工集团公司第七二六研究所 人脸的采集建模训练系统及其采集建模训练方法
CN105320954A (zh) * 2014-07-30 2016-02-10 北京三星通信技术研究有限公司 人脸认证装置和方法
CN105468950B (zh) * 2014-09-03 2020-06-30 阿里巴巴集团控股有限公司 身份认证方法、装置、终端及服务器
CN104268591B (zh) 2014-09-19 2017-11-28 海信集团有限公司 一种面部关键点检测方法及装置
CN105205462A (zh) 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
CN107545220A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种人脸识别方法及装置
CN106295567B (zh) 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
RU2647670C1 (ru) 2016-09-27 2018-03-16 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN107066983B (zh) 2017-04-20 2022-08-09 腾讯科技（上海）有限公司 一种身份验证方法及装置
CN108230293A (zh) * 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN107545252A (zh) * 2017-08-31 2018-01-05 北京图铭视界科技有限公司 基于多姿态人脸模型的视频中人脸识别方法及装置
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN108460345A (zh) * 2018-02-08 2018-08-28 电子科技大学 一种基于人脸关键点定位的面部疲劳检测方法
JP6919619B2 (ja) * 2018-04-12 2021-08-18 オムロン株式会社 画像解析装置、方法およびプログラム
CN108764048B (zh) * 2018-04-28 2021-03-16 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361316A (zh) * 2014-10-30 2015-02-18 中国科学院自动化研究所 一种基于多尺度时序建模的维度情感识别方法
CN106339680A (zh) * 2016-08-25 2017-01-18 北京小米移动软件有限公司 人脸关键点定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pose Correction and Subject-Specific Features for Face Authentication;D.Gonzalez-Jimenez 等;《18th International Conference on Pattern Recognition (ICPR"06)》;20060918;第1-4页 *

Also Published As

Publication number Publication date
US20220051000A1 (en) 2022-02-17
EP3882809A4 (en) 2022-01-05
RU2762142C1 (ru) 2021-12-16
CN109376684A (zh) 2019-02-22
EP3882809A1 (en) 2021-09-22
WO2020098374A1 (zh) 2020-05-22
US11727663B2 (en) 2023-08-15
SG11202104992RA (en) 2021-06-29
EP3882809B1 (en) 2024-10-16

Similar Documents

Publication Publication Date Title
CN109376684B (zh) 一种人脸关键点检测方法、装置、计算机设备和存储介质
US12299963B2 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN106709404B (zh) 图像处理装置及图像处理方法
CN112784810A (zh) 手势识别方法、装置、计算机设备和存储介质
CN109344742A (zh) 特征点定位方法、装置、存储介质和计算机设备
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN113269125B (zh) 一种人脸识别方法、装置、设备及存储介质
US12327299B2 (en) Facial expression image processing method and apparatus, and electronic device
WO2023045183A1 (zh) 图像处理
CN113971742A (zh) 关键点检测、模型的训练、直播方法、装置、设备及介质
WO2018100668A1 (en) Image processing device, image processing method, and image processing program
CN114332716A (zh) 视频中场景的聚类方法、装置、电子设备及存储介质
CN114333038B (zh) 对象识别模型的训练方法和对象识别方法、装置、设备
WO2020022329A1 (ja) 物体検出認識装置、方法、及びプログラム
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN114241559A (zh) 人脸识别方法、装置、设备及存储介质
CN114299288A (zh) 图像分割方法、装置、设备和存储介质
CN114282057B (zh) 影视角色分类方法、装置、计算机设备和存储介质
CN113128277A (zh) 一种人脸关键点检测模型的生成方法及相关设备
CN112101479B (zh) 一种发型识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221129

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511442 23-39 / F, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.