[go: up one dir, main page]

CN111710036A - 三维人脸模型的构建方法、装置、设备及存储介质 - Google Patents

三维人脸模型的构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111710036A
CN111710036A CN202010685183.0A CN202010685183A CN111710036A CN 111710036 A CN111710036 A CN 111710036A CN 202010685183 A CN202010685183 A CN 202010685183A CN 111710036 A CN111710036 A CN 111710036A
Authority
CN
China
Prior art keywords
face
dimensional
key
region
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010685183.0A
Other languages
English (en)
Other versions
CN111710036B (zh
Inventor
林祥凯
王盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010685183.0A priority Critical patent/CN111710036B/zh
Publication of CN111710036A publication Critical patent/CN111710036A/zh
Priority to PCT/CN2021/097567 priority patent/WO2022012192A1/zh
Priority to JP2022549363A priority patent/JP7456670B2/ja
Priority to EP21842458.8A priority patent/EP4057234B1/en
Priority to US17/751,496 priority patent/US12293465B2/en
Application granted granted Critical
Publication of CN111710036B publication Critical patent/CN111710036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种三维人脸模型的构建方法、装置、设备及存储介质,属于人工智能的计算机视觉技术领域。所述方法包括:获取目标对象的人脸点云;通过展开计算确定人脸点云中的三维数据点在目标对象的人脸纹理图像上对应的像素点坐标,得到三维数据点的索引信息;对人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息;根据三角剖分信息、索引信息以及人脸点云,得到初始三维人脸模型;确定初始三维人脸模型中的非关键区域;对初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;将初始三维人脸模型中的非关键区域替换为平滑后的非关键区域,得到目标对象的三维人脸模型。本申请实施例提高了三维人脸重建的效率。

Description

三维人脸模型的构建方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能的计算机视觉技术领域,特别涉及一种三维人脸模型的构建方法、装置、设备及存储介质。
背景技术
3D(3Dimensions,三维)人脸重建是指从一张或多张2D(2Dimensions,二维)图像中重建出人脸的3D模型(mesh)。
在相关技术中,通过如下方式进行三维人脸重建:获取目标对象的一张或多张人脸图像,从人脸图像中获取人脸上各个部位的点,根据该人脸上各个部位的点形成三维点云数据,进一步地对该三维点云数据进行泊松重建,得到该目标对象的三维人脸模型。
然而,上述基于泊松重建的三维人脸重建耗时较长,效率低。
发明内容
本申请实施例提供了一种三维人脸模型的构建方法、装置、设备及存储介质,提高了三维人脸重建的效率。技术方案如下:
一方面,本申请实施例提供一种三维人脸模型的构建方法,所述方法包括:
获取目标对象的人脸点云;
通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息;
对所述人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,所述三角剖分信息用于指示所述像素点对应的三角形拓扑;
根据所述三角剖分信息、所述索引信息以及所述人脸点云,得到初始三维人脸模型;
确定所述初始三维人脸模型中的非关键区域,所述非关键区域是指所述初始三维人脸模型中覆盖非人脸关键三维数据点的区域;
对所述初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;
将所述初始三维人脸模型中的非关键区域替换为所述平滑后的非关键区域,得到所述目标对象的三维人脸模型。
另一方面,本申请实施例提供一种三维人脸模型的构建装置,所述装置包括:
点云获取模块,用于获取目标对象的人脸点云;
索引获取模块,用于通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息;
三角剖分模块,用于对所述人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,所述三角剖分信息用于指示所述像素点对应的三角形拓扑;
模型初建模块,用于根据所述三角剖分信息、所述索引信息以及所述人脸点云,得到初始三维人脸模型;
区域确定模块,用于确定所述初始三维人脸模型中的非关键区域,所述非关键区域是指所述初始三维人脸模型中覆盖非人脸关键三维数据点的区域;
区域平滑模块,用于对所述初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;
区域替换模块,用于将所述初始三维人脸模型中的非关键区域替换为所述平滑后的非关键区域,得到所述目标对象的三维人脸模型。
另一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的方法。
再一方面,本申请实施例提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的方法。
再一方面,本申请实施例提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面中提供的方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过对展开计算确定得到的人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,然后基于该三角剖分信息得到三维人脸模型,本申请实施例基于三角剖分构建三维人脸模型,速度快,效率高。
另外,在得到初始三维人脸模型后,对该初始三维人脸模型中的非关键区域进行平滑处理,从而得到三维人脸模型,该三维人脸模型的效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的三维人脸模型的重建流程的框架图;
图2是本申请一个实施例提供的三维人脸模型的构建方法的流程图;
图3是本申请一个实施例提供的人脸点云在不同观察视角下的示意图;
图4是本申请一个实施例提供的三角形拓扑的示意图;
图5是本申请一个实施例提供的初始三维人脸模型的示意图;
图6是本申请一个实施例提供的三维人脸模型的示意图;
图7是本申请另一个实施例提供的三维人脸模型的构建方法的流程图;
图8是本申请一个实施例提供的人脸点云在三维坐标下的示意图;
图9是本申请一个实施例提供的人脸纹理图像上的像素点的示意图;
图10是本申请一个实施例提供的目标区域的示意图;
图11是本申请另一个实施例提供的三角形拓扑的示意图;
图12是本申请一个实施例提供的非关键区域的示意图;
图13是本申请另一个实施例提供的三维人脸模型的示意图;
图14是本申请一个实施例提供的三维人脸模型的构建流程框图;
图15是本申请一个实施例提供的人脸图像的示意图;
图16是本申请一个实施例提供的区域纹理图像的示意图;
图17是本申请一个实施例提供的人脸纹理图像的示意图;
图18是本申请一个实施例提供的带纹理的三维人脸模型的示意图;
图19是本申请一个实施例提供的三维人脸模型的构建装置的框图;
图20是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
AI(Artificial Intelligence,人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV):计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及三维人脸重建技术领域,利用计算机视觉技术对目标对象的人脸图像进行分析处理,构建出目标对象的三维人脸模型,并且可以生成该目标对象的人脸纹理图像,通过该人脸纹理图像对上述三维人脸模型进行渲染,生成带纹理的人脸模型。
参考图1,其示出了本申请提供的三维人脸模型的重建流程的框架图。从该流程中可以看出,输入数据包括目标对象的人脸点云11,输出数据包括该目标对象的三维人脸模型12。在获取目标对象的人脸点云11之后,一方面通过展开计算确定人脸点云11中的三维数据点在目标对象的人脸纹理图像13上对应的像素点坐标,得到该三维数据点的索引信息;另一方面对人脸纹理图像13上的像素点进行三角剖分,得到三角剖分信息,该三角剖分信息用于指示该像素点对应的三角形拓扑14。然后根据上述索引信息和三角剖分信息,生成初始三维人脸模型15。在得到初始三维人脸模型15之后,需要对该初始三维人脸模型15中的非关键区域进行平滑处理,得到平滑处理后的非关键区域;最后将初始三维人脸模型15中的非关键区域替换为上述平滑后的非关键区域,得到目标对象的三维人脸模型12。
本申请实施例提供的方法流程,各步骤的执行主体可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC(Personal Computer,个人计算机)等终端,也可以是服务器。为了便于说明,在下述方法实施例中,仅以各步骤的执行主体为计算机设备为例进行介绍说明,上述计算机设备可以是任何具备计算和存储能力的电子设备,如上文介绍的终端或服务器。
下面,将结合几个实施例对本申请技术方案进行详细的介绍说明。
请参考图2,其示出了本申请一个实施例提供的三维人脸模型的构建方法的流程图。该方法可以包括如下几个步骤。
步骤201,获取目标对象的人脸点云。
目标对象是指具有构建三维人脸模型需求的任意用户,目标对象可以是任意一个人,该目标对象可以是真人,也可以是机器人或者其它占有一定空间体积的立体人物,本申请实施例对此不作限定。
人脸点云是指人脸对应的点云,是采用多个三维数据点来描述目标对象的人脸的三维数据。人脸点云包括多个三维数据点,三维数据点是指三维立体空间中的一个点,每个三维数据点在三维立体空间中可以采用一个(x,y,z)的三维坐标来表示。
在可能的实现方式中,计算机设备采集目标对象的至少一个图像对,每个图像对包括彩色图像和深度图像;然后根据彩色图像和深度图像提取目标对象的人脸点云。其中,人脸点云中的每个三维数据点的x坐标和y坐标可以由彩色图像来确定,三维数据点的z坐标可以由深度图像来确定。
如图3所示,其示出了人脸点云在不同观察视角下的示意图,图3中(a)部分示出了人脸点云在正脸姿态下的示意图,图3中(b)部分和图3中(c)部分示出了人脸点云在右边侧脸姿态下的示意图,图3中(d)部分示出了人脸点云在右边侧脸抬头姿态下的示意图,图3中(e)部分示出了人脸点云在抬头姿态下的示意图。
步骤202,通过展开计算确定人脸点云中的三维数据点在目标对象的人脸纹理图像上对应的像素点坐标,得到三维数据点的索引信息。
可选地,该索引信息也可以称为uv索引,人脸点云中的每个三维数据点的uv索引,是指该三维数据点在人脸纹理图像上对应的像素点坐标(u,v)。
步骤203,对人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息。
在本申请实施例中,三角剖分信息用于指示像素点对应的三角形拓扑。在目标对象的人脸纹理图像中,邻近的三个像素点可以连接形成一个三角形拓扑(或称为三角形面片)。
在本申请实施例中,三角剖分就是给定一组像素点,将各像素点之间以三角形相互连接,形成一张三角网格,其实质是将像素点与其临近点间的拓扑关系以三角网格的形式反映出来。
在可能的实现方式中,对人脸纹理图像上的像素点进行Delaunay三角剖分,得到三角剖分信息。
如图4所示,计算机设备对左侧的人脸纹理图像41进行三角剖分,得到右侧的三角形拓扑42,根据该三角形拓扑42可确定三角剖分信息。
步骤204,根据三角剖分信息、索引信息以及人脸点云,得到初始三维人脸模型。
根据三角剖分信息,可以确定每个像素点对应的三角形拓扑,而根据索引信息可以确定与人脸纹理图像上的像素点对应的人脸点云中的三维数据点,因而最终可以得到人脸点云中的每个三维数据点对应的三角形拓扑,基于每个三维数据点对应的三角形拓扑,可以得到如图5所示的初始三维人脸模型,图5中(a)部分示出了正脸姿态下的初始三维人脸模型,图5中(b)部分示出了右边侧脸姿态下的初始三维人脸模型,图5中(c)部分示出了抬头姿态下的初始三维人脸模型。
如图5所示,由于下巴区域的重叠造成初始三维人脸模型中下巴区域效果较差,因此,需要对初始三维人脸模型中的下巴区域进行调整优化,需要说明的是,下巴区域属于非关键区域。
步骤205,确定初始三维人脸模型中的非关键区域。
在本申请实施例中,非关键区域是指初始三维人脸模型中覆盖非人脸关键三维数据点的区域。非人脸关键三维数据点是指非人脸关键点对应的三维数据点。人脸关键点可以包括眉毛、眼睛、嘴唇等人脸关键部位上的关键点。
计算机设备确定出初始三维人脸模型中的非关键区域之后,可以对该非关键区域进行调整优化。
步骤206,对初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域。
在可能的实现方式中,将初始三维人脸模型中的非关键区域送入拉普拉斯网格光顺算法中做平滑处理,得到平滑后的非关键区域。
步骤207,将初始三维人脸模型中的非关键区域替换为平滑后的非关键区域,得到目标对象的三维人脸模型。
目标对象的三维人脸模型是指基于人脸点云重构出的目标对象的人脸的三维模型。一个三维人脸模型可以包括点云和三角形拓扑。
如图6所示,其示出了对人脸点云进行重建后,生成的该目标对象的三维人脸模型在不同观察视角下的示意图,图6中(a)部分是三维人脸模型在正脸角度下的示意图,图6中(b)部分、图6中(c)部分和图6中(d)部分是三维人脸模型在左边侧脸姿态下的示意图,图6中(e)部分是三维人脸模型在抬头角度下的示意图。
综上所述,本申请实施例提供的技术方案中,通过对展开计算确定得到的人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,然后基于该三角剖分信息得到三维人脸模型,本申请实施例基于三角剖分构建三维人脸模型,速度快,效率高。
另外,在得到初始三维人脸模型后,对该初始三维人脸模型中的非关键区域进行平滑处理,从而得到三维人脸模型,该三维人脸模型的效果较好。
请参考图7,其示出了本申请另一个实施例提供的三维人脸模型的构建方法的流程图。该方法可以包括如下几个步骤。
步骤701,获取目标对象的人脸点云。
有关步骤701的介绍说明可参见上文实施例,此处不再赘述。
步骤702,对人脸点云进行栅格降采样,得到降采样后的人脸点云。
在本申请实施例中,人脸点云中的脖子区域和非脖子区域对应的栅格密度不同。脖子区域为非关键区域,因此可以对脖子区域做大的降采样,如可以降低脖子区域对应的栅格密度来实现大的降采样。
在可能的实现方式中,步骤702包括如下几个子步骤:
步骤702a,在三维空间中按照第一栅格密度划分脖子区域对应的多个栅格,以及按照第二栅格密度划分非脖子区域对应的多个栅格。
在可能的实现方式中,第一栅格密度低于第二栅格密度,从而实现对脖子区域做大的降采样。
步骤702b,将人脸点云融合至三维空间中的多个栅格内。
步骤702c,对每个栅格内包括的人脸点云中的三维数据点的三维坐标在相同坐标维度下取均值,得到降采样后的人脸点云。
例如,一个栅格内包括三个三维数据点:三维数据点1、三维数据点2和三维数据点3。三维数据点1的三维坐标为(x1,y1,z1),三维数据点2的三维坐标为(x2,y2,z2),三维数据点3的三维坐标为(x3,y3,z3),则该栅格经过降采样后包括一个三维数据点,该三维数据点的三维坐标为((x1+x2+x3)/3,(y1+y2+y3)/3,(z1+z2+z3)/3)。需要说明的是,三维空间内的每个栅格的降采样处理方式与此类似,此处不再赘述。
对人脸点云进行降采样,可以使得人脸点云分布得较为均匀。另外,先对人脸点云进行栅格降采样,然后才进行后续的处理流程,可以降低计算机设备的处理开销。
步骤703,通过展开计算确定人脸点云中的三维数据点在目标对象的人脸纹理图像上对应的像素点坐标,得到三维数据点的索引信息。
在可能的实现方式中,步骤703包括如下几个子步骤:
步骤703a,获取人脸点云中的三维数据点在三维坐标系中的三维坐标。
在构建好的三维坐标系下,可以获取人脸点云中的三维数据点在三维坐标系中的三维坐标,该三维坐标可以表示为(x,y,z)。
可选地,在获取上述三维坐标之前,先构建三维坐标系。三维坐标系可以包括x、y、z轴,且两两互相垂直。可选地,x轴为水平方向上的坐标轴,如其可以是从左眼到右眼的方向;y轴为竖直方向上的坐标轴,如其可以是从眉心到嘴巴的方向;z轴为深度方向上的坐标轴,如其可以是从后脑勺到鼻尖的方向。如图8所示,图8中(a)部分示出了从左向右看时观察得到的人脸点云的示意图,从该图8中(a)部分可以明显的看到z轴方向和y轴方向;图8中(b)部分示出了从头顶向下俯视观察得到的人脸点云的示意图,从该俯视图视角可以明显的看到x轴方向和z轴方向。
步骤703b,根据三维数据点的三维坐标,通过柱形展开计算确定三维数据点在人脸纹理图像上对应的像素点坐标,得到索引信息。
在本申请实施例中,可以将人脸点云当成一个圆柱体,从圆柱顶面到底面的方向即为从头顶向下俯视的方向。通过柱形展开可以计算出各个三维数据点(x,y,z)在人脸纹理图像上对应的像素点坐标(u,v)。可选地,该计算公式可以如下所示:
v=(y-ymin)/(ymax-ymin);
u=atan(z/x);
其中,v表示展开纵坐标,u表示展开横坐标,ymax和ymin分别表示人脸点云中包括的三维数据点的y轴的最大值和最小值,atan()函数表示反正切函数。
需要说明的是,u分象限处理,从而实现与人脸点云的位置对应起来。
通过上述公式,即可以将人脸点云通过柱形展开得到一个平面二维的uv索引,如图9所示,其示出了本申请一个实施例提供的人脸纹理图像91上的像素点的示意图。
在可能的实现方式中,除了用柱形展开计算确定像素点坐标,还可以通过球状展开计算确定像素点坐标,此时,v=atan(z/y),u=atan(z/x);或者还可以通过立体展开计算确定像素点坐标,此时,u=(x-xmin)/(xmax-xmin),v=(y-ymin)/(ymax-ymin)。
步骤704,对人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息。
在本申请实施例中,三角剖分信息用于指示像素点对应的三角形拓扑。
步骤705,根据三角剖分信息、索引信息以及人脸点云,得到初始三维人脸模型。
步骤706,确定人脸纹理图像中的非人脸关键像素点。
在可能的实现方式中,步骤706包括如下几个子步骤:
步骤706a,确定人脸纹理图像中的关键区域对应的凸包。
在本申请实施例中,关键区域是指人脸纹理图像中人脸关键像素点覆盖的区域。人脸关键像素点是指人脸关键点对应的像素点,凸包是指刚好包着上述人脸关键点的区域。
步骤706b,基于膨胀阈值放大凸包,得到目标区域。
可选地,膨胀阈值基于分辨率进行设置。如图10所示,其示出了本申请一个实施例提供的目标区域的示意图,基于膨胀阈值对凸包101进行放大,得到目标区域102。
步骤706c,将人脸纹理图像中除目标区域以外的区域包括的像素点确定为非人脸关键像素点。
除目标区域以外的区域包括的像素点可以认为是距离脸部较远的脖子点,距离脸部较远的脖子点即是非人脸关键像素点。如图10中的区域103中包括的像素点可以认为是非人脸关键像素点。
对凸包进行放大后,得到目标区域,基于该目标区域确定非人脸关键像素点,可以使得后续的平滑处理更为精确,且平滑后的非关键区域与初始三维人脸模型的融合更为自然。
步骤707,基于非人脸关键像素点、三角剖分信息和索引信息,确定非人脸关键三维数据点和非人脸关键三维数据点对应的三角形拓扑。
基于非人脸关键像素点和三角剖分信息可以确定出非人脸关键像素点对应的三角形拓扑,如图11所示,带斜线的区域110即为非人脸关键像素点对应的三角形拓扑。
索引信息反映了人脸纹理图像上的像素点与人脸点云中的三维数据点的对应关系,因此基于非人脸关键像素点和索引信息可以确定出非人脸关键三维数据点。基于非人脸关键三维数据点和三角剖分信息,可以确定出非人脸关键三维数据点对应的三角形拓扑。
步骤708,将非人脸关键三维数据点对应的三角形拓扑形成的区域确定为非关键区域。
如图12所示,图12中的深色区域120表示非关键区域,图12中(a)部分示出了正脸姿态下的非关键区域的示意图,图12中(b)部分示出了侧脸姿态下的非关键区域的示意图。
步骤709,对初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域。
步骤710,将初始三维人脸模型中的非关键区域替换为平滑后的非关键区域,得到目标对象的三维人脸模型。
将初始三维人脸模型中的非关键区域替换为平滑后的非关键区域,消除了下巴区域的重叠,最终得到如图13所示的三维人脸模型的示意图,图13中(a)部分示出了正脸姿态下的三维人脸模型的示意图,图13中(b)部分示出了右边侧脸姿态下的三维人脸模型的示意图。
参考图14,其示出了本申请一个实施例提供的三维人脸模型的构建流程框图。该三维人脸模型的构建流程框图包括栅格降采样模块1401、柱状展开模块1402、三角剖分模块1403、分区域平滑模块1404。栅格降采样模块1401用于对人脸点云进行栅格降采样,得到降采样后的人脸点云。柱状展开模块1402用于对降采样后的人脸点云进行柱状展开计算确定索引信息。三角剖分模块1403用于对人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,从而基于该三角剖分信息、索引信息和人脸点云,得到初始三维人脸模型。分区域平滑模块1404用于对初始三维人脸模型中的非关键区域做平滑处理,得到目标对象的三维人脸模型。在可能的实现方式中,上述三维人脸模型的构建流程框图还包括提取纹理模块1405。提取纹理框图1405用于生成目标对象的人脸纹理图像,有关生成目标对象的人脸纹理图像的具体流程可参见下文实施例,此处不再赘述。
综上所述,本申请实施例提供的技术方案中,通过对人脸点云进行栅格降采样,可以使得人脸点云的分布较为均匀,起到一定的平滑的效果。另外,先对人脸点云进行降采样,后续计算机设备对降采样后的人脸点云进行处理时,可以降低计算机设备的处理开销。
在示意性实施例中,当计算机设备生成目标对象的三维人脸模型之后,可以进一步生成目标对象的人脸纹理图像。可选地,通过如下方式生成目标对象的人脸纹理图像:
第一、获取目标对象的n种头部姿态对应的n个人脸图像,n为正整数。
目标对象的人脸图像是指包含该目标对象的人脸的RGB图像(或称为彩色图像),该RGB图像可以是通过摄像头对目标对象进行拍摄得到。RGB图像的每个像素值采用R(Red,红)、G(Green,绿)、B(Blue,蓝)三个通道的颜色分量来表示。可选地,在拍摄获取目标对象的RGB图像时,还可以获取与每个RGB图像对应的深度图像,深度图像是指将从摄像头到目标对象所处场景中各点的距离值作为像素值的图像。深度图像也称为距离影像。深度图像反映了物体可见表面的几何形状。深度图像类似于灰度图像,只是深度图像的每个像素值是摄像头距离物体的实际距离。目标对象的RGB图像和深度图像可以是配准的,两者的像素点之间具有一对一的对应关系。
目标对象的RGB图像和深度图像可以是采用3D摄像头拍摄得到的两张图像,相较于普通2D摄像头仅能够拍摄RGB图像,3D摄像头除了能够拍摄RGB图像之外,还能够拍摄深度图像。其中,3D摄像头可以包括彩色摄像头和深度传感器,彩色摄像头用于拍摄RGB图像,深度传感器用于采集深度信息以生成深度图像。
上述n个人脸图像可以是目标对象在n种头部姿态下的人脸图像。
在一个示例中,n的取值为1,例如获取目标对象在正脸姿态下的人脸图像。
在另一个示例中,为了提升3D人脸重建的准确性,n的取值大于1,例如上述n种头部姿态包括正脸姿态、右边侧脸姿态、左边侧脸姿态和抬头姿态。
计算机设备获取目标对象在哪些头部姿态下的人脸图像,可以预先进行设定。示例性地,如图15所示,获取目标对象在4种头部姿态下的人脸图像:右边侧脸姿态、正脸姿态、左边侧脸姿态和抬头姿态。
可选地,通过固定用于采集目标对象的人脸图像的相机位置,目标对象转动头部,由相机采集目标对象的多个人脸图像。例如,目标对象转动头部的全过程的图像,都会被相机采集并保存下来。出于效率的考虑,不需要采集的全部图像进行计算,因为很多数据是重复的,目标对象转动头部的全过程中会采集几百个人脸图像,如果这几百个人脸图像全部用于计算会很浪费计算资源。因此,通过筛选图像从这几百个人脸图像中筛选出几个具有代表性的人脸图像用于后续的计算即可。
在可能的实现方式中,获取目标对象的多个候选的人脸图像;从该多个候选的人脸图像中筛选出质量合格的目标图像;从目标图像中选取n种头部姿态下的人脸图像。其中,质量不合格(例如眨眼、运动模糊等)的人脸图像会被剔除,保留质量合格的目标图像,然后在这些质量合格的目标图像中按照头部姿态选出n个人脸图像。
第二、获取三维数据点与人脸图像上的像素点之间的映射关系。
当人脸图像包括n个时,需要分别获取人脸点云中的三维数据点与每个人脸图像上的像素点之间的映射关系,也即获取n组映射关系。
可选地,通过如下方式获取映射关系:对于n个人脸图像中的第i个人脸图像,采用透视投影将三维数据点投影到第i个人脸图像上,得到三维数据点在第i个人脸图像上对应的像素点坐标作为第i组映射关系;其中,上述映射关系包括n组,且n组映射关系中的第i组映射关系与第i个人脸图像相对应,i为小于等于n的正整数。
由于每个人脸图像对应的头部姿态已知,因此可以根据该头部姿态对人脸点云进行旋转、平移等处理,再根据相机参数透视投影到与该头部姿态对应的人脸图像上。
第三、分别从n个人脸图像中获取与头部姿态相对应的图像区域,得到n个有效区域。
当人脸图像的数量n大于1时,由于会生成n组映射关系,每组映射关系结合索引信息都可以生成一张目标对象的人脸纹理图像,需要对该多张人脸纹理图像进行多视角融合,最终生成一张融合后的人脸纹理图像。
可选地,此步骤包括如下几个子步骤:
1、对于n个人脸图像中的第i个人脸图像,从第i个人脸图像中检测得到人脸关键点。
人脸关键点包括眉毛、眼睛、嘴唇、人脸轮廓等人脸关键部位上的关键点。
2、根据人脸关键点的位置和预定义的规则,获取第i个人脸图像中的有效区域。
第i个人脸图像中的有效区域,是指根据该第i个人脸图像对应的头部姿态确定的用于融合生成最终的人脸纹理图像的区域。
以确定第i个人脸图像中的有效区域为例,在从该第i个人脸图像中检测得到人脸关键点之后,以鼻尖点为中心画一个圆,该圆的大小是由所有的人脸关键点中距离鼻尖点的距离最大值决定的,也即该圆是以鼻尖点为圆心包含检测出的所有人脸关键点的最小圆。然后,从该圆形区域中选取一个包含在当前头部姿态下完整可见的人脸部位的区域,作为有效区域。示例性地,如果该第i个人脸图像是正脸姿态的人脸图像,那么可以直接将该圆包含的区域确定为有效区域;如果该第i个人脸图像是左边侧脸姿态的人脸图像,那么生成一条经过左眼左侧眼角、左侧嘴角以及下巴中心位置这3个关键点的线条,该线条与上述圆相交所形成的包含左边侧脸的区域作为有效区域;如果该第i个人脸图像是右边侧脸姿态的人脸图像,那么生成一条经过右眼右侧眼角、右侧嘴角以及下巴中心位置这3个关键点的线条,该线条与上述圆相交所形成的包含右边侧脸的区域作为有效区域;如果该第i个人脸图像是抬头姿态的人脸图像,那么将左侧嘴角、右侧嘴角、左脸颊轮廓点、右脸颊轮廓点以及上述圆围合而成的,包含下巴部分的区域作为有效区域。
第四、对于n个有效区域中的第i个有效区域,根据映射关系获取第i个有效区域中的像素点对应的目标三维数据点,i为小于等于n的正整数。
第五、根据索引信息获取目标三维数据点在第i个有效区域对应的区域纹理图像上的目标像素点。
第六、对目标像素点进行渲染,生成第i个有效区域对应的区域纹理图像;其中,目标像素点的像素值根据第i个有效区域中的像素点的像素值确定。
如图16所示,图16中(a)部分示出了正脸姿态的人脸图像中的有效区域对应的区域纹理图像,图16中(b)部分示出了左边侧脸姿态的人脸图像中的有效区域对应的区域纹理图像,图16中(c)部分示出了右边侧脸姿态的人脸图像中的有效区域对应的区域纹理图像,图16中(d)部分示出了抬头姿态的人脸图像中的有效区域对应的区域纹理图像。
第七、对n个区域纹理图像进行图像融合,生成目标对象的人脸纹理图像。
在生成n个有效区域分别对应的区域纹理图像之后,由于n个有效区域拼合形成完整人脸,因此,可以对上述n个区域纹理图像进行拼合,生成目标对象的人脸纹理图像。
由于各个头部姿态下的光照条件可能有所不同,导致各个人脸图像之间的颜色存在一定的差异,如正脸明显偏白。此时,如果直接将n个区域纹理图像进行拼合生成目标对象的人脸纹理图像,拼接位置处会出现明显的分界线。为了得到更加平滑效果,可以采用如下步骤对n个区域纹理图像进行图像融合:
1、计算n个区域纹理图像的平均颜色。
可选地,此步骤包括如下几个子步骤:
1.1、对于n个区域纹理图像中的第i个区域纹理图像,从第i个区域纹理图像的有效区域中采样获取至少一个像素点的像素值,计算得到第i个区域纹理图像的像素值均值,i为小于等于n的正整数。
1.2、根据n个区域纹理图像的像素值均值,计算得到n个区域纹理图像的平均颜色。
2、将n个区域纹理图像的颜色变换为平均颜色,得到n个变换后的区域纹理图像。
3、对n个变换后的区域纹理图像进行拼合,生成人脸纹理图像。
在得到平均颜色之后,分别将每个区域纹理图像的颜色变换为平均颜色,得到n个变换后的区域纹理图像,然后再对n个变换后的区域纹理图像进行拼合,生成人脸纹理图像,这样就可以使得最终生成的人脸纹理图像中的肤色更加平滑自然,不会出现明显的分界线。示例性地,如图17所示,其示出了对图16中的各个区域纹理图像进行融合,生成的目标对象的人脸纹理图像的示意图。
当计算机设备生成目标对象的人脸纹理图像之后,可以采用该人脸纹理图像对该目标对象的三维人脸模型进行渲染,生成目标对象的带纹理的三维人脸模型,该过程可以包括如下步骤:
1、根据索引信息,获取三维数据点在人脸纹理图像上对应像素点的像素值。
2、根据三维数据点的像素值,渲染三维人脸模型,生成带纹理的三维人脸模型。
对于点云中的每个三维数据点,可以根据该三维数据点对应的uv索引,获取该三维数据点在目标对象的人脸纹理图像上对应像素点的像素值,作为该三维数据点的像素值。另外,三维人脸模型中的每一个三角形面片的像素值,可以采用该三角形面片的三个顶点的像素值的平均值来表示。这样,就可以渲染生成如图18所示的该目标对象的带纹理的三维人脸模型,图18中(a)部分示出了正脸姿态下的三维人脸模型的示意图,图18中(b)部分和图18中(c)部分示出了右边侧脸姿态下的三维人脸模型的示意图,图18中(d)部分示出了左边侧脸姿态下的三维人脸模型的示意图,图18中(e)部分示出了抬头姿态下的三维人脸模型的示意图。
在一种可能的应用场景中,在生成目标对象的带纹理的三维人脸模型之后,可以驱动该三维人脸模型做出不同的表情,如张嘴、闭嘴、眨眼等不同的脸部动作效果。
以语音互动场景为例,在确定待播放的语音消息之后,可以获取与该语音信息对应的表情序列,该表情序列包括至少一个表情;在播放语音消息的过程中,按照表情序列中包含的各个表情的顺序,依次显示目标对象在各个表情下的带纹理的三维人脸模型。其中,语音信息与表情序列之间的映射关系可以预先存储,在确定出待播放的语音信息之后,可以根据上述映射关系,找到与该语音信息对应的表情序列。例如,可以存储每个发音与表情之间的映射关系,在确定出待播放的语音信息之后,可以确定出该语音信息对应的发音序列,该发音序列中包括至少一个按序排列的发音,获取每个发音对应的表情,即可得到与该语音信息对应的表情序列。
通过上述方式,实现了一种基于三维人脸重建得到的模型进行语音交互的方案,且能够根据实时播放的语音,显示相匹配的表情,更加逼真。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图19,其示出了本申请一个实施例提供的三维人脸模型的构建装置的框图。该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置1900可以包括:点云获取模块1910、索引获取模块1920、三角剖分模块1930、模型初建模块1940、区域确定模块1950、区域平滑模块1960和区域替换模块1970。
点云获取模块1910,用于获取目标对象的人脸点云;
索引获取模块1920,用于通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息;
三角剖分模块1930,用于对所述人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,所述三角剖分信息用于指示所述像素点对应的三角形拓扑;
模型初建模块1940,用于根据所述三角剖分信息、所述索引信息以及所述人脸点云,得到初始三维人脸模型;
区域确定模块1950,用于确定所述初始三维人脸模型中的非关键区域,所述非关键区域是指所述初始三维人脸模型中覆盖非人脸关键三维数据点的区域;
区域平滑模块1960,用于对所述初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;
区域替换模块1970,用于将所述初始三维人脸模型中的非关键区域替换为所述平滑后的非关键区域,得到所述目标对象的三维人脸模型。
综上所述,本申请实施例提供的技术方案中,通过对展开计算确定得到的人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,然后基于该三角剖分信息得到三维人脸模型,本申请实施例基于三角剖分构建三维人脸模型,速度快,效率高。
另外,在得到初始三维人脸模型后,对该初始三维人脸模型中的非关键区域进行平滑处理,从而得到三维人脸模型,该三维人脸模型的效果较好。
在示意性实施例中,所述区域确定模块1950,包括:像素点确定单元、拓扑确定单元和区域确定单元(图中未示出)。
像素点确定单元,用于确定所述人脸纹理图像中的非人脸关键像素点;
拓扑确定单元,用于基于所述非人脸关键像素点、所述三角剖分信息和所述索引信息,确定所述非人脸关键三维数据点和所述非人脸关键三维数据点对应的三角形拓扑;
区域确定单元,用于将所述非人脸关键三维数据点对应的三角形拓扑形成的区域确定为所述非关键区域。
在示意性实施例中,所述像素点确定单元,用于:
确定所述人脸纹理图像中的关键区域对应的凸包,所述关键区域是指所述人脸纹理图像中人脸关键像素点覆盖的区域;
基于膨胀阈值放大所述凸包,得到目标区域;
将所述人脸纹理图像中除所述目标区域以外的区域包括的像素点确定为所述非人脸关键像素点。
在示意性实施例中,所述装置,还包括:降采样模块(图中未示出)。
降采样模块,用于对所述人脸点云进行栅格降采样,得到降采样后的所述人脸点云;其中,所述人脸点云中的脖子区域和非脖子区域对应的栅格密度不同。
在示意性实施例中,所述降采样模块,用于:
在三维空间中按照第一栅格密度划分所述脖子区域对应的多个栅格,以及按照第二栅格密度划分所述非脖子区域对应的多个栅格;
将所述人脸点云融合至所述三维空间中的多个栅格内;
对每个栅格内包括的所述人脸点云中的三维数据点的三维坐标在相同坐标维度下取均值,得到降采样后的所述人脸点云。
在示意性实施例中,所述索引获取模块1920,用于:
获取所述人脸点云中的三维数据点在三维坐标系中的三维坐标;
根据所述三维数据点的三维坐标,通过柱形展开计算确定所述三维数据点在所述人脸纹理图像上对应的像素点坐标,得到所述索引信息。
在示意性实施例中,所述装置,还包括:图像获取模块、映射获取模块、区域获取模块、数据点获取模块、像素点获取模块、像素点渲染模块和图像融合模块(图中未示出)。
图像获取模块,用于获取所述目标对象的n种头部姿态对应的n个人脸图像,所述n为正整数;
映射获取模块,用于获取所述三维数据点与所述人脸图像上的像素点之间的映射关系;
区域获取模块,用于分别从所述n个人脸图像中获取与头部姿态相对应的图像区域,得到n个有效区域;
数据点获取模块,用于对于所述n个有效区域中的第i个有效区域,根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点,所述i为小于等于所述n的正整数;
像素点获取模块,用于根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点;
像素点渲染模块,用于对所述目标像素点进行渲染,生成所述第i个有效区域对应的区域纹理图像;其中,所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定;
图像融合模块,用于对所述n个区域纹理图像进行图像融合,生成所述目标对象的所述人脸纹理图像。
在示意性实施例中,所述区域获取模块,用于:
对于所述n个人脸图像中的第i个人脸图像,从所述第i个人脸图像中检测得到人脸关键点;
根据所述人脸关键点的位置和预定义的规则,获取所述第i个人脸图像中的有效区域。
在示意性实施例中,所述装置,还包括:像素值获取模块和模型渲染模块(图中未示出)。
像素值获取模块,用于根据所述索引信息,获取所述三维数据点在所述人脸纹理图像上对应像素点的像素值;
模型渲染模块,用于根据所述三维数据点的像素值,渲染所述三维人脸模型,生成带纹理的三维人脸模型。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图20,其示出了本申请一个实施例提供的计算机设备2000的结构示意图。该计算机设备2000可用于实施上述实施例中提供的三维人脸模型的构建方法。具体来讲:
所述计算机设备2000包括中央处理单元(Central Processing Unit,CPU)2001、包括RAM(Random Access Memory,随机存取存储器)2002和ROM(Read-Only Memory,只读存储器)2003的系统存储器2004,以及连接系统存储器2004和中央处理单元2001的系统总线2005。所述计算机设备2000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统,Input/Output系统)2006,和用于存储操作系统2013、应用程序2014和其他程序模块2015的大容量存储设备2007。
所述基本输入/输出系统2006包括有用于显示信息的显示器2008和用于用户输入信息的诸如鼠标、键盘之类的输入设备2009。其中所述显示器2008和输入设备2009都通过连接到系统总线2005的输入输出控制器2010连接到中央处理单元2001。所述基本输入/输出系统2006还可以包括输入输出控制器2010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器2010还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备2007通过连接到系统总线2005的大容量存储控制器(未示出)连接到中央处理单元2001。所述大容量存储设备2007及其相关联的计算机可读介质为计算机设备2000提供非易失性存储。也就是说,所述大容量存储设备2007可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存(Flash Memory)或其他固态存储设备,CD-ROM、DVD(Digital Versatile Disc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器2004和大容量存储设备2007可以统称为存储器。
根据本申请的各种实施例,所述计算机设备2000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备2000可以通过连接在所述系统总线2005上的网络接口单元2011连接到网络2012,或者说,也可以使用网络接口单元2011来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现上述计算机设备侧的三维人脸模型的构建方法的指令。
在示例性实施例中,还提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述三维人脸模型的构建方法。
在示例性实施例中,还提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述三维人脸模型的构建方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述三维人脸模型的构建方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例或者上述实施例的各种可选实现方式中提供的三维人脸模型的构建方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种三维人脸模型的构建方法,其特征在于,所述方法包括:
获取目标对象的人脸点云;
通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息;
对所述人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,所述三角剖分信息用于指示所述像素点对应的三角形拓扑;
根据所述三角剖分信息、所述索引信息以及所述人脸点云,得到初始三维人脸模型;
确定所述初始三维人脸模型中的非关键区域,所述非关键区域是指所述初始三维人脸模型中覆盖非人脸关键三维数据点的区域;
对所述初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;
将所述初始三维人脸模型中的非关键区域替换为所述平滑后的非关键区域,得到所述目标对象的三维人脸模型。
2.根据权利要求1所述的方法,其特征在于,所述确定所述初始三维人脸模型中的非关键区域,包括:
确定所述人脸纹理图像中的非人脸关键像素点;
基于所述非人脸关键像素点、所述三角剖分信息和所述索引信息,确定所述非人脸关键三维数据点和所述非人脸关键三维数据点对应的三角形拓扑;
将所述非人脸关键三维数据点对应的三角形拓扑形成的区域确定为所述非关键区域。
3.根据权利要求2所述的方法,其特征在于,所述确定所述人脸纹理图像中的非人脸关键像素点,包括:
确定所述人脸纹理图像中的关键区域对应的凸包,所述关键区域是指所述人脸纹理图像中人脸关键像素点覆盖的区域;
基于膨胀阈值放大所述凸包,得到目标区域;
将所述人脸纹理图像中除所述目标区域以外的区域包括的像素点确定为所述非人脸关键像素点。
4.根据权利要求1所述的方法,其特征在于,所述通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息之前,还包括:
对所述人脸点云进行栅格降采样,得到降采样后的所述人脸点云;其中,所述人脸点云中的脖子区域和非脖子区域对应的栅格密度不同。
5.根据权利要求4所述的方法,其特征在于,所述对所述人脸点云进行栅格降采样,得到降采样后的所述人脸点云,包括:
在三维空间中按照第一栅格密度划分所述脖子区域对应的多个栅格,以及按照第二栅格密度划分所述非脖子区域对应的多个栅格;
将所述人脸点云融合至所述三维空间中的多个栅格内;
对每个栅格内包括的所述人脸点云中的三维数据点的三维坐标在相同坐标维度下取均值,得到降采样后的所述人脸点云。
6.根据权利要求1所述的方法,其特征在于,所述通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息,包括:
获取所述人脸点云中的三维数据点在三维坐标系中的三维坐标;
根据所述三维数据点的三维坐标,通过柱形展开计算确定所述三维数据点在所述人脸纹理图像上对应的像素点坐标,得到所述索引信息。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述将所述初始三维人脸模型中的非关键区域替换为平滑后的所述非关键区域,得到所述目标对象的三维人脸模型之后,还包括:
获取所述目标对象的n种头部姿态对应的n个人脸图像,所述n为正整数;
获取所述三维数据点与所述人脸图像上的像素点之间的映射关系;
分别从所述n个人脸图像中获取与头部姿态相对应的图像区域,得到n个有效区域;
对于所述n个有效区域中的第i个有效区域,根据所述映射关系获取所述第i个有效区域中的像素点对应的目标三维数据点,所述i为小于等于所述n的正整数;
根据所述索引信息获取所述目标三维数据点在所述第i个有效区域对应的区域纹理图像上的目标像素点;
对所述目标像素点进行渲染,生成所述第i个有效区域对应的区域纹理图像;其中,所述目标像素点的像素值根据所述第i个有效区域中的像素点的像素值确定;
对所述n个区域纹理图像进行图像融合,生成所述目标对象的所述人脸纹理图像。
8.根据权利要求7所述的方法,其特征在于,所述分别从所述n个人脸图像中获取与头部姿态相对应的图像区域,得到n个有效区域,包括:
对于所述n个人脸图像中的第i个人脸图像,从所述第i个人脸图像中检测得到人脸关键点;
根据所述人脸关键点的位置和预定义的规则,获取所述第i个人脸图像中的有效区域。
9.根据权利要求7所述的方法,其特征在于,所述对所述n个区域纹理图像进行图像融合,生成所述目标对象的所述人脸纹理图像之后,还包括:
根据所述索引信息,获取所述三维数据点在所述人脸纹理图像上对应像素点的像素值;
根据所述三维数据点的像素值,渲染所述三维人脸模型,生成带纹理的三维人脸模型。
10.一种三维人脸模型的构建装置,其特征在于,所述装置包括:
点云获取模块,用于获取目标对象的人脸点云;
索引获取模块,用于通过展开计算确定所述人脸点云中的三维数据点在所述目标对象的人脸纹理图像上对应的像素点坐标,得到所述三维数据点的索引信息;
三角剖分模块,用于对所述人脸纹理图像上的像素点进行三角剖分,得到三角剖分信息,所述三角剖分信息用于指示所述像素点对应的三角形拓扑;
模型初建模块,用于根据所述三角剖分信息、所述索引信息以及所述人脸点云,得到初始三维人脸模型;
区域确定模块,用于确定所述初始三维人脸模型中的非关键区域,所述非关键区域是指所述初始三维人脸模型中覆盖非人脸关键三维数据点的区域;
区域平滑模块,用于对所述初始三维人脸模型中的非关键区域做平滑处理,得到平滑后的非关键区域;
区域替换模块,用于将所述初始三维人脸模型中的非关键区域替换为所述平滑后的非关键区域,得到所述目标对象的三维人脸模型。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的方法。
CN202010685183.0A 2020-07-16 2020-07-16 三维人脸模型的构建方法、装置、设备及存储介质 Active CN111710036B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010685183.0A CN111710036B (zh) 2020-07-16 2020-07-16 三维人脸模型的构建方法、装置、设备及存储介质
PCT/CN2021/097567 WO2022012192A1 (zh) 2020-07-16 2021-06-01 三维人脸模型的构建方法、装置、设备及存储介质
JP2022549363A JP7456670B2 (ja) 2020-07-16 2021-06-01 3次元顔モデルの構築方法、3次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
EP21842458.8A EP4057234B1 (en) 2020-07-16 2021-06-01 Method and apparatus for three-dimensional face reconstruction, and computer device, storage medium, and program product
US17/751,496 US12293465B2 (en) 2020-07-16 2022-05-23 Method and apparatus for constructing three-dimensional face mesh, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010685183.0A CN111710036B (zh) 2020-07-16 2020-07-16 三维人脸模型的构建方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111710036A true CN111710036A (zh) 2020-09-25
CN111710036B CN111710036B (zh) 2023-10-17

Family

ID=72546119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010685183.0A Active CN111710036B (zh) 2020-07-16 2020-07-16 三维人脸模型的构建方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US12293465B2 (zh)
EP (1) EP4057234B1 (zh)
JP (1) JP7456670B2 (zh)
CN (1) CN111710036B (zh)
WO (1) WO2022012192A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476060A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 人脸清晰度分析方法、装置、计算机设备及存储介质
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
CN112801082A (zh) * 2021-01-22 2021-05-14 北京百度网讯科技有限公司 图像的采样方法、装置及电子设备
CN113343925A (zh) * 2021-07-02 2021-09-03 厦门美图之家科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN113570684A (zh) * 2021-01-22 2021-10-29 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质
CN113592990A (zh) * 2021-02-08 2021-11-02 腾讯科技(深圳)有限公司 针对二维图像的三维效果生成方法、装置、设备及介质
WO2022012192A1 (zh) * 2020-07-16 2022-01-20 腾讯科技(深圳)有限公司 三维人脸模型的构建方法、装置、设备及存储介质
CN114049473A (zh) * 2021-11-18 2022-02-15 维沃移动通信有限公司 图像处理方法及装置
CN114049403A (zh) * 2021-11-23 2022-02-15 华中科技大学鄂州工业技术研究院 一种多角度三维人脸重建方法、装置及存储介质
CN114363405A (zh) * 2021-05-26 2022-04-15 科大国创云网科技有限公司 基于上网话单与mr用户轨迹的司机群体识别方法及系统
WO2022099958A1 (zh) * 2020-11-11 2022-05-19 中国标准化研究院 一种基于三维点云坐标的头面部号型分类方法
CN114581979A (zh) * 2022-03-01 2022-06-03 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN114596601A (zh) * 2020-12-03 2022-06-07 北京新氧科技有限公司 人脸图像处理方法、装置、计算机设备及计算机存储介质
CN115019021A (zh) * 2022-06-02 2022-09-06 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN116385705A (zh) * 2023-06-06 2023-07-04 北京智拓视界科技有限责任公司 用于对三维数据进行纹理融合的方法、设备和存储介质
CN116843807A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 虚拟形象生成、模型的训练方法、装置及电子设备
CN116912402A (zh) * 2023-06-30 2023-10-20 北京百度网讯科技有限公司 人脸重建的方法、装置、电子设备、存储介质
CN117037254A (zh) * 2023-08-21 2023-11-10 北京百度网讯科技有限公司 人脸图像处理方法、装置、电子设备、存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830262B (zh) * 2023-02-14 2023-05-26 济南市勘察测绘研究院 一种基于对象分割的实景三维模型建立方法及装置
CN116531750A (zh) * 2023-05-23 2023-08-04 网易(杭州)网络有限公司 网状结构生成方法、装置、电子设备和可读存储介质
CN116452403B (zh) * 2023-06-16 2023-09-01 瀚博半导体(上海)有限公司 点云数据处理方法、装置、计算机设备及存储介质
US12494029B2 (en) * 2024-01-19 2025-12-09 Lenovo Enterprise Solutions (Singapore) Pte Ltd. Selecting initial correspondences used in co-registration of face images
CN119295589B (zh) * 2024-10-17 2025-07-25 中国人民解放军61741部队 红外云图纹理增强显示方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN107958489A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种曲面重建方法及装置
CN110210374A (zh) * 2018-05-30 2019-09-06 沈阳工业大学 基于光栅条纹投影的三维人脸定位方法
CN110807836A (zh) * 2020-01-08 2020-02-18 腾讯科技(深圳)有限公司 三维人脸模型的生成方法、装置、设备及介质
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技(深圳)有限公司 人脸纹理图像的获取方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150325044A1 (en) * 2014-05-09 2015-11-12 Adornably, Inc. Systems and methods for three-dimensional model texturing
US9940504B2 (en) * 2015-06-17 2018-04-10 Itseez3D, Inc. Method to produce consistent face texture
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN106327482B (zh) 2016-08-10 2019-01-22 东方网力科技股份有限公司 一种基于大数据的面部表情的重建方法及装置
CN107945278A (zh) * 2017-12-14 2018-04-20 桂林电子科技大学 一种生物体结构的三维重构与有限元分析方法
CN109191552A (zh) * 2018-08-16 2019-01-11 Oppo广东移动通信有限公司 三维模型处理方法、装置、电子设备和存储介质
US10991145B2 (en) * 2018-11-13 2021-04-27 Nec Corporation Pose-variant 3D facial attribute generation
US11270505B2 (en) * 2019-05-22 2022-03-08 Streem, Inc Capture of raw augmented reality data and subsequent 3D mesh generation
CN111710036B (zh) * 2020-07-16 2023-10-17 腾讯科技(深圳)有限公司 三维人脸模型的构建方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN107958489A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种曲面重建方法及装置
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN110210374A (zh) * 2018-05-30 2019-09-06 沈阳工业大学 基于光栅条纹投影的三维人脸定位方法
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern
CN110807836A (zh) * 2020-01-08 2020-02-18 腾讯科技(深圳)有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技(深圳)有限公司 人脸纹理图像的获取方法、装置、设备及存储介质

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476060B (zh) * 2019-01-23 2025-09-05 北京奇虎科技有限公司 人脸清晰度分析方法、装置、计算机设备及存储介质
CN111476060A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 人脸清晰度分析方法、装置、计算机设备及存储介质
WO2022012192A1 (zh) * 2020-07-16 2022-01-20 腾讯科技(深圳)有限公司 三维人脸模型的构建方法、装置、设备及存储介质
US12293465B2 (en) 2020-07-16 2025-05-06 Tencent Technology (Shenzhen) Company Limited Method and apparatus for constructing three-dimensional face mesh, device, and storage medium
WO2022099958A1 (zh) * 2020-11-11 2022-05-19 中国标准化研究院 一种基于三维点云坐标的头面部号型分类方法
CN114596601A (zh) * 2020-12-03 2022-06-07 北京新氧科技有限公司 人脸图像处理方法、装置、计算机设备及计算机存储介质
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
CN112801082A (zh) * 2021-01-22 2021-05-14 北京百度网讯科技有限公司 图像的采样方法、装置及电子设备
CN112801082B (zh) * 2021-01-22 2024-01-12 北京百度网讯科技有限公司 图像的采样方法、装置及电子设备
CN113570684A (zh) * 2021-01-22 2021-10-29 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质
CN113592990A (zh) * 2021-02-08 2021-11-02 腾讯科技(深圳)有限公司 针对二维图像的三维效果生成方法、装置、设备及介质
CN114363405A (zh) * 2021-05-26 2022-04-15 科大国创云网科技有限公司 基于上网话单与mr用户轨迹的司机群体识别方法及系统
CN114363405B (zh) * 2021-05-26 2023-09-22 科大国创云网科技有限公司 基于上网话单与mr用户轨迹的司机群体识别方法及系统
CN113343925A (zh) * 2021-07-02 2021-09-03 厦门美图之家科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN113343925B (zh) * 2021-07-02 2023-08-29 厦门美图宜肤科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN114049473A (zh) * 2021-11-18 2022-02-15 维沃移动通信有限公司 图像处理方法及装置
CN114049403A (zh) * 2021-11-23 2022-02-15 华中科技大学鄂州工业技术研究院 一种多角度三维人脸重建方法、装置及存储介质
CN114581979A (zh) * 2022-03-01 2022-06-03 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN115019021A (zh) * 2022-06-02 2022-09-06 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN116385705A (zh) * 2023-06-06 2023-07-04 北京智拓视界科技有限责任公司 用于对三维数据进行纹理融合的方法、设备和存储介质
CN116385705B (zh) * 2023-06-06 2023-08-29 北京智拓视界科技有限责任公司 用于对三维数据进行纹理融合的方法、设备和存储介质
CN116912402A (zh) * 2023-06-30 2023-10-20 北京百度网讯科技有限公司 人脸重建的方法、装置、电子设备、存储介质
CN116912402B (zh) * 2023-06-30 2024-12-24 北京百度网讯科技有限公司 人脸重建的方法、装置、电子设备、存储介质
CN116843807A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 虚拟形象生成、模型的训练方法、装置及电子设备
CN117037254A (zh) * 2023-08-21 2023-11-10 北京百度网讯科技有限公司 人脸图像处理方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2022012192A1 (zh) 2022-01-20
US20220284679A1 (en) 2022-09-08
EP4057234B1 (en) 2024-09-18
EP4057234A4 (en) 2023-07-05
JP2023514289A (ja) 2023-04-05
CN111710036B (zh) 2023-10-17
JP7456670B2 (ja) 2024-03-27
US12293465B2 (en) 2025-05-06
EP4057234A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN110807451B (zh) 人脸关键点检测方法、装置、设备及存储介质
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
Fischer et al. Rt-gene: Real-time eye gaze estimation in natural environments
CN110363133B (zh) 一种视线检测和视频处理的方法、装置、设备和存储介质
KR102441171B1 (ko) 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
CN111553284B (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN111192223B (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
CN113822965B (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN113628327A (zh) 一种头部三维重建方法及设备
CN112749611A (zh) 人脸点云模型生成方法及装置、存储介质、电子设备
CN117808943A (zh) 一种三维卡通人脸重建方法、装置、设备及存储介质
CN118553003B (zh) 基于ai人脸识别的直播换脸系统及方法
HK40028891A (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN115497029A (zh) 视频处理方法、装置及计算机可读存储介质
HK40028891B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
HK40024411A (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
HK40024411B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
HK40024414A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
HK40022083A (zh) 三维表情基的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028891

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant