CN112561784A - 图像合成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种图像合成方法、装置、电子设备及存储介质，该方法包括：获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；基于人脸模型，对标准头部模型进行形变，得到第一形变模型；基于第一形变模型，对人脸模型进行形变，得到第二形变模型；将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。本发明提供的图像合成方法、装置、电子设备及存储介质，通过在人脸模型和标准头部模型之间的各种变换及各种变形，使得人脸模型在标准头部模型上的缝合对接，得到合成后的三维模型，实现应用于不同虚拟场景的展示需求。

Description

图像合成方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像合成方法、装置、电子设备及存储介质。

背景技术

近年来，随着相关技术的发展，换脸技术在许多领域得到了广泛应用。比如，对于影视行业，将角色A的脸替换到角色B上，可看到角色A在剧情中的表演情况；将角色A的脸替换到具有某种风格的角色B的照片上，可看到具有相应风格的角色A的呈现效果。

现有的换脸方式有以下几种，基于传统图像处理算法方案，首先进行换脸图像和被换脸图像的人脸分割、人脸关键点对齐，接着通过2D网格形变算法，将换脸图像的人脸区域形变至被换脸图像对应的人脸区域，最后进行边缘纹理融合，实现换脸，但主要针对二维场景(如图片或视频)进行，没法用于三维虚拟场景中。

发明内容

针对现有技术存在的问题，本发明提供一种图像合成方法、装置、电子设备及存储介质。

本发明提供一种图像合成方法，包括：

获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

根据本发明提供的一种图像合成方法，所述将人脸模型与标准头部模型进行对齐变换，包括：

基于标准头部模型，对人脸模型进行旋转变换；

确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换；

确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换。

根据本发明提供的一种图像合成方法，所述确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换，包括：

获取标准头部模型中位于脸部区域中的两个第一位置点，获得两个位置点之间的第一特征距离；

获取人脸模型中的两个第二位置点，获得两个第二位置点之间的第二特征距离；

根据第一特征距离和第二特征距离确定缩放因子，根据缩放因子对人脸模型进行缩放变换；

其中，第一位置点与第二位置点以脸部五官为基准确定。

根据本发明提供的一种图像合成方法，所述确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换，包括：

获取标准头部模型中位于脸部区域中的第三位置点，以及获取人脸模型中的第四位置点；

获得第三位置点与第四位置点之间的平移向量，根据平移向量对人脸模型进行平移变换。

其中，第三位置点与第四位置点以脸部五官为基准确定。

根据本发明提供的一种图像合成方法，所述基于人脸模型，对标准头部模型进行形变，得到第一形变模型，包括：

基于人脸模型的脸占比，获得具有脸部切割区域的头部模型；

将脸部切割区域的边缘点集合形成第一移动点集；

将人脸模型的边缘点集合形成边缘点集，根据第一移动点集和边缘点集得到第一目标点集；

将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集；

根据第一移动点集、第一目标点集和第一固定点集的坐标信息采用网格变形算法对具有脸部切割区域的头部模型进行网格变形，得到第一形变模型。

根据本发明提供的一种图像合成方法，所述基于第一形变模型，对人脸模型进行形变，得到第二形变模型，包括：

将人脸模型的边缘点集合形成第二移动点集，以及将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集；

根据第二移动点集和边缘线集得到第二目标点集；

将人脸模型中以脸部五官为基准区域，集合基准区域上的位置点形成第二固定点集；

根据第二移动点集、第二目标点集和第二固定点集的坐标信息采用网格变形算法对人脸模型进行网格变形，得到第二形变模型。

根据本发明提供的一种图像合成方法，所述将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型，包括：

根据第一形变模型中的脸部切割区域的边缘线得到边缘网格集；

根据第二移动点集确定对应于每个边缘网格的子点集；

根据边缘网格中的非边缘点与子点集得到新的边缘网格集；

根据新的边缘网格集进行边界缝合处理，得到合成后的三维模型。

根据本发明提供的一种图像合成方法，在获得三维模型之后，还包括：

对三维模型的缝合的边界进行纹理融合和渲染处理，得到适合于不同角度转换的三维模型。

本发明还提供一种图像合成装置，包括：

变换模块，用于获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

第一形变模块，用于基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

第二形变模块，用于基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

合成模块，用于将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像合成方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像合成方法的步骤。

本发明提供的图像合成方法、装置、电子设备及存储介质，通过在人脸模型和标准头部模型之间的各种变换及各种变形，使得人脸模型在标准头部模型上的缝合对接，得到合成后的三维模型，实现应用于不同虚拟场景的展示需求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的图像合成方法的流程示意图；

图2是本发明提供的图像合成装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-3图描述本发明提供的图像合成方法、装置、电子设备及存储介质。

图1示出了本发明提供的图像合成方法的流程示意图，参见图1，该方法包括以下步骤：

S11、获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

S12、基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

S13、基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

S14、将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

针对步骤S11-步骤S14，需要说明的是，在本发明中，该图像合成方法用于将图片或视频中某一帧画面中的人脸合成到标准头部模型上。该标准头部模型是一个三维模型，基于真实头部扫描数据处理得到，可反映真实人体特征。

在本发明中，还可使用完整的带有脸部区域的人体模型替换标准头部模型，此时，人脸合成到人体模型上主要适用于在虚拟环境下，查看整体效果。该人体模型同样是基于真实人体扫描数据处理得到，可反映真实人体特征。

在本发明中，图片或视频中某一帧画面中的人脸带有头部姿态信息和表情信息。基于头部姿态信息和表情信息采用基于3DMM参数化人脸模型的深度学习方法进行人脸重建，得到三维的人脸模型。

在本发明中，人脸模型与标准头部模型(或人体模型)的脸部的初始姿态、尺度通常不一致，需要以标准头部模型为基准，对人脸模型进行刚性变换(平移和旋转)和尺度缩放，以使人脸模型粗略的对齐到标准头部模型的脸部上。

不同的人脸模型具有不同的长宽比、胖瘦等特征，即脸占比不同。因此，人脸模型与标准头部模型的脸部上的对应特征可能存在差异。为了保证换脸后的模型的脸部区域具有与人脸模型相同的长宽比、胖瘦等特征，需对标准头部模型进行形变处理，使之适配不同的人脸模型。

由于是将标准头部模型适配人脸模型，为此，应当基于人脸模型上表征长宽比、胖瘦等特征信息，对标准头部模型上表征长宽比、胖瘦等特征信息进行形变，得到形变后的标准头部模型，即上述步骤中提及的第一形变模型。

在本发明中，人脸模型上的点密度大于标准头部模型上的点密度，若直接将人脸模型与标准头部模型进行图像合成，势必会导致在合成的边界处的处理效果较差。为此，在将人脸模型向第一形变模型合成时，需基于第一形变模型在合成边界上各点的坐标信息，对人脸模型在合成边界上各点的坐标信息进行形变，得到形变后的人脸模型，即上述步骤提及的第二形变模型。

在人脸模型和标准头部模型为了图像合成做出形变之后，才能将第一形变模型和第二形变模型进行边界缝合处理，从而得到合成后的三维模型。由于模型在渲染前是网格图，为此，第一形变模型和第二形变模型进行边界缝合处理过程中，实际上是建立两个模型在边界上的新网格关系，从而实现边界缝合处理，得到合成后的三维模型。

在这里，合成后的三维模型是将图片上或视频中某一帧画面中的人脸替换标准头部模型上脸部之后的模型。对于合成后的三维模型，可以根据具体需求进行不同角度下图像的截取及显示。

本发明提供的图像合成方法，通过在人脸模型和标准头部模型之间的各种变换及各种变形，使得人脸模型在标准头部模型上的缝合对接，得到合成后的三维模型，实现应用于不同虚拟场景的展示需求。

在上述方法的进一步说明中，主要是对将人脸模型与标准头部模型进行对齐变换的处理过程进行解释说明，具体如下：

基于标准头部模型，对人脸模型进行旋转变换；

确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换；

确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换。

对此，需要说明的是，由于人脸模型与标准头部模型(或人体模型)的脸部的初始姿态、尺度通常不一致，需要进行旋转变换、缩放变换和平移变换，以实现人脸模型与标准头部模型之间的对齐。

在旋转变换中，将标准头部模型所在坐标系设置为世界坐标系。基于人脸模型的姿态参数和表情参数，将人脸模型变换到世界坐标系中，使得变换后人脸模型上的人脸长度方向与标准头部模型上的脸部长度方向保持一致，即完成对人脸模型的旋转变换。

在缩放变换中，人脸模型和标准头部模型均是由多个点构成，对人脸模型要缩放，需要对人脸模型中各点的位置都进行改动，而标准头部模型中各点的位置不用改动。为此，需要基于人脸模型和标准头部模型上所选取的某些点的位置，计算出人脸模型与标准头部模型之间的缩放因子，然后使人脸模型中的所有点均按照这个缩放因子完成位置变动。

在平移变换中，与上述过程类似，同样地，要基于人脸模型和标准头部模型上所选取的某些点的位置，计算人脸模型与标准头部模型之间的平移向量，该平移向量表征各点的移动方向及距离。然后使人脸模型中的所有点均按照这个平移向量完成位置变动。

本发明进一步的方法，通过在人脸模型和标准头部模型间建立一个参考标准(即缩放因子和平移向量)，可快速实现人脸模型与标准头部模型之间的对齐操作。

在上述方法的进一步说明中，主要是对确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换的处理过程进行解释说明，具体如下：

获取标准头部模型中位于脸部区域中的两个第一位置点，获得两个位置点之间的第一特征距离；

获取人脸模型中的两个第二位置点，获得两个第二位置点之间的第二特征距离；

根据第一特征距离和第二特征距离确定缩放因子，根据缩放因子对人脸模型进行缩放变换。

对此，需要说明的是，人脸模型和标准头部模型均具有五官。五官包括眼、耳、鼻、眉、口(嘴)。为此，在两个模型上找可以用来做参考标准的点应当依据五官进行确定。

例如两个第一位置点选择双眼瞳孔的中心，内眼角，外眼角或眉心等。同样的，两个第二位置点也选择双眼瞳孔的中心，内眼角，外眼角，眉心等。

然后第一特征距离为两个瞳孔中心间的距离，两个内眼角间的距离，两个外眼角间的距离或两个眉心间的距离。同样的，第一特征距离为两个瞳孔中心间的距离，两个内眼角间的距离，两个外眼角间的距离或两个眉心间的距离。

计算得到第一特征距离与第二特征距离之间的比值，该比值为缩放因子。然后使人脸模型中的所有点均按照这个缩放因子完成位置变动。

本发明进一步的方法，将缩放方式限定在距离条件上，由距离确定缩放因子，能够快速确定两模型间的缩放关系，达到简便精确缩放效果。

在上述方法的进一步说明中，主要是对确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换的处理过程进行解释说明，具体如下：

获取标准头部模型中位于脸部区域中的第三位置点，以及获取人脸模型中的第四位置点；

获得第三位置点与第四位置点之间的平移向量，根据平移向量对人脸模型进行平移变换。

对此，需要说明的是，人脸模型和标准头部模型均具有五官。五官包括眼、耳、鼻、眉、口(嘴)。为此，在两个模型上找可以用来做参考标准的点应当依据五官进行确定。

例如将标准头部模型上的鼻尖点设为目标点(即第三位置点)，人脸模型上的鼻尖点设为原始点(即第四位置点)，计算得到原始点到目标点的平移向量V。对人脸模型上所有点均叠加平移向量V，即完成对人脸模型的平移变换。

本发明进一步的方法，将平移方式限定在方向向量上，能够快速确定两模型间的移动关系，达到简便精确平移效果。

在上述方法的进一步说明中，主要是对基于人脸模型，对标准头部模型进行形变，得到第一形变模型的处理过程进行解释说明，具体如下：

基于人脸模型的脸占比，获得具有脸部切割区域的头部模型；

将脸部切割区域的边缘点集合形成第一移动点集；

将人脸模型的边缘点集合形成边缘点集，根据第一移动点集和边缘点集得到第一目标点集；

将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集；

根据第一移动点集、第一目标点集和第一固定点集的坐标信息采用网格变形算法对具有脸部切割区域的头部模型进行网格变形，得到第一形变模型。

对此，需要说明的是，在本发明中，参考人脸模型上的脸占比，在标准头部模型上切割出一个脸部切割区域。实际上就是把标准头部模型上自带的脸部给抠掉。例如标准头部模型上存在黑色区域，这个黑色区域可为脸部切割区域。

由于模型在渲染前是网格图，网格图一般是很多三角形构成。为此，在脸部切割区域的边缘上会存在很多点，将这些点集合形成第一移动点集。在第一移动点集中实际上是包含各点在世界坐标系中的坐标信息。

同样的，将人脸模型的边缘点集合形成边缘点集，然后根据第一移动点集的坐标信息从边缘点集中筛选出第一目标点集。即：使第一移动点集中的各点找到对应的在人脸模型上的边缘点，这些边缘点为目标点，集合形成目标点集。

在本发明中，例如计算移动点集P1中的每一点p1在边缘点集Q1中的最近邻点q1，将q1作为p1的目标点。

通常情况下，标准头部模型可能会根据某种需求配置在某个身体模型之上，即安置在该身体模型的脖颈之上。当脖颈尺寸已配置的情景下，对于标准头部模型上的与脖颈连接的边界需要固定，无需变形。为此，将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集。

当标准头部模型包括脖颈部位，此时，可选择脖颈部位上的任一一圈闭合点作为固定点集。

在人体模型替换标准头部模型的方案中，也可选择脖颈部位上的任一一圈闭合点作为固定点集。

在变形过程中，第一移动点集、第一目标点集和第一固定点集的坐标信息采用基于拉普拉斯或基于梯度场等的网格变形算法进行。

例如根据第一移动点集、第一目标点集和第一固定点集的坐标信息建立网格变形矩阵和约束坐标，并根据网格变形矩阵和约束坐标确定模型中变形前各顶点的数值，即为顶点坐标。根据该顶点坐标可以完成形变。

例如LV＝δ，其中L为网格变形矩阵，V为顶点坐标，δ为约束坐标。

本发明进一步的方法，基于模型中边缘上的点坐标信息，采用网格变形算法，可以快速对模型进行变形，得到所需的变形后的模型。

在上述方法的进一步说明中，主要是对基于第一形变模型，对人脸模型进行形变，得到第二形变模型的处理过程进行解释说明，具体如下：

将人脸模型的边缘点集合形成第二移动点集，以及将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集；

根据第二移动点集和边缘线集得到第二目标点集；

将人脸模型中以脸部五官为基准区域，集合基准区域上的位置点形成第二固定点集；

根据第二移动点集、第二目标点集和第二固定点集的坐标信息采用网格变形算法对人脸模型进行网格变形，得到第二形变模型。

对此，需要说明的是，在本发明中，由于是对人脸模型进行变形，故将人脸模型的边缘点集合形成第二移动点集。同时，将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集。在这里，需要说明的是，脸部切割区域存在很多边缘点，相邻两个边缘点之间的连线即为边缘线。将所有边缘线集合在一起形成边缘线集。

在上述描述的内容中存在说明，人脸模型上的点密度大于标准头部模型上的点密度。因此要找到移动点在每个边缘线上对应的目标点。将每个边缘线上的目标点集合形成目标点集。

例如人脸模型上的边缘点形成移动点集P2，脸部切割区域上的边缘线形成边缘线集L2。计算移动点集P2中的每一点p2在边缘线12中的最近投影点q2，将q2的位置点设置为p2的目标点。

将人脸模型中以脸部五官为基准区域，集合基准区域上的位置点形成第二固定点集。例如可选择眼睛、鼻子、嘴巴、眉毛等特征点作为固定点。

在变形过程中，第二移动点集、第二目标点集和第二固定点集的坐标信息采用基于拉普拉斯或基于梯度场等的网格变形算法进行。

例如根据第二移动点集、第二目标点集和第二固定点集的坐标信息建立网格变形矩阵和约束坐标，并根据网格变形矩阵和约束坐标确定模型中变形前各顶点的数值，即为顶点坐标。根据该顶点坐标可以完成形变。

例如LV＝δ，其中L为网格变形矩阵，V为顶点坐标，δ为约束坐标。

本发明进一步的方法，基于模型中边缘上的点坐标信息，采用网格变形算法，可以快速对模型进行变形，得到所需的变形后的模型。

在上述方法的进一步说明中，主要是对将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型的处理过程进行解释说明，具体如下：

根据第一形变模型中的脸部切割区域的边缘线得到边缘网格集；

根据第二移动点集确定对应于每个边缘网格的子点集；

根据边缘网格中的非边缘点与子点集得到新的边缘网格集；

根据新的边缘网格集进行边界缝合处理，得到合成后的三维模型。

对此，需要说明的是，在本发明中，模型是网格图，由各点构建三角形构成。为此，基于脸部切割区域的边缘线可以得到对应的边缘网格，即一个三角形的一个边是边缘线。将所有边缘线对应的边缘网格集合形成边缘网格集。

将人脸模型的所有边缘点中能够投影到边缘边上的边缘点作为对应边缘边的子点集，即一个子点集对应一个边缘网格。

例如100个边缘点，边缘点序号为1-6的点能够投影到边缘线序号为1的边缘线上，则序号为1-6的边缘点形成子点集，对应序号为1的边缘线。

在一个边缘网格中，存在一个非边缘点，将该边缘线删除，使这个非边缘点与子点集中的各点连接，形成新的边缘网格。从而在所有非边缘点与子点集中的各点连接后，会在模型与模型之间的边界处形成新的网格集合。根据新的边缘网格集进行边界缝合处理，得到合成后的三维模型。

本发明进一步的方法，通过将人脸模型中的边缘点划分为对应于边缘线的各子点集，使得在原有的边缘网格中建立相对应的新的边缘网格，有利于对边界的缝合处理。

在上述方法的进一步说明中，对三维模型的缝合的边界进行纹理融合和渲染处理，得到适合于不同角度转换的三维模型。

下面对本发明提供的图像合成装置进行描述，下文描述的图像合成装置与上文描述的图像合成方法可相互对应参照。

图2示出了本发明提供的图像合成装置的结构示意图，参见图2，该装置包括变换模块21、第一形变模块22、第二形变模块23和合成模块24，其中：

变换模块21，用于获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

第一形变模块22，用于基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

第二形变模块23，用于基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

合成模块24，用于将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

在上述装置的进一步说明中，所述变换模块在将人脸模型与标准头部模型进行对齐变换的处理过程中，具体用于：

基于标准头部模型，对人脸模型进行旋转变换；

确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换；

确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换。

在上述装置的进一步说明中，所述变换模块在确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换的处理过程中，具体用于：

获取标准头部模型中位于脸部区域中的两个第一位置点，获得两个位置点之间的第一特征距离；

获取人脸模型中的两个第二位置点，获得两个第二位置点之间的第二特征距离；

根据第一特征距离和第二特征距离确定缩放因子，根据缩放因子对人脸模型进行缩放变换；

其中，第一位置点与第二位置点以脸部五官为基准确定。

在上述装置的进一步说明中，所述变换模块在确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换的处理过程中，具体用于：

获取标准头部模型中位于脸部区域中的第三位置点，以及获取人脸模型中的第四位置点；

获得第三位置点与第四位置点之间的平移向量，根据平移向量对人脸模型进行平移变换。

其中，第三位置点与第四位置点以脸部五官为基准确定。

在上述装置的进一步说明中，所述第一形变模块在基于人脸模型，对标准头部模型进行形变，得到第一形变模型的处理过程中，具体用于：

基于人脸模型的脸占比，获得具有脸部切割区域的头部模型；

将脸部切割区域的边缘点集合形成第一移动点集；

将人脸模型的边缘点集合形成边缘点集，根据第一移动点集和边缘点集得到第一目标点集；

将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集；

根据第一移动点集、第一目标点集和第一固定点集的坐标信息采用网格变形算法对具有脸部切割区域的头部模型进行网格变形，得到第一形变模型。

在上述装置的进一步说明中，所述第二形变模块在基于第一形变模型，对人脸模型进行形变，得到第二形变模型的处理过程中，具体用于：

将人脸模型的边缘点集合形成第二移动点集，以及将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集；

根据第二移动点集和边缘线集得到第二目标点集；

将人脸模型中以脸部五官为基准区域，集合基准区域上的位置点形成第二固定点集；

根据第二移动点集、第二目标点集和第二固定点集的坐标信息采用网格变形算法对人脸模型进行网格变形，得到第二形变模型。

在上述装置的进一步说明中，所述合成模块在将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型的处理过程中，具体用于：

根据第一形变模型中的脸部切割区域的边缘线得到边缘网格集；

根据第二移动点集确定对应于每个边缘网格的子点集；

根据边缘网格中的非边缘点与子点集得到新的边缘网格集；

根据新的边缘网格集进行边界缝合处理，得到合成后的三维模型。

在上述装置的进一步说明中，还包括调整模块，用于在获得三维模型之后，对三维模型的缝合的边界进行纹理融合和渲染处理，得到适合于不同角度转换的三维模型。

由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。

需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

本发明提供的图像合成方法，通过在人脸模型和标准头部模型之间的各种变换及各种变形，使得人脸模型在标准头部模型上的缝合对接，得到合成后的三维模型，实现应用于不同虚拟场景的展示需求。

图3示出了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)31、通信接口(Communications Interface)32、存储器(memory)33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的逻辑指令，以执行图像合成方法，该方法包括：获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；基于人脸模型，对标准头部模型进行形变，得到第一形变模型；基于第一形变模型，对人脸模型进行形变，得到第二形变模型；将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像合成方法，该方法包括：获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；基于人脸模型，对标准头部模型进行形变，得到第一形变模型；基于第一形变模型，对人脸模型进行形变，得到第二形变模型；将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像合成方法，该方法包括：获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；基于人脸模型，对标准头部模型进行形变，得到第一形变模型；基于第一形变模型，对人脸模型进行形变，得到第二形变模型；将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像合成方法，其特征在于，包括：

获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

2.根据权利要求1所述的图像合成方法，其特征在于，所述将人脸模型与标准头部模型进行对齐变换，包括：

基于标准头部模型，对人脸模型进行旋转变换；

确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换；

确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换。

3.根据权利要求2所述的图像合成方法，其特征在于，所述确定人脸模型与标准头部模型之间的缩放因子，根据缩放因子对人脸模型进行缩放变换，包括：

获取标准头部模型中位于脸部区域中的两个第一位置点，获得两个位置点之间的第一特征距离；

获取人脸模型中的两个第二位置点，获得两个第二位置点之间的第二特征距离；

根据第一特征距离和第二特征距离确定缩放因子，根据缩放因子对人脸模型进行缩放变换；

其中，第一位置点与第二位置点以脸部五官为基准确定。

4.根据权利要求2所述的图像合成方法，其特征在于，所述确定人脸模型与标准头部模型之间的平移向量，根据平移向量对人脸模型进行平移变换，包括：

获取标准头部模型中位于脸部区域中的第三位置点，以及获取人脸模型中的第四位置点；

获得第三位置点与第四位置点之间的平移向量，根据平移向量对人脸模型进行平移变换。

其中，第三位置点与第四位置点以脸部五官为基准确定。

5.根据权利要求1所述的图像合成方法，其特征在于，所述基于人脸模型，对标准头部模型进行形变，得到第一形变模型，包括：

基于人脸模型的脸占比，获得具有脸部切割区域的头部模型；

将脸部切割区域的边缘点集合形成第一移动点集；

将人脸模型的边缘点集合形成边缘点集，根据第一移动点集和边缘点集得到第一目标点集；

将具有脸部切割区域的头部模型上靠近脖颈的区域上的位置点集合形成第一固定点集；

根据第一移动点集、第一目标点集和第一固定点集的坐标信息采用网格变形算法对具有脸部切割区域的头部模型进行网格变形，得到第一形变模型。

6.根据权利要求5所述的图像合成方法，其特征在于，所述基于第一形变模型，对人脸模型进行形变，得到第二形变模型，包括：

将人脸模型的边缘点集合形成第二移动点集，以及将第一形变模型中的脸部切割区域的边缘线集合形成边缘线集；

根据第二移动点集和边缘线集得到第二目标点集；

将人脸模型中以脸部五官为基准区域，集合基准区域上的位置点形成第二固定点集；

根据第二移动点集、第二目标点集和第二固定点集的坐标信息采用网格变形算法对人脸模型进行网格变形，得到第二形变模型。

7.根据权利要求6所述的图像合成方法，其特征在于，所述将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型，包括：

根据第一形变模型中的脸部切割区域的边缘线得到边缘网格集；

根据第二移动点集确定对应于每个边缘网格的子点集；

根据边缘网格中的非边缘点与子点集得到新的边缘网格集；

根据新的边缘网格集进行边界缝合处理，得到合成后的三维模型。

8.根据权利要求1或6所述的图像合成方法，其特征在于，在获得三维模型之后，还包括：

对三维模型的缝合的边界进行纹理融合和渲染处理，得到适合于不同角度转换的三维模型。

9.一种图像合成装置，其特征在于，包括：

变换模块，用于获取人脸模型和标准头部模型，将人脸模型与标准头部模型进行对齐变换；

第一形变模块，用于基于人脸模型，对标准头部模型进行形变，得到第一形变模型；

第二形变模块，用于基于第一形变模型，对人脸模型进行形变，得到第二形变模型；

合成模块，用于将第一形变模型和第二形变模型进行边界缝合处理，得到合成后的三维模型。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述图像合成方法的步骤。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述图像合成方法的步骤。

Images