CN113870165B - 一种图像合成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像合成方法、装置、电子设备及存储介质。方案如下：接收包括第一视角的视角切换指令；获取待投影图像，待投影图像为第一视角的第一预设范围内至少一个第一摄像机采集到的图像；基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；根据投影图像中空洞区域第二预设范围内像素点的图像信息，对投影图像进行空洞填补，得到第一视角的合成图像；展示第一视角的合成图像。通过本申请实施例提供的技术方案，降低了视角切换过程所需的部署成本。

Description

一种图像合成方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像合成方法、装置、电子设备及存储介质。

背景技术

目前，在大型网络/电视直播、或者影视拍摄过程中，为了将不同视角所所对应的图像画面呈现给观众，需要在拍摄过程中采用大量的摄像机进行拍摄。

例如，在某一大型晚会中，拍摄场景中设置了100个高清摄像机对舞台进行360度的拍摄，在晚会直播过程中，编导通过对视角的切换，使得观众可以观看的切换后的视角所对应的摄像机所拍摄得到的视频画面。

由于视角切换的完成需要依赖大量的摄像机，这使得视角切换过程需要耗费大量的部署成本。

发明内容

本申请实施例的目的在于提供一种图像合成方法、装置、电子设备及存储介质，以降低视角切换过程所需的部署成本。具体技术方案如下：

在本申请实施的第一方面，首先提供了一种图像合成方法，所述方法包括：

接收包括第一视角的视角切换指令；

获取待投影图像，所述待投影图像为所述第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像；

展示所述第一视角的合成图像。

可选的，所述根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像的步骤，包括：

将所述投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域；

获取所述投影图像的待修复图像，所述待修复图像为包括所述空洞区域和所述第一扩展区域的图像；

利用所述待修复图像中第一扩展区域的每一像素点的图像信息，对所述空洞区域进行空洞填补，得到修复图像；

对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像。

可选的，所述将所述投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域的步骤，包括：

确定所述投影图像中空洞区域的各边缘像素点；

将所述投影图像中空洞区域的每一边缘像素点向外扩展第二预设范围，得到第一扩展区域。

可选的，所述获取所述投影图像的待修复图像的步骤，包括：

利用以下公式，获取所述投影图像的待修复图像：

I_in＝I_prj*M_exp

其中，I_in为所述待修复图像，I_prj为所述投影图像，M_exp为所述投影图像中空洞区域对应的第一扩展区域的蒙版图像。

可选的，所述利用所述待修复图像中第一扩展区域的每一像素点的图像信息，对所述空洞区域进行空洞填补，得到修复图像的步骤，包括：

将所述待修复图像输入预先训练好的图像修复模型，得到修复图像；其中，所述图像修复模型是利用预设训练集训练得到的；所述预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数。

可选的，采用以下步骤训练得到所述图像修复模型：

获取所述预设训练集；

基于每一第二摄像机的摄像机参数，将所述预设训练集中除第二视角以外的样本图像投影至所述第二视角对应的图像坐标系中，得到包括空洞区域的样本投影图像；

将所述样本投影图像中的空洞区域向外扩展第二预设范围，得到第二扩展区域；

获取所述样本投影图像的待修复样本图像，所述待修复样本图像为包括所述空洞区域和所述第二扩展区域的图像；

将所述待修复样本图像输入预设深度网络模型，得到样本修复图像；

对所述样本投影图像和所述样本修复图像进行图像融合，得到所述第二视角的样本合成图像；

根据所述样本合成图像以及所述预设训练集中第二视角的样本图像，计算所述预设深度网络模型的损失值；

当所述损失值大于预设损失值阈值时，调整所述预设深度网络模型的参数，并返回执行将所述待修复样本图像输入预设深度网络模型，得到样本修复图像的步骤；

当所述损失值不大于所述预设损失值阈值时，将当前预设深度网络模型确定为训练好的图像修复模型。

可选的，所述根据所述样本合成图像以及所述预设训练集中第二视角的样本图像，计算所述预设深度网络模型的损失值的步骤，包括：

利用以下公式，计算所述预设深度网络模型的损失值：

loss＝||I_prd′*M_in′-I_true′*M_in′||

其中，loss为所述损失值，|| ||为范数操作，I_prd′为所述第二视角的样本合成图像，M_in′所述待修复样本图像中空洞区域和扩展区域所对应的蒙版图像，I_true′为所述第二视角的样本图像。

可选的，所述对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像的步骤，包括：

利用以下公式，对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像：

I_prd＝I_out*M_hole+[(1-α)I_out*M_exp+α*I_in*M_exp]+(I_in-I_in*M_in)

其中，I_prd为所述第一视角的合成图像，I_out为所述修复图像，M_hole为所述投影图像中空洞区域所对应的空洞蒙版，α为预设权重，M_exp为所述投影图像中空洞区域对应的第一扩展区域的蒙版图像，I_in为所述待修复图像，M_in为待修复图像中空洞区域和扩展区域所对应的蒙版图像。

可选的，所述摄像机参数包括摄像机外参和摄像机内参；

所述基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像的步骤，包括：

针对所述待投影图像中每一像素点，根据该像素点的第一坐标值以及所述第一摄像机的摄像机内参，计算该像素点在摄像机坐标系中的第二坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第二坐标值以及所述第一摄像机的摄像机外参，计算该像素点在世界坐标系中的第三坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第三坐标值以及所述第一视角上虚拟摄像机的摄像机外参，计算该像素点在所述第一视角对应的摄像机坐标系中的第四坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第四坐标值以及所述第一视角上虚拟摄像机的摄像机内参，计算该像素点在所述第一视角对应的图像坐标系中的第五坐标值；

根据所述待投影图像中每一像素点在所述第一视角对应的图像坐标系中的第五坐标值，对所述待投影图像进行投影，得到包括空洞区域的投影图像。

在本申请实施的第二方面，还提供了一种图像合成装置，所述装置包括：

接收模块，用于接收包括第一视角的视角切换指令；

第一获取模块，用于获取待投影图像，所述待投影图像为所述第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

第一投影模块，用于基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

合成模块，用于根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像；

展示模块，用于展示所述第一视角的合成图像。

在本申请实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像合成方法步骤。

在本申请实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像合成方法步骤。

在本申请实施的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像合成方法。

本申请实施例提供的技术方案，在接收到视角切换指令后，通过将获取到的待投影图像投影至第一视角所对应的图像坐标系中，得到包括空洞区域的投影图像，从而利用空洞区域第二预设范围内各像素点的图像信息，对空洞区域进行空洞填补，得到第一视角的合成图像，并展示该合成图像。

由于第一视角的合成图像是基于第一视角的第一预设范围内至少一个摄像机所采集到的待投影图像合成的，这使得视角切换过程中可以利用第一视角相邻视角上摄像机所采集到的图像合成第一视角所对应的图像，从而避免在第一视角所对应的位置上部署摄像机，减少了所需部署的摄像机的数量，从而大大降低了视角切换过程所需的部署成本。

再者，通过接收包括第一视角的视角切换指令，从而展示第一视角所对应的合成图像，这在降低视角切换过程所需的部署成本的同时，提供了更多可供切换的视角，满足用户对视角切换的需求，提高了展示效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为电视直播场景的一种示意图；

图2为本申请实施例提供的图像合成方法的第一种流程示意图；

图3-a为摄像机在视角A对正方体A进行图像采集得到的图像；

图3-b为摄像机在视角B对正方体A进行图像采集得到的图像；

图4-a为本申请实施例提供的投影图像的一种示意图；

图4-b为图4-a所示的投影图像的空洞区域的蒙版图像；

图5为本申请实施例提供的图像投影方法的一种流程示意图；

图6为本申请实施例提供的图像合成方法的第二种流程示意图；

图7-a为本申请实施例提供的一个投影图像；

图7-b为图7-a所示的投影图像所对应蒙版图像；

图7-c为图7-a所示的投影图像所对应待修复图像；

图7-d为图7-c所示的待修复图像所对应蒙版图像；

图8为本申请实施例提供的图像模型训练方法的一种流程示意图；

图9为本申请实施例提供的图像合成装置的一种结构示意图；

图10为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

为便于理解，结合图1对相关技术中某一电视直播过程中的视角切换过程进行说明。图1为电视直播场景的一种示意图。

在舞台部署时，舞台的前方设置了7个摄像机，即图1所示的摄像机0，摄像机0左侧的摄像机L1-摄像机L3，以及摄像机0右侧的摄像机R1-摄像机R3。由于图1所示的7个摄像机中的每一摄像机与舞台间的距离，以及拍摄角度均不相同，因此，图1所示的每一摄像机所对应视角是不同的。

上述摄像机所对应的视角表示为摄像机所对应的拍摄视角，也即观众通过摄像机观看舞台画面时对应的观看视角。上述摄像机所对应的视角受到摄像机对应的拍摄角度，拍摄距离和拍摄高度等因素的影响。在此，对图1中每一摄像机所对应的视角不作具体限定。

在电视直播的某一时刻，当前直播画面为摄像机0所采集到的视频画面。现编导想向观众展示摄像机L3所对应视角上的直播画面，可以将当前播放的直播画面由摄像机0所采集的视频画面切换为摄像机L3所采集的视频画面。

因此，在相关技术中，为了使得用户可以自由切换任意视角的视频画面，需要在不同的视角上设置对应的摄像机，这导致视角切换过程需要耗费大量的部署成本。

为了解决相关技术中的问题，本申请实施例提供了一种图像合成方法。该方法可以应用于任一电子设备。如图2所示，图2为本申请实施例提供的图像合成方法的第一种流程示意图。该方法包括以下步骤。

步骤S201，接收包括第一视角的视角切换指令。

步骤S202，获取待投影图像，待投影图像为第一视角的第一预设范围内至少一个第一摄像机采集到的图像。

步骤S203，基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像。

步骤S204，根据投影图像中空洞区域第二预设范围内像素点的图像信息，对投影图像进行空洞填补，得到第一视角的合成图像。

步骤S205，展示第一视角的合成图像。

在本申请实施例中，上述电子设备可以为推送视频画面的服务器，也可以为用户观看视频画面所用的用户设备。在此，对上述电子设备不作具体限定。

通过图1所示的方法，在接收到视角切换指令后，通过将获取到的待投影图像投影至第一视角所对应的图像坐标系中，得到包括空洞区域的投影图像，从而利用空洞区域第二预设范围内各像素点的图像信息，对空洞区域进行空洞填补，得到第一视角的合成图像，并展示该合成图像。

由于第一视角的合成图像是基于第一视角的第一预设范围内至少一个摄像机所采集到的待投影图像合成的，这使得视角切换过程中可以利用第一视角相邻视角上摄像机所采集到的图像合成第一视角所对应的图像，从而避免在第一视角所对应的位置上部署摄像机，减少了所需部署的摄像机的数量，从而大大降低了视角切换过程所需的部署成本。

再者，通过接收包括第一视角的视角切换指令，从而展示第一视角所对应的合成图像，这在降低视角切换过程所需的部署成本的同时，提供了更多可供切换的视角，满足用户对视角切换的需求，提高了展示效果。

下面通过具体的实施例，对本申请实施例进行说明。

针对上述步骤S201，即接收包括第一视角的视角切换指令。

在本步骤中，当用户需要对当前视角所展示的图像画面进行视角切换时，可以触发电子设备对当前展示的图像画面的视角切换操作。此时，电子设备将接收到视角切换指令，该视角切换指令中包括切换后的视角，即第一视角。

在本申请实施例中，上述第一视角可以为虚拟视角，即第一视角为拍摄场景中未部署有摄像机的视角。在此，对上述第一视角不作具体限定。

针对上述步骤S202，即获取待投影图像，待投影图像为第一视角的第一预设范围内至少一个第一摄像机采集到的图像。

在本步骤中，电子设备在接收到上述视角切换指令后，可以根据该视角切换指令中包括的第一视角，获取在该第一视角的第一预设范围内所有摄像机所采集到的图像，作为待投影图像。

一个可选的实施例中，上述第一预设范围可以以距离的形式表示。

为便于理解，以上述图1为例进行说明。现假设第一视角为图1中摄像机0(此时，摄像机0为虚拟摄像机，即摄像机所对应的位置未部署摄像机)所对应的视角，第一预设范围为2米。

电子设备在接收到上述视角切换指令后，确定以摄像机0所在位置的中心点为圆心，半径为2米的圆形区域中所有摄像机，从而获取该圆形区域内所有摄像机所采集到的图像，作为待投影图像。

在本申请实施例中，上述第一预设范围可以根据用户需求进行设置。上述第一视角的第一预设范围内至少包括一个摄像机。由于第一视角的第一预设范围内包括的摄像机的数量受到第一预设范围的大小的影响，因此，当第一视角的第一预设范围内包括的摄像机越多时，电子设备所获取到的待投影图像的数量也将越多。在此，对上述获取到的待投影图像的数量不作具体限定。为便于描述，在本申请实施例中仅以一个待投影图像为例进行说明，并不起任何限定作用。

针对步骤S203，即基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像。

一个可选的实施例中，电子设备可以根据第一摄像机的摄像机参数，利用预设投影技术，如三维(3-Dimension，3D)投影技术，将上述待投影图像中的每一像素点投影至第一视角所对应的图像坐标系中，得到投影图像。在此，对预设投影技术不作具体限定。

在本申请实施例中，由于待投影图像所对应的视角与投影图像所对应的视角(即上述第一视角)不同，因此，当待投影图像投影至第一视角所对应的图像坐标系中时，由于遮挡现象的存在，这将导致待投影图像中的部分像素被遮挡，或者部分被遮挡的像素点无法投影至第一视角所对应的图像坐标系中，此时，在投影图像中将出现空洞区域。

为便于理解，以待投影图像中的一个像素点，如像素点A为例，对上述投影过程进行说明。现假设利用上述预设投影技术，像素点A被投影至上述第一视角所对应的图像坐标系后的像素点为像素点B。此时，像素点A的图像信息将被填充至像素点B。关于像素点A所对应的像素点B的确定方式可参见下文描述，在此不作具体说明。

但是由于遮挡现象的存在，可能使得待投影图像中的多个像素点投影至第一视角所对应的图像坐标系中的同一像素点，或者待投影图像中被遮挡的部分无法投影至第一视角所对应的图像坐标系中，这都将导致投影得到的待投影图像中出现不存在图像信息的像素点，将一个或多个不存在图像信息的像素点的所在的区域记为空洞区域。也就是上述空洞区域为上述投影图像中不存在图像信息的像素点所构成的区域。

上述图像信息包括但不限于像素点所对应的红绿蓝(Red Green Blue，RGB)值和深度值。

为便于理解，结合图3-a和图3-b进行说明。其中，图3-a为摄像机在视角A对正方体A进行图像采集得到的图像。图3-b为摄像机在视角B对正方体A进行图像采集得到的图像。

现假设电子设备将视角A所对应的图像投影至视角B所对应的图像坐标系中。

在图3-a所示的图像A中仅包括正方体A的一个面，即面301，也就是图3-b所示的图像B中的面302和面303被面301遮挡。因此，图3-a所示的图像A投影至视角B所对应的图像坐标系后，投影图像中仅包括正方体A的一个面，即面301。也就是在投影图像中，图3-b所示的面302和面303所在的区域中的像素点不存在图像信息，即图3-b所示的面302和面303所在的区域为空洞区域。

上述投影图像中包括的空洞区域的数量至少为一个。当投影图像中包括多个空洞区域时，各空洞区域的形状可以相同，也可以不同。投影图像中每一空洞区域所包括的像素点的数量可以为一个，也可以为多个。在本申请实施例中，受到上述待投影图像的视角与第一视角间的视角差，待投影图像的数量等因素的影响，上述投影图像中包括的空洞区域的数量，以及每一空洞区域的大小有所不同。在此，对上述投影图像中包括的空洞区域的数量，每一空洞区域的大小，以及每一空洞区域包括的像素点的数量不作具体限定。为便于描述，在本申请实施例中仅以一个空洞区域为例进行说明，并不起任何限定作用。

一个可选的实施例中，当上述待投影图像的数量为多个时，电子设备在将待投影图像投影至第一视角所对应的图像坐标系时，可以将所有待投影图像投影至同一图像中。

关于上述投影图像的获取方法可参见下文描述，在此不作具体说明。

在本申请实施例中，上述第一摄像机的摄像机参数包括摄像机内参和摄像机外参。

上述摄像机内参包括摄像机的焦距、原点X轴偏移量和原点Y轴偏移量。摄像机的摄像机内参可以表示为内参矩阵intrinsics_cam，即：

其中，cam表示摄像机，f_cam为摄像机cam的焦距，cx_cam为摄像机cam的原点X轴偏移量，cy_cam为摄像机cam的原点Y轴偏移量。

上述摄像机外参包括世界坐标系中的位置和方向，可以表示为摄像机旋转矩阵和摄像机位移矩阵。

上述摄像机旋转矩阵R_cam可以表示为：

上述摄像机位移矩阵t_cam可以表示为：

上述摄像机的摄像机外参具体可以表示为外参矩阵extrinsics_cam，即

其中，cam表示摄像机，R为世界坐标系中的方向，t表示世界坐标系中的位置，x表示世界坐标系中的X轴方向，y为世界坐标系中的Y轴方向，z为世界坐标系中的Z轴方向。

上述摄像机的摄像机内参和摄像机外参可以通过对应的预设标定方法得到。以摄像机内参为例，可以利用张氏标定法标定摄像机的摄像机内参。在此，对上述摄像机的摄像机内参和摄像机外参的获取方法不作具体限定。

一个可选的实施例中，当上述第一视角的第一预设范围内包括多个摄像机时，为了降低每一摄像机采集到的图像在分辨率、色彩等方面的差异，保证视角切换后的图像的图像质量，每一摄像机的摄像机内参可以相同或相近。

在本申请实施例中，当上述第一视角的第一预设范围内包括多个摄像机时，由于每一摄像机所对应的视角均不相同，因此，每一摄像机的摄像机外参均不相同。

针对上述步骤S204，即根据投影图像中空洞区域第二预设范围内像素点的图像信息，对投影图像进行空洞填补，得到第一视角的合成图像。

在本申请实施例中，由于图像中每一像素点的图像信息与其周边像素点的图像信息存在一定的关联性，因此，针对上述投影图像中的空洞区域，电子设备可以利用该空洞区域周边的像素点的图像信息，对该空洞区域进行空洞填补，也就是根据投影图像中空洞区域第二预设范围内像素点的图像信息，确定出空洞区域中每一像素点的图像信息，从而得到第一视角的合成图像。

上述第二预设范围可以根据用户经验值或者用户需求进行设置，在此，对上述第二预设范围不作具体限定。

为便于理解，结合图4-a和图4-b为例进行说明。图4-a为本申请实施例提供的投影图像的一种示意图。图4-b为图4-a所示的投影图像的空洞区域的蒙版图像。

根据图4-b所示的蒙版图像中，白色区域为空洞区域，如区域401和区域402，黑色区域为非空洞区域(即有效像素区域)。根据图4-b所示的蒙版图像，可以确定图4-a中区域401和区域402为空洞区域。其中，非空洞区域(或者有效像素区域)为存在图像信息的像素点所构成的区域。

电子设备在对图4-a中的区域401和区域402进行空洞填补时，可以根据区域401和区域402右侧区域的图像信息，确定区域401和区域402的图像信息，并根据确定出的图像信息对区域401和区域402进行空洞填补。

上述像素点的图像信息包括但不限于像素点的RGB值和深度值。在此，对上述图像信息不作具体限定。

关于上述空洞填补的方法可参见下文描述，在此不作具体说明。

针对上述步骤S205，即展示第一视角的合成图像。

在本步骤中，电子设备在合成上述第一视角的合成图像后，也就是得到第一视角的虚拟合成图像后，可以展示该第一视角合成图像。例如，在显示界面显示该合成图像。

在视角切换过程中所切换的数据为视频数据，在本申请实施例中，仅以视频数据中的一帧视频图像为例，对切换至虚拟视角(即上述第一视角)图像合成方法进行说明。切换后虚拟视角上每一帧视频图像均可参照上述第一视角的合成图像的方法进行合成，在此不作具体说明。

一个可选的实施例中，如图5所示，图5为本申请实施例提供的图像投影方法的一种流程示意图。上述步骤S203，即基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像，具体可以细化为以下步骤，步骤S501-步骤S505。

步骤S501，针对待投影图像中每一像素点，根据该像素点的第一坐标值以及第一摄像机的摄像机内参，计算该像素点在摄像机坐标系中的第二坐标值。

为便于理解，下面以待投影图像中的一个像素点，即像素点P为例进行说明。像素点P在待投影图像中的坐标值为(u_src，v_src)，其中，src表示采集待投影图像的摄像机，u_src为待投影图像中像素点P的横坐标值，v_src为待投影图像中像素点P的纵坐标值。

上述像素点P的坐标值为(u_src，v_src)为像素点P在图像坐标系中的坐标值，将该坐标值转换为齐次坐标，即

一个可选的实施例中，针对待投影图像中每一像素点，电子设备可以利用以下公式，计算该像素点在摄像机坐标系中的第二坐标值：

其中，为像素点P在摄像机坐标系中的第二坐标值，x_src为像素点P在摄像机坐标系的X轴方向上的坐标值，y_src为像素点P在摄像机坐标系的Y轴方向上的坐标值，z_src为像素点P在摄像机坐标系的Z轴方向上的坐标值，intrinsics_src为摄像机src的内参矩阵，I表示求逆操作，d为像素点P在待投影图像中对应的深度值。

步骤S502，针对待投影图像中每一像素点，根据该像素点的第二坐标值以及第一摄像机的摄像机外参，计算该像素点在世界坐标系中的第三坐标值。

为便于理解，仍以上述像素点P为例进行说明。

一个可选的实施例中，针对待投影图像中每一像素点，电子设备可以利用以下公式，计算该像素点在世界坐标系中的第三坐标值：

其中，为像素点P在世界坐标系中的第三坐标值，X为像素点P在世界坐标系X轴方向上的坐标值，Y为像素点P在世界坐标系Y轴方向上的坐标值，Z为像素点P在世界坐标系Z轴方向上的坐标值，extrinsics_src摄像机src的外参矩阵，I表示求逆操作。

步骤S503，针对待投影图像中每一像素点，根据该像素点的第三坐标值以及第一视角上虚拟摄像机的摄像机外参，计算该像素点在第一视角对应的摄像机坐标系中的第四坐标值。

为便于理解，仍以上述像素点P为例进行说明。

一个可选的实施例中，针对待投影图像中每一像素点，电子设备可以利用以下公式，计算该像素点在第一视角对应的摄像机坐标系中的第四坐标值：

其中，tar表示第一视角上对应的虚拟摄像机，为像素点P投影至第一视角所对应的摄像机坐标系中的第四坐标值，x_tar为像素点P投影至第一视角所对应的摄像机坐标系中X轴方向上的坐标值，y_tar为像素点P投影至第一视角所对应的摄像机坐标系中Y轴方向上的坐标值，z_tar为像素点P投影至第一视角所对应的摄像机坐标系中Z轴方向上的坐标值，extrinsics_tar为虚拟摄像机tar的外参矩阵。

步骤S504，针对待投影图像中每一像素点，根据该像素点的第四坐标值以及第一视角上虚拟摄像机的摄像机内参，计算该像素点在第一视角对应的图像坐标系中的第五坐标值。

为便于理解，仍以上述像素点P为例进行说明。

一个可选的实施例中，针对待投影图像中每一像素点，电子设备可以利用以下公式，计算该像素点在第一视角对应的图像坐标系中的第五坐标值：

其中，为像素点P投影至第一视角所对应的图像坐标系中的第五坐标值，u_tar为像素点P投影至第一视角所对应的图像坐标系中X轴方向上的坐标值，v_tar为像素点P投影至第一视角所对应的图像坐标系中Y轴方向上的坐标值，intrinsics_tar为虚拟摄像机tar的内参矩阵。

一个可选的实施例中，为了降低第一视角的合成图像与待投影图像在分辨率、色彩等方面的差异性，上述虚拟摄像机tar的内参矩阵可以与上述摄像机src的内参矩阵相同。

上述虚拟摄像机tar的外参矩阵可以根据上述第一视角所在的位置进行标定，在此，对上述虚拟摄像机tar的外参矩阵不作具体限定。

步骤S505，根据待投影图像中每一像素点在第一视角对应的图像坐标系中的第五坐标值，对待投影图像进行投影，得到包括空洞区域的投影图像。

在本步骤中，电子设备在确定待投影图像中每一像素点在第一视角对应的图像坐标系中所对应的像素点的位置坐标值(即上述第五坐标值)后，可以针对待投影图像中的每一像素点进行投影，得到包括空洞区域的投影图像。

一个可选的实施例中，上述投影过程具体可以表示为：将待投影图像中每一像素点的图像信息填充至该像素点在第一视角下的图像坐标系中第五坐标值所对应的像素点。例如，上述将像素点A的图像信息填充至像素点B。

在本申请实施例中，由于遮挡现象的存在，上述在将待投影图像中的像素点的图像信息填充至该像素点对应的第五坐标值所对应的像素点时，可能将待投影图像中的多个像素点的图像信息填充至投影图像中的同一像素点。此时，投影图像中该像素点的图像信息可以采用多种方式确定。

例如，投影图像中像素点的图像信息可以为待投影图像中投影至该像素点的各像素点的所对应图像信息的平均值、众数等。

为便于理解，以上述像素点P的坐标为(0,0)为例，对像素点P投影至第二视角对应图像坐标系过程进行说明。像素点P所对应的齐次坐标为：

现假设待投影图像所对应摄像机src的内参矩阵为： 待投影图像所对应摄像机src的外参矩阵为：投影图像所对应虚拟摄像机tar的内参矩阵为：投影图像所对应虚拟摄像机tar的外参矩阵为：

像素点P在摄像机坐标系中的第二坐标值：

[]^-1为对矩阵的求逆操作。

像素点P在世界坐标系中的第三坐标值：

像素点P在第一视角对应的摄像机坐标系中的第四坐标值：

像素点P在第一视角对应的图像坐标系中的第五坐标值：

因此，上述待投影图像中的像素点P在投影图像中所对应的坐标为：(51.84695977,26.45017069)。电子设备可以将待投影图像中的像素点P的图像信息投影至投影图像中坐标值为(51.84695977,26.45017069)的像素点。

通过上述步骤S501-步骤S505，电子设备可以准确的将待投影图像中的每一像素点投影至第一视角所对应的图像坐标系中，从而得到包括空洞区域的投影图像。

在图5所示的方法中，电子设备通过计算出的第五坐标值，直接将待投影图像中的每一像素点进行投影。除此以外，电子设备还可以先根据计算出的第二坐标值和第三坐标值，对待投影图像中的像素点进行坐标转换，再将待投影图像在世界坐标系中的每一像素点投影至第一视角对应的摄像机坐标系中，从而对第一视角对应的摄像机坐标系下的每一像素点进行坐标转换，得到上述投影图像。

一个可选的实施例中，根据图2所示的方法，本申请实施例还提供了一种图像合成方法。如图6所示，图6为本申请实施例提供的图像合成方法的第二种流程示意图。具体将上述步骤S204细化为以下步骤，即步骤S2041-步骤S2044。

步骤S2041，将投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域。

在本步骤中，电子设备可以根据第二预设范围，对投影图像中空洞区域进扩展，也就是将空洞区域向外扩展第二预设范围，扩展得到的区域即为第一扩展区域。

一个可选的实施例中，上述步骤S2041，将投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域，具体可以表示为以下步骤，即步骤一-步骤二。

步骤一，确定投影图像中空洞区域的各边缘像素点。

步骤二，将投影图像中空洞区域的每一边缘像素点向外扩展第二预设范围，得到第一扩展区域。

上述边缘像素点为空洞区域的边缘所在区域所包括的像素点。

一个可选的实施例中，将投影图像中空洞区域的每一边缘像素点向外扩展第二预设范围，得到第一扩展区域，可以表示为：以每一投影图像中空洞区域的每一边缘像素点为圆心，第二预设范围为半径，确定出每一边缘像素点所对应的圆形扩展区域，从而将空洞区域的每一边缘像素点所对应的圆形扩展区域的并集区域中除空洞区域以外的区域，确定为该空洞区域的第一扩展区域。

例如，当上述第二预设范围表示为预设数量个像素点时，电子设备可以针对投影图像中空洞区域的每一边缘像素点，确定该边缘像素点四周预设数量个像素点所构成的圆形扩展区域，并确定每一边缘像素点对应的圆形扩展区域的并集区域，该并集区域中除上述空洞区域以外的区域即为上述第一扩展区域。

上述第二预设范围除了以像素点的形式表示以外，还可以以距离的形式表示，如2毫米等。在此，对上述第二预设范围的表示方式不作具体限定，并且，对第二预设范围的取值不作具体限定。

当上述第二预设范围表示为预设距离时，上述第一扩展区域的确定方式可参照上述上述第二预设范围表示为预设数量个像素点时第一扩展区域的确定方式，在此不作具体说明。

在本申请实施例中，电子设备在确定第一扩展区域时，除了对上述空洞区域的每一边缘像素点向外扩展第二预设范围以外，还可以对空洞区域中的每一像素点对外扩展第二预设范围，从而将每一像素点扩展第二预设范围后的并集区域中除空洞区域以外的区域，确定为该空洞区域的第一扩展区域。

为便于理解，结合图7-a至图7-d为例进行说明。图7-a为本申请实施例提供的一个投影图像。图7-b为图7-a所示的投影图像所对应蒙版图像。图7-c为图7-a所示的投影图像所对应待修复图像。图7-d为图7-c所示的待修复图像所对应蒙版图像。

在图7-a中，投影图像701(记为I_prj)中包含一空洞区域，即区域702(记为M_hole)。其中，黑色区域为待投影图像中各像素点投影至第一视角所对应的图像坐标系后形成的有效像素区域。通过获取投影图像701所对应的空洞蒙版得到如图7-b所示蒙版图像703。区域704即为投影图像701中的区域702。

根据蒙版图像703，电子设备可以准确确定出投影图像701中区域702的各边缘像素点，即图7-b中区域704所示的圆形区域中最外层的像素点。

电子设备可以将区域704中各边缘像素点向外扩展第二预设范围，得到如图7-d中的区域709(记为M_in)。此时，电子设备可以将区域709中除空洞区域，即图7-b中区域704以外的圆环区域确定为第一扩展区域(记为M_exp)，也就是将图7-c中的区域707确定为第一扩展区域。

上述M_in、M_exp和M_hole三者间的关系可以表示为：M_in＝M_exp+M_hole。

通过上述第二预设范围，电子设备可以准确在投影图像中确定出第一扩展区域所在的位置，保证了后期确定出的空洞区域中每一像素点的图像信息与第一扩展区域中每一像素点的图像信息间的关联性，从而保证了修复图像的准确性。

步骤S2042，获取投影图像的待修复图像，待修复图像为包括空洞区域和第一扩展区域的图像。

在本步骤中，电子设备可以根据上述空洞区域以及第一扩展区域，截取投影图像中包括空洞区域和第一扩展区域所对应的图像，得到待修复图像。

仍以上述图7-a、图7-c和图7-d为例进行说明。电子设备在确定第一扩展区域为图7-c所示的区域707后，电子设备可以将第一扩展区域(即图7-c中的区域707)和空洞区域(即图7-c中的区域706，也即图7-a中的区域702)作为待修复区域(即图7-d所示的蒙版图像708中的区域709)，从投影图像701中获取该待修复区域所对应的图像，得到待修复图像705。

一个可选的实施例中，电子设备可以利用以下公式，获取投影图像的待修复图像：

I_in＝I_prj*M_exp

其中，I_in为待修复图像，I_prj为投影图像，M_exp为投影图像中空洞区域对应的第一扩展区域的蒙版图像。

在本申请实施例中，通过从投影图像中的获取得到待修复图像，可以使得后期的空洞填补仅针对待修复图像中的待修复区域进行，有效减少了空洞填补过程的计算量，提高了空洞填补效率。

步骤S2043，利用待修复图像中第一扩展区域的每一像素点的图像信息，对空洞区域进行空洞填补，得到修复图像。

一个可选的实施例中，上述步骤S2043，利用待修复图像中第一扩展区域的每一像素点的图像信息，对空洞区域进行空洞填补，得到修复图像，具体可以表示为：

将待修复图像输入预先训练好的图像修复模型，得到修复后的修复图像；其中，图像修复模型是利用预设训练集训练得到的；预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数。

在本申请实施例中，利用图像修复模型对待修复图像中的空洞区域进行空洞填补，可以有效提高修复图像的准确性，以及对空洞区域的空洞填补效率。

关于上述图像修复模型的训练过程可参见下文描述，在此不作具体说明。

步骤S2044，对投影图像与修复图像进行图像融合，得到第一视角的合成图像。

在本步骤中，电子设备在得到上述修复图像后，对上述修复图像和投影图像进行图像融合处理，并将融合后的图像确定为第一视角上的合成图像。

一个可选的实施例中，电子设备可以将修复图像中与投影图像所包括的空洞区域所在位置处的图像信息，融合到投影图像的空洞区域中，得到第一视角上的合成图像。

另一个可选的实施例中，上述步骤S2044，对投影图像与修复图像进行图像融合，得到第一视角的合成图像，具体可以表示为：

利用以下公式，对投影图像与修复图像进行图像融合，得到第一视角的合成图像：

I_prd＝I_out*M_hole+[(1-α)I_out*M_exp+α*I_in*M_exp]+(I_in-I_in*M_in)

其中，I_prd为第一视角的合成图像，I_out为修复图像，M_hole为投影图像中空洞区域所对应的空洞蒙版，α为预设权重，M_exp为投影图像中空洞区域对应的第一扩展区域的蒙版图像，I_in为待修复图像，M_in为待修复图像中空洞区域和扩展区域所对应的蒙版图像。

通过图6所示的方法，电子设备仅对待修复图像中的空洞区域进行空洞填补得到修复图像，从而对投影图像和修复图像进行图像融合，这使得最终得到的第一视角的合成图像中不包括空洞区域，保证了第一视角的合成图像的完整性以及准确性。

基于同一种发明构思，根据上述本申请实施例提供的图像合成方法，本申请实施例还提供了图像修复模型训练方法，如图8所示，图8为本申请实施例提供的图像模型训练方法的一种流程示意图。该方法包括以下步骤。

步骤S801，获取预设训练集。

上述预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数。

为便于理解，仍以上述图1未进行说明。

上述预设训练集中可以包括：某一时刻图1中每一摄像机在对应视角上对舞台进行拍摄所得到的图像，即样本图像，以及图1中每一摄像机的摄像机参数。

在本申请实施例中，上述预设训练集中包括的样本图像和摄像机参数可以为一组训练数据，也可以为多组训练数据。同一组训练数据中包括的样本图像所对应的拍摄场景、摄像机的视点等相同。不同组训练数据中样本图像所对应的拍摄场景、摄像机的视点等可以不同，也可以相同。在此，对上述预设训练集不作具体限定。为便于理解，本申请实施例仅以一组训练数据为例进行说明，并不起任何限定作用。

步骤S802，基于每一第二摄像机的摄像机参数，将预设训练集中除第二视角以外的样本图像投影至第二视角对应的图像坐标系中，得到包括空洞区域的样本投影图像。

在本步骤中，电子设备可以选取任一样本图像所对应的视角作为第二视角。针对预设训练集中除第二视角所对应的样本图像以外的每一样本图像，电子设备可以根据该样本图像所对应的摄像机的摄像机参数，将该样本图像投影至第二视角所对应的图像坐标系中，得到包括空洞区域的样本投影图像。

上述样本图像的投影方式可参照上述待投影图像的投影方式，在此不作具体说明。

步骤S803，将样本投影图像中的空洞区域向外扩展第二预设范围，得到第二扩展区域。

上述第二扩展区域的确定可参照上述第一扩展区域的确定方式，在此不作具体说明。

步骤S804，获取样本投影图像的待修复样本图像，待修复样本图像为包括空洞区域和第二扩展区域的图像。

上述待修复样本图像的获取方式可参照上述待修复图像的获取方式，在此不作具体说明。

步骤S805，将待修复样本图像输入预设深度网络模型，得到样本修复图像。

上述预设深度网络模型的输入数据所包括的维度与输出数据所包括的维度相同。

例如，输入的待修复样本图像包括每一像素点的RGB值和深度值，则预设深度网络模型输出的样本修复图像也包括每一像素点的RGB值和深度值。

在本申请实施例中，上述预设深度网络模型可以为深度残差网络(ResNet)模型或视觉几何组(Visual Geometry Group，VGG)模型。在此，对上述预设深度网络模型不作具体限定。

步骤S806，对样本投影图像和样本修复图像进行图像融合，得到第二视角的样本合成图像。

上述对样本投影图像和样本修复图像的图像融合方式可参照上述对投影图像和修复图像的图像融合方式，在此不作具体说明。

步骤S807，根据样本合成图像以及预设训练集中第二视角的样本图像，计算预设深度网络模型的损失值。

一个可选的实施例中，电子设备可以利用以下公式，计算预设深度网络模型的损失值：

loss＝||I_prd′*M_in′-I_true′*M_in′||

其中，loss为损失值，|| ||为范数操作，I_prd′为第二视角的样本合成图像，M_in′待修复样本图像中空洞区域和扩展区域所对应的蒙版图像，I_true′为第二视角的样本图像。

在本申请实施例中，上述预设深度网络模型的损失值该可以采用其他方式计算得到。例如，电子设备可以计算样本合成图像中每一像素点的图像信息，与预设训练集中第二视角的样本图像中对应位置处的像素点的图像信息间的差异和值，并将该差异和值确定为预设深度网络模型的损失值。在此，对上述预设深度网络模型的损失值的计算方式不作具体限定。

在本申请实施例中，电子设备在计算等到上述损失值后，可以将该损失值与预设损失值阈值进行比较。若损失值大于预设损失值阈值，则执行步骤S808。若损失值不大于预设损失值阈值，则执行步骤S809。

步骤S808，当损失值大于预设损失值阈值时，调整预设深度网络模型的参数，并返回执行步骤S805。

当上述损失值大于预设损失值阈值时，电子设备可以确定该预设深度网络模型未收敛。此时，电子设备可以调整预设深度网络模型的参数，并返回执行上述步骤S805，即返回执行将待修复样本图像输入预设深度网络模型，得到样本修复图像的步骤。

在本申请实施例中，上述预设深度网络模型的参数包括但不限于权重和偏置量。电子设备可以利用梯度下降法或反向调节法等，对上述预设深度网络模型的参数进行调整。

步骤S809，当损失值不大于预设损失值阈值时，将当前预设深度网络模型确定为训练好的图像修复模型。

在本步骤中，当上述损失值小于等于预设损失值阈值时，电子设备可以确定预设深度网络模型收敛。此时，电子设备可以将当前预设深度网络模型确定为训练好的图像修复模型，即上述待修复图像所输入的预先训练好的图像修复模型。

通过图8所示的方法，电子设备可以利用预设训练集中的样本图像完成对上述预设深度网络模型的训练，从而保证了训练得到的图像修复模型的准确性，保证了利用该图像修复模型对待修复图像进行空洞填补得到的修复图像的准确性，以及基于修复图像所得到的合成图像的准确性。

基于同一种发明构思，根据上述本申请实施例提供的图像合成方法，本申请实施例还提供了一种图像合成装置。如图9所示，图9为本申请实施例提供的图像合成装置的一种结构示意图。该装置包括以下模块。

接收模块901，用于接收包括第一视角的视角切换指令；

第一获取模块902，用于获取待投影图像，待投影图像为第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

第一投影模块903，用于基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

合成模块904，用于根据投影图像中空洞区域第二预设范围内像素点的图像信息，对投影图像进行空洞填补，得到第一视角的合成图像；

展示模块905，用于展示第一视角的合成图像。

可选的，上述合成模块904，包括：

扩展子模块，用于将投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域；

获取子模块，用于获取投影图像的待修复图像，待修复图像为包括空洞区域和第一扩展区域的图像；

修复子模块，用于利用待修复图像中第一扩展区域的每一像素点的图像信息，对空洞区域进行空洞填补，得到修复图像；

融合子模块，用于对投影图像与修复图像进行图像融合，得到第一视角的合成图像。

可选的，上述扩展子模块，具体可以用于确定投影图像中空洞区域的各边缘像素点；将投影图像中空洞区域的每一边缘像素点向外扩展第二预设范围，得到第一扩展区域。

可选的，上述获取子模块，具体可以用于利用以下公式，获取投影图像的待修复图像：

I_in＝I_prj*M_exp

其中，I_in为待修复图像，I_prj为投影图像，M_exp为投影图像中空洞区域对应的第一扩展区域的蒙版图像。

可选的，修复子模块，具体可以用于将待修复图像输入预先训练好的图像修复模型，得到修复图像；其中，图像修复模型是利用预设训练集训练得到的；预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数。

可选的，上述图像合成装置还可以包括：

第二获取模块，用于获取预设训练集；

第二投影模块，用于基于每一第二摄像机的摄像机参数，将预设训练集中除第二视角以外的样本图像投影至第二视角对应的图像坐标系中，得到包括空洞区域的样本投影图像；

扩展模块，用于将样本投影图像中的空洞区域向外扩展第二预设范围，得到第二扩展区域；

第三获取模块，用于获取样本投影图像的待修复样本图像，待修复样本图像为包括空洞区域和第二扩展区域的图像；

修复模块，用于将待修复样本图像输入预设深度网络模型，得到样本修复图像；

融合模块，用于对样本投影图像和样本修复图像进行图像融合，得到第二视角的样本合成图像；

计算模块，用于根据样本合成图像以及预设训练集中第二视角的样本图像，计算预设深度网络模型的损失值；

调整模块，用于当损失值大于预设损失值阈值时，调整预设深度网络模型的参数，并返回调用修复模块执行将待修复样本图像输入预设深度网络模型，得到样本修复图像的步骤；

确定模块，用于当损失值不大于预设损失值阈值时，将当前预设深度网络模型确定为训练好的图像修复模型。

可选的，上述计算模块，具体可以用于利用以下公式，计算预设深度网络模型的损失值：

loss＝||I_prd′*M_in′-I_true′*M_in′||

其中，loss为损失值，|| ||为范数操作，I_prd′为第二视角的样本合成图像，M_in′待修复样本图像中空洞区域和扩展区域所对应的蒙版图像，I_true′为第二视角的样本图像。

可选的，上述融合子模块，具体可以用于利用以下公式，对投影图像与修复图像进行图像融合，得到第一视角的合成图像：

I_prd＝I_out*M_hole+[(1-α)I_put*M_exp+α*I_in*M_exp]+(I_in-I_in*M_in)

其中，I_prd为第一视角的合成图像，I_out为修复图像，M_hole为投影图像中空洞区域所对应的空洞蒙版，α为预设权重，M_exp为投影图像中空洞区域对应的第一扩展区域的蒙版图像，I_in为待修复图像，M_in为待修复图像中空洞区域和扩展区域所对应的蒙版图像。

可选的，上述摄像机参数包括摄像机外参和摄像机内参；

上述第一投影模块903，具体可以用于针对待投影图像中每一像素点，根据该像素点的第一坐标值以及第一摄像机的摄像机内参，计算该像素点在摄像机坐标系中的第二坐标值；

针对待投影图像中每一像素点，根据该像素点的第二坐标值以及第一摄像机的摄像机外参，计算该像素点在世界坐标系中的第三坐标值；

针对待投影图像中每一像素点，根据该像素点的第三坐标值以及第一视角上虚拟摄像机的摄像机外参，计算该像素点在第一视角对应的摄像机坐标系中的第四坐标值；

针对待投影图像中每一像素点，根据该像素点的第四坐标值以及第一视角上虚拟摄像机的摄像机内参，计算该像素点在第一视角对应的图像坐标系中的第五坐标值；

根据待投影图像中每一像素点在第一视角对应的图像坐标系中的第五坐标值，对待投影图像进行投影，得到包括空洞区域的投影图像。

通过本申请实施例提供的装置，在接收到视角切换指令后，通过将获取到的待投影图像投影至第一视角所对应的图像坐标系中，得到包括空洞区域的投影图像，从而利用空洞区域第二预设范围内各像素点的图像信息，对空洞区域进行空洞填补，得到第一视角的合成图像，并展示该合成图像。

由于第一视角的合成图像是基于第一视角的第一预设范围内至少一个摄像机所采集到的待投影图像合成的，这使得视角切换过程中可以利用第一视角相邻视角上摄像机所采集到的图像合成第一视角所对应的图像，从而避免在第一视角所对应的位置上部署摄像机，减少了所需部署的摄像机的数量，从而大大降低了视角切换过程所需的部署成本。

再者，通过接收包括第一视角的视角切换指令，从而展示第一视角所对应的合成图像，这在降低视角切换过程所需的部署成本的同时，提供了更多可供切换的视角，满足用户对视角切换的需求，提高了展示效果。

基于同一种发明构思，根据上述本申请实施例提供的图像合成方法，本申请实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，

存储器1003，用于存放计算机程序；

处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：

接收包括第一视角的视角切换指令；

获取待投影图像，待投影图像为第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

基于第一摄像机的摄像机参数，将待投影图像投影至第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

根据投影图像中空洞区域第二预设范围内像素点的图像信息，对投影图像进行空洞填补，得到第一视角的合成图像；

展示第一视角的合成图像。

通过本申请实施例提供的电子设备，在接收到视角切换指令后，通过将获取到的待投影图像投影至第一视角所对应的图像坐标系中，得到包括空洞区域的投影图像，从而利用空洞区域第二预设范围内各像素点的图像信息，对空洞区域进行空洞填补，得到第一视角的合成图像，并展示该合成图像。

由于第一视角的合成图像是基于第一视角的第一预设范围内至少一个摄像机所采集到的待投影图像合成的，这使得视角切换过程中可以利用第一视角相邻视角上摄像机所采集到的图像合成第一视角所对应的图像，从而避免在第一视角所对应的位置上部署摄像机，减少了所需部署的摄像机的数量，从而大大降低了视角切换过程所需的部署成本。

再者，通过接收包括第一视角的视角切换指令，从而展示第一视角所对应的合成图像，这在降低视角切换过程所需的部署成本的同时，提供了更多可供切换的视角，满足用户对视角切换的需求，提高了展示效果。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

基于同一种发明构思，根据上述本申请实施例提供的图像合成方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的图像合成方法。

基于同一种发明构思，根据上述本申请实施例提供的图像合成方法，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像合成方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (7)

1.一种图像合成方法，其特征在于，所述方法包括：

接收包括第一视角的视角切换指令；

获取待投影图像，所述待投影图像为所述第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像；

展示所述第一视角的合成图像；

所述根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像的步骤，包括：

将所述投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域；

获取所述投影图像的待修复图像，所述待修复图像为包括所述空洞区域和所述第一扩展区域的图像；

利用所述待修复图像中第一扩展区域的每一像素点的图像信息，对所述空洞区域进行空洞填补，得到修复图像；

对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像；

所述利用所述待修复图像中第一扩展区域的每一像素点的图像信息，对所述空洞区域进行空洞填补，得到修复图像的步骤，包括：

将所述待修复图像输入预先训练好的图像修复模型，得到修复图像；其中，所述图像修复模型是利用预设训练集训练得到的；所述预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数；

采用以下步骤训练得到所述图像修复模型：

获取所述预设训练集；

基于每一第二摄像机的摄像机参数，将所述预设训练集中除第二视角以外的样本图像投影至所述第二视角对应的图像坐标系中，得到包括空洞区域的样本投影图像；

将所述样本投影图像中的空洞区域向外扩展第二预设范围，得到第二扩展区域；

获取所述样本投影图像的待修复样本图像，所述待修复样本图像为包括所述空洞区域和所述第二扩展区域的图像；

将所述待修复样本图像输入预设深度网络模型，得到样本修复图像；

对所述样本投影图像和所述样本修复图像进行图像融合，得到所述第二视角的样本合成图像；

根据所述样本合成图像以及所述预设训练集中第二视角的样本图像，计算所述预设深度网络模型的损失值；

当所述损失值大于预设损失值阈值时，调整所述预设深度网络模型的参数，并返回执行将所述待修复样本图像输入预设深度网络模型，得到样本修复图像的步骤；

当所述损失值不大于所述预设损失值阈值时，将当前预设深度网络模型确定为训练好的图像修复模型；

所述根据所述样本合成图像以及所述预设训练集中第二视角的样本图像，计算所述预设深度网络模型的损失值的步骤，包括：

利用以下公式，计算所述预设深度网络模型的损失值：

loss＝||I_prd′*M_in′-I_true′*M_in′||

其中，loss为所述损失值，‖ ‖为范数操作，I_prd′为所述第二视角的样本合成图像，M_in′所述待修复样本图像中空洞区域和扩展区域所对应的蒙版图像，I_true′为所述第二视角的样本图像；

所述对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像的步骤，包括：

利用以下公式，对所述投影图像与所述修复图像进行图像融合，得到所述第一视角的合成图像：

I_prd＝I_out*M_hole+[(1-α)I_out*M_exp+α*I_in*M_exp]+(I_in-I_in*M_in)

其中，I_prd为所述第一视角的合成图像，I_out为所述修复图像，M_hole为所述投影图像中空洞区域所对应的空洞蒙版，α为预设权重，M_exp为所述投影图像中空洞区域对应的第一扩展区域的蒙版图像，I_in为所述待修复图像，M_in为待修复图像中空洞区域和扩展区域所对应的蒙版图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域的步骤，包括：

确定所述投影图像中空洞区域的各边缘像素点；

将所述投影图像中空洞区域的每一边缘像素点向外扩展第二预设范围，得到第一扩展区域。

3.根据权利要求1所述的方法，其特征在于，所述获取所述投影图像的待修复图像的步骤，包括：

利用以下公式，获取所述投影图像的待修复图像：

I_in＝I_prj*M_exp

其中，I_in为所述待修复图像，I_prj为所述投影图像，M_exp为所述投影图像中空洞区域对应的第一扩展区域的蒙版图像。

4.根据权利要求1所述的方法，其特征在于，所述摄像机参数包括摄像机外参和摄像机内参；

所述基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像的步骤，包括：

针对所述待投影图像中每一像素点，根据该像素点的第一坐标值以及所述第一摄像机的摄像机内参，计算该像素点在摄像机坐标系中的第二坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第二坐标值以及所述第一摄像机的摄像机外参，计算该像素点在世界坐标系中的第三坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第三坐标值以及所述第一视角上虚拟摄像机的摄像机外参，计算该像素点在所述第一视角对应的摄像机坐标系中的第四坐标值；

针对所述待投影图像中每一像素点，根据该像素点的第四坐标值以及所述第一视角上虚拟摄像机的摄像机内参，计算该像素点在所述第一视角对应的图像坐标系中的第五坐标值；

根据所述待投影图像中每一像素点在所述第一视角对应的图像坐标系中的第五坐标值，对所述待投影图像进行投影，得到包括空洞区域的投影图像。

5.一种图像合成装置，其特征在于，所述装置包括：

接收模块，用于接收包括第一视角的视角切换指令；

第一获取模块，用于获取待投影图像，所述待投影图像为所述第一视角的第一预设范围内至少一个第一摄像机采集到的图像；

第一投影模块，用于基于所述第一摄像机的摄像机参数，将所述待投影图像投影至所述第一视角对应的图像坐标系中，得到包括空洞区域的投影图像；

合成模块，用于根据所述投影图像中空洞区域第二预设范围内像素点的图像信息，对所述投影图像进行空洞填补，得到所述第一视角的合成图像；

展示模块，用于展示所述第一视角的合成图像；

所述合成模块，包括扩展子模块，用于将投影图像中的空洞区域向外扩展第二预设范围，得到第一扩展区域；

获取子模块，用于获取投影图像的待修复图像，待修复图像为包括空洞区域和第一扩展区域的图像；

修复子模块，用于利用待修复图像中第一扩展区域的每一像素点的图像信息，对空洞区域进行空洞填补，得到修复图像；

融合子模块，用于对投影图像与修复图像进行图像融合，得到第一视角的合成图像；

所述修复子模块，具体用于将待修复图像输入预先训练好的图像修复模型，得到修复图像；其中，图像修复模型是利用预设训练集训练得到的；预设训练集包括多个第二摄像机在不同视角采集到的样本图像以及每一第二摄像机的摄像机参数；

所述图像合成装置还包括：

第二获取模块，用于获取预设训练集；

第二投影模块，用于基于每一第二摄像机的摄像机参数，将预设训练集中除第二视角以外的样本图像投影至第二视角对应的图像坐标系中，得到包括空洞区域的样本投影图像；

扩展模块，用于将样本投影图像中的空洞区域向外扩展第二预设范围，得到第二扩展区域；

第三获取模块，用于获取样本投影图像的待修复样本图像，待修复样本图像为包括空洞区域和第二扩展区域的图像；

修复模块，用于将待修复样本图像输入预设深度网络模型，得到样本修复图像；

融合模块，用于对样本投影图像和样本修复图像进行图像融合，得到第二视角的样本合成图像；

计算模块，用于根据样本合成图像以及预设训练集中第二视角的样本图像，计算预设深度网络模型的损失值；

调整模块，用于当损失值大于预设损失值阈值时，调整预设深度网络模型的参数，并返回调用修复模块执行将待修复样本图像输入预设深度网络模型，得到样本修复图像的步骤；

确定模块，用于当损失值不大于预设损失值阈值时，将当前预设深度网络模型确定为训练好的图像修复模型；

所述计算模块，具体用于利用以下公式，计算预设深度网络模型的损失值：

loss＝||I_prd′*M_in-I_true′*M_in′||

其中，loss为损失值，‖ ‖为范数操作，I_prd′为第二视角的样本合成图像，M_in′待修复样本图像中空洞区域和扩展区域所对应的蒙版图像，I_true′为第二视角的样本图像；

所述融合子模块，具体用于利用以下公式，对投影图像与修复图像进行图像融合，得到第一视角的合成图像：

I_prd＝I_out*M_hole+[(1-α)I_out*M_exp+α**I_in*M_exp]+(I_in-I_in*M_in)

其中，I_prd为第一视角的合成图像，I_out为修复图像，M_hole为投影图像中空洞区域所对应的空洞蒙版，α为预设权重，M_exp为投影图像中空洞区域对应的第一扩展区域的蒙版图像，I_in为待修复图像，M_in为待修复图像中空洞区域和扩展区域所对应的蒙版图像。

6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。