CN112884673B - 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法 - Google Patents

Abstract

本发明公开了一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，包括以下步骤：取壁画集中的任一一幅壁画分块图像I_r，再对其进行下采样为{I_r0,I_r1,I_r2,I_r3,I_r4}，其中，I_m4为掩膜后下采样4次的壁画；向生成器的最底层输入I_m4，经生成器G₄生成外延性壁画G₄(I_m4)，将G₄(I_m4)与I_r4输入到判别器D₄进行比较判别，并根据损失函数更新该层的权重参数；得生成器中各层的权重参数；利用训练集及判别器对生成器进行训练，使得生成器与判别器达到纳什均衡，然后利用训练后的生成器进行墓室壁画分块间缺失信息的重构，该方法能够实现壁画分块间外延性信息的重建。

Description

改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法

技术领域

本发明属于数字图像修复领域，涉及一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法。

背景技术

墓室壁画对我国古代史和艺术史有着双重重要的意义，它真实地反映了古代中国人的生活状况、社会风尚和艺术趣味,同时也反映了人们的宗教信仰、丧葬文化等诸多方面的状况。由于墓室壁画与殿堂壁画与石窟寺壁画不同，其深埋地下数千年，未挖掘之前完全是密闭的空间，残留信息可靠性强。且墓室壁画幅面较大，以章怀太子墓马球图为例：壁画长近7米高3米。在上世纪七八十年代的考古挖掘条件下，只能采取分块揭取的方式。这就产生了大量分块保存的珍贵墓室壁画，而揭取的过程也让壁画产生了块间信息缺失，影响整幅壁画的连贯性与完整性。

目前计算机辅助古代壁画进行数字信息修复的方法digital Image inpaiting是通过检索图像信息缺失区域的边缘，利用图像残存信息从边缘扩散并填充到缺损区域内部，如剥洋葱般层层填补信息空洞，最终完成壁画信息的重建。此类技术主要从两个技术方向来完成，一方面是基于像素扩散的PDE类模型，其通过计算填充前缘的高阶偏导函数，利用不同的扩散方程完成信息填充，缺点是当画面信息缺失较大时会产生模糊现象；另一方面是基于样本填充的纹理合成类模型，其通过比对存留样本与填充前缘的相关性，按照一定的填充顺序完成信息补全，缺点是大量相似样本的填充会产生马赛克效应。这两种方法面临缺失区域较大时均不能达到良好的墓室壁画修复效果，且仅从现有残存信息中寻找可用信息，局限性较大，对于分块壁画只能向内填充空洞，无法达到分块壁画间外延性信息的重建需求。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，该方法能够实现壁画分块间外延性信息的重建。

为达到上述目的，本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法包括以下步骤：

1)对墓道中分块挖掘的一幅壁画的多个分块进行图像采集，获取壁画分块图像，对壁画分块图像添加掩码后进行min-max标准化，再通过标准化后的壁画分块图像构建图像集，将该图像集作为SinGAN生成壁画间外延性信息的训练集；

2)构建基于SinGAN且包含5个尺度的生成器及判别器的生成网络，并增加重构损失L_rec、像素重建损失及纹理损失L_texture的损失函数；

3)取壁画集中的任一一幅壁画分块图像I_r，再对其进行下采样为{I_r0,I_r1,I_r2,I_r3,I_r4}，其中，I_m4为掩膜后下采样4次的壁画；

4)向生成器的最底层输入I_m4，经生成器G₄生成外延性壁画G₄(I_m4)，将G₄(I_m4)与I_r4输入到判别器D₄进行比较判别，并根据损失函数更新该层的权重参数；

5)重复步骤4)，得生成器中各层的权重参数；

6)利用训练集及判别器对生成器进行训练，使得生成器与判别器达到纳什均衡，然后利用训练后的生成器进行墓室壁画分块间缺失信息的重构。

采用像素重建损失，以捕捉壁画生成区域周边的整体像素信息，即

其中，M为二进制掩码，I_rn为真实数据的下采样壁画，G_n为生成网络生成的壁画图片，为壁画像素乘法；

利用Gram矩阵设计纹理损失，即

其中，G为Gram矩阵，l_n为真实壁画图像I_rn通过多尺度生成器第n层的输出，I_n为多尺度生成器G_n生成的壁画，g表示生成网络；

设计重构损失为：

L_rec＝||G_n(Noize+I_mn)-I_rn||² (4)

其中，G_n为多尺度生成器的第n层，(Noize+I_mn)为多尺度生成器中每层的噪声与上一层的输出壁画相叠加，I_rn为真实壁画。

重构的损失L_rec、像素重建损失及纹理损失L_texture的损失函数分别为：

L_rec＝||G_n(Noize+I_mn)-I_rn‖ (6)

L_G＝χL_rec+L_2+texture (7)

其中，L_2+texture为壁画的像素重建损失和纹理损失之和，L_D为判别器的损失函数，L_D用于更新判别器权重，χ为可调参数，通过调节生成器的损失函数来调节L_2+texture。

设计多尺度生成器与判别器结构，设{I_r0,I_r1,I_r2...I_rn}分别为真实壁画经过下采样得到的一组壁画分块图像，I_mn为掩膜后下采样n次的壁画分块图像，在多尺度生成器的最底层输入I_mn，经过生成器G_n生成壁画G_n(I_mn)，然后输入到判别器D_n中与I_rn进行比较判别，并更新该层的权重参数，然后将G_n(I_mn)上采样并与其尺寸大小相等的噪声相叠加后作为生成器G_n-1的输入图像，以此循环至图像原始尺寸为止。

使用SSIM来衡量两张壁画之间的保真度及相似性，其中，

其中，为壁画原图I_r的均值，为延展后的壁画I_m的均值，为原壁画I_r的方差，为延展后壁画I_m方差，为I_r,I_m的协方差，b₁及b₂用于防止SSIM分母为零造成的溢出，SSIM位于[0,1]之间，其中，当SSIM越大，则说明两幅图像的内容越相似。

本发明具有以下有益效果：

本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法在具体操作时，采用改进损失函数后的SinGAN生成壁画分块两边的外延性信息，实现地下墓室挖掘出土的壁画分块间缺失部分的重建，相对于传统的数字图像修复采用图像补全(imageinpainting)的方法进行墓室壁画的信息填充，本发明更适合壁画分块向外延展性生成画面信息，需要说明的是，本发明能够实现分块揭取的墓室壁画分块间大量信息的重建，相比于inpainting填充，能够有效保证全局信息的一致性及连贯性。

附图说明

图1为本发明中生成判别流程图；

图2为本发明中训练后的壁画图；

图3为本发明中原壁画图；

图4为本发明中SSIM值的计算结果图；

图5为本发明中壁画生成结果图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参考图1，本发明所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法包括以下步骤：

1)采集高清墓室壁画的图像，将采用到的图像添加掩码后进行min-max标准化，然后通过标准化后的壁画构建具有8000张256*256的图像集，并以该壁画集作为训练集，其中，通过分镜头采集高清墓室壁画，同时选取标准化壁画时需保证分镜头中有效信息的去冗余最大化表现。

其中，墓室壁画马球图数据集，将原始数据中的壁画组成训练集。其预处理过程为给定一个训练壁画I_r，将壁画规范化为I_r∈[0,1]^256*256*3，min-max标准化处理的公式为：

其中，x为样本点的数值，Min为样本数据的最小值，Max为样本数据的最大值。

将样本点的数值减去最小值，再除以样本点数值最大值与最小值之间的差值，以提高神经网络的性能。

在进行训练时，I_r为原始壁画，定义掩码M∈[0,1]^256*256*3，使得M_ij能够掩盖图像的中心部分，其中，掩码为使用一个只有0和1两个值的二值掩码M(mask),值为1表示图像中对应部分保留，值为0表示图像中对应部分需补全。

2)构建SinGAN的5个多尺度的生成器和判别器，并增加优化迭代程度的损失函数；

设计5个多尺度的生成器和判别器，生成器和判别器均设置有6层卷积层，卷积核为4*4，其中，有两层扩张卷积用于补全壁画图像，判别器由6层全卷积构成，最底层的生成器可以生成壁画的完整性信息，每往上一层，生成器生成的细节越多，直至最后一层生成器G₀生成的尺寸大小为256*256且壁画的内容和风格会越来越逼真为止。

采用像素重建损失捕捉壁画生成区域周边的整体像素信息，其表达式为：

其中，M为二进制掩码，I_rn为真实数据的一些下采样壁画，G_n为生成网络生成的壁画图片，为壁画像素乘法。

通过Gram矩阵设计纹理损失，即：

其中，G为Gram矩阵，l_n为真实壁画图像I_rn通过网络第n层的输出，I_n为多尺度生成器G_n生成的壁画，g代表生成网络，提取每层纹理特征的差距，使外延壁画图像具有与全局相同的局部纹理，以增强外延壁画的真实感。

设计重构损失，即

L_rec＝‖G_n(Noize+I_mn)-I_rn||² (4)

其中，G_n为多尺度生成器的第n层，(Noize+I_mn)为每层的噪声与上一层的输出壁画相叠加，I_rn为真实壁画。

3)取壁画集里面的一张壁画I_r，对其进行下采样为{I_r0,I_r1,I_r2,I_r3,I_r4}，I_m4为掩膜后下采样4次的壁画，在多尺度生成器的最底层输入I_m4，经过生成器G₄，生成壁画G₄(I_m4)；

4)将G₄(I_m4)与I_r4输入到判别器D₄进行比较判别，并根据训练的损失函数更新该层的权重参数，一直重复到G₀层，由于每层都有权重参数的更新，则生成的壁画就会越来越逼真。

生成器可以提取壁画特征进行壁画生成，将训练集壁画I_r下采样4次，得到{I_r0,I_r1,I_r2,I_r3,I_r4}，将定义掩膜后的I_m也进行下采样4次得到I_m4。首先向生成器G₄输入一张壁画I_m4，该生成器能够生成壁画的整体信息。将生成的结果G₄(I_m4)与I_r4输入到判别器D₄进行判别，并根据损失函数更新该层的权重参数，然后将所得到的G₄(I_m4)进行上采样得到I_m3，并与相同尺寸的噪声叠加，叠加后的壁画输入到G₃生成器，得G₃(I_m3)与I_r3输入判别器D₃进行判别，并计算损失更新参数，一直重复到G₀生成器为止，此时生成壁画效果细节与内容最丰富，大大提高生成壁画的质量，其生成判别流程图如图1所示：

5)经200个epoch的循环，生成器与判别器达到纳什均衡，完成模型的训练，再利用训练后的模型进行墓室壁画分块间缺失信息的重建。

生成器及判别器均通过损失函数来进行训练，损失函数为：

L_rec＝||G_n(Noize+I_mn)-I_rn|| (6)

L_G＝χL_rec+L_2+texture (7)

L_2+texture为壁画的像素重建损失和纹理损失之和，用于更新生成器权重来训练生成器，L_D为判别器的损失函数，然后根据L_D来更新判别器权重，最后判别器和生成器进行对抗训练，χ为可调参数，设置为0.96，通过调节L_G生成器的损失函数来调节L_2+texture，其中，每层训练结束后将权重参数进行固定，再训练下一层。

训练结束后，使用SSIM方法对生成的图片进行评估，其数值在[0,1]之间，数值越大表示与原图的相似性越高，使用SSIM来衡量两张壁画之间的保真度和相似性，SSIM不止是用来感知误差，也可以用来观察视觉系统里与感知有关部分的失真程度，能够评估大小不同的两张壁画之间的相似性，其公式为：

其中，为壁画原图I_r的均值，为延展后的壁画I_m的均值，为原壁画I_r方差，为延展后壁画I_m方差，为I_r,I_m的协方差，b₁和b₂用来防止SSIM分母为零造成的溢出情况，SSIM分数在[0,1]之间，当两张图像的内容完全相同时，SSIM分数等于1。

取一张训练过后的壁画与原壁画进行比较，得到图4所述的SSIM值，由SSIM结果可知，该模型在生成壁画的内容及纹理上非常丰富，将训练后的权重保存，并输入一张壁画图片，生成结果如图5所示。

Claims (3)

1.一种改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，其特征在于，包括以下步骤：

1)对墓道中分块挖掘的一幅壁画的多个分块进行图像采集，获取壁画分块图像，对壁画分块图像添加掩码后进行min-max标准化，再通过标准化后的壁画分块图像构建图像集，将该图像集作为SinGAN生成壁画间外延性信息的训练集；

2)构建基于SinGAN且包含5个尺度的生成器及判别器的生成网络，并增加重构损失L_rec、像素重建损失及纹理损失L_texture的损失函数；

3)取壁画集中的任一一幅壁画分块图像I_r，再对其进行下采样分别得到{I_r0,I_r1,I_r2,I_r3,I_r4}，其中，I_r4为下采样4次得到的信息，对I_r添加掩码得I_m,I_m4为在壁画上添加掩膜后进行下采样4次得到的信息；

4)向生成器的最底层输入I_m4，经生成器G₄生成外延性壁画G₄(I_m4)，将G₄(I_m4)与I_r4输入到判别器D₄进行比较判别，并根据损失函数更新该层的权重参数；

5)重复步骤4)，得生成器中各层的权重参数；

6)利用训练集及判别器对生成器进行训练，使得生成器与判别器达到纳什均衡，然后利用训练后的生成器进行墓室壁画分块间缺失信息的重构；

采用像素重建损失，以捕捉壁画生成区域周边的整体像素信息，即

其中，M为二进制掩码，I_rn为真实数据的下采样壁画，G_n为生成网络生成的壁画图片，为壁画像素乘法；

利用Gram矩阵设计纹理损失，即

其中，G为Gram矩阵，l_n为真实壁画图像I_rn通过多尺度生成器第n层的输出，I_n为多尺度生成器G_n生成的壁画，g表示生成网络；

设计重构损失为：

L_rec＝||G_n(Noize+I_mn)-I_rn||² (4)

其中，G_n为多尺度生成器的第n层，(Noize+I_mn)为多尺度生成器中每层的噪声与上一层的输出壁画相叠加，I_rn为真实壁画；

重构的损失L_rec、像素重建损失及纹理损失L_texture的损失函数分别为：

L_rec＝||G_n(Noize+I_mn)-I_rn|| (6)

L_G＝χL_rec+L_2+texture (7)

其中，L_2+texture为壁画的像素重建损失和纹理损失之和，L_D为判别器的损失函数，L_D用于更新判别器权重，χ为可调参数，通过调节生成器的损失函数来调节L_2+texture。

2.根据权利要求1所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，其特征在于，设计多尺度生成器与判别器结构，设{I_r0,I_r1,I_r2...I_rn}分别为真实壁画经过下采样得到的一组壁画分块图像，I_mn为掩膜后下采样n次的壁画分块图像，在多尺度生成器的最底层输入I_mn，经过生成器G_n生成壁画G_n(I_mn)，然后输入到判别器D_n中与I_rn进行比较判别，并更新该层的权重参数，然后将G_n(I_mn)上采样并与其尺寸大小相等的噪声相叠加后作为生成器G_n-1的输入图像，以此循环至图像原始尺寸为止。

3.根据权利要求1所述的改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法，其特征在于，使用SSIM来衡量两张壁画之间的保真度及相似性，其中，

其中，为壁画原图I_r的均值，为延展后的壁画I_m的均值，为原壁画I_r的方差，为延展后壁画I_m方差，为I_r,I_m的协方差，b₁及b₂用于防止SSIM分母为零造成的溢出，SSIM位于[0,1]之间，其中，当SSIM越大，则说明两幅图像的内容越相似。