CN111062867A - 一种视频超分辨率重建方法 - Google Patents

Abstract

本申请公开了一种视频超分辨率重建方法。该视频超分辨率重建方法包括：获取时间上连续的多个低分辨率训练图块以及与至少一所述低分辨率训练图块对应的高分辨率训练图块；以多个低分辨率训练图块作为输入数据且以高分辨率训练图块作为真值标签训练卷积神经网络模型；利用训练好的卷积神经网络模型对低分辨率待重建视频进行超分辨率重建的步骤。本申请在模型的训练过程中充分考虑了视频在时间上相关的特性，使得后续的超分辨率重建能够有效避免逐帧处理所造成的不必要的计算开销。

Description

一种视频超分辨率重建方法

技术领域

本申请涉及视频处理技术领域，特别是涉及一种视频超分辨率重 建方法。

背景技术

超分辨率重建是指利用计算机将低分辨率的图像或视频进行处 理，得到一个高分辨率图像或视频的一种技术。超分辨率重建能够比 传统的插值方法提供更多的细节信息，从而能够大幅提高图像或视频 的质量。

在相关技术中，绝大多数超分辨率算法针对的均是单幅图像，即 采用逐帧处理的方式。具体来说，视频超分重建算法通常将视频截取 为一帧一帧的图片，对于整图做超分重建，再将每帧结果连接为视频， 会造成不必要的计算开销。

此外，对于监控场景下分辨率已经较大的视频，对一帧一帧视频 截图做整图超分处理，不仅在嵌入式设备中会出现显存溢出的情况， 同时也达不到实时处理的目的。

发明内容

本申请主要提供一种视频超分辨率重建方法，以解决现有单帧处 理运算开销大的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种 实时显控视频超分重建方法。该视频超分重建方法包括：获取时间上 连续的多个低分辨率训练图块以及与至少一所述低分辨率训练图块 对应的高分辨率训练图块；多个低分辨率训练图块作为输入数据且以 高分辨率训练图块作为真值标签训练卷积神经网络模型；利用训练好 的卷积神经网络模型对低分辨率待重建视频进行超分辨率重建。

本申请的有益效果是：区别于现有技术的情况，本申请将时间上 连续的多个低分辨率训练图块作为输入数据来对卷积神经网络模型 进行训练，进而在模型的训练过程中充分考虑了视频在时间上相关的 特性，使得后续的超分辨率重建能够有效避免逐帧处理所造成的不必 要的计算开销。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图，其中：

图1是本申请提供的视频超分辨率重建方法一实施例的流程示 意图；

图2是图1中S10的流程示意图；

图3是图2中S12的流程示意图；

图4是图1中S20的流程示意图；

图5是图1中S30的流程示意图；

图6是图5中S31的流程示意图；

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部 分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。

本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目 的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术 特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明 示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含 义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外， 术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的 包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设 备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步 骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的 其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、 结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各 个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施 例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理 解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请中的“高分辨率训练图块、高分辨率训练视频、高分辨 率训练图块、低分辨率训练图块、低分辨率训练视频或者低分辨率训 练图块、高分辨率输出图块、待重建低分辨率视频、待重建低分辨率 图像、待重建低分辨率图块……”其中的“高分辨率”只要比“低分 辨率”的分辨率要高即可。

参阅图1，本申请提供的视频超分辨率重建方法一实施例的流程 示意图。

S10：获取时间上连续的多个低分辨率训练图块以及与至少一上 述低分辨率训练图块对应的高分辨率训练图块。

具体地，参阅图2，在一具体实施方式中，S10可按如下步骤执 行。

S11：将低分辨率训练视频转化成在时间上连续的多个低分辨率 训练图像；将与所述低分辨率训练视频对应的高分辨率训练视频转化 成在时间上连续的多个高分辨率训练图像。低分辨率训练视频和高分 辨率训练视频可以从公开的视频训练集中获得，或者利用预先标定好 的低分辨率摄像机和高分辨率摄像机对同一场景进行拍摄获得。

将视频转化为图片的操作已经是非常成熟的现有技术，常用的软 件有ffmpeg、mencoder等等。因此可利用软件ffmpeg、mencoder来 将所有训练视频以及适合利用本方案中方法来视频重建的所有待重 建视频转化为时间上连续帧图像。

S12：分别在所述低分辨率训练图像和所述高分辨率训练图像上 进行图块划分。

为了实现对视频的实时超分辨率重建，防止在对整帧图像进行重 建的过程中嵌入式设备发生显存溢出，影响重建效果。本申请在网络 训练阶段分别将所述高、低分辨率训练图像划分为时间上连续的多个 较小的图块。

具体地，参阅图3，步骤S12可按如下步骤执行。

S121：将低分辨率训练图像和高分辨率训练图像分别转换成 YUV图像。

YUV是一种色彩空间，被欧洲电视系统采用。包括YUV444、 YUV422、YUV420、YUV420P等等，本申请所采用的YUV格式不 做具体限定。其中Y指颜色的明视度，即亮度，U和V指色调。YUV 易于实现压缩，方便传输和处理，还可以减少和消除色彩变换处理， 极大的加快图像的显示速度。YUV格式中的Y值、U值、V值可以 使用RGB格式中对应像素点的R、G、B值通过公式计算得出。可选 地，通过以下转换公式计算：

S122：利用YUV图像得到Y通道图像

具体地，opencv中split函数和merge函数是一对互逆的操作， 可利用split函数把上述YUV图像各个通道分离开，再把U、V两个 通道清零，最后利用merge函数将经Y通道和清零后的U、V两个通 道合并，即可得到Y通道图片。

S123：在上述Y通道图像上进行图块划分。

可选地，可在上述低分辨率训练图像的长度方向的边缘位置指定 像素的数量作为图块的长度值x，在其宽度方向的边缘位置指定像素 的数量作为图块的宽度值y，从而确定训练图块的大小为x×y。其中 x和y可以相等也可以不相等，在此不做限定。并且每个训练图像所 分割的图块数也可视情况而定，不予以限定。

S13：取多个低分辨率训练图像并在每个图像的第一位置分别获 得上述多个低分辨率训练图块，并从至少一高分辨率训练图像的第一 位置获取所述高分辨率训练图块。

利用步骤S123中同样的方法将多个在时间维度上连续的低分辨 率训练图像进行切分。其中，所获取的多个时间上连续的低分辨率训 练图块的数量为不小于3的奇数，高分辨率训练图块与在多个低分辨 率训练图块中居中设置的低分辨率训练图块对应，以通过将多个低分 辨率训练图块作为整体输入网络，对在多个低分辨率训练图块中居中 设置的低分辨率训练图块进行超分重建。例如在一具体实施例中，从 时间上连续的五帧低分辨率训练图像中的第一位置获取连续5帧低 分辨率训练图块，将其作为作为一组低分辨率训练图块，并从第三帧 低分辨率训练图像所对应的高分辨率训练图像的第一位置获取高分 辨率训练图块。

S20：以上述多个低分辨率训练图块作为输入数据且以对应的高 分辨率训练图块作为真值标签训练卷积神经网络模型。

本申请中的卷积神经网络模型结构包括：

(1)输入层：将多个低分辨率图块在时间维度上作为一个整体 输入后续层；

(2)卷积层：用于对多个低分辨率图块进行特征提取、降维、 非线性映射和升维等处理。在本申请中，除了普通卷积层外，进一步 增加至少一可变卷积层，可变卷积层将多个低分辨率训练图块中空间 采样的位置信息做进一步位移调整，将多个低分辨率训练图块中同一 物体提取的特征对齐，使得网络能够更好的适应物体几何形变；

(3)激励层：每个卷积层后加入激励函数Relu，加入非线性因 素处理；

(4)反卷积层：对降维后的特征图块进行上采样，获得放大后 的特征图块。

(5)输出层：输出高分辨率训练图块。

参阅图4，步骤S20可按如下步骤执行。

S21：将多个低分辨率训练图块作为整体进行卷积操作，以从多 个低分辨率训练图块提取特征并进行降维处理。

具体地，利用可变形卷积层对输入的多个低分辨率训练图块作为 整体进行可变卷积操作。可变形卷积层指对卷积核中每个采样点的位 置都增加一个偏移变量Δs_n。通过这些变量，卷积核就可以在当前位 置附近随意的采样，而不再局限于之前的规则格点。从而感受野的大 小与形状也不再规则。此时采样点的位置从原来的s_n变成了s_n+Δs_n， 由于视频中每一帧图像之间可能存在抖动，利用可变卷积将多个低分 辨率训练图块中空间采样的位置信息做进一步位移调整，将多个低分 辨率训练图块中同一物体提取的特征对齐，使得网络能够更好的适应 物体几何形变。相应的，在本发明实施例中的可变形卷积层中，卷积 核所提取的像素值为：

其中，y(s₀)是上述多个训练图块中位置是s₀的像素值，w(s_n)是卷 积核在多个训练图块对应位置进行卷积运算的权值，s_n是采样点在卷 积核中的位置，x(s₀+s_n+Δs_n)是多个训练图块对应位置的像素值，Δs_n是偏移变量。可选地，本申请可设置偏移变量Δs_n取整，使得采样点 可以落在目标图像的像素点上，之后就可以计算该点的像素值。可避 免当偏移变量Δs_n是一个高精度的小数时，采样点可能不会落在训练 图块中各个像素点上的情况。当然也可以不限定偏移变量Δs_n的范围， 之后通过插值法的算法比如双线性插值法来得到训练图块相应采样 点处的像素值。对此本申请不作限定。之后，加入普通卷积层降维、非线性映射和升维等处理。

S22:利用反卷积层对降维后的当前帧特征图块进行反卷积操作， 进而获得高分辨率输出图块。

反卷积也称转置卷积、逆卷积，一般用来还原或放大特征映射的 尺寸。本申请通过在普通卷积层之后设置反卷积层，从而上采样、放 大经降维后的特征图块。

S23：利用损失函数计算高分辨率输出图块与所述高分辨率训练 图块之间的损失代价。

具体可采用均方误差MSE作为损失函数，MSE计算公式如 下：

其中，J(θ)是损失函数，m表示训练集中低分辨率图块的数量， h_θ(xⁱ)是卷积神经网络的输出，xⁱ是第i个低分辨率训练图块，yⁱ表示 以第i个低分辨率训练图块所对应的高分辨率训练图块作为真值标签。

S24：根据所述损失代价利用梯度反向传播算法更新卷积神经网 络模型的模型参数，以使得损失代价趋于最小化。

具体地，在进行梯度反向传播算法来训练参数时，需要用到梯度 下降算法。常用的梯度下降算法有批量梯度下降，随机梯度下降，小 批量梯度下降等等，在本发明实施例中，所用的梯度下降算法为随机 梯度下降。当然也可以使用其他的梯度下降算法，视具体的情况而定， 在此不做具体限定。

所述梯度下降算法中，设定损失函数：

而损失函数的梯度为：

在得到上述损失函数的梯度之后，就可以通过下式更新卷积层中 的参数θ:

在上述公式中，J(θ)是损失函数，m表示训练集中低分辨率图块 的数量，h_θ(xⁱ)是卷积神经网络的输出，xⁱ是第i个低分辨率训练图块， yⁱ表示以第i个低分辨率训练图块所对应的高分辨率训练图块作为真 值标签。在该卷积神经网络中，需要确定的参数有偏移变量Δs_n、权 重参数w、偏置参数b。其中，根据损失代价利用梯度反向传播算法 对可变形卷积层的偏移参数Δs_n进行更新，以使得可变形卷积层从各 低分辨率训练图块中的同一目标提取的特征在空间上趋于对齐。

S30：利用训练好的卷积神经网络模型对低分辨率待重建视频进 行超分辨率重建。

具体地，参阅图5，步骤S30可按如下步骤执行。

S31：从低分辨率待重建视频中获取时间上连续的多个低分辨率 待重建图块。参阅图6，S31可按照如下步骤执行。

S311：从低分辨率待重建视频中获取时间上连续的多个低分辨率 待重建图像。

将上述低分辨率待重建视频转化为时间上连续帧图片的操作在 步骤S11已经说明，在此不再赘述。

S312：判断上述低分辨率待重建图像的尺寸是否大于卷积神经网 络模型的输入尺寸。其中，输入尺寸为低分辨率训练图块的尺寸。

S313：若上述低分辨率待重建图像的尺寸大于卷积神经网络模型 的输入尺寸，对低分辨率待重建图像进行切分，进而获得时间上连续 的低分辨率待重建图块。

由于本方案应用于嵌入式设备中，硬件芯片不支持输入网络的数 据尺寸可变，因此需要保证对原图切分的小图块尺寸一致。在切分过 程中，难免出现切分的小图块小于网络输入尺寸，如果对于该类图块 进行补黑边或白边，则黑白边缘会对超分结果产生影响，造成边缘振 铃现象。为了解决这个问题，本方案在原图上进行切分，图块之间存 在重叠区域，通过调整重叠区域，保证每一个图块尺寸与网络输入尺 寸保持一致。可采用以下公式对所述低分辨率待重建图像进行切分：

其中，s为在预设方向上的网络输入尺寸，m为低分辨率待重建 图块在预设方向上的重叠部分的尺寸，n为两侧均有重叠部分的低分 辨率待重建图块在所述预设方向上的未重叠部分的尺寸，w为低分辨 率待重建图像在所述预设方向上的尺寸，p为在预设方向上从低分辨 率待重建图像中切分出的低分辨率待重建图块的块数，且为不小于 w/s的上取整值的整数，s、w和p为已知量，m和n为待求解量。

S314：若低分辨率待重建图像的尺寸小于或等于网络输入尺寸， 则对低分辨率待重建图像进行镜像补边，以使得补边后的低分辨率待 重建图像的尺寸等于网络输入尺寸。

在本方案中，可利用MATLAB中的padarray函数实现对低分辨 率待重建图像的镜像补边，具体通过控制padarray函数中的padval 参数，令padval等于‘symmetric’,其中，'symmetric'表示图像大小 通过围绕边界进行镜像反射来扩展。

S32：将所述多个低分辨率待重建图块作为整体输入至训练好的 所述卷积神经网络，以生成高分辨率重建图块。

将当前帧待重建图块和其前后多帧待重建图块进行拼接，得到多 张图块在时间维度上的堆叠。

将拼接后的特征图块作为输入，送入训练好的卷积神经网络，通 过卷积、降维等操作在时间维度上进行多级特征提取与变换，以融合 时间维度的信息，最终得到当前帧信息融合的特征图块。

得到当前帧信息融合的特征图块后，利用反卷积，将特征图块进 行上采样，得到最终的高分辨率重建图块。

S33：利用高分辨率重建图块生成高分辨率重建视频。

若低分辨率待重建图像的尺寸大于卷积神经网络模型的输入尺 寸，则当依次将所有图块超分重建完毕时，将对应于同一帧的多个高 分辨率重建图块按照拼接坐标拼接成高分辨率重建图像。拼接坐标由 切分坐标乘超分尺度u计算得到，其中，切分坐标为在对待重建图像 进行切分时，去掉各图块重叠部分之后各待重建图块剩余部分的长度， 超分尺度u为对原图的放大倍数。比如输入的多个低分辨率图块分辨 率大小为10*10，经超分重建之后其分辨率大小变为100*100，则超 分尺度u为100/10＝10。

若低分辨率待重建图像的尺寸小于或等于卷积神经网络模型的 输入尺寸，则当依次将所有图块超分重建完毕时，裁切掉高分辨率重 建图块中对应于低分辨率待重建图像的镜像补边区域的边缘区域。

因为在本方案中当低分辨率待重建图像的尺寸小于或等于卷积 神经网络模型的输入尺寸时，是利用MATLAB中的padarray函数实 现对低分辨率待重建图像的镜像补边，而这个函数在计算结束时，图 像会被修剪成原始大小。因此当依次将所有图块超分重建完毕时，本 方案将自动剪切掉镜像补边的部分。

本案所设计的技术方案，与现有技术相比，本申请将时间上连续 的多个低分辨率训练图块作为输入数据来对卷积神经网络模型进行 训练，进而在模型的训练过程中充分考虑了视频在时间上相关的特性， 使得后续的超分辨率重建能够有效避免逐帧处理所造成的不必要的 计算开销。

进一步，本申请在卷积神经网络中添加可变卷积层，对多个时间 上连续的低分辨率图块的同一特征的位置信息做位移调整，可在网络 中对齐相邻帧，实现端到端视频超分训练，避免了在输入前对低分辨 率图块进行运动补偿的预处理过程。

此外，本申请利用嵌入式中卷积网络输入尺寸固定的特点，对待 重建图像进行切分或补边，使得图块尺寸与网络输入尺寸保持一致。 不仅解决了待重建图像尺寸过大，显存不够的问题，而且大大降低了 耗时，实现对于本身分辨率就较大的视频实时超分重建的功能。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围， 凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专 利保护范围内。

Claims (11)

1.一种视频超分辨率重建方法，其特征在于，所述方法包括：

获取时间上连续的多个低分辨率训练图块以及与至少一所述低分辨率训练图块对应的高分辨率训练图块；

以所述多个低分辨率训练图块作为输入数据且以所述高分辨率训练图块作为真值标签训练卷积神经网络模型；

利用训练好的所述卷积神经网络模型对低分辨率待重建视频进行超分辨率重建。

2.根据权利要求1所述的方法，其特征在于，所述获取时间上连续的多个低分辨率训练图块以及与至少一所述低分辨率训练图块对应的高分辨率训练图块的步骤包括：

将低分辨率训练视频转化成在时间上连续的多个低分辨率训练图像；将与所述低分辨率训练视频对应的高分辨率训练视频转化成在时间上连续的多个高分辨率训练图像；

分别在所述低分辨率训练图像和所述高分辨率训练图像上进行图块划分；

从所述多个低分辨率训练图像的第一位置分别获得所述低分辨率训练图块，并从至少一所述高分辨率训练图像的第一位置获取所述高分辨率训练图块。

3.根据权利要求2所述的方法，其特征在于，所述分别在所述低分辨率训练图像和所述高分辨率训练图像上进行图块划分的步骤包括：

将所述低分辨率训练图像和所述高分辨率训练图像分别转换成YUV图像；

在所述YUV图像的Y通道图像上进行图块划分。

4.根据权利要求1所述的方法，其特征在于，所述多个低分辨率训练图块的数量为不小于3的奇数，所述高分辨率训练图块与在所述多个低分辨率训练图块中居中设置的所述低分辨率训练图块对应，以通过将所述多个低分辨率训练图块作为整体输入网络，对在所述多个低分辨率训练图块中居中设置的所述低分辨率训练图块进行超分重建。

5.根据权利要求1所述的方法，其特征在于，所述以所述多个低分辨率训练图块作为输入数据且以所述高分辨率训练图块作为真值标签训练卷积神经网络模型的步骤包括：

将所述多个低分辨率训练图块作为整体进行卷积操作，以从所述多个低分辨率训练图块提取特征并进行降维处理；

利用反卷积层对降维后的特征进行反卷积操作，进而获得高分辨率输出图块；

利用损失函数计算所述高分辨率输出图块与所述高分辨率训练图块之间的损失代价；

根据所述损失代价利用梯度反向传播算法更新所述卷积神经网络模型的模型参数，以使得所述损失代价趋于最小化。

6.根据权利要求5所述的方法，其特征在于，所述对所述多个低分辨率训练图块分别进行卷积操作的步骤包括：

利用可变形卷积层对所述多个低分辨率训练图块分别进行卷积操作；

所述根据所述损失代价利用反向传播算法更新所述卷积神经网络模型的模型参数的步骤包括：

根据所述损失代价利用反向传播算法对所述可变形卷积层的偏移参数进行更新，以使得所述可变形卷积层从各所述低分辨率训练图块中的同一目标提取的特征在空间上趋于对齐。

7.根据权利要求1所述的方法，其特征在于，所述利用训练好的所述卷积神经网络模型对低分辨率待重建视频进行超分辨率重建的步骤包括：

从所述低分辨率待重建视频中获取时间上连续的多个低分辨率待重建图块；

将所述多个低分辨率待重建图块作为整体输入至训练好的所述卷积神经网络，以生成高分辨率重建图块；

利用所述高分辨率重建图块生成高分辨率重建视频。

8.根据权利要求7所述的方法，其特征在于，所述从所述低分辨率待重建视频中获取时间上连续的多个低分辨率待重建图块的步骤包括：

从所述低分辨率待重建视频中获取时间上连续的多个低分辨率待重建图像；

将所述低分辨率待重建图像的尺寸与所述卷积神经网络模型的输入尺寸进行比较；

根据所述比较结果对所述低分辨率待重建图像进行预处理，进而获得所述低分辨率待重建图块；

其中，所述输入尺寸为所述低分辨率训练图块的尺寸。

9.根据权利要求8所述的方法，其特征在于，所述根据所述比较结果对所述低分辨率待重建图像进行预处理的步骤包括：

若所述低分辨率待重建图像的尺寸大于所述输入尺寸，则采用以下公式对所述低分辨率待重建图像进行切分，以使得补边后的所述低分辨率待重建图像的尺寸等于所述输入尺寸，

其中，s为在预设方向上的所述输入尺寸，m为所述低分辨率待重建图块在所述预设方向上的重叠部分的尺寸，n为两侧均有重叠部分的所述低分辨率待重建图块在所述预设方向上的未重叠部分的尺寸，w为所述低分辨率待重建图像在所述预设方向上的尺寸，p为在所述预设方向上从所述低分辨率待重建图像中切分出的所述低分辨率待重建图块的块数，且为不小于w/s的上取整值的整数，s、w和p为已知量，m和n为待求解量；

若所述低分辨率待重建图像的尺寸小于所述输入尺寸，则对所述低分辨率待重建图像进行镜像补边，以使得补边后的所述低分辨率待重建图像的尺寸等于所述输入尺寸。

10.根据权利要求7所述的方法，其特征在于，所述利用所述高分辨率重建图块生成高分辨率重建视频的步骤包括：

将对应于同一帧的多个所述高分辨率重建图块拼接成高分辨率重建图像。

11.根据权利要求7所述的方法，其特征在于，

所述利用所述高分辨率重建图块生成高分辨率重建视频的步骤包括：

裁切掉所述高分辨率重建图块中对应于所述低分辨率待重建图像的镜像补边区域的边缘区域。

Images