CN109697705A - 适于视频拼接的色差矫正方法 - Google Patents

Abstract

本发明涉及一种适于视频拼接的色差矫正方法，包括：将图像分割为若干子条，以子条作为矫正单元，计算出分别适应于各子条的子条矫正系数；将图像分隔为若干子块，以子块作为矫正单元，计算出分别适应于各子块的子块矫正系数，对于图像中的任一像素，以其所在子条的子条矫正系数和所在子块的子块矫正系数的乘积作为该像素的精细矫正系数进行色差的精细矫正，精细矫正后的像素值为精细矫正前的像素值乘以相应的精细矫正系数。本发明以在较好地消除图像重叠区域的拼缝的同时，保证非重叠区域与重叠区域的自然过渡效果，提高拼接图像的质量。

Description

适于视频拼接的色差矫正方法

技术领域

本发明涉及一种适于视频拼接的色差矫正方法。

背景技术

视频拼接的技术基础是图像拼接，它是将几幅具有不同视角但包含一定重叠区域的图像拼成一幅全景图像，被广泛应用于安防监控、遥感图像处理、医学图像分析、虚拟现实等领域。

图像拼接通常包括图像变换和图像融合两大步骤，其中图像变换为：通过图像特征点的提取、匹配以及摄像机内外参数的估计，建立各个单幅图像到全景图像间的几何变换模型，图像融合为：将经过几何变换的图像进行融合，消除由于成像差异，如成像传感器不同、像机参数设置不同、拍摄角度不同等导致的拼缝，从而得到无缝拼接结果。

对于固定摄像机的视频拼接，图像几何变换参数可离线计算，而图像融合参数需不断在线更新，以适应不同时间的光照变化。

色差矫正是图像融合步骤所要解决的关键问题，一般通过比较图像重叠区域的像素值计算出各幅图像的矫正系数，乘以该系数后，使得图像间达到尽量一致的色调，从而消除图像色差导致的拼缝。

现有色差矫正方法大致分为两类^[1]：1)全局矫正，对每幅图像计算一个全局矫正系数(每个颜色通道一个矫正系数)，该方法可使各图像取得整体接近的色调，但矫正粒度较粗，仅用一个全局系数通常难以描述图像间并不均匀的颜色差异，因此当色差较大时，图像重叠区域往往仍有明显拼缝。2)局部矫正，将图像细分成不同子块，对每一子块计算一个矫正系数，该方法矫正粒度较细，克服了全局矫正不足以处理局部色差的缺点，在图像重叠区域可取得较为精细的融合效果，但对非重叠区域的图像子块却不做矫正，因而使非重叠区域到重叠区域的过渡显得不够自然。

另外，求解细粒度的矫正参数计算量较大，难以实时完成，因此在视频拼接中，通常只以一定时间间隔(如0.5到2分钟)更新参数，但在清晨、傍晚或夜间复杂灯光情况下，光照变化较快，即使每半分钟一次的参数更新频率，仍不能很好地适应光照变化。

发明内容

为解决上述技术问题，本发明提供了一种适于视频拼接的色差矫正方法，以在较好地消除图像重叠区域的拼缝的同时，保证非重叠区域与重叠区域的自然过渡效果，提高拼接图像的质量。

本发明的技术方案是：一种适于视频拼接的色差矫正方法，包括：

将图像分割为若干子条，以子条作为矫正单元，计算出分别适应于各子条的子条矫正系数；

将图像分隔为若干子块，以子块作为矫正单元，计算出分别适应于各子块的子块矫正系数；

对于图像中的任一像素，以其所在子条的子条矫正系数和所在子块的子块矫正系数的乘积作为该像素的精细矫正系数进行色差的精细矫正，精细矫正后的像素值为精细矫正前的像素值乘以相应的精细矫正系数。

用于计算子条矫正系数的目标函数可以为：

其中，i、j为图像的编号，k、l为子条的编号，为图像i中的子条S_i,k与图像j中的子条S_j,l重叠的区域的像素均值，为图像j中的子条S_j,l与图像i中的子条S_i,k重叠的区域的像素均值，N_ik,jl为该重叠区域的像素个数，g_i,k为子条S_i,k的子条矫正系数变量，g_j,l为子条S_j,l的子条矫正系数变量，σ_n和σ_g分别是图像的像素值标准差与矫正系数标准差，S_i,k代表图像i中的第k子条，S_j,l代表图像j中的第l子条，

计算出目标函数最小化时的g_i,k，即为子条S_i,k的子条矫正系数。

用于计算子块矫正系数的目标函数可以为：

其中，i、j为图像的编号，pq、st为子块的编号，p、q分别为子块B_i,pq所在的行号和列号，s、t分别为子块B_j,st所在的行号和列号，I_ipq,jst为图像i中的子块B_i,pq与图像j中的子块B_j,st重叠的区域的像素均值，I_jst,ipq为图像j中的子块B_j,st与图像i中的子块B_i,pq重叠的区域的像素均值，N_ipq,jst为该重叠区域的像素个数，g_i,pq为子块B_i,pq的子块矫正系数变量，g_j,st为子块B_j,st的子块矫正系数变量，σ_n和σ_g分别是图像的像素值标准差与矫正系数标准差，B_i,pq代表图像i中的第pq子块，B_j,st代表图像j中的第st子块，

计算出目标函数最小化时的g_i,pq，即为子块B_i,pq的子块矫正系数。

优选先进行图像的几何变换(或称坐标变换)，将各图像统一到同一坐标系中，依据统一到同一坐标系中的各图像进行图像分割和相应矫正系数的计算。

用于将各图像统一到同一坐标系中的几何变换参数通过离线的图像匹配获得。

优选按一定周期更新精细矫正系数。

在同一更新周期内，使用相同的精细矫正系数进行不同帧图像的色差矫正。

在同一更新周期内，以用于计算该更新周期所用精细矫正系数的图像为预矫正基础图像对其他各帧图像进行色差预矫正，然后再以经过色差预矫正的图像为基础进行色差的精细矫正。

优选更新精细矫正系数时保存用于计算该精细矫正系数的图像，以便将其用作预矫正基础图像。

所述色差预矫正的方法优选为全局矫正方法。

用于色差预矫正的图像优选通过降采样计算得到。

本发明的有益效果是：将本发明特定的条状矫正与现有技术下的块状矫正相结合，实现了对图像色差的精细矫正，相对于现有技术的整体矫正和块状矫正，能够更好地消除图像色差，即使在光照变化较快时，也能得到较为理想的结果；通过在每个精细矫正参数更新周期内的预矫正，在允许以一定周期更新精细矫正参数以大幅度减少数据处理量的同时，明显改善了因矫正参数更新滞后带来的负面影响，保证了矫正效果。

附图说明

图1是本发明涉及的拼接流程图；

图2是精细矫正系数计算流程图；

图3是子条分割示意图；

图4是字块分割示意图。

具体实施方式

为便于对本发明的理解，下面对色差矫正的基本原理做简要说明：

一般地，色差矫正可用下式表示：

I′(x,y)＝gI(x,y) 式(1)

其中，I表示矫正前图像，g表示矫正系数，I′表示矫正后图像，若I是彩色图像，则用不同的g分别对各个颜色通道进行矫正；若g是常数，对应于全局矫正，若随像素坐标(x,y)变化，可认为是局部矫正。

矫正系数的计算可视作求解一个优化问题，使得矫正后图像在重叠区域的对应像素有最小平方误差，其目标函数可用下式表示^[2]：

其中，n是输入图像个数，I_i、I_j是经过几何变换后的图像，g_i、g_j是待求的矫正系数，∩(I_i,I_j)是图像I_i、I_j的重叠区域。实际计算中，为简化处理，用图像在重叠区域的均值替代I_i、I_j；另外加入正则项使g_i取值接近1(否则，g_i为0时目标函数也为0，取得最小值)，目标函数变为：

其中，N_i,j是图像I_i、I_j重叠区域的像素个数，σ_N、σ_g分别是图像像素值与矫正系数的标准差，用于平衡目标函数中的误差项与正则项，可置为常数σ_N＝10(假设图像取值范围是0到255)、σ_g＝0.1。令则可解得g_i的最优解。

式(3)中，若将I_i视为整幅图像，每幅图像只有一个g_i，则对应于全局矫正，由于矫正粒度较粗，一般会在图像重叠区域存在明显拼缝；若将I_i视为图像的子块(此时n为所有输入图像的子块个数总和)，每个图像的子块都有一个g_i，则对应于局部矫正，但由于优化函数中只考虑了相互重叠的图像块，因此非重叠区域图像块的矫正系数恒趋近于1，相当于只在重叠区域进行色差矫正，会导致非重叠区域到重叠区域的过渡不够自然。

参见图1-4，本发明提出一种适于固定摄像机视频拼接的色差矫正方法，其将全局矫正与局部矫正思想相结合，采用条状矫正加块状矫正的精细矫正方法，既能较好消除图像重叠区域的拼缝，又能保证非重叠区域与重叠区域的自然过渡；将预矫正与精细矫正相结合，实现对每帧图像的实时矫正，使之在光照快速变化情况下，也能得到较为理想的拼接效果。

本发明适于固定摄像机视频拼，主要处理流程如附图1所示，包括：1)对输入图像进行几何变换，统一到同一坐标系下，其中几何变换参数通过图像匹配离线完成(具体方法见文献^[2])；2)按一定周期更新色差矫正参数，若达到更新间隔，则以当前帧作为参考更新精细矫正参数；若未达到更新间隔，则针对每个摄像机视频作时间方向的预矫正；3)利用本次周期内的矫正参数进行精细矫正，完成图像融合，得到最终拼接结果。

本发明的精细矫正源于下列两步骤(参见图2)：

1)条状矫正

该步骤同时对重叠区域与非重叠区域都进行处理，以使各输入图像的整体色调保持一致。

如图3所示，将图像做条状分割，每个图像条块S_i,k对应一个矫正系数g_i,k，此时，式3的目标函数变为如下形式：

其中，i、j表示图像序号，k、l表示条块序号，表示图像i的条块S_i,k与图像j的条块S_j,l重叠区域的像素均值，N_ik,ji表示该重叠区域的像素个数。解出每个条块的矫正系数g_i,k，乘以该条块的像素值，即可得到条状矫正后的图像。

2)块状矫正

接下来对经过条状矫正后的图像做块状矫正，目的是进一步消除图像重叠区域的色差。如图4所示，将每幅图像I_i划分成子块B_i,pq，每个子块对应一个矫正系数g_i,pq，此时，式3变为：

其中，i、j仍表示图像序号，pq、st表示子块序号，表示图像i的子块B_i,pq与图像j的子块B_j,st重叠区域的像素均值，N_ipq,jst表示该重叠区域的像素个数。

最终，总的矫正系数等于图像上对应像素位置的条状矫正系数与块状矫正系数的乘积

其中，g_i,k(x,y)、g_i,pq(x,y)表示像素(x,y)处所对应的条状矫正系数与块状矫正系数。应用中，条的高度与块的边长均可设为32。

上述两步骤的矫正可较好地处理图像色差，获得理想的拼接效果，但矫正系数的计算时间代价较大，难以实时完成，故在实际视频拼接系统中并非每帧计算，而是按一定时间间隔更新，但当光照变化迅速，快于参数更新频率时，就会在拼接结果中表现出明显拼缝，原因在于当前图像帧与参数更新时用于计算矫正参数的输入图像之间，由于光照条件变化，已经产生较大色差，故通过计算得到的矫正参数不再适用于因此，本发明加入在时间轴上的预矫正，具体做法是：每次更新色差矫正参数时，同时保存用于计算参数的输入图像(记为)，对当前帧以作为参考图像进行时间轴上的色差预矫正，使其色调与接近，从而与当前周期内的色差矫正参数匹配。考虑到实时性要求，预矫正采用较为快速的全局矫正。

其中，分别是预矫正前后的当前帧图像，分别是参考图像与当前帧图像的均值。为提高速度，可通过降采样计算得到，本发明中，每32*32大小的图像子块取一个值；在更新色差矫正参数时预先算好；另外，色差矫正参数更新间隔取值为2分钟。

经过上述预矫正、条状加块状的精细矫正，可很好地消除图像色差，即使在光照变化较快时，也能得到不错的结果。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

参考文献

[1]Wei Xu and Jane Mulligan,“Performance Evaluation of ColorCorrection Approaches for Automatic Multi-view Image and Video Stitching”,CVPR,2010.

[2]Matthew Brown and David G.Lowe,“Automatic Panoramic ImageStitching using Invariant Features”,IJCV,2007.

Claims (10)

1.一种适于视频拼接的色差矫正方法，包括

将图像分割为若干子条，以子条作为矫正单元，计算出分别适应于各子条的子条矫正系数；

将图像分隔为若干子块，以子块作为矫正单元，计算出分别适应于各子块的子块矫正系数；

对于图像中的任一像素，以其所在子条的子条矫正系数和所在子块的子块矫正系数的乘积作为该像素的精细矫正系数进行色差的精细矫正，精细矫正后的像素值为精细矫正前的像素值乘以相应的精细矫正系数。

2.如权利要求1所述的方法，其特征在于用于计算子条矫正系数的目标函数为：

其中，i、j为图像的编号，k、l为子条的编号，为图像i中的子条S_i,k与图像j中的子条S_j,l重叠的区域的像素均值，为图像j中的子条S_j,l与图像i中的子条S_i,k重叠的区域的像素均值，N_ik,jl为该重叠区域的像素个数，g_i,k为子条S_i,k的子条矫正系数变量，g_j,l为子条S_j,l的子条矫正系数变量，σ_n和σ_g分别是图像的像素值标准差与矫正系数标准差S_i,k代表图像i中的第k子条，S_j,l代表图像j中的第l子条，

计算出目标函数最小化时的g_i,k，即为子条S_i,k的子条矫正系数。

3.如权利要求1所述的方法，其特征在于用于计算子块矫正系数的目标函数为：

其中，i、j为图像的编号，pq、st为子块的编号，p、q分别为子块B_i,pq所在的行号和列号，s、t分别为子块B_j,st所在的行号和列号，为图像i中的子块B_i,pq与图像j中的子块B_j,st重叠的区域的像素均值，为图像j中的子块B_j,st与图像i中的子块B_i,pq重叠的区域的像素均值，N_ipq,jst为该重叠区域的像素个数，g_i,pq为子块B_i,pq的子块矫正系数变量，g_j,st为子块B_j,st的子块矫正系数变量，σ_n和σ_g分别是图像的像素值标准差与矫正系数标准差，B_i,pq代表图像i中的第pq子块，B_j,st代表图像j中的第st子块，

计算出目标函数最小化时的g_i,pq，即为子块B_i,pq的子块矫正系数。

4.如权利要求1-3所述的方法，其特征在于先进行图像的几何变换(或称坐标变换)，将各图像统一到同一坐标系中，依据统一到同一坐标系中的各图像进行图像分割和相应矫正系数的计算。

5.如权利要求4所述的方法，其特征在于用于将各图像统一到同一坐标系中的几何变换参数通过离线的图像匹配获得。

6.如权利要求1所述的方法，其特征在于按一定周期更新精细矫正系数，在同一更新周期内，使用相同的精细矫正系数进行不同帧图像的色差矫正。

7.如权利要求6所述的方法，其特征在于在同一更新周期内，以用于计算该更新周期所用精细矫正系数的图像为预矫正基础图像，对其他各帧图像进行色差预矫正，然后再以经过色差预矫正的图像为基础进行色差的精细矫正。

8.如权利要求7所述的方法，其特征在于更新精细矫正系数时，保存用于计算该精细矫正系数的图像，以便将其用作预矫正基础图像。

9.如权利要求8所述的方法，其特征在于所述色差预矫正的方法为全局矫正方法。

10.如权利要求9所述的方法，其特征在于用于色差预矫正的图像通过降采样计算得到。