CN1665298A - 从数字运动画面数据中去除噪声的方法 - Google Patents

Abstract

提供了一种方法，用于从数字运动画面数据中去除噪声，降低在时间滤波中使用的帧数并且可以更容易地检测各帧间的运动。该方法包含空间滤波方法、时间滤波方法、以及顺序执行空间滤波和时间滤波的方法。该空间滤波方法在YCbCr彩色空间内应用空间滤波，在空间域中保留图像中的轮廓/边缘，并且产生自适应于噪声的用于在时间滤波操作中区分轮廓/边缘的加权。该时间滤波方法应用基于补偿了全局运动的运动检测和场景变化检测的时间滤波，该运动检测考虑到在时间滤波操作中的各帧之间比较的像素的亮度差和色差、以及在时间滤波操作中的自适应于噪声的用于检测运动的加权。最好首先执行空间滤波方法，并利用空间滤波的结果执行时间滤波方法。

Description

从数字运动画面数据中去除噪声的方法

技术领域

本发明涉及运动画面的数字编码，并更具体地，涉及一种去除数字运动画面数据中的噪声的方法。

背景技术

由于数字运动画面数据占据大量的数据，因此数据应该被压缩以便于有效地传输和存储。因此，用于改善视频信号的再现图像质量和改善数据压缩率的技术对于增强相关产品的竞争力是必要的。在需要高清晰度的数字多媒体产品诸如高清TV(HDTV)和数字多功能盘(DVD)中，采用诸如运动图像专家组(MPEG)-2的压缩算法作为压缩方法。

由于实际图像输入系统、传输信道、以及处理运动画面数据的发射机和接收机的技术局限性，在运动画面数据的获得、发送和接收期间不可避免地产生噪声。

噪声可以被定义为其亮度随时间突然变化并且是随机空间分布的一组像素，(它们不形成一组有意义的几何形状)。飞蚊噪声(mosquito-noise)是一种常见的随机噪声，其沿着利用DCT所压缩的图像边缘出现。

如果我们在时序空间中绘出位于给定空间位置的图像亮度的强度曲线，那么可观察到作为强度曲线的突变的噪声像素。降低噪声的一个简单方案是使用某种时间平均滤波技术来去除这些突变。然而，快速运动的像素(例如，场景中运动物体的一部分)也表现出和噪声相似的性能，也就是说快速移动的像素的强度在短时间周期期间非常剧烈地变化。简单的平均技术将导致恢复场景中运动物体的模糊甚至丢失。这样，将运动效应从噪声效应中分离出来就成为一个急待解决的问题。

原则上，三类像素需要被处理：静止像素、运动像素、和噪声像素。根本的困难是避免将运动像素视为噪声像素。如果对于快速运动像素诸如在场景中快速运动的物体的运动估计失败，那么这些像素将被错误地滤掉如同它们与噪声相关一样。如果我们可以正确地将像素分为三种类型，那么我们可以避免一些昂贵的计算(避免针对静止像素的运动估计)并能改善过滤。

包含在(例如压缩在)图像(帧)序列中(在数字运动画面数据中)的噪声降低了再现图像质量和压缩率，因为噪声被识别为信号的(射频)分量。噪声增加了图像数字表示所需的带宽。由于噪声也被识别为数据，所以必须压缩更多有效画面数据以便满足给定的比特率；然而，更多的压缩增加了编码假象，诸如块假象。

在预先利用有效降噪算法去除噪声之后，图像序列的压缩率能被大幅提高，并且可以通过数据压缩(按照MPEG-2方法)提高图像的质量。存在传统的降噪算法例如空间滤波、时间滤波、和时空滤波。

由于空间滤波是基于固定模型的，因而噪声去除之后再现图像的轮廓不能够被保存。虽然可以使用额外的轮廓自适应滤波器，但是在用于区分轮廓线的阈值被固定为不考虑噪声程度的常量的情况或者在产生色斑的情况下，这种方法并不是很有效。因为以与亮度无关的相同方式处理由不同亮度引起的、在电荷耦合器件(CCD)传感器上构建滤色阵列(CFA)的不同信道特性，所以产生色斑。

虽然在处理静止图像时，空间滤波是去除噪声的一种有效方式，但是如果使用空间滤波方法来过滤视频图像序列，则每帧的噪声去除程度是不同的。当视频数据作为视频图像序列再现时，噪声去除程度的差别可能表现为闪烁的现象。因此，为了改善传统的空间滤波处理的性能，用于按照噪声能量(特别是噪声能量变化)来确定轮廓线的阈值应该自适应地变化，并且为了去除色斑和闪烁现象，除了空间滤波操作之外，还使用时间滤波方法。

在时间滤波中，使用运动补偿方法。然而，为了考虑到运动补偿，应该为每一帧都估计物体运动，应该沿着运动轨迹来进行滤波，并且另外需要更多的计算操作来估计运动。

已使用基于运动检测算法的时间滤波方法来减少运动补偿中的错误以及减少计算负荷。基于运动检测算法的时间滤波的效率很大程度上依赖于运动检测算法的鲁棒性。然而，由于根据典型运动检测算法，由亮度差来确定彩色图像中的运动，因此这种算法不能识别由颜色差表示的运动。因此，当物体和背景的亮度差不足够大时，运动检测中可发生错误。

为了解决以上问题，存在一种通过考虑彩色图像的向量特性来检测RGB向量的量值(亮度)和角度(颜色)的差异的检测运动的方法。当系统的输入信号是RGB信号或者算法由软件处理时，可以不管计算负荷和存储容量而使用该方法；然而，当算法利用硬件进行处理时，这种算法的实用性具有局限。

YCbCr域(下文中，表示为YCbCr彩色空间)是最常使用的彩色坐标系统，其对于兼容单色视频以及和专业视频处理设备协作非常有用。亮度(Y)包含人眼由于对细节的敏感度而给予其重要性的空间信息的大部分。色度通道(Cb、Cr，分别是蓝色差和红色差)添加了彩色信息。当大部分输入信号是这样的YCbCr形式的信号时，为了执行RGB向量的计算操作，YCbCr形式的输入信号必须被转换成RGB彩色空间信号。此外，由于计算用于计算RGB向量角度(彩色)的差异的反余弦函数或者正弦函数需要非线性计算，所以增加了硬件的复杂性。

当利用RGB向量的角度(彩色)的差异来检测运动时，很难设置阈值来作为区分所检测到的运动的参考。该阈值对滤波性能的影响非常大，如果阈值过大，就会产生一个诸如运动残留图像的假象；如果阈值过小，那么就无法去除噪声。例如，在使用RGB向量的角度(彩色)差异的运动检测方法中，当余弦函数的输入值几乎为0(零)时，输出值之间的差异很小，这样阈值应该被设置为刚好直到十进制小数点(decimal point)从而有效地检测运动。为了克服确定阈值时的困难并且有效地去除噪声，必须处理相对大量的帧。因此，需要大容量的存储器，并且也增加了硬件的复杂性。

除了前述的问题外，在基于运动检测的时间滤波中，运动检测的阈值应该根据场景检测而自适应变化。否则，如果包含场景数据的普通序列仅仅使用运动检测来处理，那么在不同场景的相邻帧中包含的像素的亮度或彩色彼此类似的情况下，不同的场景可被过滤掉并且不同的场景可被混合进过滤后的帧内。因此，为了改善基于运动检测的传统时间滤波的性能，应该另外使用场景变化检测算法。

合并前述两种滤波方法的传统时空滤波方法是将空间滤波扩展到时间滤波的一种方式。虽然噪声能够被有效地去除，但是该方法却包含着时间滤波和空间滤波的局限。

发明内容

本发明提供了一种从数字运动画面数据中去除噪声的方法，该方法能最小化时间滤波处理中使用的帧的数量，同时还能容易地检测运动。

在基于运动检测的时间滤波中，运动检测的阈值应根据场景(变化)检测和根据包含在序列中的噪声的能量来适应性地变化。为了有效地去除噪声，当噪声能量小的时候，可使用小的阈值；而当噪声能量大的时候，应使用大的阈值。在YCbCr彩色空间中，亮度/彩色运动阈值应在不增加计算负荷的情况下适应性地确定为噪声能量，以便减少执行滤波处理所需的帧的数量。

所公开的方法可分为空间滤波和时间滤波，并且最好先(对输入图像)应用空间滤波，然后对空间滤波的结果应用时间滤波。

根据本发明的一方面，提供了一种从数字运动画面数据中去除噪声的方法，其中通过空间滤波操作去除包含在数字运动画面数据中的噪声，该方法包括：通过对像素的彩色分量执行空间滤波操作来计算(2N+1)×(2N+1)像素局部屏蔽(mask)中的代表值；并通过对像素的亮度分量执行空间滤波操作来保留图像(中)的边缘。

根据本发明的另一方面，提供了一种从数字运动画面数据中去除噪声的方法，其中对图像的亮度分量Y以及彩色分量Cr和Cb执行空间滤波操作，然后对空间滤波操作的结果值X_Y(i，j，n)、X_Cb(i，j，n)和X_Cr(i，j，n)执行时间滤波操作，该方法包括：检测帧间的场景变化；估计帧间的全局运动(例如摇镜头)，并估计空间域上噪声Var_nT的相对值以及每一像素的全局运动轨迹；计算用于检测图像中亮度分量的运动的加权，并计算用于检测图像中彩色分量的运动的加权；并基于补偿其全局运动的场景检测/运动检测，利用用于对在不包括场景变化的范围内的帧进行过滤的加权、噪声的相对值、用于检测图像中亮度分量的运动的加权、用于检测图像中彩色分量的运动的加权、以及用于标准化的常数中的全部或一部分来执行滤波操作。

根据本发明的另一方面，提供了一种从数据运动画面数据中去除噪声的方法，该方法包括：对每一个像素中的亮度分量和彩色分量执行空间滤波操作；并基于运动检测，对空间滤波操作的结果数据执行时间滤波操作。

附图说明

通过参考附图对其示范实施例的详细描述，本发明的以上和其他特征将变得更加清楚，其中：

图1是描述了根据本发明实施例的从数字运动画面数据中去除噪声的方法的流程图；

图2是图示了根据本发明实施例的当C＝1时的边缘自适应加权W(k，l，n)的特性的曲线图；

图3是图示了根据本发明实施例的当C≠1时的边缘自适应加权W(k，l，n)的特性的曲线图；

图4是图示了根据本发明实施例的从数字运动画面数据中去除噪声的方法包含的每一个步骤中所执行的计算的输入和输出的方框图；和

图5是图示了根据本发明另一个实施例的从数字运动画面数据中去除噪声的方法包含的每一个步骤中所执行的计算的输入和输出的方框图。

具体实施方式

附图图示了本发明的优选实施例。

在下文中，将通过参考附图解释本发明的优选实施例来对本发明进行详细的描述。附图中相同的标记代表相同的元件。

图1是描述了根据本发明实施例的从数字运动画面数据中去除噪声的方法的流程图。

参考图1，从数字运动画面数据中去除噪声的方法包含本发明一个实施例中的处理空间滤波(110)和本发明另一个实施例中的处理时间滤波(150)。本发明的另一个示范实施例共同使用这两个步骤(110和150)。

根据本发明的一个实施例(从数字运动画面数据中去除噪声的方法)，对于YCrCb格式输入信号中的像素的亮度分量(Y)，使用基于线性最小均方误差(LMMSE)的滤波器用于保留边缘，并且对于输入信号的彩色分量(CrCb)，使用低通(LP)滤波器(用于提高图像的稳定性)。

在步骤111中，计算彩色分量的代表值意味着获得彩色分量的平均值或中心值。因此，对彩色分量应用低通滤波器意味着在局部屏蔽(例如围绕着给定像素的(2N+1)×(2N+1)像素区域)内计算平均值。

存在对于亮度分量112应用基于LMMSE的滤波器的5个步骤(子步骤)。

在步骤113中，利用预定噪声自适应边缘阈值而计算关于每一像素的亮度分量的适应于边缘的代表值。这里，该代表值是每个像素(在局部屏蔽中)的平均值或中心值，并且利用位于局部屏蔽内的边缘的一个表面上的像素而计算适应于边缘的代表值。

预定噪声自适应边缘阈值在现有技术中并非固定不变，而是根据噪声量自适应地变化。

在步骤114中，通过利用预定的边缘自适应加权而估计每一个像素的发散(scattergram)值，该加权通过使用噪声自适应阈值和边缘自适应代表值而计算得出。发散值意味着方差或标准偏差，并且像素的方差(信号活动性)意味着图像的改变程度或图像的边缘程度。

在步骤115中，计算输入图像和图像的代表值之间的差值(subtract)图像。该差值图像包含噪声分量和输入图像的边缘分量。

在步骤116中，通过比较以上图像的发散值和噪声发散值而计算加权。

在步骤117中，将相对较大的加权应用于图像的边缘分量，而将较小的加权应用于差值图像中的噪声分量，并且将应用了加权的差值图像添加到边缘自适应代表值中。噪声发散值的特征在于噪声方差和噪声标准偏差，并且该噪声方差表示噪声的程度。

在图像的平面域(domain)上处理了前述5个步骤(从步骤113到117)之后，因为图像平面域上的差值图像应用了较小的加权，所以滤波的结果可与边缘自适应代表值大致相同。此外，因为图像的边缘域上的差值图像应用了较大的加权，所以在图像的边缘域上，滤波导致边缘自适应代表值和图像边缘的相加。

根据本发明的另一个实施例，从数字运动画面数据中去除噪声的方法150包含4个步骤(步骤151到154)。

在步骤151中，检测帧间的场景变化。

在步骤152中，估计帧间的全局运动(例如摇镜头)，并且沿着每一个像素的全局运动轨迹(利用对全局运动的补偿)来估计时间域上噪声的相对值。

在步骤153中，对于输入图像中的每个像素沿着全局运动轨迹(例如利用对全局运动的补偿)检测运动。在步骤153中，输入图像的像素的亮度分量Y和彩色分量(Cr和Cb)被同时使用，并且使用适应于噪声的运动阈值来检测该运动。计算代表图像中亮度分量的运动检测的加权和代表图像中彩色分量的运动检测的加权。

在步骤154中，利用在不包括场景变化的帧的范围(序列)内进行滤波的加权、噪声相对值、用于检测图像中亮度分量的运动的加权、用于检测基于图像中像素的彩色分量的运动的加权、以及用于对运动进行标准化的常量中的全部或部分来执行补偿其全局运动的基于场景检测/运动检测的滤波。

根据本发明的优选实施例(从数字运动画面数据中去除噪声的方法)，首先执行空间滤波操作110，并且对以上空间滤波所过滤的帧(例如，3个帧)执行补偿了全局运动的基于场景检测/运动检测的时间滤波150。根据优选实施例，首先执行空间滤波，并且由此在一定程度上去除噪声，并然后可容易地执行执行时间滤波所需的运动检测。这样，期望根据优选实施例的噪声去除方法用于去除噪声。

在根据本发明实施例的去除噪声的方法中，运动画面数据的亮度分量中的边缘被保持以提高色彩的清晰度。在去除噪声的同时，保持图像中的边缘轮廓，并且彩色分量变得平滑从而改善图像的稳定性。

分别给定亮度分量Y以及彩色分量Cb和Cr的空间滤波值是x_Y(i，j，n)、x_Cb(i，j，n)、和x_Cr(i，j，n)，这些空间滤波值可以通过下列方程式计算：

$x_Y(i,j,n)={\stackrel{\‾}{y}}_Y(i,j,n)+\frac{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2-{\mathrm{\σ}}_n{(i,j,n)}^2}{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2}(y_Y(i,j,n)-{\stackrel{\‾}{y}}_Y(i,j,n))---\left(1\right)$

$x_{\mathrm{Cb}}(i,j,n)=\frac{1}{2N+1}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}{y}_{\mathrm{Cb}}(k,l,n)---\left(2\right)$

$x_{\mathrm{Cr}}(i,j,n)=\frac{1}{2N+1}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}{y}_{\mathrm{Cr}}(k,l,n)---\left(3\right)$

这里，N表示(2N+1)×(2N+1)像素的局部屏蔽的量值；i和j表示像素的二维坐标；n表示一个帧，y_Y(i，j，n)表示噪声降级图像(也就是输入图像)的像素的Y分量；y_Y(i，j，n)表示y_Y(i，j，n)的平均值；σ_yY(i，j，n)²是y_Y(i，j，n)的方差；σ_n(i，j，n)²是噪声的方差；y_Cb(k，l，n)是噪声降级的(输入)图像的像素的Cb分量；y_Cr(k，l，n)是噪声降级的(输入)图像的像素的Cr分量。

在对方程式1中亮度分量Y的空间滤波操作中，由于在噪声降级图像的平面域区域中 ${\mathrm{\σ}}_{y_Y}{(i,j,n)}^2\≈{\mathrm{\σ}}_n{(i,j,n)}^2,$ 所以滤波后的输出是噪声降级(输入)图像的平均值(代表值)y_Y(i，j，n)；并且由于对于噪声降级(输入)图像的RF分量 ${\mathrm{\σ}}_{y_Y}{(i,j,n)}^2>>{\mathrm{\σ}}_n{(i,j,n)}^2,$ 因此预定的加权分量(y_Y(i，j，n)- y_Y(i，j，n))被添加到噪声降级(输入)图像的平均值(代表值)中，以保留图像中的RF分量。

为了使得方程式1应用于图像中的精细分量，方程式1可适合补偿运动画面的不稳定特性。噪声降级(输入)图像的平均值和方差由如下所示方程式4和方程式5计算，其中一部分图像没有穿过(2N+1)×(2N+1)局部屏蔽区域内的图像的轮廓/边缘(在此，假设方程式1的噪声方差能量σ_n(i，j，n)²是估计或已知的)：

${\stackrel{\‾}{y}}_Y(i,j,n)=\frac{1}{\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n)}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n)y_Y(i+k,j+l,n)---\left(4\right)$

${\mathrm{\σ}}_{y_Y}{(i,j,n)}^2=\frac{1}{\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n)}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n){[y_Y(i+k,j+l,n)-{\stackrel{\‾}{y}}_Y(i,j,n)]}^2---\left(5\right)$

在此，W(k，l，n)是边缘自适应加权，用于确定要被过滤的中心像素以及外围像素是否在基于这个边缘的同一(平面)域上。W(k，l，n)可与中心像素和外围像素的亮度差成反比。因此，当外围像素和中心像素位于基于边缘的同一(平面)域上时，W(k，l，n)具有较大的值(例如≈1)；并且当外围像素和中心像素位于基于边缘的不同(平面)域上时，W(k，l，n)具有较小的值(例如≈0)。

该边缘自适应加权W(k，l，n)可以通过如下所示方程式6确定：

在此，Δ表示中心像素和外围像素之间的亮度差，并且可以定义为Δ＝g(|y_Y(i，j，n)-y_Y(i+k，j+l，n)|)。函数g(·)是单调递增函数，例如线性函数、指数函数、或对数函数；C是等于一(1)或者大于一(1)的常量；并且噪声自适应边缘阈值f(·)是诸如线性函数、指数函数、或对数函数的单调递增函数。

和f(σ_n ²)是噪声自适应边缘阈值。

可根据传统知识而预先确定噪声自适应边缘阈值f(·)的最小值(噪声很小时的理想值)和最大值(噪声很大时的理想值)，并且可将噪声自适应边缘阈值f(·)定义为与最大值和最小值之间的噪声方差量值成比例。

图2是图示了当常量C＝1时的边缘自适应加权W(k，l，n)的特性的曲线图。

图3是图示了当常量C≠1(例如C＞1)时的边缘自适应加权W(k，l，n)的特性的曲线图。

分别参考图2和3，当C＝1时，加权W(k，l，n)可以为1或者0；当C大于1时，可以认为加权函数W(k，l，n)随着中心像素和外  围像素之间的亮度差的增加而线性递减。同样，图3中所示的值 和f(σ_n ²)之间的线性函数(其表示方程式6的特性)在某些情况下可为单调递减函数。

参考方程式4到6以及图2和3，当中心像素和外围像素之间的差Δ等于或大于噪声自适应阈值f(σ_n ²)时，加权W(k，l，n)变成0(零)，并因而在计算平均值和方差时排除对应的外围像素。当使用加权W(k，l，n)估计局部平均值/方差时，在滤波操作中的下列自适应特性是值得注意的：

在估计局部平均值时，不使用位于与边缘/轮廓相对一侧且与中心像素关系不密切的(例如，中心像素和外围像素之间的差Δ大于噪声自适应边缘阈值f(σ_n ²)时)像素；只使用与中心像素关系紧密(例如，像素和中心像素位于同一域中时)的外围像素，因此防止在域边缘的轮廓上产生模糊效应。因为位于域边缘/轮廓上的具有较大Δ值的噪声分量被排除在计算之外，因此位于域边缘/轮廓上的噪声分量在再现图像中并不突出。

在方程式6中，域边缘的轮廓不根据恒定阈值来判决，而是根据噪声方差函数来估计。如果使用传统的方法(例如其中噪声自适应边缘阈值f(·)固定为某一常量)来判决边缘的轮廓，那么当阈值被设置得过小时，许多噪声不能被去除，而当阈值被设置得过大时，图像的精细分量不能被保留。然而，根据本发明的目前公开的从数字数据中去除噪声的方法，由于边缘阈值f(·)是通过(从噪声方差)确定噪声的有效范围来自适应地判决的，因此能在各种环境中获得稳定的结果。

通常，相对于实际图像，噪声方差估计算法具有误差(差别)，并因此，如果估计的噪声方差值或者标准偏差值被用作噪声自适应边缘阈值f(·)，那么该阈值就设置得不合适了。然而，即使噪声方差估计算法具有误差，噪声的相对值也可以精确地检测到。因此，当噪声自适应边缘阈值f(·)的最小值和最大值根据本发明中的噪声的相对值而被映射到函数上时，可以可靠地定义该阈值f(·)。

因此，根据本发明，通过使用给定部分的噪声方差函数来定义噪声自适应边缘阈值f(·)，并因此与直接利用噪声方差值或标准偏差值来定义阈值的传统方法相比，本发明可以更好地适应噪声方差估计算法的误差。

图4是图示了根据本发明实施例的从数字运动画面数据中去除噪声的方法包含的步骤中所执行的计算的输入和输出的方框图。画在每一块中的符号通常代表这个块的输出，并且指向每个块的箭头通常表示输入，用于计算该块的输出。

将参考图4更详细地描述构成根据本发明实施例的从数字运动画面数据中去除噪声的方法的每一步骤。

参考图4，根据本发明实施例的从数字运动画面数据中去除噪声的方法包含：相对于噪声降级(输入)图像的Y分量σ_yY(i，j，n)²，进行噪声方差σ_n(i，j，n)²的计算(410)；相对于噪声降级(输入)图像的Y分量σ_yY(i，j，n)²，利用常量C而获得边缘自适应加权W(k，l，n)，以确定将要被过滤的中心像素以及外围像素是否处于同一域内(420)；利用边缘自适应加权W(k，l，n)和y_Y(i，j，n)计算y_Y(i，j，n)(430)；利用W(k，l，n)、y_Y(i，j，n)和y_Y(i，j，n)计算方差σ_yY(i，j，n)²(440)；并且利用y_Y(i，j，n)、y_Y(i，j，n)、σ_n(i，j，n)²和σ_yY(i，j，n)²计算运动画面的亮度分量Y的空间滤波值x_Y(i，j，n)(450)。

根据本发明另一实施例的从数字数据中去除噪声的方法是基于补偿了全局运动的YCbCr彩色空间中的运动检测和场景(变化)检测的时间滤波操作，并且利用了空间补偿后的帧(例如，3个帧)。下面将描述根据本发明实施例的方法：检测将被时间滤波的帧之间是否有场景变化，并且在滤波操作中考虑该场景(变化)的检测结果；估计帧之间的全局运动；沿着全局运动的轨迹检测像素的运动；然后，对没有帧间场景变化的帧沿着轨迹全局运动的轨迹执行基于运动检测的时间滤波。

在下面关于在YCbCr彩色空间中进行的运动检测和时间滤波的描述中，假设先前已执行了场景(变化)检测和全局运动估计：

将解释自适应于噪声能量的YCbCr彩色空间中的运动检测。在传统的运动检测算法中，确定由于像素运动引起的像素间的亮度/彩色差值的阈值是固定的，与噪声的数量无关。因此，如果阈值是固定的，那么当噪声数量较小时，阈值就具有太大的值，并且因此产生假象。相反的，当噪声数量较大时，阈值就变得过小了，并因而噪声不能有效地去除。

因此，在根据本发明的从数字数据中去除噪声的方法中，在时间域上估计噪声的数量，并且根据噪声的能量而自适应地改变用于检测运动的亮度加权和彩色加权。

假设将要被过滤的当前帧的中心像素的亮度分量(Y)是x_Y(i，j，n)，并且相对于全局运动估计而估计的前一帧或后一帧的运动向量分别用垂直和水平分量m_v和m_h表示，在时间域内的噪声的相对值可以通过与前一帧作比较而计算得出并且还可以通过下面的方程式7计算得出：

$\mathrm{Va}{r}_{\mathrm{nT}}=\frac{1}{\mathrm{\Σ}{N}_{\mathrm{ij}}}\underset{i,j}{\mathrm{\Σ}}{N}_{\mathrm{ij}}\×g\left[\right|x_Y(i,j,n)-x_Y(i-m_v,j-m_h,n-1)\left|\right]---\left(7\right)$

在此，g[·]是单调递增函数，并且当g[|x_Y(i，j，n)-x_Y(i-m_v，j-m_h，n-1)|]大于阈值nT时，N_ij的值为1，而当上述值小于阈值nT时，N_ij的值为0，其中nT可由本领域的技术人员任意设置。这样，方程式7用于在假设无噪声图像中大部分运动的差值g[|x_Y(i，j，n)-x_Y(i-m_v，j-m_h，n-1)|]大于阈值nT的情况下计算能量。

用于检测图像中亮度分量的运动的加权变成以下参考值，该参考值确定将要被过滤的当前帧的中心像素和其他帧的对应像素之间的运动是否在亮度域中产生。用于检测亮度分量运动的加权与像素之间的亮度差成反比，并且当像素之间的亮度差大于预定亮度运动阈值时，该加权的值为0。另外，亮度运动阈值由与确定亮度域中的运动的预定范围内的噪声的量值成比例的函数来确定。

用于检测图像中彩色分量的运动的加权是以下参考值，参考值确定将要被过滤的当前帧的中心像素与另一帧的对应像素之间的运动是否在彩色域内产生。当像素之间的色差大于预定彩色运动阈值时，用于检测彩色分量运动的加权的值为0。另外，彩色运动阈值由与确定彩色分量的运动的预定范围内的噪声的量值成比例的函数来确定。

用于检测亮度域中的运动的边缘自适应加权W_I(i，j，k)可由下面的方程式8来确定：

在此Δ_I代表由像素运动引起的亮度差，并且Δ_I＝g[|x_Y(i，j，n)-x_Y(i-m_v，j-m_h，n-k)|]；g(·)是单调递增函数，例如线性函数、指数函数、或对数函数；C_I是大于1的常数；并且亮度阈值f_I(·)是单调递增函数。在方程式8中，当亮度域内自适应运动检测加权W_I(i，j，k)的值为0时，意味着已检测到对应像素的亮度分量Y的运动。

另一方面，用于检测彩色域上的运动的加权W_C(i，j，k)可由下面的方程式9来表示：

在此，Δ_C代表由像素运动引起的色差，并且可计算为Δ_C＝g[|x_Cb(i，j，n)-x_Cb(i-m_v，j-m_h，n-k)|+|x_Cr(i，j，n)-x_Cr(i-m_v，j-m_h，n-k)|]；g(·)是单调递增函数，例如线性函数、指数函数、或对数函数；C_C是大于1的常数；并且彩色阈值f_C(·)是单调递增函数。在方程式9中，当彩色域中的自适应运动检测加权W_C(i，j，k)的值为0时，意味着已检测到对应像素的彩色分量Cb和Cr的运动。

方程式8和9中的加权函数具有与图2所示波形基本上相同的形状，并且运动检测算法也适应于噪声能量，象空间滤波操作中的轮廓检测一样。并且，根据传统方法，当利用RGB向量特性来检测彩色分量之间的差时，应执行向量之间的内积计算(inner product calculation)和分数计算(fractioncalculation)。然而，本发明的算法可仅用Δ_C来表示色差。并且，方程式9中Δ_C的值可以根据色差而线性变化，从而使彩色检测阈值易于设置。

现在将对基于补偿了全局运动的YCbCr彩色空间中的运动检测和场景(变化)检测的时间滤波进行描述。在传统时间滤波中，在大部分的情况下，亮度分量被过滤。当噪声数量不大时，传统的方法是很有效的；但是，当噪声数量大并且例如色斑的噪声混杂在彩色域中时，去除噪声的性能大大地降低。

在本发明中，同时基于上述场景变化检测和运动检测算法，对YCbCr彩空间进行过滤。

${\hat{x}}_Y(i,j,n)=\frac{1}{Z_Y}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_Y({i-m}_{\mathrm{vk}},{j-m}_{\mathrm{hk}},k)---\left(10\right)$

${\hat{x}}_{\mathrm{Cb}}(i,j,n)=\frac{1}{Z_{\mathrm{Cb}}}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_{\mathrm{Cb}}({i-m}_{\mathrm{vk}},{j-m}_{\mathrm{hk}},k)---\left(11\right)$

${\hat{x}}_{\mathrm{Cr}}(i,j,n)=\frac{1}{Z_{\mathrm{Cr}}}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_{\mathrm{Cr}}(i-m_{\mathrm{vk}},j-m_{\mathrm{hk}},k)----\left(12\right)$

在此，(·)是时间滤波的滤波结果，而z是用于标准化的常数。并且，m_vk和m_hk是第n帧和第k帧之间的全局运动向量。在方程式10中，W_S(k)是用于过滤没有场景变化的范围内的帧的加权，而W_I(i，j，k)和W_C(i，j，k)是由方程式8和方程式9限定的运动检测加权。

用于检测亮度分量的运动的加权W_I(i，j，k)确定将要被过滤的一帧的像素与另一帧(前一帧或后一帧)的像素之间是否产生亮度分量运动。加权W_I(i，j，k)与两个像素之间的亮度差成反比，并且当两个像素之间的亮度差大于亮度阈值时，该加权的值为0。

亮度阈值由在预定范围内与时间域内的噪声量值成比例的函数确定，利用其可确定由亮度差表示的运动。

用于检测彩色分量的运动的加权W_C(i，j，k)确定将要被过滤的当前帧的像素与前一帧或后一帧的像素之间是否产生彩色分量运动。加权W_C(i，j，k)与两个像素之间的色差成反比，并且当两个像素之间的色差大于彩色阈值时，该加权的值为0。

彩色阈值由在预定范围内与时间域上的噪声量值成比例的函数确定，利用其可确定由亮度差表示的运动。

如果在滤波载体(support)的某一帧检测到场景变化，那么包含场景变化的这帧之后的帧将被排除在滤波操作之外。另外，如果在该帧的某一像素检测到运动，那么接下来的帧中的相同位置上的像素将被排除在滤波操作之外。并且，在某些情况中，方程式10至12中不可使用W_S(k)和全局运动向量，并且不可使用W_I和W_C中的一个。

图5是图示了根据本发明另一实施例的从数字运动画面数据中去除噪声的方法包含的步骤中所执行的计算的输入和输出的示意图。画在每一块中的符号通常表示该块的输出，而指向每一块的一个或多个箭头通常表示用来计算该块的输出的输入。

参考图5，根据本发明另一实施例的从数字运动画面数据中去除噪声的方法包括：利用利用x_Y(i，j，n)确定的预定的参考值N_ij来估计时间域内噪声的相对能量Var_nT、全局运动估计向量分量m_v和m_h、以及阈值nT(未示出)，其中x_Y(i，j，n)是对中心像素的亮度分量Y进行(上述)空间滤波的结果，而阈值nT可由本领域技术人员根据运动画面中的噪声量来设置(510)；利用Var_nT、x_Y(i，j，n)、m_v和m_h、以及预定常数C_I来自适应地转变亮度分量的加权W_I(i，j，k)(520)；利用通过对中心像素的彩色分量Cb和Cr进行空间滤波所计算的x_Cb(i，j，n)和x_Cr(i，j，n)、Var_nT、m_v和m_h、以及预定常数C_C来自适应地转变彩色分量的加权W_C(i，j，k)(530)；并且利用x_Y(i，j，n)、x_Cb(i，j，n)、x_Cr(i，j，n)、W_C(i，j，k)、W_I(i，j，k)、m_v和m_h、以及用于对没有检测到场景变化的范围(序列)中的帧进行过滤的加权W_S(k)来执行补偿了全局运动的时间滤波操作，该操作获得了数据_Y(i，j，n)、_Cb(i，j，n)、和_Cr(i，j，n)。

虽然本发明的空间滤波或时间滤波可单独用来去除噪声，但是当先进行空间滤波操作，然后对空间滤波的结果数据应用时间滤波操作的时候，能获得非常好的噪声去除效果。根据本发明优选实施例的从数字运动画面数据中去除噪声的方法顺序地采用了空间滤波操作和时间滤波操作。

根据本发明的从数字运动画面数据中去除噪声的方法，可以降低在时间滤波操作中使用的帧数，并且可更容易地执行运动检测，并因而可将该方法直接应用于诸如CCD和CMOS的各种画面传感器，以便获得高清晰度的视频图像。特别是，本发明的方法可以用在用于改善压缩算法中的图像质量的预处理和后处理中，以提高图像质量和数据压缩率。

虽然已经参考本发明的示范实施例而具体示出和描述了本发明，但是本领域普通技术人员应理解：在不脱离以下权利要求所限定的本发明的精神和范围的情况下，可在形式上和细节上作出各种更改。

本申请要求于2003年12月11日向韩国知识产权局提交的韩国专利申请第2003-90032号的优先权，并通过引用而将其公开全部合并在这里。

Claims (20)

1.一种从输入图像的数字运动画面数据中去除噪声的方法，其中包含在数字运动画面数据中的噪声是通过空间滤波操作去除的，该方法包含：

对输入图像的像素的彩色分量执行第一空间滤波操作；并且

对输入图像的像素的亮度分量执行第二空间滤波操作；

其中在第二空间滤波操作中使用噪声自适应边缘阈值。

2、如权利要求1所述的方法，进一步包含在图像中保留边缘，其中保留边缘的步骤包含：

利用噪声边缘自适应阈值，而计算局部屏蔽中的像素的边缘自适应代表值；

利用预定的噪声自适应加权估计图像的发散值，该发散值通过利用噪声自适应边缘阈值和边缘自适应代表值而产生；

获得边缘自适应代表值和输入图像之间的差值图像；

通过比较图像的发散值和噪声分量的发散值而计算加权；并且

在差值图像中，将大加权给予图像的边缘，而将小加权给予图像的噪声，并且将应用了加权的差值图像添加到边缘自适应代表值上。

3、如权利要求2所述的方法，其中该边缘自适应代表值是像素的平均值，并且该发散值是像素的方差和标准偏差之一。

4、如权利要求1所述的方法，其中执行第一空间滤波操作的步骤包括计算像素的彩色分量的代表值，并且该局部屏蔽中的彩色分量Cb和Cr的代表值x_Cb(i，j，n)和x_Cr(i，j，n)满足：

$x_{\mathrm{Cb}}(i,j,n)=\frac{1}{2N+1}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}{y}_{\mathrm{Cb}}(k,l,n)$

$x_{\mathrm{Cr}}(i,j,n)=\frac{1}{2N+1}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}{y}_{\mathrm{Cr}}(k,l,n),$

这里N是局部屏蔽的量值；i和j是像素的二维坐标；n表示帧；y_Cb(k，l，n)是输入图像的Cb分量；而y_Cr(k，l，n)是输入图像的Cr分量。

5、如权利要求2所述的方法，其中每一像素的边缘自适应代表值满足

${\stackrel{\‾}{y}}_Y(i,j,n)=\frac{1}{\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}(k,l,n)}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n)y_Y(i+k,j+l,n),$

其中N是局部屏蔽的量值；i和j是像素的二维坐标；n表示一帧；y_Y(i，j，n)是输入图像的亮度分量；并且其中W(k，l，n)是用于确定坐标i和j的像素、以及局部屏蔽中的外围像素是否在基于边缘的同一域中的边缘自适应加权。

6、如权利要求5所述的方法，其中边缘自适应加权W(k，l，n)与位于坐标(i，j)的中心像素和外围像素之间的亮度差成反比，并且当两个像素之间的亮度差大于噪声自适应边缘阈值时，加权W(k，l，n)等于0；并且其中该噪声自适应边缘阈值是通过在预定范围内与噪声量值成比例的函数确定的。

7、如权利要求5所述的方法，其中该边缘自适应加权W(k，l，n)满足

其中，Δ表示位于坐标(i，j)的像素和外围像素之间的亮度差，并且满足Δ＝g(|y_Y(i，j，n)-y_Y(i+k，j+l，n)|)；C是等于1或者大于1的常量；g(·)是单调递增函数；并且噪声自适应边缘阈值f(·)是单调递增函数。

8、如权利要求2或权利要求7所述的方法，其中所估计图像的发散值满足

${\mathrm{\σ}}_{y_Y}{(i,j,n)}^2=\frac{1}{\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n)}\underset{k=i-N}{\overset{i+N}{\mathrm{\Σ}}}\underset{l=j-N}{\overset{j+N}{\mathrm{\Σ}}}W(k,l,n){[y_Y(i+k,j+l,n)-{\stackrel{\‾}{y}}_Y(i,j,n)]}^2,$

其中N表示局部屏蔽的量值；i和j表示像素的二维坐标；n表示一帧；σy_Y(i，j，n)²是对于y_Y(i，j，n)应用了边缘自适应加权W(k，l，n)的的方差；W(k，l，n)是边缘自适应加权；并且y_Y(i，j，n)是边缘自适应代表值。

9、如权利要求2所述的方法，其中该差值图像满足y_Y(i，j，n)-y_Y(i，j，n)。

10、如权利要求2所述的方法，其中该加权满足

$\frac{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2-{\mathrm{\σ}}_n{(i,j,n)}^2}{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2}.$

11、如权利要求2所述的方法，其中将加权给予差值图像的步骤满足 $\frac{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2-{\mathrm{\σ}}_n{(i,j,n)}^2}{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2}(y_Y(i,j,n)-{\stackrel{\‾}{y}}_Y(i,j,n)),$ 并且将差值图像添加到边缘自适应代表值的步骤满足

${\stackrel{\‾}{y}}_Y(i,j,n)+\frac{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2-{\mathrm{\σ}}_n{(i,j,n)}^2}{{\mathrm{\σ}}_{y_Y}{(i,j,n)}^2}(y_Y(i,j,n)-{\stackrel{\‾}{y}}_Y(i,j,n)).$

12、一种从数字运动画面数据中去除噪声的方法，该方法包含：

对输入图像中的像素的亮度分量Y执行第一空间滤波操作；

对输入图像中的像素的彩色分量Cb和Cr执行第二空间滤波操作；并然后

对空间滤波操作的各结果值x_Y(i，j，n)、x_Cb(i，j，n)和x_Cr(i，j，n)执行时间滤波操作。

13、如权利要求12所述的方法，进一步包含：

检测各帧间的场景变化；

估计各帧间的全局运动；

沿着每个像素的全局运动轨迹而估计时间上相邻帧之间的噪声的相对值Var_nT；

计算用于检测图像中每个像素的亮度分量的运动的第一加权(W_I(i，j，k))；并且

计算用于检测图像中每个像素的彩色分量的运动的第二加权(W_C(i，j，k))。

14、如权利要求13所述的方法，其中噪声的相对值Var_nT满足

${\mathrm{Var}}_{\mathrm{nT}}=\frac{1}{\mathrm{\Σ}{N}_{\mathrm{ij}}}\underset{i,j}{\mathrm{\Σ}}{N}_{\mathrm{ij}}\×g\left[\right|x_Y(i,j,n)-x_Y(i-m_v,j-m_h,n-1)\left|\right],$

这里，i和j是二维坐标；n表示一个帧；m_v和m_h是全局运动向量分量；g[·]是单调递增函数；当g[|x_Y(i，j，n)-x_Y(i-m_v，j-m_h，n-1)|]的值大于阈值nT时，N_ij的值等于1，并且当g的值小于阈值nT时，Nij的值等于0。

15、如权利要求13所述的方法，其中用于检测图像中每个像素的亮度分量的运动的加权W_I(i，j，k)满足

并且用于检测每个像素的彩色分量的运动的加权W_C(i，j，k)满足

这里，

Δ_I＝g[|x_Y(i，j，n)-x_Y(i-m_v，j-m_h，n-k)|]，

Δ_C＝g[|x_Cb(i，j，n)-x_Cb(i-mx，j-m_h，n-k)|+| x_Cr(i，j，n)-x_Cr(i-m_v，j-m_h，n-k)|]，g(·)是任意的单调递增函数；C_I和C_C是大于1的常量；并且亮度阈值f_I(·)和色阈值f_C(·)的每一个是单调递增函数。

16.如权利要求12所述的方法，进一步包含：根据补偿了全局运动的运动检测并利用：噪声的相对值、用于检测图像中亮度分量的运动的加权、用于检测图像中彩色分量的运动的加权、以及用于标准化的常量，对不包括场景变化的帧序列内的帧执行时间滤波操作；

其中，用于检测亮度分量运动的加权与像素之间的亮度差成反比，并且当亮度差大于预定的亮度运动阈值时，该加权等于0，该预定的亮度运动阈值是通过在预定范围内与噪声量值成比例的函数确定的；

其中，当像素间的色差大于预定的彩色运动阈值时，用于检测彩色分量运动的加权等于0，该预定的彩色运动阈值是通过在预定范围内与噪声量值成比例的函数确定的。

17、如权利要求16所述的方法，其中执行时间滤波操作的步骤满足

${\hat{x}}_Y(i,j,n)=\frac{1}{Z_Y}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_Y(i-m_{\mathrm{vk}},j-m_{\mathrm{hk}},k)$

${\hat{x}}_{\mathrm{Cb}}(i,j,n)=\frac{1}{Z_{\mathrm{Cb}}}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_{\mathrm{Cb}}(i-m_{\mathrm{vk}},j-m_{\mathrm{hk}},k)$

${\hat{x}}_{\mathrm{Cr}}(i,j,n)=\frac{1}{Z_{\mathrm{Cr}}}\underset{k}{\mathrm{\Σ}}{W}_S\left(k\right)W_I(i,j,k)W_C(i,j,k)x_{\mathrm{Cr}}(i-m_{\mathrm{vk}},j-m_{\mathrm{hk}},k),$

这里， 是时间滤波的结果；W_S(k)是用于对不包含场景变化的帧序列内的帧进行过滤的加权；m_vk和m_hk是第n帧和第k帧之间的全局运动向量分量；并且z是用于标准化的常量。

18、一种从数字运动画面数据中去除噪声的方法，该方法包含：

对每一像素的亮度分量和彩色分量执行第一空间滤波操作；

对每一像素的彩色分量执行第二空间滤波操作，包括计算每个像素的代表值；并且

对第一和第二空间滤波的结果数据执行基于运动检测的时间滤波操作。

19、如权利要求18所述的方法，其中执行时间滤波的步骤包括：

通过检测沿着每个像素的全局运动轨迹的运动而估计噪声的相对值；

计算用于检测图像中每个像素的亮度分量的运动的加权；

计算用于检测图像中每个像素的彩色分量的运动的加权；并且

执行用于对不包含场景变化的帧序列内的帧进行过滤的时间滤波操作，补偿全局运动，使用噪声的相对值，使用用于检测图像中的亮度分量运动的加权，并使用用于检测图像中彩色分量运动的加权。

20、如权利要求18所述的方法，进一步包含通过如下步骤保留图像中的边缘：

通过利用预定的噪声自适应边缘阈值来计算每一个像素的边缘自适应代表值；

通过利用利用噪声自适应边缘阈值产生的预定的噪声自适应加权和边缘自适应代表值来估计图像的发散值；

获得差值图像、边缘自适应代表值、和输入图像；

通过比较图像的发散值和噪声分量的发散值来计算加权，并将该加权应用于该差值图像；并且

将应用了加权的差值图像添加到边缘自适应代表值中，

其中该代表值是平均值，而发散值是方差或标准偏差。

Images