CN102056011A

CN102056011A - 一种h264编码实时性能优化方法

Info

Publication number: CN102056011A
Application number: CN 201010610844
Authority: CN
Inventors: 孙知信; 陈荣伟
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Yancheng Qingdun Jinbang Water Co ltd
Priority date: 2010-12-29
Filing date: 2010-12-29
Publication date: 2011-05-11
Anticipated expiration: 2030-12-29
Also published as: CN102056011B

Abstract

本发明公开了一种H264编码实时性能优化方法，属于数字图像处理技术领域。本发明方法在对视频帧进行正常编码前，先根据要求的目标编码实时效率，采用四叉树渐进编码方法对当前图像进行处理，以减少后续需要进行编码处理的原始数据；同时，在处理过程中，根据预先设定的图像质量标准对预处理后的图像质量进行总体的控制，因而能够在进行编码实时性能优化的同时很好的满足用户对图像质量的要求。本发明还可以很方便的与现有的各种H264编码优化方法相结合，进一步提高编码性能。

Description

一种H264编码实时性能优化方法

技术领域

本发明涉及一种编码性能优化方法，尤其涉及一种H264编码实时性能优化方法，属于数字图像处理技术领域。

背景技术

目前图像通信系统中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H264/AVC等几种视频编码技术。评价一种视频编码技术的好坏，主要基于以下三个指标：压缩比、信噪比、编码实时性。压缩比决定了视频编码算法的压缩效率，其值越大说明压缩效率越高，对网络传输带宽的要求越低，传输成本也就越低。信噪比决定了图像压缩后的失真程度，其值越大说明失真越小，与原始图像也就越接近。编码实时性决定了图像压缩算法的实时性能，其值越高说明编码服务器每秒能够压缩处理的图像帧数越多，其实时响应能力也就越强。而采用不同的压缩技术，将很大程度影响以上三大要素。

MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有消除帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大。

在MPEG系列中，早前的MPEG-1、MPEG-2标准在实时压缩、每帧数据量、处理速度上相对于MJPEG都有显著的提高，但压缩性能没有多少提高，使得存储容量还是太大，不适和网络传输。

H264(或表示为H.264)视频压缩标准（即MPEG-4 part 10，）相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1/2具有更大的优势，也更适合网络传输，因而目前国内外很多网络视频监控系统都采用了H264编码技术。

然而，H264视频压缩标准为了获得高压缩比采用了一系列先进的信息处理技术，比如多参考帧技术、多种块模式、亚像素运动矢量搜索、基于4x4块整数变换、变步长量化、环路去块效应滤波、基于上下文的自适应变长熵编码和基于上下文的自适应算术熵编码，这些技术的引入大大增加了编码算法的复杂度，从而降低了编码的实时性能。因此，对于硬件条件有限，实时性要求较高的应用领域，H264的实时编码性能问题成为目前许多厂商亟待解决的问题。

根据H264编码器结构，帧间预测对视频压缩效率贡献最大，但同时其具有非常高的编码复杂度。H264标准中没有规定运动估计所采用的具体搜索算法，需要用户自行选择实现，这就给搜索算法的优化留下了较大的优化空间。最早由T.koga提出了三步搜索算法，通过减少搜索点数来提高编码速度。此后，在三步搜索算法的基础上，人们提出了一些三步搜索算法的变形，如新三步搜索算法，菱形搜索算法，六变形搜索算法等。优化搜索算法，提高搜索效率对于提高H264编码性能具有重要意义。目前针对搜索算法的优化思想有很多，但主要还是在原有搜索算法的基础上进行不同程度的改进，实际应用证明，其优化的空间已越来越小。

H264编码的核心工作是选择宏块的编码模式。此过程需要对所有模式进行判断，从而选择编码代价最小的模式。模式选择过程计算复杂度非常高，它直接影响编码速度。如果采用快速模式判断方法，编码速度将会有较大程度的提高。近年来国内外专家学者在模式选择方面提出了很多优化算法，Yong Ho Moon等在2005年提出了一种对全零块的快速判断准则；Bojun Meng等提出了一种综合率失真代价计算、选择高概率模式、提取终止编码判断以及灵活阀值四种优化方案来快速设定帧内模式的算法。冯镔等在2007年提出了根据运动补偿信息，减少模式选择范围的编码优化算法。快速模式选择优化方法可以对编码模式做出直接或间接判断，有效地减少了编码复杂度，是实现编码优化的重要手段之一，也是目前编码优化研究的热点之一。模式选择算法的根本目的是为了有效提高压缩效率，在去除时间冗余和空间冗余之间做出合适的编码模式选择。优化模式选择算法的时间性能往往使算法的准确性有所下降，而且最终能够获得的性能提高幅度也相当有限。

编码实现过程与硬件平台密切相关，优秀的编码算法需要适当的实现方式来发挥其高效的编码性能。因此在不同环境下，采用不同的优化手段，往往能够取得不错的优化效果。例如针对普通微型计算机平台可以使用SIMD（即单指令多数据）指令集对编码过程中的DCT变换、量化、插值以及运动估计等操作进行优化，此方法作为目前在微型计算机平台实现编码优化的重要手段被广泛采用。另外，国内外很多企业将H264编码中涉及的部分操作或整体固化成硬件实现以提高编码运算速度。如富士通公司在2006年末推出了一款支持1440*1080分辨率的实时H264编码芯片，该芯片采用90nm技术，实现了单片高清实时编码。从总体上说，通过硬件优化编码性能，虽然能取得很不错的效果，但在成本耗费上要远远高于软件算法层面上的优化。另外，这种方式对硬件的依赖程度过高，不具备通用性。

综上所述，目前H264编码实时性能优化主要从帧间预测的搜索算法、模式选择算法以及硬件这几方面着手，虽然在一定程度上能够有效提高编码实时性能，但均存在一定的限制。特别是在硬件条件有限的情况下，很难满足实时视频监控等应用领域对编码实时性的需求。

发明内容

本发明所要解决的技术问题在于克服上述现有技术存在的问题，从另一个角度提供一种H264编码实时性能优化方法，该方法能够在硬件条件有限的情况下，满足实时视频监控等应用领域对编码实时性的需求。

本发明采用以下技术方案：

一种H264编码实时性能优化方法，在对视频帧进行正常编码前，先根据要求的目标编码实时效率及图像质量目标，采用四叉树渐进编码方法对当前图像进行处理，处理过程具体包括以下步骤：

步骤1、系统初始化，设定初始的当前图像预处理等级、图像质量标准以及目标编码实时效率；

步骤2、判断当前图像是否为图像序列组中的起始帧，如是，转步骤4；如否，转步骤3；

步骤3、获取当前图像预处理等级，如当前图像预处理等级不为0，则按照当前图像预处理等级采用四叉树渐进编码方法对当前图像进行预处理，并以预处理后的图像替代当前图像，转步骤7；如当前图像预处理等级不为0，则直接转步骤7；

步骤4、获取当前的编码实时效率并判断是否达到预先设定的目标编码实时效率，如否，则转步骤5；如是，转步骤7；

步骤5、采用四叉树渐进编码方法并按照当前图像预处理等级对当前图像进行预处理，并判断本次预处理后的图像质量是否达到预设的图像质量标准，

如是，则将当前图像预处理等级+1后，采用四叉树渐进编码方法并按照当前图像预处理等级对当前图像进行预处理，并判断本次预处理后的图像质量是否达到预设的图像质量标准，如是，则重复上述过程，直到预处理后的图像质量第一次低于预设的图像质量标准，此时转步骤6；

如否，则直接转步骤6；

步骤6、将当前图像预处理等级-1，采用四叉树渐进编码方法并按照当前图像预处理等级对当前图像进行预处理，以预处理后的图像替代当前图像后，转步骤7；

步骤7、以当前图像为输入进入正常H264编码流程。

本发明通过在正常H264编码前，采用四叉树渐进编码方法对视频进行处理，有效地减少了后续需要进行编码处理的原始数据，同时，在处理过程中，根据预先设定的图像质量标准对预处理后的图像质量进行总体的控制，因而能够在进行编码实时性能优化的同时很好的满足用户对图像质量的要求。本发明还可以很方便的与现有的各种H264编码优化方法相结合，进一步提高编码性能。

附图说明

图1为四叉树渐进编码方法的原理示意图；

图2为SSIM质量评价方法的系统框图；

图3为使用本发明的H264编码实时性能优化方法的编码系统流程图；

图4为进行对比试验所使用的视频源的情况；

图5为分别使用PC-SSIM、X264对视频源进行编码得到的平均编码效率；

图6为分别使用PC-SSIM、X264对视频源进行编码得到的平均压缩比；

图7为分别使用PC-SSIM、X264对视频源进行编码得到的平均SSIM值。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明在对视频帧进行正常编码前，先根据要求的目标编码实时效率及图像质量目标，采用四叉树渐进编码方法对当前图像进行处理。

对于图像中的任意一个像素，其相邻的几个像素有可能与其非常相似甚至相同。这一特征对于高清平滑图像更为显著。因此，当我们使用相邻像素的平均值代替这几个像素时，图像在能够基本保持原有清晰度的同时极大地缩小了原始图像的数据量。四叉树渐进编码方法就是这样一种方法，其原理为：假设一幅2ⁿ×2ⁿ像素的图像（n为正整数），将图像按照分辨率分出层次，原始图像作为0级，然后将图像划分成2×2的子块，计算每个子块的灰度均值，这个均值作为1级图像（大小为2^n-1×2^n-1像素）的像素灰度值，以后再依次划分为4×4，8×8，…2^n-1×2^n-1的子块，即可形成一种如附图1所示的金子塔的形式。每一级的灰度值都是下一级4个灰度值的均值。0级图像分辨率最高；n级图像的分辨率最低，只有一个像素灰度值，即整个图像灰度值的均值。第n等级的图像的数据量大小为原始图像（即0级图像）数据量的。将上述图像层次用四叉树数据结构来表示，其底层为叶子节点，即原图像像素，上一级节点是下级中相邻4个像素的灰度均值，逐级往上，根节点为整幅图像的灰度均值。假设有2×2的子像素块，,

,

,

为它的4个灰度值，记其均值为

，差值

。

（1）

（2）

其中i=1，2，3，于是有

（3）

（4）

由上式可见，利用图像子块的一个均值和三个差值，可以恢复出该子块的四个像素值，因此可以用均值和差值

作为存储数据，在图像处理过程中可以很方便的恢复上一等级的图像。此外，采用四叉树渐进编码方法对图像进行预处理，在整个预处理过程中，只需用到加法和移位运算，而没有耗时较多的乘法和浮点运算，因而其自身的实时性能够得到很好的保证。关于四叉树渐进编码方法更详细的内容可参考文献（何小海，滕奇志，图像通信，西安：西安电子科技大学出版社，2005）。

处理过程具体包括以下步骤：

现有的图像质量评价方法有很多，例如基于小波变换的图像质量评估算法、基于人眼视觉系统的图像质量评估算法、基于Contourlet变换的图像质量评价算法、基于自然计算和视觉注意的图像质量算法等，本发明优选基于结构相似度（SSIM）的质量评估方法[Wang Zhou , Bovik A C ,Sheikh H R ,et al. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, 2004, 13 :600-612]。下面对SSIM质量评价方法的原理进行简单介绍。

自然图像信号具有高度的结构化：它们的像素点之间具有强烈的相关性，特别当这些像素点之间在空间位置近似时，这些相关性携带了重要的视觉物体的结构信息。由于人眼的主要功能是从视觉区域提取图像的结构化信息，所以一个结构相似性度量方法对图像失真的感知具有很好的近似性。该方法就是利用原始图像与失真图像之间的结构相似性，将两者进行三方面的比较，即亮度比较、对比度比较、结构相似度比较，最后得到比较后的综合差异值作为图像相似度指标，并以此作为图像质量好坏好坏的评价尺度。假设原始图像X，失真图像Y，首先分别提取两幅图像的亮度变化信息，然后提取两幅图像的对比度变化信息，在此基础上通过归一化处理，得到两幅图像的结构变化信息，并对以上提取的三种变化信息进行相似性比较，最终完成评价过程。

具体过程如下：

首先，定义图像的平均亮度为

（5）

其中X_i为图像X的第i个像素点的值，N为图像像素点的个数。因此定义图像亮度相似性函数为

（6）

其次，信号对比度可用标准差来估计，其离散形式的无偏估计为

（7）

因此定义对比度相似性函数为

（8）

再次，用信号的标准差来对其进行归一化，因此，结构相似性比较函数可由其归一化信号来表示

（9）

最后，定义总相似度函数为

（10）

为了完整定义(2.2.3-6)所定义的相似性度量公式，需要给出亮度相似性函数l(x,y)、对比度相似性函数c(x,y)、结构相似性函数s(x,y)的具体表达式。同时，我们知道相似度函数S(X，Y)应该同时满足以下三个条件：

1）对称性：S(X，Y)=S(Y，X)，即改变输入信号的顺序不影响其相似性度量值。

2）有界性：S(X，Y)<=1，越接近于1，表明两信号的相似度越强。

3）唯一最大值：S(X，Y)=1，当且仅当X=Y。也就是说只有两个信号完全相同时，其值才能为1。

因此我们首先定义亮度比较函数为

（11）

式2.2.3-7中C1为常数，引入C₁的目的是为了确保当

接近于0时，l(x,y)的函数值有意义。显然，2.2.3-7中定义的函数l(x,y)满足前面提到的三个条件。类似地，我们定义对比度比较函数为

（12）

其中C₂为常数，同样地，此定义也满足上述三个条件。

在亮度提取和对比度归一化后，可以进行结构相似性的比较。从几何学上来说，两个图像的结构同单位向量（x-m_x）/s_x和（y-m_y）/s_y的方向有关。两个向量之间的夹角为结构相似性的度量提供了一个简单而有效地方法，特别地，x和y之间的相关性系数与夹角的正弦有关，因此，我们定义结构比较函数如下：

（13）

其中s_xy可由下式进行估计

（14）

最后将以上定义的亮度比较函数l(x,y)、对比度比较函数c(x,y)以及结构比较函数s(x,y)进行综合，可以得到信号X，Y的总体结构相似性（SSIM：Structrue SIMilarity）度量指标：

（15）

其中参数a>0，b>0，g>0用来调整三部分的相关性权重。很容易证明此式也满足前面提到的三个条件。通常，在本文中，我们指定a=1，b=1，g=1，C₃= C₂/2，因而

（16）

基于结构相似性的图像质量评价方法的最后一步是在整个图像上对SSIM索引值进行组合而得到一个最终的评价值。一般运用加权的方法得到。假设X为原始图像，Y为失真图像，SSIM（X_i，Y_i）为第i个采样点的局部SSIM值，则可定义X与Y之间的SSIM指标为：

（17）

其中N为待评估图像采样点的总数量，W_i为第i个采样点的加权值。SSIM质量评价方法的系统框图如附图2所示。

当采用SSIM质量评价方法时，每幅图像的图像质量都可以表示为一个0-1的数值，表征其与原图像的接近程度。预处理等级为0的图像（即表示不对原始图像进行预处理）的图像质量为1，其它预处理等级的图像质量为大于0而小于1的确定的值。本步骤中所述图像质量标准即为根据实际需要设定的可接受的最低SSIM指标，可在0-1之间取值，本发明优选的取值范围为0.75-0.95。

考虑到预处理等级过高时得到的图像分辨率较低，可能难以满足实际需要，因此本发明在系统初始化时，设定初始的当前图像预处理等级的范围为0到3之间的整数。

步骤2、判断当前图像是否为图像序列组中的起始帧，如是，转步骤4；如否，转步骤3；本发明以图像序列组为处理单位，首先判断当前图像是否为起始帧，如果不是，则直接调用起始帧所采用的预处理等级对图像进行预处理，避免了重复进行比较判断的步骤，进一步提高了实时性。

步骤3、获取当前图像预处理等级，如当前图像预处理等级不为0，则按照当前图像预处理等级采用四叉树渐进编码方法对当前图像进行预处理，并以预处理后的图像替代当前图像，转步骤7；如当前图像预处理等级为0，即表示不需要对图像进行预处理，则直接转步骤7。

步骤4、获取当前的编码实时效率并判断是否达到预先设定的目标编码实时效率，如否，则转步骤5；如是，转步骤7；目标编码实时效率根据硬件条件及实际情况设定，例如可设定为30帧/秒、40帧/秒等。

如否，则直接转步骤6；

当前的编码实时效率如未达到预先设定的目标编码实时效率，则说明H264编码器要处理的数据量过大，需要对当前图像进行预处理，以减小后续编码的数据量。此时逐级提高预处理等级，并判断预处理后的图像是否达到预设的图像质量标准，当按某一预处理等级处理后得到的图像质量第一次低于预设的图像质量标准，则说明按照比该预处理等级低一级的预处理图像可以最大限度的同时满足较高编码实时效率和较高的图像质量的要求。

步骤6、将当前图像预处理等级-1，采用四叉树渐进编码方法并按照当前图像预处理等级对当前图像进行预处理，以预处理后的图像替代当前图像后，转步骤7。

步骤7、以当前图像为输入进入正常H264编码流程；此时的当前图像，相比较原始图像，经过四叉树渐进编码方法处理，数据量减少了，可使整个编码过程实时性能得到提高；同时又能满足实际使用场合对图像质量最低限度的要求。

使用本发明的H264编码实时性能优化方法的编码系统流程如附图3所示。

为了验证本发明方法的效果，进行了以下试验：

在实验室环境下对采用本发明方法优化的H264编码系统及传统H264编码系统进行了对比测试。由于目前大部分实时视频监控产品都提供了基于不同分辨率的视频图像，所以本试验针对不同分辨率的原始视频源进行测试比较。为使实验数据具有对比性，选取当前广泛商用的ffmpeg的X264编码器做为参照系统进行对比实验。在编码服务器选择方面，我们以如下配置的主机作为运行台：

CPU：AMD Turion(tm) 64*2 1.95Hz

内存：2.68G DDR2 内存

操作系统：ubantu 9.10

为了保证测试的完整性以及准确性，我们对多个有代表性的分辨率的视频源进行测试，同时，考虑到视频源图像内容的不同会对编码性能产生不同程度的影响，因此我们选取图像内容具有显著特征的视频源进行对比测试。选取的视频源具体情况如附图4所示。

分别使用两种编码系统对上述视频源进行编码，并比较两种系统的平均编码效率、平均压缩比以及编码后图像质量（采用SSIM质量评估方法得到的平均SSIM值），得到的结果如附图5-附图7所示，其中PC-SSIM（PC表示四叉树渐进编码方法，SSIM表示基于相似度的图像质量评价方法）表示采用本发明方法优化的H264编码系统，X264表示传统H264编码系统。从附图5-附图7所示测试数据可以看出，在低分辨率的视频中采用本发明方法进行编码优化后，图像失真程度较高，大约在%5~%10左右，而当视频的分辨率有所增加以后，采用本发明方法进行编码优化的系统所取得的SSIM值接近于运行X.264编码系统得到的SSIM值。

由此可见，本发明方法适合用于对高清视频进行压缩的编码系统中。由于在实际应用中，低分辨率的视频编码系统的时间性能往往已经能够满足用户的需要，而真正需要进行编码时间性能优化的系统正是那些对高清视频进行压缩编码的系统，因此本发明的H264编码实时性能优化方法符合实际应用的需要，具有较高的实用价值。

Claims

1.一种H264编码实时性能优化方法，其特征在于，在对视频帧进行正常编码前，先根据要求的目标编码实时效率及图像质量目标，采用四叉树渐进编码方法对当前图像进行处理，处理过程具体包括以下步骤：

步骤3、获取当前图像预处理等级，如当前图像预处理等级不为0，则按照当前图像预处理等级采用四叉树渐进编码方法对当前图像进行预处理，并以预处理后的图像替代当前图像，转步骤7；如当前图像预处理等级为0，则直接转步骤7；

如否，则直接转步骤6；

步骤7、以当前图像为输入进入正常H264编码流程。

2.如权利要求1所述H264编码实时性能优化方法，其特征在于，在系统初始化时，设定初始的当前图像预处理等级的范围为0到3之间的整数。

3.如权利要求1或2所述H264编码实时性能优化方法，其特征在于，所述图像质量采用SSIM质量评估方法得到。

4.如权利要求3所述H264编码实时性能优化方法，其特征在于，所述设定的图像质量标准取值范围为0.75-0.95。