CN114900698A - 基于前向纠错的视频传输方法、设备和计算机存储介质 - Google Patents

Abstract

本发明公开了一种基于前向纠错的视频传输方法、设备和计算机存储介质，该基于前向纠错的视频传输方法包括：对视频数据的视频帧进行等级配置；分别计算各等级的视频帧所对应的冗余度；对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。通过上述方式，本发明能够克服在网络波动较大的场景下视频卡顿的问题。

Description

基于前向纠错的视频传输方法、设备和计算机存储介质

技术领域

本发明涉及通信领域，特别是涉及一种基于前向纠错的视频传输方法、设备和计算机存储介质。

背景技术

在基于IP网络的视频通信系统中，网络丢包对视频实时通信质量有非常严重的影响。例如造成视频的马赛克、卡顿、跳秒等问题，造成非常差的用户体验。特别是在网络环境不好的情况下，丢包是经常出现的问题。

丢包重传(Automatic Repeat-reQuest，ARQ)是常用方法，该方法为接收方发现丢包后，然后请求发送方进行重传。而在网络延时大的环境下，易导致实时视频浏览卡顿。

发明内容

本发明主要解决的技术问题是提供一种基于前向纠错的视频传输方法、设备和计算机存储介质，能够克服在网络波动较大的场景下视频卡顿的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于前向纠错的视频传输方法，该基于前向纠错的视频传输方法包括：对视频数据的视频帧进行等级配置；分别计算各等级的视频帧所对应的冗余度；对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。

其中，视频数据包括一个或多个图像组，每个图像组包括一个关键帧和多个前向帧，对视频数据的视频帧进行等级配置包括：检测图像组是否包含目标事件；若图像组包含目标事件，则将图像组中的关键帧配置为第一等级，将图像组中的至少部分前向帧配置为第二等级，第一等级高于/等于第二等级。

其中，检测图像组是否包含目标事件还包括：若图像组不包含目标事件，则将图像组中的关键帧配置为第一等级，将图像组中的前向帧配置为第三等级，第三等级低于第二等级。

其中，检测到图像组包含目标事件，对图像组的视频帧进行等级配置之后包括：判断网络带宽W是否大于传输量D，其中，传输量

L为网络丢包率，Qn为各等级视频帧的冗余调整参数，B为视频码流大小；若网络带宽W大于或等于传输量D，则不对视频帧的等级进行调整；若网络带宽W小于传输量D，则将图像组中的部分前向帧的等级调整为第三等级，第三等级低于第二等级。

其中，若网络带宽W小于传输量D，将图像组中的关键帧配置为第一等级，前N个前向帧的等级配置为第二等级，其余前向帧配置为第三等级；其中，N为满足公式

的最小整数；其中，W为网络带宽，B为视频码流大小，L为网络丢包率，Q1为高等级视频冗余调整因子，Q2为低等级视频冗余调整因子，Bm表示高等级视频码流大小，F为视频帧率大小，K为I帧与P帧大小的比值，第一等级和第二等级属于高等级，第三等级属于低等级。

其中，分别计算各等级的视频帧所对应的冗余度包括：计算基础冗余度S，S为满足公式

的最小整数；各等级视频帧的冗余度为Qn*S，Qn为各等级视频帧的冗余调整参数。

其中，视频帧的等级越高，视频帧的冗余调整参数Qn越大，且1<Qn<2。

其中，对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输之后包括：接收丢包反馈信息，获取丢包率。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于前向纠错的视频传输设备，该设备包括处理器，处理器用于执行指令以实现如上述的基于前向纠错的视频传输方法。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现如上述的基于前向纠错的视频传输方法。

本发明的有益效果是：区别于现有技术的情况，本发明在进行视频传输之前先对视频帧进行重要度的等级划分，对不同等级下的视频数据进行差别冗余，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

附图说明

图1是前向纠错方法的示意图；

图2是本申请基于前向纠错的视频传输方法一实施方式中的流程示意图；

图3是本申请基于前向纠错的视频传输方法另一实施方式中的流程示意图；

图4是本申请基于前向纠错的视频传输方法的结构示意图；

图5是本申请实施方式中基于前向纠错的视频传输方法的一具体实施方式流程示意图；

图6是本申请一视频帧等级配置示意图；

图7是本申请另一视频帧等级配置示意图；

图8是本申请后端实时拉流设备的流程示意图；

图9是本申请实施方式中基于前向纠错的视频传输装置的结构示意图；

图10是本申请实施方式中基于前向纠错的视频传输设备的结构示意图；

图11是本申请实施方式中计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

请参阅图1，图1是前向纠错方法的示意图。前向纠错(forward errorcorrection，FEC)方法是发送方在发送数据时，通过FEC算法根据发送数据计算增加一些冗余包；接收方接收到有效数据包和冗余包，即使有一定数据包丢失，仍然可以通过FEC算法接收到的有限数据包和冗余包，恢复出完整的有效数据。该方法在出现丢包后不需要重传就可以恢复完整数据，保证了实时视频的传输效果。但增加的部分冗余包，加大了网络负担，在实时视频通信系统中，FEC方式相比丢包重传方式更加适合。然而在网络带宽一定的情况下，对视频数据进行无差别EC冗余的话，造成网络带宽的有效利用率较低；进而导致用户画质体验差。因此，本申请提供一种基于前向纠错的视频传输方法，根据网络情况，通过在进行视频传输之前先对视频帧进行重要度的等级划分，采用适合冗余度的前向纠错对各个等级的视频数据进行差别冗余方法，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

请参阅图2，图2是本申请基于前向纠错的视频传输方法一实施方式中的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：

S210：对视频数据的视频帧进行等级配置。

对需要进行视频传输的视频数据进行类型检测，并为不同类型的视频帧设置不同的等级配置。将重要数据按帧配置为较高等级，相应地将其他数据按帧配置为较低等级。

S230：分别计算各等级的视频帧所对应的冗余度。

结合网络情况对各个视频等级的数据进行差别冗余，不同等级的视频帧对应有不同的冗余度。冗余度越高代表该数据配置的冗余数据越多。

S250：对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。

结合计算得到的冗余度，FEC编码器对各等级的视频帧的原始数据和冗余数据分别进行编码，分别得到数据包和冗余包，并进一步进行数据传输。

在该实施方式中，通过在进行视频传输之前先对视频帧进行重要度的等级划分，采用适合冗余度的前向纠错对各个等级的视频数据进行差别冗余方法，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

请参阅图3，图3是本申请基于前向纠错的视频传输方法另一实施方式中的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施方式包括：

S310：对视频数据的视频帧进行等级配置。

视频数据包括一个或多个图像组，每个图像组包括一个关键帧I和多个前向帧P，在两个关键帧I之间的间隔为GOP(Group Of Picture)，一个GOP包含有多个前向帧P。检测图像组是否包含目标事件，为不同类型的图像组的视频帧设置不同的等级配置。若图像组包含目标事件，则将图像组中的关键帧配置为第一等级，将图像组中的至少部分前向帧配置为第二等级，第一等级高于/等于第二等级。若图像组不包含目标事件，则将图像组中的关键帧配置为第一等级，将图像组中的前向帧配置为第三等级，第三等级低于第二等级。等级配置越高，视频传输时的传输量越大。

S330：结合网络宽带和丢包率对等级配置进行调整。

前端视频设备的视频帧在向后端设备进行传输过程中，经常会出现数据丢包的情况，同时，当前网络情况也会影响视频传输情况。因此，根据当前网络状况和丢包情况对上述视频帧的等级配置进行调整。根据丢包反馈信息，计算丢包率，进一步计算得到当前的数据传输量，其中，传输量D＝(1+L*Q)*B，L为网络丢包率，Q为各等级视频帧的冗余调整参数，B为视频码流大小。在本申请的实施方式中，为不同等级的视频帧设置不同的冗余调整参数，第一等级的冗余调整参数大于第二等级的冗余调整参数，大于第三等级的冗余调整参数。在一实施方式中，将一个图像组中多个视频帧分为多个等级，其中，第n等级的视频帧的冗余调整参数为Qn，则数据传输量

进一步，获取当前网络宽带，根据当前的数据传输量和当前网络宽带判断是否需要对等级配置进行调整。判断网络带宽W是否大于传输量D，若网络带宽W大于或等于传输量D，则不对视频帧的等级进行调整；若网络带宽W小于传输量D，则将图像组中的部分前向帧的等级调整为第三等级，第三等级低于第二等级。

在一具体实施方式中，若网络带宽W小于传输量D，将图像组中的前N个前向帧的等级配置为第二等级，其余前向帧配置为第三等级；第一等级和第二等级属于高等级，第三等级属于低等级。其中，N为满足公式

的最小整数；其中，W为网络带宽，B为视频码流大小，S为丢包率，Q1为高等级视频冗余调整因子，Q2为低等级视频冗余调整因子，Bm表示第一等级视频码流大小，F为视频帧率大小，K为I帧与P帧大小的比值。

S350：分别计算各等级的视频帧所对应的冗余度。

利用原始传输的数据包数与传输丢包率计算基础冗余度S，S为满足公式

的最小整数，根据视频帧等级，调整需要生成的冗余包数，其中，M为原始传输的数据包数，各等级视频帧的冗余度为Q*S，Q为各等级视频帧的冗余调整参数。视频帧的等级越高，视频帧的冗余调整参数Q越大，且1<Q<2。

S370：对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。

将N个原始视频数据和需要增加的冗余包数Q*S输入FEC编码器进行编码。将编码后的数据传输至后端设备，以使得后端设备进行解码读取。

在该实施方式中，通过在进行视频传输之前先对视频帧内容进行重要度的多个等级划分，再根据当前网络状况对等级进行进一步划分，采用适合冗余度的前向纠错对各个等级的视频数据进行差别冗余方法，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

请参阅图4，图4是本申请基于前向纠错的视频传输方法的结构示意图，在一实施方式中，以前端视频设备与后端实时拉流设备进行实时视频通信为例进行说明，第一等级和第二等级属于高等级，第三等级属于低等级。请参阅图5，图5是本申请实施方式中基于前向纠错的视频传输方法的一具体实施方式流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施方式包括：

S510：前端视频设备按照等级配置信息对视频进行编码，输出带编码等级的视频帧数据。

前端视频设备首先对需要进行视频传输的视频帧进行视频等级划分。视频数据包括一个或多个图像组，每个图像组包括一个关键帧I和多个前向帧P，在两个关键帧I之间的间隔为GOP，一个GOP包含有多个前向帧P。检测图像组是否包含目标事件，为不同类型的图像组的视频帧设置不同的等级配置。在一实施方式中，若图像组包含目标事件，则将图像组中的关键帧配置为高等级，将图像组中的至前向帧配置为高等级。若图像组不包含目标事件，则将图像组中的关键帧配置为高等级，将图像组中的前向帧配置为低等级。等级配置越高，视频传输时的传输量越大。以GOP有25帧为例进行说明，在一个周期内，请参阅图6，图6是本申请一视频帧等级配置示意图。其中一个GOP中有目标事件，则将这个GOP中前向帧P帧的等级配置为高等级；其它无GOP中无目标事件，则将GOP中所有前向P帧的等级配置为低等级。在另一实施方式中，请参阅图7，图7是本申请另一视频帧等级配置示意图。根据网络情况将一个GOP中的前向帧P帧进行等级设置；在网络带宽情况时，将靠近关键帧I帧的前n个前向帧P帧的等级设置为高等级，其它设置为低等级。

进一步地，结合丢包率对配置等级进行调整。获取当前网络宽带W，视频码流大小B，各等级视频帧的冗余调整参数Q。据丢包反馈信息，计算丢包率，进一步计算得到当前的数据传输量，其中，传输量D＝(1+L*Q1+L*Q2)*B，L为网络丢包率，Q为各等级视频帧的冗余调整参数，Q1为高等级视频帧的冗余调整参数，Q2为低等级视频帧的冗余调整参数，B为视频码流大小。在本申请的实施方式中，为不同等级的视频帧设置不同的冗余调整参数，高等级的冗余调整参数大于低等级的冗余调整参数。

根据当前的数据传输量和当前网络宽带判断是否需要对等级配置进行调整。判断网络带宽W是否大于传输量D，若网络带宽W大于或等于传输量D，则不对视频帧的等级进行调整；若网络带宽W小于传输量D，则进一步判断图像组是否包含目标事件，若图像组不包含目标事件，则不对视频帧的等级进行调整；若图像组包含目标事件，则将图像组中的部分前向帧的等级调整为低等级。

在一具体实施方式中，若网络带宽W小于传输量D，将图像组中的前N个前向帧的等级配置为第二等级，其余前向帧配置为第三等级；

其中，N为满足公式

的最小整数；其中，W为网络带宽，B为视频码流大小，S为丢包率，Q1为高等级视频冗余调整因子，Q2为低等级视频冗余调整因子，Bm表示高等级视频码流大小，F为视频帧率大小，K为I帧与P帧大小的比值。

S530：结合丢包率，获取各等级的视频帧所对应的冗余度。

根据丢包反馈信息，计算丢包率L，根据需要冗余的视频原始数据包数M和第一步计算的网络丢包率L；根据公式：

计算需要生成的冗余包数S，S取最小整数。例如：视频原始数据包数M为50，丢包率L为0.2，则S>12.5；S取最小整数为13。

根据视频帧等级，调整需要生成的冗余包数，高等级视频帧根据第二部计算的K，采用Q1*K个冗余包，低等级视频帧采用Q2*K个冗余包；其中参数Q1和Q2的取值范围：1<Q2<Q1<2。

S550：FEC编码算法根据视频数据的等级和对应的冗余度进行数据冗余编码。

FEC编码算法对N个原始视频数据和需要增加的冗余包数Q1*K(或Q2*K)进行编码。

S570：通过通信模块将视频原数据和冗余数据传输到后端设备。

S590：后端设备根据冗余数据恢复全部的视频数据，对数据进行解码并显示。

请参阅图8，图8是本申请后端实时拉流设备的流程示意图。后端实时拉流设备接收到视频数据之后，检测是否存在丢包，当不存在丢包时，直接进行视频包检测；当存在丢包时，向前端视频设备发送丢包反馈信息，进一步进行视频包检测，根据接收包类型分别存储在不同的缓存队列中，视频包存放在视频缓存队列，FEC冗余包存放在冗余缓存队列。具体地，检测接收到的数据包是否为视频包，当检测该数据包为视频包时，将该数据包放入视频包缓存队列，当检测该数据包不为视频包时，则说明该数据包为冗余包，放入FEC包缓存队列。进一步地，检测视频包是否连续，即视频包是否存在缺失，当视频包缺失且存在FEC冗余包时，则使用FEC包缓存队列中的冗余数据进行恢复，对恢复后的视频数据进行解码显示处理。

在该实施方式中，通过在进行视频传输之前，前端视频设备先对视频帧内容进行重要度的多个等级划分，再根据当前网络状况和丢包情况对等级进行进一步划分，采用适合冗余度的前向纠错对各个等级的视频数据进行差别冗余方法，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，后端设备接收到数据之后反馈丢包情况，以使得前端视频设备进行进一步等级调整。后端设备对接收到的原始视频数据和冗余数据进行FEC解码，并进行视频展示。能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

请参阅图9，图9是本申请实施方式中基于前向纠错的视频传输装置的结构示意图。该实施方式中，基于前向纠错的视频传输装置包括配置模块91、冗余模块92和编码模块93。

其中，配置模块91用于对视频数据的视频帧进行等级配置；冗余模块92用于分别计算各等级的视频帧所对应的冗余度；编码模块93用于对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。该基于前向纠错的视频传输装置用于在进行视频传输之前先对视频帧进行重要度的等级划分，采用适合冗余度的前向纠错对各个等级的视频数据进行差别冗余方法，为等级高的视频帧提供更多的冗余数据，并利用FEC编码器对原始数据和冗余数据进行编码并进行传输，能够克服了现有技术视频传输过程中对视频数据无差别冗余，在网络波动较大的场景下解决视频卡顿问题。

请参阅图10，图10是本申请实施方式中基于前向纠错的视频传输设备的结构示意图。该实施方式中，基于前向纠错的视频传输设备01包括处理器02。

处理器02还可以称为CPU(Central Processing Unit，中央处理单元)。处理器02可能是一种集成电路芯片，具有信号的处理能力。处理器02还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器02也可以是任何常规的处理器等。

基于前向纠错的视频传输设备01可以进一步包括存储器(图中未示出)，用于存储处理器02运行所需的指令和数据。

处理器02用于执行指令以实现上述本申请基于前向纠错的视频传输方法任一实施例及任意不冲突的组合所提供的方法。

请参阅图11，图11是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质11存储有指令/程序数据12，该指令/程序数据12被执行时实现本申请基于前向纠错的视频传输方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据12可以形成程序文件以软件产品的形式存储在上述存储介质11中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质11包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于前向纠错的视频传输方法，其特征在于，所述方法包括：

对视频数据的视频帧进行等级配置；

分别计算各等级的视频帧所对应的冗余度；

对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输。

2.根据权利要求1所述的基于前向纠错的视频传输方法，其特征在于，所述视频数据包括一个或多个图像组，每个所述图像组包括一个关键帧和多个前向帧，所述对视频数据的视频帧进行等级配置包括：

检测所述图像组是否包含目标事件；

若所述图像组包含所述目标事件，则将所述图像组中的所述关键帧配置为第一等级，将所述图像组中的至少部分所述前向帧配置为第二等级，所述第一等级高于/等于所述第二等级。

3.根据权利要求2所述的基于前向纠错的视频传输方法，其特征在于，所述检测所述图像组是否包含目标事件还包括：

若所述图像组不包含所述目标事件，则将所述图像组中的所述关键帧配置为所述第一等级，将所述图像组中的所述前向帧配置为第三等级，所述第三等级低于所述第二等级。

4.根据权利要求2所述的基于前向纠错的视频传输方法，其特征在于，检测到所述图像组包含所述目标事件，对所述图像组的视频帧进行等级配置之后包括：

判断网络带宽W是否大于传输量D，其中，传输量

*B，L为网络丢包率，Qn为各等级视频帧的冗余调整参数，B为视频码流大小；

若所述网络带宽W大于或等于所述传输量D，则不对所述视频帧的等级进行调整；

若所述网络带宽W小于所述传输量D，则将所述图像组中的部分所述前向帧的等级调整为第三等级，所述第三等级低于所述第二等级。

5.根据权利要求4所述的基于前向纠错的视频传输方法，其特征在于，

若所述网络带宽W小于所述传输量D，将所述图像组中的所述关键帧配置为第一等级，前N个所述前向帧的等级配置为所述第二等级，其余所述前向帧配置为所述第三等级；

其中，N为满足公式

的最小整数；

其中，W为网络带宽，B为视频码流大小，L为网络丢包率，Q1为高等级视频冗余调整因子，Q2为低等级视频冗余调整因子，Bm表示高等级视频码流大小，F为视频帧率大小，K为I帧与P帧大小的比值，所述第一等级和所述第二等级属于高等级，所述第三等级属于低等级。

6.根据权利要求1所述的基于前向纠错的视频传输方法，其特征在于，所述分别计算各等级的视频帧所对应的冗余度包括：

计算基础冗余度S，S为满足公式

的最小整数；

各等级视频帧的冗余度为Qn*S，Qn为各等级视频帧的冗余调整参数。

7.根据权利要求6所述的基于前向纠错的视频传输方法，其特征在于，

所述视频帧的等级越高，所述视频帧的冗余调整参数Qn越大，且1<Qn<2。

8.根据权利要求1所述的基于前向纠错的视频传输方法，其特征在于，所述对各等级的视频帧进行数据编码和冗余编码，得到数据包和冗余包，以进行传输之后包括：

接收丢包反馈信息，获取网络丢包率。

9.一种基于前向纠错的视频传输设备，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求1-8任一项所述的基于前向纠错的视频传输方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-8任一项所述的基于前向纠错的视频传输方法。

Images