[go: up one dir, main page]

CN112136329A - 视频编解码的方法和装置 - Google Patents

视频编解码的方法和装置 Download PDF

Info

Publication number
CN112136329A
CN112136329A CN201980029796.4A CN201980029796A CN112136329A CN 112136329 A CN112136329 A CN 112136329A CN 201980029796 A CN201980029796 A CN 201980029796A CN 112136329 A CN112136329 A CN 112136329A
Authority
CN
China
Prior art keywords
image block
coding unit
boundary
image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980029796.4A
Other languages
English (en)
Inventor
马思伟
孟学苇
郑萧桢
王苫社
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
SZ DJI Technology Co Ltd
Original Assignee
Peking University
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, SZ DJI Technology Co Ltd filed Critical Peking University
Publication of CN112136329A publication Critical patent/CN112136329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编解码的方法和装置,包括:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。本申请提供的视频编解码的方法,若重构图像中的相邻图像块的其中一个图像块采用三角形预测模式,且该图像块位于其编码单元的对角线上,通过对该相邻图像块进行去块滤波,可以尽量避免该相邻图像块之间的块效应,进一步地,可以提高压缩视频的主客观质量。

Description

视频编解码的方法和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域,并且更为具体地,涉及一种视频编解码的方法和装置。
背景技术
滤波是视频编码框架中的重要模块,滤波可以包括双边滤波、自适应环路滤波、自适应样值补偿滤波和去块滤波。目前,关于去块滤波技术,相邻图像块之间可能存在块效应而未对该图像块进行去块滤波,或者相邻图像块之间可能不存在块效应而对该相邻图像块进行去块滤波,而导致的压缩视频质量降低。
因此,如何有效地区分是否对相邻图像块进行去块滤波是一项亟待解决的问题。
发明内容
本申请实施例提供一种视频编解码的方法和装置,可以有效的区分是否对相邻图像块进行去块滤波,从而可以提升压缩视频的主客观质量。
第一方面,提供了一种视频编解码的方法,包括:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例提供的视频编解码的方法,若重构图像中的相邻图像块的其中一个图像块采用三角形预测模式,且该图像块位于其编码单元的对角线上,通过对该相邻图像块进行去块滤波,可以尽量避免该相邻图像块之间的块效应,进一步地,可以提高压缩视频的主客观质量。
第二方面,提供了一种视频编解码的方法,包括:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例提供的视频编解码的方法,在第一图像块和第二图像块之间的边界为TU边界且不是CU或Sub-CU的边界,且第一图像块和第二图像块所在变换块的变换系数均为零变换系数,则确定不对第一图像块和第二图像块进行滤波。本申请实施例提供的方法,可以尽量避免将本没有块效应的相邻图像块误判断为有块效应,而导致的对该相邻图像块进行滤波,进一步地,可以提高压缩视频的主客观质量。
第三方面,提供了一种视频编解码的方法,包括:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例提供的视频编解码的方法,在第一编码单元采用三角形预测模式的情况下,若第一编码单元包括的第一图像块或第二图像块位于第一编码单元的对角线上,则确定不对第一图像块和第二图像块进行滤波。本申请实施例提供的方法,可以尽量避免将本没有块效应的相邻图像块误判断为有块效应,而导致的对该相邻图像块进行滤波,进一步地,可以提高压缩视频的主客观质量。
第四方面,提供了一种视频编解码的方法,包括:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例提供的视频编解码的方法,由于在第一图像块的双向运动信息各自所占有的权重和第二图像块的双向运动信息各自所占有的权重不同的情况下,第一图像块和第二图像块之间可能会存在块效应,因此,可以对第一图像块和第二图像块进行去块滤波。在这种情况下,通过对第一图像块和第二图像块进行去块滤波,可以尽量避免由于第一图像块和第二图像块的运动信息不同而导致的块效应,进一步地,可以提高压缩视频的主客观质量。
第五方面,提供了一种视频编解码的装置,包括:处理器,该处理器用于:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
第六方面,提供了一种视频编解码的装置,包括:处理器,该处理器用于获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
第七方面,提供了一种视频编解码的装置,包括:处理器,该处理器用于获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
第八方面,提供了一种视频编解码的装置,包括:处理器,该处理器用于获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻图像块相邻块;若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
第九方面,提供了一种视频编解码装置,包括处理器和存储器。该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,执行上述第一方面至第四方面或其各实现方式中的方法。
第十方面,提供一种芯片,用于实现上述第一方面至第四方面或其各实现方式中的方法。
具体地,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片的设备执行如上述第一方面至第四方面或其各实现方式中的方法。
第十一方面,提供了一种计算机可读存储介质,用于存储计算机程序,该计算机程序包括用于执行第一方面至第四方面或第一方面至第四方面的任意可能的实现方式中的方法的指令。
第十二方面,提供了一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述第一方面至第四方面或第一方面至第四方面的各实现方式中的方法。
第十三方面,提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面至第四方面或第一方面至第四方面的任一可能的实现方式中的方法。
附图说明
下面将对实施例使用的附图作简单地介绍。
图1是应用本申请实施例的技术方案的架构图;
图2是根据本申请实施例的视频编码框架2示意图;
图3是本申请一实施例提供的视频编解码方法的示意性流程图;
图4是本申请实施例中三角形预测方式的划分方式的示意性图;
图5是本申请实施例中三角形预测方式的MV存储的示意性图;
图6a是本申请一实施例提供的三角形预测方式的去块滤波示意性图;
图6b是本申请另一实施例提供的三角形预测方式的去块滤波示意性图;
图7是本申请又一实施例提供的三角形预测方式的去块滤波示意性图;
图8是本申请另一实施例提供的视频编解码方法的示意性流程图;
图9是本申请再一实施例提供的三角形预测方式的去块滤波示意性图;
图10是本申请又一实施例提供的视频编解码方法的示意性流程图;
图11是本申请再一实施例提供的视频编解码方法的示意性流程图;
图12是本申请实施例的BCW的去块滤波的示意性图;
图13是本申请一实施例提供的视频编解码装置的示意性图;
图14是本申请另一实施例提供的视频编解码装置的示意性图;
图15是本申请又一实施例提供的视频编解码装置的示意性图;
图16是本申请再一实施例提供的视频编解码装置的示意性图;
图17是本申请再一实施例提供的视频编解码装置的示意性结构图;
图18是本申请实施例提供的芯片的示意性结构图。
具体实施方式
下面对本申请实施例中的技术方案进行描述。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
图1是应用本申请实施例的技术方案的架构图。
如图1所示,系统100可以接收待处理数据102,对待处理数据102进行处理,产生处理后的数据108。例如,系统100可以接收待编码数据,对待编码数据进行编码以产生编码后的数据,或者,系统100可以接收待解码数据,对待解码数据进行解码以产生解码后的数据。在一些实施例中,系统100中的部件可以由一个或多个处理器实现,该处理器可以是计算设备中的处理器,也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器,本发明实施例对此不做限定。在一些可能的设计中,该处理器可以包括编码器、解码器或编解码器等。系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据,例如,实现本发明实施例的技术方案的计算机可执行指令、待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器,本发明实施例对此也不做限定。
待编码数据可以包括文本、图像、图形对象、动画序列、音频、视频、或者任何需要编码的其他数据。在一些情况下,待编码数据可以包括来自传感器的传感数据,该传感器可以为视觉传感器(例如,相机、红外传感器),麦克风、近场传感器(例如,超声波传感器、雷达)、位置传感器、温度传感器、触摸传感器等。在一些情况下,待编码数据可以包括来自用户的信息,例如,生物信息,该生物信息可以包括面部特征、指纹扫描、视网膜扫描、嗓音记录、DNA采样等。
图2是根据本申请实施例的视频编码框架2示意图。如图2所示,在接收待编码视频后,从待编码视频的第一帧开始,依次对待编码视频中的每一帧进行编码。其中,当前编码帧主要经过:预测(Prediction)、变换(Transform)、量化(Quantization)和熵编码(Entropy Coding)等处理,最终输出当前编码帧的码流。对应的,解码过程通常是按照上述过程的逆过程对接收到的码流进行解码,以恢复出解码前的视频帧信息。
具体地,如图2所示,所述视频编码框架2中包括一个编码控制模块201,用于进行编码过程中的决策控制动作,以及参数的选择。例如,如图2所示,编码控制模块201控制变换、量化、反量化、反变换的中用到的参数,控制进行帧内或者帧间模式的选择,以及运动估计和滤波的参数控制,且编码控制模块201的控制参数也将输入至熵编码模块中,进行编码形成编码码流中的一部分。
对当前编码帧开始编码时,对编码帧进行划分202处理,具体地,首先对其进行条带(slice)划分,再进行块划分。可选地,在一个示例中,编码帧划分为多个互不重叠的最大的编码树单元(Coding Tree Unit,CTU),各CTU还可以分别按四叉树、或二叉树、或三叉树的方式迭代划分为一系列更小的编码单元(Coding Unit,CU),一些示例中,CU还可以包含与之相关联的预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU),其中PU为预测的基本单元,TU为变换和量化的基本单元。一些示例中,PU和TU分别是在CU的基础上划分成一个或多个块得到的,其中一个PU包含多个预测块(Prediction Block,PB)以及相关语法元素。一些示例中,PU和TU可以是相同的,或者,是由CU通过不同的划分方法得到的。一些示例中,CU、PU和TU中的至少两种是相同的,例如,不区分CU、PU和TU,全部是以CU为单位进行预测、量化和变换。为方便描述,下文中将CTU、CU或者其它形成的数据单元均称为编码块。
应理解,在本申请实施例中,视频编码针对的数据单元可以为帧,条带,编码树单元,编码单元,编码块或以上任一种的组。在不同的实施例中,数据单元的大小可以变化。
具体地,如图2所示,编码帧划分为多个编码块后,进行预测过程,用于去除当前编码帧的空域和时域冗余信息。当前比较常用的预测编码方法包括帧内预测和帧间预测两种方法。帧内预测仅利用本帧图像中己重建的信息对当前编码块进行预测,而帧间预测会利用到之前已经重建过的其它帧图像(也被称作参考帧)中的信息对当前编码块进行预测。具体地,在本申请实施例中,编码控制模块201用于决策选择帧内预测或者帧间预测。
当选择帧内预测模式时,帧内预测203的过程包括获取当前编码块周围已编码相邻块的重建块作为参考块,基于该参考块的像素值,采用预测模式方法计算预测值生成预测块,将当前编码块与预测块的相应像素值相减得到当前编码块的残差,当前编码块的残差经过变换204、量化205以及熵编码210后形成当前编码块的码流。进一步的,当前编码帧的全部编码块经过上述编码过程后,形成编码帧的编码码流中的一部分。此外,帧内预测203中产生的控制和参考数据也经过熵编码210编码,形成编码码流中的一部分。
具体地,变换204用于去除图像块的残差的相关性,以便提高编码效率。对于当前编码块残差数据的变换通常采用二维离散余弦变换(Discrete Cosine Transform,DCT)变换和二维离散正弦变换(Discrete Sine Transform,DST)变换,例如在编码端将编码块的残差信息分别与一个N×M的变换矩阵及其转置矩阵相乘,相乘之后得到当前编码块的变换系数。
在产生变换系数之后用量化205进一步提高压缩效率,变换系数经量化可以得到量化后的系数,然后将量化后的系数进行熵编码210得到当前编码块的残差码流,其中,熵编码方法包括但不限于内容自适应二进制算术编码(Context Adaptive BinaryArithmetic Coding,CABAC)熵编码。最后将熵编码得到的比特流及进行编码后的编码模式信息进行存储或发送到解码端。在编码端,还会对量化的结果进行反量化206,对反量化结果进行反变换207。在反变换207之后,利用反变换结果以及运动补偿结果,得到重建像素。之后,对重建像素进行滤波(即环路滤波)211。在211之后,输出滤波后的重建图像(属于重建视频帧)。后续,重建图像可以作为其他帧图像的参考帧图像进行帧间预测。本申请实施例中,重建图像又可称为重建后的图像或重构图像。
具体地,帧内预测203过程中的已编码相邻块为:当前编码块编码之前,已进行编码的相邻块,该相邻块的编码过程中产生的残差经过变换204、量化205、反量化206、和反变换207后,与该相邻块的预测块相加得到的重建块。对应的,反量化206和反变换207为量化206和变换204的逆过程,用于恢复量化和变换前的残差数据。
如图2所示,当选择帧间预测模式时,帧间预测过程包括运动估计(MotionEstimation,ME)208和运动补偿(Motion Compensation,MC)209。具体地,根据重建视频帧中的参考帧图像进行运动估计208,在一张或多张参考帧图像中根据一定的匹配准则搜索到与当前编码块最相似的图像块为匹配块,该匹配块与当前编码块的相对位移即为当前编码块的运动矢量(Motion Vector,MV)。然后基于该运动矢量和参考帧对当前编码块进行运动补偿209,获得当前编码块的预测块。并将该编码块像素的原始值与对应的预测块像素值相减得到编码块的残差。当前编码块的残差经过变换204、量化205以及熵编码210后形成编码帧的编码码流中的一部分。此外,运动补偿209中产生的控制和参考数据也经过熵编码210编码,形成编码码流中的一部分。
其中,如图2所示,重建视频帧为经过滤波211之后得到视频帧。重建视频帧包括一个或多个重建后的图像。滤波211用于减少编码过程中产生的块效应和振铃效应等压缩失真,重建视频帧在编码过程中用于为帧间预测提供参考帧,在解码过程中,重建视频帧经过后处理后输出为最终的解码视频。
具体地,帧间预测模式可以包括高级运动矢量预测(Advanced Motion VectorPrediction,AMVP)模式、合并(Merge)模式或跳过(skip)模式。
对于AMVP模式而言,可以先确定运动矢量预测(Motion Vector Prediction,MVP),在得到MVP之后,可以根据MVP确定运动估计的起始点,在起始点附近,进行运动搜索,搜索完毕之后得到最优的MV,由MV确定参考块在参考图像中的位置,参考块减去当前块得到残差块,MV减去MVP得到运动矢量差值(Motion Vector Difference,MVD),并将该MVD和MVP的索引通过码流传输给解码端。
对于Merge模式而言,可以先确定MVP,并直接将MVP确定为当前块的MV。其中,为了得到MVP,可以先构建一个MVP候选列表(merge candidate list),在MVP候选列表中,可以包括至少一个候选MVP,每个候选MVP可以对应有一个索引,编码端在从MVP候选列表中选择MVP之后,可以将该MVP索引写入到码流中,则解码端可以按照该索引从MVP候选列表中找到该索引对应的MVP,以实现对图像块的解码。
应理解,以上过程只是Merge模式的一种具体实现方式。Merge模式还可以具有其他的实现方式。
例如,Skip模式是Merge模式的一种特例。按照Merge模式得到MV之后,如果编码端确定当前块和参考块基本一样,那么不需要传输残差数据,只需要传递MVP的索引,以及进一步地可以传递一个标志,该标志可以表明当前块可以直接从参考块得到。
也就是说,Merge模式特点为:MV=MVP(MVD=0);而Skip模式还多一个特点,即:重构值rec=预测值pred(残差值resi=0)。
Merge模式可以应用于三角形预测技术中。在三角形预测技术中,可以将待编码的图像块划分为两个形状为三角形的子图像块,可以从运动信息候选列表中,分别为每个子图像块确定运动矢量,并基于每个子图像块的运动矢量,确定每个子图像块对应的预测子块,基于每个子图像块对应的预测子块,构造当前图像块的预测块,从而实现对当前图像块的编码。
对于解码端,则进行与编码端相对应的操作。首先利用熵解码以及反量化和反变换得到残差信息,并根据解码码流确定当前图像块使用帧内预测还是帧间预测。如果是帧内预测,则利用当前帧中已重建图像块按照帧内预测方法构建预测信息;如果是帧间预测,则需要解析出运动信息,并使用所解析出的运动信息在已重建的图像中确定参考块,得到预测信息;接下来,再将预测信息与残差信息进行叠加,并经过滤波操作便可以得到重建信息。
然而由于当前的视频编码框架以块为单位进行编码,若相邻块之间的编码方式不同,会导致在块边界存在不连续性,降低了视频压缩的主客观质量。
本申请提出了一种视频编解码的方法,该方法可以提升视频编解码的主客观质量。
本申请实施例中的主客观质量可以包括主观质量和客观质量。其中,主观质量可以基于人的感官进行评价,客观质量可以基于特定的模型进行评价。采用本申请实施例中的方法,可以提升对视频编解码的性能,改善视频质量。
为了更加理解本申请的方案,下文先对滤波技术进行简单的介绍。
基于块的环路滤波技术可以包括双边滤波、自适应环路滤波、自适应样值补偿滤波和去块滤波(Deblock)。双边滤波的基本思想是当前像素由它自身和相邻四个点像素值的加权平均来计算,实现保边去噪。
自适应环路滤波是一种维纳滤波器,主要用于最小化原始图像和重构图像之间的均方误差。
自适应样值补偿滤波通过对图像块内像素进行分类,进而为每类像素加上相同补偿值的方式使得重构图像更接近原始图像,从而起到抑制振铃效应的作用。
去块滤波用于预测单元和变换单元的边界,利用训练得到的低通滤波器进行边界像素的非线性加权,从而减少块效应;其中,块效应是指:当前的视频编码框架以块为单位进行编码,由于相邻块之间编码方式的不同而导致的在块边界可能存在不连续性。
去块滤波可以包括以下三个步骤:判断边界、计算边界滤波强度和进行去块滤波操作。
(1)判断边界
亮度分量可以是以4x4的网格进行滤波(高效率视频编码(High EfficiencyVideo Coding,HEVC)时期是8x8的网格),色度分量可以是以8x8的网格进行滤波。边界的判断可以包括以下两个过程,首先,对于当前CU中每一个4x4的亮度块,需要判断其上下左右四个边界是否为TU的边界,并将其标记为“边界”/“非边界”。其次,对于每一个4x4亮度块,判断当前CU是否选用了放射运动模型(Affine)模式或子块时间运动矢量预测(Sub-blockTemporal Motion Vector Prediction,SbTMVP)模式,如果选中了这两种模式中的任何一种,则将当前CU内部的每一个4x4网格的边界标记为“边界“。对于标记为“边界”的块,可以进行后续操作;对于标记为“非边界”的块,可以不进行去块滤波操作。
其中,Affine模式或SbTMVP模式,可以将一个CU进一步划分为多个4x4的子CU(Sub-CU),每一个Sub-CU可以有各自的运动矢量。
(2)计算边界滤波强度
在介绍计算边界滤波强度之前,先对图像帧的像素包括的分量进行简单说明。图像帧中的像素通常可以包括多个分量,例如,可以包括亮度分量和色度分量。
以垂直边界为例,将边界左侧的4x4块用P表示,右侧的4x4块用Q表示,滤波强度用BS表示,则可以按照规则一来进行计算边界滤波强度。
规则一:
1)、如果是亮度分量,P、Q所属CU都是基于块的脉冲编码调制(Block-based DeltaPulse Code Modulation,BDPCM)模式,BS=0;
2)、否则,如果P或Q是帧内预测的CU,BS=2;
3)、否则,如果P、Q之间的边界是TU边界,而且P或Q是组合帧间帧内预测(CombineIntra Inter Prediction,CIIP)模式,BS=2;
4)、否则,如果P、Q之间的边界是TU边界,而且P或Q所在变换块包含至少一个非零变换系数,BS=1;
5)、否则,如果P、Q之间的边界是TU边界,而且是色度分量,而且P或Q所在CU使用色度联合编码方式,BS=1;
6)、否则,如果P、Q所在CU使用不同的编码模式(比如P使用帧间预测模式,Q使用帧内块拷贝(Intra Block Copy,IBC)模式),BS=1;
7)、否则,对于亮度分量,如果以下条件中,至少一个符合,BS=1;
①、P、Q都是用IBC模式,而且P、Q的MV的差值,在水平方向、或竖直方向上大于等于8;
②、P、Q参考不同的参考帧或者MV的数量不同(比如P为双MV,Q为单MV);
③、P、Q都使用了单MV,且这两个单MV差值大于等于8;
④、P、Q都使用了双MV,且P的双MV来自不同参考帧(MV1来自参考帧1,MV2来自参考帧2),Q的双MV也来自两个不同参考帧(MV3来自参考帧1,MV4来自参考帧2),P、Q参考的参考帧是相同的。那么MV1-MV3的绝对值、MV2-MV4的绝对值,在水平或竖直方向的差值,大于等于8;
⑤、如果P、Q都是用双MV,且双MV来自同一个参考帧,如下两个条件需要同时成立(假设P(MV0来自list0,MV1来自list1),Q(MV2来自list0,MV3来自list1));
List0中的MV0和MV2作差绝对值在水平或竖直方向上大于等于8,或者List1中MV1和MV3的作差绝对值在水平或数值方向大于等于8;
MV0和MV3作差绝对值在水平或竖直方向上大于等于8,或者MV1和MV2的作差绝对值在水平或数值方向大于等于8;
8)、否则,BS=0。
(3)、进行去块滤波操作
对于BS=0的情况,不进行滤波;
对于BS=1的情况,进行弱滤波;
对于BS=2的情况,进行强滤波。
其中,上述提及的list0和list1是指参考帧列表。
下面将结合图3详细描述本申请实施例提供的视频编解码的方法300。
如图3所示为本申请一实施例提供的视频编解码的方法300,该方法300可以包括步骤310-320。
310,获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块。
本申请实施例中的第一图像块和第二图像块可以是经过反变换后的图形块。对于编码端而言,其步骤可以是对当前图像块进行预测、变换、量化,再对其进行编码,其中,当前图像块的参考图像块可以是经过反量化、反变换以及滤波后的图像块;对于解码端而言,可以先对码流中的残差对应的比特进行反量化、反变换得到残差,根据参考图像和残差得到重建图像,再对反重建图像进行滤波。
在一些实施例中,本申请中的第一图像块和第二图像块也可以称为第一滤波块和第二滤波块。
320,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,第一编码单元可以包括多个图像块,第二编码单元也可以包括多个图像块。例如,第一编码单元和第二编码单元可以包括4x4个图像块,其中,第一图像块可以位于第一编码单元的对角线上。
应理解,上述数值仅为举例说明,还可以为其它数值,不应对本申请造成特别限定。
举例说明,本申请实施例中,第一图像块位于第一编码单元的对角线上。其中,对于第一编码单元的划分可以如图4所示的左侧图形所示,可以从四边形的左上角到右下角(或右下角到左上角)的方式进行划分得到两个子图像块PU1和PU2,或者,对于第一编码单元的划分可以如图4所示的右侧图形所示,也可以从四边形的左下角到右上角(或右上角到左下角)的方式进行划分得到PU1和PU2。
本申请实施例中,对第一图像块和第二图像块进行去块滤波,可以是对第一图像块和第二图像块的的边界进行滤波。本申请实施例中,去块滤波可以称为Deblock。
本申请实施例提供的视频编解码的方法,若重构图像中的相邻两个图像块的其中一个图像块采用三角形预测模式,且该图像块位于其编码单元的对角线上,通过对该相邻图像块进行去块滤波,可以尽量避免该相邻图像块之间的块效应,进一步地,可以提高压缩视频的主客观质量。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:若第一编码单元采用三角形预测模式,且第二编码单元采用帧间预测模式中的非三角形预测模式,且第一图像块位于第一编码单元的对角线上,则对第一图像块和第二图像块进行去块滤波,其中,帧间预测模式包括三角形预测模式。
本申请实施例中的非三角形预测模式可以为Affine模式、普通merge模式等,本申请对此不作具体限定。
应理解,本申请实施例中,对于第一编码单元和第二编码单元来说,其采用的预测模式也可以为:第一编码单元可以采用帧间预测模式中的非三角形预测模式,第二编码单元采用三角形预测模式。在这种情况下,也可以对第一图像块和第二图像块进行去块滤波。本申请对此不作具体限定。
上文指出,预测可以包括帧内预测和帧间预测两种类型。其中,帧间预测可以包括前向预测、后向预测以及双向预测等。前向预测是利用前一重构帧(历史帧)对当前帧进行预测;后向预测是利用当前帧之后的帧(将来帧)对当前帧进行预测;双向预测是不仅利用历史帧也利用将来帧对当前帧进行预测。
本申请实施例中的非三角形预测方式可以采用上述提到的前向预测,也可以采用后向预测,还可以采用双向预测,本申请对此不做具体限定。
对于帧间预测中的双向预测,当前CU可以基于前向帧参考图像和后向帧参考图像进行预测得到,这些参考图像可以存储在参考帧列表中。
关于参考帧列表,目前设置了两个参考帧列表,即List0和List1,这两个列表中都可以包含前向或后向已编码的参考帧。
举例说明,如果当前帧(编号100)包括三个前向参考帧和三个后向参考帧,按照自然图像的顺序标号为97、98、99、100、101、102、103。这些帧在List0和List1中的索引号不同。
在List0中,最靠近当前帧的前面一帧的索引可以为index0,再前一帧可以为index1,在对前向参考帧排完之后,再按照顺序对后向参考帧进行排序;在List1中,最靠近当前帧的后面一帧的标志为index0,再后一帧为index1,在对后向参考帧排完之后,再按照顺序对前向参考帧进行排序。如表1所示为不同列表所对应的参考帧索引号。
表1
自然编号 97 98 99 100 101 102 103
List0索引号 2 1 0 3 4 5
List1索引号 5 4 3 0 1 2
本申请实施例中的前向参考帧为上文提到的历史帧,后向参考帧为上文提到的将来帧(或未来帧)。
为了更加理解本申请的方案,先对三角形预测方式及其存储方式进行简单介绍。但应理解,以下介绍的内容只是为了更好地理解本申请,不应对本申请造成特别限定。
在三角形预测模式中,可以将一个CU划分为两个三角形的PU,这两个PU可以有各自独立的MV和参考帧索引,并且这两个PU都是单向预测,也就是说MV候选列表中的运动矢量都是单向预测的运动矢量。
其中,MV候选列表中可以包括时域候选列表和空域候选列表。候选列表中的MV可以是分别来自于当前帧中的已编码CU和参考帧中的已编码CU。为了使得后续CU可以获取到这些MV,在一个CU得到最终MV之后,要将这个MV存储下来,以备后续使用。但是每个CU的大小有很多种可能的情况,目前CU的空域MV以4x4为单元进行存储,时域MV以8x8为单元进行存储。
换句话说,对于一个16x16的CU,其运动矢量用MV0来表示,MV以4x4为单位进行存储,就是这个CU需要在其内部每个4的倍数的位置,存储MV,总共需要存储16个MV,每个位置存储的都是MV0。对于时域MV的存储情况与空域MV类似。为了简洁,这里不再赘述。
对于非三角形预测模式,可以将MV直接以4x4的单元进行存储。
对于三角形预测模式,由于其对角线上元素的特殊性,采用了特殊的存储方式。如图5所示,三角形预测依旧是以4x4为单位进行MV存储。对于对角线上的元素存储双MV-“BI”,如果无法获取双MV,则可以存储单MV;对于非对角线上的元素,则可以存储单MV。例如,如图5中的(a)所示,左下角的非对角线上可以存储MV2,右上角的非对角线上可以存储MV1;如图5中的(b)所示,左上角的非对角线上可以存储MV1,右下角的非对角线上可以存储MV2。
对于对角线上的MV存储可以为:如果MV1和MV2参考了两个不同的参考帧列表,例如,MV1来自list0,MV2来自list1,则可以将MV1和MV2分别存储在对角线位置上,即对角线上的一个4x4的块会存储两个MV(或双MV);如果MV1和MV2参考了相同的参考帧列表,例如,MV1和MV2均来自list0或来自list1,则可以将MV1或MV2存储到对角线位置上,即对角线上的一个4x4的块会存储一个MV。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用所述三角形预测模式,所述第二编码单元采用所述三角形预测模式,所述第一图像块位于所述第一编码单元的对角线上和/或所述第二图像块位于所述第二编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,若第一编码单元和第二编码单元均采用三角形预测模式,则若第一图像块和第二图像块中的至少一个图像块位于其对应的编码单元的对角线上,则对第一图像块和第二图像块进行去块滤波。
可以理解的是,假设第一编码单元和第二编码单元均采用三角形预测模式,其中,第一编码单元是从左上角到右下角进行划分的,第二编码单元是从右上角到左下角进行划分的。若第一图像块位于第一编码单元的右下角,第二图像块位于第二编码单元的左下角,在这种情况下,第一图像块和第二图像块不满足规则一的条件1)-条件7),会判断为不对第一图像块和第二图像块进行去块滤波。
然而,由于第一图像块位于第一编码单元的对角线上,第一图像块是采用两个三角形的运动信息进行预测得到各自重构块之后进行加权平均进行预测的;而第二图像块位于第二编码单元的非对角线上,第二图像块是采用一个运动信息进行预测的,由于MV的不同导致P和Q的运动补偿的结果可能不同,因此,第一图像块和第二图像块之间可能会存在块效应。
因此,在第一编码单元和第二编码单元采用三角形预测模式的情况下,若第一图像块位于第一编码单元的对角线上和/或第二图像块位于第二编码单元的对角线上,则可以对第一图像块和第二图像块进行去块滤波。
上文指出,如图4所示,对于第一编码单元的划分可以从左上角到右下角进行划分,或者,也可以从左下角到右上角进行划分。那对于不同的划分方式其所对应的第一图像块可能不同,下文将进行具体描述。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的左上角或右下角。
可选地,在一些实施例中,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的右上角或左下角。
本申请实施例中,如图6a所示,第一编码单元是从左上角到右下角的对角线进行划分的,则第一图像块可以为6-1,第二图像块可以为6-2;如图6b所示,第一编码单元是从右上角到左下角的对角线进行划分的,则第一图像块可以为6-3,第二图像块可以为6-4。
为了便于理解,结合图6a具体说明本申请实施例的方案。如图6a所示,边界左侧的4x4块可以用P表示,边界右侧的4x4块可以用Q表示。若P为三角形预测的块,Q为merge模式下的双向预测的块,假设MVP1和MVP2来自于两个不同的参考帧列表,对角线上存储的是双MV。对于图6a中的块6-1(位于三角形预测对角线上右下角的图像块)和块6-2(位于非三角形预测左下角的图像块),结合上文提到的计算边界滤波强度的条件,假设图6a中的块6-1和块6-2不满足规则一中的条件1)-条件7),则BS设置为0,即不对P和Q进行去块滤波。然而由于P是采用MVP1和MVP2进行预测得到各自重构块之后进行加权平均的,Q是采用MVQ1和MVQ2进行预测得到各自重构块之后进行等权平均的,由于MV的不同导致P和Q的运动补偿的结果可能不同,因此,在P和Q之间可能会存在块效应。
换句话说,由于P和Q所采用的MV不同,而运动补偿是利用MV和参考帧得到预测帧的过程,因此,P和Q经过运动补偿后所得到的的预测块可能是不连续的,从而存在块效应。
本申请实施例提供的视频编解码的方法,可以基于规则二计算边界滤波强度。
规则二:
1)、如果是亮度分量,P、Q所属CU都是BDPCM模式,BS=0;
2)、否则,如果P或Q是帧内预测的CU,BS=2;
3)、否则,如果P、Q之间的边界是TU边界,而且P或Q是CIIP模式,BS=2;
4)、否则,如果P、Q之间的边界是TU边界,而且P或Q所在变换块包含至少一个非零变换系数,BS=1;
5)、否则,如果P、Q之间的边界是TU边界,而且是色度分量,而且P或Q所在CU使用CbCr联合编码方式,BS=1;
6)、否则,如果P、Q所在CU使用不同的编码模式(比如P使用帧间预测模式,Q使用IBC模式),BS=1;
7)、否则,(仅对于亮度分量,或者对于亮度分量和色度分量)如果P或Q为三角形预测模式,且P、Q位于两个不同的CU,且(为左下-右上(BottomLeft-TopRight,BL-TR)预测模式(如图4左侧示出图形),且P或Q位于CU左上角或右下角)或为左上-右下(TopLeft-BottomRight,TL-BR)预测模式(如图4右侧示出图形),且P或Q位于CU右上角或左下角),BS=1(也可以BS=2);
8)、否则,对于亮度分量,如果以下条件中,至少一个符合,BS=1;
①、P、Q都是用IBC模式,而且P、Q的MV的差值,在水平方向、或竖直方向上大于等于8;
②、P、Q参考不同的参考帧或者MV的数量不同(比如P为双MV,Q为单MV);
③、P、Q都使用了单MV,且这两个单MV差值大于等于8;
④、P、Q都使用了双MV,且P的双MV来自不同参考帧(MV1来自参考帧1,MV2来自参考帧2),Q的双MV也来自两个不同参考帧(MV3来自参考帧1,MV4来自参考帧2),P、Q参考的参考帧是相同的。那么MV1-MV3的绝对值、MV2-MV4的绝对值,在水平或竖直方向的差值,大于等于8;
⑤、如果P、Q都是用双MV,且双MV来自同一个参考帧,如下两个条件需要同时成立(假设P(MV0来自list0,MV1来自list1),Q(MV2来自list0,MV3来自list1));
List0中的MV0和MV2作差绝对值在水平或竖直方向上大于等于8,或者List1中MV1和MV3的作差绝对值在水平或数值方向大于等于8;
MV0和MV3作差绝对值在水平或竖直方向上大于等于8,或者MV1和MV2的作差绝对值在水平或数值方向大于等于8;
9)、否则,BS=0。
在本申请实施例中,基于上述条件,假设P和Q均不满足条件1)-条件6),则会判断是否满足条件7),由于本申请中的P和Q来自不同的CU,且P采用三角形预测模式,且第一图像块位于P的对角线上,即满足“如果P或Q为三角形预测模式,且P、Q位于两个不同的CU,且为BL-TR预测模式(如图4左侧示出图形),且P或Q位于CU左上角或右下角”,因此条件7)满足,则BS=1或BS=2,进一步地可以对P和Q进行去块滤波。
本申请实施例中,条件7)可以位于6)和8)之间,也可以位于条件8)和条件9)之间,还可以位于条件5)和条件6)之间,本申请对此不作具体限定。
若条件7)位于条件8)和条件9)之间,若P和Q均不满足条件1)-条件8),则会判断是否满足条件7),由于本申请中的P来自三角形预测的对角线上,因此条件7)满足,则BS=1,进一步地可以对P和Q进行去块滤波。
若条件8)位于条件5)和条件6)之间,与上述情况类似。为了简洁,这里不再赘述。
应理解,本申请实施例中,在满足条件7)的情况下,BS可以设置为1或2,也可以设置为其他能够进行滤波的数值,从而可以对P和Q进行去块滤波。
如图7所示,在另一实施例中,假设MVP1和MVP2来自相同的参考帧列表,对角线上存储的是MVP2。对于图7中的块7-1(位于三角形预测对角线上右下角的图像块)和块7-2(位于非三角形预测左下角的图像块),结合上文提到的计算边界滤波强度的条件,假设图7中的块7-1和块7-2不满足规则一中的条件1)-条件7),则BS设置为0,即不对P和Q进行去块滤波。然而由于P是采用MVP1和MVP2进行预测得到各自重构块之后进行加权平均的,Q是采用MVQ进行预测的,因此,在P和Q之间可能会存在块效应。
基于上述规则二,假设P和Q均不满足条件1)-条件6),则会判断是否满足条件7),本申请中,由于P和Q来自不同的CU,且P采用三角形预测模式,且第一图像块位于P的对角线上,即满足“如果P或Q为三角形预测模式,且P、Q位于两个不同的CU,且为BL-TR预测模式(如图4左侧示出图形),且P或Q位于CU左上角或右下角”,因此条件7)满足,则BS=1或BS=2,进一步地可以对P和Q进行去块滤波。
应理解,本申请实施例中,在满足条件7)的情况下,BS可以设置为1或2,也可以设置为其他能够进行滤波的数值,从而可以对P和Q进行去块滤波,本申请对此不作具体限定。
一般情况下,图像块的格式包括基于亮度模式和色度模式的图像块,对于不同的格式,判断是否对相邻的图像块进行滤波可能不同,下文将具体进行描述。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,例如,基于上文提到的规则二中的条件1),限定了P和Q在亮度模式的情况下,若P和Q所属CU都是BDPCM模式,则确定BS=0。换句话说,假设P和Q在色度模式的情况下,若P和Q所属CU都是BDPCM模式,则BS可能为0。
再例如,基于上文提到的规则二中的条件2),没有限定P和Q属于亮度模式还是色度模式,则不管P和Q属于是在亮度模式还是在色度模式的情况下,只要P或Q是帧内预测的CU,则BS=0。
本申请实施例中,在编码单元属于亮度模式的情况下,若第一编码单元采用三角形预测模式,且第一图像块位于第一编码单元的对角线上,则对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在编码单元是亮度模式或色度模式的情况下,若第一编码单元采用三角形预测模式,且第一图像块位于第一编码单元的对角线上,则对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界BS值设置为1或2。
本申请实施例中,在确定对第一图像块和第二图像块进行去块滤波的情况下,可以将第一图像块和第二图像块的边界BS值设为1或2。
可选地,在一些实施例中,所述对所述第一图像块和所述第二图像块进行去块滤波,包括:如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
可选地,在一些实施例中,所述对所述第一图像块和所述第二图像块进行强滤波,包括:如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
本申请实施例中,弱滤波可以是改变相邻块的边界上的两个像素点,然后用阈值判断是否需要调整其它像素点,其中,此处的其它像素点可以是指与边界有一定距离的像素点;强滤波可以是改变多个像素点,其中,该多个像素点可以包括相连块的边界上的像素点和与该边界有一定距离的像素点。
可选地,在一些实施例中,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一编码单元和所述第二编码单元使用帧间预测模式,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。这种情况下,上述规则二中的条件7位于条件6和条件8之间。
本申请实施例中,若第一图像块或第二图像块是帧内预测的相邻块,按照规则一,则第一图像块和第二图像块的的滤波强度为1,对第一图像块和第二图像块进行弱滤波;若第一图像块和第二图像块使用不同的预测编码模式,假设第一图像块使用帧间预测模式,第二图像块使用IBC模式,则第一图像块和第二图像块的的滤波强度为1,对第一图像块和第二图像块进行弱滤波。
然而在第一图像块和第二图像块均使用帧间预测模式进行预测的情况下,假设第一图像块和第二图像块不满足规则一中的条件7),则不会对第一图像块和第二图像块进行去块滤波。
但是由于第一图像块和第二图像块的MV不同,MV的不同导致P和Q的运动补偿的结果可能不同,因此,在P和Q之间可能会存在块效应。
因此,可以基于规则二进行判断,由于第一图像块和第二图像块来自不同的CU,且第一图像块采用三角形预测模式,且第一图像块位于P的对角线上,即满足“如果P或Q为三角形预测模式,且P、Q位于两个不同的CU,且为BL-TR预测模式(如图4左侧示出图形),且P或Q位于CU左上角或右下角”这一条件,因此,可以对第一图像块和第二图像块进行去块滤波,从而提升压缩视频的主客观质量。
可选地,在一些实施例中,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一图像块和所述第二图像块之间的边界不是变换单元TU边界和/或所述第一图像块或所述第二图像块所在变换块的变换系数均为零变换系数,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。这种情况下,上述规则二中的条件7位于条件5和条件6之间。
本申请实施例中,按照规则一,若第一图像块和第二图像块之间的边界为TU边界,且第一图像块或第二图像块所在变换块至少包括一个非零变换系数,则可以对第一图像块和第二图像块进行去块滤波;若第一图像块和第二图像块之间的边界为TU边界,且第一图像块或第二图像块所在变换块的变换系数均为零变换系数,则会继续判断是否满足后续条件,若第一图像块和第二图像块均不满足后续条件,则不会对第一图像块和第二图像块进行去块滤波。
然而由于第一图像块和第二图像块的MV不同,MV的不同导致P和Q的运动补偿的结果可能不同,因此,在P和Q之间可能会存在块效应。
因此,由于第一图像块和第二图像块来自不同的CU,且第一编码单元采用三角形预测模式,且第一图像块位于P的对角线上,即满足“如果P或Q为三角形预测模式,且P、Q位于两个不同的CU,且为BL-TR预测模式(如图4左侧示出图形),且P或Q位于CU左上角或右下角”这一条件,因此,可以对第一图像块和第二图像块进行去块滤波。
因此,在可以基于规则二判断是否对第一图像块和第二图像块进行去块滤波。在规则二中,若判断第一图像块和第二图像块之间的边界不是变换单元TU边界和/或所述第一图像块或所述第二图像块所在变换块的变换系数均为零变换系数,虽然不满足条件4),由于第一编码单元采用三角形预测模式,且第一图像块位于所述第一编码单元的对角线上,满足规则二中的条件7),则可以对第一图像块和第二图像块进行去块滤波。
图8为本申请实施例提供的另一视频编解码方法800的示意性图,如图8所示,该方法800可以包括步骤810-820。
810,获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块。
本申请实施例中的第一图像块和第二图像块可以是经过反变换后的图形块。对于编码端而言,其步骤可以是对当前图像块进行预测、变换、量化,再对其进行编码,其中,当前图像块的参考图像块可以是经过反量化、反变换以及滤波后的图像块;对于解码端而言,可以先对码流中的残差对应的比特进行反量化、反变换得到残差,根据参考图像和残差得到重建图像,再对反重建图像进行滤波。
在一些实施例中,本申请中的第一图像块和第二图像块也可以称为第一图像块和第二图像块。
820,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,一个CU可以包括多个Sub-CU。对于一帧图像来说,可以先划分为大的编码区域(Coding Tree Unit,CTU),每个CTU可以划分为方形或矩形的CU,CU可以进一步划分为多个Sub-CU,其中,每一个Sub-CU可以有各自的运动信息。
本申请实施例提供的视频编解码的方法,在第一图像块和第二图像块之间的边界为TU边界且不是CU或Sub-CU的边界,且第一图像块和第二图像块所在变换块的变换系数均为零变换系数,则确定不对第一图像块和第二图像块进行滤波。本申请实施例提供的方法,可以尽量避免将本没有块效应的相邻图像块误判断为有块效应,而导致的对该相邻图像块进行滤波,进一步地,可以提高压缩视频的主客观质量。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一编码单元采用三角形预测模式,所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
具体地,结合图9进行详细说明。
如图9所示,假设MV1和MV2来自不同的参考帧列表,对角线上存储的是MV1和MV2结合的双MV(用BI表示)。对于图9中的块9-1和块9-2来说,块9-1记为P,块9-2记为Q。
基于规则一,假设P和Q之间的边界为TU边界,则需要进行进一步的边界强度的计算,若P和Q的所在的变换块都是零变换系数,即不满足规则一中的条件4),则继续进行后续的判断。假设P和Q不满足规则一中的条件5)和条件6),则继续判断是否满足条件7)。此时,由于P为双MV,Q为单MV,满足规则一中的条件7)中的②,可以将BS设置为1,对P、Q进行去块滤波。然而由于P、Q之间并不是单独使用各自的MV进行的预测,因此可以不用对其进行去块滤波。
本申请实施例提供的视频编解码的方法,则可以基于规则三计算边界滤波强度。
规则三:
1)、如果是亮度分量,P、Q所属CU都是BDPCM模式,BS=0;
2)、否则,如果P或Q是帧内预测的CU,BS=2;
3)、否则,如果P、Q之间的边界是TU边界,而且P或Q是CIIP模式,BS=2;
4)、否则,如果P、Q之间的边界是TU边界,而且P或Q所在变换块包含至少一个非零变换系数,BS=1;
5)、否则,如果P、Q之间的边界是TU边界,并且P、Q之间的边界不是CU/Sub-CU边界,并且P、Q所在变换块全部是零变换系数,BS=0;
6)、否则,如果P、Q之间的边界是TU边界,而且是色度分量,而且P或Q所在CU使用CbCr联合编码方式,BS=1;
7)、否则,如果P、Q所在CU使用不同的编码模式(比如P使用帧间预测模式,Q使用IBC模式),BS=1;
8)、否则,对于亮度分量,如果以下条件中,至少一个符合,BS=1;
①、P、Q都是用IBC模式,而且P、Q的MV的差值,在水平方向、或竖直方向上大于等于8;
②、P、Q参考不同的参考帧或者MV的数量不同(比如P为双MV,Q为单MV);
③、P、Q都使用了单MV,且这两个单MV差值大于等于8;
④、P、Q都使用了双MV,且P的双MV来自不同参考帧(MV1来自参考帧1,MV2来自参考帧2),Q的双MV也来自两个不同参考帧(MV3来自参考帧1,MV4来自参考帧2),P、Q参考的参考帧是相同的。那么MV1-MV3的绝对值、MV2-MV4的绝对值,在水平或竖直方向的差值,大于等于8;
⑤、如果P、Q都是用双MV,且双MV来自同一个参考帧,如下两个条件需要同时成立(假设P(MV0来自list0,MV1来自list1),Q(MV2来自list0,MV3来自list1));
List0中的MV0和MV2作差绝对值在水平或竖直方向上大于等于8,或者List1中MV1和MV3的作差绝对值在水平或数值方向大于等于8;
MV0和MV3作差绝对值在水平或竖直方向上大于等于8,或者MV1和MV2的作差绝对值在水平或数值方向大于等于8;
9)、否则,BS=0。
在本申请实施例中,基于上述条件,假设P和Q均不满足条件1)-条件4),则会判断是否满足条件5),本申请实施例中,由于第一编码单元采用三角形预测模式,P和Q之间的边界为TU边界且不是CU/Sub-CU边界,同时P和Q所在变换块的变换系数均为零变换系数,因此条件5)满足,则可以设置BS=0,不继续执行后续条件的判断,进一步地可以不对P和Q进行去块滤波。
应理解,规则二中,条件5)可以位于条件4)和6)之间,也可以位于条件6)和条件7)之间,还可以位于条件7)和条件8)之间,本申请对此不作具体限定。
若条件5)位于条件6)和条件7)之间,若P和Q均不满足条件1)-条件6),则会判断是否满足条件5),由于本申请中的P和Q属于同一图像块且该图像块采用三角形预测方式,因此条件5)满足,则BS=0,不继续执行后续条件的判断,进一步地可以确定不对P和Q进行去块滤波。
若条件5)位于条件7)和条件8)之间,与上述情况类似。为了简洁,这里不再赘述。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
具体地,如图4所示,对于第一编码单元的划分可以如图4所示的左侧图形所示,可以从四边形的左上角到右下角的方式进行划分,或者,对于第一编码单元的划分可以如图4所示的右侧图形所示,也可以从四边形的左下角到右上角的方式进行划分。
本申请实施例中,不管第一编码单元的划分是按照如图4所示的左侧图像进行划分还是按照如图4所示的右侧图形进行划分,第一图像块和第二图像块中的其中一个图像块可以位于第一编码单元的对角线上,另一图像块不位于第一编码单元的对角线上。
换句话说,若第一图像块位于第一编码单元的对角线上,则第二图像块不位于第一编码单元的对角线上;或第一图像块不位于第一编码单元的对角线上,则第二图像块位于第一编码单元的对角线上。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
本申请实施例中,在确定不对第一图像块和第二图像块进行去块滤波的情况下,可以将第一图像块和第二图像块的边界BS值设为0。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,例如,本申请实施例中,基于上文提到的规则二中的条件1),限定了P和Q在亮度模式的情况下,若P和Q所属CU都是BDPCM模式,则确定BS=0。换句话说,假设P和Q在色度模式的情况下,若P和Q所属CU都是BDPCM模式,则BS可能为0。
再例如,基于上文提到的规则二中的条件2),没有限定P和Q是亮度模式还是色度模式,则不管P和Q是在亮度模式还是在色度模式的情况下,只要P或Q是帧内预测的CU,则BS=0。
本申请实施例中,在第一编码单元的划分格式为亮度模式的情况下,若第一图像块和第二图像块之间的边界为TU边界,并且不是CU/Sub-CU边界,且第一图像块和第二图像块所在变换块的变换系数均为零变换系数,则可以不对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式和色度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在第一编码单元是亮度模式或色度模式的情况下,若第一图像块和第二图像块之间的边界为TU边界,并且不是CU/Sub-CU边界,且第一图像块和第二图像块所在变换块的变换系数均为零变换系数,则可以不对第一图像块和第二图像块进行去块滤波。
图10为本申请实施例提供的又一视频编解码方法1000的示意性图,如图10所示,该方法1000可以包括步骤1010-步骤1020。
1010,获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块。
本申请实施例中的第一图像块和第二图像块可以是经过反变换后的图形块。对于编码端而言,其步骤可以是对当前图像块进行预测、变换、量化,再对其进行编码,其中,当前图像块的参考图像块可以是经过反量化、反变换以及滤波后的图像块;对于解码端而言,可以先对码流中的残差对应的比特进行反量化、反变换得到残差,根据参考图像和残差得到重建图像,再对反重建图像进行滤波。
1020,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例提供的视频编解码的方法,在第一编码单元采用三角形预测模式的情况下,若第一编码单元包括的第一图像块或第二图像块位于第一编码单元的对角线上,则确定不对第一图像块和第二图像块进行滤波。本申请实施例提供的方法,可以尽量避免将本没有块效应的相邻图像块误判断为有块效应,而导致的对该相邻图像块进行滤波,进一步地,可以提高压缩视频的主客观质量。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
具体地,如图4所示,对于第一编码单元的划分可以如图4所示的左侧图形所示,可以从四边形的左上角到右下角的方式进行划分,或者,对于第一编码单元的划分可以如图4所示的右侧图形所示,也可以从四边形的左下角到右上角的方式进行划分。
本申请实施例中,不管第一编码单元的划分是按照如图4所示的左侧图像进行划分还是按照如图4所示的右侧图形进行划分,第一图像块和第二图像块的的其中一个图像块可以位于第一编码单元的对角线上,另一图像块不位于第一编码单元的对角线上。
换句话说,若第一图像块位于第一编码单元的对角线上,则第二图像块不位于第一编码单元的对角线上;或第一图像块不位于第一编码单元的对角线上,则第二图像块位于第一编码单元的对角线上。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界BS值设置为0。
本申请实施例中,在确定不对第一图像块和第二图像块进行去块滤波的情况下,可以将第一图像块和第二图像块的边界BS值设为0。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在第一编码单元的划分格式为亮度模式的情况下,若第一编码单元采用三角形预测模式,且第一图像块或第二图像块位于第一编码单元的对角线上,则可以不对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在第一编码单元是亮度模式或色度模式的情况下,若第一编码单元采用三角形预测模式,且第一图像块或第二图像块位于第一编码单元的对角线上,则可以不对第一图像块和第二图像块进行去块滤波。
上文介绍了几种视频编解码的方法,均没有涉及到在双向预测的情况下,不同的运动信息采用不同的权重的问题,下文将对其进行具体介绍。
为了更加理解本申请的方案,先对CU级双向加权预测(Bi-prediction with CU-level Weight,BCW)进行简单介绍。
在BCW下,双向预测的CU采用两个重构块加权平均的方式得到最终的重构CU,不同CU可以取不同的权重;在非BCW模式下,双向预测的CU采用两个重构块取平均的方式得到最终的重构CU。
图11为本申请实施例提供的又一视频编解码方法1100的示意性图,如图11所示,该方法1100可以包括步骤1110-1120。
1110,获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块。
本申请实施例中的第一图像块和第二图像块可以是经过反变换后的图形块。对于编码端而言,其步骤可以是对当前图像块进行预测、变换、量化,再对其进行编码,其中,当前图像块的参考图像块可以是经过反量化、反变换以及滤波后的图像块;对于解码端而言,可以先对码流中的残差对应的比特进行反量化、反变换得到残差,根据参考图像和残差得到重建图像,再对反重建图像进行滤波。
1120,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,对于第一图像块和第二图像块,可以采用双向预测方式,即利用“历史帧”和“将来帧”对当前块进行预测。同时可以在双向预测的基础上采用双向加权的预测方式进行预测,即“历史帧”和“将来帧”可以各自占一定的权重对当前块进行预测。
本申请实施例中,第一图像块采用加权预测方式,例如,第一图像块的双向运动信息的权重可以分别为1/4和3/4;第二图像块仍然采用双向加权预测方式,但是其双向运动信息的权重可以不同,例如,第二图像块的双向运动信息的权重可以分别为2/5和3/5。
应理解,本申请实施例中,对于双向加权预测方式,上述数值仅为举例说明,还可以为其它数值,不应对本申请造成特别限定。
本申请实施例提供的视频编解码的方法,由于在第一图像块的双向运动信息各自所占有的权重和第二图像块的双向运动信息各自所占有的权重不同的情况下,第一图像块和第二图像块之间可能会存在块效应,因此,可以对第一图像块和第二图像块进行去块滤波。在这种情况下,通过对第一图像块和第二图像块进行去块滤波,可以尽量避免由于第一图像块和第二图像块的运动信息不同而导致的块效应,进一步地,可以提高压缩视频的主客观质量。
可选地,在一些实施例中,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:所述第一图像块在双向加权预测时使用的权重的索引与所述第二图像块在双向加权预测时使用的权重的索引不同。
本申请实施例中,不同的索引可以对应不同的权重,例如,索引0对应权重-2,索引1对应权重3,索引2对应权重4,索引3对应权重5,索引4对应权重6等。
可以理解的是,上述索引与权重的对应关系仅为举例说明,还可以有其它对应关系,例如,索引0对应权重3,索引1对应权重-2,索引2对应权重5,索引3对应权重4,索引4对应权重6等,本申请对此不作具体限定。
举例说明,假设第一图像块的两个参考块分别为P0和P1,则第一图像块的预测块P可以表示为:
P=((8-w)*P0+w*P1+4)
其中,对于低时延类型的帧,w的取值可以为-2,3,4,5,10;对于非低时延类型的帧,w的取值可以为3,4,5。
本申请实施例中,低时延类型的帧可以指当前帧的参考帧为前向帧。
本申请实施例中,若第一图像块和第二图像块所属的帧为低时延类型的帧,假设第一图像块在双向加权预测时使用的权重的索引为索引0,第二图像块在双向加权预测时使用的权重的索引为索引1。
若基于索引0对应权重-2,索引1对应权重3,索引2对应权重4,索引3对应权重5,索引4对应权重6的对应关系,则第一图像块的预测块可以表示为P=(10*P0-2*P1+4);第二图像块的预测块可以表示为P=(5*P0+3*P1+4)。则在这种情况下,可以对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重的差值的绝对值大于等于预设阈值。
具体地,结合图12进行说明。第一图像块为图12中的P,第二图像块为图12中的Q。可以看出,第一图像块的运动信息分别为MVP0和MVP1,第二图像块的运动信息分别为MVQ0和MVQ1。
若MVP0和MVP1来自不同的参考帧,MVQ0和MVQ1也来自不同的参考帧。假设预设阈值为8,图12中的P的运动信息MVP0和MVP1的大小分别为5和3,Q的运动信息MVQ0和MVQ1的大小分别为6和2,虽然MVP0和MVQ0之间的差值,以及MVP1和MVQ1之间的差值较小,可以不对P和Q进行去块滤波。然而在一些情况下,由于P的双运动信息所占有的权重与Q的双运动信息所占有的权重不同,导致P和Q之间也可能存在块效应,因此,在这种情况下,可以对P和Q进行去块滤波。
应理解,本申请实施例中,上述数值仅为举例说明,还可以为其它数值,不应对本申请造成特别限定。
为了更加清楚本申请实施例的方案,下面将结合图12进行具体说明。
对于不同CU采用不同的权重,可能会引入块效应。例如,如图12所示,若P、Q所在块的位置系数全为0且MV差距较小,则根据上述规则一可能将BS设置为0。但是由于BCW的存在,P、Q可能使用了不同的权重,例如,如图12所示,若P所参考的P0和P1所占的权重分别为5/4和-1/4,Q所参考的Q0和Q1所占的权重分别为1/4和3/4,由此所预测的P和Q之间可能会引入块效应。
本申请实施例提供的视频编解码的方法,则可以基于规则四计算边界滤波强度。
规则四:
1)、如果是亮度分量,P、Q所属CU都是BDPCM模式,BS=0;
2)、否则,如果P或Q是帧内预测的CU,BS=2;
3)、否则,如果P、Q之间的边界是TU边界,而且P或Q是CIIP模式,BS=2;
4)、否则,如果P、Q之间的边界是TU边界,而且P或Q所在变换块包含至少一个非零变换系数,BS=1;
5)、否则,如果P、Q之间的边界是TU边界,而且是色度分量,而且P或Q所在CU使用CbCr联合编码方式,BS=1;
6)、否则,如果P、Q所在CU使用不同的编码模式(比如P使用帧间预测模式,Q使用IBC模式),BS=1;
7)、否则,如果P、Q的BCW Index不同(也就是BCW使用的权重不同),BS=1(或者BCW权重差值绝对值大于某个阈值);
8)、否则,对于亮度分量,如果以下条件中,至少一个符合,BS=1;
①、P、Q都是用IBC模式,而且P、Q的MV的差值,在水平方向、或竖直方向上大于等于8;
②、P、Q参考不同的参考帧或者MV的数量不同(比如P为双MV,Q为单MV);
③、P、Q都使用了单MV,且这两个单MV差值大于等于8;
④、P、Q都使用了双MV,且P的双MV来自不同参考帧(MV1来自参考帧1,MV2来自参考帧2),Q的双MV也来自两个不同参考帧(MV3来自参考帧1,MV4来自参考帧2),P、Q参考的参考帧是相同的。那么MV1-MV3的绝对值、MV2-MV4的绝对值,在水平或竖直方向的差值,大于等于8;
⑤、如果P、Q都是用双MV,且双MV来自同一个参考帧,如下两个条件需要同时成立(假设P(MV0来自list0,MV1来自list1),Q(MV2来自list0,MV3来自list1));
List0中的MV0和MV2作差绝对值在水平或竖直方向上大于等于8,或者List1中MV1和MV3的作差绝对值在水平或数值方向大于等于8;
MV0和MV3作差绝对值在水平或竖直方向上大于等于8,或者MV1和MV2的作差绝对值在水平或数值方向大于等于8;
9)、否则,BS=0。
在本申请实施例中,基于上述条件,假设P和Q均不满足条件1)-条件6),则会判断是否满足条件7),本申请中,由于P和Q的BCW的权重不同,因此条件7)满足,则可以设置BS=1,进一步地可以对P和Q进行去块滤波。
还应理解,本申请实施例中,条件7)可以位于条件6)和条件8)之间,也可以位于条件5)和条件6)之间,还可以位于条件8)和9)之间,本申请对此不作具体限定。
若条件7)位于条件8)和条件9)之间,若P和Q均不满足条件1)-条件8),则会判断是否满足条件7),由于本申请中的P和Q的BCW的权重不同,因此条件7)满足,则BS=1,进一步地可以对P和Q进行去块滤波。
若条件8)位于条件5)和条件6)之间,与上述情况类似。为了简洁,这里不再赘述。
应理解,本申请实施例中,在P和Q的BCW的权重不同的情况下,BS也可以设置为2,还可以设置为其他能够进行滤波的数值,从而可以对P和Q进行去块滤波。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在编码单元属于亮度模式的情况下,若第一图像块和第二图像块分别采用双向加权预测的方式,且第一图像块在双向加权预测时使用的权重与第二图像块在双向加权预测时使用的权重不同,则可以对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:针对亮度模式和色度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
本申请实施例中,在编码单元属于亮度模式或色度模式的情况下,若第一图像块和第二图像块分别采用双向加权预测的方式,且第一图像块在双向加权预测时使用的权重与第二图像块在双向加权预测时使用的权重不同,则可以对第一图像块和第二图像块进行去块滤波。
可选地,在一些实施例中,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
本申请实施例中,在确定对第一图像块和第二图像块进行去块滤波的情况下,可以将第一图像块和第二图像块的边界BS值设为1或2。
可选地,在一些实施例中,所述对所述第一图像块和所述第二图像块进行去块滤波,包括:如果所述第一图像块和所述第二图像块的BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
可选地,在一些实施例中,所述对所述第一图像块和所述第二图像块进行强滤波,包括:如果所述第一图像块和所述第二图像块的BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
本申请实施例中,弱滤波可以是改变相邻块的边界上的两个像素点,然后用阈值判断是否需要调整其它像素点,其中,此处的其它像素点可以是指与边界有一定距离的像素点;强滤波可以是改变多个像素点,其中,该多个像素点可以包括相连块的边界上的像素点和与该边界有一定距离的像素点。
上文结合图3-图12,详细描述了本申请的方法实施例,下面结合图13-图18,描述本申请的装置实施例,装置实施例与方法实施例相互对应,因此未详细描述的部分可参见前面各部分方法实施例。
图13为本申请一实施例提供的一种编解码装置1300,该编解码装置1300可以包括处理器1310。
处理器1310,所述处理器1310用于:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述第一编码单元采用三角形预测模式,所述第二编码单元采用帧间预测模式中的非三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,所述帧间预测模式包括所述三角形预测模式。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述第一编码单元采用所述三角形预测模式,所述第二编码单元采用所述三角形预测模式,所述第一图像块位于所述第一编码单元的对角线上和/或所述第二图像块位于所述第二编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的左上角或右下角。
可选地,在一些实施例中,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的右上角或左下角。
可选地,在一些实施例中,所述处理器1310进一步用于:针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
可选地,在一些实施例中,所述处理器1310进一步用于:如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述第一编码单元和所述第二编码单元使用帧间预测模式,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1310进一步用于:若所述第一图像块和所述第二图像块之间的边界不是变换单元TU边界和/或所述第一图像块或所述第二图像块所在变换块的变换系数均为零变换系数,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
图14为本申请另一实施例提供的一种编解码装置1400,该编解码装置1400可以包括处理器1410。
处理器1410,所述处理器1410用于:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1410进一步用于:若所述第一编码单元采用三角形预测模式,所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,所述处理器1410进一步用于:若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
可选地,在一些实施例中,所述处理器1410进一步用于:针对亮度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1410进一步用于:针对亮度模式和色度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
图15为本申请又一实施例提供的一种编解码装置1500,该编解码装置1500可以包括处理器1510。
处理器1510,所述处理器1510用于:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
可选地,在一些实施例中,所述处理器1510进一步用于:若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
可选地,在一些实施例中,所述处理器1510进一步用于:针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1510进一步用于:针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
图16是本申请再一实施例提供的一种编解码装置1600,该编解码装置1600可以包括处理器1610。
处理器1610,所述处理器1610用于:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻图像块;若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1610进一步用于:针对亮度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波
可选地,在一些实施例中,所述处理器1610进一步用于:针对亮度模式和色度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
可选地,在一些实施例中,所述处理器1610进一步用于:若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
可选地,在一些实施例中,所述处理器1610进一步用于:如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
可选地,在一些实施例中,所述处理器1610进一步用于:如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
图17是本申请再一实施例提供的视频编解码装置的示意性结构图。图17所示的视频编解码装置1700包括处理器1710,处理器1710可以从存储器中调用并运行计算机程序,以实现本申请实施例中图3-图12所述的方法。
可选地,如图17所示,视频编解码装置1700还可以包括存储器1720。其中,处理器1710可以从存储器1720中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器1720可以是独立于处理器1710的一个单独的器件,也可以集成在处理器1710中。
可选地,如图17所示,视频编解码装置1700还可以包括收发器1730,处理器1710可以控制该收发器1730与其他装置进行通信,具体地,可以向其他装置发送信息或数据,或接收其他装置发送的信息或数据。
可选地,该视频编解码装置例如可以是编码器、解码器、终端(包括但不限于手机、相机、无人机等),并且该编解码装置可以实现本申请实施例的各个方法中的相应流程,为了简洁,在此不再赘述。
图18是本申请实施例的芯片的示意性结构图。图18所示的芯片1800包括处理器1810,处理器1810可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图18所示,芯片1800还可以包括存储器1818。其中,处理器1810可以从存储器1818中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器1818可以是独立于处理器1810的一个单独的器件,也可以集成在处理器1810中。
可选地,该芯片1800还可以包括输入接口1830。其中,处理器1810可以控制该输入接口1830与其他装置或芯片进行通信,具体地,可以获取其他装置或芯片发送的信息或数据。
可选地,该芯片1800还可以包括输出接口1840。其中,处理器1810可以控制该输出接口1840与其他装置或芯片进行通信,具体地,可以向其他装置或芯片输出信息或数据。
应理解,本申请实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
应理解,本申请实施例的处理器可能是一种集成电路图像处理系统,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述存储器为示例性但不是限制性说明,例如,本申请实施例中的存储器还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器可以向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。该处理器可以用于执行存储器中存储的指令,并且该处理器执行该指令时,该处理器可以执行上述方法实施例中与终端设备对应的各个步骤。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
还应理解,在本申请实施例中,图像中的像素点可以位于不同的行和/或列,其中,A的长度可以对应于A包括的位于同一行的像素点个数,A的高度可以对应于A包括的位于同一列的像素点个数。此外,A的长度和高度也可以分别称为A的宽度和深度,本申请实施例对此不做限定。
还应理解,在本申请实施例中,“与A的边界间隔分布”可以指与A的边界间隔至少一个像素点,也可以称为“不与A的边界相邻”或者“不位于A的边界”,本申请实施例对此不做限定,其中,A可以是图像、矩形区域或子图像,等等。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。
可选的,该计算机可读存储介质可应用于本申请实施例中的编解码装置,并且该计算机程序使得计算机执行本申请实施例的各个方法中由编解码装置实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序产品,包括计算机程序指令。
可选的,该计算机程序产品可应用于本申请实施例中的编解码装置,并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由编解码装置实现的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的,该计算机程序可应用于本申请实施例中的编解码装置,当该计算机程序在计算机上运行时,使得计算机执行本申请实施例的各个方法中由编解码装置实现的相应流程,为了简洁,在此不再赘述。
应理解,在本申请实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (68)

1.一种视频编解码的方法,其特征在于,包括:
获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
2.根据权利要求1所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用三角形预测模式,所述第二编码单元采用帧间预测模式中的非三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,所述帧间预测模式包括所述三角形预测模式。
3.根据权利要求1所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用所述三角形预测模式,所述第二编码单元采用所述三角形预测模式,所述第一图像块位于所述第一编码单元的对角线上和/或所述第二图像块位于所述第二编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的左上角或右下角。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的右上角或左下角。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
9.根据权利要求8所述的方法,其特征在于,所述对所述第一图像块和所述第二图像块进行去块滤波,包括:
如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
10.根据权利要求8所述的方法,其特征在于,所述对所述第一图像块和所述第二图像块进行强滤波,包括:
如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
11.根据权利要求1至10中任一项所述的方法,其特征在于,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元和所述第二编码单元使用帧间预测模式,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
12.根据权利要求1至10中任一项所述的方法,其特征在于,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一图像块和所述第二图像块之间的边界不是变换单元TU边界和/或所述第一图像块或所述第二图像块所在变换块的变换系数均为零变换系数,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
13.一种视频编解码的方法,其特征在于,包括:
获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
14.根据权利要求13所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用三角形预测模式,所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
15.根据权利要求13或14所述的方法,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
16.根据权利要求13或14所述的方法,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
17.根据权利要求13至16中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
18.根据权要求13至16中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
19.根据权要求13至16中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式和色度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
20.一种视频编解码的方法,其特征在于,包括:
获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
21.根据权利要求20所述的方法,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
22.根据权利要求20所述的方法,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
23.根据权利要求20至22中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
24.根据权利要求20至22中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
25.根据权利要求20至22中任一项所述的方法,其特征在于,所述若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
26.一种视频编解码的方法,其特征在于,包括:
获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
27.根据权利要求26所述的方法,其特征在于,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:
所述第一图像块在双向加权预测时使用的权重的索引与所述第二图像块在双向加权预测时使用的权重的索引不同。
28.根据权利要求26所述的方法,其特征在于,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:
所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重的差值的绝对值大于等于预设阈值。
29.根据权利要求26至28中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
30.根据权利要求26至28中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
针对亮度模式和色度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
31.根据权利要求26至30中任一项所述的方法,其特征在于,所述若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波,包括:
若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
32.根据权利要求31所述的方法,其特征在于,所述对所述第一图像块和所述第二图像块进行去块滤波,包括:
如果所述第一图像块和所述第二图像块的BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
33.根据权利要求31所述的方法,其特征在于,所述对所述第一图像块和所述第二图像块进行强滤波,包括:
如果所述第一图像块和所述第二图像块的BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
34.一种视频编解码的装置,其特征在于,包括:
处理器,所述处理器用于:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
35.根据权利要求34所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元采用三角形预测模式,所述第二编码单元采用帧间预测模式中的非三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波,所述帧间预测模式包括所述三角形预测模式。
36.根据权利要求34所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元采用所述三角形预测模式,所述第二编码单元采用所述三角形预测模式,所述第一图像块位于所述第一编码单元的对角线上和/或所述第二图像块位于所述第二编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
37.根据权利要求34至36中任一项所述的装置,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的左上角或右下角。
38.根据权利要求34至36中任一项所述的装置,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块位于所述第一编码单元的右上角或左下角。
39.根据权利要求34至38中任一项所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
40.根据权利要求34至38中任一项所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
41.根据权利要求34至40中任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
42.根据权利要求41所述的装置,其特征在于,所述处理器进一步用于:
如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
43.根据权利要求41所述的装置,其特征在于,所述处理器进一步用于:
如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
44.根据权利要求34至43任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元和所述第二编码单元使用帧间预测模式,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
45.根据权利要求34至43任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一图像块和所述第二图像块之间的边界不是变换单元TU边界和/或所述第一图像块或所述第二图像块所在变换块的变换系数均为零变换系数,则若所述第一编码单元采用三角形预测模式,且所述第一图像块位于所述第一编码单元的对角线上,则对所述第一图像块和所述第二图像块进行去块滤波。
46.一种视频编解码的装置,其特征在于,包括:
处理器,所述处理器用于:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一图像块和所述第二图像块之间的边界为变换单元TU边界,并且所述第一图像块和所述第二图像块之间的边界不是编码单元CU/子编码单元Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
47.根据权利要求46所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元采用三角形预测模式,所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
48.根据权利要求46或47所述的装置,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
49.根据权利要求46或47所述的装置,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
50.根据权利要求46至49中任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
51.根据权要求46至49中任一项所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
52.根据权要求46至49中任一项所述的装置,其特征在于,所述处理器用于:
针对亮度模式和色度模式,若所述第一图像块和所述第二图像块之间的边界为TU边界,并且所述第一图像块和所述第二图像块之间的边界不是CU/Sub-CU边界,并且所述第一图像块和所述第二图像块所在变换块的变换系数均为零变换系数,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
53.一种视频编解码的装置,其特征在于,包括:
处理器,所述处理器用于:获取重构图像,所述重构图像包括第一编码单元,所述第一编码单元包括第一图像块和第二图像块,所述第一图像块和所述第二图像块为相邻块;
若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
54.根据权利要求53所述的装置,其特征在于,所述第一编码单元是从左上角到右下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
55.根据权利要求53所述的装置,其特征在于,所述第一编码单元是从右上角到左下角的对角线进行划分的,所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上。
56.根据权利要求53至55中任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为0。
57.根据权利要求53至55中任一项所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
58.根据权利要求53至55中任一项所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式和色度模式,若所述第一编码单元采用三角形预测模式,且所述第一图像块或所述第二图像块位于所述第一编码单元的对角线上,则确定不对所述第一图像块和所述第二图像块进行去块滤波。
59.一种视频编解码的装置,其特征在于,包括:
处理器,所述处理器用于:获取重构图像,所述重构图像包括第一编码单元和第二编码单元,所述第一编码单元包括第一图像块,所述第二编码单元包括第二图像块,所述第一图像块和所述第二图像块为相邻图像块;
若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
60.根据权利要求59所述的装置,其特征在于,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:
所述第一图像块在双向加权预测时使用的权重的索引与所述第二图像块在双向加权预测时使用的权重的索引不同。
61.根据权利要求59所述的装置,其特征在于,所述所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,包括:
所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重的差值的绝对值大于等于预设阈值。
62.根据权利要求59所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
63.根据权利要求59所述的装置,其特征在于,所述处理器进一步用于:
针对亮度模式和色度模式,若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则对所述第一图像块和所述第二图像块进行去块滤波。
64.根据权利要求59至63中任一项所述的装置,其特征在于,所述处理器进一步用于:
若所述第一图像块和所述第二图像块分别采用双向加权预测的方式,且所述第一图像块在双向加权预测时使用的权重与所述第二图像块在双向加权预测时使用的权重不同,则将所述第一图像块和所述第二图像块的边界滤波强度BS值设置为1或2。
65.根据权利要求64所述的装置,其特征在于,所述处理器进一步用于:
如果所述第一图像块和所述第二图像块的边界BS值为1,则对所述第一图像块和所述第二图像块进行弱滤波。
66.根据权利要求64所述的装置,其特征在于,所述处理器进一步用于:
如果所述第一图像块和所述第二图像块的边界BS值为2,则对所述第一图像块和所述第二图像块进行强滤波。
67.一种视频编解码装置,其特征在于,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行如权利要求1至33中任一项所述的方法。
68.一种计算机可读存储介质,其特征在于,包括用于执行权利要求1至33中任一项所述的编解码方法的指令。
CN201980029796.4A 2019-09-24 2019-09-24 视频编解码的方法和装置 Pending CN112136329A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/107606 WO2021056219A1 (zh) 2019-09-24 2019-09-24 视频编解码的方法和装置

Publications (1)

Publication Number Publication Date
CN112136329A true CN112136329A (zh) 2020-12-25

Family

ID=73849774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029796.4A Pending CN112136329A (zh) 2019-09-24 2019-09-24 视频编解码的方法和装置

Country Status (2)

Country Link
CN (1) CN112136329A (zh)
WO (2) WO2021056219A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119420901A (zh) * 2019-04-25 2025-02-11 华为技术有限公司 图像预测方法、装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101024A1 (en) * 2011-10-25 2013-04-25 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
CN103220529A (zh) * 2013-04-15 2013-07-24 北京大学 一种视频编解码环路滤波的实现方法
CN104067245A (zh) * 2012-08-03 2014-09-24 联发科技股份有限公司 使用共享/可配置的环路滤波器数据缓冲器架构的视频处理系统及其相关视频处理方法
US20180077414A1 (en) * 2016-09-14 2018-03-15 Microsoft Technology Licensing,Llc Boundary-intersection-based deblock filtering
WO2019039323A1 (en) * 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
CN110063056A (zh) * 2016-12-07 2019-07-26 株式会社Kt 用于处理视频信号的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
JP2013524730A (ja) * 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
JP2012019490A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
CN107211161B (zh) * 2015-03-10 2020-05-15 苹果公司 包括最后阶段处理的扩展空间的视频编码优化
CN114189681B (zh) * 2016-04-26 2025-09-09 杜比国际公司 图像解码方法、图像编码方法以及传输比特流的方法
CN116567261A (zh) * 2016-05-24 2023-08-08 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
KR20180082330A (ko) * 2017-01-09 2018-07-18 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101024A1 (en) * 2011-10-25 2013-04-25 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
CN104067245A (zh) * 2012-08-03 2014-09-24 联发科技股份有限公司 使用共享/可配置的环路滤波器数据缓冲器架构的视频处理系统及其相关视频处理方法
CN103220529A (zh) * 2013-04-15 2013-07-24 北京大学 一种视频编解码环路滤波的实现方法
US20180077414A1 (en) * 2016-09-14 2018-03-15 Microsoft Technology Licensing,Llc Boundary-intersection-based deblock filtering
CN110063056A (zh) * 2016-12-07 2019-07-26 株式会社Kt 用于处理视频信号的方法和设备
WO2019039323A1 (en) * 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. REUZÉ; C.-C CHEN; W.-J. CHIEN; H. HUANG; M. KARCZEWICZ: "Non-CE4: Simplification of bi-prediction MV generation for triangle partition mode storage", 《JVET-O0411》 *

Also Published As

Publication number Publication date
WO2021056219A1 (zh) 2021-04-01
WO2021056920A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
JP7696412B2 (ja) ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス
KR102850505B1 (ko) 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
JP2019071632A (ja) 映像サンプルのブロックをデブロックする方法
US11375199B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
US20110032990A1 (en) Apparatus and method for deblocking filtering image data and video decoding apparatus and method using the same
KR102814175B1 (ko) 양방향 광학 흐름을 위한 비트 폭 제어
US12041231B2 (en) In-loop filtering method and device
EP3360329A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CN113196783B (zh) 去块效应滤波自适应的编码器、解码器及对应方法
CN112514401A (zh) 环路滤波的方法与装置
CN114009033A (zh) 用于用信号通知对称运动矢量差模式的方法和装置
EP3884667B1 (en) Video coding with triangular shape prediction units
KR20150047379A (ko) 비디오 인코딩 장치 그리고 이의 구동 방법
JP2023063506A (ja) 構築されたアフィンマージ候補を導出する方法
CN112154666A (zh) 视频编解码方法和装置
CN112136329A (zh) 视频编解码的方法和装置
CN118592025A (zh) 解码方法、编码方法、解码器、编码器和编解码系统
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
CN112534824B (zh) 视频编码的方法和装置
CN119013989A (zh) 解码方法、编码方法、解码器以及编码器
CN112204986A (zh) 视频编解码的方法和装置
WO2021134700A1 (zh) 视频编解码的方法和装置
CN121176020A (zh) 用于在视频编解码系统中选择变换类型的方法和装置
KR101906831B1 (ko) 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201225