CN114270818B - 图像解码装置、图像解码方法和程序 - Google Patents

Abstract

图像解码装置(200)具备：单元结构解码部(201A)，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；判定部(201B)，其被配置为基于亮度编码单元分割信息和色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式；以及预测方式系数解码部(201C)，其被配置为根据判定结果，对分量间残差信号预测方式的应用的有无和系数进行解码。

Description

图像解码装置、图像解码方法和程序

技术领域

本发明涉及一种图像解码装置、图像解码方法和程序。

背景技术

以往，提出了一种使用帧内预测或帧间预测、预测残差信号的变换和量化、熵编码的图像编码方式(例如，参照非专利文献1)。

以下，将对下一代动态图像编码方式VVC(Versatile Video Coding，通用视频编码)中的编码单元的分割方式和帧内预测中的色度帧内预测方式进行描述(参照非专利文献2)。

如图8所示，两种方式中的编码单元被配置为使用四叉树、二叉树和三叉树进行递归分割。其中，在亮度分量与色度分量之间，可以选择相同的分割模式(单树)，也可以选择不同的分割模式(双树)。

如非专利文献2所示，在色度帧内预测方式中，除了与亮度帧内预测方式同样的颜色分量内预测方式以外，还存在根据重建的亮度分量对色度分量进行线性预测的CCLM(分量间线性预测：Cross-Component Linear Model)方式。

另外，在非专利文献2中，作为对色度分量进行编码的方式，存在将两个色度分量汇总为一个的联合色度编码方式。

此外，在非专利文献1中，公开了一种根据亮度预测残差信号来预测色度残差信号的分量间残差信号预测方式。该分量间残差信号预测方式是将逆变换后的亮度残差信号乘以系数而得到的值加到逆变换后的色度残差信号中的方式。

但是，为了实现处理的简化，在非专利文献1中，该分量间残差信号预测方式仅在颜色格式为4：4：4的情况下，即，仅在分量间的像素数相同的情况下有效。另外，在该分量间残差信号预测方式中，对每个变换单元分别发送包括应用的有无的系数的绝对值、系数的符号。

现有技术文献

非专利文献

非专利文献1：ITU-T H.265High Efficiency Video Coding

非专利文献2：Versatile Video Coding(Draft 6)

发明内容

发明要解决的课题

然而，在下一代动态图像编码方式VVC中，与最新动态图像编码方式HEVC(HighEfficiency Video Coding)相比，编码单元分割得到扩展，因此在现有技术中，对每个色度变换单元发送分量间残差信号预测方式的应用的有无，因而存在编码性能降低的问题。

具体地，在现有技术中，在亮度分量和色度分量中应用不同的分割形式，没有考虑无法应用分量间残差信号预测方式的情况等。

因此，本发明是鉴于上述课题而完成的，其目的在于提供一种图像解码装置、图像解码方法和程序，其能够在分量间残差信号预测方式的应用中，抑制边信息的增加而改善编码性能。

用于解决课题的手段

本发明的第一特征的主旨在于：一种图像解码装置，其具备：单元结构解码部，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；判定部，其被配置为基于所述亮度编码单元分割信息和所述色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式；以及预测方式系数解码部，其被配置为根据所述判定结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码。

本发明的第二特征的主旨在于：一种图像解码方法，其具有：对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息的步骤；基于所述亮度编码单元分割信息和所述色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式的步骤；以及根据所述判定结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码的步骤。

本发明的第三特征的主旨在于：一种程序，其使计算机作为图像解码装置发挥作用，所述图像解码装置具备：单元结构解码部，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；判定部，其被配置为基于所述亮度编码单元分割信息和所述色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式；以及预测方式系数解码部，其被配置为根据所述判定结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码。

发明效果

根据本发明，能够提供一种图像解码装置、图像解码方法和程序，其能够在分量间残差信号预测方式的应用中，抑制边信息的增加而改善编码性能。

附图说明

图1是示出一个实施方式的图像处理系统1的结构的一个例子的图。

图2是示出一个实施方式的图像编码装置100的功能块的一个例子的图。

图3是示出一个实施方式的图像编码装置100的熵编码部104的一部分功能块的一个例子的图。

图4是示出一个实施方式的图像解码装置200的功能块的一个例子的图。

图5是示出一个实施方式的图像解码装置200的熵解码部201的一部分功能块的一个例子的图。

图6是示出一个实施方式的图像解码装置200的熵解码部201的动作的一个例子的流程图。

图7是示出一个实施方式的图像解码装置200的熵解码部201的动作的一个例子的语法表。

图8是用于说明现有技术的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。此外，以下实施方式中的构成要素可与现有的构成要素等适当进行替换，并且，可以进行包括与其他现有的构成要素的组合在内的各种变化。因此，以下实施方式的表述并不限制权利要求书中记载的发明的内容。

(第一实施方式)

图1是示出本发明的第一实施方式的图像处理系统1的功能块的一个例子的图。图像处理系统1具备：图像编码装置100，其对动态图像进行编码来生成编码数据；以及图像解码装置200，其对由图像编码装置100生成的编码数据进行解码。在图像编码装置100与图像解码装置200之间，例如经由传输路径收发上述编码数据。

<图像编码装置100>

图2是示出图像编码装置100的功能块的一个例子的图。如图2所示，图像编码装置100具备帧间预测部101、帧内预测部102、变换和量化部103、熵编码部104、逆变换和逆量化部105、减法部106、加法部107、环内滤波部108、帧缓冲器109、单元分割部110和单元集成部111。

单元分割部110被配置为，将输入图像的整个画面分割为相同正方形，进而输出通过四叉树等进行递归分割的图像(分割图像)。

帧间预测部101被配置为，使用由单元分割部110输入的分割图像和从帧缓冲器109输入的滤波后局部解码图像(后述)进行帧间预测来生成并输出帧间预测图像。

帧内预测部102被配置为，使用由单元分割部110输入的分割图像、滤波前局部解码图像和由未图示的控制部确定的色度帧内预测方式进行帧内预测来生成并输出帧内预测图像。

变换和量化部103被配置为，对从减法部106输入的残差信号进行正交变换处理，对通过该正交变换处理获得的变换系数进行量化处理，并且输出通过该量化处理获得的量化的等级值。

熵编码部104被配置为，对从变换和量化部103输入的量化的等级值和边信息(由未图示的控制部确定的、像素值的重建所需要的预测模式、运动矢量等相关信息)进行熵编码并作为编码数据输出。

逆变换和逆量化部105被配置为，对从变换和量化部103输入的量化的等级值进行逆量化处理，对通过该逆量化处理获得的变换系数进行逆正交变换处理，并且输出通过该逆正交变换处理获得的逆正交变换的残差信号。

减法部106被配置为输出残差信号，该残差信号为由单元分割部110输入的分割图像与帧内预测图像或帧间预测图像之间的差分。

加法部107被配置为输出分割图像，该分割图像是通过将从逆变换和逆量化部105输入的逆正交变换的残差信号与帧内预测图像或帧间预测图像相加而获得的。

单元集成部111被配置为输出滤波前局部解码图像，该滤波前局部解码图像是通过集成从加法部107输入的分割图像而获得的。

环内滤波部108被配置为，将去块滤波处理等环内滤波处理应用于从单元集成部111输入的滤波前局部解码图像来生成并输出滤波后局部解码图像。

帧缓冲器109累积滤波后局部解码图像，并且适当地作为滤波后局部解码图像供给至帧间预测部101。

以下，参照图3对本实施方式的图像编码装置100的熵编码部104进行说明。图3是示出本实施方式的图像编码装置100的熵编码部104的一部分功能块的一个例子的图。

如图3所示，本实施方式的图像编码装置100的熵编码部104具备判定部104A和预测方式系数编码部104B。

判定部104A被配置为，输入亮度编码单元分割信息和色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式，并输出该判定结果。

预测方式系数编码部104B被配置为，输入该判定结果和由未图示的控制部确定的系数(分量间残差信号预测系数)，基于该判定结果，对分量间残差信号预测方式的应用的有无、系数的绝对值和系数的编码进行编码，并输出编码数据。

<图像解码装置200>

图4是本实施方式的图像解码装置200的框图。如图3所示，本实施方式的图像解码装置200具备熵解码部201、逆变换和逆量化部202、帧间预测部203、帧内预测部204、加法部205、环内滤波部206、帧缓冲器207和单元集成部208。

熵解码部201被配置为，对编码数据进行熵解码，输出量化的等级值、边信息。

逆变换和逆量化部202被配置为，对从熵解码部201输入的量化的等级值进行逆量化处理，对通过该逆量化处理获得的结果进行逆正交变换处理并作为残差信号输出。

帧间预测部203被配置为，使用从帧缓冲器207输入的滤波后局部解码图像进行帧间预测来生成并输出帧间预测图像。

帧内预测部204被配置为，使用从加法部205输入的滤波前局部解码图像进行帧内预测来生成并输出帧内预测图像。其中，滤波前局部解码图像是指将残差信号和预测图像相加而得到的信号。

加法部205被配置为输出分割图像，该分割图像是通过将从逆变换和逆量化部202输入的残差信号与预测图像(从帧间预测部203输入的帧间预测图像或从帧内预测部204输入的帧内预测图像)相加而获得的。

其中，预测图像是指从帧间预测部203输入的帧间预测图像和从帧内预测部204输入的帧内预测图像中的、通过由熵解码获得的预测方法计算出的预测图像。

单元集成部208被配置为输出滤波前局部解码图像，该滤波前局部解码图像是通过集成从加法部205输入的分割图像而获得的。

环内滤波部206被配置为，将去单元滤波处理等环内滤波处理应用于从单元集成部208输入的滤波前局部解码图像来生成并输出滤波后局部解码图像。

帧缓冲器207被配置为，累积从环内滤波器206输入的滤波后局部解码图像，适当地作为滤波后局部解码图像供给至帧间预测部203，并且作为已解码图像输出。

以下，参照图5对本实施方式的图像解码装置200的熵解码部201进行说明。图5是示出本实施方式的图像解码装置200的熵解码部201的一部分功能块的一个例子的图。

如图5所示，本实施方式的图像解码装置200的熵解码部201具备单元结构解码部201A、判定部201B和预测方式系数解码部201C。

单元结构解码部201A被配置为，对由图像编码装置100输出的编码数据进行解码，以获取包括亮度编码单元分割信息和色度编码单元分割信息的单元结构。

判定部201B被配置为，基于亮度编码单元分割信息和色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式。

预测方式系数解码部201C被配置为，输入该判定结果和编码数据，并基于该判定结果，输出分量间残差信号预测方式的应用的有无和系数(系数的绝对值和系数的符号)。

以下，参照图6对本实施方式的熵解码部201的动作的一个例子进行说明。

如图6所示，在步骤S101中，熵解码部201对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息。

在步骤S102中，熵解码部201基于亮度编码单元分割信息和色度编码单元分割信息，判定是否能够应用分量间残差信号预测方式。

在步骤S103中，熵解码部201根据该判定结果，对分量间残差信号预测方式的应用的有无和系数(系数的绝对值和系数的符号)进行解码。

根据本实施方式的图像处理系统1，能够在分量间残差信号预测方式的应用中，抑制边信息的增加而改善编码性能。

(第二实施方式)

以下，着眼于与上述第一实施方式的图像处理系统1的区别，对本发明的第二实施方式的图像处理系统1进行说明。

在本实施方式中，判定部201B被配置为，判定色度变换单元的位置和大小与该色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小是否一致。

其中，判定部201B被配置为，在判定为两者一致的情况下，判定为能够应用分量间残差信号预测方式。

另一方面，判定部201B被配置为，在判定为两者不一致的情况下，判定为不能应用分量间残差信号预测方式。

换言之，判定部201B被配置为，输入由未图示的控制部确定的亮度编码单元分割信息和色度编码单元分割信息，在存在色度变换单元和在分量间处于相同位置且为相同尺寸的亮度变换单元的情况下，判定为能够应用分量间残差信号预测方式。

另一方面，判定部201B被配置为，输入由未图示的控制部确定的亮度编码单元分割信息和色度编码单元分割信息，在不存在色度变换单元和在分量间处于相同位置且为相同尺寸的亮度变换单元的情况下，判定为不能应用分量间残差信号预测方式。

根据本实施方式的图像处理系统1，能够在对是否能够应用分量间残差信号预测方式的判定中，简化判定条件而降低安装复杂度。

(第三实施方式)

以下，着眼于与上述第一实施方式和第二实施方式的图像处理系统1的区别，对本发明的第三实施方式的图像处理系统1进行说明。

在本实施方式中，判定部201B被配置为，在由未图示的控制部确定的树类别为单树的情况下，判定为能够应用分量间残差信号预测方式。

其中，也可以被配置为，仅在存在亮度变换单元的预测残差信号的情况下，判定为能够应用分量间残差信号预测方式。

另一方面，判定部201B被配置为，在由未图示的控制部确定的树类别为双树的情况下，判定为不能应用分量间残差信号预测方式。

此外，在由未图示的控制部确定的预测模式是帧间预测的情况下，也可以判定为树类别是单树。

根据本实施方式的图像处理系统1，能够在对是否能够应用分量间残差信号预测方式的判定中，简化判定条件而降低安装复杂度。

(第四实施方式)

以下，参照图7，着眼于与上述第三实施方式的图像处理系统1的区别，对本发明的第四实施方式的图像处理系统1进行说明。

在本实施方式中，判定部201B也可以被配置为，在色度变换单元的位置和大小与该色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小一致的情况下，且在该色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用分量间残差信号预测方式。

另一方面，判定部201B也可以被配置为，在色度变换单元的位置和大小与该色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小一致的情况下，且在该色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用分量间残差信号预测方式。

此外，判定部201B也可以被配置为，在色度变换单元的位置和大小与该色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小不一致的情况下，无论在该色度变换单元中确定的编码方式如何，都判定为不能应用分量间残差信号预测方式。

另外，判定部201B也可以被配置为，在由未图示的控制部确定的树类别为单树的情况下，且在色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用分量间残差信号预测方式。

另一方面，判定部201B也可以被配置为，在由未图示的控制部确定的树类别为单树的情况下，且在色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用分量间残差信号预测方式。

此外，判定部201B也可以被配置为，在由未图示的控制部确定的树类别为双树的情况下，无论在该色度变换单元中确定的编码方式如何，都判定为不能应用分量间残差信号预测方式。

以下，图7示出表示本实施方式的图像解码装置200的熵解码部201的动作的一个例子的语法表。

在图7中，“transform_unit(x0,y0,tbWidth,tbHight.treeType,subTuIndex,chType)”表示变换单元。

其中，在该变换单元中，“x0”表示从原点起的变换单元的水平位置，“y0”表示从原点起的变换单元的垂直位置，“tbWidth”表示变换单元的宽度，“tbHight”表示变换单元的高度，“treeType”表示树类别(单树或双树)，“subTuIndex”表示小变换单元编号，“chType”表示颜色分量编号。

另外，“sps_joint_cbcr_enabled_flag”表示序列中的联合色度编码是否能够应用，“CuPredMode[chType][x0][y0]＝＝MODE_INTRA”表示与该变换单元对应的编码单元的预测模式为帧内模式。

另外，“tu_cbf_cb[x0][y0]”表示该变换单元的Cb色度分量的残差信号是否存在，“tu_cbf_cr[x0][y0]”表示该变换单元的Cr色度分量的残差信号是否存在。

另外，“tu_joint_cbcr_residual_flag[x0][y0]”表示该变换单元是否应用联合色度预测方式。

另外，“ChromaTypeArray＝＝3”表示颜色格式为4：4：4格式，“tu_cbf_luma[x0][y0]”表示该变换单元的亮度分量的残差信号是否存在，“treeType＝＝SINGLE_TREE”表示树类别为单树。

进一步地，“intra_chroma_pred_mode＝＝4”表示色度帧内预测模式与亮度帧内预测模式相同，“CuPredMode[chType][x0][y0]＝＝MODE_INTER”表示该变换单元所对应的编码单元的预测模式为帧间模式，“cross_comp_pred(x0,y0,chType)”表示对分量间残差信号预测方式的应用的有无和系数进行编码。

根据本实施方式的图像处理系统1，能够在分量间残差信号预测方式的应用中，抑制应用联合色度编码方式时的边信息的增加而改善编码性能。

符号的说明

1…图像处理系统；100…图像编码装置；101、203…帧间预测部；102、204…帧内预测部；103…变换和量化部；104…熵编码部；104A、201B…判定部；104B…预测方式系数编码部；105、202…逆变换和逆量化部；106…减法部；107、205…加法部；108、206…环内滤波部；109、207…帧缓冲器；110…单元分割部；111、208…单元集成部；200…图像解码装置；201…熵解码部；201A…单元结构解码部；201C…预测方式系数解码部。

Claims (4)

1.一种图像解码装置，其特征在于，具备：

单元结构解码部，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；

判定部，其被配置为判定是否能够应用分量间残差信号预测方式；以及

预测方式系数解码部，其被配置为根据所述判定的结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码，

所述判定部被配置为，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为色度变换单元的位置和大小与所述色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用所述分量间残差信号预测方式，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为所述色度变换单元的位置和大小与所述色度变换单元所对应的所述亮度分量中的所述亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用所述分量间残差信号预测方式。

2.一种图像解码装置，其特征在于，具备：

单元结构解码部，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；

判定部，其被配置为判定是否能够应用分量间残差信号预测方式；以及

预测方式系数解码部，其被配置为根据所述判定的结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码，

所述判定部被配置为，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为树类别为单树的情况下，且在判定为色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用所述分量间残差信号预测方式，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为所述树类别为单树的情况下，且在判定为所述色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用所述分量间残差信号预测方式。

3.一种图像解码方法，其特征在于，具有：

对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息的步骤A；

判定是否能够应用分量间残差信号预测方式的步骤B；以及

根据所述判定的结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码的步骤C，

在所述步骤B中，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为色度变换单元的位置和大小与所述色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用所述分量间残差信号预测方式，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为所述色度变换单元的位置和大小与所述色度变换单元所对应的所述亮度分量中的所述亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用所述分量间残差信号预测方式。

4.一种程序产品，其包括程序，所述程序使计算机作为图像解码装置发挥作用，其特征在于，

所述图像解码装置具备：

单元结构解码部，其被配置为对编码数据进行解码，以获取亮度编码单元分割信息和色度编码单元分割信息；

判定部，其被配置为判定是否能够应用分量间残差信号预测方式；以及

预测方式系数解码部，其被配置为根据所述判定的结果，对所述分量间残差信号预测方式的应用的有无和系数进行解码，

所述判定部被配置为，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为色度变换单元的位置和大小与所述色度变换单元所对应的亮度分量中的亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为非联合色度编码的情况下，判定为能够应用所述分量间残差信号预测方式，

基于所述亮度编码单元分割信息和所述色度编码单元分割信息，在判定为所述色度变换单元的位置和大小与所述色度变换单元所对应的所述亮度分量中的所述亮度变换单元的位置和大小一致的情况下，且在判定为所述色度变换单元中确定的编码方式为联合色度编码的情况下，判定为不能应用所述分量间残差信号预测方式。