CN117813821A - 基于以子块为单元的帧内预测的视频信号编码/解码方法以及用于存储比特流的记录介质 - Google Patents

Abstract

根据本公开内容的视频编码/解码方法可以包括以下步骤：在当前块内引入相应相邻块的参考模式；以及基于参考模式中的至少一个参考模式对当前块中小于当前块的子块执行帧内预测。

Description

基于以子块为单元的帧内预测的视频信号编码/解码方法以 及用于存储比特流的记录介质

技术领域

本公开内容涉及用于处理视频信号的方法和装置。

背景技术

近来，在各种应用领域中对高分辨率和高质量图像例如HD(高清)图像和UHD(超高清)图像的需求增加。随着图像数据变得高分辨率和高质量，与现有图像数据相比，数据的量相对增加，因此在通过使用诸如现有有线宽带电路和无线宽带电路的介质来传输图像数据或者通过使用现有存储介质来存储图像数据的情况下，传输费用和存储费用增加。可以利用高效图像压缩技术来解决由于图像数据变得高分辨率和高质量而生成的这些问题。

存在各种技术，例如利用图像压缩技术根据当前图片的先前图片或后续图片来预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息来预测当前图片中包括的像素值的帧内预测技术、将短符号分配给具有高出现频率的值并且将长符号分配给具有低出现频率的值的熵编码技术等，并且可以通过使用这些图像压缩技术来有效地压缩和传输或存储图像数据。

另一方面，随着对高分辨率图像的需求增加，对作为新的图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。

发明内容

【技术问题】

本公开内容旨在提供树结构的块分割方法和装置。

本公开内容旨在提供用于得到用于帧内预测的帧内预测模式的方法和装置。

本公开内容旨在提供用于得到用于帧内预测的扩展参考像素的方法和装置。

本公开内容旨在提供用于以子块为单元执行帧内预测的方法和装置。

本公开内容旨在提供用于仅存储子块中的代表块的帧内预测模式的方法和装置。

本公开内容旨在提供用于基于一个或更多个帧内预测模式来生成预测块的方法和装置。

本公开内容的技术效果可以不受上面所提及的技术效果的限制，并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的技术效果。

【技术解决方案】

根据本公开内容的一种图像解码方法包括：得到当前块中的每个相邻块的参考模式，并且基于参考模式中的至少一个参考模式，针对当前块中具有比当前块更小的大小的子块执行帧内预测。

根据本公开内容的一种图像编码方法包括：得到当前块中的每个相邻块的参考模式，并且基于参考模式中的至少一个参考模式，针对当前块中具有比当前块更小的大小的子块执行帧内预测。

在根据本公开内容的图像解码方法中，可以根据基于至少一个参考模式得到的帧内预测模式来执行子块的帧内预测。

在根据本公开内容的图像解码方法中，可以通过在参考模式中选择的第一参考模式与第二参考模式之间的加权和运算来得到帧内预测模式。

在根据本公开内容的图像解码方法中，第一参考模式可以是与子块属于同一列的顶部相邻块的帧内预测模式，并且第二参考模式可以是与子块属于同一行的左侧相邻块的帧内预测模式。

在根据本公开内容的图像解码方法中，在加权和运算中，可以基于子块与顶部相邻块之间的距离以及子块与左侧相邻块之间的距离来确定应用于第一参考模式的第一权重和应用于第二参考模式的第二权重。

在根据本公开内容的图像解码方法中，可以基于相邻块的帧内预测模式来得到参考模式，并且在相邻块未被通过帧内预测进行编码的情况下，可以基于与相邻块相邻的至少一个块的帧内预测模式来得到参考模式。

在根据本公开内容的图像解码方法中，在相邻块未被通过帧内预测进行编码的情况下，可以将位于相邻块两侧的块的帧内预测模式的平均值、最小值或最大值配置为参考模式。

在根据本公开内容的图像解码方法中，根据通过基于在参考模式中选择的第一参考模式的第一帧内预测生成的第一预测块以及通过基于在参考模式中选择的第二参考模式的第二帧内预测生成的第二预测块，可以生成子块的第三预测块。

在根据本公开内容的图像解码方法中，可以基于第一预测块与第二预测块之间的加权和运算来获得第三预测块。

在根据本公开内容的图像解码方法中，在加权和运算中，可以基于子块与顶部相邻块之间的距离以及子块与左侧相邻块之间的距离来确定应用于第一预测块的第一权重和应用于第二预测块的第二权重。

在根据本公开内容的图像解码方法中，在针对具有比当前块更小的大小的子块执行帧内预测的情况下，子块可以被配置为用于执行逆变换的单元。

在根据本公开内容的图像解码方法中，可以根据基于子块的帧内预测模式确定的变换内核来执行逆变换。

在根据本公开内容的图像解码方法中，在针对具有比当前块更小的大小的子块执行帧内预测的情况下，可以选择性地确定子块是否将被配置为用于执行逆变换的单元。

根据本公开内容的一种计算机可读记录介质可以存储通过上面描述的图像编码方法生成的比特流或者通过图像解码方法解码的比特流。

上面关于本公开内容简要概述的特征仅是下面所描述的本公开内容的详细描述的示例性方面，并且这些特征不限制本公开内容的范围。

【技术效果】

根据本公开内容，可以通过各种树结构的块分割来有效地确定编码块、预测块或变换块的大小和形状。

根据本公开内容，可以通过使用扩展的MPM候选和参考像素作为基础来提高帧内预测的编码效率。

根据本公开内容，可以通过以子块为单元的帧内预测来提高编码效率。

根据本公开内容，可以通过仅存储子块中的代表块的帧内预测模式来减少用于存储数据的带宽。

可从本公开内容获得的效果不限于上面提及的效果，并且本公开内容所属技术领域的普通技术人员可以从以下描述中清楚地理解其他未提及的效果。

附图说明

图1是示出根据本公开内容的实施方式的图像编码装置的框图。

图2是示出根据本公开内容的实施方式的图像解码装置的框图。

图3至图12示出了根据本公开内容的块分割方法。

图13至图17示出了根据本公开内容的块分割方法的编码顺序。

图18示出了根据本公开内容的编码/解码装置中的帧内预测方法。

作为应用本公开内容的实施方式，图19和图20示出了可用于当前块的预定义帧内预测模式。

作为应用本公开内容的实施方式，图21示出了可以由当前块中的分区使用的帧内预测模式的范围。

作为应用本公开内容的实施方式，图22和图23示出了在配置MPM列表时使用的周围参考位置。

作为应用本公开内容的实施方式，图24至图28示出了得到参考像素的方法。

图29是根据本公开内容的实施方式的用于描述以子块为单元来确定帧内预测模式的示例的图。

图30和图31是示出得到与当前块相邻的每个相邻块的参考模式的方法的图。

图32和图33示出了基于参考模式来配置子块的帧内预测模式的示例。

图34和图35示出了通过对参考模式执行加权和来得到子块的帧内预测模式的示例。

图36示出了其中将包括当前块的中心位置处的像素的子块指定为代表块的示例。

图37是示出通过执行多个帧内预测来生成子块的预测块的示例的图。

图38是示出根据子块是否被配置为变换单元的编码/解码方面的图。

图39示出了其中按子块确定是否跳过变换和变换内核的示例。

具体实施方式

由于本公开内容可以作出各种改变并且具有若干实施方式，因此将在附图中示出并且详细描述特定实施方式。但是，并不旨在将本公开内容限制于特定实施方式，并且应当理解，本公开内容包括包含在本公开内容的思想和技术范围内的所有改变、等同物或替代物。在描述每个附图时，类似的附图标记用于类似的部件。

可以使用诸如第一、第二等的术语来描述各种部件，但是部件不应受到这些术语的限制。这些术语仅用于区分一个部件与其他部件。例如，在不超出本公开内容的权利的范围的情况下，第一部件可以被称为第二部件，并且类似地，第二部件也可以被称为第一部件。术语“和/或”包括多个相关输入项目的组合或多个相关输入项目的任何项目。

在部件被称为“链接”或“连接”至其他部件的情况下，应当理解，该部件可以直接链接或连接至其他部件，但是其他部件可以存在于在中间。另一方面，在部件被称为“直接链接”或“直接连接”至其他部件的情况下，应当理解，在中间不存在其他部件。

由于本申请中使用的术语仅用于描述特定实施方式，因此其不旨在限制本公开内容。单数的表达包括复数的表达，除非其在上下文中清楚地具有不同的含义。在本申请中，应当理解，术语例如“包括”或“具有”等是指在说明书中输入的特性、数字、步骤、运动、部件、部分或其组合的存在，但是不排除一个或更多个其他特性、数字、步骤、运动、部件、部分或者其组合的预先添加或存在的可能性。

在下文中，参照附图，将更详细地描述本公开内容的期望实施方式。在下文中，相同的附图标记用于附图中的相同部件，并且省略对同一部件的重复描述。

图1是示出根据本公开内容的实施方式的图像编码装置的框图。

参照图1，图像编码装置100可以包括：图片分割单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、去量化单元140、逆变换单元145、滤波器单元150和存储器155。

由于图1中所示出的每个构造单元被独立地示出以表示图像编码装置中的不同特性功能，这并不意味着每个构造单元由分开的硬件或一个软件单元构成。也就是说，由于是为了便于描述而通过将每个构造单元列举为每个构造单元来包括每个构造单元，所以每个构造单元的至少两个构造单元可以被组合以构成一个构造单元，或者一个构造单元可以被分割成多个构造单元以执行功能，并且甚至每个构造单元的集成实施方式和分开的实施方式也包括在本公开内容的权利的范围内，只要它们脱离本公开内容的实质。

此外，一些部件可以仅是用于提高性能的可选部件，而不是执行本公开内容中的基本功能的必要部件。可以通过仅包括实现本公开内容的实质所必需的构造单元而排除仅用于改进性能的部件来实现本公开内容，并且仅包括必要部件而排除仅用于改进性能的可选部件的结构也包括在本公开内容的权利的范围内。

图片分割单元110可以将输入图片分割为至少一个处理单元。在这种情况下，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在图片分割单元110中，可以将一个图片分割成多个编码单元、预测单元和变换单元的组合，并且可以通过根据预定标准(例如，成本函数)选择一个编码单元、预测单元和变换单元的组合来对图片进行编码。

例如，一个图片可以被分割为多个编码单元。为了分割图片中的编码单元，可以使用递归树结构，例如四叉树、三叉树或二叉树，并且通过使用一个图像或最大编码单元作为路径而被分割为其他编码单元的编码单元可以用与所分割的编码单元的数目一样多的子节点来分割。根据特定限制不再被分割的编码单元成为叶节点。在示例中，在假设将四叉树分割应用于一个编码单元的情况下，一个编码单元可以被分割为多达四个其他编码单元。

在下文中，在本公开内容的实施方式中，编码单元可以用作用于编码的单元或者可以用作用于解码的单元。

预测单元可以在一个编码单元中以相同大小用至少一个正方形或矩形形状等进行分割，或者可以被分割成使得在一个编码单元中所分割的预测单元中的任何一个预测单元可以具有与另一预测单元不同的形状和/或大小。

在帧内预测中，变换单元可以被配置成与预测单元相同。在这种情况下，在将编码单元分割为多个变换单元之后，可以按照每个变换单元执行帧内预测。编码单元可以在水平方向上或者在垂直方向上被分割。根据编码单元的大小，通过分割编码单元生成的变换单元的数目可以是2个或4个。

预测单元120和125可以包括执行帧间预测的帧间预测单元120以及执行帧内预测的帧内预测单元125。可以确定针对编码单元执行帧间预测还是帧内预测，并且可以确定根据每种预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。在这种情况下，执行预测的处理单元可以与确定预测方法和细节的处理单元不同。例如，可以在编码单元中确定预测方法、预测模式等，并且可以在预测单元或变换单元中执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换单元130。另外，用于预测的预测模式信息、运动矢量信息等可以在熵编码单元165中利用残差值进行编码，并且可以被传输至解码装置。在使用特定编码模式时，可以在不通过预测单元120或125生成预测块的情况下按原样对原始块进行编码并且将其传输至解码单元。

帧间预测单元120可以基于关于当前图片的先前图片或后续图片中的至少一个图片的信息来对预测单元进行预测，或者在一些情况下可以基于关于当前图片中的一些编码区域的信息来对预测单元进行预测。帧间预测单元120可以包括参考图片内插单元、运动预测单元以及运动补偿单元。

参考图片内插单元可以接收来自存储器155的参考图片信息，并且生成等于或小于参考图片中的整数像素的像素信息。对于亮度像素，可以使用具有不同滤波器系数的8抽头的基于DCT的内插滤波器来以1/4像素为单元生成等于或小于整数像素的像素信息。对于色度信号，可以使用具有不同滤波器系数的4抽头的基于DCT的内插滤波器来以1/8像素为单元生成等于或小于整数像素的像素信息。

运动预测单元可以基于由参考图片内插单元内插的参考图片来执行运动预测。可以使用各种方法例如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等作为用于计算运动矢量的方法。基于内插像素，运动矢量可以具有以1/2或1/4像素为单元的运动矢量值。运动预测单元可以通过改变运动预测方法来预测当前预测单元。可以使用各种方法例如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等作为运动预测方法。

帧内预测单元125可以基于作为当前图片中的像素信息的参考像素信息来生成预测单元。可以从多个参考像素线中所选择的一个参考像素线得到参考像素信息。多个参考像素线中的第N参考像素线可以包括其与当前块中的左上像素的x轴差为N的左侧像素和其与左上像素的y轴差为N的顶部像素。可以由当前块选择的参考像素线的数目可以是1个、2个、3个或4个。

在当前预测单元中的相邻块是执行帧间预测的块并且因此参考像素是执行帧间预测的像素时，可以通过用执行了帧内预测的周围块的参考像素信息进行替换来使用执行了帧间预测的块中包括的参考像素。换言之，在参考像素不可用的情况下，可以通过至少利用可用参考像素中的信息进行替换来使用不可用的参考像素信息。

帧内预测中的预测模式可以具有在执行预测时使用根据预测方向的参考像素信息的定向预测模式和不使用方向信息的非定向模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且可以利用用于预测亮度信号信息的帧内预测模式信息或所预测的亮度信号信息来预测色度信息。

当在执行帧内预测时预测单元的大小与变换单元的大小相同的情况下，可以基于预测单元的左侧位置处的像素、左上位置处的像素和顶部位置处的像素来执行预测单元的帧内预测。

帧内预测方法可以在根据预测模式将平滑滤波器应用于参考像素之后生成预测块。根据所选择的参考像素线，可以确定是否应用了平滑滤波器。

为了执行帧内预测方法，可以根据当前预测单元周围的预测单元中的帧内预测模式来预测当前预测单元中的帧内预测模式。在通过使用根据周围预测单元预测的模式信息来预测当前预测单元中的预测模式的情况下，如果当前预测单元中的帧内预测模式与周围预测单元中的帧内预测模式相同，则可以通过使用预定标志信息来传输当前预测单元中的预测模式与周围预测单元中的预测模式相同的信息，并且如果当前预测单元中的预测模式与周围预测单元中的预测模式不同，则可以通过执行熵编码来对当前块的预测模式信息进行编码。

另外，可以生成包括关于残差值的信息的残差块，该残差值是基于在预测单元120和125中生成的预测单元执行预测的预测单元与预测单元中的原始块之间的差值。可以将所生成的残差块输入至变换单元130。

变换单元130可以通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)、KLT的变换方法来变换原始块和残差块，该残差块包括通过预测单元120和125生成的预测单元中的残差值信息。可以基于变换单元的大小、变换单元的形式、预测单元中的预测模式或预测单元中的帧内预测模式信息中的至少一个来确定是否应用DCT、DST或KLT来变换残差块。

量化单元135可以对在变换单元130中变换至频域的值进行量化。量化系数可以根据图像的块或重要性而改变。可以将在量化单元135中计算的值提供给去量化单元140和重排单元160。

重排单元160可以针对经量化的残差值执行系数值的重排。

重排单元160可以通过系数扫描方法将呈二维块的形状的系数改变成一维矢量的形状。例如，重排单元160可以通过使用Z字形扫描方法将DC系数扫描为高频域中的系数，并且将其改变成一维矢量的形状。根据变换单元的大小和帧内预测模式，代替Z字形扫描，可以使用其中在列方向上扫描呈二维块的形状的系数的垂直扫描、其中在行方向上扫描呈二维块的形状的系数的水平扫描或其中在对角线方向上扫描呈二维块的形状的系数的对角线扫描。换言之，可以根据变换单元的大小和帧内预测模式来确定将使用Z字形扫描、垂直方向扫描、水平方向扫描或对角线扫描中的哪种扫描方法。

熵编码单元165可以基于由重排单元160计算的值来执行熵编码。例如，熵编码可以使用各种编码方法，例如指数哥伦布(exponential Golomb)、CAVLC(上下文自适应可变长度编码)、CABAC(上下文自适应二进制算术编码)。

熵编码单元165可以对来自重排单元160和预测单元120和125的各种信息(例如编码单元中的残差值系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息和传输单元信息、运动矢量信息、参考帧信息、块内插信息、滤波信息等)进行编码。

熵编码单元165可以对从重排单元160输入的编码单元中的系数值执行熵编码。

去量化单元140和逆变换单元145对在量化单元135中量化的值进行去量化，并且对在变换单元130中变换的值进行逆变换。由去量化单元140和逆变换单元145生成的残差值可以与由包括在预测单元120和125中的运动预测单元、运动补偿单元和帧内预测单元预测的预测单元进行组合以生成重构块。

滤波器单元150可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。

去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。为了确定是否执行去块，可以基于包括在块中的若干行或列中包括的像素来确定是否将去块滤波器应用于当前块。在将去块滤波器应用于块的情况下，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，在执行水平滤波和垂直滤波的情况下，可以将水平定向滤波和垂直定向滤波设置成并行处理。

偏移校正单元可以针对执行去块的图像以像素为单元来校正与原始图像的偏移。为了针对特定图片执行偏移校正，可以在将包括在图像中的像素划分为一定数目的区域之后确定将执行偏移的区域，并且可以使用其中将偏移应用于对应区域的方法或者其中通过考虑每个像素的边缘信息来应用偏移的方法。

可以基于通过将经滤波的重构图像与原始图像进行比较所获得的值来执行自适应环路滤波(ALF)。在将包括在图像中的像素划分成预定组之后，可以通过确定将被应用于对应组的一个滤波器来区分地按组执行滤波。可以针对亮度信号按编码单元(CU)传输与是否应用ALF有关的信息，并且要应用的ALF滤波器的形状和滤波器系数可以根据每个块而变化。另外，不管要应用的块的特性如何，都可以应用呈相同形状(固定形状)的ALF滤波器。

存储器155可以存储通过滤波器单元150计算的重构块或图片，并且在执行帧间预测时，可以将所存储的重构块或图片提供给预测单元120和125。

图2是示出根据本公开内容的实施方式的图像解码装置的框图。

参照图2，图像解码装置200可以包括熵解码单元210、重排单元215、去量化单元220、逆变换单元225、预测单元230和235、滤波器单元240以及存储器245。

当从图像编码装置输入图像比特流时，可以根据与图像编码装置的过程相反的过程来对输入比特流进行解码。

熵解码单元210可以根据与在图像编码装置的熵编码单元中执行熵编码的过程相反的过程来执行熵解码。例如，响应于在图像编码装置中执行的方法，可以应用各种方法，例如指数哥伦布、CAVLC(上下文自适应可变长度编码)、CABAC(上下文自适应二进制算术编码)。

熵解码单元210可以对与在编码装置中执行的帧内预测和帧间预测有关的信息进行解码。

重排单元215可以基于在编码单元中对在熵解码单元210中被熵解码的比特流进行重排的方法来执行重排。可以通过被重构成二维块形式的系数来重排以一维矢量形式表示的系数。重排单元215可以接收与在编码单元中执行的系数扫描有关的信息，并且通过其中基于在对应的编码单元中执行的扫描顺序反向地执行扫描的方法来执行重排。

去量化单元220可以基于从编码装置提供的量化参数和重排块的系数值来执行去量化。

逆变换单元225可以执行在变换单元中执行的变换，即，用于DCT、DST和KLT的逆变换，即，针对在图像编码装置中执行的量化结果的逆DCT、逆DST和逆KLT。可以基于在图像编码装置中确定的传输单元来执行逆变换。在图像解码装置的逆变换单元225中，可以根据多个信息例如预测方法、当前块的大小或形状、预测模式、帧内预测方向等来选择性地执行变换技术(例如，DCT、DST、KLT)。

预测单元230和235可以基于与从熵解码单元210提供的预测块的生成有关的信息和从存储器245提供的预解码块或图片信息来生成预测块。

如上所述，当在以与图像编码装置中的操作相同的方式执行帧内预测时预测单元的大小与变换单元的大小相同的情况下，可以基于预测单元的左侧位置处的像素、左上位置处的像素和顶部位置处的像素来执行预测单元的帧内预测，但是当在执行帧内预测时预测单元的大小与变换单元的大小不同的情况下，可以通过使用基于变换单元的参考像素来执行帧内预测。另外，使用N×N分割的帧内预测可以仅用于最小编码单元。

预测单元230和235可以包括预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元210输入的诸如预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测相关信息等的各种信息，对当前编码单元中的预测单元进行划分，并且确定预测单元是执行帧间预测还是帧内预测。帧间预测单元230可以通过使用从图像编码装置提供的当前预测单元中的帧间预测所需的信息，基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息来针对当前预测单元执行帧间预测。可替选地，可以基于关于在包括当前预测单元的当前图片中预重构的一些区域的信息来执行帧间预测。

为了执行帧间预测，可以基于编码单元来确定在对应编码单元中包括的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式还是帧内块复制模式。

帧内预测单元235可以基于当前图片中的像素信息来生成预测块。在预测单元是执行帧内预测的预测单元的情况下，可以基于从图像编码装置提供的预测单元中的帧内预测模式信息来执行帧内预测。帧内预测单元235可以包括自适应帧内平滑(AIS)滤波器、参考像素内插单元和DC滤波器。作为对当前块的参考像素执行滤波的部分，可以通过根据当前预测单元中的预测模式确定是否应用滤波器来应用AIS滤波器。可以通过使用从图像编码装置提供的预测单元中的预测模式和AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式的情况下，可以不应用AIS滤波器。

在预测单元中的预测模式是基于对参考像素进行内插的像素值执行帧内预测的预测单元的情况下，参考像素内插单元可以对参考像素进行内插以便以等于或小于整数值的像素为单元以生成参考像素。在当前预测单元中的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式时，可以不对参考像素进行内插。在当前块的预测模式是DC模式的情况下，DC滤波器可以通过滤波来生成预测块。

可以将重构块或图片提供至滤波器单元240。滤波器单元240可以包括去块滤波器、偏移校正单元和ALF。

关于是否将去块滤波器应用于对应的块或图片的信息以及关于当应用去块滤波器时是应用强滤波器还是弱滤波器的信息可以从图像编码装置提供。可以在图像解码装置的去块滤波器中提供与从图像编码装置提供的去块滤波器有关的信息，并且可以在图像译码装置中执行对对应块的去块滤波。

偏移校正单元可以基于在执行编码时应用于图像的偏移校正的类型、偏移值信息等对重构图像执行偏移校正。

可以基于从编码装置提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这样的ALF信息可以通过被包括在特定参数集中来提供。

存储器245可以存储经重构的图片或块以用作参考图片或参考块，并且将经重构的图片提供至输出单元。

如上面所描述的，在下文中，在本公开内容的实施方式中，为了便于描述，将编码单元用作编码单元的术语，但是其可以是执行解码以及编码的单元。

此外，由于当前块表示要编码/解码的块，因此根据编码/解码步骤，当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)或预测块(或预测单元)或者应用环内滤波器的块等。在本说明书中，“单元”可以表示用于执行特定编码/解码处理的基本单元，并且“块”可以表示预定大小的像素阵列。除非另外分类，否则“块”和“单元”可以互换使用。例如，在后面描述的实施方式中，可以理解，编码块(编码块)和编码单元(编码单元)可互换地使用。

图3至图12示出了根据本公开内容的块分割方法。

在稍后描述的实施方式中，“块”是编码/解码的目标，并且可以表示编码块、预测块或变换块中的任何一个。

可以通过树结构将一个块分割成具有各种大小和形状的多个块。经分割的块还可以再次被分割成具有各种大小和形状的多个块。因此，递归地分割块可以被定义为基于“树结构”的分割。

可以基于预定分割信息来执行基于树结构的分割。此处，分割信息可以在编码装置中进行编码并且通过比特流传输，或者可以从编码/解码装置得到。分割信息可以包括指示是否分割块的信息(下文中被称为分割标志)。在分割标志指示对块进行分割的情况下，块被分割并且根据编码顺序移动到下一个块。此处，下一个块是指在经分割的块中将首先执行编码的块。在分割标志指示块不被分割的情况下，对块的编码信息进行编码，以根据是否存在下一个块来移动至下一个块，或者终止块的分割处理。

分割信息可以包括关于树分割的信息。在下文中，描述了用于块分割的树分割方法。

二叉树(BT)分割方法是将块分割成两部分的方法。由二分割生成的块可以具有相同的大小。图3示出了通过BT标志对块执行BT分割的示例。

可以通过BT标志来确定是否对块进行分割。在示例中，在BT标志为0的情况下，BT分割被终止。另一方面，在BT标志为1的情况下，可以通过使用指示分割方向的Dir标志将块分割成两个块。

另外，可以将经分割的块表示为深度信息。图4示出了深度信息的示例。

图4中的(a)是示出其中通过BT分割来分割块400的处理和深度信息的值的示例。每次对块进行分割时，深度信息的值可以增加1。在深度为N的块被分割成深度为(N+1)的块的情况下，深度为N的块被称为深度为(N+1)的块的父块。相反，深度为(N+1)的块被称为深度为N的块的子块。其可以同样地应用于稍后描述的树结构中。图4中的(b)示出了在如(a)中那样通过使用BT来分割块400的情况下的最终分割的形状。

三叉树(TT)分割方法是将块分割成三个部分的方法。在这种情况下，子块可以具有1:2:1的比例。图5示出了其中通过TT标志对块执行TT分割的示例。

可以通过TT标志来确定是否对块进行分割。在示例中，在TT标志为0的情况下，TT分割被终止。另一方面，在TT标志为1的情况下，可以通过使用Dir标志在水平方向或垂直方向上将块分割成三个部分。

四叉树(QT)分割方法是将块分割成四个部分的方法。四个子块可以具有相同的大小。图6示出了其中通过QT标志对块执行QT分割的示例。

可以通过QT标志来确定是否对块进行分割。在示例中，在QT标志为0的情况下，QT分割被终止。另一方面，在QT标志为1的情况下，可以将块分割成四个部分。

可以以除了根据图4至图6的BT分割、TT分割和QT分割之外的各种方式来对一个块进行分割。在示例中，可以应用将一个块分割成五个子块的方法。图7示出了其中通过使用五叉树(PT)标志将块分割成五个部分的PT分割方法的示例。

可以通过针对块的PT标志来确定是否将块分割成五个部分。在PT标志为0的情况下，PT分割被终止。在PT标志为1的情况下，可以通过使用指示分割方向的Dir标志来确定在水平方向或垂直方向中的哪个方向上执行分割。

另外，可以通过使用索引来指示分割类型。在应用五分割的情况下，四个子块可以具有相同的大小，并且剩余的一个子块可以具有为其他子块的大小的四倍的大小。在这种情况下，可以通过索引来指示比其他子块大的子块的位置。换言之，索引可以被定义为指定在编码/解码装置中预定义的多个PT分割类型中的任何一个，或者指定五个子块中的最大子块的位置。

多个PT分割类型可以包括具有1:1:4:1:1的分割比例的第一类型、具有1:4:1:1:1的分割成本的第二类型和具有1:1:1:4:1的分割比例的第三类型。如图7中所示出的，可以分别根据索引的值(即0至2)以1:1:4:1:1、1:4:1:1:1或1:1:1:4:1的比例执行分割。

可替选地，多个PT分割类型可以仅包括第一类型至第三类型中的两种类型。例如，多个PT分割类型可以被配置成仅具有第二类型(1:4:1:1:1)和第三类型(1:1:1:4:1)，并且可以仅以第二类型或第三类型中的任何一个来执行分割。在这种情况下，索引属于0至1的范围。图8示出了与之相关的示例。

在图7和图8的示例中，在根据PT分割的五个块中的最大块被另外地分割的情况下，可以应用对分割方向的限制。在示例中，当在水平方向上对父块进行分割时，针对子块可以仅允许在垂直方向上的分割。图9是其中应用了上面提及的限制的示例。在图7中，在通过使用PT标志＝0、Dir标志＝0和索引＝0对父块进行分割并且PT分割被另外地应用于最大子块的情况下，如图9的(a)中所示出的，不允许水平方向上的分割，并且如图9的(b)中所示出的，仅允许垂直方向上的分割。或者相反，在最大的子块被另外地分割的情况下，应用父块实际上的分割方向的方法也是可能的。在上面的两个示例中，针对最大子块可以省略发信号通知dir标志，并且可以通过使用父块的dir标志来得到最大子块的dir标志。同样在图8的示例中，可以同样地应用上述限制。可替选地，上述限制还可以同样地应用于具有相同大小的其余四个子块。

作为另一示例，可以仅针对五个子块中最大的子块(即，比例为4的子块)允许另外地分割。在这种情况下，针对最大的子块，不允许应用PT分割，但是可以允许应用BT、TT或QT中的至少一个。在这种情况下，上述限制还可以应用于BT、TT或QT分割。在示例中，可以强制BT、TT或QT分割仅在与父块的PT分割方向不同的方向上应用。可替选地，即使针对最大的子块，也可以允许另外的PT分割。但是，仅在最大的子块或父块的大小大于或等于预定阈值大小的情况下，才可以以限制的方式允许另外的PT分割。此处，大小可以表示为宽度、高度、宽度和高度的比例、宽度和高度的乘积、宽度和高度的最小值/最大值等。阈值大小可以是4、8、16、32、64、128、256或更大的整数。

可替选地，针对子块中的小子块，不允许应用PT分割，但是可以允许应用BT、TT或QT中的至少一个。在这种情况下，上述限制还可以同样地应用于小子块。在示例中，可以强制BT、TT或QT分割仅在与父块的PT分割方向不同的方向上应用。

可替选地，上述限制可以仅应用于最大的子块，并且上述限制可以不应用于小子块。相反，上述限制可以不应用于最大的子块，并且上述限制可以仅应用于小子块。可替选地，仅在根据PT分割的父块或子块的大小小于或等于预定阈值大小的情况下，才可以应用上述限制。相反，仅在根据PT分割的父块或子块的大小大于或等于预定阈值大小的情况下，才可以应用上述限制。由于此处的大小和阈值大小与上面描述相同，因此将省略详细描述。

可以通过块的大小、形状或深度中的至少一个来确定是否允许PT分割。在示例中，可以仅针对编码树块允许PT分割，或者可以仅针对大小为128x128、64x64或32x32或更大的块允许PT分割。可替选地，仅在块的宽度或高度的最小值大于或等于128、64或32的情况下才允许PT分割。可替选地，可以仅针对正方形块允许PT分割，而针对非正方形块可以不允许PT分割。可替选地，可以根据块的大小来允许PT分割，而不管其形状如何。

父块可以仅在水平方向或垂直方向中的任何一个方向上被分割成四个部分，这在下文中被称为经修改的四分割方法。父块可以被非对称地分割成四个子块。此处，四个子块中的至少一个子块可以被分割成具有与另一子块不同的大小。例如，如图10中所示出的，可以定义根据经修改的四分割方法的分割类型。索引0的分割类型是以1:4:2:1的比例来分割父块的宽度或高度的类型，索引1的分割类型是以1:2:4:1的比例来分割父块的宽度或高度的类型，索引2的分割类型是以1:4:1:2的比例来分割父块的宽度或高度的类型，以及索引3的分割类型是以2:1:4:1的比例来分割父块的宽度和高度的类型。图10示出了四种分割类型作为根据经修改的四分割方法的分割类型，但是其仅是示例，并且根据经修改的四分割方法的分割类型可以被配置成仅具有四种分割类型中的一部分而不是全部。可替选地，根据经修改的四分割方法的分割类型还可以包括通过对称分割来执行分割以使得四个子块具有相同大小的分割类型。可以选择性地使用多个分割类型中的任何一个，并且出于该目的，可以对索引信息进行编码/解码。索引信息可以在编码装置中被编码和传输，或者可以在解码装置中基于预定编码参数来得到。编码参数可以指具有小于父块的深度的较高块的分割类型或大小、父块的大小或位置等。

图11示出了在根据经修改的四分割方法(QT1)的分割类型被配置成仅具有图10中所示出的索引为0至1的分割类型的情况下的分割方法。

通过QT1标志来确定是否对块进行分割。例如，在QT1标志为0的情况下，分割被终止而不被执行。另一方面，在QT1标志为1的情况下，指示分割方向的Dir标志用于确定将在水平方向上还是在垂直方向上执行分割。另外，通过另外地使用索引来指示分割类型，并且可以根据索引值以1:4:2:1或1:2:4:1的比例来分割父块。

可替选地，与图11中的四分割方法不同的四分割方法(QT2)也是可以的。图12是示出其的示例。

图12示出了当根据经修改的四分割方法(QT2)的分割类型被配置成仅具有图10中所示出的索引2至3的分割类型的情况下的分割方法。

通过QT2标志来确定是否对块进行分割。例如，在QT2标志为0的情况下，分割被终止而不被执行。另一方面，在QT2标志为1的情况下，指示分割方向的Dir标志用于确定将在水平方向上还是在垂直方向上执行分割。另外，通过另外地使用索引来指示分割类型，并且可以根据索引值以1:4:1:2或2:1:4:1的比例来分割父块。

即使在经修改的四分割方法中，也可以以类似于图9中所见到的PT分割的方式对分割方向应用限制。在示例中，假设在水平方向上以1:4:2:1的比例来分割父块，并且另外地对比例为4或2的子块进行分割。在这种情况下，可以通过使用父块的Dir标志来对比例为4或2的子块进行分割，而无需发信号通知Dir标志。在示例中，子块的分割方向可以被确定为不同于父块的分割方向的方向。可替选地，该限制可以仅应用于比例为4的块，并且该限制也可以仅应用于比例为2的块。可替选地，该限制也可以仅应用于比例为1的块。可替选地，该限制可以仅应用于比例为4和2的块，并且该限制可以不应用于比例为1的块。可替选地，仅在根据经修改的四分割方法的父块或子块的大小小于或等于预定阈值大小的情况下，才可以应用上述限制。相反，仅在根据经修改的四分割方法的父块或子块的大小大于或等于预定阈值大小的情况下，才可以应用上述限制。由于此处的大小和阈值大小与上面描述的相同，因此将省略详细描述。

作为另一示例，可以仅针对子块中比例为4的块或比例为2的块中的至少一个块允许另外的分割。在示例中，BT、TT、QT、PT或经修改的四分割方法中的至少一个可以应用于上面的子块。在这种情况下，上述限制也可以应用于BT、TT、QT、PT或经修改的四分割方法。在示例中，可以强制BT、TT、QT、PT或经修改的四分割方法仅在与父块的PT分割方向不同的方向上应用。

可替选地，可以允许针对子块中的小子块(即，比例为1的块)进行另外分割。在这种情况下，上述限制也可以应用于小子块。

可以通过块的大小、形状或深度中的至少一个来确定是否允许经修改的四分割方法。在示例中，可以仅针对编码树块允许经修改的四分割方法，或者可以仅针对大小为128x128、64x64或32x32或更大的块允许经修改的四分割方法。可替选地，可以仅在块的宽度或高度的最小值大于或等于128、64或32的情况下允许经修改的四分割方法。可替选地，可以仅针对正方形块允许经修改的四分割方法，并且针对非正方形块可以不允许经修改的四分割方法。可替选地，可以根据块的大小来允许经修改的四分割方法，而不管块的形状如何。

可以分别通过较高报头例如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)和切片报头(SH)向解码装置发信号通知指示是否使用树分割方法(例如，上述BT、TT、QT、PT和经修改的四分割方法)的信息。

可替选地，可以分别按执行并行处理的区域向解码装置发信号通知指示是否使用这些树分割方法的信息。

上述树分割方法可以以优先级可交换地使用。可以按每个执行并行处理的区域或较高报头发信号通知优先级。

在编码块被分割成多个编码块的情况下，可以应用上述分割方法中的至少一个分割方法。可替选地，在编码块被分割成多个预测块的情况下，可以应用上述分割方法中的至少一个分割方法，或者在编码块被分割成多个变换块的情况下，可以应用上述分割方法中的至少一个分割方法。可替选地，在一个预测块被分割成多个子块以用于以子块为单元进行预测的情况下，可以应用上述分割方法中的至少一个分割方法。可替选地，在一个变换块被分割成多个子块以用于以子块为单元进行变换的情况下，可以应用上述分割方法中的至少一个分割方法。

图13至图17示出了根据本公开内容的根据块分割方法的编码顺序。

除了使用分割标志的块分割方法之外，根据本公开内容的分割信息还可以包括子块之间的编码顺序。在下文中，在通过树分割将父块分割成子块的情况下，描述了子块的编码顺序信息(COI)的示例。

图13示出了可以用于BT分割的编码顺序。

在图13中，分配给每个块的编号表示编码顺序。如图3中描述的，在BT标志被配置为1并且执行分割的情况下，可以另外地发信号通知表示子块的编码顺序的信息。在BT标志为0的情况下，不执行到子块的分割，因此不需要发信号通知表示编码顺序的信息。根据分割方法可用的编码顺序的数目表示为(分割方向)x(分割数)！的值，并且针对BT分割，该数目变为2x 2！个(即，4个)。

图14示出了可以用于TT分割的编码顺序。

在图14中，分配给每个块的编号表示编码顺序。如图5中描述的，在TT标志被配置为1并且执行分割的情况下，可以另外地发信号通知表示子块的编码顺序的信息。在TT标志为0的情况下，不执行到子块的分割，因此不需要发信号通知表示编码顺序的信息。针对TT分割，可用编码顺序的数目变为2x 3！个(即，12个)。

图15示出了可以用于QT分割的编码顺序。

在图15中，分配给每个块的编号表示编码顺序。如图6中描述的，在QT标志被配置成1并且执行分割的情况下，可以另外地发信号通知表示子块的编码顺序的信息。在QT标志为0的情况下，不执行到子块的分割，因此不需要发信号通知表示编码顺序的信息。QT分割是指分割成四个部分，并且不存在分割方向，因此可用编码顺序的数目变为1x 4！个(即，24个)。

同样地针对PT分割，类似于上述方法，在PT标志被配置为1并且执行分割的情况下，可以另外地发信号通知表示子块的编码顺序的信息。在PT标志为0的情况下，不执行到子块的分割，因此不需要发信号通知表示编码顺序的信息。PT分割是指分割成五个部分，并且执行水平方向上或垂直方向上的分割，因此可用编码顺序的数目变为2x 5！个(即，240个)。图16是示出240个编码顺序中的一些编码顺序的示例。

此外，在图8、图11或图12的示例中，以与上述方法相同的方式，可以仅在执行分割的情况下发信号通知表示编码顺序的信息。同样，可用编码顺序的数目也可以计算为(分割方向)x(分割数)！。

可替选地，为了简单起见，如图13至图16，可以不将所有可用编码顺序用作候选。在示例中，可以根据分割方向发信号通知编码方向。编码方向可以被配置为从左至右、从右至左、从上至下、从下至上、对角线或反向对角线方向中的至少一个方向。在示例中，在如图13中将块分割成两个部分的情况下，可以根据是在水平方向上还是在垂直方向上对其进行分割来发信号通知编码方向。在对块进行水平分割的情况下，可以发信号通知在从上至下方向或从下至上方向中的哪个方向上执行编码。相反，在对块进行垂直分割的情况下，可以发信号通知在从左至右方向或从右至左方向中的哪个方向上执行编码。同样地，相同的内容也可以应用于图14至图16。

作为另一示例，可以发信号通知编码开始位置和/或结束位置或者编码开始位置或前进方向。在示例中，与图15的示例不同，在应用QT分割的情况下，总是使用Z字形扫描方法，但是可以仅发信号通知编码开始位置和前进方向。图17示出了与之相关的示例。

在图17的示例中，可以对指示具有第一编码顺序的块的信息和表示前进方向是水平还是垂直的信息进行编码。

图18示出了根据本公开内容的编码/解码装置中的帧内预测方法。

可以通过应用帧内预测(移除空间上存在的冗余数据的技术)来对块进行编码。在应用帧内预测的情况下，通过使用与原始块相邻的周围像素或属于远离原始块的线N的像素作为参考像素来生成被配置有针对原始块的预测值(预测像素)的预测块。然后，生成残差块(原始块与预测块之间的差值)以移除冗余数据。

参照图18，可以得到当前块的帧内预测模式S1800。

此处，可以通过基于上述分割方法中的至少一种分割方法分割编码块来获得当前块。帧内预测模式可以被得到为在编码/解码装置中预定义的帧内预测模式中的任何一个帧内预测模式。

图19和图20示出了可用于当前块的预定义帧内预测模式。

参照图19，编号0被分配给使用平面的预测方法，其被称为平面模式或模式0。另外，编号1被分配给使用DC的预测方法，其被称为DC模式或模式1。对于使用方向性(定向模式)的其他方法，分配从-14至80之间的编号，并且用箭头来指示方向。在示例中，模式18表示使用水平方向的预测方法，并且模式50表示使用垂直方向的预测方法。

根据上面描述的编码顺序信息(COI)信息，可以将可用参考像素围绕要编码的块扩展。因此，块周围的参考像素不仅可以存在于块的左侧和顶部，还可以存在于块的右侧和/或底部。因此，可以另外地定义使用在右侧和/或底部的参考像素的帧内预测模式。图20示出了其中图19的定向模式以整个360度扩展的示例。此处，与图19不同，为了便于描述，将定向模式表示为编号2至129。

当前块可以被分割成多个分区。此处的分割可以基于上述分割方法中的至少一种分割方法来执行。在这种情况下，根据当前块的分割类型或分区的大小或形状，可以调节可以由每个分区使用的帧内预测模式的范围。图21示出了与之相关的示例。

在图21中，可以调节θ₁和θ₂的范围。在示例中，θ₁和θ₂中的每一个可以具有A度与B度之间的值。A和B的值可以通过较高报头被发信号通知，或者可以在编码/解码装置中具有预配置的值。

可替选地，可以根据分割方向来确定角度范围。例如，在当前块在左上位置处的45度方向上被分割的情况下，分区1可以被配置成不使用超过45度的帧内预测模式，并且分区2可以被配置成不使用小于45度的帧内预测模式。

在该示例中，描述了其中将定向模式应用于被对角分割的分区的情况。类似于定向模式，平面模式或DC模式也可以应用于被对角分割的分区。

可替选地，平面模式或DC模式还可以被配置成不应用于被对角分割的分区。

可替选地，如果两个分区中的一个分区是平面模式或DC模式，则定向模式可以被配置成始终应用于一个剩余分区。可替选地，相反的情况也是可能的。

可替选地，如果两个分区中的一个分区是平面模式或DC模式，则DC模式或平面模式可以被配置成始终应用于一个剩余分区。可替选地，相反的情况也是可能的。

在对帧内预测模式进行编码时，可以在配置最可能模式(MPM)列表之后发信号通知指定属于MPM列表的多个MPM候选中的任何一个MPM候选的索引。解码装置可以以与编码装置相同的方式来配置MPM列表，并且可以基于MPM列表和发信号通知的索引来得到当前块的帧内预测模式。

图22和图23示出了在配置MPM列表时使用的周围参考位置。

图22和图23中所示出的周围参考位置可以分别意指一个像素或块。假设周围参考位置被包括在当前块周围的不同块中。

参照图22，LB指代当前块中最左下位置处的像素的位置，并且RT指代当前块中最右上位置处的像素的位置。在示例中，可以通过使用存在于包括L的块和包括A的块中的帧内预测模式来配置MPM列表。然后，可以通过使用以下信息来发信号通知当前块的帧内预测模式：指示当前块的帧内预测模式是否被包括在MPM列表中的信息、指示MPM列表中的相同模式的索引信息(MPM索引)或者在其不被包括在MPM中的情况下指定剩余模式中的任何一个模式的信息。

可替选地，可以通过使用包括在左侧中间位置处的样本(h或g)的块和包括在顶部中心位置处的样本(d或c)的块中的至少一个块的帧内预测模式来配置MPM列表。可替选地，可以通过使用包括在左上位置处的样本(f)的块和包括在左上位置处的样本(b)的块中的至少一者的帧内预测模式来配置MPM列表。

另外，在当前块的右侧和底部位置处的参考像素可用的情况下，可以扩展根据图22的MPM。具体地，可以通过使用与当前块的右侧相邻的相邻块和/或与当前块的底部相邻的相邻块中的至少一者来得到MPM候选。

在图23中，LB指的是当前块中最左下位置处的像素的位置，以及RT指的是当前块中最右上位置处的像素的位置。在示例中，可以通过使用存在于包括L的块和包括A的块中的帧内预测模式来配置MPM列表。可替选地，可以通过使用存在于包括R的块和包含B的块中的至少一者中的帧内预测模式来配置MPM列表。

可替选地，可以通过使用包括底部中心(k或l)样本或底部右侧(j)样本中的至少一者的底部块或者通过使用包括右侧中间(g或f)样本或右侧下部(h)样本中的至少一者的右侧块来配置MPM列表。

可替选地，可以仅将上面描述的在右侧和底部位置处的周围块的帧内预测模式中的任何一个代表模式添加至MPM列表。此处，代表模式可以指在右侧和底部位置处的周围块的帧内预测模式中的最小值、最大值或模式，并且可以指在编码/解码装置中预先承诺的固定位置处的模式。

可以使用右侧块和/或底部块而不是左侧块和/或顶部块来得到MPM候选。可替选地，还可以通过使用右侧块或底部块以及左侧块和/或顶部块中的至少一者来得到MPM候选。

在当前块被分割成多个分区的情况下，多个分区可以共享一个帧内预测模式。可替选地，可以按当前块的每个分区得到帧内预测模式。

两个分区的帧内预测模式可以被配置成仅通过MPM候选来得到。换言之，在当前块被分割成多个分区的情况下，每个分区的帧内预测模式可以具有与多个MPM候选之一相同的值。在这种情况下，省略对MPM标志的编码/解码，并且其值可以被认为是1(推断)。另外，可以针对多个分区中的每个分区发信号通知MPM索引。

可替选地，可以基于MPM候选来得到第一分区的帧内预测模式，同时可以将第二分区的帧内预测模式配置为默认模式。默认模式可以包括平面模式、DC模式、垂直模式、水平模式或对角线模式中的至少一个模式。在定义了多个默认模式的情况下，可以选择性地使用多个默认模式中的任何一个模式。可以发信号通知用于选择的索引信息，并且可以使用多个默认模式中具有最高优先级的模式。可以按平面模式、DC模式、垂直模式(或水平模式)和对角线模式的顺序给出优先级，但是不限于此。

可替选地，可以通过向第一分区的帧内预测模式添加偏移/从第一分区的帧内预测模式减去偏移来得到第二分区的帧内预测模式。此处，可以在编码/解码装置中预定义偏移。可替选地，可以对偏移信息(例如，绝对值和/或符号)进行编码并将其发信号通知。

另外，可以发信号通知每个分区使用的帧内预测模式。在这种情况下，在配置最可能模式(MPM)列表以对帧内预测模式进行编码之后，可以按每个分区发信号通知指定属于MPM列表的多个MPM候选中的任何一个MPM候选的索引信息。在示例中，第一分区的帧内预测模式可以通过第一MPM索引来确定，并且第二分区的帧内预测模式可以通过第二MPM索引来确定。在这种情况下，在第二分区的MPM索引大于第一分区的MPM索引的情况下，通过从第二分区的MPM索引中减去1而获得的值可以作为第二MPM索引被编码/解码。换言之，在第二分区的帧内预测模式等于或大于第一分区的帧内预测模式的情况下，可以通过使用通过向第二MPM索引加1而获得的MPM索引来得到第二分区的帧内预测模式。

可以定义表示是否基于第一分区的帧内预测模式得到第二分区的帧内预测模式的标志。此处，在标志是第一值的情况下，可以基于第一分区的帧内预测模式来得到第二分区的帧内预测模式，并且在标志是第二值的情况下，可以基于上述默认模式来得到第二分区的帧内预测模式或可以基于针对第二分区发信号通知的索引信息来得到第二分区的帧内预测模式。

可替选地，可以定义表示是否基于默认模式得到第二分区的帧内预测模式的标志。此处，在标志是第一值的情况下，可以基于上述默认模式来得到第二分区的帧内预测模式，并且在标志是第二值的情况下，可以基于针对第二分区发信号通知的索引信息来得到第二分区的帧内预测模式。

可替选地，可以按分区生成MPM列表。在示例中，可以生成针对第一分区的第一MPM列表和针对第二分区的第二MPM列表。在这种情况下，针对第一MPM列表的相邻块中的至少一个相邻块可以不同于针对第二MPM列表的相邻块中的任何一个相邻块。在示例中，可以通过使用左侧相邻块和顶部相邻块来生成第一MPM列表，并且可以通过使用右侧相邻块和底部相邻块来生成第二MPM列表。可替选地，在生成第二MPM列表时，还可以通过仅使用与存在于第一MPM列表中的候选不同的候选来生成第二MPM列表。可用于配置第一MPM列表的相邻块的数目可以不同于可用于配置第二MPM列表的相邻块的数目。可用于配置第一MPM列表的相邻块的数目可以是N，并且可用于配置第二MPM列表的相邻块的数目可以是(N+1)或更多。此处，第一分区是指包括当前块中的左上样本或右上样本的分区，并且N可以是2、3、4或更多。

可以针对当前块得到两个或更多个帧内预测模式。在示例中，可以通过使用MPM列表分别对两个帧内预测模式m1和m2进行编码并将其发信号通知。

可替选地，可以仅使用存在于MPM列表中的帧内预测模式。在这种情况下，可以通过使用MPM索引分别发信号通知m1和m2。

可替选地，尽管不被包括在MPM列表中，但是也可以使用存在于当前块周围的帧内预测模式，并且然后可以将其指定为索引并使用。

可替选地，可以向特定模式赋予优先级。在示例中，平面模式或DC模式可以被配置成总是用于m1。然后，与m1相反，DC模式或平面模式可以被配置成用于m2。在这种情况下，可以仅发信号通知表示m1是平面模式还是DC模式的信息。

可替选地，将平面模式或DC模式仅分配给m1和m2中的任何一个模式并且将其他帧内预测模式用于其余模式的方法也是可以的。

可替选地，还可以总是将固定模式用于m1。在示例中，固定模式可以是平面模式或DC模式。在这种情况下，仅通过向解码装置发信号通知用于m2的帧内预测模式来将其告知。

可替选地，m1和m2两者可以是固定模式。在示例中，两个固定模式可以分别是平面模式和DC模式。可替选地，在定向模式中，具有180度差的两个模式可以分别被配置为m1和m2。

可替选地，对可以用于m1和m2的模式集合进行预配置的方法也是可以的。表1是与该集合相关的示例。

【表1】

集合索引	m1	m2
			0	平面模式	DC模式
1	平面模式	垂直模式
			2	DC模式	垂直模式
3	平面模式	水平模式
			4	DC模式	垂直模式
5	垂直模式	水平模式
			……	……	……

然后，如表1中的，可以发信号通知集合索引来向解码器告知用于m1和m2的帧内预测模式。在将当前块分割成多个分区的情况下，已经描述了得到用于当前块的多个帧内预测模式的方法，该方法可以在得到m1和m2的情况下同等地应用，并且将省略详细描述。

参照图18，可以得到用于当前块的帧内预测的参考像素S1810。

当前块的参考像素可以从与当前块相邻的参考像素线(在下文中，被称为相邻像素线)得到，或者可以从不与当前块相邻的参考像素线(在下文中将，被称为非相邻像素线)得到。可替选地，当前块的参考像素中的一些参考像素可以从相邻像素线得到，并且其他参考像素可以从非相邻像素线得到。此处，非相邻像素线可以指在编码/解码装置中预定义的P个参考像素线的全部或部分。

可能存在由于诸如块的编码顺序、其中块的边界位于图像(例如，图片、图块(tile)、切片(slice)、CTU原始(CTU raw))的边界处的情况等的原因而不可用的参考像素。因此，在对应位置处，应当通过填充处理来生成参考像素。

可以通过将当前块的周围区域划分成两个区域来执行填充。在示例中，当前块的左侧和顶部可以被配置为第一区域，并且右侧和底部可以被配置为第二区域。首先，按每个区域来配置搜索开始位置以确定参考像素是否可用。图24是示出按每个区域的搜索开始位置和搜索方向的示例。图24的(a)示出了包括在当前块的左侧和顶部上的参考像素的第一区域，并且图24的(b)示出了包括在当前块的底部和右侧上的参考像素的第二区域。

在示例中，在图24的(a)中，如果配置了搜索开始位置，则检查在搜索开始位置处是否存在可用的参考像素。如果不存在可用的参考像素，则在搜索方向上依次执行搜索，直到搜索到可用的参考像素为止。图25示出了搜索处理的示例。

在图25中，是其中从搜索开始位置开始在搜索方向上执行搜索的同时首先在位置A处搜索到可用的参考像素的示例。在位置A处搜索到可用的参考像素之后，将位置A处的参考像素复制到搜索开始位置。然后，通过在搜索方向上将复制的参考像素依次复制到刚好在A之前的位置来执行填充。换言之，在搜索开始位置处的像素不可用的情况下，可以将首先找到的可用像素填充至搜索开始位置。

与上面的示例不同，可能存在在搜索开始位置之后不可用的参考像素。图26示出了与之相关的示例。

参照图26的(a)，在不可用的参考像素存在于参考像素线的中间位置处的情况下，对存在于A和B的位置处的参考像素执行内插来执行填充。换言之，在第N个像素不可用的情况下，可以通过在N之前最后找到的可用像素与在N之后首先找到的可用像素之间的内插来生成对应的像素。

如图26的(b)，在从参考像素线的中间点到结束点不存在可用的参考像素的情况下，通过将存在于最近的位置A处的参考像素依次复制至位置B来执行填充。换言之，在第N个像素之后的所有像素都不可用的情况下，通过将第(N-1)个像素复制至最后位置来执行填充。

可替选地，从搜索开始位置开始在搜索方向上进行搜索、将第一可用参考像素确定为参考像素、将该参考像素复制到所有不可用位置并执行填充的方法也是可以的。

上述方法还可以以相同/类似的方式应用于如图24的(b)的区域。

在第一区域中的所有参考像素都不可用的情况下，可以通过使用预配置的值来执行填充。在示例中，在所有参考像素都不可用的情况下，可以通过使用利用比特深度的中间值来对参考像素执行填充。在示例中，在像素的比特深度是10比特的情况下，像素值的范围可以是0至1023，并且中间值可以是512。

另外，在第二区域中的所有参考像素都不可用的情况下，可以通过使用利用比特深度的中间值来对参考像素执行填充。在示例中，在像素的比特深度是10比特的情况下，像素值的范围可以是0至1023，并且中间值可以是512。

可以通过上述填充方法生成可以在当前块的所有四侧(左侧、右侧、顶部和底部)使用的参考像素。

可替选地，当在每个区域中执行填充时，可以使用其他区域中的像素。在示例中，在执行第二区域的填充时，可以使用存在于第一区域中的像素。相反，在执行第一区域的填充时，也可以使用存在于第二区域中的像素。

在参考像素存在于当前块的所有四侧的情况下，可以根据定向模式使用简化的参考像素。参照图27，根据定向模式所属的区域，可以仅使用左参考像素线、上参考像素线、右参考像素线和下参考像素线中的一个参考像素线。在图27中，帧内预测模式的编号被表示为0至129，并且编号0和编号1分别表示平面模式和DC模式，并且编号2至编号129表示定向模式。

图28的(a)至(f)分别是在帧内预测模式属于区域3至区域8的情况下使用一个参考像素线的方法的示例。

如图28中所示出的，参考像素可以以一维方式重新排列。像素2800可以通过复制在与定向模式平行的投影位置处的像素来生成，或者可以通过对在投影位置处的周围的整数像素进行内插来生成。

当在编码块的级别处确定帧内预测模式时，可以基于在编码块的级别处确定的帧内预测模式来生成编码块中的所有预测像素。换言之，相同的帧内预测模式可以应用于所有编码块。

与上面的示例不同，可以在编码块中按预定大小的区域来执行帧内预测。为此，可以在编码块中以预定大小的区域为单元得到帧内预测模式。在下文中，将详细描述在编码块中按预定大小的区域单独配置帧内预测模式的方法。

图29是根据本公开内容的实施方式的用于描述以子块为单元确定帧内预测模式的示例的图。

子块(帧内预测模式的确定单元)可以具有诸如2x2、4x4或8x8的正方形形状。可替选地，还可以将子块定义为诸如2x8或8x2的非正方形形状。

可替选地，可以通过仅在水平方向或垂直方向上分割编码块来生成子块。在仅在水平方向上分割编码块的情况下，子块的宽度与编码块的宽度相同，但是子块的高度具有比编码块的高度更小的值。另一方面，在仅在垂直方向上分割编码块的情况下，子块的高度与编码块的高度相同，但是子块的宽度具有比编码块的宽度更小的值。

子块(帧内预测模式的确定单元)的大小和/或形状可以具有在编码器和解码器中预定义的值。

可替选地，可以基于编码块的大小、周围块的编码模式(例如，周围块是通过帧间预测被编码还是通过帧内预测被编码)或周围块的帧内预测模式中的至少一个来自适应地确定子块的大小和/或形状。

为了便于描述，在本实施方式中，假设子块(帧内预测模式的确定单元)的大小是4x4。

在图29中，示出了其中将16x16大小的编码块分割成4x4大小的子块的示例。

可以针对当前要编码/解码的编码块(“当前块”)周围的相邻块来配置参考模式。此处，相邻块可以包括与当前块的顶部边界相邻的块或与当前块的左侧边界相邻的块中的至少一个块。

还可以以与子块相同大小的单元来得到参考模式。在示例中，如在图29的示例中，可以以4x4块为单元针对与当前块的左侧边界和/或顶部边界相邻的4x4子块中的每个子块得到参考模式。

在图29中，在假设当前块的宽度和高度分别为W和H的情况下，示出了使用与从(0，0)至(W-1，0)的顶部边界相邻的顶部相邻块和/或与从(0,0)至(0，H-1)的左侧边界相邻的左侧相邻块的参考模式。

与所示示例不同，可以使用与从(0，0)至(2W-1，0)的顶部边界相邻的顶部相邻块和与从(0，0)至(0，2H-1)的左侧边界相邻的左侧相邻块的参考模式。

用于对与当前块相邻的块进行编码/解码的帧内预测模式可以被配置为对应子块的参考模式。如果与当前块相邻的块没有通过帧内预测进行编码/解码，则可以通过参照与对应块相邻的块的帧内预测模式来得到对应块的参考模式。

图30和图31是示出得到与当前块相邻的每个相邻块的参考模式的方法的图。

在图30和图31中，仅示出了左侧相邻块，但是该实施方式还可以应用于得到顶部相邻块的参考模式。

在图30和图31中，写在相邻块上的编号示出了用于对相邻块进行编码/解码的帧内预测模式。另一方面，在写了XN(N是整数)的情况下，这意指对应的相邻块没有通过帧内预测进行编码/解码。在相邻块没有通过帧内预测进行编码/解码的情况下，可以将对应的相邻块确定为不可用，并且在相邻块通过帧内预测进行编码/解码的情况下，可以将对应的相邻块确定为可用。

在存在不可用相邻块的情况下，不可用相邻块的帧内预测模式可以被配置成与相邻块的帧内预测模式相同。

在示例中，在预定义了相邻块之间的扫描顺序的情况下，在扫描顺序中其扫描顺序小于不可用相邻块的扫描顺序的块中，与不可用相邻块在扫描顺序上具有最小差异的可用相邻块的帧内预测模式可以被配置为不可用相邻块的帧内预测模式。

在示例中，在从底部到顶部对左侧相邻块之间的扫描顺序进行配置的情况下，图30中的不可用相邻块的帧内预测模式可以被配置为与不可用相邻块的底部相邻的块的帧内预测模式23。

另一方面，在从顶部到底部对左侧相邻块之间的扫描顺序进行配置的情况下，图30中的不可用相邻块的帧内预测模式可以被配置为与不可用相邻块的顶部相邻的块的帧内预测模式20。

在扫描顺序中的第一块(例如，左侧相邻块中最底部位置处的相邻块或最上面位置处的相邻块)不可用的情况下，不可用相邻块的帧内预测模式可以被配置为与对应的相邻块的底部或顶部相邻的相邻块的帧内预测模式。

在示例中，在图31中所示出的示例中，在左侧相邻块中的最上面的块X1不可用的情况下，与最上面的块X1的顶部相邻的相邻块的帧内预测模式17可以被配置为最上面的块X1的帧内预测模式。

可替选地，在左侧相邻块中的最底部的块X2不可用的情况下，与最底部的块X2的底部相邻的相邻块的帧内预测模式20可以被配置为最底部的块X2的帧内预测模式。

作为另一示例，不可用相邻块的帧内预测模式可以被配置为与不可用相邻块的两侧相邻的块的帧内预测模式的平均值、最小值或最大值。在示例中，图30中的不可用相邻块X0的帧内预测模式可以被配置为与不可用相邻块的顶部相邻的块的帧内预测模式20和与不可用相邻块的底部相邻的块的帧内预测模式23之间的平均值、最小值或最大值。

在多个连续的相邻块不可用的情况下，可以通过针对与多个连续相邻块的两侧相邻的块的帧内预测模式执行加权和来得到多个不可用相邻块中的每个块的帧内预测模式。

在示例中，在图31所示出的示例中，在相邻块X1与相邻块X2之间的块都不可用的情况下，可以通过针对与相邻块X1的顶部相邻的块的帧内预测模式17和与相邻块X2的底部相邻的块的帧内预测模式20执行加权和来得到从相邻块X1至相邻块X2的每个左侧子块的帧内预测模式。

可替选地，在多个连续的相邻块不可用的情况下，根据扫描顺序选择的可用相邻块的帧内预测模式可以被配置为多个连续相邻块中的所有相邻块的帧内预测模式。

此外，非定向帧内预测模式例如DC模式和/或平面模式可以被配置成不可用作参考模式。换言之，在相邻块的帧内预测模式是非定向帧内预测模式的情况下，可以将对应的相邻块确定为不可用。在这种情况下，根据通过图30和图31描述的实施方式，可以新得到不可用相邻块的帧内预测模式。

还可以在将非定向帧内预测模式配置为参考模式之后得到子块的帧内预测模式。

基于当前块周围的参考模式，可以以当前块中的子块为单元得到帧内预测模式。具体地，相邻块的参考模式可以被配置为与相邻块属于同一列或同一行的子块的帧内预测模式。

图32和图33示出了基于参考模式来配置子块的帧内预测模式的示例。

图32示出了其中顶部相邻块的参考模式被配置为与顶部相邻块属于同一列的子块的帧内预测模式的示例。在这种情况下，属于同一列的子块的帧内预测模式具有相同的值。

图33示出了其中左侧相邻块的参考模式被配置为与左侧相邻块属于同一行的子块的帧内预测模式的示例。在这种情况下，属于同一行的子块的帧内预测模式具有相同的值。

作为另一示例，可以通过针对与子块属于同一列的顶部相邻块的参考模式和与子块属于同一行的左侧相邻块的参考模式执行加权和来得到子块的帧内预测模式。

图34和图35示出了通过对参考模式执行加权和来得到子块的帧内预测模式的示例。

如图34的(a)中所示出的示例中，通过针对顶部相邻块的参考模式和左侧相邻块的参考模式执行加权和所得到的加权和模式可以被配置为子块的帧内预测模式。在假设相同的权重被应用于顶部相邻块的参考模式和左侧相邻块的参考模式的情况下，两个参考模式之间的平均值可以被配置为子块的帧内预测模式。在示例中，在顶部相邻块的参考模式是编号50并且左侧相邻块的参考模式是编号18的情况下，编号34(两个参考模式的平均值)可以被配置为子块的帧内预测模式。图34的(b)示出了其中得到两个参考模式之间的平均值作为子块中的每个子块的加权和模式的示例。

可以根据子块的位置来自适应地确定分配给顶部相邻块的参考模式的权重和分配给左侧相邻块的参考模式的权重。在示例中，当在子块与左侧相邻块之间的距离是x并且子块与顶部相邻块之间的距离是y的情况下，应用于左侧相邻块的权重被配置为y/(x+y)，并且应用于顶部相邻块的参考模式的权重可以被配置为x/(x+y)。换言之，在将子块与左侧相邻块之间的距离和子块与顶部相邻块之间的距离进行比较之后，在子块相比于靠近顶部相邻块而更靠近左侧相邻块的情况下，可以将更大的权重分配给左侧相邻块的参考模式，并且在子块相比于靠近左侧相邻块而更靠近顶部相邻块的情况下，可以将更大的权重分配给顶部相邻块的参考模式。

图35将其中在应用于左侧相邻块的参考模式的权重与应用于顶部相邻块的参考模式的权重相同的情况下得到加权和模式的示例(图35的(a))与其中在应用于左侧相邻块的参考模式的权重被配置成大于应用于顶部相邻块的参考模式的权重的情况下得到加权和模式的示例(图35的(b))进行了比较并且示出了上述示例。

可替选地，可以以子块列为单元来确定应用于左侧相邻块的权重，并且可以以子块行为单元来确定应用于顶部相邻块的权重。

在示例中，在当前块中存在N列的情况下，用于每列的左侧相邻块的参考模式的权重可以被配置为(N-n)/N。此处，n表示分配给当前列的索引。具体地，索引0被分配给与当前块的左侧边界相邻的列，并且每次向右侧列移动时索引值增加1。

在示例中，在当前块中存在M列的情况下，用于每行的顶部相邻块的参考模式的权重可以被配置为(M-m)/M。此处，m表示分配给当前行的索引。具体地，索引0被分配给与当前块的顶部边界相邻的行，并且每次向底部行移动时索引值增加1。

可替选地，不管子块的位置如何，应用于左侧相邻块的权重和应用于顶部相邻块的权重可以被配置为相同的值。

在得到每个子块的帧内预测模式的情况下，可以基于每个子块的帧内预测模式针对每个子块执行帧内预测。在这种情况下，可以基于根据当前块所得到的参考像素来执行每个子块的帧内预测。

在针对每个子块得到帧内预测模式的情况下，可以存储每个子块的帧内预测模式。在这种情况下，子块中的至少一个子块可以被用作稍后要被编码/解码的块的MPM候选。在示例中，如果以子块为单元得到帧内预测模式的方法被应用于在预定编码块的顶部位置处的相邻块，则在预定编码块的顶部位置处的子块的帧内预测模式中的至少一个帧内预测模式可以被用作预定编码块的MPM候选。

代替存储每个子块的帧内预测模式，可以将当前块中的特定位置处的子块指定为代表块，并且可以仅存储代表块的帧内预测模式。在这种情况下，可以仅将多个子块中的代表块的帧内预测模式用作稍后要编码/解码的块的MPM候选。

包括当前块中的参考位置处的像素的子块可以被配置为代表块。此处，参考位置处的像素可以是在中心位置处的像素、左上位置处的像素、左下位置处的像素、右上位置处的像素或在右下位置处的像素。

图36示出了其中将包括当前块的中心位置处的像素的子块指定为代表块的示例。

如图36中所示出的示例中，在包括中心位置处的像素的子块被指定为代表块的情况下，对应子块的帧内预测模式可以被存储为当前块的帧内预测模式。

作为另一示例，在以子块为单元得到帧内预测模式的方法被应用于当前块的情况下，默认模式可以被存储为当前块的帧内预测模式。此处，默认模式可以是DC模式、平面模式或预定义方向上的定向模式。预定义方向上的定向模式可以是垂直模式、水平模式或对角线模式中的至少一个。

可替选地，多个参考模式中的一个参考模式可以被配置为代表模式，并且被配置的代表模式可以被存储为当前块的帧内预测模式。

在示例中，当前块的顶部子块的参考模式中的一个参考模式可以被配置为代表模式。具体地，包括图22和图23中所示出的位置A处的像素的子块的参考模式可以被配置为代表模式。

在示例中，当前块的左侧子块的参考模式中的一个参考模式可以被配置为代表模式。具体地，包括图22和图23中所示出的位置L处的像素的子块的参考模式可以被配置为代表模式。

在上面描述的示例中，示出了通过使用当前块周围的参考模式按子块得到单个帧内预测模式。

如上面所描述的，代替得到单个预测模式，在基于多个参考模式执行多个帧内预测之后，还可以通过使用作为多个帧内预测的结果所生成的多个预测块来获取子块的预测块。

图37是示出通过执行多个帧内预测来生成子块的预测块的示例的图。

可以通过基于与子块属于同一列的顶部相邻块的参考模式执行帧内预测来生成第一预测块(使用左侧模式的子预测块)。另外，可以通过基于与子块属于同一行的左侧相邻块的参考模式执行帧内预测来生成第二预测块(使用顶部模式的子预测块)。

然后，基于对第一预测块和第二预测块的加权和运算，可以获取子块的预测块(加权和子预测块)。

在这种情况下，应用于第一预测块和第二预测块的权重可以被配置为相同的值。

可替选地，应用于第一预测块和第二预测块的权重可以以与先前在得到加权和模式的实施方式中所描述的方式相同的方式来进行配置。在示例中，可以通过将子块与顶部相邻块之间的距离和子块与左侧相邻块之间距离进行比较来确定应用于第一预测块和第二预测块的权重。在示例中，在子块相比于靠近顶部相邻块而更靠近左侧相邻块的情况下，可以将更大的权重赋予基于左侧相邻块的参考模式得到的第二预测块。相反，在子块相比于靠近左侧相邻块而更靠近顶部相邻块的情况下，可以将更大的权重赋予基于顶部相邻块的参考模式得到的第一预测块。

可替选地，可以以子块列为单元来确定应用于基于左侧相邻块的参考模式所得到的第二预测块的权重，并且可以以子块行为单元来确定应用于基于顶部相邻块的参考模式所得到的第一预测块的权重。

作为另一示例，可以根据用于得到第一预测块和第二预测块中的每一个预测块的帧内预测模式的类型来自适应地确定权重。在示例中，分配给在非定向帧内预测模式下得到的预测块的权重可以具有比分配给在定向帧内预测模式下得到的预测块的权重更大的值。

即使在通过针对第一预测块和第二预测块执行加权和来得到子块的预测块的情况下，也可以以与得到加权和模式的情况下相同的方式来存储帧内预测模式。

在示例中，在针对子块中的每个子块得到加权和模式之后，可以将所得到的加权和模式存储为对应子块的帧内预测模式。

可替选地，可以将多个子块中的代表块的加权和模式存储为当前块的帧内预测模式。

可替选地，可以将默认模式存储为当前块的帧内预测模式。

可替选地，可以将与当前块相邻的相邻块中的代表块的参考模式存储为当前块的帧内预测模式。

在上述实施方式中，描述了子块中的每个子块参考与子块属于同一行和/或同一列的相邻块的参考模式。具体地，示出了通过参考与子块属于同一行和/或同一列的至少一个相邻块的参考模式来得到子块的帧内预测模式，或者基于多个相邻块的参考模式生成子块的多个预测块。

与所描述的示例不同，在编码块的级别处确定帧内预测模式之后，可以基于帧内预测模式来确定每个子块应当参考的至少一个相邻块的位置。

在示例中，在编码块的级别处确定的帧内预测模式是垂直定向模式的情况下，与子块属于同一列的顶部相邻块的参考模式可以被配置为子块的帧内预测模式。

在示例中，在编码块的级别处确定的帧内预测模式在左上对角线方向上的情况下，位于子块的左上对角线方向上的相邻块的参考模式可以被配置为子块的帧内预测模式。

表示是否应用以子块为单元执行帧内预测的方法的信息可以通过比特流明确地发信号通知。在示例中，该信息可以是1比特标志。在标志表示应用了以子块为单元执行帧内预测的方法的情况下，可以基于当前块周围的参考模式针对子块中的每个子块单独地执行帧内预测。另一方面，在标志表示没有应用以子块为单元执行帧内预测的方法的情况下，可以通过将单个帧内预测模式应用于当前块来执行帧内预测。

在应用上面描述的以子块为单元执行帧内预测的方法的情况下，可以另外地确定是否将子块中的每个子块配置为变换单元。此处，变换单元表示用于执行量化或变换中的至少一者的单元。

图38是示出根据子块是否被配置为变换单元的编码/解码方面的图。

在确定将子块中的每个子块配置为变换单元的情况下，可以以子块为单元执行变换/逆变换。换言之，帧内预测单元和用于变换/逆变换的变换单元可以被配置为是相同的。

在子块没有被配置为变换单元的情况下，变换单元可以以大于子块的块为单元来进行配置。在图39所示出的示例中，示出了16x16大小的编码块被配置为变换单元。与所示出的示例不同，变换单元还可以以16x8、8x16或8x8大小的单元来进行配置。在这种情况下，帧内预测单元和变换单元被不同地配置。

在应用以子块为单元执行帧内预测的方法的情况下，可以另外地对用于确定变换单元的大小的信息进行编码/解码。在示例中，该信息可以是表示是否将子块中的每个子块用作变换单元的1比特标志。在标志表示子块不被用作变换单元的情况下，可以另外地对表示变换单元的大小的信息进行编码/解码。

可替选地，该信息可以是表示变换单元的大小的信息。该信息可以指示4x4、8x8或整个块中的至少一个。

作为另一示例，在应用以子块为单元执行帧内预测的方法的情况下，子块可以默认地被配置为变换单元。换言之，在应用以子块为单元执行帧内预测的方法的情况下，可以总是以子块的单元执行变换/逆变换。

在子块中的每个子块被配置为变换单元的情况下，可以基于子块中的每个子块的帧内预测模式来确定子块的变换内核或者是否跳过子块的变换中的至少一者。此处，变换内核可以包括基于DCT的内核(例如，DCT2、DCT8等)和/或基于DST的内核(例如，DST7)中的至少一者。

图39示出了其中按子块确定是否跳过变换和变换内核的示例。

作为另一示例，在应用以子块为单元执行帧内预测的方法的情况下，可以将默认变换内核配置成要在当前块内的所有区域中使用。此处，默认变换内核可以是DCT2、DCT8或DST7之一。

在基于解码处理或编码处理描述的实施方式应用于编码处理或解码处理的情况下，其被包括在本公开内容的范围内。在以预定顺序描述的实施方式以不同于描述的顺序改变时，其也包括在本公开内容的范围内。

上述公开内容是基于一系列步骤或流程图来描述的，但是其不限制本公开内容的时间序列顺序，并且如果必要，其可以同时或以不同顺序执行。另外，可以将配置上述公开内容中的框图的每个部件(例如，单元、模块等)实现为硬件装置或软件，并且多个部件可以被组合并被实现为一个硬件装置或软件。可以通过以可以由各种计算机部件执行的程序指令的形式实现将上述公开内容记录在计算机可读记录介质中。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。特别地被配置成存储和执行诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM、DVD的光记录介质、诸如光软盘的磁光介质以及诸如ROM、RAM、闪存等的程序指令的硬件装置包括在计算机可读记录介质中。硬件装置可以被配置成作为一个或更多个软件模块来操作以执行根据本公开内容的处理，并且反之亦然。

【工业可用性】

本公开内容可以应用于可以对视频信号进行编码/解码的计算装置或电子装置。

Claims (15)

1.一种对图像进行解码的方法，所述方法包括：

得到当前块的每个相邻块的参考模式；以及

基于参考模式中的至少一个参考模式，针对所述当前块中具有比所述当前块更小的大小的子块执行帧内预测。

2.根据权利要求1所述的方法，其中：

根据基于所述至少一个参考模式得到的帧内预测模式来执行所述子块的所述帧内预测。

3.根据权利要求2所述的方法，其中：

通过在所述参考模式中选择的第一参考模式与第二参考模式之间的加权和运算来得到所述帧内预测模式。

4.根据权利要求3所述的方法，其中：

所述第一参考模式是与所述子块属于同一列的顶部相邻块的帧内预测模式，并且

所述第二参考模式是与所述子块属于同一行的左侧相邻块的帧内预测模式。

5.根据权利要求4所述的方法，其中：

在所述加权和运算中，基于所述子块与所述顶部相邻块之间的距离以及所述子块与所述左侧相邻块之间的距离来确定应用于所述第一参考模式的第一权重和应用于所述第二参考模式的第二权重。

6.根据权利要求1所述的方法，其中：

基于所述相邻块的帧内预测模式来得到所述参考模式，并且

在所述相邻块未被通过帧内预测进行编码的情况下，基于与所述相邻块相邻的至少一个块的帧内预测模式来得到所述参考模式。

7.根据权利要求6所述的方法，其中：

在所述相邻块未被通过帧内预测进行编码的情况下，将位于所述相邻块两侧的块的帧内预测模式的平均值、最小值或最大值配置为所述参考模式。

8.根据权利要求1所述的方法，其中：

根据通过基于在所述参考模式中选择的第一参考模式的第一帧内预测而生成的第一预测块和通过基于在所述参考模式中选择的第二参考模式的第二帧内预测而生成的第二预测块，生成所述子块的第三预测块。

9.根据权利要求8所述的方法，其中：

基于所述第一预测块与所述第二预测块之间的加权和运算来获得所述第三预测块。

10.根据权利要求9所述的方法，其中：

在所述加权和运算中，基于所述子块与所述顶部相邻块之间的距离以及所述子块与所述左侧相邻块之间的距离来确定应用于所述第一预测块的第一权重和应用于所述第二预测块的第二权重。

11.根据权利要求1所述的方法，其中：

在针对具有比所述当前块更小的大小的所述子块执行帧内预测的情况下，所述子块被配置为用于执行逆变换的单元。

12.根据权利要求11所述的方法，其中：

根据基于所述子块的帧内预测模式确定的变换内核来执行所述逆变换。

13.根据权利要求1所述的方法，其中：

在针对具有比所述当前块更小的大小的所述子块执行帧内预测的情况下，选择性地确定所述子块是否将被配置为用于执行逆变换的单元。

14.一种对图像进行编码的方法，所述方法包括：

得到当前块的每个相邻块的参考模式；以及

基于参考模式中的至少一个参考模式，针对所述当前块中具有比所述当前块更小的大小的子块执行帧内预测。

15.一种计算机可读记录介质，其存储通过图像编码方法生成的比特流，所述编码方法包括：

得到当前块中的每个相邻块的参考模式；以及

基于参考模式中的至少一个参考模式，针对所述当前块中具有比所述当前块更小的大小的子块执行帧内预测。