[go: up one dir, main page]

CN111295882A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN111295882A
CN111295882A CN201880071359.4A CN201880071359A CN111295882A CN 111295882 A CN111295882 A CN 111295882A CN 201880071359 A CN201880071359 A CN 201880071359A CN 111295882 A CN111295882 A CN 111295882A
Authority
CN
China
Prior art keywords
image
reference direction
unit
determination unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880071359.4A
Other languages
English (en)
Inventor
森上义崇
名云武文
樱井裕音
福山贵士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of CN111295882A publication Critical patent/CN111295882A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

参考方向确定单元44使用输入图像来检测场景变化、闪光场景或亮度单调变化区间。如果要编码的图像是场景变化或闪光场景，则参考方向确定单元44将画面内的参考方向确定为处于其中参考方向无一例外地被固定的参考方向固定模式。此外，如果要编码的图像是亮度单调变化区间，即，其中整个画面的亮度单调增加或单调降低的区间，则参考方向确定单元44将画面内的参考方向确定为处于其中参考方向无一例外地被固定的参考方向固定模式。运动预测/补偿单元42能够通过根据参考方向确定单元44的确定的结果执行帧间预测处理，在抑制图像质量劣化的同时高效地执行编码。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，并且在抑制解码图像的图像质量劣化的同时实现高效的编码。
背景技术
通常，为了高效地传输或记录运动图像，广泛地使用了生成运动图像数据的编码流的图像处理装置。在运动图像数据的编码中，执行基于运动矢量的运动预测和运动补偿。在专利文献1中，描述了检测本来难以通过基于运动矢量的运动预测来检测的褪色区间，以及在褪色区间中执行加权预测。
引用列表
专利文献
专利文献1：日本专利申请特开第2008-005145号
发明内容
本发明要解决的问题
顺便提及，在检测褪色区间并且执行加权预测的情况下，如果未适当设置加权因子和偏移值，则利用加权预测不能够获得足够的性能。因此，存在图像质量降低的可能。
此外，例如，在为了减少编码流的传输等所需的带宽而限制双向预测图像的参考方向的情况下，除非用于预测的参考方向是适当的，否则存在图像质量劣化或编码效率降低的可能。
因此，本技术提供了一种图像处理装置和一种图像处理方法，其能够在抑制解码图像的图像质量降低的同时执行高效的编码。
问题的解决方案
本技术的第一方面是一种图像处理装置，包括：
参考方向确定单元，其对于亮度变化区间中包括的图像的图片，针对亮度变化区间中包括的图片中的每个块自适应地选择图像编码处理中的时间方向预测的参考方向。
在本技术中，参考方向确定单元基于输入图像在图片中一致地固定输入图像的编码处理中的时间方向预测的参考方向，或者针对图片中的每个块自适应地选择参考方向。例如，在亮度变化区间包括与场景变化或闪光对应的图像的图片的情况下，参考方向确定单元仅对于亮度变化区间中包括的图像的图片，针对图片中的每个块自适应地选择参考方向。此外，在基于图片中的亮度平均值检测到单调亮度变化区间的情况下，参考方向确定单元对于单调亮度变化区间中包括的图像的图片，在图片中一致地固定参考方向。此外，参考方向确定单元使用输入图像来检测遮挡区域，并且在检测到的遮挡区域中，针对每个块自适应地选择参考方向。
此外，样本自适应偏移模式候选选择单元在单调亮度变化区间中，使用带偏移作为对使用预测图像和恢复的差分图像生成的解码图像的样本自适应偏移处理候选。另外，正交变换模式候选选择单元在单调亮度变化区间中，将对输入图像与预测图像之间的差分图像的正交变换处理设置为适合于一致亮度变化的正交变换模式。另外，在单调亮度变化区间中的参考图像列表中存在多个索引的情况下，信息改变处理单元将用于预测的参考方向上的索引值改变为具有少的代码量的索引值。
另外，对于未被包括在亮度变化区间和单调亮度变化区间中的图像的图片，参考方向确定单元进行在图片中一致地固定或针对图片中的每个块自适应地选择的处理。此外，参考方向确定单元基于成像控制信息来检测亮度变化区间中包括的图像的图片。
在图片中一致地固定参考方向的情况下，参考方向确定单元将参考面固定在L0方向、L1方向、以及L0方向和L1方向的双方向中的任一个上。此外，参考方向确定单元基于时间位置关系选择要固定的参考面。例如，参考方向确定单元选择具有短参考距离的参考面。此外，参考方向确定单元可以基于时间位置关系和阶层关系来选择参考面。例如，参考方向确定单元选择阶层较浅的参考面，阶层较浅的参考面的图像质量比阶层较深的参考面的图像质量更好。此外，在图片中一致地固定参考方向的情况下，参考方向确定单元根据输入图像的特性来确定参考方向。例如，参考方向确定单元选择亮度特性更接近于编码目标图像的亮度特性的图像的方向作为参考方向。
本技术的第二方面是
一种图像处理方法，包括：
对于亮度变化区间中包括的图像的图片，由参考方向确定单元针对亮度变化区间中包括的图片中的每个块自适应地选择图像编码处理中的时间方向预测的参考方向。
发明的效果
根据本技术，对于亮度变化区间中包括的图像的图片，由参考方向确定单元针对亮度变化区间中包括的图片中的每个块自适应地选择图像编码处理中的时间方向预测的参考方向。因此，时间方向预测的参考方向被设置为适当的方向，并且可以在抑制解码图像的图像质量劣化的同时高效地执行编码。注意，本说明书中描述的效果仅是示例并且不受限制，并且可以具有附加的效果。
附图说明
图1是用于描述本技术的特征的图。
图2是示出图像处理装置的配置的图。
图3是示出图像处理装置的操作的流程图。
图4是示出第一模式下的参考方向确定单元的配置的图。
图5是示出第一模式下的参考方向确定单元的操作的流程图。
图6是示出第一模式下的操作示例的图。
图7是示出第二模式下的参考方向确定单元的配置的图。
图8是示出第二模式下的参考方向确定单元的操作的流程图。
图9是示出第二模式下的操作示例的图。
图10是示出滤波处理单元的配置的一部分的图。
图11是示出SAO模式候选选择单元的操作的流程图。
图12是示出“样本自适应偏移语法”的图。
图13是示出第二操作的图。
图14是示出SAO处理的图。
图15是示出正交变换单元的配置的一部分的图。
图16是示出正交变换模式候选选择单元的操作的流程图。
图17是示出“参考图片列表修改语法”的图。
图18是示出在隔行扫描图像(interlaced image)的情况下的参考图像列表的图。
图19是示出在将第一模式与第二模式组合的情况下的参考方向确定单元的配置的图。
图20是示出参考方向确定单元的操作的流程图。
图21是示出参考方向确定单元的另一操作的流程图。
图22是示出第三模式的配置的图。
图23是示出参考方向确定单元的操作的流程图。
图24是示出遮挡区域块的图。
图25是例示在基于成像控制信息确定参考方向的情况下的参考方向确定单元的配置的图。
图26是示出“宏块层语法”的图。
图27是示出“子宏块预测语法”的图。
图28是示出“宏块预测语法”的图。
图29是示出“预测单元语法”的图。
图30是示出参考确定处理单元的操作的一部分的流程图，并且是示出选择参考图像固定模式的情况的图。
图31是用于描述第二操作的图。
图32是示出在基于时间位置关系和阶层关系选择参考图像的情况下的操作的图。
图33是示出参考确定处理单元的操作的一部分的流程图，并且是示出选择参考图像固定模式的情况的图。
具体实施方式
在本技术中，通过基于输入图像选择用于在图片中(也被称为在画面中)一致地固定参考方向的方法(在下文中被称为“固定参考方向模式”)或者用于针对每个块在图片中自适应地切换参考方向的方法(在下文中被称为“参考方向自适应选择模式”)，在图像编码处理中的时间方向预测中对参考方向进行限制。因此，通过根据输入图像选择模式中的任一模式，可以在抑制解码图像的图像质量劣化的同时高效地执行编码。
图1是用于描述本技术的特征的图。在编码目标图像(帧图像或场图像)是与亮度变化区间对应的图像例如场景变化或闪光(闪光场景)的情况下，如果图片中的参考方向被固定为相同的一个方向，则在参考图像是场景变化之前或闪光场景之前的图像的情况下，解码图像的图像质量劣化并且编码效率降低。因此，如在第一模式中所示，对于亮度变化区间中包括的输入图像的图片，图像处理装置选择参考方向自适应选择模式并且执行编码处理。
此外，在编码目标图像是例如褪色区间或其中整个画面的亮度由于曝光控制而单调增加或单调降低的区间(也被称为单调亮度变化区间)的情况下，如果在图片中参考方向不同，则存在如下情况：在解码图像中发生根据参考方向的差异的亮度变化，并且图像质量劣化。因此，如在第二模式中所示，对于单调亮度变化区间中包括的图像的图片，图像处理装置选择固定参考方向模式并且执行编码处理。
此外，如果遮挡区域被包括在图片中并且图片中的参考方向被固定为相同的一个方向，则在遮挡区域未被包括在参考图像中的情况下，发生解码图像的图像质量的劣化以及编码效率的降低。因此，如在第三模式中所示，在编码对象图像的块为遮挡区域的情况下，图像处理装置选择参考方向自适应选择模式并且执行编码处理。注意，模式选择不限于第一模式至第三模式，并且可以执行下述操作：在强调运动的自然感的情况下选择参考方向自适应选择模式，或在强调图片中的图像质量的稳定感的情况下选择固定参考方向模式，等等。
本技术中公开的范围不仅包括在用于实现本发明的模式中描述的内容，而且还包括在以下公知的文献1至5中描述的内容(注意，在以下描述中，文献1和2中示出的标准也被称为“AVC标准”，并且文献3和4中示出的标准也被称为“HEVC标准”)。
文献1：ITU-T Rec.H.264:“Advanced video coding for generic audiovisualservices”
文献2：ISO/IEC 14496-10:“Advanced Video Coding”
文献3：ITU-T Rec.H.265:“High Efficiency Video Coding”
文献4：ISO/IEC 23008-2:“High Efficiency Video Coding”
文献5：Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11 7th Meeting:Torino,IT,13-21July 2017:JVET-G1001-v1“Algorithm Description of Joint Exploration Test Model 7”
在下文中，将描述用于实现本技术的模式。注意，将按以下顺序给出描述。
1-1.图像处理装置的配置
1-2.图像处理装置的操作
2.第一模式
3.第二模式
3-1.第二模式下的第一操作
3-2.第二模式下的第二操作
3-3.第二模式下的第三操作
3-4.第二模式下的第四操作
4.第一模式与第二模式的组合
5.第三模式
6.其他模式
7.固定参考方向模式下的操作
7-1.固定参考方向模式下的第一操作
7-2.固定参考方向模式下的第二操作
7-3.固定参考方向模式下的第三操作
<1-1.图像处理装置的配置>
图2示出了图像处理装置的配置。图像处理装置10包括画面重排缓冲器21、运算单元22、正交变换单元23、量化单元24、无损编码单元25、累积缓冲器26和速率控制单元27。此外，图像处理装置10包括逆量化单元31、逆正交变换单元32、运算单元33、滤波处理单元34、帧存储器35和选择单元36。此外，图像处理装置10包括帧内预测单元41、运动预测/补偿单元42、预测选择单元43和参考方向确定单元44。
画面重排缓冲器21根据图片组(GOP)结构将以显示顺序存储的帧图像重排为用于编码的顺序(编码顺序)。画面重排缓冲器21将以编码顺序排列的帧图像的数据(原始图像数据)输出至运算单元22。此外，画面重排缓冲器21将原始图像数据输出至滤波处理单元34、帧内预测单元41和运动预测/补偿单元42。
运算单元22针对每个像素从由画面重排缓冲器21提供的原始图像数据中减去由帧内预测单元41或运动预测/补偿单元42经由预测选择单元43提供的预测图像数据，并且然后将指示预测残差的残差数据输出至正交变换单元23。
例如，在对其执行帧内编码的图像的情况下，运算单元22从原始图像数据中减去由帧内预测单元41生成的预测图像数据。此外，例如，在对其执行帧间编码的图像的情况下，运算单元22从原始图像数据中减去由运动预测/补偿单元42生成的预测图像数据。
正交变换单元23对由运算单元22提供的残差数据执行用于执行正交变换例如离散余弦变换的正交变换处理。正交变换单元23将通过执行正交变换处理获得的变换系数输出至量化单元24。此外，在可以从多个正交变换模式中选择用于处理的模式的情况下，正交变换单元23根据参考方向确定单元44的确定结果来选择正交变换模式候选。
量化单元24对从正交变换单元23输出的变换系数进行量化。量化单元24将变换系数的量化数据输出至无损编码单元25。此外，量化单元24还将生成的量化数据输出至逆量化单元31。
无损编码单元25对量化数据执行诸如无损编码的熵编码处理，例如，上下文自适应二进制算术编码(CABAC)等。此外，无损编码单元25获取由预测选择单元43选择的预测模式的参数，例如，诸如指示帧内预测模式的信息的参数，或诸如指示帧间预测模式的信息和运动矢量信息的参数。此外，无损编码单元25从滤波处理单元34获取关于滤波处理的参数。无损编码单元25对量化数据进行编码并且对获取的参数(语法元素)中的每个参数进行编码，从而将其累积(通过多路复用)在累积缓冲器26中作为标头信息的一部分。
累积缓冲器26临时保存由无损编码单元25提供的数据，并且在预定定时将其作为编码流输出至例如记录装置、稍后阶段的传输路径(未示出)等。
速率控制单元27基于累积在累积缓冲器26中的数据量来控制量化单元24的量化操作速率，使得不会发生上溢或下溢。
逆量化单元31通过与由量化单元24执行的量化对应的方法对由量化单元24提供的变换系数的量化数据执行逆量化。逆量化单元31将获得的逆量化数据输出至逆正交变换单元32。
逆正交变换单元32通过与由正交变换单元23执行的正交变换处理对应的方法对提供的逆量化数据执行逆正交变换。逆正交变换单元32将逆正交变换的结果——即恢复的残差数据——输出至运算单元33。
运算单元33将经由预测选择单元43由帧内预测单元41或运动预测/补偿单元42提供的预测图像数据与由逆正交变换单元32提供的残差数据相加，并且获得本地解码图像(解码图像)。例如，在残差数据与对其执行帧内编码的图像对应的情况下，运算单元33将由帧内预测单元41提供的预测图像数据与残差数据相加。此外，例如，在残差数据与对其执行帧间编码的图像对应的情况下，运算单元33将由运动预测/补偿单元42提供的预测图像数据与残差数据相加。作为相加结果的解码图像数据被输出至滤波处理单元34。
使用双边滤波器、去块滤波器、自适应偏移滤波器或自适应环路滤波器中的至少任一个来配置滤波处理单元34。滤波处理单元34将滤波处理之后的解码图像数据输出至帧存储器35。此外，在可以在滤波处理中执行多个处理的情况下，滤波处理单元34根据参考方向确定单元44的确定结果选择滤波处理候选。滤波处理单元34将关于解码图像数据的滤波处理的信息作为参数输出至无损编码单元25。注意，滤波处理单元34还具有使滤波处理无效并且将由运算单元33提供的解码图像数据输出至帧存储器35的功能。
累积在帧存储器35中的参考图像数据在预定定时经由选择单元36被输出至帧内预测单元41或运动预测/补偿单元42。例如，在对其执行帧内编码的图像的情况下，参考图像数据从帧存储器35被读取，并且经由选择单元36被输出至帧内预测单元41。此外，例如，在执行帧间编码的情况下，参考图像数据从帧存储器35被读取，并且经由选择单元36被输出至运动预测/补偿单元42。
帧内预测单元41执行使用画面中的像素值来生成预测图像的帧内预测(画面内预测)。帧内预测单元41通过使用由运算单元33生成并且存储在帧存储器35中的解码图像数据作为参考图像数据，针对每个帧内预测模式生成预测图像数据。此外，帧内预测单元41使用由画面重排缓冲器21提供的原始图像数据和预测图像数据来计算每个帧内预测模式的成本(例如，速率失真成本)等，并且选择计算出的成本最小的最佳模式。在选择最佳帧内预测模式之后，帧内预测单元41向预测选择单元43输出选择的帧内预测模式的预测图像数据、诸如指示选择的帧内预测模式的帧内预测模式信息的参数、成本等。
运动预测/补偿单元42通过使用由画面重排缓冲器21提供的原始图像数据以及经受滤波处理并且被存储在帧存储器35中作为参考图像数据的解码图像数据，对对其执行帧间编码的图像执行帧间预测(时间方向预测)。此外，运动预测/补偿单元42使用在由参考方向确定单元44确定的参考方向上的参考图像数据执行运动预测。此外，运动预测/补偿单元42根据通过运动预测检测到的运动矢量执行运动补偿处理，并且生成预测图像数据。
运动预测/补偿单元42在所有帧间预测模式下执行预测处理，针对每个帧间预测模式生成预测图像数据以计算成本(例如，速率失真成本)等，并且选择其中计算出的成本最小的最佳模式。在选择最佳帧间预测模式之后，运动预测/补偿单元42向预测选择单元43输出选择的帧间预测模式的预测图像数据、诸如指示采用的帧间预测模式的帧间预测模式信息以及指示计算的运动矢量的运动矢量信息的参数、成本等。
预测选择单元43基于帧内预测模式和帧间预测模式的成本来选择最佳预测处理。在选择帧内预测处理的情况下，预测选择单元43将由帧内预测单元41提供的预测图像数据输出至运算单元22和运算单元33，并且将诸如帧内预测模式信息的参数输出至无损编码单元25。在选择帧间预测处理的情况下，预测选择单元43将由运动预测/补偿单元42提供的预测图像数据输出至运算单元22和运算单元33，并且将诸如帧间预测模式信息和运动矢量信息的参数输出至无损编码单元25。
参考方向确定单元44检测场景变化/闪光场景或单调亮度变化区间作为对输入图像的预定变化的检测，并且基于检测结果确定参考方向，如图1所示。换言之，在编码目标图像是场景变化或闪光场景的情况下，参考方向确定单元44在参考方向自适应选择模式下使运动预测/补偿单元42执行帧间预测。此外，在编码目标图像是单调亮度变化区间的情况下，参考方向确定单元44在固定参考方向模式下使运动预测/补偿单元42执行帧间预测。此外，参考方向确定单元44根据单调亮度变化区间的检测结果来控制正交变换单元23和滤波处理单元34的操作。
<1-2.图像处理装置的操作>
接下来，将描述图像处理装置的操作。图3是示出图像处理装置的操作的流程图。
在步骤ST1中，图像处理装置执行画面重排处理。图像处理装置10的画面重排缓冲器21将显示顺序的帧图像重排为编码顺序，并且将其输出至帧内预测单元41和运动预测/补偿单元42。
在步骤ST2中，图像处理装置执行帧内预测处理。图像处理装置10的帧内预测单元41使用从帧存储器35读取的参考图像数据，通过在所有候选帧内预测模式下对处理目标块的像素执行帧内预测来生成预测图像数据。此外，帧内预测单元41使用生成的预测图像数据和原始图像数据来计算成本。注意，存储在帧存储器35中的解码图像数据在滤波处理单元34的滤波处理被无效之后用作参考图像数据。帧内预测单元41基于计算的成本来选择最佳帧内预测模式，并且将通过最佳帧内预测模式下的帧内预测生成的预测图像数据、参数和成本输出至预测选择单元43。
在步骤ST3中，图像处理装置执行参考方向确定处理。图像处理装置10的参考方向确定单元44使用输入图像从适合于固定参考方向模式的图像中确定编码目标图像是否是适合于参考方向自适应选择模式的图像。
在步骤ST4中，图像处理装置执行运动预测/补偿处理。图像处理装置10的运动预测/补偿单元42使用原始图像数据以及滤波处理之后的存储在帧存储器35中作为参考图像数据的解码图像数据来执行运动预测。另外，运动预测/补偿单元42使用在与步骤ST3中的确定结果对应的模式下选择的参考图像数据来执行运动预测。此外，运动预测/补偿单元42根据由运动预测检测的运动矢量执行运动补偿处理，并且针对每个帧间预测模式生成预测图像数据。另外，运动预测/补偿单元42使用生成的预测图像数据和原始图像数据来计算成本。运动预测/补偿单元42基于计算的成本来确定最佳帧间预测模式。
在步骤ST5中，图像处理装置执行预测图像选择处理。图像处理装置10的预测选择单元43基于在步骤ST2和步骤ST4中计算的成本，将最佳帧内预测模式和最佳帧间预测模式中的一个确定为最佳预测模式。然后，预测选择单元43选择确定的最佳预测模式下的预测图像数据，并且将其输出至运算单元22和33。注意，预测图像数据用于稍后描述的步骤ST6和ST11中的计算。此外，预测选择单元43将关于最佳预测模式的参数输出至无损编码单元25。
在步骤ST6中，图像处理装置执行差分计算处理。图像处理装置10的运算单元22计算在步骤ST1中重排的原始图像数据与在步骤ST5中选择的预测图像数据之间的差分，并且将作为差分结果的残差数据输出至正交变换单元23。
在步骤ST7中，图像处理装置执行正交变换处理。图像处理装置10的正交变换单元23对由运算单元22提供的残差数据执行正交变换。具体地，执行诸如离散余弦变换的正交变换，并且将获得的变换系数输出至量化单元24。
在步骤ST8中，图像处理装置执行量化处理。图像处理装置10的量化单元24对由正交变换单元23提供的变换系数或残差数据进行量化。在该量化时，如稍后描述的步骤ST16的处理中所述来控制速率。
如上所述生成的量化信息如下进行本地解码。换言之，在步骤ST9中，图像处理装置执行逆量化处理。图像处理装置10的逆量化单元31使用与量化单元24对应的特性对从量化单元24输出的量化数据进行逆量化。
在步骤ST10中，图像处理装置执行逆正交变换处理。图像处理装置10的逆正交变换单元32使用与正交变换单元23对应的特性对由逆量化单元31生成的逆量化数据执行逆正交变换以生成残差数据，并且然后将残差数据输出至运算单元33。
在步骤ST11中，图像处理装置执行图像相加处理。图像处理装置10的运算单元33将从预测选择单元43输出的预测图像数据与本地解码的残差数据相加，并且生成本地解码(即，本地的解码)图像。
在步骤ST12中，图像处理装置执行滤波处理。图像处理装置10的滤波处理单元34使用从运算单元33输出的解码图像数据执行双边滤波处理、去块滤波处理、自适应偏移滤波处理或自适应环路滤波处理中的至少任一个。此外，滤波处理单元34具有使滤波处理无效的功能。
在步骤ST13中，图像处理装置执行存储处理。图像处理装置10的帧存储器35存储经受滤波处理单元34的滤波处理的解码图像数据以及滤波处理之前的解码图像数据(滤波处理被无效的解码图像数据)。
另一方面，在上述步骤ST8中被量化的变换系数或残差数据也被输出至无损编码单元25。在步骤ST14中，图像处理装置执行无损编码处理。图像处理装置10的无损编码单元25对从量化单元24输出的量化的变换系数或量化的残差数据以及提供的参数中的每个参数进行编码。
在步骤ST15中，图像处理装置执行累积处理。图像处理装置10的累积缓冲器26累积编码数据。累积在累积缓冲器26中的编码数据被适当地读取并且经由传输路径等被传输到解码侧。
在步骤ST16中，图像处理装置执行速率控制。图像处理装置10的速率控制单元27控制量化单元24的量化操作速率，使得累积在累积缓冲器26中的编码数据不会上溢或下溢。
<2.第一模式>
接下来，将描述图1中示出的第一模式。在第一模式中，通过根据场景变化或闪光场景的检测结果选择固定参考方向模式或参考方向自适应选择模式来执行编码处理。
图4示出了第一模式下的参考方向确定单元的配置。参考方向确定单元44包括图像存储器441、场景变化/闪光场景检测单元442和参考确定处理单元445。
图像存储器441存储输入图像。此外，图像存储器441将存储的输入图像输出至场景变化/闪光场景检测单元442。
场景变化/闪光场景检测单元442基于存储在图像存储器441中的输入图像来检测场景变化或闪光场景。场景变化/闪光场景检测单元442基于帧之间的亮度和频率分量的变化来检测场景变化或闪光场景。例如，场景变化/闪光场景检测单元442针对每个帧计算画面中的亮度分散，并且在帧之间的亮度分散的变化量大于预设阈值的情况下，确定检测到场景变化或闪光场景。此外，例如，场景变化/闪光场景检测单元442可以针对每个帧计算以块为单位计算的阿达玛(Hadamard)值的画面内平均值，并且在帧之间的画面内平均值的变化量大于预设阈值的情况下，确定检测到场景变化或闪光场景。此外，场景变化/闪光场景检测单元442可以基于帧之间的亮度分散的变化量以及帧之间的阿达玛值的画面内平均值的变化量来检测场景变化或闪光场景。场景变化/闪光场景检测单元442将场景变化或闪光场景的检测结果输出至参考确定处理单元445。
参考确定处理单元445基于场景变化或闪光场景的检测结果，确定在时间方向预测中使用固定参考方向模式或参考方向自适应选择模式中的哪一个。参考确定处理单元445在检测到场景变化或闪光场景的情况下选择参考方向自适应选择模式，在未检测到场景变化或闪光场景的情况下选择固定参考方向模式，并且将选择结果输出至运动预测/补偿单元42。
图5是示出第一模式下的参考方向确定单元的操作的流程图。在步骤ST21中，参考方向确定单元确定编码目标图像是否是场景变化或闪光场景。参考方向确定单元44在确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST22，而在未确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST23。
在步骤ST22中，参考方向确定单元选择参考方向自适应选择模式。当对编码目标图像执行帧间预测时，参考方向确定单元44使运动预测/补偿单元42使用参考方向自适应选择模式。
在步骤ST23中，参考方向确定单元选择固定参考方向模式。当对编码目标图像执行帧间预测时，参考方向确定单元44使运动预测/补偿单元42使用固定参考方向模式。
图6示出了第一模式下的操作示例。例如，如图6的(a)所示，在编码目标图像Gt与图像Gt-1之间发生场景变化的情况下，如果在固定参考方向模式下执行使用图像Gt-1作为参考面的前向预测，则编码效率降低。然而，根据本技术，如图6的(b)所示选择参考方向自适应选择模式。为此，以块为单位执行双向预测，场景变化之前的仅图像Gt-1并不总是用作参考面，并且可以防止如图6的(a)所示的编码效率的降低。
如上所述，根据第一模式，可以防止场景变化或闪光场景中的图像质量的劣化以及编码效率的劣化。
<3.第二模式>
在第二模式中，通过根据整个图像的亮度单调增加或单调降低的单调亮度变化区间的检测结果，选择固定参考方向模式或参考方向自适应选择模式来执行编码处理。
<3-1.第二模式下的第一操作>
接下来，将描述第二模式下的第一操作。在第一操作中，根据单调亮度变化区间的检测结果选择固定参考方向模式或参考方向自适应选择模式。
图7示出了第二模式下的参考方向确定单元的配置。参考方向确定单元44包括图像存储器441、单调亮度变化检测单元443和参考确定处理单元445。
图像存储器441存储输入图像。此外，图像存储器441将存储的输入图像输出至单调亮度变化检测单元443。
单调亮度变化检测单元443基于存储在图像存储器441中的输入图像来检测单调亮度变化。单调亮度变化检测单元443计算画面中的亮度平均值，在每帧的亮度平均值单调增加或单调减小的情况下确定为单调亮度变化，并且将单调亮度变化的检测结果输出至参考确定处理单元445。
参考确定处理单元445基于单调亮度变化的检测结果确定在帧间预测中使用固定参考方向模式或参考方向自适应选择模式中的哪一个。参考确定处理单元445在编码目标图像被确定为单调亮度变化区间的情况下选择固定参考方向模式，并且在编码目标图像未被确定为单调亮度变化区间的情况下选择参考方向自适应选择模式。参考确定处理单元445然后将选择结果输出至运动预测/补偿单元42。
图8是示出第二模式下的参考方向确定单元的操作的流程图。在步骤ST31中，参考方向确定单元确定编码目标图像是否是单调亮度变化区间。参考方向确定单元44在确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST32，而在未确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST33。
在步骤ST32中，参考方向确定单元选择固定参考方向模式。当对编码目标图像执行帧间预测时，参考方向确定单元44使运动预测/补偿单元42使用固定参考方向模式。
在步骤ST33中，参考方向确定单元选择参考方向自适应选择模式。当对编码目标图像执行帧间预测时，参考方向确定单元44使运动预测/补偿单元42使用参考方向自适应选择模式。
图9示出了第二模式下的操作示例。例如，在编码目标图像Gt处于图像Gt-1至图像Gt+2的亮度变化区间中的情况下，如图9的(a)所示，如果在参考方向自适应选择模式下使用图像Gt-1和图像Gt+2作为参考面以块为单位执行双向预测，则存在解码图像在画面中将具有亮度变化的可能，从而导致图像质量降低。然而，根据本技术，如图9的(b)所示选择固定参考方向模式，使得可以防止基于编码处理的画面中的亮度变化。
因此，根据第二模式，可以在亮度变化区间中获得具有良好图像质量的解码图像。
<3-2.第二模式下的第二操作>
接下来，将描述第二模式下的第二操作。在第二操作中，将单调亮度变化的检测结果输出至滤波处理单元34，并且根据单调亮度变化的检测结果控制滤波处理单元34的操作，使得在抑制解码图像的图像质量降低的同时可以高效地执行编码。
图10示出了滤波处理单元的配置的一部分。滤波处理单元34包括样本自适应偏移(SAO)模式候选选择单元341和SAO单元342。注意，SAO模式候选选择单元341可以被设置在参考方向确定单元44中。
在编码目标图像被确定为单调亮度变化区间(固定参考方向模式)的情况下，SAO模式候选选择单元341将由SAO单元342执行的样本自适应偏移处理的候选限制为仅带偏移(BO)，而在编码目标图像未被确定为单调亮度变化区间(参考方向自适应选择模式)的情况下，候选模式被设置成BO和边缘偏移(EO)。
图11是示出SAO模式候选选择单元的操作的流程图。在步骤ST41中，SAO模式候选选择单元341确定编码目标图像是否是单调亮度变化区间。SAO模式候选选择单元341在由参考方向确定单元44确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST42，而在未确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST43。
在步骤ST42中，SAO模式候选选择单元将BO设置为候选。SAO模式候选选择单元341使SAO单元342使用仅BO作为候选对解码图像执行SAO处理。
在步骤ST43中，SAO模式候选选择单元将BO和EO设置为候选。SAO模式候选选择单元341使SAO单元342使用BO和EO作为候选对解码图像执行SAO处理。
图12示出了以上提及的HEVC标准的“样本自适应偏移语法”。在SAO处理的候选模式限于仅BO的情况下，图像处理装置10将由虚线框FRa和FRb指示的“sao_type_idx_luma”和“sao_type_idx_croma”的SaoTypeIdx指定为“1：带偏移”，并且防止选择“2：边缘偏移”。
图13示出了第二操作。SAO处理的候选模式在单调亮度变化区间中为仅BO，而其候选模式在其他区间中为BO和EO。图14示出了SAO处理。图14的(a)示出了参考图像，图14的(b)示出了编码目标图像，图14的(c)示出了预测图像，以及图14的(d)示出了残差数据。此外，图14的(e)示出了SAO处理之前的解码图像，以及图14的(f)示出了SAO处理之后的解码图像。图14的(h)示出了如果像素的位深度是8位则将像素值0至255划分为32个带(像素值是0至255)的情况。这里，由于SAO处理之前的解码图像的最小像素值为“26”，并且其最大像素值为“46”，因此选择带3至带6的四个带。这里，如果通过将带3至带6的四个带的偏移值设置为“5”来执行BO处理，如图14的(g)所示，则图14的(e)所示的SAO处理之后的解码图像与编码目标图像相同。因此，如果使用偏移值和合并编码，则能够以少的代码量再现与输入图像相同的解码图像。另外，在单调亮度变化区间中画面亮度一致地改变的情况下，通过禁止EO，可以防止画面中的一些区域例如轮廓区域的亮度被处理成与其他区域不同的亮度。
以此方式，通过在单调亮度变化区间中将SAO处理的候选模式限制为仅BO，在例如像素值在四个带的范围内的情况下，可以以相同的偏移一致地处理亮度值。因此，可以降低解码图像的图像质量，并且可以高效地执行编码处理。
<3-3.第二模式下的第三操作>
接下来，将描述第二模式下的第三操作。在第三操作中，将单调亮度变化的检测结果输出至正交变换单元23，并且根据单调亮度变化的检测结果控制正交变换单元23的操作，使得在抑制解码图像的图像质量降低的同时能够高效地执行编码。
图15示出了正交变换单元的配置的一部分。正交变换单元23包括正交变换模式候选选择单元231和运算单元232。注意，正交变换模式候选选择单元231可以被设置在参考方向确定单元44中。
在正交变换模式候选选择单元231中，可以从多个候选模式中选择正交变换模式。例如，提供离散余弦变换(DCT)-Ⅱ、DCT-Ⅴ、DCT-Ⅷ、离散正弦变换(DST)-Ⅰ、DST-Ⅶ作为候选模式，并且可以选择正交变换模式中的任一模式。在图像被确定为单调亮度变化区间(固定参考方向模式)的情况下，正交变换模式候选选择单元231将正交变换模式候选设置为DCT-Ⅱ，其是适合于一致亮度变化的正交变换模式。此外，在图像未被确定为单调亮度变化区间(参考方向自适应选择模式)的情况下，正交变换模式候选选择单元231将候选模式设置为所有正交变换模式。
运算单元232从由正交变换模式候选选择单元231选择的候选模式中选择最佳模式，例如差分图像的正交变换之后的分量集中在低频侧的候选模式，并且执行差分图像的正交变换。
图16是示出正交变换模式候选选择单元的操作的流程图。在步骤ST51中，正交变换模式候选选择单元231确定编码目标图像是否是单调亮度变化区间。正交变换模式候选选择单元231在由参考方向确定单元44将编码目标图像确定为单调亮度变化区间的情况下行进至步骤ST52，而在编码目标图像未被确定为单调亮度变化区间的情况下行进至步骤ST53。
在步骤ST52中，正交变换模式候选选择单元将DCT-Ⅱ设置为候选。正交变换模式候选选择单元231使运算单元232使用仅DCT-Ⅱ作为候选对差分图像执行正交变换处理。
在步骤ST53中，正交变换模式候选选择单元将所有模式设置为候选。正交变换模式候选选择单元231使运算单元232使用所有可选择的正交变换模式作为候选对差分图像执行正交变换处理。
如果执行这样的处理，则在编码目标图像被确定为单调亮度变化区间的情况下由运算单元232执行DCT-Ⅱ正交变换。因此，在单调亮度变化区间中，与使用其他正交变换的情况相比，正交变换之后的数据量更小，并且可以提高编码效率。
<3-4.第二模式下的第四操作>
接下来，将描述第二模式下的第四操作。在第四操作中，在当搜索到隔行扫描图像或多个参考帧时选择固定参考方向模式并且固定参考面的情况下，改变语法以提高编码效率。例如，在单调亮度变化区间中的参考图像列表中存在多个索引的情况下，将用于预测的参考方向上的索引值改变为具有少的代码量的索引值。图17示出了AVC标准的“参考图片列表修改语法”。在该情况下，在与AVC标准对应的编码处理中，参考图片列表(RefPicList)的索引值由“参考图片列表修改语法”中的虚线框FRc和FRd的元素改变。注意，例如，参考图像列表可以由无损编码单元25改变。在该情况下，无损编码单元25与信息改变处理单元对应。
图18示出了在隔行扫描图像的情况下的参考图像列表。注意，在图18中，顶场(topfield)中的B图片是编码目标图像。在确定编码目标图像为单调亮度变化区间并且选择固定参考方向模式的情况下，期望参考距离短的图像(时间差小的图像)，即，亮度差小的图像。这里，在如常规情况中那样将小的值“0”用于与编码目标图像相同的场图像(fieldimage)的情况下，前向顶场(forward top field)中的I/P图片的参考图像列表为“RefPicList0＝0”，并且前向底场(forward bottom field)中的I/P图片的参考图像列表为“RefPicList0＝1”，前向底场中的I/P图片的参考图像列表的参考距离比前向顶场中的I/P图片的参考图像列表的参考距离短。另一方面，在第四操作中，改变每个索引值，使得参考距离短于前向顶场中的I/P图片的参考图像列表的参考距离的前向底场中的I/P图片的参考图像列表被设置为“RefPicList0＝0”，并且前向顶场中的I/P图片的参考图像列表为“RefPicList0＝1”。
以此方式，如果具有短参考距离的参考面的参考图像列表改变为“RefPicList＝0”，则在参考图像列表的编码处理中，值越小，分配位深度越小的代码。因此，可以减少参考图像列表的编码量。
<4.第一模式与第二模式的组合>
接下来，将描述将第一模式与第二模式组合的情况。图19示出了在将第一模式与第二模式组合的情况下的参考方向确定单元的配置。参考方向确定单元44包括图像存储器441、场景变化/闪光场景检测单元442、单调亮度变化检测单元443和参考确定处理单元445。
图像存储器441存储输入图像。此外，图像存储器441将存储的输入图像输出至场景变化/闪光场景检测单元442和单调亮度变化检测单元443。
场景变化/闪光场景检测单元442基于存储在图像存储器441中的输入图像来检测场景变化或闪光场景。场景变化/闪光场景检测单元442基于帧之间的亮度和频率分量的变化来检测场景变化或闪光场景，并且将检测结果输出至参考确定处理单元445。
单调亮度变化检测单元443基于存储在图像存储器441中的输入图像来检测单调亮度变化。单调亮度变化检测单元443计算画面中的亮度平均值，在每帧的亮度平均值单调增加或单调减小的情况下确定为单调亮度变化，并且将单调亮度变化的检测结果输出至参考确定处理单元445。
参考确定处理单元445基于场景变化或闪光场景的检测结果以及单调亮度变化的检测结果，确定在帧间预测中使用固定参考方向模式或参考方向自适应选择模式中的哪一个，并且将模式的选择结果输出至运动预测/补偿单元42。
图20是示出在优先考虑场景变化或闪光场景的检测结果的情况下的参考方向确定单元的操作的流程图。在步骤ST61中，参考方向确定单元确定编码目标图像是否是场景变化或闪光场景。参考方向确定单元44在未确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST62，而在确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST63。
在步骤ST62中，参考方向确定单元确定编码目标图像是否是单调亮度变化区间。参考方向确定单元44在未确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST63，而在确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST64。
在步骤ST63中，参考方向确定单元选择参考方向自适应选择模式。参考方向确定单元44设置运动预测/补偿单元42的操作，使得在对编码目标图像的帧间预测中使用参考方向自适应选择模式。
在步骤ST64中，参考方向确定单元选择固定参考方向模式。参考方向确定单元44设置运动预测/补偿单元42的操作，使得在对编码目标图像的帧间预测中使用固定参考方向模式。
如上所述，在优先考虑场景变化或闪光场景的检测结果的情况下，在确定编码目标图像是场景变化或闪光场景的情况下以及在未确定编码目标图像是场景变化/闪光场景和单调亮度变化区间的情况下选择参考方向自适应选择模式，而在其他情况下选择固定参考方向模式。
图21是示出在优先考虑单调亮度变化区间的检测结果的情况下的参考方向确定单元的另一操作的流程图。在步骤ST71中，参考方向确定单元确定编码目标图像是否是单调亮度变化区间。参考方向确定单元44在未确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST72，而在确定编码目标图像是单调亮度变化区间的情况下行进至步骤ST73。
在步骤ST72中，参考方向确定单元确定编码目标图像是否是场景变化或闪光场景。参考方向确定单元44在未确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST73，而在确定编码目标图像是场景变化或闪光场景的情况下行进至步骤ST74。
在步骤ST73中，参考方向确定单元选择固定参考方向模式。参考方向确定单元44设置运动预测/补偿单元42的操作，使得在对编码目标图像的帧间预测中使用固定参考方向模式。
在步骤ST74中，参考方向确定单元选择参考方向自适应选择模式。参考方向确定单元44设置运动预测/补偿单元42的操作，使得在对编码目标图像的帧间预测中使用参考方向自适应选择模式。
如上所述，在优先考虑单调亮度变化区间的检测结果的情况下，在确定编码目标图像是单调亮度变化区间的情况下以及在未确定编码目标图像是单调亮度变化区间和场景变化/闪光场景的情况下选择固定参考方向模式，而在其他情况下选择参考方向自适应选择模式。
因此，如果组合执行第一操作和第二操作，则即使发生场景变化/闪光场景以及亮度的单调增加或单调降低，也可以在抑制解码图像的图像质量降低的同时高效地执行编码。
<5.第三模式>
接下来，将描述图1中示出的第三模式。在第三模式中，检测画面中的遮挡区域，并且在存在遮挡区域的情况下，选择参考方向自适应选择模式并且执行编码处理。
图22示出了第三模式的配置。参考方向确定单元44包括图像存储器441、场景变化/闪光场景检测单元442、单调亮度变化检测单元443、遮挡区域检测单元444和参考确定处理单元445。
图像存储器441存储输入图像。此外，图像存储器441将存储的输入图像输出至场景变化/闪光场景检测单元442和单调亮度变化检测单元443。
场景变化/闪光场景检测单元442基于存储在图像存储器441中的输入图像来检测场景变化或闪光场景。场景变化/闪光场景检测单元442基于帧之间的亮度和频率分量的变化来检测场景变化或闪光场景，并且将检测结果输出至参考确定处理单元445。
单调亮度变化检测单元443基于存储在图像存储器441中的输入图像来检测单调亮度变化。单调亮度变化检测单元443计算画面中的亮度平均值，在每帧的亮度平均值单调增加或单调减小的情况下确定为单调亮度变化，并且将单调亮度变化的检测结果输出至参考确定处理单元445。
遮挡区域检测单元444基于存储在图像存储器441中的输入图像来检测画面中的遮挡区域，并且将检测结果输出至参考确定处理单元445。
参考确定处理单元445基于场景变化或闪光场景的检测结果、单调亮度变化的检测结果以及遮挡区域的检测结果选择固定参考方向模式或参考方向自适应选择模式，并且将选择结果输出至运动预测/补偿单元42。参考确定处理单元445在遮挡区域中针对每个块自适应地选择参考方向。例如，如图21所示，在基于场景变化或闪光场景的检测结果和/或单调亮度变化的检测结果针对编码目标图像选择固定参考方向模式的情况下，基于遮挡区域的检测结果将固定参考方向模式切换为参考方向自适应选择模式。
图23是示出参考方向确定单元的操作的流程图，并且针对每个编码块执行流程图的处理。
在步骤ST81中，参考方向确定单元确定编码目标图像中的最后块的选择是否完成。参考方向确定单元44在尚未完成图像中的最后块的选择的情况下行进至步骤ST82，而在已经完成图像中的最后块的选择的情况下结束对编码目标图像的参考方向确定。
在步骤ST82中，参考方向确定单元确定是否是遮挡区域。参考方向确定单元44在编码块是遮挡区域块的情况下行进至步骤ST83，而在编码块不是遮挡区域块的情况下行进至步骤ST84。
在步骤ST83中，参考方向确定单元选择参考方向自适应选择模式。参考方向确定单元44设置运动预测/补偿单元42的操作以在对编码目标图像的帧间预测中使用参考方向自适应选择模式，在步骤ST85中选择下一块，并且返回到步骤ST1。然后，处理下一块。
在步骤ST84中，参考方向确定单元选择固定参考方向模式。参考方向确定单元44设置运动预测/补偿单元42的操作以在对编码目标图像的帧间预测中使用固定参考方向模式，在步骤ST85中选择下一块，并且返回到步骤ST1。然后，处理下一块。
因此，由于在图24中示出的遮挡区域的块中使用参考方向自适应选择模式，因此通过固定参考图片列表可以防止遮挡区域的图像无法恢复。
<6.其他模式>
顺便地，在上述第一模式至第三模式中，描述了使用输入图像确定参考方向的情况。然而，参考方向的确定不限于输入图像，并且可以基于成像控制信息来执行参考方向的确定。
图25示出了在基于成像控制信息来确定参考方向的情况下的参考方向确定单元的配置。
参考方向确定单元44包括场景变化/闪光场景检测单元446、单调亮度变化检测单元447和参考确定处理单元445。
场景变化/闪光场景检测单元446基于成像控制信息来检测场景变化或闪光场景。成像控制信息包括闪光驱动控制信息。场景变化/闪光场景检测单元446根据闪光驱动控制信息使用发射闪光时的图像作为闪光场景，并且将检测结果输出至参考确定处理单元445。另外，成像控制信息包括记录开始信息。场景变化/闪光场景检测单元446可以检测当根据记录开始信息开始记录或取消记录暂停状态时的场景变化作为场景变化，并且将检测结果输出至参考确定处理单元445。
单调亮度变化检测单元447基于成像控制信息来检测单调亮度变化。成像控制信息包括曝光控制信息。单调亮度变化检测单元447在亮度根据曝光控制信息单调增加或减少的情况下确定单调亮度变化，并且将单调亮度变化的检测结果输出至参考确定处理单元445。曝光控制信息可以是与曝光转换有关的信息，并且包括例如孔径值、快门速度、增益值或ISO感光度中的至少任一个。
参考确定处理单元445基于场景变化/闪光场景的检测结果以及单调亮度变化的检测结果来确定在帧间预测中使用固定参考方向模式或参考方向自适应选择模式中的哪一个，并且然后将模式的选择结果输出至运动预测/补偿单元42。此外，参考确定处理单元445使用场景变化/闪光场景的检测结果以及单调亮度变化的检测结果来执行在图5和图8中示出的上述流程图的处理，并且确定使用固定参考方向模式或参考方向自适应选择模式中的哪一个。
如上所述，如果将成像控制信息用于检测闪光场景/场景变化和单调亮度变化区间，则与基于输入图像执行检测的情况相比，可以更简单且准确地检测闪光场景/场景变化和亮度单调变化区间。
<7.固定参考方向模式下的操作>
接下来，将描述在确定使用固定参考方向模式的情况下选择的参考面。
<7-1.固定参考方向模式下的第一操作>
在固定参考方向模式下的第一操作中，参考面的位置被固定。在固定参考方向模式的情况下，参考方向确定单元44的参考确定处理单元445将参考面固定在L0方向、L1方向、以及L0方向和L1方向的双方向(也被称为BiP方向)中任一个上。
图26和图27示出了在与AVC标准对应的编码处理中固定参考面的情况下使用的语法。图26示出了“宏块层语法”，以及图27示出了“子宏块预测语法”。
参考确定处理单元445通过使用例如图26中示出的“宏块层语法”中的虚线框FRe的元素“mb_type”以及图27中示出的“子宏块预测语法”中的虚线框FRf的元素“sub_mb_type”作为类型——其是B图片中的L0方向、L1方向和BiP方向中的期望方向——来固定参考面。
图28示出了在AVC标准的编码处理中在搜索隔行扫描图像和多个参考帧中固定参考面的情况下使用的“宏块预测语法”。参考确定处理单元445通过将例如“宏块预测语法”中的虚线框FRg和FRh的元素“ref_idx_l0”和“ref_idx_l1”的所有值设置为相同值来固定参考面。
图29示出了在HEVC标准的编码处理中固定参考面的情况下使用的“预测单元语法”。参考确定处理单元445通过使用例如“预测单元语法”中的虚线框FRj的元素“inter_pred_idc”来固定参考面。
如果由参考确定处理单元445执行这样的处理，则可以在固定参考方向模式下固定参考面。
<7-2.固定参考方向模式下的第二操作>
在固定参考方向模式下的第二操作中，基于时间位置关系选择参考面。例如，在选择固定参考方向模式的情况下，参考方向确定单元44的参考确定处理单元445将参考距离短的图像用作参考面。
图30是示出参考确定处理单元的操作的一部分的流程图，并且示出了选择参考图像固定模式的情况。在步骤ST91中，参考图像确定单元针对每个参考面计算参考距离。参考方向确定单元44的参考确定处理单元445分别计算从编码目标图像到参考图像L0的参考距离TL0以及从编码目标图像到参考图像L1的参考距离TL1，并且行进至步骤ST92。
在步骤ST92中，参考图像确定单元将参考距离TL0与参考距离TL1进行比较。参考方向确定单元44的参考确定处理单元445在参考距离TL1短于参考距离TL0的情况下行进至步骤ST93，并且在参考距离TL0短于参考距离TL1的情况下行进至步骤ST94。此外，参考确定处理单元445在参考距离TL0和参考距离TL1相等的情况下行进至步骤ST95。
在步骤ST93中，参考方向确定单元44将参考面设置为L1方向。由于参考距离TL1短于参考距离TL0，参考方向确定单元44的参考确定处理单元445将参考面设置为L1方向。
在步骤ST94中，参考方向确定单元44将参考面设置为L0方向。由于参考距离TL0短于参考距离TL1，参考方向确定单元44的参考确定处理单元445将参考面设置为L0方向。
在步骤ST95中，参考方向确定单元44将参考面设置为BiP方向。由于参考距离TL0和参考距离TL1相等，参考方向确定单元44的参考确定处理单元445将参考面设置为BiP方向。
图31是用于描述第二操作的图，并且例如在编码目标图像是多个参考帧的图像或长期参考帧的图像的情况下，参考确定处理单元445如上所述具有参考距离短的列表。因此，如图31的(a)所示，关于编码目标图像Gt，将由实线箭头指示的参考距离短的图像Gt-3用作参考面，而不参考由虚线箭头指示的参考距离长的图像Gt-6。此外，如图31的(b)所示，关于编码目标图像Gt，将由实线箭头指示的参考距离短的图像Gt-1用作参考面，而不参考由虚线箭头指示的参考距离长的图像Gt+2。类似地，在编码目标图像是图像Gt+1的情况下，将由实线箭头指示的参考距离短的图像Gt+2用作参考面，而不参考由虚线箭头指示的参照距离长的图像Gt-1。
此外，即使在处理隔行扫描图像的情况下，参考确定处理单元445也将参考距离短的场图像用作参考面。此外，即使在对隔行扫描图像执行宏块自适应帧/场(MBAFF)处理——用于以块为单位切换预测，使得以场为单位预测具有大量运动的部分并且以帧为单位预测具有少量运动的部分——的情况下，参考确定处理单元445也将参考距离短的场图像或帧图像用作参考面。
因此，由于在单调亮度变化区间中将具有短参考距离的图像用作参考面，可以在抑制解码图像的图像质量劣化的同时高效地执行编码。
在固定参考方向模式下的第二操作中，可以基于时间位置关系和阶层关系来选择参考面。例如，在固定参考方向模式的情况下，参考方向确定单元44的参考确定处理单元445在参考距离相等时选择阶层较浅的图像。图32示出了在基于时间位置关系和阶层关系选择参考面并且较浅阶层与较深阶层相比具有更低的量化参数QP以及更好的图像质量的情况下的操作。箭头指示编码目标图像的参考面，并且实线箭头指示参考面。例如，从编码目标图像Gt(B图片)到图像Gt-1(B图片)的参考距离与从编码目标图像Gt(B图片)到图像Gt+1(B图片)的参考距离相等。这里，由于图像Gt-1的阶层比图像Gt+1的阶层浅，因此参考确定处理单元445选择图像Gt-1作为编码目标图像Gt的参考面。
因此，由于在单调亮度变化区间中选择阶层较浅并且具有更好的图像质量的图像作为参考面，因此可以在进一步抑制解码图像的图像质量劣化的同时高效地执行编码。
<7-3.固定参考方向模式下的第三操作>
在固定参考方向模式下的第三操作中，根据输入图像的特性确定参考面。在第三操作中，选择具有亮度特性接近于输入图像的亮度特性的图像的方向作为参考方向的参考面。
作为输入图像和亮度的特性，使用画面中的亮度特征量。例如，可以使用画面中的亮度平均值或画面中的亮度分散值作为特征量。另外，可以使用画面中的亮度阿达玛值。
图33是示出参考确定处理单元的操作的一部分的流程图，并且示出了选择固定参考方向模式的情况。在步骤ST101中，参考方向确定单元计算特征量。参考方向确定单元44的参考确定处理单元445针对编码目标图像以及参考面L0和L1中的每个分别计算画面中的亮度特征量，并且行进至步骤ST102。
在步骤ST102中，参考方向确定单元比较亮度特征量VL0、VL1和VLt。参考方向确定单元44的参考确定处理单元445在编码目标图像的特征量VLt与参考面L0的特征量VL0相比更接近于参考面L1的特征量VL1的情况下行进至步骤ST103，而在特征量VLt与特征量VL1相比更接近于特征量VL0的情况下行进至步骤ST104。此外，在特征量VL0和特征量VL1相等的情况下，参考确定处理单元445行进至步骤ST105。
在步骤ST103中，参考方向确定单元将参考面设置为L1方向。由于特征量VL1接近于特征量VLt，参考方向确定单元44的参考确定处理单元445将特征平面设置为L1方向。
在步骤ST104中，参考方向确定单元将参考面设置为L0方向。由于特征量VL0接近于特征量VLt，参考方向确定单元44的参考确定处理单元445将参考面设置为L0方向。
在步骤ST105中，参考方向确定单元将参考面设置为BiP方向。由于特征量VL0与特征量VL1相等，参考方向确定单元44的参考确定处理单元445将参考面设置为BiP方向。
如果以此方式选择参考面，则可以基于画面中的亮度特征量以及参考距离来选择最佳图像作为参考面，使得可以在抑制解码图像的图像质量劣化的同时执行高效的解码。
说明书中描述的一系列处理可以由硬件、软件或两者的组合配置来执行。在执行由软件进行的处理的情况下，在被并入专用硬件中的计算机中的存储器中安装其中记录有处理序列的程序并且执行程序。替选地，可以在能够执行各种处理的通用计算机上安装并执行程序。
例如，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)上。替选地，可以将程序临时或永久存储(记录)在可移除记录介质上，例如，软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡。可以提供这样的可移除记录介质作为所谓的软件包。
此外，除了将程序从可移除记录介质安装到计算机之外，还可以将程序从下载站点经由诸如局域网(LAN)或互联网的网络无线或有线地传输到计算机。计算机可以接收以此方式传输的程序，并且将程序安装在诸如内置硬盘的记录介质上。
注意，在本说明书中描述的效果始终是说明性的并且不受限制，并且可以存在未描述的附加的效果。此外，本技术不应当被解释为限于上述技术的实施方式。本技术的实施方式以示例的形式公开了本技术，并且明显的是，本领域技术人员可以在不脱离本技术的主旨的情况下对实施方式进行修改和替换。换言之，为了确定本技术的主旨，应当考虑权利要求的范围。
另外，根据本技术的图像处理装置可以具有以下配置。
(1)一种图像处理装置，包括参考方向确定单元，其对于亮度变化区间中包括的图像的图片，针对所述亮度变化区间中包括的所述图片中的每个块自适应地选择图像的编码处理中的时间方向预测的参考方向。
(2)根据(1)所述的图像处理装置，其中，所述参考方向确定单元仅对于所述亮度变化区间中包括的图像的图片，针对所述亮度变化区间中包括的所述图片中的每个块自适应地选择所述参考方向。
(3)根据(2)所述的图像处理装置，其中，所述亮度变化区间包括与场景变化或闪光对应的图像的图片。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述参考方向确定单元对于单调亮度变化区间中包括的图像的图片，在所述单调亮度变化区间中包括的所述图片中一致地固定所述参考方向。
(5)根据(4)所述的图像处理装置，还包括样本自适应偏移模式候选选择单元，其在所述单调亮度变化区间中，使用带偏移作为对使用预测图像和恢复的差分图像生成的解码图像的样本自适应偏移处理候选。
(6)根据(4)或(5)所述的图像处理装置，还包括正交变换模式候选选择单元，其在所述单调亮度变化区间中，将对输入图像与预测图像之间的差分图像的正交变换处理设置为适合于一致亮度变化的正交变换模式。
(7)根据(4)至(6)中任一项所述的图像处理装置，还包括信息改变处理单元，其在所述单调亮度变化区间中的参考图像列表中存在多个索引的情况下，将用于预测的参考方向上的索引值改变为具有少的代码量的索引值。
(8)根据(4)至(7)中任一项所述的图像处理装置，其中，所述参考方向确定单元对于未被包括在所述亮度变化区间和所述单调亮度变化区间中的图像的图片，进行在所述图片中一致地固定或针对所述图片中的每个块自适应地选择的处理。
(9)根据(4)至(8)中任一项所述的图像处理装置，其中，在画面中一致地固定所述参考方向的情况下，所述参考方向确定单元将参考面固定在L0方向、L1方向、以及L0方向和L1方向的双方向中的任一个上。
(10)根据(9)所述的图像处理装置，其中，所述参考方向确定单元基于时间位置关系选择要固定的参考面。
(11)根据(10)所述的图像处理装置，其中，所述参考方向确定单元选择具有短参考距离的参考面。
(12)根据(11)所述的图像处理装置，其中，所述参考方向确定单元基于所述时间位置关系和阶层关系来选择所述参考面。
(13)根据(12)所述的图像处理装置，其中，所述参考方向确定单元选择阶层较浅的参考面，所述阶层较浅的参考面与阶层较深的参考面相比具有更好的图像质量。
(14)根据(4)至(13)中任一项所述的图像处理装置，其中，在画面的图片中一致地固定所述参考方向的情况下，所述参考方向确定单元根据所述图像的特性来确定所述参考方向。
(15)根据(14)所述的图像处理装置，其中，所述参考方向确定单元选择亮度特性更接近于所述图像的亮度特性的图像的方向作为所述参考方向。
(16)根据(1)至(15)中任一项所述的图像处理装置，其中，所述参考方向确定单元使用输入图像来检测遮挡区域，并且在所检测到的遮挡区域中，针对每个块自适应地选择所述参考方向。
(17)根据(1)至(16)中任一项所述的图像处理装置，其中，所述参考方向确定单元基于成像控制信息来检测所述亮度变化区间中包括的图像的图片。
工业适用性
根据本技术的图像处理装置和图像处理方法，对于亮度变化区间中包括的图像的图片，由参考方向确定单元针对亮度变化区间中包括的图片中的每个块自适应地选择图像编码处理中的时间方向预测的参考方向。为此，将时间方向预测的参考方向设置为适当的方向，并且可以在抑制解码图像的图像质量劣化的同时高效地执行编码。因此，适用于对运动图像进行编码的电子装置。
附图标记列表
10 图像处理装置
21 画面重排缓冲器
22，33，232 运算单元
23 正交变换单元
24 量化单元
25 无损编码单元
26 累积缓冲器
27 速率控制单元
31 逆量化单元
32 逆正交变换单元
34 滤波处理单元
35 帧存储器
36 选择单元
41 帧内预测单元
42 运动预测/补偿单元
43 预测选择单元
44 参考方向确定单元
231 正交变换模式候选选择单元
341 SAO模式候选选择单元
342 SAO单元
441 图像存储器
442，446 场景变化/闪光场景检测单元
443，447 单调亮度变化检测单元
444 遮挡区域检测单元
445 参考确定处理单元

Claims (18)

1.一种图像处理装置，包括：
参考方向确定单元，其对于亮度变化区间中包括的图像的图片，针对所述亮度变化区间中包括的所述图片中的每个块自适应地选择图像的编码处理中的时间方向预测的参考方向。
2.根据权利要求1所述的图像处理装置，其中，
所述参考方向确定单元仅对于所述亮度变化区间中包括的图像的图片，针对所述亮度变化区间中包括的所述图片中的每个块自适应地选择所述参考方向。
3.根据权利要求2所述的图像处理装置，其中，
所述亮度变化区间包括与场景变化或闪光对应的图像的图片。
4.根据权利要求1所述的图像处理装置，其中，
所述参考方向确定单元对于单调亮度变化区间中包括的图像的图片，在所述单调亮度变化区间中包括的所述图片中一致地固定所述参考方向。
5.根据权利要求4所述的图像处理装置，还包括：
样本自适应偏移模式候选选择单元，其在所述单调亮度变化区间中，使用带偏移作为对使用预测图像和恢复的差分图像生成的解码图像的样本自适应偏移处理候选。
6.根据权利要求4所述的图像处理装置，还包括：
正交变换模式候选选择单元，其在所述单调亮度变化区间中，将对输入图像与预测图像之间的差分图像的正交变换处理设置为适合于一致亮度变化的正交变换模式。
7.根据权利要求4所述的图像处理装置，还包括：
信息改变处理单元，其在所述单调亮度变化区间中的参考图像列表中存在多个索引的情况下，将用于预测的参考方向上的索引值改变为具有少的代码量的索引值。
8.根据权利要求4所述的图像处理装置，其中，
所述参考方向确定单元对于未被包括在所述亮度变化区间和所述单调亮度变化区间中的图像的图片，进行在所述图片中一致地固定或针对所述图片中的每个块自适应地选择的处理。
9.根据权利要求4所述的图像处理装置，其中，
在画面中一致地固定所述参考方向的情况下，所述参考方向确定单元将参考面固定在L0方向、L1方向、以及L0方向和L1方向的双方向中的任一个上。
10.根据权利要求9所述的图像处理装置，其中，
所述参考方向确定单元基于时间位置关系选择要固定的参考面。
11.根据权利要求10所述的图像处理装置，其中，
所述参考方向确定单元选择具有短参考距离的参考面。
12.根据权利要求10所述的图像处理装置，其中，
所述参考方向确定单元基于所述时间位置关系和阶层关系来选择所述参考面。
13.根据权利要求12所述的图像处理装置，其中，
所述参考方向确定单元选择阶层较浅的参考面，所述阶层较浅的参考面与阶层较深的参考面相比具有更好的图像质量。
14.根据权利要求4所述的图像处理装置，其中，
在画面的图片中一致地固定所述参考方向的情况下，所述参考方向确定单元根据所述图像的特性来确定所述参考方向。
15.根据权利要求14所述的图像处理装置，其中，
所述参考方向确定单元选择亮度特性更接近于所述图像的亮度特性的图像的方向作为所述参考方向。
16.根据权利要求1所述的图像处理装置，其中，
所述参考方向确定单元使用要经受所述编码处理的图像来检测遮挡区域，并且在所检测到的遮挡区域中，针对每个块自适应地选择所述参考方向。
17.根据权利要求1所述的图像处理装置，其中，
所述参考方向确定单元基于成像控制信息来检测所述亮度变化区间中包括的图像的图片。
18.一种图像处理方法，包括：
对于亮度变化区间中包括的图像的图片，由参考方向确定单元针对所述亮度变化区间中包括的所述图片中的每个块自适应地选择图像的编码处理中的时间方向预测的参考方向。
CN201880071359.4A 2017-11-09 2018-10-10 图像处理装置和图像处理方法 Withdrawn CN111295882A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-216209 2017-11-09
JP2017216209 2017-11-09
PCT/JP2018/037725 WO2019093051A1 (ja) 2017-11-09 2018-10-10 画像処理装置と画像処理方法

Publications (1)

Publication Number Publication Date
CN111295882A true CN111295882A (zh) 2020-06-16

Family

ID=66437775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071359.4A Withdrawn CN111295882A (zh) 2017-11-09 2018-10-10 图像处理装置和图像处理方法

Country Status (7)

Country Link
US (1) US11223824B2 (zh)
EP (1) EP3709642A1 (zh)
JP (1) JP7233819B2 (zh)
KR (1) KR20200081367A (zh)
CN (1) CN111295882A (zh)
TW (1) TWI767079B (zh)
WO (1) WO2019093051A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068037B (zh) * 2021-03-17 2022-12-06 上海哔哩哔哩科技有限公司 用于样点自适应补偿的方法及装置、设备和介质
WO2022221456A1 (en) * 2021-04-14 2022-10-20 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
JP2024533145A (ja) * 2021-09-08 2024-09-12 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 成分間サンプル適応オフセットにおけるコーディングの強化

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3990011B2 (ja) * 1997-10-31 2007-10-10 沖電気工業株式会社 復号画像変換回路および復号画像変換装置
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
JP4867497B2 (ja) 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
US8605786B2 (en) 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8982951B2 (en) * 2008-03-10 2015-03-17 Mediatek Inc. Adaptive motion estimation coding
FR2998431B1 (fr) * 2012-11-16 2015-12-11 Sagemcom Broadband Sas Procede et systeme de transmission de donnees video sur un canal de transmission par courants porteurs en ligne
KR102287779B1 (ko) 2014-06-23 2021-08-06 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
JP6465215B2 (ja) * 2015-10-02 2019-02-06 富士通株式会社 画像処理プログラムおよび画像処理装置
EP3453174B1 (en) * 2016-05-06 2024-11-27 InterDigital Madison Patent Holdings, SAS Method and system for decoder-side intra mode derivation for block-based video coding
JP7279939B2 (ja) * 2016-09-21 2023-05-23 カカドゥ アール アンド ディー ピーティーワイ リミテッド ビデオ及びマルチビュー・イマジェリーの圧縮及びアップサンプリングのためのベース固定モデル及び推論
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN114280978B (zh) * 2021-11-29 2024-03-15 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法

Also Published As

Publication number Publication date
TW201919395A (zh) 2019-05-16
US20210185305A1 (en) 2021-06-17
JPWO2019093051A1 (ja) 2020-11-19
EP3709642A4 (en) 2020-09-16
TWI767079B (zh) 2022-06-11
KR20200081367A (ko) 2020-07-07
US11223824B2 (en) 2022-01-11
WO2019093051A1 (ja) 2019-05-16
JP7233819B2 (ja) 2023-03-07
EP3709642A1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN108632609B (zh) 视频编解码装置及方法
KR101322498B1 (ko) 부호화 장치, 부호화 방법 및 프로그램
KR100785589B1 (ko) 화상 부호화 장치 및 화상 복호 장치
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
RU2628212C1 (ru) Устройство кодирования видео, устройство декодирования видео, способ кодирования видео и способ декодирования видео
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN113812147B (zh) 使用块内复制的图像编码和解码
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
US10638127B2 (en) Adaptive anchor frame and quantization parameter decision in video coding
KR20160132915A (ko) 픽셀 거리를 이용한 디블록 필터링
US20090225843A1 (en) Method and apparatus for encoding and decoding image
JP5400798B2 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
JP7233819B2 (ja) 画像処理装置と画像処理方法
WO2020036132A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
KR20230098729A (ko) 부호화 장치, 복호 장치, 및 프로그램
TW202041013A (zh) 影像處理裝置及影像處理方法
KR20230143626A (ko) 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
WO2020170554A1 (ja) 画像処理装置と画像処理方法
JP4281667B2 (ja) 画像符号化装置
WO2024230529A1 (en) Methods and apparatus of adaptive quantization parameters in video coding
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策
CN114788270A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200616

WW01 Invention patent application withdrawn after publication