[go: up one dir, main page]

WO2019074273A1 - 인터 예측 정보를 사용하는 방법 및 장치 - Google Patents

인터 예측 정보를 사용하는 방법 및 장치 Download PDF

Info

Publication number
WO2019074273A1
WO2019074273A1 PCT/KR2018/011905 KR2018011905W WO2019074273A1 WO 2019074273 A1 WO2019074273 A1 WO 2019074273A1 KR 2018011905 W KR2018011905 W KR 2018011905W WO 2019074273 A1 WO2019074273 A1 WO 2019074273A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
inter
prediction information
information
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/011905
Other languages
English (en)
French (fr)
Inventor
이진호
강정원
고현석
임성창
이하현
전동산
김휘용
김재곤
박도현
윤용욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
University Industry Cooperation Foundation of Korea Aerospace University
Original Assignee
Electronics and Telecommunications Research Institute ETRI
University Industry Cooperation Foundation of Korea Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, University Industry Cooperation Foundation of Korea Aerospace University filed Critical Electronics and Telecommunications Research Institute ETRI
Priority to CN202510499288.XA priority Critical patent/CN120378630A/zh
Priority to CN201880076042.XA priority patent/CN111567045B/zh
Priority to CN202510499174.5A priority patent/CN120378629A/zh
Priority to US16/753,155 priority patent/US11082716B2/en
Priority claimed from KR1020180120642A external-priority patent/KR102427789B1/ko
Publication of WO2019074273A1 publication Critical patent/WO2019074273A1/ko
Anticipated expiration legal-status Critical
Priority to US17/359,737 priority patent/US11792424B2/en
Priority to US18/462,638 priority patent/US12477145B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the embodiments described below relate to a video decoding method, a decoding apparatus, a coding method, and an encoding apparatus, and a method and apparatus for using inter prediction information in coding and decoding video.
  • HDTV High Definition TV
  • FHD Full HD
  • UHD ultra high definition
  • An apparatus and method for encoding / decoding an image includes an inter prediction technique, an intra prediction technique, and an entropy coding technique to perform encoding / decoding on high resolution and high image quality images Can be used.
  • the inter prediction technique may be a technique of predicting a value of a pixel included in a target picture temporally using a previous picture and / or a temporally subsequent picture.
  • the intra prediction technique may be a technique of predicting a value of a pixel included in a target picture by using information of a pixel in the target picture.
  • the entropy coding technique may be a technique of allocating a short code to a symbol having a high appearance frequency and allocating a long code to a symbol having a low appearance frequency.
  • One embodiment of the present invention can provide an encoding apparatus, an encoding method, a decoding apparatus, and a decoding method for performing inter-prediction on a target block.
  • One embodiment of the present invention can provide an encoding apparatus, an encoding method, a decoding apparatus, and a decoding method for deriving combined inter-prediction information for a target block and performing inter-prediction using the derived inter-prediction information.
  • a processing unit for deriving inter-prediction information for a target block and performing inter-prediction on the target block using the derived inter-prediction information comprising: And the processing unit combines two or more of inter-prediction information of neighboring blocks of the target block to generate the combined inter-prediction information.
  • a processing unit for deriving inter-prediction information on a target block and performing inter-prediction on the target block using the derived inter-prediction information, on the other side, And the processing unit generates the combined inter-prediction information by combining two or more inter-prediction information of neighboring blocks of the target block.
  • a method comprising: deriving inter prediction information for a target block; And performing inter-prediction on the target block using the derived inter-prediction information, wherein the combined inter-prediction information is used to construct a list of the target blocks, and the combined inter- And a decoding method is provided by combining two or more of the inter prediction information of the neighboring blocks.
  • the inter prediction information may include at least one of an illumination compensation (IC) flag and an overlapped block motion compensation (OBMC) flag.
  • IC illumination compensation
  • OBMC overlapped block motion compensation
  • the list may be a merge list or an advanced motion vector prediction (AMVP) list.
  • AMVP advanced motion vector prediction
  • the neighboring blocks may include a spatial neighboring block and a temporal neighboring block of the current block.
  • the combined inter prediction information for the neighboring block may be derived.
  • the inter prediction information of one of the neighboring blocks is not added to the list, the combined inter prediction information derived for the one neighboring block is added to the list.
  • the motion vector of the combined inter-prediction information may be a result of a calculation using motion vectors of the neighboring blocks.
  • the motion vector of the combined inter-prediction information may be a weighted average value of the motion vectors of the neighboring blocks.
  • the motion vector of the combined inter-prediction information may be a result of block size-based weight combination of motion vectors of the neighboring blocks.
  • the motion vector of the combined inter-prediction information may be a result of weighting the picture order count of the motion vectors of the neighboring blocks.
  • the motion vector of the combined inter-prediction information may be a result of extrapolation of motion vectors of the neighboring blocks.
  • Predicted information for a position on a left side of a specified block and second inter-prediction information for a position on a right side of the specified block are derived, and combining the first inter-prediction information and the second inter- Combined inter prediction information can be generated.
  • a method for constructing the list based on the shape of the target block may be determined.
  • a method for constructing the list based on the partitioned state of the target block may be determined.
  • the method for constructing the list is determined based on the position of the target block.
  • the combined inter-prediction information may be added to the list in a rearranged order compared to the inter-prediction information of the neighboring blocks.
  • the combined inter-prediction information is next to the inter-prediction information of the spatial neighboring block and may be added to the list before the inter-prediction information of the temporally neighboring block.
  • a method for constructing the list based on the depth of the target block may be determined.
  • an encoding apparatus an encoding method, a decoding apparatus, and a decoding method for performing inter-prediction on a target block.
  • an encoding apparatus an encoding method, a decoding apparatus, and a decoding method for deriving combined inter-prediction information for a target block and performing inter-prediction using the derived inter-prediction information.
  • FIG. 1 is a block diagram illustrating a configuration of an encoding apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration of a decoding apparatus to which the present invention is applied.
  • FIG. 3 is a diagram schematically showing a division structure of an image when coding and decoding an image.
  • Fig. 4 is a diagram showing a form of a prediction unit (PU) that a coding unit (CU) can include.
  • FIG. 5 is a diagram showing a form of a conversion unit (TU) which can be included in a coding unit (CU).
  • TU conversion unit
  • CU coding unit
  • FIG. 6 is a diagram for explaining an embodiment of an intra prediction process.
  • FIG. 7 is a view for explaining the positions of reference samples used in the intra prediction process.
  • FIG. 8 is a diagram for explaining an embodiment of the inter prediction process.
  • Figure 9 shows spatial candidates according to an example.
  • FIG. 10 shows an addition sequence of motion information of spatial candidates to a merge list according to an example.
  • Figure 11 illustrates the process of transform and quantization according to an example.
  • FIG. 12 is a structural diagram of an encoding apparatus according to an embodiment.
  • FIG. 13 is a structural diagram of a decoding apparatus according to an embodiment.
  • FIG. 14 is a flowchart of an inter prediction method according to an embodiment.
  • FIG. 15 shows spatial neighboring blocks of a target block according to an example.
  • FIG. 16 shows temporally neighboring blocks of a target block according to an example.
  • FIG. 17 shows the generation of combined inter-prediction information for the upper right neighbor block according to an example.
  • FIG. 18 shows the generation of combined inter-prediction information for the upper neighboring block according to an example.
  • FIG. 19 shows generation of combined inter-prediction information of a neighboring block according to an example.
  • FIG. 20 shows the generation of inter prediction information of the block AL according to an example.
  • FIG. 21 shows the generation of inter prediction information of a block AR according to an example.
  • Fig. 24 shows a case where CUs having the same width and height are horizontally divided.
  • 25 shows a case in which a CU having a width larger than the height is vertically divided.
  • Fig. 26 shows a case where a CU having a height larger than the width is horizontally divided.
  • FIG. 27 shows subblocks of a temporally neighboring block and subblocks of a target block in an example.
  • FIG. 28 shows spatial neighboring blocks of a target block and sub-blocks of a target block according to an example.
  • 29 shows the derivation of inter prediction information using bilateral matching according to an example.
  • FIG 30 shows the derivation of inter prediction information using the template matching mode according to an example.
  • 31 shows application of OBMC according to an example.
  • 32 shows sub-PUs in the ATMVP mode according to an example.
  • 33 is a flowchart of a prediction method and a bitstream generation method of a target block according to an embodiment.
  • 34 is a flowchart of a method of predicting a target block using a bitstream according to an embodiment.
  • first, second, etc. in the present invention may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • / or < / RTI &gt includes any combination of a plurality of related listed items or any of a plurality of related listed items.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software constituent unit. That is, each component is listed as a separate component for convenience of explanation. At least two components of each component are combined to form one component, or one component is divided into a plurality of components, And the integrated embodiments and the separate embodiments of each of these components are also included in the scope of the present invention unless they depart from the essence of the present invention.
  • the description of " comprising " a specific configuration does not exclude a configuration other than the specific configuration, and the additional configuration is not limited to the implementation of the exemplary embodiments or the technical idea of the exemplary embodiments. Range. ≪ / RTI >
  • an image may denote a picture constituting a video, or may represent a video itself.
  • " encoding and / or decoding of an image may mean “ encoding and / or decoding of video ", which means “ encoding and / or decoding of one of the images constituting a video " It is possible.
  • video and “motion picture” may be used interchangeably and may be used interchangeably.
  • the target image may be a coding target image to be coded and / or a decoding target image to be decoded.
  • the target image may be an input image input to the encoding device or an input image input to the decoding device.
  • image image
  • picture picture
  • frame and “screen” may be used interchangeably and may be used interchangeably.
  • the target block may be a current block to be coded and / or a current block to be decoded.
  • the target block may be the current block that is the current encoding and / or decoding target.
  • the terms "object block” and "current block” may be used interchangeably and may be used interchangeably.
  • block and “unit” may be used interchangeably and may be used interchangeably. Or “ block " may represent a particular unit.
  • a specific signal may be a signal indicating a specific block.
  • an original signal may be a signal representing a target block.
  • the prediction signal may be a signal representing a prediction block.
  • the residual signal may be a signal representing a residual block.
  • each of the specified information, data, flags and elements, attributes, etc. may have a value.
  • the value " 0 " of information, data, flags and element, attribute, etc. may represent a logical false or a first predefined value. That is to say, the values “ 0 ", False, Logical False, and First Default values can be used interchangeably.
  • the value " 1 " of information, data, flags and elements, attributes, etc. may represent a logical true or a second predefined value. That is to say, the values " 1 ", " true ", " logical "
  • i When a variable such as i or j is used to represent a row, column or index, the value of i may be an integer greater than or equal to 0 and may be an integer greater than or equal to one. In other words, in the embodiments, rows, columns, indexes, etc. may be counted from 0 and counted from 1.
  • Encoder An apparatus that performs encoding.
  • Decoder A device that performs decoding.
  • a unit may represent a unit of encoding and decoding of an image.
  • the terms “ unit “ and “ block” may be used interchangeably and may be used interchangeably.
  • the unit may be an MxN array of samples.
  • M and N may be positive integers, respectively.
  • a unit can often refer to an array of two-dimensional samples.
  • a unit may be an area generated by the division of one image.
  • One image may be divided into a plurality of units.
  • a unit may mean the divided portion when one image is divided into subdivided portions and when encoding or decoding is performed on the subdivided portions.
  • predetermined processing on the unit may be performed depending on the type of unit.
  • the unit type may be a Macro Unit, a Coding Unit (CU), a Prediction Unit (PU), a Residual Unit and a Transform Unit (TU) . ≪ / RTI >
  • the unit may be a block, a macroblock, a Coding Tree Unit, a Coding Tree Block, a Coding Unit, a Coding Block, A prediction unit, a prediction block, a residual unit, a residual block, a transform unit, and a transform block.
  • - unit may refer to information comprising a luma component block and its corresponding chroma component block, and a syntax element for each block, to distinguish it from a block.
  • the size and shape of the unit may vary.
  • the unit may have various sizes and shapes.
  • the shape of the unit may include not only squares but also geometric figures that can be expressed in two dimensions, such as rectangles, trapezoids, triangles, and pentagons.
  • the unit information may include at least one of a unit type indicating a coding unit, a prediction unit, a residual unit, a conversion unit, etc., a unit size, a unit depth, a unit encoding and decoding order,
  • one unit may be further subdivided into smaller units with a smaller size than the unit.
  • Depth can mean the degree of division of a unit. Unit depth can also indicate the level at which a unit is present when the unit is represented in a tree structure.
  • the unit partition information may include a depth for the depth of the unit.
  • the depth may indicate the number and / or the number of times the unit is divided.
  • the depth of the root node is the shallowest and the depth of the leaf node is the deepest.
  • a unit may be hierarchically divided into a plurality of subunits with depth information based on a tree structure. That is to say, the unit and the lower unit generated by the division of the unit can correspond to the node and the child node of the node, respectively. Each divided subunit may have a depth. Since the depth indicates the number and / or degree of division of the unit, the division information of the lower unit may include information on the size of the lower unit.
  • the top node may correspond to the first unit that has not been partitioned.
  • the superordinate node may be referred to as a root node.
  • the uppermost node may have a minimum depth value. At this time, the uppermost node can have a level 0 depth.
  • a node with a depth of level 1 can represent a unit created as the first unit is once partitioned.
  • a node with a depth of level 2 may represent a unit created as the first unit is divided twice.
  • a node with a depth of level n can represent a unit created as the first unit is divided n times.
  • the leaf node may be the lowest node, and may be a node that can not be further divided.
  • the depth of the leaf node may be the maximum level.
  • the default value of the maximum level may be three.
  • - QT depth can indicate depth for quad split.
  • the BT depth can represent the depth for binary segmentation.
  • the TT depth can represent the depth for the ternary splitting.
  • a sample can be a base unit that makes up a block.
  • the samples can be represented as values from 0 to 2 Bd- 1, depending on the bit depth (Bd).
  • the sample may be a pixel or a pixel value.
  • pixel In the following, the terms “pixel”, “pixel” and “sample” may be used interchangeably and may be used interchangeably.
  • a CTU can be composed of one luminance component (Y) encoded tree block and two chrominance component (Cb, Cr) encoded tree blocks related to the luminance component encoded tree block have.
  • the CTU may also include the above blocks and the syntax elements for each block of the above blocks.
  • Each coding tree unit is configured to form a unit such as a Quad Tree (QT), a Binary Tree (BT), and a Ternary Tree (TT) to construct a lower unit such as a coding unit, May be divided using one or more division methods.
  • QT Quad Tree
  • BT Binary Tree
  • TT Ternary Tree
  • the CTU can be used as a term to refer to a pixel block, which is a processing unit in the process of decoding and encoding an image, as in the segmentation of an input image.
  • the coded tree block can be used as a term for designating any one of Y-coded tree block, Cb-coded tree block, and Cr-coded tree block.
  • Neighbor block means a block adjacent to a target block.
  • a neighboring block may mean a restored neighboring block.
  • peripheral block and “adjacent block” may be used interchangeably and may be used interchangeably.
  • a spatial neighbor block may be a block spatially adjacent to a target block.
  • the neighboring block may include a spatial neighboring block.
  • the target block and the spatial neighboring block may be included in the target picture.
  • a spatial neighboring block may refer to a block that is bounded to a target block or a block located within a predetermined distance from a target block.
  • a spatial neighboring block may mean a block adjacent to the vertex of the target block.
  • a block adjacent to a vertex of a target block may be a block vertically adjacent to a neighboring block horizontally adjacent to the target block or a block horizontally adjacent to a neighboring block vertically adjacent to the target block.
  • Temporal neighbor block The temporal neighbor block may be temporally adjacent to the target block.
  • the neighboring blocks may include temporal neighboring blocks.
  • - temporal neighboring blocks may contain collocated blocks (col blocks).
  • the call block may be a block in a collocated picture (col picture).
  • the position of the call block in the call picture may correspond to the position in the target picture of the target block.
  • the call picture may be a picture included in the reference picture list.
  • the temporal neighboring block may be a spatial neighboring block of the target block.
  • Prediction unit It can mean a base unit for prediction such as inter prediction, intra prediction, inter-compensation, intra compensation, and motion compensation.
  • one prediction unit may be divided into a plurality of partitions or lower prediction units having a smaller size.
  • the plurality of partitions may also be a base unit in performing prediction or compensation.
  • the partition generated by the division of the prediction unit may also be a prediction unit.
  • Prediction unit partition Prediction unit may mean a partitioned form.
  • the reconstructed neighboring unit may be a unit that has already been decoded and reconstructed around the target unit.
  • the reconstructed neighboring unit may be a spatial adjacent unit or a temporal adjacent unit for the target unit.
  • the reconstructed spatial surrounding unit may be a unit in the target picture and a unit already reconstructed through coding and / or decoding.
  • the reconstructed temporal neighboring unit may be a unit in the reference image and a unit already reconstructed through coding and / or decoding.
  • the position in the reference picture of the reconstructed temporal neighboring unit may be the same as the position in the target picture of the target unit or may correspond to the position in the target picture of the target unit.
  • a parameter set may correspond to header information among structures in a bitstream.
  • the parameter set may include a sequence parameter set, a picture parameter set, and an adaptation parameter set.
  • Rate-distortion optimization An encoding apparatus uses rate-distortion optimization to provide a high coding efficiency using a combination of a coding unit size, a prediction mode, a prediction unit size, motion information, Distortion optimization can be used.
  • the rate-distortion optimization scheme can calculate the rate-distortion cost of each combination to select the optimal combination from among the combinations above.
  • the rate-distortion cost can be calculated using Equation 1 below.
  • the combination in which the rate-distortion cost is minimized can be selected as the optimum combination in the rate-distortion optimization method.
  • D may be the mean square error of the difference values between the original transform coefficients and the reconstructed transform coefficients in the transform unit.
  • R can represent the bit rate using related context information.
  • R may include coding parameter information such as a prediction mode, motion information, and coded block flag, as well as bits generated by coding the transform coefficients.
  • the encoder may perform inter prediction and / or intra prediction, conversion, quantization, entropy coding, inverse quantization, inverse transform, etc. to calculate the correct D and R. These processes can greatly increase the complexity in the encoding apparatus.
  • Bitstream may be a bit string containing encoded image information.
  • a parameter set may correspond to header information among structures in a bitstream.
  • the parameter set may comprise at least one of a video parameter set, a sequence parameter set, a picture parameter set and an adaptation parameter set.
  • the parameter set may also include information of a slice header and information of a tile header.
  • Parsing may entropy-decode the bitstream to determine the value of a syntax element. Or, parsing may mean entropy decoding itself.
  • Symbol may include at least one of a syntax element, a coding parameter, and a transform coefficient of a coding target unit and / or a target unit to be decoded.
  • the symbol may mean a target of entropy encoding or a result of entropy decoding.
  • a reference picture may refer to an image that a unit refers to for inter prediction or motion compensation.
  • the reference picture may be an image including a reference unit referred to by the target unit for inter prediction or motion compensation.
  • reference picture and “reference picture” may be used interchangeably and may be used interchangeably.
  • Reference picture list may be a list including one or more reference pictures used for inter-prediction or motion compensation.
  • the types of the reference picture list include a list combination (LC), a list 0 (L0), a list 1 (L1), a list 2 (L2), and a list 3 ) And the like.
  • One or more reference picture lists may be used for inter prediction.
  • An inter prediction indicator may indicate the direction of inter prediction of a target unit.
  • the inter prediction may be one of a unidirectional prediction and a bidirectional prediction.
  • the inter prediction indicator may indicate the number of reference images used when generating the prediction unit of the target unit.
  • the inter prediction indicator may mean the number of prediction blocks used for inter prediction or motion compensation for the target unit.
  • the reference picture index may be an index indicating a specific reference picture in the reference picture list.
  • Motion Vector A motion vector may be a two-dimensional vector used in inter prediction or motion compensation.
  • the motion vector may mean an offset between the video to be encoded / decoded and the reference video.
  • MV can be expressed in the form (mv x , mv y ).
  • mv x may represent a horizontal component
  • mv y may represent a vertical component.
  • the search area may be a two-dimensional area where an MV search is performed during inter prediction.
  • the size of the search area may be MxN.
  • M and N may be positive integers, respectively.
  • Motion vector candidate may mean a motion vector of a block, which is a prediction candidate or a prediction candidate, when a motion vector is predicted.
  • the motion vector candidate may be included in the motion vector candidate list.
  • a motion vector candidate list may refer to a list constructed using one or more motion vector candidates.
  • Motion vector candidate index may indicate an indicator indicating a motion vector candidate in a motion vector candidate list.
  • the motion vector candidate index may be an index of a motion vector predictor.
  • Motion information includes motion picture information, reference picture list information, reference pictures, motion vector candidates, motion vector candidate indexes, merge candidates, and merge indices, as well as motion vectors, reference picture indexes and inter prediction indicators Quot; and " information "
  • a merge candidate list can mean a list constructed using merge candidates.
  • Merge candidates Spatial merge candidates, temporal merge candidates, combined merge candidates, combined bi-prediction merge candidates, and zero merge candidates.
  • the merge candidate may include motion information such as an inter prediction indicator, a reference picture index for each list, and a motion vector.
  • the merge index can be an indicator that points to a merge candidate in the merge candidate list.
  • the merge index may indicate a reconstructed unit spatially adjacent to the target unit and a reconstructed unit that derives the merge candidate out of the reconstructed units temporally adjacent to the target unit.
  • the merge index may indicate at least one of the motion information of the merge candidate.
  • the transform unit may be a base unit in residual signal coding and / or residual signal decoding such as transform, inverse transform, quantization, inverse quantization, transform coefficient coding and transform coefficient decoding.
  • One conversion unit can be divided into a plurality of conversion units of a smaller size.
  • Scaling can refer to the process of multiplying the transform coefficient level by an argument.
  • Scaling may also be referred to as dequantization.
  • the quantization parameter may refer to a value used when generating a transform coefficient level for a transform coefficient in quantization. Or a value used when generating a transform coefficient by scaling the transform coefficient level in the inverse quantization. Alternatively, the quantization parameter may be a value mapped to a quantization step size.
  • a delta quantization parameter means a predicted quantization parameter and a differential value of a quantization parameter of a unit to be encoded / decoded.
  • a scan may mean a method of arranging the order of coefficients within a unit, block, or matrix. For example, arranging a two-dimensional array in a one-dimensional array form can be referred to as a scan. Alternatively, arranging the one-dimensional arrays in the form of a two-dimensional array may be referred to as a scan or an inverse scan.
  • the transform coefficient may be a coefficient value generated as a result of performing the transform in the encoding apparatus.
  • the transform coefficient may be a coefficient value generated by performing at least one of entropy decoding and inverse quantization in the decoding apparatus.
  • the quantized level or the quantized transform coefficient level to which the quantization is applied to the transform coefficient or the residual signal may also be included in the meaning of the transform coefficient.
  • the quantized level may mean a value generated by performing a quantization on a transform coefficient or a residual signal in an encoding apparatus.
  • the quantized level may be a value to be subjected to inverse quantization in performing inverse quantization in the decoding apparatus.
  • the quantized transform coefficient levels resulting from the transform and quantization can also be included in the meaning of the quantized levels.
  • Non-zero transform coefficient may mean a transform coefficient having a value other than zero or a transform coefficient level having a non-zero value.
  • the non-zero transform coefficient may mean a transform coefficient whose magnitude is not zero or a transform coefficient level whose magnitude is not zero.
  • a quantization matrix may mean a matrix used in the quantization or inverse quantization process to improve the subjective or objective image quality of an image.
  • the quantization matrix may also be referred to as a scaling list.
  • Quantization matrix coefficient may refer to each element in the quantization matrix.
  • the quantization matrix coefficient may also be referred to as a matrix coefficient.
  • the base matrix may be a predefined quantization matrix in the encoder and decoder.
  • Non-default matrix The non-default matrix may be a non-default quantization matrix in the encoder and decoder.
  • the non-default matrix may be signaled from the encoder to the decoder.
  • Signaling may indicate that information is sent from the encoding device to the decoding device.
  • signaling may mean including information in a bitstream or recording medium.
  • the information signaled by the encoding apparatus may be used by the decoding apparatus.
  • FIG. 1 is a block diagram illustrating a configuration of an encoding apparatus to which the present invention is applied.
  • the encoding apparatus 100 may be an encoder, a video encoding apparatus, or an image encoding apparatus.
  • the video may include one or more images.
  • the encoding apparatus 100 may sequentially encode one or more images of the video.
  • an encoding apparatus 100 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, An inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.
  • the encoding apparatus 100 may perform encoding of a target image using an intra mode and / or an inter mode.
  • the encoding apparatus 100 can generate a bitstream including encoding information through encoding of a target image, and output the generated bitstream.
  • the generated bit stream can be stored in a computer-readable recording medium and can be streamed through a wired / wireless transmission medium.
  • the switch 115 When the intra mode is used as the prediction mode, the switch 115 can be switched to intra. When the inter mode is used as the prediction mode, the switch 115 can be switched to the inter.
  • the encoding apparatus 100 may generate a prediction block for the target block. Also, after the prediction block is generated, the encoding device 100 can code the residual of the target block and the prediction block.
  • the intra prediction unit 120 can use the pixels of the already coded / decoded block around the target block as a reference sample.
  • the intra prediction unit 120 can perform spatial prediction of a target block using a reference sample and generate prediction samples of a target block through spatial prediction.
  • the inter prediction unit 110 may include a motion prediction unit and a motion compensation unit.
  • the motion predicting unit can search for the best matched region from the reference block in the motion estimation process, derive the motion vector for the target block and the searched region using the searched region, can do.
  • the reference picture may be stored in the reference picture buffer 190 and may be stored in the reference picture buffer 190 when the coding and / or decoding of the reference picture has been processed.
  • the motion compensation unit may generate a prediction block for a target block by performing motion compensation using a motion vector.
  • the motion vector may be a two-dimensional vector used for inter prediction.
  • the motion vector may also indicate an offset between the target image and the reference image.
  • the motion prediction unit and the motion compensation unit can generate a prediction block by applying an interpolation filter to a part of the reference image when the motion vector has a non-integer value.
  • a method of motion prediction and motion compensation of a PU included in a CU based on a CU is called a skip mode, a merge mode, an advanced motion vector prediction (AMVP) mode and a current picture reference mode, and inter prediction or motion compensation may be performed according to each mode.
  • the subtracter 125 may generate a residual block which is a difference between the target block and the prediction block.
  • the residual block may be referred to as a residual signal.
  • the residual signal may mean a difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming, quantizing, or transforming and quantizing the difference between the original signal and the prediction signal.
  • the residual block may be a residual signal for a block unit.
  • the transforming unit 130 may perform a transform on the residual block to generate a transform coefficient, and output the generated transform coefficient.
  • the transform coefficient may be a coefficient value generated by performing a transform on the residual block.
  • the transforming unit 130 may omit the transform for the residual block.
  • a quantized transform coefficient level or a quantized level can be generated by applying quantization to the transform coefficients.
  • the quantized transform coefficient level and the quantized level may also be referred to as a transform coefficient.
  • the quantization unit 140 may generate a quantized transform coefficient level or a quantized level by quantizing the transform coefficient in accordance with the quantization parameter.
  • the quantization unit 140 may output the generated quantized transform coefficient level or the generated quantized level. At this time, the quantization unit 140 can quantize the transform coefficient using the quantization matrix.
  • the entropy encoding unit 150 can generate a bitstream by performing entropy encoding according to the probability distribution based on the values calculated by the quantization unit 140 and / or the coding parameter values calculated in the encoding process .
  • the entropy encoding unit 150 may output the generated bitstream.
  • the entropy encoding unit 150 may perform entropy encoding on information about pixels of an image and information for decoding an image.
  • the information for decoding the image may include a syntax element or the like.
  • the coding parameters may be information required for coding and / or decoding.
  • the coding parameters may include information that is encoded in the encoding apparatus 100 and transferred from the encoding apparatus 100 to the decoding apparatus, and may include information that can be inferred in the encoding or decoding process. For example, as information transmitted to the decoding apparatus, there is a syntax element.
  • the coding parameters may include prediction modes, motion vectors, reference picture indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, ) Information, and the like.
  • the prediction mode may indicate an intra prediction mode or an inter prediction mode.
  • the residual signal may represent the difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming the difference between the original signal and the prediction signal.
  • the residual signal may be a signal generated by transforming and quantizing the difference between the original signal and the prediction signal.
  • entropy coding When entropy coding is applied, a small number of bits can be assigned to a symbol having a high probability of occurrence, and a large number of bits can be assigned to a symbol having a low probability of occurrence. As the symbol is represented through this allocation, the size of the bit string for the symbols to be encoded can be reduced. Therefore, the compression performance of the image encoding can be improved through the entropy encoding.
  • the entropy encoding unit 150 may use an exponential golomb, a context-adaptive variable length coding (CAVLC), and a context-adaptive binary arithmetic coding Arithmetic Coding (CABAC), and the like can be used.
  • the entropy encoding unit 150 may perform entropy encoding using a Variable Length Coding / Code (VLC) table.
  • VLC Variable Length Coding / Code
  • the entropy encoding unit 150 may derive a binarization method for a target symbol.
  • the entropy encoding unit 150 may derive a probability model of a target symbol / bin.
  • the entropy encoding unit 150 may perform arithmetic encoding using the derived binarization method, the probability model, and the context model.
  • the entropy encoding unit 150 may change the coefficients of a form of a two-dimensional block into a one-dimensional vector form through a transform coefficient scanning method to encode a transform coefficient level.
  • Coding parameters may include not only information (or flags, indexes, etc.) encoded in a coding apparatus such as syntax elements and signaled from a coding apparatus to a decoding apparatus, but also information derived from a coding process or a decoding process have.
  • the coding parameters may include information required in coding or decoding an image.
  • Signaling a flag or an index may be performed by encoding the entropy-encoded flag or the entropy-encoded index generated by performing entropy encoding on a flag or an index in a bitstream in the encoding apparatus 100
  • the decryption apparatus 200 may mean to obtain a flag or an index by performing entropy decoding on an entropy-encoded flag extracted from the bitstream or an entropy-encoded index .
  • the encoded target image can be used as a reference image for another image (s) to be processed later. Accordingly, the encoding apparatus 100 can reconstruct or decode the encoded target image again, and store the reconstructed or decoded image as a reference image in the reference picture buffer 190. [ The inverse quantization and inverse transform of the encoded object image for decoding can be processed.
  • the quantized level may be inversely quantized in the inverse quantization unit 160 and may be inversely transformed in the inverse transformation unit 170.
  • the dequantized and / or inverse transformed coefficients may be combined with the prediction block via an adder 175.
  • a reconstructed block may be generated by summing the dequantized and / or inverse transformed coefficients and the prediction block.
  • the dequantized and / or inverse transformed coefficient may mean a coefficient on which at least one of dequantization and inverse-transformation is performed, and may mean a reconstructed residual block.
  • the reconstructed block may pass through filter portion 180.
  • the filter unit 180 may include at least one of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) It can be applied to a picture.
  • the filter unit 180 may be referred to as an in-loop filter.
  • the deblocking filter can remove block distortion occurring at the boundary between the blocks.
  • it may be determined whether to apply a deblocking filter to a target block based on the number of columns or pixels (or pixels) included in the block.
  • the applied filter may differ depending on the strength of the required deblocking filtering. In other words, a filter determined according to the strength of deblocking filtering among different filters can be applied to the target block.
  • SAO may add an appropriate offset to the pixel value of the pixel to compensate for coding errors.
  • SAO can perform correction using an offset with respect to a difference between an original image and an image to which deblocking is applied, in units of pixels, for an image to which deblocking is applied.
  • a method of dividing a pixel included in an image into a predetermined number of regions, determining an area to be offset of the divided areas, and applying an offset to the determined area may be used, and edge information of each pixel of the image may be used
  • a method of applying the offset by considering it may be used.
  • ALF can perform filtering based on the comparison of the reconstructed image and the original image. After dividing the pixels included in the image into predetermined groups, a filter to be applied to the divided group can be determined, and filtering can be performed differently for each group. Information related to whether or not an adaptive loop filter is applied can be signaled per CU. , The shape of the ALF to be applied to each block and the filter coefficient may be different for each block.
  • the reconstructed block or reconstructed image through the filter unit 180 may be stored in the reference picture buffer 190.
  • the reconstructed block through the filter unit 180 may be part of the reference picture. That is to say, the reference picture may be a reconstructed picture composed of reconstructed blocks via the filter unit 180.
  • the stored reference picture can then be used for inter prediction.
  • FIG. 2 is a block diagram illustrating a configuration of a decoding apparatus to which the present invention is applied.
  • the decoding apparatus 200 may be a decoder, a video decoding apparatus, or an image decoding apparatus.
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, an adder 255, A filter unit 260, and a reference picture buffer 270.
  • the decoding apparatus 200 can receive the bit stream output from the encoding apparatus 100. [ The decoding apparatus 200 can receive a bitstream stored in a computer-readable recording medium and can receive a bitstream streamed through a wired / wireless transmission medium.
  • the decoding apparatus 200 may perform decoding of an intra mode and / or an inter mode with respect to a bit stream.
  • the decoding apparatus 200 can generate a reconstructed image or a decoded image through decoding, and output the reconstructed image or the decoded image.
  • switching to an intra mode or an inter mode according to a prediction mode used for decoding may be performed by a switch.
  • the prediction mode used for decoding is the intra mode
  • the switch can be switched to intra.
  • the prediction mode used for decoding is the inter mode
  • the switch can be switched to the inter.
  • the decoding apparatus 200 can obtain a reconstructed residual block by decoding the input bitstream, and can generate a prediction block. Once the reconstructed residual block and prediction block are obtained, the decoding apparatus 200 can generate a reconstructed block to be decoded by adding the reconstructed residual block and the prediction block.
  • the entropy decoding unit 210 may generate the symbols by performing entropy decoding on the bitstream based on the probability distribution of the bitstream.
  • the generated symbols may include symbols in the form of a quantized level.
  • the entropy decoding method may be similar to the above-described entropy encoding method.
  • the entropy decoding method may be the inverse of the above-described entropy encoding method.
  • the quantized coefficients may be inversely quantized in the inverse quantization unit 220.
  • the inverse quantization unit 220 may generate inverse quantized coefficients by performing inverse quantization on the quantized coefficients.
  • the inverse quantized coefficient may be inversely transformed by the inverse transform unit 230.
  • the inverse transform unit 230 may generate the reconstructed residual block by performing an inverse transform on the inversely quantized coefficient.
  • reconstructed residual blocks can be generated.
  • the inverse quantization unit 220 may apply the quantization matrix to the quantized coefficients in generating the reconstructed residual block.
  • the intraprediction unit 240 can generate a prediction block by performing spatial prediction using the pixel value of the already decoded block around the target block.
  • the inter prediction unit 250 may include a motion compensation unit.
  • the inter prediction unit 250 may be named as a motion compensation unit.
  • the motion compensation unit may generate a prediction block by performing motion compensation using a motion vector and a reference image stored in the reference picture buffer 270.
  • the motion compensation unit can apply an interpolation filter to a part of the reference image and generate a prediction block using the reference image to which the interpolation filter is applied.
  • the motion compensation unit may determine which of the skip mode, the merge mode, the AMVP mode, and the current picture reference mode is used for the PU included in the CU based on the CU to perform motion compensation, To perform motion compensation.
  • the reconstructed residual block and the prediction block may be added through an adder 255.
  • the adder 255 may generate the reconstructed block by adding the reconstructed residual block and the prediction block.
  • the reconstructed block may pass through filter portion 260.
  • the filter unit 260 may apply at least one of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the reconstructed block through the filter unit 260 can be stored in the reference picture buffer 270.
  • the reconstructed block through the filter unit 260 may be part of the reference picture. That is to say, the reference image may be an image composed of reconstructed blocks through the filter unit 260.
  • the stored reference image can then be used for inter prediction.
  • FIG. 3 is a diagram schematically showing a division structure of an image when coding and decoding an image.
  • 3 schematically shows an example in which one unit is divided into a plurality of lower units.
  • a unit may be a term collectively referred to as 1) a block containing image samples and 2) a syntax element.
  • division of a unit may mean " division of a block corresponding to a unit ".
  • the CU can be used as a base unit of image encoding / decoding. Also, the CU can be used as a unit to which one of the intra mode and the inter mode is applied in image encoding / decoding. That is to say, in the image coding / decoding, it is possible to determine which of intra mode and inter mode is applied to each CU.
  • the CU may also be a base unit for prediction, transform, quantization, inverse transform, dequantization, and encoding / decoding of transform coefficients.
  • the image 300 may be sequentially divided into units of a Largest Coding Unit (LCU), and a divided structure of the image 300 may be determined according to an LCU.
  • LCU Largest Coding Unit
  • the LCU can be used in the same sense as a coding tree unit (CTU).
  • CTU coding tree unit
  • the division of a unit may mean division of a block corresponding to the unit.
  • the block partitioning information may include depth information about the depth of the unit.
  • the depth information may indicate the number and / or the number of times the unit is divided.
  • One unit may be hierarchically subdivided with depth information based on a tree structure. Each divided subunit may have depth information.
  • the depth information may be information indicating the size of the CU. Depth information can be stored for each CU. Each CU can have depth information.
  • the divided structure may mean a distribution of CUs for efficiently encoding an image in the LCU 310. [ This distribution can be determined depending on whether or not to divide one CU into a plurality of CUs.
  • the number of divided CUs may be two or more positive integers including 2, 4, 8, and 16, and so on.
  • the horizontal size and the vertical size of the CU generated by the division may be smaller than the horizontal size and the vertical size of the CU before division according to the number of CUs generated by the division.
  • the divided CUs can be recursively divided into a plurality of CUs in the same manner.
  • the size of at least one of the horizontal and vertical sizes of the partitioned CUs can be reduced compared to at least one of the horizontal and vertical sizes of the CUs before partitioning.
  • the partitioning of the CU can be done recursively up to a predetermined depth or a predetermined size.
  • the depth of the LCU may be zero, and the depth of the Smallest Coding Unit (SCU) may be a predetermined maximum depth.
  • the LCU may be a CU having a maximum coding unit size as described above, and the SCU may be a CU having a minimum coding unit size.
  • the partitioning may be started from the LCU 310 and the depth of the CU may increase by one each time the horizontal and / or vertical size of the CU is reduced by partitioning.
  • the unpartitioned CU may have a size of 2Nx2N.
  • a CU having a size of 2Nx2N can be divided into four CUs having an NxN size. The size of N can be reduced by half each time the depth is increased by one.
  • a LCU having a depth of 0 may be 64x64 pixels or 64x64 block. 0 may be the minimum depth.
  • An SCU with a depth of 3 may be 8x8 pixels or 8x8 block. 3 may be the maximum depth.
  • the CU of the 64x64 block, which is the LCU can be represented by the depth 0.
  • the CU of a 32x32 block can be represented by a depth of one.
  • the CU of a 16x16 block can be represented by a depth of two.
  • the CU of an 8x8 block that is an SCU can be represented by a depth of 3.
  • the division information may be 1-bit information. All CUs except SCU can contain partition information. For example, the value of the partition information of the unpartitioned CU may be 0, and the value of the partition information of the partitioned CU may be 1.
  • the horizontal size and the vertical size of each CU of the four CUs generated by the division are respectively half of the horizontal size and half of the vertical size of the CU before division .
  • the sizes of the 4 divided CUs may be 16x16.
  • the horizontal size or the vertical size of each CU of the two CUs generated by the division is respectively one half of the horizontal size of the CU before the division, .
  • the sizes of the two divided CUs may be 16x32.
  • both a quad-tree type partition and a binary-tree type partition are applied.
  • Fig. 4 is a diagram showing a form of a prediction unit (PU) that a coding unit (CU) can include.
  • a CU that is not further divided among the CUs divided from the LCU may be divided into one or more Prediction Units (PUs).
  • PUs Prediction Units
  • the PU may be a base unit for prediction.
  • the PU may be coded and decoded in either a skip mode, an inter mode, or an intra mode.
  • the PU can be divided into various forms according to each mode.
  • the target block described above with reference to FIG. 1 and the target block described above with reference to FIG. 2 may be a PU.
  • the skip mode there may be no division in the CU.
  • the 2Nx2N mode 410 having the same sizes of PU and CU without division can be supported.
  • inter mode eight subdivided forms within the CU can be supported.
  • 2Nx2N mode 410, 2NxN mode 415, Nx2N mode 420, NxN mode 425, 2NxnU mode 430, 2NxnD mode 435, nLx2N mode 440, Mode 445 may be supported.
  • 2Nx2N mode 410 and NxN mode 425 may be supported.
  • a PU of size 2Nx2N may be encoded.
  • a PU of size 2Nx2N can mean a PU of the same size as a CU.
  • a PU of size 2Nx2N may have a size of 64x64, 32x32, 16x16, or 8x8.
  • the PU of the size NxN can be encoded.
  • the size of the PU when the size of the PU is 8x8, four divided PUs can be encoded.
  • the size of the partitioned PU may be 4x4.
  • the PU When the PU is encoded by the intra mode, the PU may be encoded using one of the plurality of intra prediction modes.
  • the High Efficiency Video Coding (HEVC) technique may provide 35 intra prediction modes, and the PU may be coded into one of the 35 intra prediction modes.
  • HEVC High Efficiency Video Coding
  • the mode in which the PU is encoded by the 2Nx2N mode 410 and the NxN mode 425 can be determined by the rate-distortion cost.
  • the encoding apparatus 100 can perform the encoding operation on the 2Nx2N size PU.
  • the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 can use.
  • the optimal intra prediction mode for the 2Nx2N size PU can be derived through the encoding operation.
  • the optimal intra prediction mode may be an intra prediction mode in which a minimum rate-distortion cost is incurred for encoding 2Nx2N sized PUs among a plurality of intra prediction modes available for use by the encoding apparatus 100.
  • the encoding apparatus 100 can sequentially perform encoding operations on each PU of PUs divided into NxN.
  • the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 can use.
  • An optimal intra prediction mode for an NxN size PU can be derived through an encoding operation.
  • the optimal intra prediction mode may be an intra prediction mode in which a minimum rate-distortion cost is incurred for encoding of NxN-sized PUs among a plurality of intra prediction modes available for use by the encoding apparatus 100.
  • the encoding apparatus 100 may determine which of 2Nx2N sized PU and NxN sized PUs to encode based on a comparison of the rate-distortion cost of the 2Nx2N sized PU and the rate-distortion costs of the NxN sized PUs.
  • FIG. 5 is a diagram showing a form of a conversion unit (TU) which can be included in a coding unit (CU).
  • TU conversion unit
  • CU coding unit
  • a Transform Unit may be a base unit used for transform, quantization, inverse transform, inverse quantization, entropy coding, and entropy decoding processes within a CU.
  • the TU may have a square shape or a rectangular shape.
  • the CUs that are no longer divided into CUs may be divided into one or more TUs.
  • the partition structure of the TU may be a quad-tree structure.
  • one CU 510 may be divided one or more times according to the quad-tree structure.
  • one CU 510 can be composed of TUs of various sizes.
  • a 64.times.64 Coding Tree Unit can be divided into a smaller number of CUs by a recursive quad-crree structure.
  • One CU may be divided into four CUs having the same sizes.
  • CUs can be recursively partitioned, and each CU can have a quadtree structure.
  • the CU can have depth. If the CU is partitioned, the CUs generated by partitioning may have an increased depth by one in the depth of the partitioned CU.
  • the depth of the CU may have a value from 0 to 3.
  • the size of the CU may range from 64x64 to 8x8 depending on the depth of the CU.
  • FIG. 6 is a diagram for explaining an embodiment of an intra prediction process.
  • the arrows from the center to the outline of the graph of FIG. 6 may indicate the prediction directions of the intra-prediction modes.
  • the number indicated close to the arrow may represent an example of the mode value assigned to the prediction direction of the intra-prediction mode or the intra-prediction mode.
  • Intra coding and / or decoding may be performed using reference samples of the units around the target block.
  • the surrounding block may be the reconstructed block around.
  • intra-coding and / or decoding may be performed using values or coding parameters of reference samples included in the reconstructed neighboring blocks.
  • the encoding apparatus 100 and / or the decoding apparatus 200 can generate a prediction block by performing intra prediction on a target block based on information of samples in the target image.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may generate a prediction block for a target block by performing intra prediction based on information of samples in the target image.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may perform directional prediction and / or non-directional prediction based on at least one reconstructed reference sample.
  • the prediction block may refer to a block generated as a result of performing intra prediction.
  • the prediction block may correspond to at least one of CU, PU, and TU.
  • the unit of the prediction block may be at least one of CU, PU, and TU.
  • the prediction block may have the form of a square having a size of 2Nx2N or a size of NxN.
  • the size of NxN may include 4x4, 8x8, 16x16, 32x32 and 64x64.
  • the prediction block may be a block in the form of a square having a size of 2x2, 4x4, 16x16, 32x32, or 64x64, or may be a rectangular block having a size of 2x8, 4x8, 2x16, 4x16 and 8x16.
  • Intra prediction may be performed according to the intra prediction mode for the target block.
  • the number of intra prediction modes that a target block may have may be a predetermined fixed value and may be a value determined differently depending on the property of the prediction block.
  • the attributes of the prediction block may include the size of the prediction block and the type of the prediction block.
  • the number of intra prediction modes can be fixed to 35 irrespective of the size of the prediction block.
  • the number of intra prediction modes may be 3, 5, 9, 17, 34, 35 or 36, and so on.
  • the intra prediction mode may be a non-directional mode or a directional mode.
  • the intra prediction mode may include two non-directional modes and 33 directional modes as shown in FIG.
  • the two non-directional modes may include a DC mode and a Planar mode.
  • the directional modes may be a prediction mode having a specific direction or a specific angle.
  • the intra prediction mode may be represented by at least one of a mode number, a mode value, a mode number, and a mode angle.
  • the number of intra prediction modes may be M. M may be at least one. That is to say, the intra prediction mode may be M numbers including the number of non-directional modes and the number of directional modes.
  • the number of intra prediction modes can be fixed to M irrespective of the size of the block.
  • the number of intra prediction modes may differ depending on the size of the block and / or the type of color component.
  • the number of prediction modes may be different depending on whether the color component is a luma signal or a chroma signal.
  • the larger the block size the larger the number of intra prediction modes.
  • the number of intra prediction modes of the luma component block may be greater than the number of intra prediction modes of the chrominance component block.
  • the prediction can be performed in the vertical direction based on the pixel value of the reference sample.
  • prediction can be performed in the horizontal direction based on the pixel value of the reference sample.
  • the encoding apparatus 100 and the decoding apparatus 200 can perform intra prediction on a target unit using a reference sample according to an angle corresponding to the directional mode even in the directional mode other than the above-described mode.
  • the intra prediction mode located on the right side of the vertical mode may be referred to as a vertical-right mode.
  • the intra prediction mode located at the lower end of the horizontal mode may be named a horizontal-below mode.
  • the intra prediction modes in which the mode value is one of 27, 28, 29, 30, 31, 32, 33, and 34 may be vertical right modes 613.
  • Intra prediction modes where the mode value is one of 2, 3, 4, 5, 6, 7, 8, and 9 may be horizontal lower modes 616.
  • the non-directional mode may include a DC mode and a planar mode.
  • the mode value of the DC mode may be one.
  • the mode value of the planner mode may be zero.
  • the directional mode may include an angular mode.
  • the remaining modes except for the DC mode and the planar mode may be the directional mode.
  • a prediction block may be generated based on an average of pixel values of a plurality of reference samples. For example, the value of a pixel of a prediction block may be determined based on an average of pixel values of a plurality of reference samples.
  • the number of intra prediction modes described above and the mode value of each intra prediction mode may be exemplary only.
  • the number of intra prediction modes described above and the mode value of each intra prediction mode may be differently defined according to the embodiment, implementation and / or necessity.
  • a step of checking whether samples included in the restored neighboring block can be used as a reference sample of the target block to perform intra prediction on the target block can be performed.
  • a value generated by copying and / or interpolation using at least one sample value of samples included in the reconstructed neighboring block if there is a sample that is not available as a reference sample of the target block among the samples of the neighboring block It can be replaced with the sample value of the sample which is not available as a reference sample. If the value generated by copying and / or interpolation is replaced with the sample value of the sample, the sample may be used as a reference sample of the target block.
  • a filter may be applied to at least one of a reference sample or a prediction sample based on at least one of an intra prediction mode and a size of a target block.
  • the intra prediction mode is the planar mode
  • the upper reference sample of the target sample, the left reference sample of the target sample, the upper right reference sample of the target block And a weighted sum of the lower left reference samples of the target block may be used to generate a sample value of the prediction target sample.
  • the intra prediction mode is the DC mode
  • the average value of the upper reference samples and the left reference samples of the target block may be used.
  • a prediction block can be generated using the upper reference sample, the left reference sample, the upper right reference sample, and / or the lower left reference sample of the target block.
  • Real-unit interpolation may be performed to generate the prediction samples described above.
  • the intra prediction mode of the target block can be predicted from the intra prediction of the neighboring block of the target block, and the information used for prediction can be entropy encoded / decoded.
  • the intraprediction modes of the target block and the neighboring blocks are the same, it can be signaled that the intraprediction modes of the target block and the neighboring block are the same using the predetermined flag.
  • an indicator indicating an intra prediction mode that is the same as the intra prediction mode of the target block among the intra prediction modes of a plurality of neighboring blocks may be signaled.
  • information of the intra-prediction mode of the target block may be entropy-encoded / decoded based on the intra-prediction mode of the neighboring block.
  • FIG. 7 is a view for explaining the positions of reference samples used in the intra prediction process.
  • a reconstructed reference sample used for intra prediction of a target block includes lower-left reference samples 731, left reference samples 733, an upper- left corner reference samples 735, top reference samples 737 and top-right reference samples 739, and the like.
  • the left reference samples 733 may refer to reconstructed reference pixels adjacent to the left side of the target block.
  • Top reference samples 737 may refer to a reconstructed reference pixel adjacent the top of the target block.
  • the upper left corner reference sample 735 may refer to a reconstructed reference pixel located at the upper left corner of the object block.
  • the lower left reference samples 731 may refer to a reference sample located at the lower end of the left sample line among the samples located on the same line as the left sample line composed of the left reference samples 733.
  • Upper right reference samples 739 may refer to reference samples located on the right side of the upper pixel line among the samples located on the same line as the upper sample line composed of upper reference samples 737.
  • the lower left reference samples 731, the left reference samples 733, the upper reference samples 737, and the upper right reference samples 739 may be N, respectively.
  • a prediction block can be generated through intraprediction of a target block.
  • the generation of the prediction block may include determining the value of the pixels of the prediction block.
  • the size of the target block and the size of the prediction block may be the same.
  • the reference sample used for intra prediction of the target block may be changed depending on the intra prediction mode of the target block.
  • the direction of the intra-prediction mode may indicate a dependency between the reference samples and the pixels of the prediction block.
  • the value of the specified reference sample may be used as the value of one or more specified pixels of the prediction block.
  • the specified reference sample and the specified one or more pixels of the prediction block may be samples and pixels designated by a straight line in the direction of the intra prediction mode. That is to say, the value of the specified reference sample can be copied to the value of the pixel located in the reverse direction of the intra prediction mode.
  • the value of the pixel of the prediction block may be the value of the reference sample located in the direction of the intra-prediction mode with respect to the position of the pixel.
  • the intra prediction mode of the target block is a vertical mode with a mode value of 26
  • upper reference samples 737 may be used for intra prediction.
  • the intra prediction mode is the vertical mode
  • the value of the pixel of the prediction block may be the value of the reference sample vertically positioned with respect to the position of the pixel.
  • top reference samples 737 that are adjacent to the top of the target block may be used for intra prediction.
  • the values of the pixels of a row of the prediction block may be the same as the values of the upper reference samples 737.
  • the left reference samples 733 can be used for intra prediction.
  • the value of the pixel of the prediction block may be the value of the reference sample located horizontally on the left side of the pixel. Therefore, the left reference samples 733 to the left of the target block can be used for intra prediction.
  • the values of the pixels in one column of the prediction block may be the same as the values of the left reference samples 733.
  • the mode value of the intra prediction mode of the target block is 18, at least a part of the left reference samples 733, at least a part of the upper left corner reference sample 735 and the upper reference samples 737, Can be used. If the mode value of the intra prediction mode is 18, the value of the pixel of the prediction block may be a value of the reference sample located diagonally to the left of the upper side with respect to the pixel.
  • At least some of the upper right reference samples 739 may be used for intra prediction.
  • At least a part of the lower left reference samples 731 may be used for intra prediction.
  • upper left corner reference samples 735 may be used for intra prediction if an intra prediction mode with a mode value of 11 to 25 is used.
  • the reference sample used to determine the pixel value of one pixel of the prediction block may be one, or may be two or more.
  • the pixel value of the pixel of the prediction block as described above can be determined according to the position of the pixel and the position of the reference sample indicated by the direction of the intra prediction mode. If the position of the pixel and the position of the reference sample pointed by the direction of the intra prediction mode is an integer position, the value of one reference sample pointed to by the integer position can be used to determine the pixel value of the pixel of the prediction block.
  • an interpolated reference sample may be generated based on the two reference samples closest to the location of the reference sample have.
  • the value of the interpolated reference sample may be used to determine the pixel value of the pixel of the prediction block. That is, when the position of the pixel of the prediction block and the position of the reference sample pointed by the direction of the intra prediction mode indicate between the two reference samples, an interpolated value is generated based on the values of the two samples .
  • the prediction block generated by the prediction may not be the same as the original target block. That is, there may be a prediction error which is a difference between the target block and the prediction block, and a prediction error may exist between the pixels of the target block and the pixels of the prediction block.
  • Filtering for the prediction block may be used to reduce the prediction error.
  • the filtering may be adaptively applying a filter to an area of the prediction block that is considered to have a large prediction error.
  • the region considered as having a large prediction error may be the boundary of the prediction block.
  • an area regarded as having a large prediction error among the prediction blocks may be different, and the characteristics of the filter may be different.
  • FIG. 8 is a diagram for explaining an embodiment of the inter prediction process.
  • the rectangle shown in FIG. 8 may represent an image (or a picture).
  • the arrow indicates the prediction direction. That is, the image can be encoded and / or decoded according to the prediction direction.
  • Each image can be classified into an I picture (Intra Picture), a P picture (Uni-prediction Picture), and a B picture (Bi-prediction Picture) according to the coding type.
  • Each picture can be coded according to the coding type of each picture.
  • the object image to be encoded is an I-picture
  • the object image can be encoded using data in the image itself without inter-prediction referring to other images.
  • an I-picture can be encoded only by intra prediction.
  • the target image When the target image is a P picture, the target image can be encoded by inter prediction using only reference pictures existing in a unidirection.
  • the unidirectional may be forward or reverse.
  • the target image When the target image is a B picture, the target image can be encoded by inter prediction using bi-directional reference pictures or inter prediction using reference pictures existing in one direction of forward and backward directions. Here, both directions may be forward and backward.
  • P-pictures and B-pictures that are encoded and / or decoded using reference pictures can be regarded as pictures in which inter-prediction is used.
  • Inter prediction can be performed using motion information.
  • the encoding apparatus 100 can perform inter prediction and / or motion compensation on a target block.
  • the decoding apparatus 200 may perform inter-prediction and / or motion compensation corresponding to inter-prediction and / or motion compensation in the encoding apparatus 100 with respect to a target block.
  • the motion information for the target block can be derived during inter-prediction by the encoding apparatus 100 and the decoding apparatus 200, respectively.
  • the motion information may be derived using motion information of the restored neighboring block, motion information of the call block, and / or motion information of a block adjacent to the call block.
  • the coding apparatus 100 or the decoding apparatus 200 may perform prediction and / or motion compensation by using motion information of a spatial candidate and / or a temporal candidate as motion information of a target block Can be performed.
  • the target block may refer to a PU and / or PU partition.
  • the spatial candidate may be a reconstructed block spatially adjacent to the target block.
  • the temporal candidate may be a reconstructed block corresponding to a target block in a collocated picture (col picture) that has already been reconstructed.
  • the coding apparatus 100 and the decoding apparatus 200 can improve coding efficiency and decoding efficiency by using motion information of spatial candidates and / or temporal candidates.
  • the motion information of the spatial candidate may be referred to as spatial motion information.
  • the temporal candidate motion information may be referred to as temporal motion information.
  • the motion information of the spatial candidate may be the motion information of the PU including the spatial candidate.
  • the motion information of the temporal candidate may be the motion information of the PU including the temporal candidate.
  • the motion information of the candidate block may be the motion information of the PU including the candidate block.
  • Inter prediction can be performed using a reference picture.
  • the reference picture may be at least one of a previous picture of a target picture or a subsequent picture of a target picture.
  • the reference picture may refer to an image used for prediction of a target block.
  • an area in a reference picture can be specified by using a reference picture index (or refIdx) indicating a reference picture and a motion vector or the like to be described later.
  • the specified area in the reference picture may indicate a reference block.
  • Inter prediction can select a reference picture and can select a reference block corresponding to a target block in a reference picture.
  • the inter prediction can generate a prediction block for a target block using the selected reference block.
  • the motion information may be derived during inter-prediction by the encoding apparatus 100 and the decoding apparatus 200, respectively.
  • the spatial candidate may be 1) existing in the target picture, 2) already reconstructed through encoding and / or decoding, and 3) adjacent to the target block or a block located at the corner of the target block.
  • a block located at a corner of a target block may be a block vertically adjacent to a neighboring block that is laterally adjacent to the target block, or a block that is laterally adjacent to a neighboring block vertically adjacent to the target block.
  • the " block located at the corner of the target block " may have the same meaning as " the block adjacent to the corner of the target block ".
  • the " block located at the corner of the target block " may be included in the " block adjacent to the target block ".
  • the spatial candidate may be a reconstructed block located on the left side of the target block, a reconstructed block located on the top of the target block, a reconstructed block located in the lower left corner of the target block, The reconstructed block or the reconstructed block located in the upper left corner of the target block.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 can identify a block existing in a position spatially corresponding to a target block in a col picture.
  • the position of the target block in the target picture and the position of the identified block in the call picture can correspond to each other.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 can determine a col block existing at a predetermined relative position with respect to the identified block as a temporal candidate.
  • the predetermined relative position may be a position inside the identified block and / or an outside position.
  • the call block may include a first call block and a second call block.
  • the first call block may be a block located in the coordinates (xP + nPSW, yP + nPSH).
  • the second call block may be a block located in the coordinates (xP + (nPSW >> 1), yP + (nPSH >> 1).
  • the second call block may optionally be used when the first call block is unavailable.
  • the motion vector of the target block may be determined based on the motion vector of the call block.
  • Each of the encoding apparatus 100 and the decoding apparatus 200 can scale a motion vector of a call block.
  • a scaled motion vector of the call block can be used as a motion vector of the target block.
  • the motion vector of the temporal candidate motion information stored in the list may be a scaled motion vector.
  • the ratio of the motion vector of the target block and the motion vector of the call block may be the same as the ratio of the first distance and the second distance.
  • the first distance may be a distance between a reference picture and a target picture of a target block.
  • the second distance may be the distance between the reference picture of the call block and the call picture.
  • the derivation method of the motion information can be changed according to the inter prediction mode of the target block.
  • an inter-prediction mode applied for inter prediction such as an Advanced Motion Vector Predictor (AMVP) mode
  • AMVP Advanced Motion Vector Predictor
  • merge mode may also be referred to as a motion merge mode.
  • the encoding apparatus 100 can search for similar blocks in the vicinity of the target block.
  • the encoding apparatus 100 can obtain a prediction block by performing prediction on a target block using motion information of a similar similar block.
  • the encoding apparatus 100 can code residual blocks that are the difference between the target block and the prediction block.
  • each of the encoding apparatus 100 and the decoding apparatus 200 can generate a predicted motion vector candidate list using a spatial candidate motion vector, a temporal motion motion vector, and a zero vector have.
  • the predicted motion vector candidate list may include one or more predicted motion vector candidates. At least one of a motion vector of a spatial candidate motion vector, a temporal candidate motion vector, and a zero vector may be determined and used as a predicted motion vector candidate.
  • predicted motion vector (candidate) and “motion vector (candidate)” may be used interchangeably and may be used interchangeably.
  • predicted motion vector candidate and “ AMVP candidate” can be used interchangeably and can be used interchangeably.
  • predicted motion vector candidate list and “AMVP candidate list” may be used interchangeably and may be used interchangeably.
  • the spatial motion candidate may include reconstructed spatial neighboring blocks.
  • the motion vector of the reconstructed neighboring block may be referred to as a spatial prediction motion vector candidate.
  • the temporal motion candidate may include a call block and a block adjacent to the call block.
  • a motion vector of a call block or a block adjacent to a call block may be referred to as a temporal prediction motion vector candidate.
  • the zero vector may be a (0, 0) motion vector.
  • the predicted motion vector candidate may be a motion vector predictor for predicting the motion vector. Also, in the encoding apparatus 100, the predicted motion vector candidate may be a motion vector initial search position.
  • the encoding apparatus 100 may use the predicted motion vector candidate list to determine a motion vector to be used for encoding the target block within the search range. Also, the encoding apparatus 100 can determine a predicted motion vector candidate to be used as a predicted motion vector of a target block among predicted motion vector candidates of the predicted motion vector candidate list.
  • a motion vector to be used for coding a target block may be a motion vector that can be encoded at a minimum cost.
  • the encoding apparatus 100 can determine whether to use the AMVP mode in encoding the target block.
  • the encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction.
  • the decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
  • the inter prediction information includes 1) mode information indicating whether the AMVP mode is used, 2) a predicted motion vector index, 3) a motion vector difference (MVD), 4) a reference direction, and 5) can do.
  • the terms " predicted motion vector index " and " AMVP index " may be used interchangeably and may be used interchangeably.
  • the inter prediction information may include a residual signal.
  • the decoding apparatus 200 can obtain the predicted motion vector index, the motion vector difference, the reference direction, and the reference picture index from the bitstream through entropy decoding.
  • the predicted motion vector index may indicate a predicted motion vector candidate used for predicting a target block among the predicted motion vector candidates included in the predicted motion vector candidate list.
  • the decoding apparatus 200 can derive a predicted motion vector candidate using the predicted motion vector candidate list and determine the motion information of the target block based on the derived predicted motion vector candidate.
  • the decoding apparatus 200 can determine a motion vector candidate for a target block from among the predicted motion vector candidates included in the predicted motion vector candidate list using the predicted motion vector index.
  • the decoding apparatus 200 can select a predicted motion vector candidate pointed to by the predicted motion vector index among the predicted motion vector candidates included in the predicted motion vector candidate list as a predicted motion vector of the target block.
  • the motion vector to be actually used for inter prediction of the target block may not coincide with the predicted motion vector.
  • the MVD may be used to represent the difference between the motion vector to be actually used for inter prediction of the target block and the predicted motion vector.
  • the encoding apparatus 100 can derive a predictive motion vector similar to a motion vector to be actually used for inter prediction of a target block in order to use an MVD as small as possible.
  • the MVD may be a difference between a motion vector of a target block and a predicted motion vector.
  • the encoding apparatus 100 can calculate the MVD and entropy-encode the MVD.
  • the MVD may be transmitted from the encoding apparatus 100 to the decoding apparatus 200 through a bitstream.
  • the decoding apparatus 200 can decode the received MVD.
  • the decoding apparatus 200 can derive a motion vector of a target block by adding the decoded MVD and the predicted motion vector.
  • the motion vector of the target block derived from the decoding apparatus 200 may be the sum of the entropy-decoded MVD and the motion vector candidate.
  • the reference direction may indicate a reference picture list used for predicting a target block.
  • the reference direction may indicate one of the reference picture list L0 and the reference picture list L1.
  • the reference direction may refer to a reference picture list used for prediction of a target block, but may not indicate that the directions of the reference pictures are limited in a forward direction or a backward direction. That is to say, each of the reference picture list L0 and the reference picture list L1 may include forward and / or backward pictures.
  • the reference direction being uni-directional may mean that one reference picture list is used.
  • the bi-directional reference direction may mean that two reference picture lists are used. That is to say, the reference direction may indicate that only the reference picture list L0 is used, only the reference picture list L1 is used, and one of the two reference picture lists.
  • the reference picture index may indicate a reference picture used for prediction of a target block among reference pictures of the reference picture list.
  • the reference picture index can be entropy-encoded by the encoding apparatus 100.
  • the entropy encoded reference picture index may be signaled from the encoding apparatus 100 to the decoding apparatus 200 through the bit stream.
  • two reference picture lists are used for prediction of a target block.
  • One reference picture index and one motion vector may be used for each reference picture list.
  • two prediction blocks can be specified for a target block. For example, a (final) prediction block of a target block may be generated through an average or a weighted sum of two prediction blocks for a target block.
  • the motion vector of the target block can be derived by the predicted motion vector index, the MVD, the reference direction, and the reference picture index.
  • the decoding apparatus 200 may generate a prediction block for a target block based on the derived motion vector and the reference picture index.
  • the prediction block may be a reference block pointed to by the derived motion vector in the reference picture pointed to by the reference picture index.
  • the amount of bits to be transmitted from the encoding apparatus 100 to the decoding apparatus 200 can be reduced by encoding the predicted motion vector index and the MVD without encoding the motion vector of the target block and the encoding efficiency can be improved.
  • Motion information of the reconstructed neighboring blocks may be used for the target block.
  • the encoding apparatus 100 may not separately encode the motion information on the target block.
  • the motion information of the target block is not coded and other information capable of deriving the motion information of the target block through motion information of the reconstructed neighboring block can be encoded instead.
  • the amount of bits to be transmitted to the decoding apparatus 200 can be reduced, and the coding efficiency can be improved.
  • a skip mode and / or a merge mode may be an inter prediction mode in which motion information of the target block is not directly encoded.
  • the encoding apparatus 100 and the decoding apparatus 200 may use an identifier and / or index indicating which one of the reconstructed neighboring units is used as motion information of the target unit.
  • a merge may mean a merging of movements for a plurality of blocks.
  • Merging may mean applying motion information of one block to another block as well.
  • the merge mode may mean a mode in which motion information of a target block is derived from motion information of a neighboring block.
  • the encoding apparatus 100 can predict motion information of a target block using motion information of a spatial candidate and / or motion information of a temporal candidate.
  • the spatial candidate may include reconstructed spatial neighboring blocks spatially adjacent to the object block. Spatially adjacent blocks may include a left adjacent block and an upper adjacent block.
  • the temporal candidate may include a call block.
  • the encoding apparatus 100 can obtain a prediction block through prediction.
  • the encoding apparatus 100 can code residual blocks that are the difference between the target block and the prediction block.
  • each of the encoding apparatus 100 and the decoding apparatus 200 can generate a merge candidate list using motion information of a spatial candidate and / or motion information of a temporal candidate.
  • the motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction.
  • the reference direction may be unidirectional or bidirectional.
  • the merge candidate list may include merge candidates.
  • the merge candidate may be motion information. That is to say, the merge candidate list may be a list in which motion information is stored.
  • the merge candidates may be motion information such as temporal candidates and / or spatial candidates.
  • the merge candidate list may include a new merge candidate generated by a combination of merge candidates already present in the merge candidate list. That is, the merge candidate list may include new motion information generated by a combination of motion information already present in the merge candidate list.
  • the merge candidates may be specified modes for deriving inter prediction information.
  • the merge candidate may be information indicating a specified mode for deriving inter prediction information.
  • the inter prediction information of the target block may be derived according to the specified mode indicated by the merge candidate.
  • the specified mode may include a process of deriving a series of inter prediction information.
  • This specified mode may be an inter prediction information induction mode or a motion information induction mode.
  • the inter prediction information of the target block may be derived according to the mode indicated by the merge candidate selected by the merge index among the merge candidates in the merge candidate list.
  • the motion information derivation modes in the merge candidate list may be at least one of 1) a motion information derivation mode in sub-block units, and 2) an affine motion information derivation mode.
  • the merge candidate list may include motion information of a zero vector. Zero vectors may also be called zero-merge candidates.
  • the motion information in the merge candidate list includes: 1) motion information of a spatial candidate, 2) motion information of a temporal candidate, 3) motion information generated by a combination of motion information existing in an already existing candidate list, 4) Lt; / RTI >
  • the motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction.
  • the reference direction may be referred to as an inter prediction indicator.
  • the reference direction may be unidirectional or bidirectional.
  • the unidirectional reference direction may represent L0 prediction or L1 prediction.
  • the merge candidate list can be generated before the prediction by merge mode is performed.
  • the number of merge candidates in the merge candidate list can be predetermined.
  • the encoding apparatus 100 and the decrypting apparatus 200 may add merge candidates to the merge candidate list according to the predefined method and the predefined rank so that the merge candidate list has the predetermined number of merge candidates.
  • the merge candidate list of the encoding apparatus 100 and the merge candidate list of the decryption apparatus 200 may be the same through the predetermined scheme and the default rank.
  • the merge can be applied in CU units or PU units.
  • the encoding apparatus 100 may transmit the bitstream including the predetermined information to the decoding apparatus 200.
  • the predefined information may include: 1) information indicating whether to perform a merge by block partitions, 2) a block to be merged with any block among the blocks that are spatial candidates and / or temporal candidates for the target block And information about whether or not it is possible.
  • the encoding apparatus 100 can determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may use the merge candidates of the merge candidate list to perform predictions on the target block, and generate residual blocks for the merge candidates. The encoding apparatus 100 can use the merge candidate requiring minimum cost in prediction and encoding of the residual block for encoding the target block.
  • the encoding apparatus 100 can determine whether to use the merge mode in encoding the target block.
  • the encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction.
  • the encoding apparatus 100 may generate entropy-encoded inter prediction information by performing entropy encoding on the inter prediction information, and may transmit the bit stream including the entropy-encoded inter prediction information to the decoding apparatus 200.
  • entropy-encoded inter prediction information can be signaled from the encoding apparatus 100 to the decoding apparatus 200.
  • the decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
  • the inter prediction information may include 1) mode information indicating whether the merge mode is used, and 2) a merge index.
  • the inter prediction information may include a residual signal.
  • the decoding apparatus 200 can obtain a merge index from the bit stream only when the mode information indicates that the merge mode is used.
  • the mode information may be a merge flag.
  • the unit of mode information may be a block.
  • the information about the block may include mode information, and the mode information may indicate whether the merge mode is applied to the block.
  • the merge index may indicate a merge candidate used for predicting a target block among merge candidates included in the merge candidate list.
  • the merge index may indicate which of the neighboring blocks spatially or temporally adjacent to the target block is merged with.
  • the encoding apparatus 100 can select the merge candidate having the highest encoding capability among the merge candidates included in the merge candidate list and set the merge index value to point to the selected merge candidate.
  • the decoding apparatus 200 can perform the prediction on the target block using merge candidates indicated by the merge index among merge candidates included in the merge candidate list.
  • the motion vector of the target block may be specified by the motion vector of the merge candidate pointed to by the merge index, the reference picture index, and the reference direction.
  • the skip mode may be a mode in which motion information of a spatial candidate or motion information of a temporal candidate is directly applied to a target block.
  • the skip mode may be a mode in which the residual signal is not used. That is to say, when the skip mode is used, the reconstructed block may be a prediction block.
  • the difference between the merge mode and the skip mode may be the transmission or use of the residual signal. That is to say, the skip mode may be similar to the merge mode, except that the residual signal is not transmitted or used.
  • the encoding apparatus 100 transmits information indicating which of the blocks, which are spatial candidates or temporal candidates, is to be used as motion information of the target block, to the decoding apparatus 200 through the bit stream Lt; / RTI >
  • the encoding apparatus 100 may generate entropy-encoded information by performing entropy encoding on the information, and may signal entropy-encoded information to the decoding apparatus 200 through the bitstream.
  • the encoding apparatus 100 may not transmit other syntax element information such as MVD to the decryption apparatus 200.
  • the encoding apparatus 100 may not signal a syntax element related to at least one of the MVC, the coded block flag, and the transform coefficient level to the decoding apparatus 200.
  • the merge candidate list can be used in both merge mode and skip mode.
  • the merge candidate list may be named a " skip candidate list " or a " merge / skip candidate list ".
  • the skip mode may use a separate candidate list different from the merge mode.
  • the merge candidate list and merge candidate in the following description can be replaced with a skip candidate list and a skip candidate, respectively.
  • the merge candidate list can be generated before the prediction by the skip mode is performed.
  • the encoding apparatus 100 can determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may perform predictions on a target block using merge candidates of a merge candidate list. The encoding apparatus 100 can use the merge candidate requiring minimum cost in prediction for encoding the target block.
  • the encoding apparatus 100 can determine whether to use the skip mode in encoding the target block.
  • the encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction.
  • the decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
  • the inter prediction information may include 1) mode information indicating whether a skip mode is used, and 2) a skip index.
  • the skip index may be the same as the merge index described above.
  • the target block can be encoded without a residual signal.
  • the inter prediction information may not include the residual signal.
  • the bitstream may not include the residual signal.
  • the decoding apparatus 200 can acquire the skip index from the bit stream only when the mode information indicates that the skip mode is used. As described above, the merge index and the skip index may be the same. The decoding apparatus 200 can acquire the skip index from the bit stream only when the mode information indicates that the merge mode or the skip mode is used.
  • the skip index may indicate a merge candidate used for predicting a target block among merge candidates included in the merge candidate list.
  • the decoding apparatus 200 can perform prediction on the target block using merge candidates indicated by the skip index among merge candidates included in the merge candidate list.
  • the motion vector of the target block may be specified by the motion vector of the merge candidate pointed to by the skip index, the reference picture index, and the reference direction.
  • the current picture reference mode may mean a prediction mode using the preexisting reconstructed region in the target picture to which the target block belongs.
  • a vector may be defined to identify the pre-reconstructed region. Whether or not the target block is coded in the current picture reference mode can be determined using the reference picture index of the target block.
  • a flag or an index indicating whether the target block is a block coded in the current picture reference mode may be signaled from the coding apparatus 100 to the decoding apparatus 200. [ Alternatively, whether the target block is a block coded in the current picture reference mode may be inferred through the reference picture index of the target block.
  • the target picture may be added to a fixed position or an arbitrary position in the reference picture list for the target block.
  • the fixed position may be the position where the reference picture index is 0 or the last position.
  • a separate reference picture index indicating this arbitrary position may be signaled from the coding apparatus 100 to the decoding apparatus 200.
  • motion information to be used for prediction of a target block among motion information items in the list can be specified through indexes on the list.
  • the coding apparatus 100 can signal only the index of the element causing the minimum cost in the inter prediction of the target block among the elements of the list.
  • the encoding apparatus 100 can encode an index and signal the encoded index.
  • the above-described lists may have to be derived in the same manner based on the same data in the encoding apparatus 100 and the decrypting apparatus 200.
  • the same data may include reconstructed pictures and reconstructed blocks.
  • the order of the elements in the list may have to be constant.
  • Figure 9 shows spatial candidates according to an example.
  • a large block in the middle can represent a target block.
  • the five small blocks may represent spatial candidates.
  • the coordinates of the target block may be (xP, yP), and the size of the target block may be (nPSW, nPSH).
  • the spatial candidate A 0 may be a block adjacent to the lower left corner of the target block.
  • a 0 may be a block occupying a pixel of coordinates (xP - 1, yP + nPSH + 1).
  • the spatial candidate A 1 may be a block adjacent to the left of the target block.
  • a 1 may be the lowermost block among the blocks adjacent to the left of the target block.
  • a 1 may be a block adjacent to the top of A 0 .
  • a 1 may be a block occupying a pixel of coordinates (xP - 1, yP + nPSH).
  • the spatial candidate B 0 may be a block adjacent to the upper right corner of the target block.
  • B 0 may be a block occupying a pixel of coordinates (xP + nPSW + 1, yP-1).
  • the spatial candidate B 1 may be a block adjacent to the top of the target block.
  • B 1 may be the rightmost block among the blocks adjacent to the top of the target block.
  • B 1 may be a block adjacent to the left of B 0 .
  • B 1 may be a block occupying the pixels of the coordinates (xP + nPSW, yP-1).
  • the spatial candidate B 2 may be a block adjacent to the upper left corner of the target block.
  • B 2 may be a block occupying pixels of coordinates (xP-1, yP-1).
  • the candidate block may include spatial candidates and temporal candidates.
  • the above determination can be made by sequentially applying the following steps 1) to 4).
  • Step 1) If the PU including the candidate block is outside the boundary of the picture, the availability of the candidate block may be set to false. &Quot; Availability is set to false " may be synonymous with " set to unavailable ".
  • Step 2 If the PU including the candidate block is outside the boundary of the slice, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different slices, the availability of the candidate block may be set to false.
  • Step 3 If the PU including the candidate block is outside the boundary of the tile, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different tiles, the availability of the candidate block may be set to false.
  • Step 4 If the prediction mode of the PU including the candidate block is the intra prediction mode, the availability of the candidate block may be set to false. If the PU including the candidate block does not use inter prediction, the availability of the candidate block may be set to false.
  • FIG. 10 shows an addition sequence of motion information of spatial candidates to a merge list according to an example.
  • a sequence of A 1 , B 1 , B 0 , A 0, and B 2 may be used. That is, the motion information of available spatial candidates can be added to the merged list in the order of A 1 , B 1 , B 0 , A 0, and B 2 .
  • the maximum number of merge candidates in the merge list can be set.
  • the set maximum number is denoted by N.
  • the set number can be transferred from the encoding apparatus 100 to the decoding apparatus 200.
  • the slice header of the slice may contain N.
  • the maximum number of merge candidates of the merge list for the target block of the slice can be set by the slice header.
  • basically the value of N may be 5.
  • the motion information (i.e., merge candidate) may be added to the merge list in the following order of steps 1) to 4) below.
  • Step 1) Available spatial candidates among the spatial candidates can be added to the merged list.
  • the motion information of the available spatial candidates may be added to the merge list in the order shown in FIG. At this time, if the motion information of the available spatial candidate overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list.
  • Checking whether or not to overlap with other motion information present in the list can be outlined as " redundancy check ".
  • the motion information to be added may be a maximum of N pieces.
  • Step 2 If the number of motion information in the merge list is smaller than N and temporal candidates are available, motion information of temporal candidates may be added to the merge list. At this time, if the available temporal candidate motion information overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list.
  • Step 3 If the number of pieces of motion information in the merge list is smaller than N and the type of the target slice is " B ", the combined motion information generated by the combined bi-prediction is added to the merge list .
  • the target slice may be a slice containing the target block.
  • the combined motion information may be a combination of L0 motion information and L1 motion information.
  • the L0 motion information may be motion information that refers to only the reference picture list L0.
  • the L1 motion information may be motion information referring to only the reference picture list L1.
  • the L0 motion information may be one or more.
  • the L1 motion information may be one or more.
  • the combined motion information may be one or more. In generating the combined motion information, it is possible to determine which L0 motion information and which L1 motion information to use among one or more L0 motion information and one or more L1 motion information.
  • the one or more combined motion information may be generated in a predetermined order by combined bidirectional prediction using a pair of different motion information in the merge list. One of the pairs of different motion information may be the L0 motion information and the other may be the L1 motion information.
  • the highest combined motion information may be a combination of L0 motion information having a merge index of 0 and L1 motion information having a merge index of 1. If the motion information whose merge index is 0 is not L0 motion information, or the motion information whose merge index is 1 is not L1 motion information, the combined motion information may not be generated and added.
  • the next motion information may be a combination of L0 motion information having a merge index of 1 and L1 motion information having a merge index of 0. [ The following specific combinations may follow different combinations of the encoding / decoding fields of moving pictures.
  • the combined motion information may not be added to the merge list.
  • the zero vector motion information may be motion information whose motion vector is a zero vector.
  • the zero vector motion information may be one or more.
  • the reference picture indexes of one or more zero vector motion information may be different from each other.
  • the value of the reference picture index of the first zero vector motion information may be zero.
  • the value of the reference picture index of the second zero vector motion information may be one.
  • the number of zero vector motion information may be equal to the number of reference pictures in the reference picture list.
  • the reference direction of the zero vector motion information may be bi-directional.
  • the two motion vectors may all be zero vectors.
  • the number of zero vector motion information may be the smaller of the number of reference pictures in the reference picture list L0 and the number of reference pictures in the reference picture list L1.
  • a unidirectional reference direction can be used for a reference picture index that can be applied to only one reference picture list.
  • the coding apparatus 100 and / or the decoding apparatus 200 can sequentially add the zero vector motion information to the merged list while changing the reference picture index.
  • the zero vector motion information may not be added to the merge list.
  • steps 1) to 4) is merely exemplary, and the order between the steps may be mutually exclusive. In addition, some of the steps may be omitted depending on the predefined conditions.
  • the maximum number of predicted motion vector candidates in the predicted motion vector candidate list can be predetermined.
  • the default maximum number is denoted by N.
  • the default maximum number may be two.
  • the motion information (i.e., the predicted motion vector candidate) may be added to the predicted motion vector candidate list in the order of the following steps 1) to 3).
  • Step 1) Available spatial candidates among the spatial candidates can be added to the predicted motion vector candidate list.
  • the spatial candidates may include a first spatial candidate and a second spatial candidate.
  • the first spatial candidate may be one of A 0 , A 1 , scaled A 0, and scaled A 1 .
  • the second spatial candidate may be one of B 0 , B 1 , B 2 , Scaled B 0 , Scaled B 1, and Scaled B 2 .
  • the motion information of the available spatial candidates may be added to the predicted motion vector candidate list in the order of the first spatial candidate and the second spatial candidate.
  • the motion information of the available spatial candidate is already overlapped with other motion information existing in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list. That is, if the value of N is 2 and the motion information of the second spatial candidate is the same as the motion information of the first spatial candidate, the motion information of the second spatial candidate may not be added to the predicted motion vector candidate list.
  • the motion information to be added may be a maximum of N pieces.
  • Step 2 If the number of pieces of motion information in the predicted motion vector candidate list is smaller than N and temporal candidates are available, temporal motion information may be added to the predicted motion vector candidate list. In this case, if the motion information of the available temporal candidate overlaps with other motion information already present in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list.
  • Step 3 If the number of motion information in the predicted motion vector candidate list is smaller than N, zero vector motion information may be added to the predicted motion vector candidate list.
  • the zero vector motion information may be one or more.
  • the reference picture indexes of one or more zero vector motion information may be different from each other.
  • the encoding apparatus 100 and / or the decoding apparatus 200 may sequentially add the zero vector motion information to the predicted motion vector candidate list while changing the reference picture index.
  • the zero vector motion information may not be added to the predicted motion vector candidate list if the zero vector motion information overlaps with other motion information already present in the predicted motion vector candidate list.
  • Figure 11 illustrates the process of transform and quantization according to an example.
  • the quantized level may be generated by performing a conversion and / or quantization process on the residual signal as shown in FIG.
  • the residual signal can be generated as a difference between the original block and the prediction block.
  • the prediction block may be a block generated by intra prediction or inter prediction.
  • the transform may include at least one of a primary transform and a secondary transform.
  • a transform coefficient may be generated by performing a first transform on the residual signal, and a second transform coefficient may be generated by performing a second transform on the transform coefficient.
  • the primary transform may be performed using at least one of a plurality of pre-defined transformation methods.
  • a plurality of pre-defined conversion methods may be based on Discrete Cosine Transform (DCT), Discrete Sine Transform (DST), and Karhunen-Loeb Transform (KLT) Conversion, and the like.
  • a secondary transform may be performed on the transform coefficients generated by performing the primary transform.
  • the transform method (s) applied to the primary transform and / or the quadratic transform may be determined according to at least one of the coding parameters for the object block and / or the surrounding block. Or conversion information indicating the conversion method may be signaled from the encoding device 100 to the decryption device 200.
  • the quantized level can be generated by performing quantization on the result or residual signal generated by performing the primary conversion and / or the secondary conversion.
  • the quantized level may be scanned according to at least one of an upper right diagonal scan, a vertical scan, and a horizontal scan according to at least one of an intra prediction mode, a block size, and a block type.
  • the coefficients may be changed to a one-dimensional vector form by scanning the coefficients of the block using up-right diagonal scanning.
  • the scanned quantization level may be entropy encoded and the bitstream may comprise an entropy encoded quantization level.
  • the decoding apparatus 200 can generate a quantized level through entropy decoding on the bitstream.
  • the quantized levels can be arranged in a two-dimensional block form through inverse scanning.
  • inverse scanning at least one of top-right diagonal scanning, vertical scanning, and horizontal scanning may be performed.
  • Inverse quantization can be performed on the quantized levels.
  • a second-order inverse transform can be performed depending on whether or not the second-order inverse transform is performed.
  • the first-order inverse transform can be performed depending on whether or not the first-order inverse transform is performed.
  • the restored residual signal can be generated by performing the first-order inverse transform on the result generated by performing the second-order inverse transform.
  • FIG. 12 is a structural diagram of an encoding apparatus according to an embodiment.
  • the encoding apparatus 1200 may correspond to the encoding apparatus 100 described above.
  • the encoding device 1200 includes a processing unit 1210, a memory 1230, a user interface (UI) input device 1250, a UI output device 1260, and a storage 1260 that communicate with each other via a bus 1290. [ 1240 < / RTI > Also, the encoding apparatus 1200 may further include a communication unit 1220 connected to the network 1299.
  • the processing unit 1210 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), memory 1230, or storage 1240.
  • the processing unit 1210 may be at least one hardware processor.
  • the processing unit 1210 can generate and process signals, data, or information that are input to the encoding apparatus 1200, output from the encoding apparatus 1200, or used in the encoding apparatus 1200, Compare, and judge related to data or information. In other words, in the embodiment, the generation and processing of data or information and the inspection, comparison and judgment relating to data or information can be performed by the processing unit 1210.
  • the processing unit 1210 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, an entropy coding unit 150, An inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190, as shown in FIG.
  • the inter prediction unit 110, the intra prediction unit 120, the switch 115, the subtractor 125, the transform unit 130, the quantization unit 140, the entropy coding unit 150, the inverse quantization unit 160, At least some of the inverse transform unit 170, the adder 175, the filter unit 180, and the reference picture buffer 190 may be program modules and may communicate with an external device or system.
  • the program modules may be included in the encoding apparatus 1200 in the form of an operating system, an application program module, and other program modules.
  • the program modules may be physically stored on various known storage devices. At least some of these program modules may also be stored in a remote storage device capable of communicating with the encoding device 1200.
  • Program modules may be implemented as a set of routines, subroutines, programs, objects, components, and data that perform functions or operations in accordance with one embodiment, implement an abstract data type according to one embodiment, Data structures, and the like, but are not limited thereto.
  • Program modules may be comprised of instructions or code that are executed by at least one processor of the encoding apparatus 1200.
  • the processing unit 1210 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, an entropy coding unit 150, The adder 175, the filter unit 180, and the reference picture buffer 190, as shown in FIG.
  • the storage may represent memory 1230 and / or storage 1240.
  • Memory 1230 and storage 1240 may be various types of volatile or non-volatile storage media.
  • the memory 1230 may include at least one of a ROM (R) 1231 and a RAM (RAM)
  • the storage unit may store data or information used for the operation of the encoding apparatus 1200.
  • data or information possessed by the encoding apparatus 1200 may be stored in the storage unit.
  • the storage unit may store pictures, blocks, lists, motion information, inter prediction information, bit streams, and the like.
  • the encoding apparatus 1200 may be embodied in a computer system including a recording medium that can be read by a computer.
  • the recording medium may store at least one module required for the encoding apparatus 1200 to operate.
  • the memory 1230 may store at least one module, and at least one module may be configured to be executed by the processing unit 1210.
  • the function related to the communication of data or information of the encoding apparatus 1200 may be performed through the communication unit 1220.
  • the communication unit 1220 can transmit the bit stream to the decoding apparatus 1300 to be described later.
  • FIG. 13 is a structural diagram of a decoding apparatus according to an embodiment.
  • the decoding apparatus 1300 may correspond to the decoding apparatus 200 described above.
  • the decryption device 1300 includes a memory 1330, a user interface (UI) input device 1350, a UI output device 1360 and a storage (not shown) that communicate with each other 1310 via a bus 1390 1340).
  • the decryption apparatus 1300 may further include a communication unit 1320 connected to the network 1399.
  • the processing unit 1310 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), memory 1330, or storage 1340.
  • the processing unit 1310 may be at least one hardware processor.
  • the processing unit 1310 can generate and process signals, data, or information to be input to the decoding apparatus 1300, output from the decoding apparatus 1300 or used in the decoding apparatus 1300, Compare, and judge related to data or information.
  • the generation and processing of data or information and the checking, comparison and judgment relating to data or information can be performed by the processing unit 1310.
  • the processing unit 1310 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, an adder 255, a filter unit 260, And a reference picture buffer 270.
  • An entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, an adder 255, a filter unit 260 and a reference picture buffer 270 ) May be program modules and may communicate with an external device or system.
  • the program modules may be included in the decryption apparatus 1300 in the form of an operating system, an application program module, and other program modules.
  • the program modules may be physically stored on various known storage devices. Also, at least some of these program modules may be stored in a remote storage device capable of communicating with the decryption device 1300.
  • Program modules may be implemented as a set of routines, subroutines, programs, objects, components, and data that perform functions or operations in accordance with one embodiment, implement an abstract data type according to one embodiment, Data structures, and the like, but are not limited thereto.
  • Program modules may be comprised of instructions or code that are executed by at least one processor of the decoding apparatus 1300.
  • the processing unit 1310 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, an adder 255, a filter unit 260, It is possible to execute an instruction or code of the reference picture buffer 270.
  • the storage may represent memory 1330 and / or storage 1340.
  • Memory 1330 and storage 1340 may be various types of volatile or non-volatile storage media.
  • the memory 1330 may include at least one of a ROM (ROM) 1331 and a RAM (RAM) 1332.
  • the storage unit may store data or information used for the operation of the decoding apparatus 1300.
  • the data or information possessed by the decryption apparatus 1300 can be stored in the storage unit.
  • the storage unit may store pictures, blocks, lists, motion information, inter prediction information, bit streams, and the like.
  • the decryption apparatus 1300 may be implemented in a computer system including a recording medium that can be read by a computer.
  • the recording medium may store at least one module required for the decryption apparatus 1300 to operate.
  • the memory 1330 may store at least one module, and at least one module may be configured to be executed by the processing unit 1310.
  • the function related to the communication of data or information of the decryption apparatus 1300 may be performed through the communication unit 1320.
  • the communication unit 1320 can receive the bit stream from the encoding device 1200.
  • inter prediction information on a target block of a target picture in a previously coded and / or decoded picture can be searched to eliminate temporal redundancy in the moving picture.
  • the amount of information required for the inter prediction can be reduced by deriving the inter prediction information of the object block using the inter prediction information of the neighboring block.
  • the amount of information may mean the number of bits.
  • the AMVP mode and the merge mode can be used as a method for deriving the inter prediction information of the target block using the inter prediction information of the neighboring block.
  • an AMVP candidate list and a merge candidate list can be configured using temporally adjacent blocks and spatially adjacent neighboring blocks, respectively.
  • the candidate of such a list may be part of inter prediction information or inter prediction information.
  • inter prediction information of available neighboring blocks may be filled in the list as candidates.
  • the inter prediction information of the neighboring block can not be used as a candidate.
  • the maximum number of candidates in the list may be predetermined.
  • the zero vector motion information may be added to the list if the maximum number of candidates for the available neighboring blocks is not filled in the list as the inter prediction information.
  • a candidate having a low correlation with inter prediction information of a target block such as zero vector motion information, may increase the number of bits to be signaled in deriving the inter prediction information. As the number of bits to be signaled increases, the coding performance may be degraded.
  • the encoding apparatus 1200 and the decoding apparatus 1300 generate inter-prediction information for a target block using inter-prediction information of a neighboring block for a target block in which inter-prediction information does not exist,
  • the inter prediction information can be added to the list as candidates.
  • An embodiment may add inter prediction information having a higher correlation to a list as candidates than inter prediction information having a low correlation. As the inter prediction information having high correlation is added to the list as candidates, the coding efficiency can be increased.
  • the encoding apparatus 1200 and the decoding apparatus 1300 may construct a list of target blocks using a plurality of inter-prediction information of a plurality of neighboring blocks.
  • the plurality of neighboring blocks may include temporal neighboring blocks and spatial neighboring blocks.
  • the encoding apparatus 1200 and the decoding apparatus 1300 may add inter prediction information having a high correlation to inter prediction information of a target block to a list using a plurality of inter prediction information of a plurality of neighboring blocks. By such use and addition, the number of bits such as the index indicating the inter prediction information can be reduced, and the coding performance can be improved.
  • the coding apparatus 1200 and the decoding apparatus 1300 when the inter prediction information of the target block does not exist, the coding apparatus 1200 and the decoding apparatus 1300 generate inter prediction information for the target block by combining the inter prediction information of the neighboring blocks of the target block can do.
  • the encoding apparatus 1200 and the decoding apparatus 1300 can add the generated inter prediction information to the list as candidates.
  • the inter prediction information having a high correlation with the inter prediction information of the target block is added to the list as candidates instead of the inter prediction information whose correlation with the inter prediction information of the target block is low such as the zero vector motion information, A more efficient encoding can be achieved in the derivation of information.
  • the CU may be divided into four equal-sized square blocks or two equal-sized blocks.
  • the CU When the CU is divided into two blocks, the CU may be divided horizontally or vertically.
  • the CU may be divided into three blocks and may be divided horizontally or vertically. For example, if the CU is divided vertically, the ratio of the widths of the divided blocks may be 1: 2: 1. Likewise, when the CU is horizontally divided, the ratio of the vertical sizes of the divided blocks may be 1: 2: 1.
  • the fact that the block is divided in the inter prediction is a result of the fact that the coding efficiency of performing the inter prediction using each motion information of the divided blocks is higher than the coding efficiency of performing the inter prediction using one motion information of the non- It can be shown that it is high. That is to say, when the block is divided, it is highly likely that the blocks divided into two or four blocks have different motion information.
  • motion information of other divided blocks in the upper block may be used when motion information of the spatial neighboring block in the merge mode is derived for the target block. That is, the motion information of the target block may be derived to be the same as the motion information of the other divided blocks. In this case, the encoding performance may be reduced as two divided blocks have the same motion information (although the blocks divided by the division from the upper block have been generated).
  • Encoding device 1200 and decryption device 1300 may assign a smaller number of bits to candidates having a higher priority for candidates in the list.
  • the allocated bits may be the value of the index indicating the candidate. That is, an index indicating a candidate having a higher priority can be signaled as a smaller number of bits than an index indicating a candidate having a lower priority.
  • the encoding apparatus 1200 and the decoding apparatus 1300 can be configured to give higher priority to candidates predicted or estimated to have higher encoding performance in constructing the list.
  • assigning a higher priority may mean 1) allocating a smaller number of bits, 2) allocating a smaller index, or 3) inclusion in a list in priority.
  • the encoding apparatus 1200 and the decoding apparatus 1300 can assign a lower priority to candidates predicted or estimated to have a lower encoding performance in constructing the list.
  • assigning a lower priority means 1) allocating a larger number of bits, 2) allocating a larger index, 3) subordinating to the list, or 4) not including in the list It can mean something.
  • the encoding performance can be improved through the configuration of such a list.
  • the encoder 1200 and the decoding apparatus 1300 divide the spatial neighboring block from the upper CU including the divided CUs Block, the motion information of the spatial neighboring blocks can be included in the list in a low priority order. Otherwise, if the spatial neighboring block is a block divided from a higher CU including a partitioned CU, the motion information of the spatial neighboring block may not be included in the list.
  • the encoding apparatus 1200 and the decoding apparatus 1300 may not include motion information having a high possibility of having a low encoding performance in a list, and may assign a lower priority to motion information likely to have a low encoding performance can do.
  • the coding apparatus 1200 and the decoding apparatus 1300 can improve the coding performance by preventing the prediction information or the estimated motion information with lower coding performance from being selected or by reducing the possibility of selecting such motion information .
  • FIG. 14 is a flowchart of an inter prediction method according to an embodiment.
  • the inter prediction method can be performed by the encoding apparatus 1200 and / or the decoding apparatus 1300.
  • the encoding apparatus 1200 may perform the inter prediction method of the embodiment to compare the efficiencies of a plurality of prediction schemes for a target block, and may use the inter-prediction method of the embodiment to generate a reconstructed block for the target block.
  • a prediction method can be performed.
  • the target block may be one of the various blocks described above.
  • the target block may be a CU, a PU, or a TU.
  • the decoding apparatus 1300 may perform the inter prediction method of the embodiment to generate a reconstructed block for a target block.
  • the processing unit may correspond to the processing unit 1210 of the encoding device 1200 and / or the processing unit 1310 of the decryption device 1300.
  • the processing unit may derive inter-prediction information for the object block.
  • the inter prediction information includes 1) motion vector, 2) reference picture list, 3) reference picture index, 4) merge flag, 5) merge index, 6) AMVP index, 7) illumination compensation , An Overlapped Block Motion Compensation (OBMC) flag, and the like.
  • OBMC Overlapped Block Motion Compensation
  • the IC flag may be a flag indicating whether or not the IC is applied.
  • the OBMC flag may be a flag indicating whether OBMC is applied or not.
  • the processing unit may derive the inter prediction information using at least one method.
  • At least one method may include 1) a merge mode, 2) an AMVP mode, 3) a method of deriving inter prediction information on a sub-block basis, and 4) a method of deriving inter prediction information on the decoding apparatus 1300.
  • the processing unit may derive inter prediction information using at least one piece of information.
  • At least one piece of information includes 1) inter-prediction information of a spatial neighboring block, 2) inter-prediction information of a temporal neighboring block, 3) combined inter prediction information, 4) a batch candidate list, 5) A candidate list, and 6) an adaptive candidate list according to a block division state.
  • the processing unit may perform inter-prediction on the object block using the derived inter-prediction information.
  • the inter prediction may include motion compensation and / or motion correction.
  • the processing unit may perform inter prediction using at least one compensation and / or correction.
  • At least one compensation and / or correction may include 1) motion compensation, 2) IC, 3) OBMC, 4) BIO, 5) affine spatial motion compensation, and 6) motion vector correction on the decoding device 1300 .
  • the processing unit can derive the inter prediction information using the merge mode.
  • the merge mode may be replaced by a particular inter prediction mode using an AMVP mode or a list or the like.
  • the derivation of the inter prediction information using the merge mode described in the embodiment can be applied to the derivation of the inter prediction information using the AMVP mode or the specific inter prediction mode.
  • the processing unit can construct a merge candidate list.
  • N may be a positive integer.
  • the merge candidate may be inter prediction information, and may include a motion vector and a reference picture list.
  • the processing unit may construct a merge candidate list using at least one of inter-prediction information of a spatial neighboring block, inter-prediction information of temporal neighboring blocks, and combined inter-prediction information. At this time, the processing unit may add the inter prediction information to the merge candidate list according to the specified order.
  • the processor may add the inter prediction information of the neighboring blocks to the merge candidate list as merge candidates in constructing the merge candidate list.
  • the processing unit may add the inter prediction information of the neighboring blocks to the merge candidate list according to the specified order of the neighboring blocks.
  • the inter-prediction information of the neighboring block is the same as the inter-prediction information in the merge candidate list (i.e., the inter-prediction information of the neighboring block already exists in the merge candidate list , It may not add the inter prediction information of the neighboring block to the merge candidate list. In other words, if the inter prediction information of the two neighboring blocks is the same, the inter prediction information of the neighboring blocks of the following ranking may not be added to the merge candidate list.
  • the processing unit may add the combined inter prediction information to the merge candidate list instead of the inter prediction information not added. For example, if inter prediction information of a specific neighboring block does not exist, or if inter prediction information of a specific neighboring block is identical to inter prediction information of a merge candidate list, the processing unit may derive combined inter prediction information for a specific neighboring block And the derived combined inter prediction information can be added to the merge candidate list.
  • the processing unit may combine two or more of the inter prediction information of neighboring blocks of the target block to generate combined inter prediction information.
  • the processing unit can construct an inter prediction information palette.
  • the inter prediction information palette may be a list having N inter prediction information. N may be a positive integer.
  • the processing unit can 1) add the inter-prediction mode of the target block to the inter-prediction information palette, and 2) manage the inter-prediction mode within the inter-prediction information palette according to the specified order and method. For example, the processing unit can manage the inter prediction information palette in First In First Out (FIFO) when all the inter prediction information palettes are filled.
  • FIFO First In First Out
  • the inter-prediction information of the target block is the same as the inter-prediction information in the inter-prediction information palette (i.e., the inter-prediction information of the target block is already included in the inter-prediction information palette) It may not be added to the info palette.
  • the processing unit compares the inter-prediction information in the inter-prediction information palette, which is the same as the inter- As shown in FIG. In other words, the processing unit can give the inter-prediction information in the inter-prediction information palette, which is the same as the inter-prediction information of the target block, a specific priority such as the highest priority, You can adjust the location of the information.
  • the processing unit may initialize the inter prediction information palette of all the blocks in the target picture in units of pictures. That is to say, the blocks in the target picture may share one inter prediction information palette.
  • the processing unit may use the inter prediction information in the inter prediction palette as inter prediction information of temporally neighboring blocks.
  • FIG. 15 shows spatial neighboring blocks of a target block according to an example.
  • a to K represent spatial neighboring blocks, respectively.
  • the inter prediction information of the spatial neighboring block may be the inter prediction information of the block existing at one of positions A to K in FIG.
  • inter prediction information of block X can be understood as “ inter prediction information corresponding to the position of X ".
  • the size of the neighboring block may be MxN.
  • M and N may be at least one of 2, 4, 8, 16, 32, 64, and 128.
  • the left neighboring block may be a neighboring block adjacent to the left side of the target block, and may be one or more of block A, block B, block C, block D and block E.
  • the top neighboring block may be a neighboring block adjacent to the top of the target block, and may be one or more of block G, block H, block I, block J,
  • the upper left neighbor block may be a neighboring block adjacent to the upper left corner of the target block, and may be block F.
  • the spatial neighboring block may be a block adjacent to the boundary of the target block or a non-adjacent block.
  • FIG. 16 shows temporally neighboring blocks of a target block according to an example.
  • L to W may represent temporal neighboring blocks, respectively.
  • Temporally neighboring blocks may be blocks within the previous picture.
  • the previous picture may be a reconstructed call picture.
  • the previous picture may be a picture that has been encoded or decoded prior to encoding or decoding of the target picture.
  • the previous picture may be a picture having a larger POC than the POC of the target picture.
  • the position in the previous picture of the temporally neighboring block may be the same as the position in the target image of the target block.
  • the position in the previous picture of the temporally neighboring block may correspond to the position in the target image of the target block.
  • the position in the previous picture of the temporally neighboring block may correspond to the position of the lower right end of the object block, the intermediate position of the object block, and the specified position of the object block.
  • temporally neighboring blocks may be blocks adjacent to the call block.
  • the temporal neighboring block may be a block adjacent to the lower right corner of the call block.
  • temporally neighboring blocks may be temporally previous blocks within the target picture.
  • the previous temporal block may be a block that has been encoded or decoded prior to the encoding or decoding of the target block.
  • the temporal neighboring block may be a specific neighboring block referenced in the process of constructing the merge candidate list.
  • the specific neighboring block may be a neighboring block corresponding to the inter prediction information included in the merge candidate list.
  • the inter prediction information of the temporally neighboring block may be inter prediction information of the block existing at the specified position in the previous picture.
  • the specified position may be the position of the target block in the target picture.
  • the inter prediction information of the temporally neighboring block may be inter prediction information of a block existing at a specified position in the target picture.
  • the specified position may be the position of the spatial neighboring block of the target block in the target picture.
  • FIG. 17 shows the generation of combined inter-prediction information for the upper right neighbor block according to an example.
  • FIG. 18 shows the generation of combined inter-prediction information for the upper neighboring block according to an example.
  • the processing unit can construct a merge candidate list using the combined inter-prediction information.
  • the combined inter prediction information may be added to the merge candidate list as a new merge candidate by replacing inter prediction information or motion information of the neighboring block.
  • the processing unit may combine a plurality of inter prediction information related to a target block to generate combined inter prediction information.
  • the inter prediction information related to the target block may be inter prediction information of a neighboring block of the target block.
  • the inter prediction information related to the target block may be peripheral inter prediction information.
  • the surrounding inter prediction information may mean inter prediction information of the neighboring block.
  • the combined inter prediction information may include motion information.
  • the motion information of the combined inter prediction information may include at least one of a reference picture list, a reference picture index, an inter prediction indicator, a motion vector, a motion vector candidate, a motion vector candidate list, and a picture order count (POC) .
  • POC picture order count
  • inter prediction information may be replaced by " motion information " and " motion vector "
  • combined inter prediction information may be replaced by " combined motion information
  • the processor may select neighboring inter-prediction information to be used among the plurality of neighboring inter-prediction information in generating information of a part of the combined inter-prediction information.
  • the processing section can use the information of a part of the selected peripheral inter-prediction information as part of the combined inter-prediction information. That is to say, the processing section can assign the value of information of a part of the selected peripheral inter-prediction information to a part of the combined inter-prediction information.
  • some of the information may be an IC flag or an OBMC flag.
  • the processing unit may generate the information of part of the combined inter-prediction information using the surrounding inter-prediction information selected for the combination of the motion vectors among the plurality of peripheral inter-prediction information.
  • the processing unit may generate a part of the combined inter-prediction information by using the surrounding inter-prediction information as a reference for scaling of the motion vector combination among the plurality of surrounding inter-prediction information.
  • inter-prediction information for block F is generated using inter-prediction information of blocks B and J
  • the IC flag and / F < / RTI > and / or OBMC flags when inter-prediction information for block F is generated using inter-prediction information of blocks B and J, the IC flag and / F < / RTI > and / or OBMC flags.
  • the processing unit may combine the motion vectors of neighboring motion information to generate a motion vector of the combined inter-prediction information.
  • the neighboring motion information may be motion information of neighboring blocks.
  • the surrounding motion vector may be a motion vector of a neighboring block.
  • the neighboring motion information may be motion information of a block such as A to K spatial neighboring blocks shown in FIG. 16 and L to W temporal neighboring blocks shown in FIG.
  • the neighboring motion information may be motion information of a block that is not adjacent to the target block.
  • a block that is not adjacent to a target block may be a block adjacent to a neighboring block of the target block.
  • the neighboring motion information may be the motion information of the block having the specified relationship described above with respect to the target block, and the block having the specified relation may be a block not adjacent to the target block.
  • a block having a specified relation may be a block adjacent to a neighboring block of the target block.
  • the neighboring block may be located between the block having the specified relation and the target block.
  • the combined inter-prediction information may be a result of selecting one of motion information of a plurality of neighboring blocks. At this time, one of the motion information can be selected as the combined inter prediction information according to the specified condition.
  • the combined inter-prediction information may be a result of calculation, selection, combining, and conversion using motion information of a plurality of neighboring blocks.
  • the combined inter-prediction information may be motion information of a neighboring block having the smallest difference between the POC of the target picture and the POC of the reference picture of the neighboring block.
  • the combined inter-prediction information may be the specified motion information present in the merge candidate list.
  • the combined inter-prediction information may be a result of selecting and combining one or more of the plurality of neighboring motion information. At this time, the combined inter-prediction information can be selected in accordance with the specified condition.
  • the motion vector of the combined inter-prediction information may be a motion vector of a neighboring block specified among a plurality of neighboring blocks.
  • the specified neighboring block may be a neighboring block having the smallest difference between the POC of the target picture and the POC of the reference picture of the neighboring block among the plurality of neighboring blocks.
  • the motion vector of the combined inter-prediction information may be a result of a calculation using a plurality of neighboring motion vectors.
  • the surrounding motion vector may be a motion vector of a neighboring block.
  • the surrounding motion vectors of the neighboring blocks may be plural.
  • the processing unit may generate unidirectional combined inter-prediction information or bidirectional combined inter-prediction information.
  • the unidirectional combined inter prediction information may be forward (L0) inter prediction information or reverse (L1) inter prediction information
  • the bidirectional combined inter prediction information may be forward and reverse inter prediction information.
  • the unidirectional combined inter prediction information may be a combination of 1) bidirectional inter prediction information of neighboring blocks, 2) unidirectional prediction information of neighboring blocks, and 3) L0 or L1 inter prediction information of combined inter prediction information.
  • the processing unit may combine two or more temporal neighboring blocks to generate inter prediction information in the L0 (L1) direction, and may add the generated unidirectional prediction information to the merge candidate list.
  • the combined inter-prediction information may be a result of combining the inter-prediction information in the L0 (L1) direction of two previous blocks and the inter-prediction information in the L0 (L1) direction of one temporal neighboring block, Can be added to the list.
  • the combined inter-prediction information may be a result of combining the inter-prediction information in the L0 (L1) direction of two specific neighboring blocks referred to in the process of constructing the merge candidate list, and may be added to the merge candidate list.
  • the bidirectional combined inter prediction information may be a combination of the forward inter prediction information and the reverse inter prediction information described above.
  • the motion vector of the combined inter-prediction information may be a combination of neighboring motion vectors.
  • the neighboring motion information may be a combination of motion information of a plurality of neighboring blocks of A through W.
  • the motion vector of the combined inter-prediction information may be an average value, a maximum value, a minimum value, or an intermediate value of a plurality of neighboring motion vectors, and may be a combined number of at least one combination of an average value, a maximum value, have.
  • the average value may be the sum of the motion vectors to be combined divided by the number of motion vectors to be combined.
  • the average value of the motion vectors 4 and 6 and the motion vectors 6 and 10 may be (5, 8).
  • the motion vector of the combined inter-prediction information may be a weighted average of a plurality of neighboring motion vectors, or may be a combination using a variation of a plurality of neighboring motion vectors.
  • the lower peripheral block 1760 may exist.
  • the combined inter prediction information corresponding to the motion information 1741 of the upper right block 1740 is combined with the motion information 1721 of the upper left neighbor block 1720 and the motion information 1731 of the upper left neighbor block 1730 Lt; / RTI >
  • Such combined inter-prediction information can be used as motion information 1711 of the target block 1710.
  • motion information 1721 of the upper left neighboring block 1720 and motion information 1741 of the upper right neighboring block 1740 are combined to move the upper block 1730
  • the combined inter prediction information corresponding to the information 1731 can be generated.
  • Such combined inter-prediction information can be used as motion information 1711 of the target block 1710.
  • the motion vector of the combined inter-prediction information may be a result of the weighting combination of the neighboring motion vectors.
  • a higher weight can be given to a motion vector of a neighboring block having a higher correlation with the target block.
  • the motion vector of the combined inter-prediction information may be a result of a weighted combination based on block size of neighboring motion vectors.
  • the block size-based weighting combination may be as shown in Equation 2 below.
  • MV Left may be a motion vector around the left side of the target block.
  • the neighboring motion vector on the left side of the target block may be a motion vector of a neighboring block on the left side of the target block.
  • the width may be the width of the target block, or it may be a weight for the neighboring motion vectors to the left of the target block.
  • the MV Above may be the motion vector around the top of the target block.
  • the surrounding motion vector at the top of the target block may be a motion vector of a neighboring block adjacent to the top of the target block.
  • the height may be the height of the target block, and may be a weight for the surrounding motion vector at the top of the target block.
  • the motion vector of the combined inter-prediction information may be a result of a weighted combination based on POC of the neighbor motion vectors.
  • the combination using the change amount may be to generate inter-prediction information of a block at a previous position of the blocks to be combined or a block at a subsequent position of the blocks to be combined, using the variation amount of two or more motion vectors.
  • the processing unit may derive a motion vector of a block K through a combination using a motion vector of the block I and a motion vector of the block J.
  • the motion vector of block K may be the difference between the motion vector of block J and the motion vector of block I to the motion vector of block J.
  • the motion vector of the combined inter-prediction information may be a result of extrapolation combining of neighboring motion vectors.
  • Equation 3 the extrapolation combination of two neighboring motion vectors may be as in Equation 3 below.
  • MV 0 may be the first surrounding motion vector.
  • MV 1 may be the second surrounding motion vector.
  • Scaling may be applied to inter prediction information used to generate combined inter prediction information.
  • the processing unit may scale the motion vector of L0 based on the motion vector of L1.
  • the processing unit can generate the combined inter prediction information by combining the motion vector of the scaled L0 with the motion vector of the L1.
  • the processing unit may scale the motion vector of L1 based on the motion vector of L0.
  • the processing unit may combine the motion vector of the scaled L1 with the motion vector of L0, and may add the combined inter-prediction information to the merge candidate list.
  • the processor may change the inter prediction information by applying scaling to the inter prediction information if the reference pictures of the plurality of neighbor motion information used to generate combined inter prediction information are different from each other.
  • the processing unit calculates the temporal distance between reference pictures of block B and block B
  • the motion vector of the block J can be scaled according to the motion vector.
  • the processing unit calculates the temporal distance between reference pictures of block J and block J And perform scaling on the motion vector of the block B.
  • the processing unit can select surrounding motion information that is a reference of scaling.
  • the processor can select the surrounding motion information that is the basis of scaling based on the POC.
  • the processing unit can select, as the reference motion information, motion information whose POC of the reference picture of the motion information is close to the POC of the target picture among the plurality of neighboring motion information.
  • the processing unit can determine whether or not to combine based on the specified condition.
  • the processing unit may determine whether or not to combine based on the similarity between the inter-prediction information or the motion information used in the combining. For example, the processing unit may not combine if the similarity is less than the predetermined threshold. Alternatively, the processing unit may not combine if the similarity is greater than the predetermined threshold.
  • similarity may indicate the value or result of an equation using motion information.
  • the processing unit may generate combined inter-prediction information by combining neighboring motion information based on directions of reference pictures of neighboring motion information. For example, the processing unit can generate combined inter prediction information by combining adjacent motion vectors in the same direction.
  • the processing unit may combine the inter prediction information of a plurality of blocks to generate combined inter prediction information.
  • each block of the plurality of blocks may be a block that satisfies a specified condition.
  • the inter prediction information of the specified block may be replaced by the combined inter prediction information.
  • the processing unit may derive first inter-prediction information for a position on the left side of the specified block, derive second inter-prediction information for a position on the right side of the specified block, And combined inter-prediction information by combining the second inter-prediction information.
  • the generated combined inter prediction information can replace the inter prediction information of the specified block.
  • the inter prediction information for the left position of the specified block may be the inter prediction information of the block located to the left of the specified block.
  • the inter prediction information on the right side of the specified block may be the inter prediction information of the block located on the right side of the specified block.
  • derivation, combining, and generation can be applied to a part of inter prediction information such as motion information and motion vector.
  • the processing unit stores the available inter- Can be used.
  • the processing unit may use the available inter- Can be used.
  • the processing unit may combine a plurality of available inter prediction information to derive the first inter prediction information.
  • the processing unit may combine a plurality of available inter prediction information to derive the second inter prediction information.
  • Predicted inter prediction information can be selected as the first inter prediction information, and the selected inter prediction information can be used for generation of combined inter prediction information.
  • the processing unit can select a block having a reference picture having the smallest temporal distance from the target picture among the plurality of blocks .
  • the processing unit may select the inter prediction information of the selected block as the first inter prediction information.
  • the temporal distance between pictures may be the difference between the order in which the pictures are displayed.
  • Predicted information can be selected as second inter-prediction information, and the selected inter-prediction information can be used for generation of combined inter-prediction information.
  • the processing unit can select a block having a reference picture having the smallest temporal distance from the target picture among the plurality of blocks .
  • the processing unit may select the inter prediction information of the selected block as the second inter prediction information.
  • the processing unit when a plurality of inter prediction information of a plurality of blocks located on the left side of a specified block are available, the processing unit combines a plurality of inter prediction information to generate combined inter prediction information Can be generated.
  • the generated combined inter prediction information can replace the inter prediction information of the specified block.
  • the processing unit may combine a plurality of inter prediction information to generate combined inter prediction information.
  • the processing unit may determine that the inter prediction information of a plurality of co- Combined inter prediction information can be generated by combining prediction information.
  • the generated combined inter prediction information can replace the inter prediction information of the specified block.
  • the co-location block may be a call block of a specified block. That is to say, the position in another previous picture of the co-located block may be the same as the position in the previous picture of the specified block.
  • the combined inter-prediction information for block N may be a combination of inter-prediction information of co-located blocks L and M.
  • the combined inter-prediction information for block O may be a combination of inter-prediction information of co-located blocks U and R.
  • the combined inter-prediction information for block P may be a combination of inter-prediction information of co-located blocks V and S.
  • the combined inter-prediction information for block Q may be a combination of inter-prediction information of co-location blocks W and T.
  • the processing unit may generate combined inter-prediction information by combining one or more inter-prediction information of one or more spatial neighboring blocks and one or more inter-prediction information of one or more temporal neighboring blocks.
  • FIG. 19 shows generation of combined inter-prediction information of a neighboring block according to an example.
  • the target CU may represent a target block.
  • block AL, block A, block AR, block L, and block LB may be the upper left neighbor block, the upper neighbor block, the right upper neighbor block, the left neighbor block, and the lower left neighbor block of the target block, respectively.
  • the upper peripheral block may mean the rightmost (or leftmost) block among the plurality of upper peripheral blocks of the target block.
  • the left neighboring block may mean the lowest (or top) block among the plurality of left neighboring blocks of the current block.
  • Block A and block AR can be understood as a plurality of blocks adjacent to the top of the target block or located at the top of the target block.
  • the block L and the block LB can be understood as a plurality of blocks adjacent to the left side of the target block or located on the left side of the target block.
  • the processing unit may combine the inter-prediction information of the block A and the block AR to generate the first inter-inter-prediction information, which can be understood as the upper inter-prediction information or the upper motion vector.
  • the processing unit may combine the inter prediction information of the block L and the block LB to generate the second surrounding inter prediction information.
  • Such inter prediction information can be understood as left inter prediction information or left motion vector.
  • the processing unit may combine the first surrounding inter-prediction information and the second surrounding inter-prediction information to generate combined inter-prediction information.
  • the processing unit can replace the generated inter-prediction information with the inter prediction information of the block AL.
  • the processing unit may add the combined inter-prediction information generated for the block AL to the merge candidate list as a new merge candidate.
  • the above-described combining methods and the combining methods described below can be used in obtaining the above-described first surrounding inter-prediction information, second surrounding inter-prediction information, and combined inter-prediction information.
  • the processing unit may use the inter prediction information available among the inter prediction information as the first surrounding inter prediction information.
  • the processing unit may use available inter prediction information among the inter prediction information as the second surrounding inter prediction information.
  • the processing unit can select inter prediction information of one of the inter prediction information of the block A and the block AR and use the selected inter prediction information as the first surrounding inter prediction information.
  • the processing unit can select one of the inter prediction information in the block L and the inter prediction information in the block LB and use the selected inter prediction information as the second surrounding inter prediction information.
  • the processing unit may select inter prediction information having a POC closer to the POC of the target picture among the inter prediction information of the block A and the block AR as the first surrounding inter prediction information.
  • the POC of the inter prediction information may be the POC of the motion information of the inter prediction information.
  • the processing unit may select inter prediction information having a POC closer to the POC of the target picture among the inter prediction information of the block L and the block LB as the second surrounding inter prediction information.
  • FIG. 20 shows the generation of inter prediction information of the block AL according to an example.
  • MV0 and MV1 may represent a motion vector used for combined inter-prediction information, respectively.
  • the processing unit can generate combined inter-prediction information through combination of inter-prediction information of block L and block LB.
  • the combined inter-prediction information can replace the inter prediction information of the block AL and can be added to the merge candidate list for the target block as a merge candidate.
  • FIG. 21 shows the generation of inter prediction information of a block AR according to an example.
  • the processing unit may generate combined inter-prediction information through combination of inter-prediction information of block A and block L.
  • the combined inter-prediction information can replace the inter prediction information of the block AR and can be added to the merge candidate list for the target block as a merge candidate.
  • the above-described combination may be an extrapolation combination.
  • the processing unit may generate combined inter-prediction information through combination of inter-prediction information of block L and non-adjacent blocks.
  • the combined inter prediction information may be added to the merge candidate list for the target block as a merge candidate.
  • the above-described combination may be an extrapolation combination.
  • the processor may generate combined inter prediction information by combining the M inter prediction information in the merge candidate list, and may use the generated combined inter prediction information for inter prediction or add to the merged candidate list.
  • the directions of motion vectors of a plurality of inter-prediction information to be combined may be the same.
  • M may be an integer greater than or equal to 2, and M may be less than or equal to the number of inter-prediction information in the merge candidate list.
  • the processing unit can generate combined inter prediction information by combining inter prediction information according to this combination.
  • the processing unit can generate combined inter prediction information by combining inter prediction information according to this combination.
  • the processor may add inter-prediction information of neighboring blocks to the merge candidate list as merge candidates in constructing the merge candidate list.
  • the processing unit may add the inter prediction information of the neighboring blocks to the merge candidate list according to the specified order of the neighboring blocks.
  • the processor may use the inter prediction information of the spatial neighboring blocks specified in the merging candidate list as merge candidates.
  • the specified spatial neighboring blocks may be block A, block B, block F, block J and block K.
  • the processing unit adds 1) combined inter-prediction information, 2) a motion information inference mode (for example, ATMVP and STMVP) in sub-block units, and 3) an affine motion information derivation mode to the merge candidate list .
  • a motion information inference mode for example, ATMVP and STMVP
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, ATMVP, F, combined inter prediction).
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, first combined inter-prediction information, ATMVP, F, second combined inter-prediction information).
  • the first combined inter-prediction information and the second combined inter-prediction information may be different from each other in the direction of the neighboring block, the number of neighboring blocks, and the combined inter-prediction information, which are referred to for generation.
  • the merge candidate list is composed of ( ⁇ , ⁇ , ⁇ , ⁇ , ⁇ ) in order of blocks ⁇ , ⁇ , ⁇ , It may mean that the operation of the composition of the merge candidate list is performed and that the processing on the blocks is performed according to the order of the listed blocks.
  • the processing section can perform the following operations 1) to 5) for each block in accordance with the order of the blocks.
  • the processor may determine whether to add the inter prediction information of the block to the merge candidate list.
  • the processing unit may add the inter prediction information of the block to the merge candidate list.
  • the processing unit may determine whether to derive combined inter prediction information for the block.
  • the processor may derive the combined inter prediction information if it is determined to derive the combined inter prediction information.
  • the processor may determine whether to add combined inter prediction information to the merge candidate list.
  • the processing unit may add the combined inter prediction information to the merge candidate list.
  • task 1) may be performed for the next block.
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (J, B, A, K, F).
  • Fig. 24 shows a case where CUs having the same width and height are horizontally divided.
  • 25 shows a case in which a CU having a width larger than the height is vertically divided.
  • Fig. 26 shows a case where a CU having a height larger than the width is horizontally divided.
  • the comparison of widths and heights and the direction of division can determine the order of the neighboring blocks.
  • the processor may determine a scheme for constructing the merge candidate list based on the shape of the target block.
  • the scheme for constructing the merge candidate list may include a sequence between neighboring blocks to construct a merge list.
  • the order between neighboring blocks may refer to the order of availability checking and addition of inter prediction information of neighboring blocks.
  • the processing unit can construct a merge candidate list in the order of (J, B, K, A, F)
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (J, B, A, K, F)
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (J, K, B, A, F)
  • the processing unit can construct a merge candidate list according to the order of (B, A, J, K, F), and if the height of the target block and the width of the target block are equal, B, J, K, A, F).
  • the processing unit can construct the merge candidate list using the inter-prediction information of the spatial neighboring blocks located at the uppermost position of the target block. If the height of the target block is larger than the width of the target block, the processing unit can construct a merge candidate list in the order of (F, G, H, I, J, K).
  • the processor can construct a merge candidate list using the inter-prediction information of the spatial neighboring blocks located further to the left than the target block. If the height of the target block is smaller than the width of the target block, the processing unit can construct a merge candidate list in the order of (A, B, C, D, E, F).
  • the processor may determine a scheme for constructing the merge candidate list based on the partitioned state of the target block.
  • the division state may mean the direction of division.
  • the segmentation state of the target block may indicate the type or direction of the segmentation used to generate the target block.
  • the partitioning state of the target block may indicate the type or direction of the partition applied to the parent block of the target block.
  • the processing unit can construct a merge candidate list in the order of (J, B, K, A, F). If the target block is not a result of vertical division , The processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (J, B, A, K, F), and if the target block is not the result of vertical division , The processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit may select one of the sequences of different neighboring blocks according to whether the target block is a result of vertical division, horizontal division or quad division, and construct a merge candidate list according to the selected order .
  • the processing unit can construct a merge candidate list in the order of (J, K, B, A, F). If the target block is the result of horizontal division, the processing unit can construct a merge candidate list in the order of (B, A, J, K, F). If the target block is the result of quad partitioning, the processing unit can be configured in the order of (B, J, K, A, F).
  • the processor can construct a merge candidate list using the inter-prediction information of the spatial neighboring blocks located at the top of the target block. If the target block is the result of vertical division, the processing unit can construct a merge candidate list in the order of (F, G, H, I, J, K).
  • the processing unit can construct a merge candidate list using the inter-prediction information of the spatial neighboring blocks located further to the left than the target block. If the target block is the result of horizontal division, the processing unit can construct a merge candidate list in the order of (A, B, C, D, E, F).
  • the processing unit can determine a method for constructing the merge candidate list based on both the shape of the target block and the divided state of the target block.
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the processing unit can construct a merge candidate list in the order of (B, A, J, K, F). If the height of the target block and the width of the target block are equal and the target block is the result of quad partitioning, the processing unit can construct a merge candidate list in the order of (B, J, K, A, F).
  • the merge candidate list can be constructed by using the inter prediction information of neighboring blocks. If the height of the target block is greater than the width of the target block, or if the height of the target block and the width of the target block are equal and the target block is the result of the vertical division, the processing unit (F, G, H, I, ), The merge candidate list can be constructed.
  • the processing unit uses the inter prediction information of the spatial neighboring blocks located further to the left than the target block, . If the height of the target block is smaller than the width of the target block or if the target block is the result of horizontal division, the processing unit can construct a merge candidate list in the order of (A, B, C, D, have.
  • the processor may determine a scheme for constructing the merge candidate list based on the location of the target block.
  • the position of the target block may refer to a relative position within the upper block.
  • a plurality of divided blocks may be generated through division of the upper block, and the object block may be one of the plurality of divided blocks.
  • the position of the target block may indicate the position of the target block in the upper block or the position of the target block among the plurality of divided blocks.
  • the partition can be a binary partition or a quad partition.
  • the processing unit can apply the batch configuration method to the merged candidate list for the first divided CU, and apply the adaptive configuration method to the merged candidate list for the divided second CU can do.
  • the processor may determine a scheme for constructing the merge candidate list based on whether the combined inter-prediction information exists.
  • the processor may adjust the priority of the combined inter-prediction information when the combined inter-prediction information exists in constructing the merging candidate list.
  • the priority order may be a position in the merge candidate list of the combined inter prediction information, an index of the combined inter prediction information, or an order in which the combined inter prediction information is added to the merge candidate list.
  • the merge candidate list can be constructed. That is to say, the processing unit can assign the lowest priority to the combined inter prediction information.
  • the processor may add the combined inter-prediction information to the merged candidate list next to the inter-prediction information in constructing the merging candidate list. That is to say, the processing unit can add the combined inter prediction information to the merge candidate list in a subordinate to the inter prediction information of the neighboring blocks.
  • the processing unit can give the combined inter-prediction information lower priority than the inter-prediction information of the spatial neighboring block and higher priority than the inter-prediction information of the temporally neighboring block.
  • the processing unit may add the combined inter-prediction information to the merged candidate list before the inter-prediction information of the spatial neighboring block and the inter-prediction information of the temporally neighboring block.
  • the processing unit may assign the combined inter-prediction information to a higher priority than the inter-prediction information of the temporal neighboring block.
  • the processor may add the combined inter-prediction information to the previous merge candidate list of the inter-prediction information of temporal neighboring blocks in constructing the merging candidate list.
  • the order between the plurality of combined inter-prediction information can be maintained in accordance with the determination method of the above-described order.
  • the processor may determine a method for constructing the merge candidate list based on the depth of the target block.
  • the depth of the target block may be at least one of QT depth by QT segmentation or BT depth by BT segmentation.
  • the processing unit may determine a scheme for constructing the merge candidate list based on whether the depth of the target block is included in the specified range.
  • the processing unit may be configured to construct a merge candidate list based on the shape of the target block described above and to construct a merge candidate list based on the division state of the target block
  • the merge candidate list may be constructed using at least one of the following methods.
  • n may be one.
  • the processing unit may be configured to select a merge candidate list based on the shape of the merge candidate list based on the shape of the target block described above, And a method of constructing a merge candidate list can be used to construct a merge candidate list.
  • n may be 3, and m may be 1.
  • the processor may determine a method for constructing the merge candidate list based on the position of the target block and the depth of the target block.
  • the processing unit constructs the merge candidate list based on the shape of the target block,
  • the merge candidate list may be constructed using at least one of the methods of constructing the merge candidate list based on the division state of the target block.
  • n may be 1.
  • the processing unit may derive inter prediction information of the target block using the AMVP mode.
  • the processing unit can construct an AMVP candidate list. There can be N AMVP candidates in the AMVP candidate list. N may be a positive integer. For example, an AMVP candidate list may include two AMVP candidates.
  • the AMVP candidate may be inter prediction information or motion information.
  • the AMVP candidate may include a motion vector or a reference picture list.
  • the processor may construct an AMVP candidate list using one or more of inter-prediction information of a spatial neighboring block, inter-prediction block of temporal neighboring blocks, and combined inter-prediction information.
  • the processing unit may derive one AMVP candidate from the inter-prediction information of the left neighboring block of the target block and derive one AMVP candidate from the inter-prediction information of the upper neighboring block. If the AMVP candidate list is not filled, the processing unit may derive another AMVP candidate from the inter prediction information of the temporal neighboring block.
  • the processor may derive the AMVP candidate using the inter-prediction information of the neighboring blocks according to the specified order of the neighboring blocks, and may add the derived AMVP candidate to the AMVP candidate list.
  • the AMVP candidate list may be configured differently according to the order of the neighboring blocks, and the prediction efficiency and encoding efficiency of the encoding and decoding using the AMVP candidate list may vary depending on the order of neighboring blocks.
  • the processing unit may derive AMVP candidates according to the specified order of left neighboring blocks.
  • deriving the AMVP candidate according to a specified order of neighboring blocks may mean deriving the AMVP candidate using the inter prediction information of the neighboring block selected by the specified order.
  • the processor may derive an AMVP candidate using the inter prediction information of neighboring blocks in the current sequence if inter prediction information of neighboring blocks in the current sequence is available have.
  • the processor may derive the AMVP candidate using the inter prediction information of the neighboring blocks in the following order if the inter prediction information of the neighboring blocks in the current order is unavailable.
  • the processing unit can derive the AMVP candidate using the inter prediction information of the neighboring blocks of the highest priority having available inter prediction information among the neighboring blocks.
  • the fact that the inter prediction information of the neighboring block is unavailable may mean that it corresponds to at least one of the following cases 1) to 3).
  • the surrounding block and the target block are included in different slices, tiles, or pictures.
  • An AMVP candidate derived by the inter prediction information is the same as another AMVP candidate already included in the AMVP list. That is, if the AMVP candidate derived by the inter prediction information is a duplicated AMVP candidate.
  • the processing unit may derive AMVP candidates in the order of (A, B). That is, if the inter-prediction candidate of block A is available, the AMVP candidate derived by the inter-prediction candidate of block A may be included in the AMVP list, and the inter-prediction candidate of block A is not available and the inter- If available, the AMVP candidate derived by the inter-prediction candidate of block B may be included in the AMVP list.
  • the processing unit may derive AMVP candidates in the order of (B, A).
  • the processing unit may derive AMVP candidates in the order of (A, B, C, D, E) in deriving the AMVP candidate using the left neighboring blocks.
  • the processor may derive AMVP candidates according to a specified order of top neighboring blocks.
  • the processor may derive an AMVP candidate in the order of (K, J, F) in deriving the AMVP candidate using the top neighboring blocks.
  • the processing unit may derive AMVP candidates in the order of (K, F, J) in deriving AMVP candidates using the top neighboring blocks.
  • the processor may use the inter-inter prediction information to derive AMVP candidates by replacing the inter-prediction information of neighboring blocks, which may or may not include inter-prediction information of neighboring blocks.
  • the processor may determine a method for constructing the AMVP candidate list based on the shape of the target block.
  • the processor can construct the AMVP list using at least one of the following methods 1) to 3).
  • the processing unit may derive one AMVP candidate from the inter-prediction information of the upper neighboring block of the target block, and then derive one AMVP candidate from the inter-prediction information of the left neighboring block of the target block.
  • the processor may construct an AMVP candidate list using only the inter-prediction information of the upper peripheral blocks of the target block.
  • the processing unit can construct an AMVP candidate list according to the order of (J, B, K, A, F) or (J, B, A, K, F)
  • the processing unit can construct the AMVP list using at least one of the following methods 4) to 6).
  • the processor may derive one AMVP candidate from the inter-prediction information of the left neighboring block of the target block, and derive one AMVP candidate from the inter-prediction information of the upper neighbor block of the target block.
  • the processor may construct the AMVP candidate list using only the inter prediction information of the left neighboring blocks of the target block.
  • the processing unit can construct an AMVP candidate list according to the order of (B, J, K, A, F) or (B, A, J, K, F)
  • the processing unit can construct the AMVP candidate list using at least one of the following methods 7) to 8).
  • the processing unit may construct the AMVP candidate list in at least one of the above-mentioned methods 1) to 6).
  • the processing unit may construct the AMVP candidate list using the inter prediction information of the left neighboring blocks of the target block and the inter-prediction information of the upper neighboring blocks of the target block.
  • the processor may determine a scheme for constructing the AMVP candidate list based on the partitioned state of the target block.
  • the processing unit derives one AMVP candidate from the inter-prediction information of the upper left neighbor block of the target block, and then extracts one AMVP Candidates can be derived.
  • the processing unit derives one AMVP candidate from the inter-prediction information of the left neighboring block of the target block, and then derives one AMVP Candidates can be derived.
  • the processing unit can construct an AMVP candidate list using a method of determining a merge candidate list based on the division state of the target block described above.
  • the processor may determine a method for constructing the AMVP candidate list based on both the shape of the target block and the divided state of the target block.
  • one AMVP candidate can be derived from the left neighboring block of the target block or the inter prediction information of the upper neighboring block.
  • one AMVP candidate can be derived from the left neighboring block of the target block or the inter-prediction information of the upper neighboring block.
  • the processor may determine a scheme for constructing the AMVP candidate list based on the location of the target block.
  • the position of the target block may refer to a relative position within the upper block.
  • a plurality of divided blocks may be generated through division of the upper block, and the object block may be one of the plurality of divided blocks.
  • the position of the target block may indicate the position of the target block in the upper block or the position of the target block among the plurality of divided blocks.
  • the partition can be a binary partition or a quad partition.
  • the processing unit can apply the batch configuration method to the AMVP candidate list for the divided first CU, and apply the adaptive configuration method to the AMVP candidate list for the divided second CU can do.
  • the processor may determine a method for constructing the AMVP candidate list based on the depth of the target block.
  • the depth of the target block may be at least one of QT depth by QT segmentation or BT depth by BT segmentation.
  • the processing unit may determine a scheme for constructing an AMVP candidate list based on whether the depth of the target block is included within a specified range.
  • the processing unit may be configured to configure the AMVP candidate list based on the shape of the target block described above and to configure the AMVP candidate list based on the division state of the target block
  • the AMVP candidate list may be constructed using at least one of the following methods.
  • n may be one.
  • the processing unit may be configured to determine the AMVP candidate list based on the shape of the above-
  • the AMVP candidate list can be configured using at least one of the methods of constructing the AMVP candidate list.
  • n may be 3, and m may be 1.
  • the processor may determine a method for constructing the AMVP candidate list based on the location of the target block and the depth of the target block.
  • the processing unit constructs the AMVP candidate list based on the shape of the target block described above,
  • the AMVP candidate list may be configured using at least one of the methods of constructing the AMVP candidate list based on the division state of the target block.
  • n may be 1.
  • the configuration described above in the configuration of the merge candidate list and the configuration of the AMVP candidate list can be applied to each other.
  • the features described in connection with the derivation and addition of one of the merge candidates and AMVP candidates may be applied to the derivation and addition of other candidates. Duplicate descriptions are omitted.
  • the processor may use the inter-prediction information of the sub-block of the target block in deriving the inter-prediction information of the target block.
  • the processing unit can use the inter prediction information in the unit of the sub block in deriving the inter prediction information of the target block.
  • the processing unit may divide the target blocks into a plurality of sub-blocks, and may derive inter-prediction information of each sub-block of the plurality of sub-blocks. For example, the processing unit may divide the target block into N sub-blocks and derive N inter-prediction information for N sub-blocks. N may be a positive integer.
  • FIG. 27 shows subblocks of a temporally neighboring block and subblocks of a target block in an example.
  • the processing unit may divide the temporally neighboring block into a plurality of sub-blocks, and may use a plurality of sub-blocks of the target block The inter prediction information of the blocks can be derived.
  • the processing unit may derive the inter prediction information of the sub-block of the target block using the inter-prediction information of the sub-block of the temporally neighboring block.
  • the position in the target block of the sub-block of the target block and the position in the temporal neighboring block of the sub-block of the temporally neighboring block may be the same.
  • the processing unit may divide the temporal neighboring block N shown in FIG. 16 into temporal sub-blocks of 4x4 units, and use the inter-prediction information of each temporal sub-block, Prediction information can be derived.
  • the processing unit may divide the temporal neighboring block F shown in FIG. 16 into temporal sub-blocks of 2NxN units, and use the inter-prediction information of the temporal sub-blocks to perform inter-prediction Information can be derived.
  • FIG. 28 shows spatial neighboring blocks of a target block and sub-blocks of a target block according to an example.
  • the subblocks are denoted by upper case letters A to P, and the spatial neighboring blocks are denoted by lower case letters a to h.
  • the processing unit may divide the target block into a plurality of subblocks and derive the inter prediction information of the subblocks of the target block using the inter-prediction information of the spatial neighboring blocks of the subblocks of the target block.
  • the spatial neighboring block of the sub-block of the target block may include 1) another sub-block adjacent to the sub-block of the target block, and 2) a block adjacent to the sub-block of the target block, which is a spatial neighboring block of the target block.
  • the spatial neighboring block may be a block in which the subblock has been previously encoded and / or decoded.
  • the processing unit may derive inter prediction information of the sub-block using inter-prediction information of a spatial neighboring block of the sub-block.
  • the processing unit may derive inter prediction information of the sub-block using inter-prediction information of a plurality of spatial neighboring blocks of the sub-block.
  • the inter-prediction information of a sub-block may be an average value of inter-prediction information of a plurality of spatial neighboring blocks of the sub-block.
  • the processing unit may use the average of the inter-prediction information of the spatial neighboring block d, the inter-prediction information of the spatial neighboring block e, or the inter- The inter prediction information of A can be derived.
  • the processing unit may derive inter-prediction information of sub-block K using an average of one or more inter-prediction information of block J, block F, block G and block H, which are spatial neighboring blocks of sub-
  • the processing unit may use the sub-blocks of temporally neighboring blocks of the target block and the spatial neighboring blocks of the sub-blocks of the target block at the same time.
  • 29 shows the derivation of inter prediction information using bilateral matching according to an example.
  • the processing unit may derive inter prediction information using bi-linear matching.
  • the processing unit may constitute an initial motion vector candidate list for a target block in performing bi-lateral matching, and may include at least one initial motion vector candidate among one or more initial motion vector candidates of the constructed initial motion vector candidate list as an initial motion vector Can be used.
  • the processor may use the AMVP mode to construct an initial motion vector candidate list for the target block.
  • the AMVP candidates in the AMVP candidate list in the AMVP mode may be one or more initial motion vector candidates in the initial motion vector candidate list.
  • the processor may add the AMVP candidates of the AMVP candidate list to the initial motion vector candidate list.
  • the processing unit may use a merge mode to construct an initial motion vector candidate list for a target block.
  • the merge candidates of the merge candidate list of the merge mode may be one or more initial motion vector candidates of the initial motion vector candidate list.
  • the processor may add merge candidates in the merge mode to the initial motion vector candidate list.
  • the processing unit may configure a frame rate up conversion (FRUC) unidirectional motion vector of a target block as an initial motion vector candidate list.
  • the processing unit may add the FRUC unidirectional motion vector of the target block to the initial motion vector candidate list.
  • FRUC frame rate up conversion
  • the processing unit can construct a motion vector of a neighboring block of a target block as an initial motion vector candidate list.
  • the processing unit may add the motion vectors of the neighboring blocks of the target block to the initial motion vector candidate list.
  • the processing unit may configure combinations of the above-described motion vectors as an initial motion vector candidate list.
  • the combinations of motion vectors may be N or more. N may be a positive integer.
  • the processing unit may add the above combinations of motion vectors to the initial motion vector candidate list.
  • the processing unit may use a motion vector for at least one direction of the direction of the reference picture list L0 and the direction of the reference picture list L1.
  • the processing unit may add a motion vector for at least one direction of the direction of the reference picture list L0 and the direction of the reference picture list L1 to the initial motion vector list.
  • the processor may derive an initial motion vector for a target block in performing bilateral matching.
  • the processor may derive an initial motion vector using the initial motion vector list.
  • the processing unit may use an initial motion vector list to derive a bidirectional motion vector that best matches the initial motion vector indicating block and the opposite block with each other.
  • the initial motion vector indication block may be a block indicated by the initial motion vector.
  • the opposite block may be a block existing on the same trajectory as the trajectory of the initial motion vector indication block in the direction opposite to the direction of the initial motion vector indication block. That is to say, the direction to the initial motion vector block and the direction to the opposite block may be opposite to each other, and the trajectory of the initial motion vector block and the trajectory of the opposite block may be the same.
  • the processing unit can perform bi-linear matching with respect to the target block 2911 in the target picture 2910.
  • the processing unit finds 1) the reference picture reference 1 2930 in the direction opposite to the direction of MV0, 2) 3) MV1, which is a motion vector indicating the block 2931 that best matches the block 2921 indicated by MV0, can be derived.
  • the processing unit derives the motion vector MV0 using the initial motion vector of the target block and determines the motion vector MV1 according to MV0, 1) the direction of MV1 and the directions of MV0 may be opposite to each other, The motion trajectory may be the same as the motion trajectory of MV0.
  • the processor may perform an initial motion vector enhancement.
  • the processing unit can search for blocks around the block pointed by the derived MV0, and search for the blocks around the block pointed to by the derived MV1.
  • the processing unit can improve the initial motion vector so as to point to blocks that are closest to each other among blocks around the block indicated by MV0 and blocks around the block indicated by MV1.
  • the processing unit may derive inter prediction information in units of sub-blocks.
  • the inter prediction information may include motion information and / or a motion vector.
  • the processing unit may be used to derive an initial motion vector for the subblocks in the manner described above that derives an initial motion vector for the block.
  • the processing unit may define the degree of conformance of the blocks. That is to say, the processing unit can use one of the defined defined methods in determining the degree of conformance of the blocks.
  • the processor can determine that the two blocks best match. That is to say, the processor can determine that the lower the SAD between the two blocks the better the two blocks.
  • the processor can determine that the two blocks are the best match. That is to say, the processor can determine that the lower the SATD between the two blocks, the better the two blocks.
  • SATD Sum of Absolute Transformed Differences
  • FIG 30 shows the derivation of inter prediction information using the template matching mode according to an example.
  • a target block 3011 in the target picture 3010 is shown.
  • the processing unit may derive the inter prediction information using the template matching.
  • the processing unit can use a peripheral block of the target block as a template.
  • the size and position of the template may be determined by a predetermined method.
  • the processing section can use the peripheral block 3013 adjacent to the upper end of the target block 3011 as a template.
  • the processing section can use the peripheral block 3012 adjacent to the left side of the target block 3011 as a template.
  • the processing section can use a neighboring block 3013 adjacent to the upper end of the target block 3011 or a neighboring block 3012 adjacent to the left as a template.
  • the processing unit may search for a block in a reference picture using a template.
  • Reference numeral 3020 in FIG. 30 may be a reference picture.
  • the processing unit can derive the inter prediction information using the template.
  • the processing unit can search for a block corresponding to the template in the reference picture.
  • the shape and size of the block corresponding to the template may be the same as the shape and size of the template.
  • the block corresponding to the template may be the block that best matches the template in the reference picture.
  • the processing unit may derive a motion vector indicating a block corresponding to the template. That is to say, the processing unit can derive a motion vector indicating a block that best matches the template in the reference picture.
  • a block 3021 corresponding to a template searched for a neighboring block 3013 adjacent to the upper end and a block 3021 corresponding to a template searched for a neighboring block 3012 adjacent to the left are shown .
  • the processing unit may derive a motion vector of a target block using a motion vector for a block corresponding to the template.
  • the processing unit may determine a motion vector for the block corresponding to the template as a motion vector of the target block.
  • the direction of the reference picture in which the block is searched and the direction of the reference picture indicated by the motion vector of the target block may be opposite to each other.
  • the processor may perform an improvement of the motion vector.
  • the processing unit may search neighboring blocks of the block indicated by the current template and the derived motion vector, and may determine motion vectors of the neighboring blocks, Can be improved. That is to say, the improved motion vector may be a motion vector for the block most closely matching the template among the blocks around the block pointed out by the derived motion vector.
  • the processing unit may derive inter prediction information in units of sub-blocks.
  • the inter prediction information may include motion information and a motion vector.
  • the processing unit may use the above-described scheme for deriving a motion vector for a block to derive a motion vector for the subblock.
  • the processing unit may define the degree of matching of the blocks. That is to say, the processing unit can use one of the defined defined methods in determining the degree of conformance of the blocks.
  • the processor can determine that the two blocks most closely match. That is to say, the processor can determine that the lower the SAD between the two blocks the better the two blocks.
  • the processor can determine that the two blocks most closely match. That is to say, the processor can determine that the lower the SATD between the two blocks, the better the two blocks.
  • the processing unit performs inter prediction using at least one of motion compensation, IC, OBMC, BIO, affine spatial motion prediction, and motion vector correction on the motion compensation and decoding apparatus 1300 .
  • the processor may perform motion compensation for inter prediction of a target block.
  • the processing unit may generate a prediction block for a target block using the derived inter prediction information.
  • the motion compensation may be unidirectional motion compensation or bidirectional motion compensation.
  • the processing unit can perform motion compensation using a block in one picture of one reference picture list L0.
  • the processing unit can perform motion compensation by mixing a plurality of blocks in one picture of one reference picture list L0.
  • the processing unit may perform motion compensation by mixing a plurality of blocks in a plurality of pictures of one reference picture list L0.
  • the processing unit can perform motion compensation by mixing one block in one picture in the reference picture list L0 and one block in one picture in the reference picture list L1.
  • the processing unit can perform motion compensation by mixing a plurality of blocks in one picture of the reference picture list L0 and a plurality of blocks in one picture of the reference picture list L1.
  • the processing unit may perform motion compensation by mixing a plurality of blocks in a plurality of pictures in the reference picture list L0 and a plurality of blocks in a plurality of pictures in the reference picture list L1.
  • the processor may perform the IC for inter prediction of the target block.
  • the processing unit may perform compensation for a change in brightness and / or illumination between a reference picture including a reference block used for motion compensation and a target picture including a target block.
  • the processing unit can approximate a change between neighboring samples of a target block and neighboring samples of a reference block by N or more linear models, and perform brightness compensation by applying a linear model to motion compensated blocks.
  • N may be a positive integer.
  • 31 shows application of OBMC according to an example.
  • the processor may perform the OBMC for inter prediction of the target block.
  • the processing unit may mix the first block and the second block to generate a prediction block.
  • the first block may be a block generated by compensation using inter prediction information of a target block.
  • the second block may be one or more blocks generated by compensation using one or more inter-prediction information of one or more neighboring blocks adjacent to the target block.
  • one or more neighboring blocks adjacent to the target block include a left neighboring block adjacent to the left side of the target block, a right neighboring block adjacent to the right side of the target block, an upper neighboring block adjacent to the upper end of the target block, Block.
  • the processing unit may perform the OBMC in units of sub-blocks of the target block.
  • the processing unit may mix the first block and the second block to generate a prediction block.
  • the first block may be a block generated by compensation using inter-prediction information of a sub-block of a target block.
  • the second block may be one or more blocks generated by compensation using one or more inter-prediction information of one or more neighboring sub-blocks adjacent to a sub-block of a target block.
  • the inter prediction information may include a motion vector.
  • one or more neighboring subblocks adjacent to the subblock of the target block may include a left neighboring subblock adjacent to the left of the subblock of the target block, a right neighboring subblock adjacent to the right of the subblock of the target block, Block adjacent to the upper end and a lower surrounding sub-block adjacent to the lower end of the sub-block of the target block.
  • the processing unit can perform the OBMC only for the specified sub-block among the sub-blocks of the target block.
  • the processing unit can perform the OBMC only on the sub-block adjacent to the boundary inside the target block.
  • the processing unit may perform OBMC for all sub-blocks of the target block.
  • the processing unit can perform the OBMC only for the sub-blocks adjacent to the left boundary inside the target block.
  • the processing unit can perform the OBMC only for the sub-blocks adjacent to the right boundary inside the target block.
  • the processing unit can perform the OBMC only for the sub-blocks adjacent to the upper boundary inside the target block.
  • the processing unit can perform the OBMC only for the sub-blocks adjacent to the lower boundary inside the target block.
  • 32 shows sub-PUs in the ATMVP mode according to an example.
  • the target block may be divided into a plurality of sub-blocks.
  • the target block may be a target CU, and the sub-block may be a sub-PU.
  • the processing unit may perform OBMC for all sub-blocks of the target CU.
  • the processing unit may mix the first block and the second block to generate a prediction block.
  • the first block may be a block generated by compensation using inter-prediction information of a sub-block of a target block.
  • the second block may be blocks generated by compensation using inter-prediction information of neighboring sub-blocks adjacent to sub-blocks of the target block.
  • the inter prediction information may be a motion vector.
  • the neighboring subblocks adjacent to the subblocks of the target block are located on the left side neighboring subblocks adjacent to the left side of the subblocks of the target block, the right neighboring subblocks adjacent to the right side of the subblocks of the target block, Block adjacent upper sub-block and a lower adjacent sub-block adjacent to the lower end of the sub-block of the target block.
  • the processor may perform affine spatial motion prediction and compensation for inter prediction of a target block.
  • the processing unit may generate a motion vector for each pixel of a target block by applying affine transformation equations to the first motion vector at the upper left position of the target block and the second motion vector at the upper right position of the target block And motion compensation can be performed using the generated motion vectors.
  • the processing unit applies the affine transformation equation to the first motion vector at the upper left position of the target block and the second motion vector at the upper right position of the target block, thereby obtaining a motion vector for each sub- And motion compensation can be performed using the generated motion vectors.
  • At least one of the following methods 1) to 3) may be used to provide the first motion vector and the second motion vector.
  • the first motion vector and the second motion vector may be transmitted (from the encoding device 1200) to the decoding device 1300 (via the bit stream).
  • a difference between each vector and a neighbor motion vector may be transmitted from the encoding device 1200 to the decoding device 1300.
  • a first motion vector and a second motion vector may be derived without transmission using a motion vector of a neighboring block of a target block.
  • the processor may perform a BIO for inter prediction on a target block.
  • the processing unit may derive a motion vector of a target block using an optical flow using a block in a unidirectional position.
  • the processing unit may derive a motion vector of a target block using a bidirectional optical flow using blocks existing in a previous picture of a target picture and blocks existing in a subsequent picture of a target picture in a display order.
  • the block existing in the previous picture of the target picture and the block existing in the subsequent picture of the current picture may be blocks similar to the target block, which have mutually opposite motions.
  • the processing unit may perform motion vector correction on the decoding apparatus 1300 for inter prediction with respect to the target block.
  • the processing unit may perform a correction on the motion vector of the target block using the motion vector transmitted to the decoding apparatus 1300.
  • 33 is a flowchart of a prediction method and a bitstream generation method of a target block according to an embodiment.
  • the prediction method and the bitstream generation method of the target block in the embodiment can be performed by the encoding apparatus 1200.
  • the embodiment may be a part of a coding method or a video coding method of a target block.
  • step 3310 the processing unit 1210 may derive the inter prediction information.
  • Step 3310 may correspond to step 1410 described above with reference to FIG.
  • step 3320 the processing unit 1210 may perform inter prediction using the derived inter prediction information. Step 3320 may correspond to step 1420 described above with reference to FIG.
  • the processing unit 1210 may generate a bitstream.
  • the bitstream may include information on a coded target block.
  • the information on the encoded target block may include the transform of the target block and the quantized coefficients.
  • the bitstream may include information used to derive inter prediction information and information used for inter prediction.
  • the bitstream may include an indicator that indicates how to derive the inter prediction information.
  • the bitstream may include an index indicating one of the candidates in the list of the encoding apparatus 1200 or the decoding apparatus 1300.
  • the processing unit 1210 may perform entropy encoding on information used for deriving inter prediction information and information used for inter prediction, and may generate a bit stream including entropy-coded information.
  • the processing unit 1210 may store the generated bit stream in the storage 1240.
  • the communication unit 1220 can transmit the bit stream to the decryption apparatus 1300.
  • 34 is a flowchart of a method of predicting a target block using a bitstream according to an embodiment.
  • the prediction method of the target block using the bitstream of the embodiment can be performed by the decoding apparatus 1300.
  • the embodiment may be part of a decoding method or a video decoding method of a target block.
  • the communication unit 1320 can acquire the bit stream.
  • the communication unit 1320 can receive the bit stream from the encoding device 1200.
  • the bitstream may include information on a coded target block.
  • the information on the encoded target block may include the transform of the target block and the quantized coefficients.
  • the bitstream may include information used to derive inter prediction information and information used for inter prediction.
  • the bitstream may include an indicator that indicates how to derive the inter prediction information.
  • the bitstream may include an index indicating one of the candidates in the list of the encoding apparatus 1200 and the decoding apparatus 1300.
  • the processing unit 1310 may store the obtained bitstream in the storage 1240.
  • the processing unit 1310 may perform entropy decoding on the entropy-encoded information of the bitstream to obtain information used for deriving inter prediction information and information used for inter prediction.
  • step 3420 the processing unit 1310 may derive the inter prediction information.
  • Step 3420 may correspond to step 1410 described above with reference to FIG.
  • step 3430 the processing unit 1310 may perform inter prediction using the derived inter prediction information. Step 3430 may correspond to step 1420 described above with reference to FIG.
  • the embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치가 개시된다. 비디오의 부호화 및 복호화에 있어서, 대상 블록에 대한 인터 예측 정보가 유도될 수 있고, 유도된 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측이 수행될 수 있다. 복수의 인터 예측 정보들의 결합을 통해 결합 인터 예측 정보가 생성될 수 있고, 생성된 결합 인터 예측 정보는 인터 예측을 위해 사용되는 리스트에 후보로서 추가될 수 있다. 리스트 내의 후보들 중 하나가 대상 블록에 대한 인터 예측을 위해 선택될 수 있으며, 선택된 후보를 사용하는 인터 예측이 수행될 수 있다.

Description

인터 예측 정보를 사용하는 방법 및 장치
아래의 실시예들은 비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것으로서, 비디오의 부호화 및 복호화에 있어서 인터 예측 정보를 사용하는 방법 및 장치에 관한 것이다.
정보 통신 산업의 지속적인 발달을 통해 HD(High Definition) 해상도를 가지는 방송 서비스가 세계적으로 확산되었다. 이러한 확산을 통해, 많은 사용자들이 고해상도이며 고화질인 영상(image) 및/또는 비디오(video)에 익숙해지게 되었다.
높은 화질에 대한 사용자들의 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. 에이치디티브이(High Definition TV; HDTV) 및 풀에이치디(Full HD; FHD) TV뿐만 아니라, FHD TV에 비해 4배 이상의 해상도를 갖는 울트라에이치디(Ultra High Definition; UHD) TV에 대한 사용자들의 관심이 증대하였고, 이러한 관심의 증대에 따라, 더 높은 해상도 및 화질을 갖는 영상에 대한 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.
영상 부호화(encoding)/복호화(decoding) 장치 및 방법은 고해상도 및 고화질의 영상에 대한 부호화/복호화를 수행하기 위해, 인터(inter) 예측(prediction) 기술, 인트라(intra) 예측 기술 및 엔트로피 부호화 기술 등을 사용할 수 있다. 인터 예측 기술은 시간적으로(temporally) 이전의 픽처 및/또는 시간적으로 이후의 픽처를 이용하여 대상 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 인트라 예측 기술은 대상 픽처 내의 픽셀의 정보를 이용하여 대상 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 엔트로피 부호화 기술은 출현 빈도가 높은 심볼에는 짧은 코드(code)를 할당하고, 출현 빈도가 낮은 심볼에는 긴 코드를 할당하는 기술일 수 있다.
인트라 예측 및/또는 인터 예측의 효율 및 정확성을 향상시키기 위하여 다양한 예측 방법이 개발되었다. 다양한 적용 가능한 예측 방법들 중 어떠한 예측 방법이 블록의 부호화 및/또는 복호화를 위해 사용되는가에 따라서 예측의 효율이 크게 변할 수 있다.
일 실시예는 대상 블록에 대한 인터 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법을 제공할 수 있다.
일 실시예는 대상 블록에 대한 결합 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 인터 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법을 제공할 수 있다.
일 측에 있어서, 대상 블록에 대한 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 처리부를 포함하고, 상기 처리부는 결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트를 구성하고, 상기 처리부는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 상기 결합 인터 예측 정보를 생성하는 부호화 장치가 제공된다.
다른 일 측에 있어서, 대상 블록에 대한 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 처리부를 포함하고, 상기 처리부는 결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트를 구성하고, 상기 처리부는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 상기 결합 인터 예측 정보를 생성하는 복호화 장치가 제공된다.
또 다른 일 측에 있어서, 대상 블록에 대한 인터 예측 정보를 유도하는 단계; 및 유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 단계를 포함하고, 결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트가 구성되고, 상기 결합 인터 예측 정보는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 생성되는 복호화 방법이 제공된다.
상기 인터 예측 정보는 밝기 보상 (Illumination Compensation; IC) 플래그 및 오버랩된 블록 움직임 보상(Overlapped Block Motion Compensation; OBMC) 플래그 중 적어도 하나를 포함할 수 있다.
상기 리스트는 머지 리스트 또는 향상된 움직임 벡터 예측(advanced motion vector prediction; AMVP) 리스트일 수 있다.
상기 주변 블록들은 상기 대상 블록의 공간적 주변 블록 및 시간적 주변 블록을 포함할 수 있다.
상기 주변 블록들 중 하나의 주변 블록의 인터 예측 정보가 비가용한 경우 상기 하나의 주변 블록에 대한 상기 결합 인터 예측 정보가 유도될 수 있다.
상기 주변 블록들 중 하나의 주변 블록의 인터 예측 정보가 상기 리스트에 추가되지 않는 경우 상기 하나의 주변 블록에 대하여 유도된 상기 결합 인터 예측 정보가 상기 리스트에 추가되는 복호화 방법.
상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들을 사용하는 계산식의 결과일 수 있다.
상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 가중치가 부여된 평균 값일 수 있다.
상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 블록 크기 기반 가중치 결합의 결과일 수 있다.
상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 픽처 오더 카운트 가중치 결합의 결과일 수 있다.
상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 외삽 결합의 결과일 수 있다.
특정된 블록의 좌측의 위치에 대한 제1 인터 예측 정보 및 상기 특정된 블록의 우측의 위치에 대한 제2 인터 예측 정보가 도출되고, 상기 제1 인터 예측 정보 및 제2 인터 예측 정보를 결합함으로써 상기 결합 인터 예측 정보가 생성될 수 있다.
상기 대상 블록의 모양에 기반하여 상기 리스트를 구성하기 위한 방식이 결정될 수 있다.
상기 대상 블록의 분할 상태에 기반하여 상기 리스트를 구성하기 위한 방식이 결정될 수 있다.
상기 대상 블록의 위치에 기반하여 상기 리스트를 구성하기 위한 방식이 결정되는 복호화 방법.
상기 결합 인터 예측 정보는 상기 주변 블록들의 인터 예측 정보들에 비해 후순위로 상기 리스트에 추가될 수 있다.
상기 결합 인터 예측 정보는 공간적 주변 블록의 인터 예측 정보의 다음이고, 시간적 주변 블록의 인터 예측 정보의 이전에 상기 리스트에 추가될 수 있다.
상기 대상 블록의 깊이에 기반하여 상기 리스트를 구성하기 위한 방식이 결정될 수 있다.
대상 블록에 대한 인터 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법이 제공된다.
대상 블록에 대한 결합 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 인터 예측을 수행하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법이 제공된다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 9는 일 예에 따른 공간적 후보들을 나타낸다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 11은 일 예에 따른 변환 및 양자화의 과정을 설명한다.
도 12는 일 실시예에 따른 부호화 장치의 구조도이다.
도 13은 일 실시예에 따른 복호화 장치의 구조도이다.
도 14는 일 실시예에 따른 인터 예측 방법의 흐름도이다.
도 15는 일 예에 따른 대상 블록의 공간적 주변 블록들을 나타낸다.
도 16은 일 예에 따른 대상 블록의 시간적 주변 블록들을 나타낸다.
도 17은 일 예에 따른 우측 상단 주변 블록에 대한 결합 인터 예측 정보의 생성을 나타낸다.
도 18은 일 예에 따른 상단 주변 블록에 대한 결합 인터 예측 정보의 생성을 나타낸다.
도 19는 일 예에 따른 주변 블록의 결합 인터 예측 정보의 생성을 나타낸다.
도 20은 일 예에 따른 블록 AL의 인터 예측 정보의 생성을 나타낸다.
도 21은 일 예에 따른 블록 AR의 인터 예측 정보의 생성을 나타낸다.
도 22는 일 예에 따른 대상 CU의 인터 예측 정보의 생성을 나타낸다.
도 23은 폭 및 높이가 동일한 CU가 수직으로 분할된 경우를 나타낸다.
도 24는 폭 및 높이가 동일한 CU가 수평으로 분할된 경우를 나타낸다.
도 25는 높이에 비해 폭이 더 큰 CU가 수직으로 분할된 경우를 나타낸다.
도 26은 폭에 비해 높이가 더 큰 CU가 수평으로 분할된 경우를 나타낸다.
도 27은 일 예에 시간적 주변 블록의 서브 블록들 및 대상 블록의 서브 블록들을 나타낸다.
도 28은 일 예에 따른 대상 블록의 공간적 주변 블록들 및 대상 블록의 서브 블록들을 나타낸다.
도 29는 일 예에 따른 바이래터럴 매칭을 사용하는 인터 예측 정보의 유도를 나타낸다.
도 30은 일 예에 따른 템플릿 매칭 모드를 사용하는 인터 예측 정보의 유도를 나타낸다.
도 31은 일 예에 따른 OBMC의 적용을 나타낸다.
도 32는 일 예에 따른 ATMVP 모드 내의 서브 PU들을 도시한다.
도 33은 일 실시예에 따른 대상 블록의 예측 방법 및 비트스트림 생성 방법의 흐름도이다.
도 34는 일 실시예에 따른 비트스트림을 사용하는 대상 블록의 예측 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들면, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소(component)가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수 개의 구성요소로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 예시적 실시예들에서 특정 구성을 "포함"한다고 기술하는 내용은 상기의 특정 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성 또한 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시 형태에 대하여 구체적으로 설명한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 동일한 구성요소에 대한 중복된 설명은 생략한다.
이하에서, 영상은 비디오(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 비디오 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, 용어들 "비디오(video)" 및 "동영상(motion picture)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다.
이하에서, 용어들 "영상", "픽처", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 블록은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, 용어들 "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 용어들 "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또는 "블록"은 특정한 유닛을 나타낼 수 있다.
이하에서, 용어들 "영역(region)" 및 "세그먼트(segment)"는 서로 교체되어 사용될 수 있다.
이하에서, 특정한 신호는 특정한 블록을 나타내는 신호일 수 있다. 예를 들면, 원(original) 신호는 대상 블록을 나타내는 신호일 수 있다. 예측(prediction) 신호는 예측 블록을 나타내는 신호일 수 있다. 잔여(residual) 신호는 잔여 블록을 나타내는 신호일 수 있다.
실시예들에서, 특정된 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 각각은 값을 가질 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "0"은 논리 거짓(logical false) 또는 제1 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "0", 거짓, 논리 거짓 및 제1 기정의된 값은 서로 대체되어 사용될 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "1"은 논리 참(logical true) 또는 제2 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "1", 참, 논리 참 및 제2 기정의된 값은 서로 대체되어 사용될 수 있다.
행, 열 또는 인덱스(index)를 나타내기 위해 i 또는 j 등의 변수가 사용될 때, i의 값은 0 이상의 정수일 수 있으며, 1 이상의 정수일 수도 있다. 말하자면, 실시예들에서 행, 열 및 인덱스 등은 0에서부터 카운트될 수 있으며, 1에서부터 카운트될 수 있다.
아래에서는, 실시예들에서 사용되는 용어가 설명된다.
부호화기(encoder): 부호화(encoding)를 수행하는 장치를 의미한다.
복호화기(decoder): 복호화(decoding)를 수행하는 장치를 의미한다.
유닛(unit): 유닛은 영상의 부호화 및 복호화의 단위를 나타낼 수 있다. 용어들 "유닛" 및 "블록(block)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
- 유닛은 샘플의 MxN 배열일 수 있다. M 및 N은 각각 양의 정수일 수 있다. 유닛은 흔히 2차원의 샘플들의 배열을 의미할 수 있다.
- 영상의 부호화 및 복호화에 있어서, 유닛은 하나의 영상의 분할에 의해 생성된 영역일 수 있다. 하나의 영상은 복수의 유닛들로 분할될 수 있다. 또는, 유닛은 하나의 영상을 세분화된 부분들로 분할하고, 분할된 부분에 대한 부호화 또는 복호화가 수행될 때, 상기의 분할된 부분을 의미할 수 있다.
- 영상의 부호화 및 복호화에 있어서, 유닛의 종류에 따라서 유닛에 대한 기정의된 처리가 수행될 수 있다.
- 기능에 따라서, 유닛의 타입은 매크로 유닛(Macro Unit), 코딩 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU), 잔여 유닛(Residual Unit) 및 변환 유닛(Transform Unit; TU) 등으로 분류될 수 있다. 또는, 기능에 따라서, 유닛은 블록, 매크로블록(Macroblock), 코딩 트리 유닛(Coding Tree Unit), 코딩 트리 블록(Coding Tree Block), 부호화 유닛(Coding Unit), 부호화 블록(Coding Block), 예측 유닛(Prediction Unit), 예측 블록(Prediction Block), 잔여 유닛(Residual Unit), 잔여 블록(Residual Block), 변환 유닛(Transform Unit) 및 변환 블록(Transform Block) 등을 의미할 수 있다.
- 유닛은, 블록과 구분하여 지칭하기 위해, 휘도(luma) 성분 블록 및 이에 대응하는 색차(chroma) 성분 블록, 그리고 각 블록에 대한 구문 요소(syntax element)를 포함하는 정보를 의미할 수 있다.
- 유닛의 크기 및 형태는 다양할 수 있다. 또한, 유닛은 다양한 크기 및 다양한 형태를 가질 수 있다. 특히 유닛의 형태는 정사각형뿐만 아니라 직사각형, 사다리꼴, 삼각형 및 오각형 등 2차원으로 표현될 수 있는 기하학적 도형을 포함할 수 있다.
- 또한, 유닛 정보는 부호화 유닛, 예측 유닛, 잔여 유닛, 변환 유닛 등을 가리키는 유닛의 타입, 유닛의 크기, 유닛의 깊이, 유닛의 부호화 및 복호화 순서 등 중 적어도 하나 이상을 포함할 수 있다.
- 하나의 유닛은 유닛에 비해 더 작은 크기를 갖는 하위 유닛으로 더 분할될 수 있다.
깊이(depth): 깊이는 유닛의 분할된 정도를 의미할 수 있다. 또한, 유닛 깊이는 유닛을 트리 구조로 표현했을 때 유닛이 존재하는 레벨을 나타낼 수 있다.
- 유닛 분할 정보는 유닛의 깊이에 관한 깊이를 포함할 수 있다. 깊이는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
- 트리 구조에서, 루트 노드(root node)의 깊이가 가장 얕고, 리프 노드(leaf node)의 깊이가 가장 깊다고 볼 수 있다.
- 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보(depth)를 가지면서 계층적으로(hierarchically) 복수의 하위 유닛들로 분할될 수 있다. 말하자면, 유닛 및 상기의 유닛의 분할에 의해 생성된 하위 유닛은 노드 및 상기의 노드의 자식 노드에 각각 대응할 수 있다. 각각의 분할된 하위 유닛은 깊이를 가질 수 있다. 깊이는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 하위 유닛의 분할 정보는 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
- 트리 구조에서, 가장 상위 노드는 분할되지 않은 최초의 유닛에 대응할 수 있다. 가장 상위 노드는 루트 노드로 칭해질 수 있다. 또한, 가장 상위 노드는 최소의 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있다.
- 레벨 1의 깊이를 갖는 노드는 최초의 유닛이 한 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다. 레벨 2의 깊이를 갖는 노드는 최초의 유닛이 두 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 레벨 n의 깊이를 갖는 노드는 최초의 유닛이 n번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 리프 노드는 가장 하위의 노드일 수 있으며, 더 분할될 수 없는 노드일 수 있다. 리프 노드의 깊이는 최대 레벨일 수 있다. 예를 들면, 최대 레벨의 기정의된 값은 3일 수 있다.
- QT 깊이는 쿼드 분할에 대한 깊이를 나타낼 수 있다. BT 깊이는 이진 분할에 대한 깊이를 나타낼 수 있다. TT 깊이는 삼진 분할에 대한 깊이를 나타낼 수 있다.
샘플(sample): 샘플은 블록을 구성하는 기반(base) 단위일 수 있다. 샘플은 비트 깊이(bit depth; Bd)에 따라서 0부터 2Bd-1까지의 값들로서 표현될 수 있다.
- 샘플은 픽셀 또는 픽셀 값일 수 있다.
- 이하에서, 용어들 "픽셀", "화소" 및 "샘플"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
부호화 트리 유닛(Coding Tree Unit; CTU): CTU는 하나의 휘도 성분(Y) 부호화 트리 블록과, 상기의 휘도 성분 부호화 트리 블록에 관련된 두 색차 성분(Cb, Cr) 부호화 트리 블록들로 구성될 수 있다. 또한, CTU는 상기의 블록들과 상기의 블록들의 각 블록에 대한 구문 요소를 포함한 것을 의미할 수도 있다.
- 각 부호화 트리 유닛은 부호화 유닛, 예측 유닛 및 변환 유닛 등의 하위 유닛을 구성하기 위하여 쿼드트리(Quad Tree: QT), 이진트리(Binary Tree; BT) 및 삼진트리(Ternary Tree; TT) 등과 같은 하나 이상의 분할 방식을 이용하여 분할될 수 있다.
- CTU는 입력 영상의 분할에서와 같이, 영상의 복호화 및 부호화 과정에서의 처리 단위인 픽셀 블록을 지칭하기 위한 용어로서 사용될 수 있다.
부호화 트리 블록(Coding Tree Block; CTB): 부호화 트리 블록은 Y 부호화 트리 블록, Cb 부호화 트리 블록, Cr 부호화 트리 블록 중 어느 하나를 지칭하기 위한 용어로 사용될 수 있다.
주변 블록(neighbor block): 대상 블록에 인접한 블록을 의미한다. 주변 블록은 복원된 주변 블록을 의미할 수도 있다.
- 이하에서, 용어들 "주변 블록" 및 "이웃 블록(adjacent block)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
공간적 주변 블록(spatial neighbor block): 공간적 주변 블록은 대상 블록에 공간적으로 인접한 블록일 수 있다. 주변 블록은 공간적 주변 블록을 포함할 수 있다.
- 대상 블록 및 공간적 주변 블록은 대상 픽처 내에 포함될 수 있다.
- 공간적 주변 블록은 대상 블록에 경계가 맞닿은 블록 또는 대상 블록으로부터 소정의 거리 내에 위치한 블록을 의미할 수 있다.
- 공간적 주변 블록은 대상 블록의 꼭지점에 인접한 블록을 의미할 수 있다. 여기에서, 대상 블록의 꼭지점에 인접한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다.
시간적 주변 블록(temporal neighbor block): 시간적 주변 블록은 대상 블록에 시간적으로 인접한 블록일 수 있다. 주변 블록은 시간적 주변 블록을 포함할 수 있다.
- 시간적 주변 블록은 콜 블록(collocated block; col block)을 포함할 수 있다.
- 콜 블록은 이미 복원된 콜 픽처(collocated picture; col picture) 내의 블록일 수 있다. 콜 블록의 콜 픽처 내에서의 위치는 대상 블록의 대상 픽처 내의 위치에 대응할 수 있다. 콜 픽처는 참조 픽처 리스트에 포함된 픽처일 수 있다.
- 시간적 주변 블록은 대상 블록의 공간적 주변 블록일 수 있다.
예측 유닛(prediction unit): 인터 예측, 인트라 예측, 인터 보상(compensation), 인트라 보상 및 움직임 보상 등의 예측에 대한 기반 단위를 의미할 수 있다.
- 하나의 예측 유닛은 더 작은 크기를 갖는 복수의 파티션(partition)들 또는 하위 예측 유닛들로 분할될 수도 있다. 복수의 파티션들 또한 예측 또는 보상의 수행에 있어서의 기반 단위일 수 있다. 예측 유닛의 분할에 의해 생성된 파티션 또한 예측 유닛일 수 있다.
예측 유닛 파티션(prediction unit partition): 예측 유닛이 분할된 형태를 의미할 수 있다.
재구축된 이웃 유닛(reconstructed neighboring unit): 재구축된 이웃 유닛은 대상 유닛의 주변에 이미 복호화되어 재구축된 유닛일 수 있다.
- 재구축된 이웃 유닛은 대상 유닛에 대한 공간적(spatial) 인접 유닛 또는 시간적(temporal) 인접 유닛일 수 있다.
- 재구축된 공간적 주변 유닛은 대상 픽처 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다.
- 재구축된 시간적 주변 유닛은 참조 영상 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다. 재구축된 시간적 주변 유닛의 참조 영상 내에서의 위치는 대상 유닛의 대상 픽처 내에서의 위치와 같거나, 대상 유닛의 대상 픽처 내에서의 위치에 대응할 수 있다.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다. 예를 들면, 파라미터 세트는 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 등을 포함할 수 있다.
율-왜곡 최적화(rate-distortion optimization): 부호화 장치는 코딩 유닛의 크기, 예측 모드, 예측 유닛의 크기, 움직임 정보 및, 변환 유닛의 크기 등의 조합을 이용해서 높은 부호화 효율을 제공하기 위해 율-왜곡 최적화를 사용할 수 있다.
- 율-왜곡 최적화 방식은 상기의 조합들 중에서 최적의 조합을 선택하기 위해 각 조합의 율-왜곡 비용(rate-distortion cost)을 계산할 수 있다. 율-왜곡 비용은 아래의 수식 1을 이용하여 계산될 수 있다. 일반적으로 상기 율-왜곡 비용이 최소가 되는 조합이 율-왜곡 최적화 방식에 있어서의 최적의 조합으로 선택될 수 있다.
[수식 1]
Figure PCTKR2018011905-appb-I000001
- D는 왜곡을 나타낼 수 있다. D는 변환 유닛 내에서 원래의 변환 계수들 및 재구축된 변환 계수들 간의 차이 값들의 제곱들의 평균(mean square error)일 수 있다.
- R은 율을 나타낼 수 있다. R은 관련된 문맥 정보를 이용한 비트 율을 나타낼 수 있다.
- λ는 라그랑지안 승수(Lagrangian multiplier)를 나타낼 수 있다. R은 예측 모드, 움직임 정보 및 코드된 블록 플래그(coded block flag) 등과 같은 코딩 파라미터 정보뿐만 아니라, 변환 계수의 부호화에 의해 발생하는 비트도 포함할 수 있다.
- 부호화 장치는 정확한 D 및 R을 계산하기 위해 인터 예측 및/또는 인트라 예측, 변환, 양자화, 엔트로피 부호화, 역양자화, 역변환 등의 과정들을 수행할 수 있다. 이러한 과정들은 부호화 장치에서의 복잡도를 크게 증가시킬 수 있다.
비트스트림(bitstream): 비트스트림은 부호화된 영상 정보를 포함하는 비트의 열을 의미할 수 있다.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다.
- 파라미터 세트는 비디오 파라미터 세트(video parameter set), 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 중 적어도 하나를 포함할 수 있다. 또한, 파라미터 세트는 슬라이스(slice) 헤더의 정보 및 타일(tile) 헤더의 정보를 포함할 수도 있다.
파싱(parsing): 파싱은 비트스트림을 엔트로피 복호화하여 구문 요소(syntax element)의 값을 결정하는 것을 의미할 수 있다. 또는, 파싱은 엔트로피 복호화 자체를 의미할 수 있다.
심볼(symbol): 부호화 대상 유닛 및/또는 복호화 대상 유닛의 구문 요소, 코딩 파라미터(coding parameter) 및 변환 계수(transform coefficient) 등 중 적어도 하나를 의미할 수 있다. 또한, 심볼은 엔트로피 부호화의 대상 또는 엔트로피 복호화의 결과를 의미할 수 있다.
참조 픽처(reference picture): 참조 픽처는 인터 예측 또는 움직임 보상을 위하여 유닛이 참조하는 영상을 의미할 수 있다. 또는, 참조 픽처는 인터 예측 또는 움직임 보상을 위해 대상 유닛이 참조하는 참조 유닛을 포함하는 영상일 수 있다.
이하, 용어 "참조 픽처" 및 "참조 영상"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
참조 픽처 리스트(reference picture list): 참조 픽처 리스트는 인터 예측 또는 움직임 보상에 사용되는 하나 이상의 참조 영상들을 포함하는 리스트일 수 있다.
- 참조 픽처 리스트의 종류는 리스트 조합(List Combined; LC), 리스트 0(List 0; L0), 리스트 1(List 1; L1), 리스트 2(List 2; L2) 및 리스트 3(List 3; L3) 등이 있을 수 있다.
- 인터 예측에는 하나 이상의 참조 픽처 리스트들이 사용될 수 있다.
인터 예측 지시자(inter prediction indicator): 인터 예측 지시자는 대상 유닛의 인터 예측의 방향을 가리킬 수 있다. 인터 예측은 단방향 예측 및 양방향 예측 등 중 하나일 수 있다. 또는, 인터 예측 지시자는 대상 유닛의 예측 유닛을 생성할 때 사용되는 참조 영상의 개수를 나타낼 수 있다. 또는, 인터 예측 지시자는 대상 유닛에 대한 인터 예측 혹은 움직임 보상을 위해 사용되는 예측 블록의 개수를 의미할 수 있다.
참조 픽처 색인(reference picture index): 참조 픽처 색인은 참조 픽처 리스트에서 특정 참조 영상을 지시하는 색인일 수 있다.
움직임 벡터(Motion Vector; MV): 움직임 벡터는 인터 예측 또는 움직임 보상에서 사용되는 2차원의 벡터일 수 있다. 움직임 벡터는 부호화 대상 영상/복호화 대상 영상 및 참조 영상 간의 오프셋을 의미할 수 있다.
- 예를 들면, MV는 (mvx, mvy)와 같은 형태로 표현될 수 있다. mvx는 수평(horizontal) 성분을 나타낼 수 있고, mvy 는 수직(vertical) 성분을 나타낼 수 있다.
탐색 영역(search range): 탐색 영역은 인터 예측 중 MV에 대한 탐색이 이루어지는 2차원의 영역일 수 있다. 예를 들면, 탐색 영역의 크기는 MxN일 수 있다. M 및 N은 각각 양의 정수일 수 있다.
움직임 벡터 후보(motion vector candidate): 움직임 벡터 후보는 움직임 벡터를 예측할 때 예측 후보인 블록 혹은 예측 후보인 블록의 움직임 벡터를 의미할 수 있다.
- 움직임 벡터 후보는 움직임 벡터 후보 리스트에 포함될 수 있다.
움직임 벡터 후보 리스트(motion vector candidate list): 움직임 벡터 후보 리스트는 하나 이상의 움직임 벡터 후보들을 이용하여 구성된 리스트를 의미할 수 있다.
움직임 벡터 후보 색인(motion vector candidate index): 움직임 벡터 후보 색인은 움직임 벡터 후보 리스트 내의 움직임 벡터 후보를 가리키는 지시자를 의미할 수 있다. 또는, 움직임 벡터 후보 색인은 움직임 벡터 예측기(motion vector predictor)의 색인(index)일 수 있다.
움직임 정보(motion information): 움직임 정보는 움직임 벡터, 참조 픽처 색인 및 인터 예측 지시자(inter prediction indicator) 뿐만 아니라 참조 픽처 리스트 정보, 참조 영상, 움직임 벡터 후보, 움직임 벡터 후보 색인, 머지 후보 및 머지 색인 등 중 적어도 하나를 포함하는 정보를 의미할 수 있다.
머지 후보 리스트(merge candidate list): 머지 후보 리스트는 머지 후보를 이용하여 구성된 리스트를 의미할 수 있다.
머지 후보(merge candidate): 공간적 머지 후보, 시간적 머지 후보, 조합된 머지 후보, 조합 양예측(combined bi-prediction) 머지 후보, 제로 머지 후보 등을 의미한다. 머지 후보는 인터 예측 지시자, 각 리스트에 대한 참조 픽처 색인 및 움직임 벡터 등의 움직임 정보를 포함할 수 있다.
머지 색인(merge index): 머지 색인은 머지 후보 리스트 내 머지 후보를 가리키는 지시자일 수 있다.
- 머지 색인은 대상 유닛에 공간적으로 인접한 재구축된 유닛 및 대상 유닛에 시간적으로 인접한 재구축된 유닛 중 머지 후보를 유도한 재구축된 유닛을 지시할 수 있다.
- 머지 색인은 머지 후보의 움직임 정보 중 적어도 하나를 지시할 수 있다.
변환 유닛(transform unit): 변환 유닛은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화 및 변환 계수 복호화 등과 같은 잔여 신호(residual signal) 부호화 및/또는 잔여 신호 복호화에 있어서의 기본 유닛일 수 있다. 하나의 변환 유닛은 더 작은 크기의 복수의 변환 유닛들로 분할될 수 있다.
스케일링(scaling): 스케일링은 변환 계수 레벨에 인수를 곱하는 과정을 의미할 수 있다.
- 변환 계수 레벨에 대한 스케일링의 결과로서, 변환 계수가 생성될 수 있다. 스케일링은 역양자화(dequantization)로 칭해질 수도 있다.
양자화 파라미터(Quantization Parameter; QP): 양자화 파라미터는 양자화에서 변환 계수에 대해 변환 계수 레벨(transform coefficient level)을 생성할 때 사용되는 값을 의미할 수 있다. 또는, 역양자화에서 변환 계수 레벨을 스케일링(scaling)함으로써 변환 계수를 생성할 때 사용되는 값을 의미할 수도 있다. 또는, 양자화 파라미터는 양자화 스텝 크기(step size)에 매핑된 값일 수 있다.
델타 양자화 파라미터(delta quantization parameter): 델타 양자화 파라미터는 예측된 양자화 파라미터 및 부호화/복호화 대상 유닛의 양자화 파라미터의 차분(differential) 값을 의미한다.
스캔(scan): 스캔은 유닛, 블록 또는 행렬 내의 계수들의 순서를 정렬하는 방법을 의미할 수 있다. 예를 들면, 2차원 배열을 1차원 배열 형태로 정렬하는 것을 스캔이라고 칭할 수 있다. 또는, 1차원 배열을 2차원 배열 형태로 정렬하는 것도 스캔 또는 역 스캔(inverse scan)이라고 칭할 수 있다.
변환 계수(transform coefficient): 변환 계수는 부호화 장치에서 변환을 수행함에 따라 생성된 계수 값일 수 있다. 또는, 변환 계수는 복호화 장치에서 엔트로피 복호화 및 역양자화 중 적어도 하나를 수행함에 따라 생성된 계수 값일 수 있다.
- 변환 계수 또는 잔여 신호에 양자화를 적용한 양자화된 레벨 또는 양자화된 변환 계수 레벨 또한 변환 계수의 의미에 포함될 수 있다.
양자화된 레벨(quantized level): 양자화된 레벨은 부호화 장치에서 변환 계수 또는 잔여 신호에 양자화를 수행함으로써 생성된 값을 의미할 수 있다. 또는, 양자화된 레벨은 복호화 장치에서 역양자화를 수행함에 있어서 역양자화의 대상이 되는 값을 의미할 수도 있다.
- 변환 및 양자화의 결과인 양자화된 변환 계수 레벨도 양자화된 레벨의 의미에 포함될 수 있다.
넌제로 변환 계수(non-zero transform coefficient): 넌제로 변환 계수는 0이 아닌 값을 갖는 변환 계수 또는 0이 아닌 값을 갖는 변환 계수 레벨을 의미할 수 있다. 또는, 넌제로 변환 계수는 값의 크기가 0이 아난 변환 계수 또는 값의 크기가 0이 아닌 변환 계수 레벨을 의미할 수 있다.
양자화 행렬(quantization matrix): 양자화 행렬은 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 혹은 역양자화 과정에서 이용되는 행렬을 의미할 수 있다. 양자화 행렬은 스케일링 리스트(scaling list)라고도 칭해질 수 있다.
양자화 행렬 계수(quantization matrix coefficient): 양자화 행렬 계수는 양자화 행렬 내의 각 원소(element)를 의미할 수 있다. 양자화 행렬 계수는 행렬 계수(matrix coefficient)라고도 칭해질 수 있다.
디폴트 행렬(default matrix): 기본 행렬은 부호화 장치 및 복호화 장치에서 기정의된 양자화 행렬일 수 있다.
비 디폴트 행렬(non-default matrix): 비 디폴트 행렬은 부호화 장치 및 복호화 장치에서 기정의되어 있지 않은 양자화 행렬일 수 있다. 비 디폴트 행렬은 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.
시그널링: 시그널링은 정보가 부호화 장치로부터 복호화 장치로 전송되는 것을 나타낼 수 있다. 또는, 시그널링은 정보를 비트스트림 또는 기록 매체 내에 포함시키는 것을 의미할 수 있다. 부호화 장치에 의해 시그널링된 정보는 복호화 장치에 의해 사용될 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 비디오의 하나 이상의 영상들을 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
부호화 장치(100)는 인트라 모드 및/또는 인터 모드를 사용하여 대상 영상에 대한 부호화를 수행할 수 있다.
또한, 부호화 장치(100)는 대상 영상에 대한 부호화를 통해 부호화의 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있고, 유/무선 전송 매체를 통해 스트리밍될 수 있다.
예측 모드로서, 인트라 모드가 사용되는 경우, 스위치(115)는 인트라로 전환될 수 있다. 예측 모드로서, 인터 모드가 사용되는 경우, 스위치(115)는 인터로 전환될 수 있다.
부호화 장치(100)는 대상 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 대상 블록 및 예측 블록의 차분(residual)을 부호화할 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 대상 블록의 주변에 있는, 이미 부호화/복호화된 블록의 픽셀을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 대상 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 대상 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 예측부(110)는 움직임 예측부 및 움직임 보상부를 포함할 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부는, 움직임 예측 과정에서 참조 영상으로부터 대상 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 대상 블록 및 검색된 영역에 대한 움직임 벡터를 도출할 수 있다.
참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있으며, 참조 영상에 대한 부호화 및/또는 복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.
움직임 보상부는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 여기에서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터일 수 있다. 또한 움직임 벡터는 대상 영상 및 참조 영상 간의 오프셋(offset)을 나타낼 수 있다.
움직임 예측부 및 움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우 참조 영상 내의 일부 영역에 대해 보간 필터(interpolation filter)를 적용함으로써 예측 블록을 생성할 수 있다. 인터 예측 또는 움직임 보상을 수행하기 위해, CU를 기준으로 CU에 포함된 PU의 움직임 예측 및 움직임 보상의 방법이 스킵 모드(skip mode), 머지 모드(merge mode), 향상된 움직임 벡터 예측(advanced motion vector prediction; AMVP) 모드 및 현재 픽처 참조 모드 중 어떠한 방법인지 여부가 판단될 수 있고, 각 모드에 따라 인터 예측 또는 움직임 보상이 수행될 수 있다.
감산기(125)는 대상 블록 및 예측 블록의 차분인 잔여 블록(residual block)을 생성할 수 있다. 잔여 블록은 잔여 신호로 칭해질 수도 있다.
잔여 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나 양자화하거나 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔여 블록은 블록 단위에 대한 잔여 신호일 수 있다.
변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수를 생성할 수 있고, 생성된 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다.
변환 스킵(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔여 블록에 대한 변환을 생략할 수도 있다.
변환 계수에 양자화를 적용함으로써 양자화된 변환 계수 레벨(transform coefficient level) 또는 양자화된 레벨이 생성될 수 있다. 이하, 실시예들에서는 양자화된 변환 계수 레벨 및 양자화된 레벨도 변환 계수로 칭해질 수 있다.
양자화부(140)는 변환 계수를 양자화 파라미터에 맞춰 양자화함으로써 양자화된 변환 계수 레벨(quantized transform coefficient level) 또는 양자화된 레벨을 생성할 수 있다. 양자화부(140)는 생성된 양자화된 변환 계수 레벨 또는 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 및/또는 부호화 과정에서 산출된 코딩 파라미터 값들 등에 기초하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있다. 엔트로피 부호화부(150)는 생성된 비트스트림을 출력할 수 있다.
엔트로피 부호화부(150)는 영상의 픽셀에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다.
코딩 파라미터는 부호화 및/또는 복호화를 위해 요구되는 정보일 수 있다. 코딩 파라미터는 부호화 장치(100)에서 부호화되어 부호화 장치(100)로부터 복호화 장치로 전달되는 정보를 포함할 수 있고, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 예를 들면, 복호화 장치로 전달되는 정보로서, 구문 요소가 있다.
예를 들면, 코딩 파라미터는 예측 모드, 움직임 벡터, 참조 픽처 인덱스(index), 부호화 블록 패턴(pattern), 잔여 신호의 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할(partition) 정보 등의 값 또는 통계를 포함할 수 있다. 예측 모드는 인트라 예측 모드 또는 인터 예측 모드를 가리킬 수 있다.
잔여 신호는 원 신호 및 예측 신호 간의 차분(difference)을 나타낼 수 있다. 또는, 잔여 신호는 원신호 및 예측 신호 간의 차분을 변환(transform)함으로써 생성된 신호일 수 있다. 또는, 잔여 신호는 원 신호 및 예측 신호 간의 차분을 변환 및 양자화함으로써 생성된 신호일 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당될 수 있고, 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당될 수 있다. 이러한 할당을 통해 심볼이 표현됨에 따라, 부호화의 대상인 심볼들에 대한 비트열(bitstring)의 크기가 감소될 수 있다. 따라서, 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 향상될 수 있다.
또한, 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential golomb), 문맥-적응형 가변 길이 코딩(Context-Adaptive Variable Length Coding; CAVLC) 및 문맥-적응형 이진 산술 코딩(Context-Adaptive Binary Arithmetic Coding; CABAC) 등과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 대상 심볼에 대한 이진화(binarization) 방법을 도출할 수 있다. 또한, 엔트로피 부호화부(150)는 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출할 수 있다. 엔트로피 부호화부(150)는 도출된 이진화 방법, 확률 모델 및 문맥 모델(context model)을 사용하여 산술 부호화를 수행할 수도 있다.
엔트로피 부호화부(150)는 변환 계수 레벨을 부호화하기 위해 변환 계수 스캐닝(transform coefficient scanning) 방법을 통해 2차원의 블록의 형태(form)의 계수를 1차원의 벡터의 형태로 변경할 수 있다.
코딩 파라미터(coding parameter)는 구문 요소와 같이 부호화 장치에서 부호화되고, 부호화 장치로부터 복호화 장치로 시그널링되는 정보(또는, 플래그, 인덱스 등)뿐만 아니라, 부호화 과정 또는 복호화 과정에서 유도되는 정보를 포함할 수 있다. 또한, 코딩 파라미터는 영상을 부호화하거나 복호화함에 있어서 요구되는 정보를 포함할 수 있다. 예를 들면, 유닛/블록의 크기, 유닛/블록의 깊이, 유닛/블록의 분할 정보, 유닛/블록의 분할 구조, 유닛/블록이 쿼드 트리 형태로 분할되는지 여부를 나타내는 정보, 유닛/블록이 이진 트리(Binary Tree; BT) 형태로 분할되는지 여부를 나타내는 정보, 이진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 이진 트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할), 유닛/블록이 삼진 트리 형태로 분할되는지 여부를 나타내는 정보, 삼진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 예측 방식(인트라 예측 또는 인터 예측), 인트라 예측 모드/방향, 참조 샘플 필터링 방법, 예측 블록 필터링 방법, 예측 블록 경계 필터링 방법, 필터링의 필터 탭, 필터링의 필터 계수, 인터 예측 모드, 움직임 정보, 움직임 벡터, 참조 픽처 색인, 인터 예측 방향, 인터 예측 지시자, 참조 픽처 리스트, 참조 영상, 움직임 벡터 예측기, 움직임 벡터 예측 후보, 움직임 벡터 후보 리스트, 머지 모드를 사용하는지 여부를 나타내는 정보, 머지 후보, 머지 후보 리스트, 스킵(skip) 모드를 사용하는지 여부를 나타내는 정보, 보간 필터의 종류, 보간 필터의 필터 탭, 보간 필터의 필터 계수, 움직임 벡터 크기, 움직임 벡터 표현 정확도, 변환 종류, 변환 크기, 1차 변환을 사용하는지 여부를 나타내는 정보, 추가(2차) 변환을 사용하는지 여부를 나타내는 정보, 1차 변환 인덱스, 2차 변환 인덱스, 잔여 신호의 유무를 나타내는 정보, 코드된 블록 패턴(coded block pattern), 코드된 블록 플래그(coded block flag), 양자화 파라미터, 양자화 행렬, 인트라-루프 필터에 대한 정보, 인트라-루프 필터를 적용하는지 여부에 대한 정보, 인트라-루프 필터의 계수, 인트라-루프의 필터 탭, 인트라 루프 필터의 모양(shape)/형태(form), 디블록킹 필터를 적용하는지 여부를 나타내는 정보, 디블록킹 필터 계수, 디블록킹 필터 탭, 디블록킹 필터 강도, 디블록킹 필터 모양/형태, 적응적 샘플 오프셋을 적용하는지 여부를 나타내는 정보, 적응적 샘플 오프셋 값, 적응적 샘플 오프셋 카테고리, 적응적 샘플 오프셋 종류, 적응적 루프-내(in-loop) 필터를 적용하는지 여부, 적응적 루프-내 필터 계수, 적응적 루프-내 필터 탭, 적응적 루프-내 필터 모양/형태, 이진화/역이진화 방법, 문맥 모델, 문맥 모델 결정 방법, 문맥 모델 업데이트 방법, 레귤러 모드를 수행하는지 여부, 바이패스 모드를 수행하는지 여부, 문맥 빈, 바이패스 빈, 변환 계수, 변환 계수 레벨, 변환 계수 레벨 스캐닝 방법, 영상의 디스플레이/출력 순서, 슬라이스 식별 정보, 슬라이스 타입, 슬라이스 분할 정보, 타일 식별 정보, 타일 타입, 타일 분할 정보, 픽처 타입, 비트 심도, 휘도 신호에 대한 정보 및 색차 신호에 대한 정보 중 적어도 하나의 값 또는 조합된 형태가 코딩 파라미터에 포함될 수 있다.
여기서, 플래그 또는 인덱스를 시그널링(signaling)한다는 것은 부호화 장치(100)에서는 플래그 또는 인덱스에 대한 엔트로피 부호화(entropy encoding)를 수행함으로써 생성된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스를 비트스트림(Bitstream)에 포함시키는 것을 의미할 수 있고, 복호화 장치(200)에서는 비트스트림으로부터 추출된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스에 대한 엔트로피 복호화(entropy decoding)를 수행함으로써 플래그 또는 인덱스를 획득하는 것을 의미할 수 있다.
부호화 장치(100)에 의해 인터 예측을 통한 부호화가 수행되기 때문에, 부호화된 대상 영상은 이후에 처리되는 다른 영상(들)에 대하여 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 대상 영상을 다시 재구축 또는 복호화할 수 있고, 재구축 또는 복호화된 영상을 참조 영상으로서 참조 픽처 버퍼(190)에 저장할 수 있다. 복호화를 위해 부호화된 대상 영상에 대한 역양자화 및 역변환이 처리될 수 있다.
양자화된 레벨은 역양자화부(160)에서 역양자화될(inversely quantized) 수 있고, 역변환부(170)에서 역변환될(inversely transformed) 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(175)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 재구축된(reconstructed) 블록이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화(dequantization) 및 역변환(inverse-transformation) 중 적어도 하나 이상이 수행된 계수를 의미할 수 있고, 재구축된 잔여 블록을 의미할 수 있다.
재구축된 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO) 및 적응적 루프 필터(Adaptive Loop Filter; ALF) 중 적어도 하나 이상을 재구축된 블록 또는 재구축된 픽처에 적용할 수 있다. 필터부(180)는 루프-내(in-loop) 필터로 칭해질 수도 있다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 적용할지 여부를 판단하기 위해, 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀(들)에 기반하여 대상 블록에 디블록킹 필터를 적용할지 여부가 판단될 수 있다. 대상 블록에 디블록킹 필터를 적용하는 경우, 적용되는 필터는 요구되는 디블록킹 필터링의 강도에 따라 다를 수 있다. 말하자면, 서로 다른 필터들 중 디블록킹 필터링의 강도에 따라 결정된 필터가 대상 블록에 적용될 수 있다.
SAO는 코딩 에러에 대한 보상을 위해 픽셀의 픽셀 값에 적정한 오프셋(offset)을 더할 수 있다. SAO는 디블록킹이 적용된 영상에 대해, 픽셀의 단위로 원본 영상 및 디블록킹이 적용된 영상 간의 차이에 대하여 오프셋을 사용하는 보정을 수행할 수 있다. 영상에 포함된 픽셀을 일정한 수의 영역들로 구분한 후, 구분된 영역들 중 오프셋이 수행될 영역을 결정하고 결정된 영역에 오프셋을 적용하는 방법이 사용될 수 있고, 영상의 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법이 사용될 수 있다.
ALF는 재구축된 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹들로 분할한 후, 분할된 그룹에 적용될 필터가 결정될 수 있고, 그룹 별로 차별적으로 필터링이 수행될 수 있다. 적응적 루프 필터를 적용할지 여부에 관련된 정보는 CU 별로 시그널링될 수 있다. , 각 블록에 적용될 ALF 의 모양 및 필터 계수는 블록 별로 다를 수 있다.
필터부(180)를 거친 재구축된 블록 또는 재구축된 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 픽처는 필터부(180)를 거친 재구축된 블록들로 구성된 재구축된 픽처일 수 있다. 저장된 참조 픽처는 이후 인터 예측에 사용될 수 있다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신할 수 있고, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다.
복호화 장치(200)는 비트스트림에 대하여 인트라 모드 및/또는 인터 모드의 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 재구축된 영상 또는 복호화된 영상을 생성할 수 있고, 생성된 재구축된 영상 또는 복호화된 영상을 출력할 수 있다.
예를 들면, 복호화에 사용되는 예측 모드에 따른 인트라 모드 또는 인터 모드로의 전환은 스위치에 의해 이루어질 수 있다. 복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림을 복호화함으로써 재구축된 잔여 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 재구축된 잔여 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 재구축된 잔여 블록 및 예측 블록을 더함으로써 복호화의 대상이 되는 재구축된 블록을 생성할 수 있다.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 기초하여 비트스트림에 대한 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 레벨(quantized level) 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법과 유사할 수 있다. 예를 들면, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화될 수 있다. 역양자화부(220)는 양자화된 계수에 대한 역양자화를 수행함으로써 역양자화된 계수를 생성할 수 있다. 또한, 역양자화된 계수는 역변환부(230)에서 역변환될 수 있다. 역변환부(230)는 역양자화된 계수에 대한 역변환을 수행함으로써 재구축된 잔여 블록을 생성할 수 있다. 양자화된 계수에 대한 역양자화 및 역변환이 수행된 결과로서, 재구축된 잔여 블록이 생성될 수 있다. 이때, 역양자화부(220)는 재구축된 잔여 블록을 생성함에 있어서 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하는 공간적 예측을 수행함으로써 예측 블록을 생성할 수 있다.
인터 예측부(250)는 움직임 보상부를 포함할 수 있다. 또는, 인터 예측부(250)는 움직임 보상부로 명명될 수 있다.
인터 모드가 사용되는 경우, 움직임 보상부는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장된 참조 영상을 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우, 참조 영상 내의 일부 영역에 대해 보간 필터를 적용할 수 있고, 보간 필터가 적용된 참조 영상을 사용하여 예측 블록을 생성할 수 있다. 움직임 보상부는 움직임 보상을 수행하기 위해 CU를 기준으로 CU에 포함된 PU를 위해 사용되는 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드 및 현재 픽처 참조 모드 중 어떤 모드인가를 결정할 수 있고, 결정된 모드에 따라 움직임 보상을 수행할 수 있다.
재구축된 잔여 블록 및 예측 블록은 가산기(255)를 통해 더해질 수 있다. 가산기(255)는 재구축된 잔여 블록 및 예측 블록을 더함으로써 재구축된 블록을 생성할 수 있다.
재구축된 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO 및 ALF 중 적어도 하나를 재구축된 블록 또는 재구축된 픽처에 적용할 수 있다.
필터부(260)를 거친 재구축된 블록은 참조 픽처 버퍼(270)에 저장될 수 있다. 필터부(260)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 영상은 필터부(260)를 거친 재구축된 블록들로 구성된 영상일 수 있다. 저장된 참조 영상은 이후 인터 예측을 위해 사용될 수 있다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 3은 하나의 유닛이 복수의 하위 유닛들로 분할되는 예를 개략적으로 나타낼 수 있다.
영상을 효율적으로 분할하기 위해, 부호화 및 복호화에 있어서, 코딩 유닛(Coding Unit; CU)이 사용될 수 있다. 유닛은 1) 영상 샘플들을 포함하는 블록 및 2) 구문 요소(syntax element)을 합쳐서 지칭하는 용어일 수 있다. 예를 들면, "유닛의 분할"은 "유닛에 해당하는 블록의 분할"을 의미할 수 있다.
영상 부호화/복호화의 기반 단위로서 CU가 사용될 수 있다. 또한, CU는 영상 부호화/복호화에 있어서 인트라 모드 및 인터 모드 중 하나의 선택된 모드가 적용되는 단위로 사용될 수 있다. 말하자면, 영상 부호화/복호화에 있어서, 각 CU에 대해서 인트라 모드 및 인터 모드 중 어떤 모드가 적용될 것인가가 결정될 수 있다.
또한, CU는 예측, 변환, 양자화, 역변환, 역양자화 및 변환 계수의 부호화/복호화에 있어서 기반 단위일 수 있다.
도 3을 참조하면, 영상(300)은 최대 코딩 유닛(Largest Coding Unit; LCU)의 단위로 순차적으로 분할될 수 있고, 영상(300)의 분할 구조는 LCU에 따라서 결정될 수 있다. 여기서, LCU는 코딩 트리 유닛(Coding Tree Unit; CTU)과 동일한 의미로 사용될 수 있다.
유닛의 분할은 유닛에 해당하는 블록의 분할을 의미할 수 있다. 블록 분할 정보는 유닛의 깊이(depth)에 관한 깊이 정보를 포함할 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다. 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보를 가지고 계층적으로 하위 유닛들로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보일 수 있다. 깊이 정보는 각 CU마다 저장될 수 있다. 각 CU는 깊이 정보를 가질 수 있다.
분할 구조는 LCU(310) 내에서의, 영상을 효율적으로 부호화하기 위한, CU의 분포를 의미할 수 있다. 이러한 분포는 하나의 CU를 복수의 CU들로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU들의 개수는 2, 4, 8 및 16 등을 포함하는 2 이상의 양의 정수일 수 있다. 분할에 의해 생성된 CU의 가로 크기 및 세로 크기는, 분할에 의해 생성된 CU들의 개수에 따라, 분할 전의 CU의 가로 크기 및 세로 크기보다 더 작을 수 있다.
분할된 CU는 동일한 방식으로 복수의 CU들로 재귀적으로 분할될 수 있다. 재귀적 분할에 의해, 분할된 CU의 가로 크기 및 세로 크기 중 적어도 하나의 크기가 분할 전의 CU의 가로 크기 및 세로 크기 중 적어도 하나에 비해 감소될 수 있다.
CU의 분할은 기정의된 깊이 또는 기정의된 크기까지 재귀적으로 이루어질 수 있다. 예를 들면, LCU의 깊이는 0일 수 있고, 최소 코딩 유닛(Smallest Coding Unit; SCU)의 깊이는 기정의된 최대 깊이일 수 있다. 여기서, LCU는 상술된 것과 같이 최대의 코딩 유닛 크기를 가지는 CU일 수 있고, SCU는 최소의 코딩 유닛 크기를 가지는 CU일 수 있다.
LCU(310)로부터 분할이 시작될 수 있고, 분할에 의해 CU의 가로 크기 및/또는 세로 크기가 줄어들 때마다 CU의 깊이는 1씩 증가할 수 있다.
예를 들면, 각각의 깊이 별로, 분할되지 않는 CU는 2Nx2N 크기를 가질 수 있다. 또한, 분할되는 CU의 경우, 2Nx2N 크기의 CU가 NxN 크기를 가지는 4개의 CU들로 분할될 수 있다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소할 수 있다.
도 3을 참조하면, 깊이가 0인 LCU는 64x64 픽셀들 또는 64x64 블록일 수 있다. 0은 최소 깊이일 수 있다. 깊이가 3인 SCU는 8x8 픽셀들 또는 8x8 블록일 수 있다. 3은 최대 깊이일 수 있다. 이때, LCU인 64x64 블록의 CU는 깊이 0으로 표현될 수 있다. 32x32 블록의 CU는 깊이 1로 표현될 수 있다. 16x16 블록의 CU는 깊이 2로 표현될 수 있다. SCU인 8x8 블록의 CU는 깊이 3으로 표현될 수 있다.
CU가 분할되는지 여부에 대한 정보는 CU의 분할 정보를 통해 표현될 수 있다. 분할 정보는 1비트의 정보일 수 있다. SCU를 제외한 모든 CU는 분할 정보를 포함할 수 있다. 예를 들면, 분할되지 않는 CU의 분할 정보의 값은 0일 수 있고, 분할되는 CU의 분할 정보의 값은 1일 수 있다.
예를 들면, 하나의 CU가 4 개의 CU들로 분할되는 경우, 분할에 의해 생성된 4 개의 CU들의 각 CU의 가로 크기 및 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 4 개의 CU들로 분할되는 경우, 분할된 4 개의 CU들의 크기들은 16x16일 수 있다. 하나의 CU가 4 개의 CU들로 분할되는 경우, CU가 쿼드-트리 형태로 분할되었다고 할 수 있다.
예를 들면, 하나의 CU가 2 개의 CU들로 분할되는 경우, 분할에 의해 생성된 2 개의 CU들의 각 CU의 가로 크기 또는 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 또는 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 2 개의 CU들로 세로로 분할되는 경우, 분할된 2 개의 CU들의 크기들은 16x32일 수 있다. 하나의 CU가 2 개의 CU들로 분할되는 경우, CU가 이진-트리(binary-tree) 형태로 분할되었다고 할 수 있다.
도 3의 LCU(310)에는 쿼드-트리 형태의 분할 및 이진-트리 형태의 분할이 모두 적용되었다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛(Prediction Unit; PU)들로 분할될 수 있다.
PU는 예측에 대한 기반 단위일 수 있다. PU는 스킵(skip) 모드, 인터 모드 및 인트라 모드 중 어느 하나로 부호화 및 복호화될 수 있다. PU는 각 모드에 따라서 다양한 형태로 분할될 수 있다. 예를 들면, 도 1을 참조하여 전술된 대상 블록 및 도 2를 참조하여 전술된 대상 블록은 PU일 수 있다.
스킵 모드에서는, CU 내에 분할이 존재하지 않을 수 있다. 스킵 모드에서는 분할 없이 PU 및 CU의 크기들이 동일한 2Nx2N 모드(410)가 지원될 수 있다.
인터 모드에서는, CU 내에서 8가지로 분할된 형태들이 지원될 수 있다. 예를 들면, 인터 모드에서는 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440) 및 nRx2N 모드(445)가 지원될 수 있다.
인트라 모드에서는, 2Nx2N 모드(410) 및 NxN 모드(425)가 지원될 수 있다.
2Nx2N 모드(410)에서는 2Nx2N의 크기의 PU가 부호화될 수 있다. 2Nx2N의 크기의 PU는 CU의 크기와 동일한 크기의 PU를 의미할 수 있다. 예를 들면, 2Nx2N의 크기의 PU는 64x64, 32x32, 16x16 또는 8x8의 크기를 가질 수 있다.
NxN 모드(425)에서는 NxN의 크기의 PU가 부호화될 수 있다.
예를 들면, 인트라 예측에서, PU의 크기가 8x8일 때, 4개의 분할된 PU들이 부호화될 수 있다. 분할된 PU의 크기는 4x4일 수 있다.
PU가 인트라 모드에 의해 부호화될 경우, PU는 복수의 인트라 예측 모드들 중 하나의 인트라 예측 모드를 사용하여 부호화될 수 있다. 예를 들면, 고 효율 비디오 코딩(High Efficiency Video Coding; HEVC) 기술에서는 35 개의 인트라 예측 모드들을 제공할 수 있고, PU는 35 개의 인트라 예측 모드들 중 하나의 인트라 예측 모드로 부호화될 수 있다.
PU가 2Nx2N 모드(410) 및 NxN 모드(425) 중 어느 모드에 의해 부호화될 것인가는 율-왜곡 비용(rate-distortion cost)에 의해 결정될 수 있다.
부호화 장치(100)는 2Nx2N 크기의 PU에 대해 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 2Nx2N 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 2Nx2N 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
또한, 부호화 장치(100)는 NxN으로 분할된 PU들의 각 PU에 대해서 순차적으로 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 NxN 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 NxN 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
부호화 장치(100)는 2Nx2N 크기의 PU의 율-왜곡 비용 및 NxN 크기의 PU들의 율-왜곡 비용들의 비교에 기반하여 2Nx2N 크기의 PU 및 NxN 크기의 PU들 중 어느 것을 부호화할 지를 결정할 수 있다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
변환 유닛(Transform Unit; TU)은 CU 내에서 변환, 양자화, 역변환, 역양자화, 엔트로피 부호화 및 엔트로피 복호화의 과정을 위해 사용되는 기반 단위일 수 있다. TU는 정사각형 형태 또는 직사각형 형태를 가질 수 있다.
LCU로부터 분할된 CU 중, 더 이상 CU들로 분할되지 않는 CU는 하나 이상의 TU들로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드-트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에서 도시된 것과 같이, 하나의 CU(510)가 쿼드-트리 구조에 따라서 한 번 혹은 그 이상 분할될 수 있다. 분할을 통해, 하나의 CU(510)는 다양한 크기의 TU들로 구성될 수 있다.
부호화 장치(100)에서, 64x64 크기의 부호화 트리 유닛(Coding Tree Unit; CTU)은 재귀적인 쿼드-크리 구조에 의해 더 작은 복수의 CU들로 분할될 수 있다. 하나의 CU는 동일한 크기들을 갖는 4개의 CU들로 분할될 수 있다. CU는 재귀적으로 분할될 수 있으며, 각 CU는 쿼드 트리의 구조를 가질 수 있다.
CU는 깊이를 가질 수 있다. CU가 분할되면, 분할에 의해 생성된 CU들은 분할된 CU의 깊이에서 1 증가한 깊이를 가질 수 있다.
예를 들면, CU의 깊이는 0 내지 3의 값을 가질 수 있다. CU의 크기는 CU의 깊이에 따라 64x64로부터 8x8까지의 크기일 수 있다.
CU에 대한 재귀적인 분할을 통해, 최소의 율-왜곡 비율을 발생시키는 최적의 분할 방법이 선택될 수 있다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 6의 그래프의 중심으로부터 외곽으로의 화살표들은 인트라 예측 모드들의 예측 방향들을 나타낼 수 있다. 또한, 화살표에 근접하게 표시된 숫자는 인트라 예측 모드 또는 인트라 예측 모드의 예측 방향에 할당된 모드 값의 일 예를 나타낼 수 있다.
인트라 부호화 및/또는 복호화는 대상 블록의 주변의 유닛의 참조 샘플을 이용하여 수행될 수 있다. 주변의 블록은 주변의 재구축된 블록일 수 있다. 예를 들면, 인트라 부호화 및/또는 복호화는 주변의 재구축된 블록이 포함하는 참조 샘플의 값 또는 코딩 파라미터를 이용하여 수행될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기초하여 대상 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기반하여 인트라 예측을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 적어도 하나의 재구축된 참조 샘플에 기반하여 방향성 예측 및/또는 비방향성 예측을 수행할 수 있다.
예측 블록은 인트라 예측의 수행의 결과로 생성된 블록을 의미할 수 있다. 예측 블록은 CU, PU 및 TU 중 적어도 하나에 해당할 수 있다.
예측 블록의 단위는 CU, PU 및 TU 중 적어도 하나의 크기일 수 있다. 예측 블록은 2Nx2N의 크기 또는 NxN의 크기를 갖는, 정사각형의 형태를 가질 수 있다. NxN의 크기는 4x4, 8x8, 16x16, 32x32 및 64x64 등을 포함할 수 있다.
또는, 예측 블록은 2x2, 4x4, 16x16, 32x32 또는 64x64 등의 크기를 갖는 정사각형의 형태의 블록일 수 있고, 2x8, 4x8, 2x16, 4x16 및 8x16 등의 크기를 갖는 직사각형 모양의 블록일 수도 있다.
인트라 예측은 대상 블록에 대한 인트라 예측 모드에 따라 수행될 수 있다. 대상 블록이 가질 수 있는 인트라 예측 모드의 개수는 기정의된 고정된 값일 수 있으며, 예측 블록의 속성에 따라 다르게 결정된 값일 수 있다. 예를 들면, 예측 블록의 속성은 예측 블록의 크기 및 예측 블록의 타입 등을 포함할 수 있다.
예를 들면, 인트라 예측 모드의 개수는 예측 블록의 크기에 관계없이 35개로 고정될 수 있다. 또는, 예를 들면, 인트라 예측 모드의 개수는 3, 5, 9, 17, 34, 35 또는 36 등일 수 있다.
인트라 예측 모드는 비방향성(non-directional) 모드 또는 방향성(directional) 모드일 수 있다. 예를 들면, 인트라 예측 모드는 도 6에서 도시된 것과 같이 2개의 비방향성 모드들 및 33개의 방향성 모드들을 포함할 수 있다.
2개의 비방향성 모드들은 디씨(DC) 모드 및 플래너(Planar) 모드를 포함할 수 있다.
방향성 모드들은 특정한 방향 또는 특정한 각도를 갖는 예측 모드일 수 있다.
인트라 예측 모드는 모드 번호, 모드 값, 모드 번호 및 모드 각도 중 적어도 하나로 표현될 수 있다. 인트라 예측 모드의 개수는 M 개일 수 있다. M은 1 이상일 수 있다. 말하자면, 인트라 예측 모드는 비방향성 모드의 개수 및 방향성 모드의 개수를 포함하는 M 개일 수 있다.
인트라 예측 모드의 개수는 블록의 크기에 관계없이 M 개로 고정될 수 있다. 또는, 인트라 예측 모드의 개수는 블록의 크기 및/또는 색 성분(color component)의 타입에 따라 상이할 수 있다. 예를 들면, 색 성분이 휘도(luma) 신호인지 아니면 색차(chroma) 신호인지에 따라 예측 모드의 개수가 다를 수 있다. 예를 들면, 블록의 크기가 커질수록 인트라 예측 모드의 개수는 많아질 수 있다. 또는 루마 성분 블록의 인트라 예측 모드의 개수는 색차 성분 블록의 인트라 예측 모드의 개수보다 많을 수 있다.
예를 들면, 모드 값이 26인 수직 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수직 방향으로 예측이 수행될 수 있다. 예를 들면, 모드 값이 10인 수평 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수평 방향으로 예측이 수행될 수 있다.
전술된 모드 이외의 방향성 모드인 경우에도 부호화 장치(100) 및 복호화 장치(200)는 방향성 모드에 대응하는 각도에 따라 참조 샘플을 이용하여 대상 유닛에 대한 인트라 예측을 수행할 수 있다.
수직 모드의 우측에 위치한 인트라 예측 모드는 수직 우측 모드(vertical-right mode)로 명명될 수 있다. 수평 모드의 하단에 위치한 인트라 예측 모드는 수형 하단 모드(horizontal-below mode)로 명명될 수 있다. 예를 들면, 도 6에서, 모드 값이 27, 28, 29, 30, 31, 32, 33 및 34 중 하나인 인트라 예측 모드들은 수직 우측 모드들(613)일 수 있다. 모드 값이 2, 3, 4, 5, 6, 7, 8 및 9 중 하나인 인트라 예측 모드들은 수평 하단 모드들(616)일 수 있다.
비방향성 모드는 디씨(DC) 모드 및 플래너(planar) 모드를 포함할 수 있다. 예를 들면, 디씨 모드의 모드 값은 1일 수 있다. 플래너 모드의 모드 값은 0일 수 있다.
방향성 모드는 각진(angular) 모드를 포함할 수 있다. 복수의 인트라 예측 모드들 중 DC 모드 및 플래너 모드를 제외한 나머지의 모드는 방향성 모드일 수 있다.
DC 모드인 경우, 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 예측 블록이 생성될 수 있다. 예를 들면, 예측 블록의 픽셀의 값은 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 결정될 수 있다.
전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 단지 예시적인 것일 수 있다. 전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 실시예, 구현 및/또는 필요에 따라 다르게 정의될 수도 있다.
대상 블록에 대한 인트라 예측을 수행하기 위해 복원된 주변 블록에 포함되는 샘플들이 대상 블록의 참조 샘플로서 이용될 수 있는지 여부를 검사하는 단계가 수행될 수 있다. 주변 블록의 샘플들 중 대상 블록의 참조 샘플로 이용할 수 없는 샘플이 존재하는 경우, 복원된 주변 블록에 포함된 샘플들 중 적어도 하나의 샘플 값을 사용하는 복사 및/또는 보간에 의해 생성된 값이 참조 샘플로 이용할 수 없는 샘플의 샘플 값으로 대체될 수 있다. 복사 및/또는 보간에 의해 생성된 값이 샘플의 샘플 값으로 대체되면, 샘플이 대상 블록의 참조 샘플로서 이용될 수 있다.
인트라 예측 시, 인트라 예측 모드 및 대상 블록의 크기 중 적어도 하나에 기반하여 참조 샘플 또는 예측 샘플 중 적어도 하나에 필터가 적용될 수 있다.
인트라 예측 모드가 플래너 모드의 경우, 대상 블록의 예측 블록을 생성함에 있어서, 예측 대상 샘플의 예측 블록 내 위치에 따라, 대상 샘플의 상단 참조 샘플, 대상 샘플의 좌측 참조 샘플, 대상 블록의 우상단 참조 샘플 및 대상 블록의 좌하단 참조 샘플의 가중치가 부여된 합(weight-sum)을 이용하여 예측 대상 샘플의 샘플 값이 생성될 수 있다.
인트라 예측 모드가 DC 모드인 경우, 대상 블록의 예측 블록을 생성함에 있어서, 대상 블록의 상단 참조 샘플들 및 좌측 참조 샘플들의 평균 값이 이용될 수 있다.
인트라 예측 모드가 방향성 모드인 경우 대상 블록의 상단 참조 샘플, 좌측 참조 샘플, 우상단 참조 샘플 및/또는 좌하단 참조 샘플을 이용하여 예측 블록이 생성될 수 있다.
전술된 예측 샘플을 생성하기 위해 실수 단위의 보간이 수행될 수도 있다.
대상 블록의 인트라 예측 모드는 대상 블록의 주변 블록의 인트라 예측으로부터 예측될 수 있으며, 예측을 위해 사용되는 정보가 엔트로피 부호화/복호화될 수 있다.
예를 들면, 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하면 기정의된 플래그를 이용하여 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하다는 것이 시그널링될 수 있다.
예를 들면, 복수의 주변 블록들의 인트라 예측 모드들 중 대상 블록의 인트라 예측 모드와 동일한 인트라 예측 모드를 가리키는 지시자가 시그널링될 수 있다.
대상 블록 및 주변 블록의 인트라 예측 모드들이 서로 다르면, 주변 블록의 인트라 예측 모드에 기반하여 대상 블록의 인트라 예측 모드의 정보가 엔트로피 부호화/복호화될 수 있다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 7은 대상 블록의 인트라 예측을 위해 사용되는 참조 샘플의 위치를 도시한다. 도 7을 참조하면, 대상 블록의 인트라 예측에 사용되는 재구축된 참조 샘플은 하단 좌측(below-left) 참조 샘플들(731), 좌측(left) 참조 샘플들(733), 상단 좌측(above-left) 코너 참조 샘플(735), 상단(above) 참조 샘플들(737) 및 상단 우측(above-right) 참조 샘플들(739) 등을 포함할 수 있다.
예를 들면, 좌측 참조 샘플들(733)은 대상 블록의 좌측에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 참조 샘플들(737)은 대상 블록의 상단에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 좌측 코너 참조 샘플(735)은 대상 블록의 상단 좌측 코너에 위치한 재구축된 참조 픽셀을 의미할 수 있다. 또한, 하단 좌측 참조 샘플들(731)은 좌측 참조 샘플들(733)로 구성된 좌측 샘플 라인과 동일 선상에 위치한 샘플들 중에서 좌측 샘플 라인의 하단에 위치한 참조 샘플을 의미할 수 있다. 상단 우측 참조 샘플들(739)은 상단 참조 샘플들(737)로 구성된 상단 샘플 라인과 동일 선상에 위치한 샘플들 중에서 상단 픽셀 라인의 우측에 위치한 참조 샘플들을 의미할 수 있다.
대상 블록의 크기가 NxN일 때, 하단 좌측 참조 샘플들(731), 좌측 참조 샘플들(733), 상단 참조 샘플들(737) 및 상단 우측 참조 샘플들(739)은 각각 N개일 수 있다.
대상 블록에 대한 인트라 예측을 통해 예측 블록이 생성될 수 있다. 예측 블록의 생성은 예측 블록의 픽셀들의 값이 결정되는 것을 포함할 수 있다. 대상 블록 및 예측 블록의 크기는 동일할 수 있다.
대상 블록의 인트라 예측에 사용되는 참조 샘플은 대상 블록의 인트라 예측 모드에 따라 달라질 수 있다. 인트라 예측 모드의 방향은 참조 샘플들 및 예측 블록의 픽셀들 간의 의존 관계를 나타낼 수 있다. 예를 들면, 특정된 참조 샘플의 값이 예측 블록의 특정된 하나 이상의 픽셀들의 값으로서 사용될 수 있다. 이 경우, 특정된 참조 샘플 및 예측 블록의 특정된 하나 이상의 픽셀들은 인트라 예측 모드의 방향의 직선으로 지정되는 샘플 및 픽셀들일 수 있다. 말하자면, 특정된 참조 샘플의 값은 인트라 예측 모드의 방향의 역방향에 위치한 픽셀의 값으로 복사될 수 있다. 또는, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 인트라 예측 모드의 방향에 위치한 참조 샘플의 값일 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 26인 수직 모드인 경우, 상단 참조 샘플들(737)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수직 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 수직으로 위에 위치한 참조 샘플의 값일 수 있다. 따라서, 대상 블록에 상단으로 인접한 상단 참조 샘플들(737)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 행의 픽셀들의 값들은 상단 참조 샘플들(737)의 값들과 동일할 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 10인 수평 모드인 경우, 좌측 참조 샘플들(733)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수평 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 수평으로 좌측에 위치한 참조 샘플의 값일 수 있다. 따라서, 대상 블록에 좌측으로 인접한 좌측 참조 샘플들(733)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 열의 픽셀들의 값들은 좌측 참조 샘플들(733)의 값들과 동일할 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드의 모드 값이 18인 경우 좌측 참조 샘플들(733)의 적어도 일부, 상단 좌측 코너 참조 샘플(735) 및 상단 참조 샘플들(737)의 적어도 일부 인트라 예측에 사용될 수 있다. 인트라 예측 모드의 모드 값이 18인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 대각선으로 상단 좌측에 위치한 참조 샘플의 값일 수 있다.
또한, 모드 값이 27, 28, 29, 30, 31, 32, 33 또는 34인 인트라 예측 모드가 사용되는 경우에는 상단 우측 참조 샘플들(739) 중 적어도 일부가 인트라 예측에 사용될 수 있다.
또한, 모드 값이 2, 3, 4, 5, 6, 7, 8 또는 9인 인트라 예측 모드가 사용되는 경우에는 하단 좌측 참조 샘플들(731) 중 적어도 일부가 인트라 예측에 사용될 수 있다.
또한, 모드 값이 11 내지 25 중 하나인 인트라 예측 모드가 사용되는 경우에는 상단 좌측 코너 참조 샘플들(735)이 인트라 예측에 사용될 수 있다.
예측 블록의 하나의 픽셀의 픽셀 값을 결정하기 위해 사용되는 참조 샘플은 1개일 수 있고, 2개 이상일 수도 있다.
전술된 것과 같이 예측 블록의 픽셀의 픽셀 값은 상기의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치에 따라 결정될 수 있다. 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치인 경우, 정수 위치가 가리키는 하나의 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다.
픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치가 아닌 경우, 참조 샘플의 위치에 가장 가까운 2개의 참조 샘플들에 기반하여 보간된(interpolated) 참조 샘플이 생성될 수 있다. 보간된 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다. 말하자면, 예측 블록의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 2개의 참조 샘플들 간의 사이를 나타낼 때, 상기의 2개의 샘플들의 값들에 기반하여 보간된 값이 생성될 수 있다.
예측에 의해 생성된 예측 블록은 원래의 대상 블록과는 동일하지 않을 수 있다. 말하자면, 대상 블록 및 예측 블록 간의 차이(difference)인 예측 오차(prediction error)가 존재할 수 있으며, 대상 블록의 픽셀 및 예측 블록의 픽셀 간에도 예측 오차가 존재할 수 있다.
이하에서, 용어들 "차이(difference)", "오차(error)" 및 "잔여(residual)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
예를 들면, 방향성 인트라 예측의 경우, 예측 블록의 픽셀 및 참조 샘플 간의 거리가 더 멀수록 더 큰 예측 오차가 발생할 수 있다. 이러한 예측 오차에 등 의해 생성된 예측 블록 및 주변 블록 간에는 불연속성이 발생할 수 있다.
예측 오차의 감소를 위해 예측 블록에 대한 필터링이 사용될 수 있다. 필터링은 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역에 대해 적응적으로 필터를 적용하는 것일 수 있다. 예를 들면, 큰 예측 오차를 갖는 것으로 간주되는 영역은 예측 블록의 경계일 수 있다. 또한, 인트라 예측 모드에 따라서 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역이 다를 수 있으며, 필터의 특징이 다를 수 있다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8에 도시된 사각형은 영상(또는, 픽처)를 나타낼 수 있다. 또한, 도 8에서 화살표는 예측 방향을 나타낼 수 있다. 즉, 영상은 예측 방향에 따라 부호화 및/또는 복호화될 수 있다.
각 영상은 부호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-prediction Picture) 및 B 픽처(Bi-prediction Picture)로 분류될 수 있다. 각 픽처는 각 픽처의 부호화 타입에 따라 부호화될 수 있다.
부호화의 대상인 대상 영상이 I 픽처인 경우, 대상 영상은 다른 영상을 참조하는 인터 예측 없이 영상 자체 내의 데이터를 사용하여 부호화될 수 있다. 예를 들면, I 픽처는 인트라 예측으로만 부호화될 수 있다.
대상 영상이 P 픽처인 경우, 대상 영상은 단방향에 존재하는 참조 픽처만을 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 단방향은 순방향 또는 역방향일 수 있다.
대상 영상이 B 픽처인 경우, 대상 영상은 양방향에 존재하는 참조 픽처들을 이용하는 인터 예측 또는 순방향 및 역방향 중 일 방향에 존재하는 참조 픽처를 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 양방향은 순방향 및 역방향일 수 있다.
참조 픽처를 이용하여 부호화 및/또는 복호화되는 P 픽처 및 B 픽처는 인터 예측이 사용되는 영상으로 간주될 수 있다.
아래에서, 실시예에 따른 인터 모드에서의 인터 예측에 대해 구체적으로 설명된다.
인터 예측은 움직임 정보를 이용하여 수행될 수 있다.
인터 모드에서, 부호화 장치(100)는 대상 블록에 대한 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 복호화 장치(200)는 대상 블록에 대하여 부호화 장치(100)에서의 인터 예측 및/또는 움직임 보상에 대응하는 인터 예측 및/또는 움직임 보상을 수행할 수 있다.
대상 블록에 대한 움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다. 움직임 정보는 복원된 주변 블록의 움직임 정보, 콜 블록의 움직임 정보 및/또는 콜 블록에 인접한 블록의 움직임 정보를 이용하여 도출될 수 있다.
예를 들면, 부호화 장치(100) 또는 복호화 장치(200)는 공간적 후보(spatial candidate) 및/또는 시간적 후보(temporal candidate)의 움직임 정보를 대상 블록의 움직임 정보로 사용함으로써 예측 및/또는 움직임 보상을 수행할 수 있다. 대상 블록은 PU 및/또는 PU 파티션을 의미할 수 있다.
공간적 후보는 대상 블록에 공간적으로 인접한 재구축된 블록일 수 있다.
시간적 후보는 이미 재구축된 콜 픽처(collocated picture; col picture) 내의 대상 블록에 대응하는 재구축된 블록일 수 있다.
인터 예측에 있어서, 부호화 장치(100) 및 복호화 장치(200)는 공간적 후보 및/또는 시간적 후보의 움직임 정보를 이용함으로써 부호화 효율 및 복호화 효율을 향상시킬 수 있다. 공간적 후보의 움직임 정보는 공간적 움직임 정보로 칭해질 수 있다. 시간적 후보의 움직임 정보는 시간적 움직임 정보로 칭해질 수 있다.
이하에서, 공간적 후보의 움직임 정보는, 공간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 시간적 후보의 움직임 정보는, 시간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 후보 블록의 움직임 정보는, 후보 블록을 포함하는 PU의 움직임 정보일 수 있다.
인터 예측은 참조 픽처를 이용하여 수행될 수 있다.
참조 픽처(reference picture)는 대상 픽처의 이전 픽처 또는 대상 픽처의 이후 픽처 중 적어도 하나일 수 있다. 참조 픽처는 대상 블록의 예측에 이용되는 영상을 의미할 수 있다.
인터 예측에 있어서, 참조 픽처를 지시하는 참조 픽처 인덱스(또는, refIdx) 및 후술될 움직임 벡터(motion vector) 등을 이용함으로써 참조 픽처 내의 영역이 특정될 수 있다. 여기에서, 참조 픽처 내의 특정된 영역은 참조 블록을 나타낼 수 있다.
인터 예측은 참조 픽처를 선택할 수 있고, 참조 픽처 내에서 대상 블록에 대응하는 참조 블록을 선택할 수 있다. 또한, 인터 예측은 선택된 참조 블록을 사용하여 대상 블록에 대한 예측 블록을 생성할 수 있다.
움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다.
공간적 후보는, 1) 대상 픽처 내의 존재하며, 2) 이미 부호화 및/또는 복호화를 통해 재구축되었고, 3) 대상 블록에 인접하거나, 대상 블록의 코너에 위치한 블록일 수 있다. 여기에서, 대상 블록의 코너에 위치한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록의 코너에 인접한 블록"과 동일한 의미일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록에 인접한 블록"에 포함될 수 있다.
예를 들면, 공간적 후보는 대상 블록의 좌측에 위치한 재구축된 블록, 대상 블록의 상단에 위치한 재구축된 블록, 대상 블록의 좌측 하단 코너에 위치한 재구축된 블록, 대상 블록의 우측 상단 코너에 위치한 재구축된 블록 또는 대상 블록의 좌측 상단 코너에 위치한 재구축된 블록일 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 콜(col) 픽처 내에서 대상 블록에 공간적으로 대응하는 위치에 존재하는 블록을 식별할 수 있다. 대상 픽처 내의 대상 블록의 위치 및 콜 픽처 내의 식별된 블록의 위치는 서로 대응할 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 식별된 블록에 대하여 기정의된 상대적인 위치에 존재하는 콜(col) 블록을 시간적 후보로서 결정할 수 있다. 기정의된 상대적인 위치는 식별된 블록의 내부의 위치 및/또는 외부의 위치일 수 있다.
예를 들면, 콜 블록은 제1 콜 블록 및 제2 콜 블록을 포함할 수 있다. 식별된 블록의 좌표들이 (xP, yP)이고, 식별된 블록의 크기가 (nPSW, nPSH)일 때, 제1 콜 블록은 좌표들 (xP + nPSW, yP + nPSH)에 위치한 블록일 수 있다. 제2 콜 블록은 좌표들 (xP + (nPSW >> 1), yP + (nPSH >> 1))에 위치한 블록일 수 있다. 제2 콜 블록은 제1 콜 블록이 가용하지 않을(unavailable) 경우 선택적으로 사용될 수 있다.
대상 블록의 움직임 벡터는 콜 블록의 움직임 벡터에 기반하여 결정될 수 있다. 부호화 장치(100) 및 복호화 장치(200)의 각각은 콜 블록의 움직임 벡터를 스케일(scale)할 수 있다. 콜 블록의 스케일된(scale) 움직임 벡터가 대상 블록의 움직임 벡터로서 이용될 수 있다. 또한, 리스트에 저장되는 시간적 후보의 움직임 정보의 움직임 벡터는 스케일된 움직임 벡터일 수 있다.
대상 블록의 움직임 벡터 및 콜 블록의 움직임 벡터의 비율(ratio)은 제1 거리 및 제2 거리의 비율과 같을 수 있다. 제1 거리는 대상 블록의 참조 픽처 및 대상 픽처 간의 거리일 수 있다. 제2 거리는 콜 블록의 참조 픽처 및 콜 픽처 간의 거리일 수 있다.
움직임 정보의 도출 방식은 대상 블록의 인터 예측 모드에 따라 변할 수 있다. 예를 들면, 인터 예측을 위해 적용되는 인터 예측 모드로서, 향상된 움직임 벡터 예측자(Advanced Motion Vector Predictor; AMVP) 모드, 머지(merge) 모드 및 스킵(skip) 모드 및 현재 픽처 참조 모드 등이 있을 수 있다. 머지 모드는 움직임 머지 모드(motion merge mode)로 칭해질 수도 있다. 아래에서는, 모드들의 각각에 대해서 상세하게 설명된다.
1) AMVP 모드
AMVP 모드가 사용되는 경우, 부호화 장치(100)는 대상 블록의 주변에서 유사한 블록을 검색할 수 있다. 부호화 장치(100)는 검색된 유사한 블록의 움직임 정보를 이용하여 대상 블록에 대한 예측을 수행함으로써 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록 간의 차이인 잔여 블록을 부호화할 수 있다.
1-1) 예측 움직임 벡터 후보 리스트의 작성
예측 모드로서 AMVP 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터를 이용하여 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 예측 움직임 벡터 후보 리스트는 하나 이상의 예측 움직임 벡터 후보들을 포함할 수 있다. 공간적 후보의 움직임 벡터의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터 중 적어도 하나가 예측 움직임 벡터 후보로서 결정 및 사용될 수 있다.
이하에서, 용어들 "예측 움직임 벡터 (후보)" 및 "움직임 벡터 (후보)"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 용어들 "예측 움직임 벡터 후보" 및 "AMVP 후보"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 용어들 "예측 움직임 벡터 후보 리스트" 및 "AMVP 후보 리스트"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
공간적 움직임 후보는 복원된 공간적 주변 블록을 포함할 수 있다. 말하자면, 복원된 주변 블록의 움직임 벡터는 공간적 예측 움직임 벡터 후보(spatial prediction motion vector candidate)라 칭해질 수 있다.
시간적 움직임 후보는 콜 블록 및 콜 블록에 인접한 블록을 포함할 수 있다. 말하자면, 콜 블록의 움직임 벡터 또는 콜 블록에 인접한 블록의 움직임 벡터는 시간적 예측 움직임 벡터 후보(temporal prediction motion vector candidate)로 칭해질 수 있다.
제로 벡터는 (0, 0) 움직임 벡터일 수 있다.
예측 움직임 벡터 후보는 움직임 벡터의 예측을 위한 움직임 벡터 예측자(motion vector predictor)일 수 있다. 또한, 부호화 장치(100)에 있어서 예측 움직임 벡터 후보는 움직임 벡터 초기 검색 위치일 수 있다.
1-2) 예측 움직임 벡터 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 예측 움직임 벡터 후보 리스트를 사용하여 검색 범위 내에서 대상 블록의 부호화를 위해 사용될 움직임 벡터를 결정할 수 있다. 또한, 부호화 장치(100)는 예측 움직임 벡터 후보 리스트의 예측 움직임 벡터 후보들 중 대상 블록의 예측 움직임 벡터로 사용할 예측 움직임 벡터 후보를 결정할 수 있다.
대상 블록의 부호화를 위해 사용될 움직임 벡터는 최소의 비용으로 부호화될 수 있는 움직임 벡터일 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 AMVP 모드를 사용할지 여부를 결정할 수 있다.
1-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) AMVP 모드를 사용하는지 여부를 나타내는 모드 정보, 2) 예측 움직임 벡터 인덱스, 3) 움직임 벡터 차분(MVD: Motion Vector Difference), 4) 참조 방향 및 5) 참조 픽처 인덱스를 포함할 수 있다.
이하에서, 용어들 "예측 움직임 벡터 인덱스" 및 "AMVP 인덱스"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또한, 인터 예측 정보는 잔여 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 AMVP 모드를 사용하는 것을 나타낼 경우 엔트로피 복호화를 통해 예측 움직임 벡터 인덱스, 움직임 벡터 차분, 참조 방향 및 참조 픽처 인덱스를 비트스트림으로부터 획득할 수 있다.
예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 대상 블록의 예측을 위해 사용되는 예측 움직임 벡터 후보를 가리킬 수 있다.
1-4) 인터 예측 정보를 사용하는 AMVP 모드의 인터 예측
복호화 장치(200)는 예측 움직임 벡터 후보 리스트를 이용하여 예측 움직임 벡터 후보를 유도할 수 있고, 유도된 예측 움직임 벡터 후보에 기반하여 대상 블록의 움직임 정보를 결정할 수 있다.
복호화 장치(200)는 예측 움직임 벡터 인덱스를 사용하여 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서 대상 블록에 대한 움직임 벡터 후보를 결정할 수 있다. 복호화 장치(200)는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 예측 움직임 벡터 인덱스가 가리키는 예측 움직임 벡터 후보를 대상 블록의 예측 움직임 벡터로서 선택할 수 있다.
대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 예측 움직임 벡터와 일치하지 않을 수 있다. 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 및 예측 움직임 벡터 간의 차분을 나타내기 위해 MVD가 사용될 수 있다. 부호화 장치(100)는 가능한 작은 크기의 MVD를 사용하기 위해 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터와 유사한 예측 움직임 벡터를 도출할 수 있다.
MVD는 대상 블록의 움직임 벡터 및 예측 움직임 벡터 간의 차분일 수 있다. 부호화 장치(100)는 MVD를 계산할 수 있고, MVD를 엔트로피 부호화할 수 있다.
MVD는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 복호화 장치(200)는 수신된 MVD를 복호화할 수 있다. 복호화 장치(200)는 복호화된 MVD 및 예측 움직임 벡터를 합함으로써 대상 블록의 움직임 벡터를 유도(derive)할 수 있다. 말하자면, 복호화 장치(200)에서 도출되는 대상 블록의 움직임 벡터는 엔트로피 복호화된 MVD 및 움직임 벡터 후보의 합일 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 수 있다. 예를 들면, 참조 방향은 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1 중 하나를 가리킬 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 뿐, 참조 픽처들의 방향들이 순방향(forward direction) 또는 역방향(backward direction)으로 제한된다는 것을 나타내는 것을 아닐 수 있다. 말하자면, 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1의 각각은 순방향 및/또는 역방향의 픽처들을 포함할 수 있다.
참조 방향이 단방향(uni-direction)이란 것은 하나의 참조 픽처 리스트가 사용된다는 것을 의미할 수 있다. 참조 방향이 양방향(bi-direction)이란 것은 2 개의 참조 픽처 리스트들이 사용된다는 것을 의미할 수 있다. 말하자면, 참조 방향은, 참조 픽처 리스트 L0만이 사용된다는 것, 참조 픽처 리스트 L1만이 사용된다는 것 및 2 개의 참조 픽처 리스트들 것 중 하나를 가리킬 수 있다.
참조 픽처 인덱스는 참조 픽처 리스트의 참조 픽처들 중 대상 블록의 예측을 위해 사용되는 참조 픽처를 가리킬 수 있다. 참조 픽처 인덱스는 부호화 장치(100)에 의해 엔트로피 부호화될 수 있다. 엔트로피 부호화된 참조 픽처 인덱스는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.
대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우. 각 참조 픽처 리스트에 대해 하나의 참조 픽처 인덱스 및 하나의 움직임 벡터가 사용될 수 있다. 또한, 대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우, 대상 블록에 대해 2 개의 예측 블록들이 특정될 수 있다. 예를 들면, 대상 블록에 대한 2 개의 예측 블록들의 평균 또는 가중치가 부여된 합(weighed-sum)을 통해 대상 블록의 (최종적인) 예측 블록이 생성될 수 있다.
예측 움직임 벡터 인덱스, MVD, 참조 방향 및 참조 픽처 인덱스에 의해 대상 블록의 움직임 벡터가 유도될 수 있다.
복호화 장치(200)는 유도된 움직임 벡터 및 참조 픽처 인덱스에 기반하여 대상 블록에 대한 예측 블록을 생성할 수 있다. 예를 들면, 예측 블록은 참조 픽처 인덱스가 가리키는 참조 픽처 내의 유도된 움직임 벡터가 가리키는 참조 블록일 수 있다.
대상 블록의 움직임 벡터 자체를 부호화하지 않고, 예측 움직임 벡터 인덱스 및 MVD를 부호화함에 따라 부호화 장치(100)로부터 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
대상 블록에 대해서 재구축된 주변 블록의 움직임 정보가 사용될 수 있다. 특정한 인터 예측 모드에서는, 부호화 장치(100)가 대상 블록에 대한 움직임 정보 자체는 별도로 부호화하지 않을 수도 있다. 대상 블록의 움직임 정보가 부호화되지 않고, 재구축된 주변 블록의 움직임 정보를 통해 대상 블록의 움직임 정보를 유도할 수 있는 다른 정보가 대신 부호화될 수 있다. 다른 정보가 대신 부호화됨에 따라, 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
예를 들면, 이러한 대상 블록의 움직임 정보가 직접적으로 부호화되지 않는 인터 예측 모드로서, 스킵 모드(skip mode) 및/또는 머지 모드(merge mode) 등이 있을 수 있다. 이때, 부호화 장치(100) 및 복호화 장치(200)는 재구축된 주변 유닛들 중 어떤 유닛의 움직임 정보가 대상 유닛의 움직임 정보로서 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다.
2) 머지 모드
대상 블록의 움직임 정보를 도출하는 방식으로서, 머지(merge)가 있다. 머지는 복수의 블록들에 대한 움직임들의 병합을 의미할 수 있다. 머지는 하나의 블록의 움직임 정보를 다른 블록에도 함께 적용시키는 것을 의미할 수 있다. 말하자면, 머지 모드는 대상 블록의 움직임 정보가 주변 블록의 움직임 정보로부터 유도되는 모드를 의미할 수 있다.
머지 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 대상 블록의 움직임 정보에 대한 예측을 수행할 수 있다. 공간적 후보는 대상 블록에 공간적으로 인접한 복원된 공간적 주변 블록을 포함할 수 있다. 공간적으로 인접한 블록은 좌측 인접 블록 및 상단 인접 블록을 포함할 수 있다. 시간적 후보는 콜 블록을 포함할 수 있다. 용어들 "공간적 후보" 및 "공간적 머지 후보"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 용어들 "시간적 후보" 및 "시간적 머지 후보"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
부호화 장치(100)는 예측을 통해 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록의 차이인 잔여 블록을 부호화할 수 있다.
2-1) 머지 후보 리스트(merge candidate list)의 작성
머지 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 머지 후보 리스트를 생성할 수 있다. 움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스, 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 단방향 또는 양방향일 수 있다.
머지 후보 리스트는 머지 후보들을 포함할 수 있다. 머지 후보는 움직임 정보일 수 있다. 말하자면, 머지 후보 리스트는 움직임 정보들이 저장된 리스트일 수 있다.
머지 후보들은 시간적 후보 및/또는 공간적 후보 등의 움직임 정보들일 수 있다. 또한, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 머지 후보들의 조합에 의해 생성된 새로운 머지 후보를 포함할 수 있다. 말하자면, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 움직임 정보들의 조합에 의해 생성된 새로운 움직임 정보를 포함할 수 있다.
머지 후보들은 인터 예측 정보를 유도하는 특정된 모드들일 수 있다. 머지 후보는 인터 예측 정보를 유도하는 특정된 모드를 가리키는 정보일 수 있다. 머지 후보가 가리키는 특정된 모드에 따라 대상 블록의 인터 예측 정보가 유도될 수 있다. 이 때, 특정된 모드는 일련의 인터 예측 정보를 유도하는 과정을 포함할 수 있다. 이러한 특정된 모드는 인터 예측 정보 유도 모드 또는 움직임 정보 유도 모드일 수 있다.
머지 후보 리스트 내의 머지 후보들 중 머지 인덱스에 의해 선택된 머지 후보가 가리키는 모드에 따라서 대상 블록의 인터 예측 정보가 유도될 수 있다.
예를 들면, 머지 후보 리스트 내의 움직임 정보 유도 모드들은, 1) 서브 블록 단위의 움직임 정보 유도 모드 및 2) 어파인 움직임 정보 유도 모드 중 적어도 하나일 수 있다. 또한, 머지 후보 리스트는 제로 벡터의 움직임 정보를 포함할 수 있다. 제로 벡터는 제로 머지 후보로 칭해질 수도 있다.
말하자면, 머지 후보 리스트 내의 움직임 정보들은, 1) 공간적 후보의 움직임 정보, 2) 시간적 후보의 움직임 정보, 3) 이미 머지 후보 리스트에 존재하는 움직임 정보들의 조합에 의해 생성된 움직임 정보, 4) 제로 벡터 중 적어도 하나일 수 있다.
움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 인터 예측 지시자로 칭해질 수도 있다. 참조 방향은 단방향 또는 양방향일 수 있다. 단방향의 참조 방향은 L0 예측 또는 L1 예측을 나타낼 수 있다.
머지 후보 리스트는 머지 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
머지 후보 리스트의 머지 후보들의 개수는 기정의될 수 있다. 머지 후보 리스트가 기정의된 개수의 머지 후보들을 갖도록 부호화 장치(100) 및 복호화 장치(200)는 기정의된 방식 및 기정의된 순위에 따라서 머지 후보 리스트에 머지 후보를 추가할 수 있다. 기정의된 방식 및 기정의된 순위를 통해 부호화 장치(100)의 머지 후보 리스트 및 복호화 장치(200)의 머지 후보 리스트는 동일하게 될 수 있다.
머지는 CU 단위 또는 PU 단위로 적용될 수 있다. CU 단위 또는 PU 단위로 머지가 수행되는 경우, 부호화 장치(100)는 기정의된 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 예를 들면, 기정의된 정보는, 1) 블록 파티션(partition) 별로 머지를 수행할지 여부를 나타내는 정보, 2) 대상 블록에 대하여 공간적 후보 및/또는 시간적 후보인 블록들 중 어떤 블록과 머지를 할 것인가에 대한 정보를 포함할 수 있다.
2-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행하고, 머지 후보들에 대한 잔여 블록들을 생성할 수 있다. 부호화 장치(100)는 예측과 잔여 블록의 부호화에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 머지 모드를 사용할지 여부를 결정할 수 있다.
2-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 부호화 장치(100)는 인터 예측 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 인터 예측 정보를 생성할 수 있고, 엔트로피 부호화된 인터 예측 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 비트스트림을 통해, 엔트로피 부호화된 인터 예측 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.
복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 머지 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 머지 인덱스를 포함할 수 있다.
또한, 인터 예측 정보는 잔여 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 머지 모드를 사용하는 것을 나타낼 경우에만 머지 인덱스를 비트스트림으로부터 획득할 수 있다.
모드 정보는 머지 플래그일 수 있다. 모드 정보의 단위는 블록일 수 있다. 블록에 대한 정보는 모드 정보를 포함할 수 있고, 모드 정보는 블록에 대하여 머지 모드가 적용되는지 여부를 나타낼 수 있다.
머지 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다. 또는, 머지 인덱스는 대상 블록에 공간적 또는 시간적으로 인접한 주변 블록들 중 어떤 블록과의 머지가 수행되는가를 가리킬 수 있다.
부호화 장치(100)는 머지 후보 리스트에 포함된 머지 후보들 중 가장 높은 부호화 성능을 갖는 머지 후보를 선택할 수 있고, 선택된 머지 후보를 가리키도록 머지 인덱스의 값을 설정할 수 있다.
2-4) 인터 예측 정보를 사용하는 머지 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 머지 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
머지 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
3) 스킵 모드
스킵 모드는 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 그대로 대상 블록에 적용하는 모드일 수 있다. 또한, 스킵 모드는 잔여 신호를 사용하지 않는 모드일 수 있다. 말하자면, 스킵 모드가 사용될 때, 재구축된 블록은 예측 블록일 수 있다.
머지 모드 및 스킵 모드의 차이는 잔여 신호의 전송 또는 사용의 여부일 수 있다. 말하자면, 스킵 모드는 잔여 신호가 전송 또는 사용되지 않는다는 점을 제외하고는 머지 모드와 유사할 수 있다.
스킵 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보 또는 시간적 후보인 블록들 중 어떤 블록의 움직임 정보가 대상 블록의 움직임 정보로서 이용되는 지를 나타내는 정보를 비트스트림을 통해 복호화 장치(200)에 전송할 수 있다. 부호화 장치(100)는 이러한 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 정보를 생성할 수 있고, 비트스트림을 통해 엔트로피 부호화된 정보를 복호화 장치(200)로 시그널링할 수 있다.
또한, 스킵 모드가 사용되는 경우 부호화 장치(100)는 MVD와 같은 다른 구문 요소 정보는 복호화 장치(200)에 전송하지 않을 수 있다. 예를 들면, 스킵 모드와 사용되는 경우, 부호화 장치(100)는 MVC, 코드된 블록 플래그 및 변환 계수 레벨 중 적어도 하나에 관한 구문 요소를 복호화 장치(200)에 시그널링하지 않을 수 있다.
3-1) 머지 후보 리스트의 작성
스킵 모드 또한 머지 후보 리스트를 사용할 수 있다. 말하자면, 머지 후보 리스트는 머지 모드 및 스킵 모드의 양자에서 사용될 수 있다. 이러한 측면에서, 머지 후보 리스트는 "스킵 후보 리스트" 또는 "머지/스킵 후보 리스트"로 명명될 수도 있다.
또는, 스킵 모드는 머지 모드와는 다른 별개의 후보 리스트를 사용할 수도 있다. 이러한 경우, 아래의 설명에서 머지 후보 리스트 및 머지 후보는 스킵 후보 리스트 및 스킵 후보로 각각 대체될 수 있다.
머지 후보 리스트는 스킵 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
3-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행할 수 있다. 부호화 장치(100)는 예측에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 스킵 모드를 사용할지 여부를 결정할 수 있다.
3-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 스킵 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 스킵 인덱스를 포함할 수 있다.
스킵 인덱스는 전술된 머지 인덱스와 동일할 수 있다.
스킵 모드가 사용될 경우, 대상 블록은 잔여 신호 없이 부호화될 수 있다. 인터 예측 정보는 잔여 신호를 포함하지 않을 수 있다. 또는, 비트스트림은 잔여 신호를 포함하지 않을 수 있다.
복호화 장치(200)는 모드 정보가 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다. 전술된 것과 같이, 머지 인덱스 및 스킵 인덱스는 동일한 것일 수 있다. 복호화 장치(200)는 모드 정보가 머지 모드 또는 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다.
스킵 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다.
3-4) 인터 예측 정보를 사용하는 스킵 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 스킵 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
스킵 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
4) 현재 픽처 참조 모드
현재 픽처 참조 모드는 대상 블록이 속한 대상 픽처 내의 기-복원된 영역을 이용하는 예측 모드를 의미할 수 있다.
기-복원된 영역을 특정하기 위한 벡터가 정의될 수 있다. 대상 블록이 현재 픽처 참조 모드로 부호화되는지 여부는 대상 블록의 참조 픽처 인덱스를 이용하여 판단될 수 있다.
대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부를 나타내는 플래그 혹은 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다. 또는, 대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부는 대상 블록의 참조 픽처 인덱스를 통해 유추될 수도 있다.
대상 블록이 현재 픽처 참조 모드로 부호화된 경우, 대상 픽처는 대상 블록을 위한 참조 픽처 리스트 내에서 고정된 위치 또는 임의의 위치에 추가될 수 있다.
예를 들면, 고정된 위치는 참조 픽처 인덱스가 0인 위치 또는 가장 마지막의 위치일 수 있다.
대상 픽처가 참조 픽처 리스트 내의 임의의 위치에 추가되는 경우, 이러한 임의의 위치를 나타내는 별도의 참조 픽처 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.
전술된 AMVP 모드, 머지 모드 및 스킵 모드에서는 리스트에 대한 인덱스를 통해 리스트 내의 움직임 정보들 중 대상 블록의 예측을 위해 사용될 움직임 정보가 특정될 수 있다.
부호화 효율의 향상을 위해서, 부호화 장치(100)는 리스트의 요소들 중 대상 블록의 인터 예측에 있어서 최소의 비용을 유발하는 요소의 인덱스만을 시그널링할 수 있다. 부호화 장치(100)는 인덱스를 부호화할 수 있으며, 부호화된 인덱스를 시그널링할 수 있다.
따라서, 전술된 리스트들(즉, 예측 움직임 벡터 후보 리스트 및 머지 후보 리스트)은 부호화 장치(100) 및 복호화 장치(200)에서 동일한 데이터에 기반하여 동일한 방식으로 유도되어야 할 수 있다. 여기에서, 동일한 데이터는 재구축된 픽처 및 재구축된 블록을 포함할 수 있다. 또한, 인덱스로 요소를 특정하기 위해, 리스트 내에서 요소들의 순서는 일정해야 할 수 있다.
도 9는 일 예에 따른 공간적 후보들을 나타낸다.
도 9에서는, 공간적 후보들의 위치가 도시되었다.
가운데의 큰 블록은 대상 블록을 나타낼 수 있다. 5 개의 작은 블록들은 공간적 후보들을 나타낼 수 있다.
대상 블록의 좌표들은 (xP, yP)일 수 있고, 대상 블록의 크기는 (nPSW, nPSH)일 수 있다.
공간적 후보 A0은 대상 블록의 좌측 하단의 코너에 인접한 블록일 수 있다. A0은 좌표들 (xP - 1, yP + nPSH + 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 A1은 대상 블록의 좌측에 인접한 블록일 수 있다. A1은 대상 블록의 좌측에 인접한 블록들 중 최 하단의 블록일 수 있다. 또는, A1은 A0의 상단에 인접한 블록일 수 있다. A1은 좌표들 (xP - 1, yP + nPSH)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B0은 대상 블록의 우측 상단의 코너에 인접한 블록일 수 있다. B0은 좌표들 (xP + nPSW + 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B1은 대상 블록의 상단에 인접한 블록일 수 있다. B1은 대상 블록의 상단에 인접한 블록들 중 최 우측의 블록일 수 있다. 또는, B1은 B0의 좌측에 인접한 블록일 수 있다. B1은 좌표들 (xP + nPSW, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B2는 대상 블록의 좌측 상단의 코너에 인접한 블록일 수 있다. B2는 좌표들 (xP - 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 및 시간적 후보의 가용성(availability)의 판단
공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 리스트에 포함시키기 위해서는, 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보가 가용한지 여부가 판단되어야 한다.
이하에서, 후보 블록은 공간적 후보 및 시간적 후보를 포함할 수 있다.
예를 들면, 상기의 판단은 아래의 단계 1) 내지 단계 4)를 순차적으로 적용함으로써 이루어질 수 있다.
단계 1) 후보 블록을 포함하는 PU가 픽처의 경계의 밖에 있으면 후보 블록의 가용성은 거짓(false)으로 설정될 수 있다. "가용성이 거짓으로 설정된다"는 것은 "비가용한 것으로 설정된다"는 것과 동일한 의미일 수 있다.
단계 2) 후보 블록을 포함하는 PU가 슬라이스의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 슬라이스들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 3) 후보 블록을 포함하는 PU가 타일의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 타일들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 4) 후보 블록을 포함하는 PU의 예측 모드가 인트라 예측 모드이면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 후보 블록을 포함하는 PU가 인터 예측을 사용하지 않으면 후보 블록의 가용성은 거짓으로 설정될 수 있다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 10에서 도시된 것처럼, 공간적 후보들의 움직임 정보들을 머지 리스트에 추가함에 있어서, A1, B1, B0, A0 및 B2의 순서가 사용될 수 있다. 즉, A1, B1, B0, A0 및 B2의 순서로, 가용한 공간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다.
머지 모드 및 스킵 모드에서의 머지 리스트의 유도 방법
전술된 것과 같이, 머지 리스트 내의 머지 후보들의 최대 개수는 설정될 수 있다. 설정된 최대 개수를 N으로 표시한다. 설정된 개수는 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 슬라이스의 슬라이스 헤더는 N을 포함할 수 있다. 말하자면, 슬라이스 헤더에 의해 슬라이스의 대상 블록에 대한 머지 리스트의 머지 후보들의 최대 개수가 설정될 수 있다. 예를 들면, 기본적으로 N의 값은 5일 수 있다.
움직임 정보(즉, 머지 후보)는 아래의 단계 1) 내지 단계 4)의 순서로 머지 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 머지 리스트에 추가될 수 있다. 가용한 공간적 후보들의 움직임 정보들은 도 10에서 도시된 순서대로 머지 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다. 리스트 내에 존재하는 다른 움직임 정보와 중복되는지 여부를 검사하는 것은 "중복성 검사"로 약술될 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 3) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 대상 슬라이스의 타입이 "B"이면, 조합된 양방향 예측(combined bi-prediction)에 의해 생성된 조합된 움직임 정보가 머지 리스트에 추가될 수 있다.
대상 슬라이스는 대상 블록을 포함하는 슬라이스일 수 있다.
조합된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보의 조합일 수 있다. L0 움직임 정보는 참조 픽처 리스트 L0만을 참조하는 움직임 정보일 수 있다. L1 움직임 정보는 참조 픽처 리스트 L1만을 참조하는 움직임 정보일 수 있다.
머지 리스트 내에서, L0 움직임 정보는 하나 이상일 수 있다. 또한, 머지 리스트 내에서, L1 움직임 정보는 하나 이상일 수 있다.
조합된 움직임 정보는 하나 이상일 수 있다. 조합된 움직임 정보를 생성함에 있어서 하나 이상의 L0 움직임 정보들 및 하나 이상의 L1 움직임 정보들 중 어떤 L0 움직임 정보 및 어떤 L1 움직임 정보를 사용할 것인가는 기정의될 수 있다. 하나 이상의 조합된 움직임 정보는 머지 리스트 내의 서로 다른 움직임 정보들의 쌍(pair)을 사용하는 조합된 양방향 예측에 의해 기정의된 순서로 생성될 수 있다. 서로 다른 움직임 정보들의 쌍 중 하나는 L0 움직임 정보고 다른 하나는 L1 움직임 정보일 수 있다.
예를 들면, 최우선적으로 추가되는 조합된 움직임 정보는 머지 인덱스가 0인 L0 움직임 정보 및 머지 인덱스가 1인 L1 움직임 정보의 조합일 수 있다. 머지 인덱스가 0인 움직임 정보가 L0 움직임 정보가 아니거나, 머지 인덱스가 1인 움직임 정보가 L1 움직임 정보가 아니면 상기의 조합된 움직임 정보는 생성 및 추가되지 않을 수 있다. 다음으로 추가되는 움직임 정보는 머지 인덱스가 1인 L0 움직임 정보 및 머지 인덱스가 0인 L1 움직임 정보의 조합일 수 있다. 이하의 구체적인 조합은 동영상의 부호화/복호화 분야의 다른 조합을 따를 수 있다.
이 때, 조합된 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 조합된 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 4) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다.
제로 벡터 움직임 정보는 움직임 벡터가 제로 벡터인 움직임 정보일 수 있다.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다. 예를 들면, 첫 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 0일 수 있다. 두 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 1일 수 있다.
제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 내의 참조 픽처들의 개수와 동일할 수 있다.
제로 벡터 움직임 정보의 참조 방향은 양방향일 수 있다. 2 개의 움직임 벡터들은 모두 제로 벡터들일 수 있다. 제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수 중 더 작은 것일 수 있다. 또는, 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수가 서로 다를 경우, 하나의 참조 픽처 리스트에만 적용될 수 있는 참조 픽처 인덱스에 대해서는 단방향의 참조 방향이 사용될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 머지 리스트에 추가할 수 있다.
제로 벡터 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
전술된 단계 1) 내지 단계 4)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
AMVP 모드에서의 예측 움직임 벡터 후보 리스트의 유도 방법
예측 움직임 벡터 후보 리스트 내의 예측 움직임 벡터 후보들의 최대 개수는 기정의될 수 있다. 기정의된 최대 개수를 N으로 표시한다. 예를 들면, 기정의된 최대 개수는 2일 수 있다.
움직임 정보(즉, 예측 움직임 벡터 후보)는 아래의 단계 1) 내지 단계 3)의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 공간적 후보들은 제1 공간적 후보 및 제2 공간적 후보를 포함할 수 있다.
제1 공간적 후보는 A0, A1, 스케일된(scaled) A0 및 스케일된 A1 중 하나일 수 있다. 제2 공간적 후보는 B0, B1, B2, 스케일된 B0, 스케일된 B1 및 스케일된 B2 중 하나일 수 있다.
가용한 공간적 후보들의 움직임 정보들은 제1 공간적 후보 및 제2 공간적 후보의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다. 말하자면, N의 값이 2인 경우, 제2 공간적 후보의 움직임 정보가 제1 공간적 후보의 움직임 정보와 동일하면 제2 공간적 후보의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
단계 3) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 예측 움직임 벡터 후보 리스트에 추가할 수 있다.
제로 벡터 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
머지 리스트에 대해 전술된 제로 벡터 움직임 정보에 대한 설명은 제로 벡터 움직임 정보에도 적용될 수 있다. 중복되는 설명은 생략된다.
전술된 단계 1) 내지 단계 3)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
도 11은 일 예에 따른 변환 및 양자화의 과정을 설명한다.
도 11에 도시된 바와 같이 잔여 신호에 변환 및/또는 양자화 과정을 수행하여 양자화된 레벨이 생성될 수 있다.
잔여 신호는 원본 블록과 예측 블록 간의 차분으로 생성될 수 있다. 여기에서, 예측 블록은 인트라 예측 또는 인터 예측에 의해 생성된 블록일 수 있다.
변환은 1차 변환 및 2차 변환 중 적어도 하나를 포함할 수 있다. 잔여 신호에 대해서 1차 변환을 수행함으로써 변환 계수가 생성될 수 있고, 변환 계수에 2차 변환을 수행함으로써 2차 변환 계수가 생성될 수 있다.
1차 변환(primary transform)은 기-정의된 복수의 변환 방법들 중 적어도 하나를 이용하여 수행될 수 있다. 일 예로, 기-정의된 복수의 변환 방법들은 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 사인 변환(Discrete Sine Transform; DST) 및 카루넨-루베 변환(Karhunen-Loㅸve Transform; KLT) 기반 변환 등을 포함할 수 있다.
1차 변환의 수행에 의해 생성된 변환 계수에 2차 변환(secondary transform)이 수행될 수 있다.
1차 변환 및/또는 2차 변환에 적용되는 변환 방법(들)은 대상 블록 및/또는 주변 블록에 대한 코딩 파라미터들 중 적어도 하나에 따라 결정될 수 있다. 또는 변환 방법을 지시하는 변환 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.
1차 변환 및/또는 2차 변환의 수행에 의해 생성된 결과 또는 잔여 신호에 양자화를 수행함으로써 양자화된 레벨이 생성될 수 있다.
양자화된 레벨은 인트라 예측 모드, 블록 크기 및 블록 형태 중 적어도 하나에 따라서, 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 적어도 하나에 따라서 스캐닝(scanning) 될 수 있다.
예를 들면, 우상단(up-right) 대각 스캐닝을 이용하여 블록의 계수들을 스캔함으로써 계수들이 1차원 벡터 형태로 변경될 수 있다. 또는, 변환 블록의 크기 및/또는 인트라 예측 모드에 따라 우상단 대각 스캔 대신 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔이나 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다.
스캐닝된 양자화 레벨은 엔트로피 부호화될 수 있고, 비트스트림은 엔트로피 부호화된 양자화 레벨을 포함할 수 있다.
복호화 장치(200)는 비트스트림에 대한 엔트로피 복호화를 통해 양자화된 레벨을 생성할 수 있다. 양자화된 레벨은 역 스캐닝(inverse scanning)을 통해 2차원의 블록 형태로 정렬될 수 있다. 이때, 역 스캐닝의 방법으로서, 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 적어도 하나가 수행될 수 있다.
양자화된 레벨에 역양자화가 수행될 수 있다. 역양자화의 수행에 의해 생성된 결과에 대하여, 2차 역변환의 수행 여부에 따라서, 2차 역변환이 수행될 수 있다. 또한, 2차 역변환의 수행에 의해 생성된 결과에 대하여, 1차 역변환의 수행 여부에 따라서, 1차 역변환이 수행될 수 있다. 2차 역변환의 수행에 의해 생성된 결과에 대하여 1차 역변환을 수행함으로써 복원된 잔여 신호가 생성될 수 있다.
도 12는 일 실시예에 따른 부호화 장치의 구조도이다.
부호화 장치(1200)는 전술된 부호화 장치(100)에 대응할 수 있다.
부호화 장치(1200)는 버스(1290)를 통하여 서로 통신하는 처리부(1210), 메모리(1230), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1250), UI 출력 디바이스(1260) 및 저장소(storage)(1240)를 포함할 수 있다. 또한, 부호화 장치(1200)는 네트워크(1299)에 연결되는 통신부(1220)를 더 포함할 수 있다.
처리부(1210)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1230) 또는 저장소(1240)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1210)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(1210)는 부호화 장치(1200)로 입력되거나, 부호화 장치(1200)에서 출력되거나, 부호화 장치(1200)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1210)에 의해 수행될 수 있다.
처리부(1210)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.
인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 부호화 장치(1200)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 부호화 장치(1200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 부호화 장치(1200)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
처리부(1210)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)의 명령어 또는 코드를 실행할 수 있다.
저장부는 메모리(1230) 및/또는 저장소(1240)를 나타낼 수 있다. 메모리(1230) 및 저장소(1240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1230)는 롬(ROM)(1231) 및 램(RAM)(1232) 중 적어도 하나를 포함할 수 있다.
저장부는 부호화 장치(1200)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 부호화 장치(1200)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
부호화 장치(1200)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 부호화 장치(1200)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1230)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1210)에 의하여 실행되도록 구성될 수 있다.
부호화 장치(1200)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1220)를 통해 수행될 수 있다.
예를 들면, 통신부(1220)는 비트스트림을 후술될 복호화 장치(1300)로 전송할 수 있다.
도 13은 일 실시예에 따른 복호화 장치의 구조도이다.
복호화 장치(1300)는 전술된 복호화 장치(200)에 대응할 수 있다.
복호화 장치(1300)는 버스(1390)를 통하여 서로 통신하는(1310), 메모리(1330), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1350), UI 출력 디바이스(1360) 및 저장소(storage)(1340)를 포함할 수 있다. 또한, 복호화 장치(1300)는 네트워크(1399)에 연결되는 통신부(1320)를 더 포함할 수 있다.
처리부(1310)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1330) 또는 저장소(1340)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1310)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(1310)는 복호화 장치(1300)로 입력되거나, 복호화 장치(1300)에서 출력되거나, 복호화 장치(1300)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1310)에 의해 수행될 수 있다.
처리부(1310)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.
엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 복호화 장치(1300)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 복호화 장치(1300)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 복호화 장치(1300)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
처리부(1310)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)의 명령어 또는 코드를 실행할 수 있다.
저장부는 메모리(1330) 및/또는 저장소(1340)를 나타낼 수 있다. 메모리(1330) 및 저장소(1340)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1330)는 롬(ROM)(1331) 및 램(RAM)(1332) 중 적어도 하나를 포함할 수 있다.
저장부는 복호화 장치(1300)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 복호화 장치(1300)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
복호화 장치(1300)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 복호화 장치(1300)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1330)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1310)에 의하여 실행되도록 구성될 수 있다.
복호화 장치(1300) 의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1320)를 통해 수행될 수 있다.
예를 들면, 통신부(1320)는 부호화 장치(1200)로부터 비트스트림을 수신할 수 있다.
아래의 실시예에서는, 인터 예측을 사용하는 부호화 및 복호화에 있어서, 주변 블록의 인터 예측 정보를 사용하여 대상 블록의 인터 예측 정보를 유도하는 방법이 설명된다.
인터 예측을 사용하는 부호화 및 복호화에 있어서, 동영상 내의 시간적 중복성을 제거하기 위해 이전에 부호화 및/또는 복호화된 픽처에서 대상 픽처의 대상 블록에 대한 인터 예측 정보가 탐색될 수 있다.
주변 블록의 인터 예측 정보를 사용하여 대상 블록의 인터 예측 정보를 유도함에 따라 인터 예측을 위해 요구되는 정보의 양이 감소될 수 있다. 여기에서, 정보의 양은 비트의 개수를 의미할 수 있다.
주변 블록의 인터 예측 정보를 사용하여 대상 블록의 인터 예측 정보를 유도하는 방법으로서, AMVP 모드 및 머지 모드가 사용될 수 있다. AMVP 모드 및 머지 모드에서는, 시간적으로 인접한 주변 블록 및 공간적으로 인접한 주변 블록을 이용하여 AMVP 후보 리스트 및 머지 후보 리스트가 각각 구성될 수 있다. 이러한 리스트의 후보는 인터 예측 정보 또는 인터 예측 정보의 일부일 수 있다.
리스트를 구성함에 있어서, 가용한 주변 블록의 인터 예측 정보가 후보로서 리스트 내에 채워질 수 있다.
주변 블록의 인터 예측 정보가 존재하지 않거나, 주변 블록의 인터 예측 정보가 사용될 수 없는 경우, 주변 블록의 인터 예측 정보가 후보로서 이용될 수 없다.
리스트 내의 후보의 최대 개수는 기정의될 수 있다. 가용한 주변 블록의 인터 예측 정보로는 기정의된 최대 개수만큼의 후보가 리스트 내에 채워지지 않을 경우, 제로 벡터 움직임 정보가 리스트에 추가될 수 있다.
리스트 내의 후보, 즉 인터 예측 정보 및 대상 블록의 인터 예측 정보 간의 상관성이 높을수록 부호화 성능이 향상될 수 있다.
반면, 제로 벡터 움직임 정보와 같은, 대상 블록의 인터 예측 정보와의 상관성이 낮은 후보는 인터 예측 정보를 유도함에 있어서 시그널링되는 비트들의 개수를 증가시킬 수 있다. 시그널링되는 비트들의 개수가 증가됨에 따라 부호화 성능이 저하될 수 있다.
실시예에서, 부호화 장치(1200) 및 복호화 장치(1300)는 인터 예측 정보가 존재하지 않는 대상 블록에 대하여, 주변 블록의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측 정보를 생성하고, 생성된 인터 예측 정보를 후보로서 리스트에 추가할 수 있다.
실시예는, 낮은 상관성을 갖는 인터 예측 정보보다는 높은 상관성을 갖는 인터 예측 정보를 후보로서 리스트에 추가할 수 있다. 높은 상관성을 갖는 인터 예측 정보가 후보로서 리스트에 추가됨에 따라 부호화 효율이 증가될 수 있다.
실시예에서, 부호화 장치(1200) 및 복호화 장치(1300)는 복수의 주변 블록들의 복수의 인터 예측 정보들을 사용하여 대상 블록에 대한 리스트를 구성할 수 있다. 복수의 주변 블록들은 시간적 주변 블록 및 공간적 주변 블록을 포함할 수 있다. 부호화 장치(1200) 및 복호화 장치(1300)는 복수의 주변 블록들의 복수의 인터 예측 정보들을 사용하여 대상 블록의 인터 예측 정보에 대하여 높은 상관성을 갖는 인터 예측 정보를 리스트에 추가할 수 있다. 이러한 사용 및 추가에 의해 인터 예측 정보를 나타내는 인덱스 등의 비트의 개수가 감소될 수 있으며, 부호화 성능이 향상될 수 있다.
실시예에서, 부호화 장치(1200) 및 복호화 장치(1300)는 대상 블록의 인터 예측 정보가 존재하지 않는 경우, 대상 블록의 주변의 블록들의 인터 예측 정보들을 결합하여 대상 블록에 대한 인터 예측 정보를 생성할 수 있다. 부호화 장치(1200) 및 복호화 장치(1300)는 생성된 인터 예측 정보를 후보로서 리스트에 추가할 수 있다. 제로 벡터 움직임 정보와 같은, 대상 블록의 인터 예측 정보와의 상관성이 높지 않은 인터 예측 정보 대신에, 대상 블록의 인터 예측 정보와의 상관성이 높은 인터 예측 정보를 후보로서 리스트에 추가함에 따라, 인터 예측 정보의 유도에 있어서 더 효율적인 부호화가 이루어질 수 있다.
CU의 재귀적인 분할의 과정에서, CU는 4 개의 동일한 크기를 갖는 정사각형의 블록들 또는 2 개의 동일한 크기를 갖는 블록들로 분할될 수 있다. CU가 2 개의 블록들로 분할될 경우, CU는 수평 또는 수직으로 분할될 수 있다. 또는, CU는 3 개의 블록들로 분할될 수 있으며 수평 또는 수직으로 분할될 수 있다. 예를 들어, CU가 수직으로 분할되는 경우 분할된 블록들의 가로의 크기들의 비율은 1:2:1일 수 있다. 마찬가지로, CU가 수평으로 분할되는 경우 분할된 블록들의 세로의 크기들의 비율은 1:2:1일 수 있다.
인터 예측에서 블록이 분할된다는 것은 분할된 블록들의 각각의 움직임 정보들을 이용하여 인터 예측을 수행하는 것의 부호화 효율이 분할되지 않은 블록의 하나의 움직임 정보를 이용하여 인터 예측을 수행하는 것의 부호화 효율보다 더 높다는 것을 나타낼 수 있다. 말하자면, 블록이 분할되는 경우 2 개 또는 4 개로 분할된 블록들이 서로 상이한 움직임 정보들을 가질 가능성이 높다.
대상 블록이 상위 블록으로부터 분할된 블록인 경우, 대상 블록에 대하여 머지 모드의 공간적 주변 블록의 움직임 정보가 유도될 때 상위 블록 내의 다른 분할된 블록의 움직임 정보가 사용될 수 있다. 말하자면, 대상 블록의 움직임 정보가 상기의 다른 분할된 블록의 움직임 정보와 동일하게 유도될 수 있다. 이러한 경우, (상위 블록으로부터의 분할에 의해 분할된 블록들이 생성됨에도 불구하고) 2 개의 분할된 블록들이 동일한 움직임 정보를 가짐에 따라 부호화 성능이 감소될 수 있다.
부호화 장치(1200) 및 복호화 장치(1300)는 리스트 내의 후보들에 대하여, 더 높은 우선순위를 갖는 후보에게 더 적은 개수의 비트들을 할당할 수 있다. 할당된 비트들은 후보를 가리키는 인덱스의 값일 수 있다. 말하자면, 더 높은 우선순위를 갖는 후보를 가리키는 인덱스가 더 낮은 우선순위를 갖는 후보를 가리키는 인덱스에 비해 더 적은 개수의 비트들로서 시그널링될 수 있다.
부호화 장치(1200) 및 복호화 장치(1300)는 리스트를 구성함에 있어서 부호화 성능이 더 높게 예상 또는 추정되는 후보에게 더 높은 우선순위를 부여할 구성할 수 있다.
여기에서, 더 높은 우선순위를 부여한다는 것은 1) 더 적은 개수의 비트들을 할당한다는 것, 2) 더 작은 인덱스를 할당한다는 것 또는 3) 리스트에 선순위로 포함시키는 것을 의미할 수 있다.
또한, 부호화 장치(1200) 및 복호화 장치(1300)는 리스트를 구성함에 있어서 부호화 성능이 더 낮게 예상 또는 추정되는 후보에게 더 낮은 우선순위를 부여할 수 있다.
여기에서, 더 낮은 우선순위를 부여한다는 것은 1) 더 많은 개수의 비트들을 할당한다는 것, 2) 더 큰 인덱스를 할당한다는 것, 3) 리스트에 후순위로 포함시키는 것 또는 4) 리스트에 포함시키지 않는다는 것을 의미할 수 있다. 이러한 리스트의 구성을 통해 부호화 성능이 향상될 수 있다.
분할된 CU에 대하여, 공간적 주변 블록의 움직임 정보를 이용하여 리스트가 구성될 때, 부호화 장치(1200) 및 복호화 장치(1300)는 공간적 주변 블록이 상기의 분할된 CU를 포함하는 상위 CU로부터 분할된 블록이라면, 상기의 공간적 주변 블록의 움직임 정보를 낮은 우선순위로 리스트에 포함시킬 수 있다. 또는, 부호화 장치(1200)는 공간적 주변 블록이 분할된 CU를 포함하는 상위 CU로부터 분할된 블록이라면, 상기의 공간적 주변 블록의 움직임 정보는 리스트에 포함시키지 않을 수 있다.
말하자면, 부호화 장치(1200) 및 복호화 장치(1300)는 낮은 부호화 성능을 가질 가능성이 높은 움직임 정보를 리스트에 포함시키지 않을 수 있으며, 낮은 부호화 성능을 가질 가능성이 높은 움직임 정보에 더 낮은 우선순위를 부여할 수 있다. 부호화 장치(1200) 및 복호화 장치(1300)는 이러한 제외 및 부여를 통해 부호화 성능이 더 낮게 예상 또는 추정되는 움직임 정보가 선택되지 않게 하거나, 이러한 움직임 정보가 선택될 가능성을 감소시킴으로써 부호화 성능을 향상시킬 수 있다.
도 14는 일 실시예에 따른 인터 예측 방법의 흐름도이다.
인터 예측 방법은 부호화 장치(1200) 및/또는 복호화 장치(1300)에 의해 수행될 수 있다.
예를 들면, 부호화 장치(1200)는 대상 블록에 대한 복수의 예측 방식들의 효율들을 비교하기 위해 실시예의 인터 예측 방법을 수행할 수 있고, 대상 블록에 대한 재구축된 블록을 생성하기 위해 실시예의 인터 예측 방법을 수행할 수 있다.
대상 블록은 전술된 다양한 블록들 중 하나일 수 있다. 예를 들면, 대상 블록은 CU, PU 또는 TU일 수 있다.
예를 들면, 복호화 장치(1300)는 대상 블록에 대한 재구축된 블록을 생성하기 위해 실시예의 인터 예측 방법을 수행할 수 있다.
이하에서, 처리부는 부호화 장치(1200)의 처리부(1210) 및/또는 복호화 장치(1300)의 처리부(1310)에 대응할 수 있다.
단계(1410)에서, 처리부는 대상 블록에 대한 인터 예측 정보를 유도할 수 있다.
인터 예측 정보는, 1) 움직임 벡터, 2) 참조 픽처 리스트, 3) 참조 픽처 인덱스, 4) 머지 플래그, 5) 머지 인덱스, 6) AMVP 인덱스, 7) 밝기 보상 (Illumination Compensation; IC) 플래그 및 8) 오버랩된 블록 움직임 보상(Overlapped Block Motion Compensation; OBMC) 플래그 등을 포함할 수 있다.
IC 플래그는 IC의 적용 여부를 나타내는 플래그일 수 있다.
OBMC 플래그는 OBMC의 적용 여부를 나타내는 플래그일 수 있다.
처리부는 적어도 하나의 방법을 사용하여 인터 예측 정보를 유도할 수 있다.
적어도 하나의 방법은, 1) 머지 모드, 2) AMVP 모드, 3) 서브 블록 단위의 인터 예측 정보 유도 방법 및 4) 복호화 장치(1300) 상에서의 인터 예측 정보 유도 방법 등을 포함할 수 있다.
처리부는 적어도 하나의 정보를 사용하여 인터 예측 정보를 유도할 수 있다.
적어도 하나의 정보는 1) 공간적 주변 블록의 인터 예측 정보, 2) 시간적 주변 블록의 인터 예측 정보, 3) 결합(combined) 인터 예측 정보, 4) 일괄적 후보 리스트, 5) 블록 모양에 따른 적응적 후보 리스트 및 6) 블록 분할 상태에 따른 적응적 후보 리스트 등을 포함할 수 있다.
단계(1420)에서, 처리부는 유도된 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측은 움직임 보상(motion compensation) 및/또는 움직임 보정(motion correction)을 포함할 수 있다.
처리부는 적어도 하나의 보상 및/또는 보정을 사용하여 인터 예측을 수행할 수 있다.
적어도 하나의 보상 및/또는 보정은 1) 움직임 보상, 2) IC, 3) OBMC, 4) BIO, 5) 어파인 공간 움직임 보상 및 6) 복호화 장치(1300) 상에서의 움직임 벡터 보정 등을 포함할 수 있다.
머지 모드를 이용한 인터 예측 정보의 유도
처리부는 머지 모드를 이용하여 인터 예측 정보를 유도할 수 있다. 실시예에서, 머지 모드는 AMVP 모드 또는 리스트 등을 사용하는 특정한 인터 예측 모드로 대체될 수 있다. 말하자면, 실시예에서 설명된 머지 모드를 이용하는 인터 예측 정보의 유도는 AMVP 모드 또는 특정한 인터 예측 모드를 이용하는 인터 예측 정보의 유도에도 적용될 수 있다.
처리부는 머지 후보 리스트를 구성할 수 있다. 머지 후보 리스트의 머지 후보들은 N 개일 수 있다. N은 양의 정수일 수 있다. 예를 들면, 머지 후보는 인터 예측 정보일 수 있고, 움직임 벡터 및 참조 픽처 리스트를 포함할 수 있다.
처리부는 공간적 주변 블록의 인터 예측 정보, 시간적 주변 블록의 인터 예측 정보 및 결합 인터 예측 정보 중 하나 이상을 사용하여 머지 후보 리스트를 구성할 수 있다. 이 때, 처리부는 특정된 순서에 따라 상기의 인터 예측 정보들을 머지 후보 리스트에 추가할 수 있다.
처리부는 머지 후보 리스트를 구성함에 있어서 주변 블록들의 인터 예측 정보들을 머지 후보들로서 머지 후보 리스트에 추가할 수 있다. 이 때, 처리부는 주변 블록들의 특정된 순서에 따라 주변 블록들의 인터 예측 정보들을 머지 후보 리스트에 추가할 수 있다. 처리부는, 1) 주변 블록의 인터 예측 정보가 존재하지 않거나, 2) 주변 블록의 인터 예측 정보가 머지 후보 리스트 내의 인터 예측 정보와 동일한 경우(즉, 주변 블록의 인터 예측 정보가 이미 머지 후보 리스트 내에 포함된 경우), 주변 블록의 인터 예측 정보를 머지 후보 리스트에 추가하지 않을 수 있다. 말하자면, 2 개의 주변 블록들의 인터 예측 정보들이 동일한 경우, 후 순위의 주변 블록의 인터 예측 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
처리부는 주변 블록들 중 하나의 주변 블록의 인터 예측 정보가 머지 후보 리스트에 추가되지 않는 경우, 추가되지 않은 인터 예측 정보의 대신으로 결합 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다. 예를 들면, 특정한 주변 블록의 인터 예측 정보가 존재하지 않거나, 특정한 주변 블록의 인터 예측 정보가 머지 후보 리스트 내의 인터 예측 정보와 동일한 경우, 처리부는 특정한 주변 블록에 대한 결합 인터 예측 정보를 유도할 수 있고, 유도된 결합 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다.
처리부는 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 결합 인터 예측 정보를 생성할 수 있다.
처리부는 인터 예측 정보 팔레트를 구성할 수 있다. 인터 예측 정보 팔레트는 N 개의 인터 예측 정보들을 가지는 리스트일 수 있다. N은 양의 정수일 수 있다. 이 때, 처리부는 1) 대상 블록의 인터 예측 모드를 인터 예측 정보 팔레트에 추가할 수 있으며, 2) 특정된 순서 및 방법에 따라 인터 예측 정보 팔레트 내부의 인터 예측 모드를 관리할 수 있다. 예를 들면, 처리부는 인터 예측 정보 팔레트가 모두 채워진 경우 인터 예측 정보 팔레트를 선입선출(First In First Out; FIFO)로 관리할 수 있다.
처리부는 대상 블록의 인터 예측 정보가 인터 예측 정보 팔레트 내의 인터 예측 정보와 동일한 경우(즉, 대상 블록의 인터 예측 정보가 이미 인터 예측 정보 팔레트 내에 포함된 경우), 대상 블록의 인터 예측 정보를 인터 예측 정보 팔레트에 추가하지 않을 수 있다.
처리부는 대상 블록의 인터 예측 정보가 인터 예측 정보 팔레트 내의 인터 예측 정보와 동일한 경우, 대상 블록의 인터 예측 정보와 동일한 인터 예측 정보 팔레트 내부의 인터 예측 정보를 인터 예측 정보 팔레트의 첫 번째의 인터 예측 정보로 위치시킬 수 있다. 말하자면, 처리부는 대상 블록의 인터 예측 정보와 동일한 인터 예측 정보 팔레트 내부의 인터 예측 정보에게 가장 높은 우선순위와 같은 특정된 우선순위를 부여할 수 있으며, 이러한 우선순위에 따라 인터 예측 정보 팔레트 내의 인터 예측 정보들의 위치를 조정할 수 있다.
처리부는 대상 픽처 내의 모든 블록들의 인터 예측 정보 팔레트를 픽처의 단위로 초기화할 수 있다. 말하자면, 대상 픽처 내의 블록들은 하나의 인터 예측 정보 팔레트를 공유할 수 있다.
처리부는 인터 예측 팔레트 내의 인터 예측 정보를 시간적 주변 블록의 인터 예측 정보로서 사용할 수 있다.
도 15는 일 예에 따른 대상 블록의 공간적 주변 블록들을 나타낸다.
도 15에서 A 내지 K는 공간적 주변 블록들을 각각 나타낼 수 있다.
공간적 주변 블록의 인터 예측 정보는 도 15에서 A 내지 K 중 하나의 위치에 존재하는 블록의 인터 예측 정보일 수 있다.
이하에서, "블록 X의 인터 예측 정보"는 "X의 위치에 대응하는 인터 예측 정보"로 이해될 수 있다.
예를 들면, 주변 블록의 크기는 MxN일 수 있다. M 및 N의 각각은 2, 4, 8, 16, 32, 64 및 128 중 적어도 하나일 수 있다.
좌측 주변 블록은 대상 블록의 좌측에 인접한 주변 블록일 수 있으며, 블록 A, 블록 B, 블록 C, 블록 D 및 블록 E 중 하나 이상의 블록들일 수 있다.
상단 주변 블록은 대상 블록의 상단에 인접한 주변 블록일 수 있으며, 블록 G, 블록 H, 블록 I, 블록 J 및 블록 K 중 하나 이상의 블록들일 수 있다.
좌측 상단 주변 블록은 대상 블록의 좌측 상단에 인접한 주변 블록일 수 있으며, 블록 F일 수 있다.
공간적 주변 블록은 대상 블록의 경계에 인접한 블록 또는 인접하지 않는 블록일 수 있다.
도 16은 일 예에 따른 대상 블록의 시간적 주변 블록들을 나타낸다.
도 16에서 L 내지 W는 시간적 주변 블록들을 각각 나타낼 수 있다.
시간적 주변 블록들은 이전 픽처 내의 블록일 수 있다. 이전 픽처는 이미 복원된 콜 픽처일 수 있다. 이전 픽처는 대상 픽처의 부호화 또는 복호화의 이전에 부호화 또는 복호화가 진행된 픽처일 수 있다.
이전 픽처는 대상 픽처의 POC에 비해 더 큰 POC를 갖는 픽처일 수 있다.
시간적 주변 블록의 이전 픽처 내의 위치는 대상 블록의 대상 영상 내의 위치와 동일할 수 있다. 또는, 시간적 주변 블록의 이전 픽처 내의 위치는 대상 블록의 대상 영상 내의 위치에 대응할 수 있다. 또는, 시간적 주변 블록의 이전 픽처 내의 위치는 대상 블록의 우측 하단의 위치, 대상 블록의 중간의 위치 및 대상 블록의 특정된 위치 중 적어도 하나의 위치에 대응할 수 있다.
또는, 시간적 주변 블록은 콜 블록에 인접한 블록일 수 있다. 예를 들면, 시간적 주변 블록은 콜 블록의 우측 하단 꼭지점에 인접한 블록일 수 있다.
또는, 시간적 주변 블록은 대상 픽처 내의 시간적 이전 블록일 수 있다. 시간적 이전 블록은 대상 블록의 부호화 또는 복호화 이전에 부호화 또는 복호화가 진행된 블록일 수 있다.
시간적 주변 블록은 머지 후보 리스트의 구성 과정에서 참조되는 특정 주변 블록일 수 있다. 여기에서, 특정 주변 블록은 머지 후보 리스트에 포함된 인터 예측 정보에 해당하는 주변 블록일 수 있다.
시간적 주변 블록의 인터 예측 정보는 이전 픽처 내의 특정된 위치에 존재하는 블록의 인터 예측 정보일 수 있다. 여기에서, 특정된 위치는 대상 픽처 내의 대상 블록의 위치일 수 있다.
시간적 주변 블록의 인터 예측 정보는 대상 픽처 내의 특정된 위치에 존재하는 블록의 인터 예측 정보일 수 있다. 여기에서, 특정된 위치는 대상 픽처 내의 대상 블록의 공간적 주변 블록의 위치일 수 있다.
결합 인터 예측 정보를 사용하는 머지 후보 리스트의 구성
도 17은 일 예에 따른 우측 상단 주변 블록에 대한 결합 인터 예측 정보의 생성을 나타낸다.
도 18은 일 예에 따른 상단 주변 블록에 대한 결합 인터 예측 정보의 생성을 나타낸다.
처리부는 결합 인터 예측 정보를 사용하여 머지 후보 리스트를 구성할 수 있다. 결합 인터 예측 정보는 주변 블록의 인터 예측 정보 또는 움직임 정보를 대체하여 새로운 머지 후보로서 머지 후보 리스트에 추가될 수 있다.
처리부는 대상 블록에 관련된 복수의 인터 예측 정보들을 결합하여 결합 인터 예측 정보를 생성할 수 있다. 예를 들면, 대상 블록에 관련된 인터 예측 정보는 대상 블록의 주변 블록의 인터 예측 정보일 수 있다. 대상 블록에 관련된 인터 예측 정보는 주변 인터 예측 정보일 수 있다. 주변 인터 예측 정보는 주변 블록의 인터 예측 정보를 의미할 수 있다.
결합 인터 예측 정보는 움직임 정보를 포함할 수 있다. 결합 인터 예측 정보의 움직임 정보는 참조 영상 리스트, 참조 영상 색인, 인터 예측 지시자, 움직임 벡터, 움직임 벡터 후보, 움직임 벡터 후보 리스트 및 픽처 오더 카운트(Picture Order Count; POC) 중 적어도 하나를 포함할 수 있다.
실시예에서, "인터 예측 정보"는 "움직임 정보" 및 "움직임 벡터"로 대체될 수 있고, "결합 인터 예측 정보"는 "결합 움직임 정보" 및 "결합 움직임 벡터"로 대체될 수 있다.
처리부는 결합 인터 예측 정보의 일부의 정보를 생성함에 있어서 복수의 주변 인터 예측 정보들 중에서 사용될 주변 인터 예측 정보를 선택할 수 있다.
예를 들면, 처리부는 선택된 주변 인터 예측 정보의 일부의 정보를 결합 인터 예측 정보의 일부의 정보로서 사용할 수 있다. 말하자면, 처리부는 선택된 주변 인터 예측 정보의 일부의 정보의 값을 결합 인터 예측 정보의 일부에 할당할 수 있다.
예를 들면, 일부의 정보는 IC 플래그 또는 OBMC 플래그일 수 있다.
예를 들면, 처리부는 복수의 주변 인터 예측 정보들 중 움직임 벡터의 결합에 대하여 선택되는 주변 인터 예측 정보를 사용하여 결합 인터 예측 정보의 일부의 정보를 생성할 수 있다.
예를 들면, 처리부는 복수의 주변 인터 예측 정보들 중 움직임 벡터의 결합에 대한 스케일링의 기준이 되는 주변 인터 예측 정보를 사용하여 결합 인터 예측 정보의 일부의 정보를 생성할 수 있다.
예를 들면, 도 15를 참조하면, 블록 B 및 블록 J의 인터 예측 정보들을 이용하여 블록 F에 대한 결합 인터 예측 정보가 생성되는 경우, 블록 B 또는 블록 J의 IC 플래그 및/또는 OBMC 플래그가 블록 F의 IC 플래그 및/또는 OBMC 플래그로서 사용될 수 있다.
처리부는 주변 움직임 정보들의 움직임 벡터들을 결합하여 결합 인터 예측 정보의 움직임 벡터를 생성할 수 있다. 주변 움직임 정보는 주변 블록의 움직임 정보일 수 있다. 또한, 주변 움직임 벡터는 주변 블록의 움직임 벡터일 수 있다.
예를 들면, 주변 움직임 정보는 도 16에 도시된 A 내지 K의 공간적 주변 블록들 및 도 17에 도시된 L 내지 W의 시간적 주변 블록들과 같은 블록의 움직임 정보일 수 있다.
주변 움직임 정보는 대상 블록과 인접하지 않은 블록의 움직임 정보일 수 있다. 대상 블록과 인접하지 않은 블록은 대상 블록의 주변 블록에 인접한 블록을 의미할 수 있다.
주변 움직임 정보는 대상 블록에 대해서 전술된 특정된 관계를 갖는 블록의 움직임 정보일 수 있고, 특정된 관계를 갖는 블록은 대상 블록과 인접하지 않은 블록일 수도 있다. 예를 들면, 특정된 관계를 갖는 블록은 대상 블록의 주변 블록에 인접한 블록일 수 있다. 주변 블록은 특정된 관계를 갖는 블록 및 대상 블록 사이에 위치할 수 있다.
결합 인터 예측 정보는 복수의 주변 블록의 움직임 정보들 중에서 하나를 선택한 결과일 수 있다. 이 때, 움직임 정보들 중 하나가 특정된 조건에 따라서 결합 인터 예측 정보로서 선택될 수 있다. 예를 들면, 결합 인터 예측 정보는 복수의 주변 블록의 움직임 정보들을 사용하는 계산, 선택, 결합 및 변환 등의 결과일 수 있다.
예를 들면, 결합 인터 예측 정보는 대상 픽처의 POC 및 주변 블록의 참조 픽처의 POC 간의 차이가 가장 작은 주변 블록의 움직임 정보일 수 있다.
예를 들면, 결합 인터 예측 정보는 머지 후보 리스트에 존재하는 특정된 움직임 정보일 수 있다.
결합 인터 예측 정보는 복수의 주변 움직임 정보들 중에서 하나 이상을 선택하여 결합한 결과일 수 있다. 이 때, 결합 인터 예측 정보는 특정된 조건에 따라서 선택될 수 있다.
예를 들면, 결합 인터 예측 정보의 움직임 벡터는 복수의 주변 블록들 중 특정된 주변 블록의 움직임 벡터일 수 있다. 여기에서, 특정된 주변 블록은 복수의 주변 블록들 중 대상 픽처의 POC 및 주변 블록의 참조 픽처의 POC 간의 차이가 가장 작은 주변 블록일 수 있다. 결합 인터 예측 정보의 움직임 벡터는 복수의 주변 움직임 벡터들을 사용하는 계산식의 결과일 수 있다. 주변 움직임 벡터는 주변 블록의 움직임 벡터일 수 있다. 주변 블록의 주변 움직임 벡터는 복수일 수 있다.
결합 인터 예측 정보를 생성함에 있어서, 처리부는 단방향 결합 인터 예측 정보 또는 양방향 결합 인터 예측 정보를 생성할 수 있다. 여기에서, 단방향 결합 인터 예측 정보는 순방향(L0) 인터 예측 정보 또는 역방향(L1) 인터 예측 정보일 수 있으며 양방향 결합 인터 예측 정보는 순방향 및 역방향 인터 예측 정보일 수 있다.
단방향 결합 인터 예측 정보는 1) 주변 블록의 양방향 인터 예측 정보들, 2) 주변 블록의 단방향 예측 정보들 및 3) 결합 인터 예측 정보들의 L0 또는 L1 인터 예측 정보들의 결합일 수 있다.
예를 들면, 처리부는 2개 이상의 시간적 주변 블록을 결합하여 L0(L1) 방향의 인터 예측 정보를 생성할 수 있으며, 생성된 단방향 예측 정보를 머지 후보 리스트에 추가할 수 있다.
예를 들면, 결합 인터 예측 정보는 2 개의 이전 블록들의 L0(L1) 방향의 인터 예측 정보들 및 1개의 시간적 주변 블록의 L0(L1) 방향의 인터 예측 정보의 결합의 결과일 수 있으며, 머지 후보 리스트에 추가될 수 있다.
예를 들면, 결합 인터 예측 정보는 머지 후보 리스트의 구성 과정에서 참조되는 2 개의 특정 주변 블록들의 L0(L1) 방향의 인터 예측 정보들의 결합의 결과일 수 있으며, 머지 후보 리스트에 추가될 수 있다.
양방향 결합 인터 예측 정보는 전술된 순방향 인터 예측 정보 및 역방향 인터 예측 정보의 조합일 수 있다.
결합 인터 예측 정보의 움직임 벡터는 주변 움직임 벡터들의 결합일 수 있다. 예를 들면, 주변 움직임 정보는 A 내지 W의 복수의 주변 블록들의 움직임 정보들의 결합일 수 있다. 예를 들면, 결합 인터 예측 정보의 움직임 벡터는 복수의 주변 움직임 벡터들의 평균 값, 최대 값, 최소 값 또는 중간 값일 수 있고, 평균 값, 최대 값, 최소 값 및 중간 값의 적어도 하나의 결합일 수 있다.
평균 값은 결합되는 움직임 벡터들의 합을 결합되는 움직임 벡터들의 개수로 나눈 것일 수 있다. 예를 들면, 움직임 벡터 (4, 6) 및 움직임 벡터 (6, 10)의 평균 값은 (5, 8)일 수 있다.
예를 들면, 결합 인터 예측 정보의 움직임 벡터는 복수의 주변 움직임 벡터들의 가중치가 부여된 평균 값(weighted-average)일 수 있고, 복수의 주변 움직임 벡터들의 변화량을 이용하는 결합일 수 있다.
예를 들면, 도 17에서 도시된 것과 같이, 대상 블록(1710)에 대하여 좌측 상단 주변 블록(1720), 상단 주변 블록(1730), 우측 상단 주변 블록(1740), 좌측 주변 블록(1750) 및 좌측 하단 주변 블록(1760)이 존재할 수 있다. 좌측 상단 주변 블록(1720)의 움직임 정보(1721) 및 상단 주변 블록(1730)의 움직임 정보(1731)의 결합에 의해 우측 상단 블록(1740)의 움직임 정보(1741)에 해당하는 결합 인터 예측 정보가 생성될 수 있다. 이러한 결합 인터 예측 정보가 대상 블록(1710)의 움직임 정보(1711)로서 사용될 수 있다.
예를 들면, 도 18에서 도시된 것과 같이, 좌측 상단 주변 블록(1720)의 움직임 정보(1721) 및 우측 상단 주변 블록(1740)의 움직임 정보(1741)의 결합에 의해 상단 블록(1730)의 움직임 정보(1731)에 해당하는 결합 인터 예측 정보가 생성될 수 있다. 이러한 결합 인터 예측 정보가 대상 블록(1710)의 움직임 정보(1711)로서 사용될 수 있다.
전술된 것과 같이, 결합 인터 예측 정보의 움직임 벡터는 주변 움직임 벡터들의 가중치 결합의 결과일 수 있다. 대상 블록과의 상관성이 더 높은 주변 블록의 움직임 벡터에 대해 더 높은 가중치가 부여될 수 있다.
결합 인터 예측 정보의 움직임 벡터는 주변 움직임 벡터들의 블록 크기 기반 가중치 결합(weighted combination based on block size)의 결과일 수 있다. 블록 크기 기반 가중치 결합은 아래의 수식 2와 같을 수 있다.
[수식 2]
Figure PCTKR2018011905-appb-I000002
MVLeft는 대상 블록의 좌측의 주변 움직임 벡터일 수 있다. 대상 블록의 좌측의 주변 움직임 벡터는 대상 블록의 좌측에 인접한 주변 블록의 움직임 벡터일 수 있다.
width는 대상 블록의 폭일 수 있으며, 대상 블록의 좌측의 주변 움직임 벡터에 대한 가중치일 수 있다.
MVAbove는 대상 블록의 상단의 주변 움직임 벡터일 수 있다. 대상 블록의 상단의 주변 움직임 벡터는 대상 블록의 상단에 인접한 주변 블록의 움직임 벡터일 수 있다.
height는 대상 블록의 높이일 수 있으며, 대상 블록의 상단의 주변 움직임 벡터에 대한 가중치일 수 있다.
결합 인터 예측 정보의 움직임 벡터는 주변 움직임 벡터들의 POC 가중치 결합(weighted combination based on POC)의 결과일 수 있다.
예를 들면, 주변 움직임 정보의 참조 픽처의 POC 및 대상 픽처의 POC가 더 가까울수록 주변 움직임 벡터에 대한 가중치가 더 클 수 있다.
변화량을 이용하는 결합은 2 개 이상의 움직임 벡터들의 변화량을 이용하여, 결합되는 블록들의 이전의 위치의 블록 또는 결합되는 블록들의 이후의 위치의 블록의 인터 예측 정보를 생성하는 것일 수 있다.
예를 들면, 도 15를 참조하면, 처리부는 블록 I의 움직임 벡터 및 블록 J의 움직임 벡터 간의 변화량을 이용하는 결합을 통해 블록 K의 움직임 벡터를 유도할 수 있다. 블록 K의 움직임 벡터는 블록 J의 움직임 벡터 및 블록 I의 움직임 벡터 간의 차이를 블록 J의 움직임 벡터에 더한 것일 수 있다.
또는, 결합 인터 예측 정보의 움직임 벡터는 주변 움직임 벡터들의 외삽(extrapolation) 결합의 결과일 수 있다.
예를 들면, 2 개의 주변 움직임 벡터들의 외삽 결합은 아래의 수식 3과 같을 수 있다.
[수식 3]
Figure PCTKR2018011905-appb-I000003
MV0은 첫 번째의 주변 움직임 벡터일 수 있다. MV1는 두 번째의 주변 움직임 벡터일 수 있다.
결합 인터 예측 정보를 생성하기 위해 사용되는 인터 예측 정보에 스케일링이 적용될 수 있다.
예를 들면, 처리부는 주변 움직임 정보가 양방향 예측을 나타낼 경우, L1의 움직임 벡터를 기준으로 L0의 움직임 벡터를 스케일링할 수 있다. 처리부는 스케일링된 L0의 움직임 벡터를 L1의 움직임 벡터와 결합함으로써 결합 인터 예측 정보를 생성할 수 있다.
예를 들면, 처리부는 주변 움직임 정보가 양방향 예측을 나타낼 경우, L0의 움직임 벡터를 기준으로 L1의 움직임 벡터를 스케일링할 수 있다. 처리부는 스케일링된 L1의 움직임 벡터를 L0의 움직임 벡터와 결합함으로써 결합 인터 예측 정보를 생성할 수 있고, 생성된 결합 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다.
처리부는 결합 인터 예측 정보를 생성하기 위해 사용되는 복수의 주변 움직임 정보들의 참조 픽처들이 서로 다르면, 인터 예측 정보에 스케일링을 적용함으로써 인터 예측 정보를 변경할 수 있다.
예를 들면, 도 15를 참조하면, 결합에 사용되는 주변 블록들이 블록 B 및 블록 J이고, 블록 B 및 블록 J의 참조 픽처들이 서로 다른 경우, 처리부는 블록 B 및 블록 B의 참조 픽처 간의 시간적 거리에 따라 블록 J의 움직임 벡터에 대한 스케일링을 수행할 수 있다.
예를 들면, 도 15를 참조하면, 결합에 사용되는 주변 블록들이 블록 B 및 블록 J이고, 블록 B 및 블록 J의 참조 픽처들이 서로 다른 경우, 처리부는 블록 J 및 블록 J의 참조 픽처 간의 시간적 거리에 따라 블록 B의 움직임 벡터에 대한 스케일링을 수행할 수 있다.
스케일링에 있어서, 처리부는 스케일링의 기준이 되는 주변 움직임 정보를 선택할 수 있다.
처리부는 POC에 기반하여 스케일링의 기준이 되는 주변 움직임 정보를 선택할 수 있다. 처리부는 복수의 주변 움직임 정보들 중 움직임 정보의 참조 픽처의 POC가 대상 픽처의 POC와 가까운 움직임 정보를 기준 움직임 정보로서 선택할 수 있다.
결합 인터 예측 정보를 생성함에 있어서, 처리부는 특정된 조건에 기반하여 결합의 여부를 결정할 수 있다.
결합 인터 예측 정보를 생성함에 있어서, 처리부는 결합에 사용되는 인터 예측 정보들 또는 움직임 정보들 간의 유사성에 기반하여 결합 여부를 결정할 수 있다. 예를 들면, 처리부는 유사성이 기정의된 임계치 보다 더 작을 경우 결합을 하지 않을 수 있다. 또는, 처리부는 유사성이 기정의된 임계치 보다 더 클 경우 결합을 하지 않을 수 있다.
여기에서, 유사성은 움직임 정보들을 사용하는 계산식의 값 또는 결과를 나타낼 수 있다.
처리부는 주변 움직임 정보의 참조 픽처들의 방향에 기반하여 주변 움직임 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다. 예를 들면, 처리부는 같은 방향의 주변 움직임 벡터들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다.
전술된 것과 같이, 처리부는 복수의 블록들의 인터 예측 정보들을 결합하여 결합 인터 예측 정보를 생성할 수 있다. 여기에서, 복수의 블록들의 각 블록은 특정된 조건을 충족시키는 블록일 수 있다.
도 15에 도시된 각 블록에 있어서, 특정된 블록의 인터 예측 정보는 결합 인터 예측 정보로 대체될 수 있다. 처리부는 특정된 블록의 좌측의 위치에 대한 제1 인터 예측 정보를 도출할 수 있고, 특정된 블록의 우측의 위치에 대한 제2 인터 예측 정보를 도출할 수 있고, 도출된 제1 인터 예측 정보 및 제2 인터 예측 정보를 결합하여 결합 인터 예측 정보를 생성할 수 있다. 생성된 결합 인터 예측 정보는 특정된 블록의 인터 예측 정보를 대체할 수 있다. 여기에서, 특정된 블록의 좌측의 위치에 대한 인터 예측 정보는 특정된 블록의 좌측에 위치한 블록의 인터 예측 정보일 수 있다. 특정된 블록의 우측의 위치에 대한 인터 예측 정보는 특정된 블록의 우측에 위치한 블록의 인터 예측 정보일 수 있다. 또한, 이러한 도출, 결합 및 생성은 움직임 정보 및 움직임 벡터 등과 같은 인터 예측 정보의 일부에도 적용될 수 있다.
예를 들면, 좌측의 위치에 대한 제1 인터 예측 정보를 도출함에 있어서, 특정된 블록의 좌측에 위치한 하나의 블록의 인터 예측 정보만이 가용한 경우, 처리부는 가용한 인터 예측 정보를 결합을 위해 사용할 수 있다.
예를 들면, 우측의 위치에 대한 제2 인터 예측 정보를 도출함에 있어서, 특정된 블록의 우측에 위치한 하나의 블록의 인터 예측 정보만이 가용한 경우, 처리부는 가용한 인터 예측 정보를 결합을 위해 사용할 수 있다.
예를 들면, 특정된 블록의 좌측에 위치한 복수의 블록의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 가용한 복수의 인터 예측 정보들을 결합하여 제1 인터 예측 정보를 도출할 수 있다.
예를 들면, 특정된 블록의 우측에 위치한 복수의 블록의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 가용한 복수의 인터 예측 정보들을 결합하여 제2 인터 예측 정보를 도출할 수 있다.
예를 들면, 좌측의 위치에 대한 제1 인터 예측 정보를 도출함에 있어서, 특정된 블록의 좌측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 인터 예측 정보들 중 특정된 인터 예측 정보를 제1 인터 예측 정보로서 선택할 수 있고, 선택된 인터 예측 정보를 결합 인터 예측 정보의 생성을 위해 사용할 수 있다.
예를 들면, 특정된 블록의 좌측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 블록들 중 대상 픽처로부터의 시간적 거리가 가장 작은 참조 픽처를 갖는 블록을 선택할 수 있다. 처리부는 선택된 블록의 인터 예측 정보를 제1 인터 예측 정보로서 선택할 수 있다. 픽처들 간의 시간적 거리는 픽처들이 디스플레이되는 순서들 간의 차이일 수 있다.
예를 들면, 우측의 위치에 대한 제2 인터 예측 정보를 도출함에 있어서, 특정된 블록의 우측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 인터 예측 정보들 중 특정된 인터 예측 정보를 제2 인터 예측 정보로서 선택할 수 있고, 선택된 인터 예측 정보를 결합 인터 예측 정보의 생성을 위해 사용할 수 있다.
예를 들면, 특정된 블록의 우측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 블록들 중 대상 픽처로부터의 시간적 거리가 가장 작은 참조 픽처를 갖는 블록을 선택할 수 있다. 처리부는 선택된 블록의 인터 예측 정보를 제2 인터 예측 정보로서 선택할 수 있다.
예를 들면, 도 15에 도시된 각 블록에 있어서, 특정된 블록의 좌측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 인터 예측 정보들을 결합하여 결합 인터 예측 정보를 생성할 수 있다. 생성된 결합 인터 예측 정보는 특정된 블록의 인터 예측 정보를 대체할 수 있다. 또한, 특정된 블록의 우측에 위치한 복수의 블록들의 복수의 인터 예측 정보들이 가용한 경우, 처리부는 복수의 인터 예측 정보들을 결합하여 결합 인터 예측 정보를 생성할 수 있다.
예를 들면, 도 16의 블록 N, 블록 O, 블록 P 또는 블록 Q 중 특정된 블록에 있어서, 처리부는 다른 복수의 이전 픽처들 내의 복수의 동일 위치 블록들의 인터 예측 정보들이 가용한 경우 가용한 인터 예측 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다. 생성된 결합 인터 예측 정보는 특정된 블록의 인터 예측 정보를 대체할 수 있다. 동일 위치 블록은 특정된 블록의 콜 블록일 수 있다. 말하자면, 동일 위치 블록의 다른 이전 픽처 내의 위치는 특정된 블록의 이전 픽처 내의 위치와 같을 수 있다.
예를 들면, 블록 N에 대한 결합 인터 예측 정보는 동일 위치 블록들 L 및 M의 인터 예측 정보들의 결합일 수 있다. 예를 들면, 블록 O에 대한 결합 인터 예측 정보는 동일 위치 블록들 U 및 R의 인터 예측 정보들의 결합일 수 있다. 예를 들면, 블록 P에 대한 결합 인터 예측 정보는 동일 위치 블록들 V 및 S의 인터 예측 정보들의 결합일 수 있다. 예를 들면, 블록 Q에 대한 결합 인터 예측 정보는 동일 위치 블록들 W 및 T의 인터 예측 정보들의 결합일 수 있다.
예를 들면, 처리부는 하나 이상의 공간적 주변 블록들의 하나 이상의 인터 예측 정보들 및 하나 이상의 시간적 주변 블록들의 하나 이상의 인터 예측 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다.
도 19는 일 예에 따른 주변 블록의 결합 인터 예측 정보의 생성을 나타낸다.
도 19에서, 대상 CU는 대상 블록을 나타낼 수 있다.
도 19에서, 블록 AL, 블록 A, 블록 AR, 블록 L 및 블록 LB는 각각 대상 블록의 좌측 상단 주변 블록, 상단 주변 블록, 우측 상단 주변 블록, 좌측 주변 블록 및 좌측 하단 주변 블록일 수 있다.
상단 주변 블록은 대상 블록의 복수의 상단 주변 블록들 중 최우측(또는, 최좌측)의 블록을 의미할 수 있다. 좌측 주변 블록은 대상 블록의 복수의 좌측 주변 블록들 중 최하단(또는, 최상단)의 블록을 의미할 수 있다.
블록 A 및 블록 AR은 대상 블록의 상단에 인접하거나 대상 블록의 상단에 위치한 복수의 블록들로 이해될 수 있다. 블록 L 및 블록 LB은 대상 블록의 좌측에 인접하거나 대상 블록의 좌측에 위치한 복수의 블록들로 이해될 수 있다.
처리부는 블록 A 및 블록 AR의 인터 예측 정보들을 결합하여 제1 주변 인터 예측 정보를 생성할 수 있고, 이러한 인터 예측 정보들은 상단 인터 예측 정보 또는 상단 움직임 벡터 등으로 이해될 수 있다. 처리부는 블록 L 및 블록 LB의 인터 예측 정보들을 결합하여 제2 주변 인터 예측 정보를 생성할 수 있다. 이러한 인터 예측 정보들은 좌측 인터 예측 정보 또는 좌측 움직임 벡터 등으로 이해될 수 있다. 처리부는 제1 주변 인터 예측 정보 및 제2 주변 인터 예측 정보를 결합하여 결합 인터 예측 정보를 생성할 수 있다.
블록 AL의 인터 예측 정보가 가용하지 않을 때, 처리부는 생성된 결합 인터 예측 정보를 블록 AL의 인터 예측 정보로 대체할 수 있다. 또는, 처리부는 블록 AL에 대하여 생성된 결합 인터 예측 정보를 새로운 머지 후보로서 머지 후보 리스트에 추가할 수 있다.
전술된 제1 주변 인터 예측 정보, 제2 주변 인터 예측 정보 및 결합 인터 예측 정보를 획득함에 있어서 전술된 결합 방법들 및 아래에서 설명될 결합 방법들이 사용될 수 있다.
처리부는 블록 A 및 블록 AR의 인터 예측 정보들 중 하나만이 가용한 경우, 인터 예측 정보들 중 가용한 인터 예측 정보를 제1 주변 인터 예측 정보로서 사용할 수 있다. 또한, 처리부는 블록 L 및 블록 LB의 인터 예측 정보들 중 하나만이 가용한 경우, 인터 예측 정보들 중 가용한 인터 예측 정보를 제2 주변 인터 예측 정보로서 사용할 수 있다.
처리부는 블록 A 및 블록 AR의 인터 예측 정보들 중 하나의 인터 예측 정보를 선택할 수 있고, 선택된 인터 예측 정보를 제1 주변 인터 예측 정보로서 사용할 수 있다. 처리부는 블록 L 및 블록 LB의 인터 예측 정보들 중 하나의 인터 예측 정보를 선택할 수 있고, 선택된 인터 예측 정보를 제2 주변 인터 예측 정보로서 사용할 수 있다.
처리부는 블록 A 및 블록 AR의 인터 예측 정보들 중 대상 픽처의 POC에 더 가까운 POC를 갖는 인터 예측 정보를 제1 주변 인터 예측 정보로서 선택할 수 있다. 여기에서, 인터 예측 정보의 POC는 인터 예측 정보의 움직임 정보의 POC일 수 있다.
처리부는 블록 L 및 블록 LB의 인터 예측 정보들 중 대상 픽처의 POC에 더 가까운 POC를 갖는 인터 예측 정보를 제2 주변 인터 예측 정보로서 선택할 수 있다.
도 20은 일 예에 따른 블록 AL의 인터 예측 정보의 생성을 나타낸다.
MV0 및 MV1은 각각 결합 인터 예측 정보를 위해 사용되는 움직임 벡터를 나타낼 수 있다.
처리부는 블록 L 및 블록 LB의 인터 예측 정보들의 결합을 통해 결합 인터 예측 정보를 생성할 수 있다. 결합 인터 예측 정보는 블록 AL의 인터 예측 정보를 대체할 수 있고, 머지 후보로서 대상 블록에 대한 머지 후보 리스트에 추가될 수 있다.
도 21은 일 예에 따른 블록 AR의 인터 예측 정보의 생성을 나타낸다.
처리부는 블록 A 및 블록 L의 인터 예측 정보들의 결합을 통해 결합 인터 예측 정보를 생성할 수 있다. 결합 인터 예측 정보는 블록 AR의 인터 예측 정보를 대체할 수 있고, 머지 후보로서 대상 블록에 대한 머지 후보 리스트에 추가될 수 있다. 예를 들면, 전술된 결합은 외삽 결합일 수 있다.
도 22는 일 예에 따른 대상 CU의 인터 예측 정보의 생성을 나타낸다.
처리부는 블록 L 및 비인접 블록의 인터 예측 정보들의 결합을 통해 결합 인터 예측 정보를 생성할 수 있다. 결합 인터 예측 정보는 머지 후보로서 대상 블록에 대한 머지 후보 리스트에 추가될 수 있다. 예를 들면, 전술된 결합은 외삽 결합일 수 있다.
머지 후보 리스트 내의 인터 예측 정보를 사용하는 결합 인터 예측 정보의 생성
처리부는 머지 후보 리스트 내의 M 개의 인터 예측 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있고, 생성된 결합 인터 예측 정보를 인터 예측에 사용하거나, 머지 후보 리스트에 추가할 수 있다.
이 때, 결합되는 복수의 인터 예측 정보들의 움직임 벡터들의 방향은 같을 수 있다.
이 때, M은 2 이상의 정수일 수 있고, M은 머지 후보 리스트 내의 인터 예측 정보들의 개수의 이하일 수 있다.
예를 들면, 머지 후보 리스트 내에 3 개의 인터 예측 정보가 존재하고, M의 값이 2일 때, 사용될 수 있는 조합들은 (제1 인터 예측 정보, 제2 인터 예측 정보), (제1 인터 예측 정보, 제3 인터 예측 정보) 및 (제2 인터 예측 정보, 제3 인터 예측 정보)일 수 있고, 처리부는 이러한 조합에 따라서 인터 예측 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다.
예를 들면, 머지 후보 리스트 내에 4 개의 인터 예측 정보가 존재하고, M의 값이 4일 때, 사용될 수 있는 조합은 (제1 인터 예측 정보, 제2 인터 예측 정보, 제3 인터 예측 정보, 제4 인터 예측 정보)일 수 있고, 처리부는 이러한 조합에 따라서 인터 예측 정보들을 결합함으로써 결합 인터 예측 정보를 생성할 수 있다.
머지 후보 리스트의 구성
전술된 것과 같이, 처리부는 머지 후보 리스트를 구성함에 있어서 주변 블록들의 인터 예측 정보들을 머지 후보들로서 머지 후보 리스트에 추가할 수 있다. 이 때, 처리부는 주변 블록들의 특정된 순서에 따라 주변 블록들의 인터 예측 정보들을 머지 후보 리스트에 추가할 수 있다.
도 15를 참조하면, 처리부는 머지 후보 리스트를 구성함에 있어서 특정된 공간적 주변 블록들의 인터 예측 정보들을 머지 후보들로서 사용할 수 있다. 특정된 공간적 주변 블록들은 블록 A, 블록 B, 블록 F, 블록 J 및 블록 K일 수 있다.
처리부는 특정된 순서에 따라 1) 결합 인터 예측 정보, 2) 서브 블록 단위의 움직임 정보 유도 모드(예를 들면, ATMVP 및 STMVP 등) 및 3) 어파인 움직임 정보 유도 모드를 머지 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 (B, J, K, A, ATMVP, F, 결합 인터 예측 정보)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 처리부는 (B, J, K, A, 제1 결합 인터 예측 정보, ATMVP, F, 제2 결합 인터 예측 정보)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 이 때, 제1 결합 인터 예측 정보와 및 제2 결합 인터 예측 정보는 생성을 위해 참조되는 주변 블록, 주변 블록의 개수 및 결합 인터 예측 정보의 방향성에 있어서 서로 상이할 수 있다.
이하에서, "(α, β, γ, δ, ε)"는 블록들 간의 순서를 나타낼 수 있고, 괄호 내에서 앞에 위치한 기호의 블록이 뒤에 위치한 기호의 블록보다 먼저 처리된다는 것을 나타낼 수 있다. "(α, β, γ, δ, ε)의 순서에 따라 머지 후보 리스트를 구성한다"는 것은 머지 후보 리스트를 구성함에 있어서, 블록 α, 블록 β, 블록 γ, 블록 δ 및 블록 ε의 순서에 따라 머지 후보 리스트의 구성의 작업이 수행된다는 것을 의미할 수 있으며, 열거된 블록들의 순서에 따라 블록들에 대한 처리가 수행된다는 것을 의미할 수 있다.
여기에서, 처리부는 블록들의 순서에 따라, 각 블록에 대하여, 아래의 작업 1) 내지 작업 5)를 수행할 수 있다.
1) 처리부는 블록의 인터 예측 정보를 머지 후보 리스트에 추가할 지 여부를 결정할 수 있다.
2) 블록의 인터 예측 정보를 머지 후보 리스트에 추가하기로 결정된 경우, 처리부는 블록의 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다.
3) (블록의 인터 예측 정보를 머지 후보 리스트에 추가하지 않기로 결정된 경우) 처리부는 블록에 대한 결합 인터 예측 정보를 유도할 지 여부를 결정할 수 있다.
4) 처리부는 결합 인터 예측 정보를 유도하기로 결정된 경우 결합 인터 예측 정보를 유도할 수 있다.
5) 처리부는 결합 인터 예측 정보를 머지 후보 리스트에 추가할 지 여부를 결정할 수 있다.
6) 결합 인터 예측 정보를 머지 후보 리스트에 추가하기로 결정된 경우, 처리부는 결합 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다.
하나의 블록에 대해 작업 1) 내지 작업 5)가 수행되면, 다음 블록에 대해서 작업 1)이 수행될 수 있다.
예를 들면, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 처리부는 (J, B, A, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
도 23은 폭 및 높이가 동일한 CU가 수직으로 분할된 경우를 나타낸다.
도 24는 폭 및 높이가 동일한 CU가 수평으로 분할된 경우를 나타낸다.
도 25는 높이에 비해 폭이 더 큰 CU가 수직으로 분할된 경우를 나타낸다.
도 26은 폭에 비해 높이가 더 큰 CU가 수평으로 분할된 경우를 나타낸다.
이러한 폭 및 높이의 비교 및 분할의 방향은 주변 블록들의 순서를 결정할 수 있다.
처리부는 대상 블록의 모양에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
머지 후보 리스트를 구성하기 위한 방식은 머지 리스트를 구성하기 위한 주변 블록들 간의 순서를 포함할 수 있다. 주변 블록들 간의 순서는 주변 블록들의 인터 예측 정보들의 가용성 검사 및 추가의 순서를 의미할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우, 처리부는 (J, B, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록의 높이가 대상 블록의 폭의 이하인 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우, 처리부는 (J, B, A, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록의 높이가 대상 블록의 폭의 이하인 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우, 처리부는 (J, K, B, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우, 처리부는 (B, A, J, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록의 높이 및 대상 블록의 폭이 같은 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우, 처리부는 대상 블록보다 더 상단에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우, 처리부는 (F, G, H, I, J, K)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우, 처리부는 대상 블록보다 더 좌측에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우, 처리부는 (A, B, C, D, E, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 분할 상태에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
분할 상태는 분할의 방향을 의미할 수 있다. 대상 블록의 분할 상태는 대상 블록을 생성하기 위해 사용된 분할의 종류 또는 방향을 의미할 수 있다. 또는, 대상 블록의 분할 상태는 대상 블록의 상위 블록에게 적용된 분할의 종류 또는 방향을 의미할 수 있다.
예를 들면, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, B, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록이 수직 분할의 결과가 아닌 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, B, A, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있고, 대상 블록이 수직 분할의 결과가 아닌 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 처리부는 대상 블록이 수직 분할, 수평 분할 및 쿼드 분할 중 어느 분할의 결과인가에 따라 서로 다른 주변 블록들의 순서들 중 하나를 선택하고, 선택된 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, K, B, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 대상 블록이 수평 분할의 결과인 경우 처리부는 (B, A, J, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 대상 블록이 쿼드 분할의 결과인 경우, 처리부는 (B, J, K, A, F)의 순서로 구성할 수 있다.
예를 들면, 대상 블록이 수직 분할의 결과인 경우, 처리부는 대상 블록보다 더 상단에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록이 수직 분할의 결과인 경우, 처리부는 (F, G, H, I, J, K)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록이 수평 분할의 결과인 경우, 처리부는 대상 블록보다 더 좌측에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록이 수평 분할의 결과인 경우, 처리부는 (A, B, C, D, E, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 모양 및 대상 블록의 분할 상태의 양자에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, B, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 그 외의 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, B, A, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 그 외의 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (J, K, B, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우 또는 대상 블록이 수평 분할의 결과인 경우, 처리부는 (B, A, J, K, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 쿼드 분할의 결과인 경우, 처리부는 (B, J, K, A, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 대상 블록보다 더 상단에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이가 대상 블록의 폭보다 더 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 (F, G, H, I, J, K)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우 또는 대상 블록이 수평 분할의 결과인 경우, 처리부는 대상 블록보다 더 좌측에 위치한 공간적 주변 블록들의 인터 예측 정보들을 이용하여 머지 후보 리스트를 구성할 수 있다. 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우 또는 대상 블록이 수평 분할의 결과인 경우, 처리부는 (A, B, C, D, E, F)의 순서에 따라 머지 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 위치에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
대상 블록의 위치는 상위 블록 내에서의 상대적 위치를 의미할 수 있다. 상위 블록의 분할을 통해 복수의 분할된 블록들이 생성될 수 있고, 대상 블록은 복수의 분할된 블록들 중 하나의 블록일 수 있다. 대상 블록의 위치는 상위 블록 내에서의 대상 블록의 위치 또는 복수의 분할된 블록들 중 대상 블록의 위치를 의미할 수 있다. 분할은 이진 분할 또는 쿼드 분할일 수 있다.
예를 들면, 도 23에서, 처리부는 분할된 제1 CU에 대한 머지 후보 리스트에 대해서는 일괄적 구성 방법을 적용할 수 있고, 분할된 제2 CU에 대한 머지 후보 리스트에 대해서는 적응적 구성 방법을 적용할 수 있다.
처리부는 결합 인터 예측 정보가 존재하는지 여부에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다. 처리부는 머지 후보 리스트를 구성함에 있어서 결합 인터 예측 정보가 존재하는 경우, 결합 인터 예측 정보의 우선순위를 조정할 수 있다. 여기에서, 우선순위는 결합 인터 예측 정보의 머지 후보 리스트 내에서의 위치, 결합 인터 예측 정보의 인덱스 또는 결합 인터 예측 정보가 머지 후보 리스트에 추가되는 순서 등을 의미할 수 있다.
예를 들면, (B, J, K, A, F)의 순서에 따라 머지 후보 리스트가 구성되는 경우, 블록 B가 결합 인터 예측 정보를 가지고 있으면, 처리부는 (J, K, A, F, B)의 순서에 따라 머지 후보 리스트를 구성할 수 있다. 말하자면, 처리부는 결합 인터 예측 정보에게 가장 낮은 우선순위를 부여할 수 있다. 또는, 처리부는 머지 후보 리스트를 구성함에 있어서 결합 인터 예측 정보를 인터 예측 정보들의 다음으로 머지 후보 리스트에 추가할 수 있다. 말하자면, 처리부는 주변 블록들의 인터 예측 정보들에 비해 후순위로 결합 인터 예측 정보를 머지 후보 리스트에 추가할 수 있다.
예를 들면, (B, J, K, N, F)의 순서에 따라 머지 후보 리스트가 구성되고, 블록 N이 시간적 주변 블록인 경우, 블록 F가 결합 인터 예측 정보를 가지고 있으면, 처리부는 (B, K, A, F, N)의 순서에 따라 머지 후보 리스트를 구성흘 수 있다. 말하자면, 처리부는 결합 인터 예측 정보에게 공간적 주변 블록의 인터 예측 정보에 비해서는 더 낮고, 시간적 주변 블록의 인터 예측 정보에 비해서는 더 높은 우선순위를 부여할 수 있다.
또는, 처리부는 머지 후보 리스트를 구성함에 있어서 결합 인터 예측 정보를 공간적 주변 블록의 인터 예측 정보의 다음이고, 시간적 주변 블록의 인터 예측 정보의 이전에 머지 후보 리스트에 추가할 수 있다. 또는, 처리부는 결합 인터 예측 정보에게 시간적 주변 블록의 인터 예측 정보에 비해서는 더 높은 우선순위를 부여할 수 있다. 또는, 처리부는 머지 후보 리스트를 구성함에 있어서 결합 인터 예측 정보를 시간적 주변 블록의 인터 예측 정보의 이전에 머지 후보 리스트에 추가할 수 있다.
예를 들면, 복수의 결합 인터 예측 정보들이 존재하는 경우, 복수의 결합 인터 예측 정보들 간의 순서는 전술된 순서의 결정 방식에 따라 그대로 유지될 수 있다.
처리부는 대상 블록의 깊이에 기반하여 머지 후보 리스트를 구성하기 위한 방법을 결정할 수 있다. 대상 블록의 깊이는 QT 분할에 의한 QT 깊이 또는 BT 분할에 의한 BT 깊이 중 적어도 하나일 수 있다.
예를 들면, 처리부는 대상 블록의 깊이가 특정된 범위 내에 포함되는지 여부에 기반하여 머지 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 처리부는 대상 블록의 BT 깊이가 n 이하인 경우, 전술된 대상 블록의 모양에 기반하여 머지 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 머지 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 머지 후보 리스트를 구성할 수 있다. 예를 들면, n은 1일 수 있다.
예를 들면, 처리부는 대상 블록의 QT 깊이가 n 이상이면서, BT 깊이가 m이하인 경우, 전술된 대상 블록의 모양에 기반하여 머지 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 머지 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 머지 후보 리스트를 구성할 수 있다. 예를 들면, n은 3, m은 1일 수 있다.
처리부는 대상 블록의 위치 및 대상 블록의 깊이에 기반하여 머지 후보 리스트를 구성하기 위한 방법을 결정할 수 있다.
예를 들면, 처리부는 대상 블록의 BT 깊이가 n 이하이면서, 대상 블록이 수평 분할에 의해 분할된 블록들 중 아래에 위치한 블록이면 전술된 대상 블록의 모양에 기반하여 머지 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 머지 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 머지 후보 리스트를 구성할 수 있다. n은 1일 수 있다.
AMVP 후보 리스트의 구성
처리부는 AMVP 모드를 사용하여 대상 블록의 인터 예측 정보를 유도할 수 있다.
처리부는 AMVP 후보 리스트를 구성할 수 있다. AMVP 후보 리스트의 AMVP 후보들은 N개일 수 있다. N은 양의 정수일 수 있다. 예를 들면, AMVP 후보 리스트는 2개의 AMVP 후보를 포함할 수 있다.
예를 들면, AMVP 후보는 인터 예측 정보 또는 움직임 정보일 수 있다. 또는, AMVP 후보는 움직임 벡터 또는 참조 픽처 리스트를 포함할 수 있다.
처리부는 공간적 주변 블록의 인터 예측 정보, 시간적 주변 블록의 인터 예측 블록 및 결합 인터 예측 정보 중 하나 이상을 사용하여 AMVP 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도하고, 상측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다. AMVP 후보 리스트가 다 채워지지 않은 경우, 처리부는 시간적 주변 블록의 인터 예측 정보로부터 다른 AMVP 후보를 유도할 수 있다.
처리부는 주변 블록들의 특정된 순서에 따라 주변 블록들의 인터 예측 정보들을 사용하여 AMVP 후보를 유도할 수 있고, 유도된 AMVP 후보를 AMVP 후보 리스트에 추가할 수 있다. 이 때, 주변 블록들의 순서에 따라 AMVP 후보 리스트가 상이하게 구성될 수 있으며, 주변 블록들의 순서에 따라 AMVP 후보 리스트를 사용하는 부호화 및 복호화의 예측 효율 및 부호화 효율이 변할 수 있다.
처리부는 좌측 주변 블록들의 특정된 순서에 따라 AMVP 후보를 유도할 수 있다. 여기에서, 주변 블록들의 특정된 순서에 따라 AMVP 후보를 유도한다는 것은 특정된 순서에 의해 선택된 주변 블록의 인터 예측 정보를 사용하여 AMVP 후보를 유도한다는 것을 의미할 수 있다.
주변 블록들의 특정된 순서에 따라 AMVP 후보를 유도함에 있어서, 처리부는 현재의 순서의 주변 블록의 인터 예측 정보가 가용한 경우 현재의 순서의 주변 블록의 인터 예측 정보를 사용하여 AMVP 후보를 유도할 수 있다. 처리부는 현재의 순서의 주변 블록의 인터 예측 정보가 비가용한 경우, 다음의 순서의 주변 블록의 인터 예측 정보를 사용하여 AMVP 후보를 유도할 수 있다. 말하자면, 처리부는 주변 블록들 중 가용한 인터 예측 정보를 갖는 가장 앞선 순위의 주변 블록의 인터 예측 정보를 사용하여 AMVP 후보를 유도할 수 있다.
주변 블록의 인터 예측 정보가 비가용하다는 것은 아래의 1) 내지 3)의 경우들 중 적어도 하나에 해당한다는 것을 의미할 수 있다.
1) 주변 블록의 인터 예측 정보가 존재하지 않는 경우.
2) 주변 블록 및 대상 블록이 서로 다른 슬라이스들, 타일들 또는 픽처들에 포함되는 경우.
3) 인터 예측 정보에 의해 유도되는 AMVP 후보가 이미 AMVP 리스트 내에 포함된 다른 AMVP 후보와 동일한 경우. 말하자면, 인터 예측 정보에 의해 유도되는 AMVP 후보가 중복된 AMVP 후보인 경우.
예를 들면, 처리부는 좌측 주변 블록들을 사용하여 AMVP 후보를 유도함에 있어서, (A, B)의 순서에 따라 AMVP 후보를 유도할 수 있다. 말하자면, 블록 A의 인터 예측 후보가 가용한 경우, 블록 A의 인터 예측 후보에 의해 유도된 AMVP 후보가 AMVP 리스트 내에 포함될 수 있고, 블록 A의 인터 예측 후보가 비가용하고 블록 B의 인터 예측 후보가 가용한 경우, 블록 B의 인터 예측 후보에 의해 유도된 AMVP 후보가 AMVP 리스트 내에 포함될 수 있다.
예를 들면, 처리부는 좌측 주변 블록들을 사용하여 AMVP 후보를 유도함에 있어서, (B, A)의 순서에 따라 AMVP 후보를 유도할 수 있다.
예를 들면, 처리부는 좌측 주변 블록들을 사용하여 AMVP 후보를 유도함에 있어서, (A, B, C, D, E)의 순서에 따라 AMVP 후보를 유도할 수 있다.
처리부는 상단 주변 블록들의 특정된 순서에 따라 AMVP 후보를 유도할 수 있다.
예를 들면, 처리부는 상단 주변 블록들을 사용하여 AMVP 후보를 유도함에 있어서, (K, J, F)의 순서에 따라 AMVP 후보를 유도할 수 있다.
예를 들면, 처리부는 상단 주변 블록들을 사용하여 AMVP 후보를 유도함에 있어서, (K, F, J)의 순서에 따라 AMVP 후보를 유도할 수 있다.
처리부는 주변 블록의 인터 예측 정보가 존재하지 않거나 비가용일 -, 주변 블록의 인터 예측 정보를 대체하여 결합 인터 예측 정보를 AMVP 후보를 유도하기 위해 사용할 수 있다.
공간적 주변 블록의 인터 예측 정보를 이용하여 AMVP 후보 리스트를 구성함에 있어서, 처리부는 대상 블록의 모양에 기반하여 AMVP 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 클 경우, 처리부는 아래의 방식 1) 내지 방식 3) 중 적어도 하나를 이용하여 AMVP 리스트를 구성할 수 있다.
1) 처리부는 대상 블록의 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
2) 처리부는 대상 블록의 상단 주변 블록들의 인터 예측 정보들만을 사용하여 AMVP 후보 리스트를 구성할 수 있다.
3) 처리부는 (J, B, K, A, F)의 순서 또는 (J, B, A, K, F)의 순서에 따라 AMVP 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우, 처리부는 아래의 방식 4) 내지 방식 6) 중 적어도 하나를 이용하여 AMVP 리스트를 구성할 수 있다.
4) 처리부는 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
5) 처리부는 대상 블록의 좌측 주변 블록들의 인터 예측 정보들만을 사용하여 AMVP 후보 리스트를 구성할 수 있다.
6) 처리부는 (B, J, K, A, F)의 순서 또는 (B, A, J, K, F)의 순서에 따라 AMVP 후보 리스트를 구성할 수 있다.
예를 들면, 대상 블록의 높이 및 대상 블록의 폭이 같은 경우, 처리부는 아래의 방식 7) 내지 방식 8) 중 적어도 하나를 이용하여 AMVP 후보 리스트를 구성할 수 있다.
7) 처리부는 전술된 방식 1) 내지 방식 6) 중 적어도 하나의 방식으로 AMVP 후보 리스트를 구성할 수 있다.
8) 처리부는 대상 블록의 좌측 주변 블록들의 인터 예측 정보들 및 대상 블록의 상측 주변 블록들의 인터 예측 정보들을 이용하여 AMVP 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 분할 상태에 기반하여 AMVP 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 대상 블록이 수직 분할의 결과인 경우, 처리부는 대상 블록의 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
예를 들면, 대상 블록이 수평 분할의 결과인 경우, 처리부는 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
예를 들면, 처리부는 전술된 대상 블록의 분할 상태에 기반하여 머지 후보 리스트를 결정하는 방식을 사용하여 AMVP 후보 리스트를 구성할 수 있다.
처리부는 대상 블록의 모양 및 대상 블록의 분할 상태의 양자에 기반하여 AMVP 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 큰 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수직 분할의 결과인 경우, 처리부는 대상 블록의 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 좌측 주변 블록 또는 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
예를 들면, 대상 블록의 높이가 대상 블록의 폭보다 더 작은 경우 또는 대상 블록의 높이 및 대상 블록의 폭이 같고, 대상 블록이 수평 분할의 결과인 경우, 처리부는 대상 블록의 좌측 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도한 후, 대상 블록의 좌측 주변 블록 또는 상단 주변 블록의 인터 예측 정보로부터 하나의 AMVP 후보를 유도할 수 있다.
처리부는 대상 블록의 위치에 기반하여 AMVP 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
대상 블록의 위치는 상위 블록 내에서의 상대적 위치를 의미할 수 있다. 상위 블록의 분할을 통해 복수의 분할된 블록들이 생성될 수 있고, 대상 블록은 복수의 분할된 블록들 중 하나의 블록일 수 있다. 대상 블록의 위치는 상위 블록 내에서의 대상 블록의 위치 또는 복수의 분할된 블록들 중 대상 블록의 위치를 의미할 수 있다. 분할은 이진 분할 또는 쿼드 분할일 수 있다.
예를 들면, 도 23에서, 처리부는 분할된 제1 CU에 대한 AMVP 후보 리스트에 대해서는 일괄적 구성 방법을 적용할 수 있고, 분할된 제2 CU에 대한 AMVP 후보 리스트에 대해서는 적응적 구성 방법을 적용할 수 있다.
처리부는 대상 블록의 깊이에 기반하여 AMVP 후보 리스트를 구성하기 위한 방법을 결정할 수 있다. 대상 블록의 깊이는 QT 분할에 의한 QT 깊이 또는 BT 분할에 의한 BT 깊이 중 적어도 하나일 수 있다.
예를 들면, 처리부는 대상 블록의 깊이가 특정된 범위 내에 포함되는지 여부에 기반하여 AMVP 후보 리스트를 구성하기 위한 방식을 결정할 수 있다.
예를 들면, 처리부는 대상 블록의 BT 깊이가 n 이하인 경우, 전술된 대상 블록의 모양에 기반하여 AMVP 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 AMVP 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 AMVP 후보 리스트를 구성할 수 있다. 예를 들면, n은 1일 수 있다.
예를 들면, 처리부는 대상 블록의 QT 깊이가 n 이상이면서, BT 깊이가 m이하인 경우, 전술된 대상 블록의 모양에 기반하여 AMVP 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 AMVP 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 AMVP 후보 리스트를 구성할 수 있다. 예를 들면, n은 3, m은 1일 수 있다.
처리부는 대상 블록의 위치 및 대상 블록의 깊이에 기반하여 AMVP 후보 리스트를 구성하기 위한 방법을 결정할 수 있다.
예를 들면, 처리부는 대상 블록의 BT 깊이가 n 이하이면서, 대상 블록이 수평 분할에 의해 분할된 블록들 중 아래에 위치한 블록이면 전술된 대상 블록의 모양에 기반하여 AMVP 후보 리스트를 구성하는 방식 및 전술된 대상 블록의 분할 상태에 기반하여 AMVP 후보 리스트를 구성하는 방식 중 적어도 하나의 방식을 사용하여 AMVP 후보 리스트를 구성할 수 있다. n은 1일 수 있다.
전술된 머지 후보 리스트의 구성 및 AMVP 후보 리스트의 구성에서 설명된 내용들은 서로 간에 적용될 수 있다. 예를 들면, 머지 후보 및 AMVP 후보 중 하나의 후보의 유도 및 추가에 관련하여 설명된 특징은 다른 후보의 유도 및 추가에 대해서도 적용될 수 있다. 중복되는 설명은 생략된다.
서브 블록을 이용하는 대상 블록의 인터 예측 정보의 유도
처리부는 대상 블록의 인터 예측 정보를 유도함에 있어서 대상 블록의 서브 블록의 인터 예측 정보를 사용할 수 있다. 말하자면, 처리부는 대상 블록의 인터 예측 정보를 유도함에 있어서 서브 블록의 단위의 인터 예측 정보를 사용할 수 있다.
처리부는 대상 블록들을 복수의 서브 블록들로 분할할 수 있고, 복수의 서브 블록들의 각 서브 블록의 인터 예측 정보를 유도할 수 있다. 예를 들면, 처리부는 대상 블록을 N 개의 서브 블록들로 분할할 수 있고, N 개의 서브 블록들에 대한 N 개의 인터 예측 정보를 유도할 수 있다. N은 양의 정수일 수 있다.
도 27은 일 예에 시간적 주변 블록의 서브 블록들 및 대상 블록의 서브 블록들을 나타낸다.
시간적 주변 블록의 인터 예측 정보가 가용한 경우, 처리부는 시간적 주변 블록을 복수의 서브 블록들로 분할할 수 있고, 시간적 주변 블록의 복수의 서브 블록들의 인터 예측 정보들을 사용하여 대상 블록의 복수의 서브 블록들의 인터 예측 정보들을 유도할 수 있다.
처리부는 시간적 주변 블록의 서브 블록의 인터 예측 정보를 사용하여 대상 블록의 서브 블록의 인터 예측 정보를 유도할 수 있다. 이 때, 대상 블록의 서브 블록의 대상 블록 내의 위치 및 시간적 주변 블록의 서브 블록의 시간적 주변 블록 내의 위치는 같을 수 있다.
예를 들면, 처리부는 도 16에서 도시된 시간적 주변 블록 N을 4x4 단위의 시간적 서브 블록들로 분리할 수 있고, 각 시간적 서브 블록의 인터 예측 정보를 사용하여 대상 블록의 4x4 단위의 서브 블록의 인터 예측 정보를 유도할 수 있다.
예를 들면, 처리부는 도 16에서 도시된 시간적 주변 블록 F를 2NxN 단위의 시간적 서브 블록들로 분리할 수 있고, 시간적 서브 블록의 인터 예측 정보를 사용하여 대상 블록의 2NxN 단위의 서브 블록의 인터 예측 정보를 유도할 수 있다.
도 28은 일 예에 따른 대상 블록의 공간적 주변 블록들 및 대상 블록의 서브 블록들을 나타낸다.
도 28에서, 서브 블록들은 A 내지 P의 대문자들로 표시되었고, 공간적 주변 블록들은 a 내지 h의 소문자들로 표시되었다.
처리부는 대상 블록을 복수의 서브 블록들로 분할할 수 있고, 대상 블록의 서브 블록의 공간적 주변 블록의 인터 예측 정보를 사용하여 대상 블록의 서브 블록의 인터 예측 정보를 유도할 수 있다.
여기에서, 대상 블록의 서브 블록의 공간적 주변 블록은 1) 대상 블록의 서브 블록에 인접한 다른 서브 블록 및 2) 대상 블록의 공간적 주변 블록이면서, 대상 블록의 서브 블록에 인접한 블록을 포함할 수 있다. 또한, 공간적 주변 블록은 서브 블록의 이전에 부호화 및/또는 복호화가 수행된 블록일 수 있다.
처리부는 서브 블록의 공간적 주변 블록의 인터 예측 정보를 사용하여 서브 블록의 인터 예측 정보를 유도할 수 있다. 처리부는 서브 블록의 복수의 공간적 주변 블록들의 인터 예측 정보들을 사용하여 서브 블록의 인터 예측 정보를 유도할 수 있다. 예를 들면, 서브 블록의 인터 예측 정보는 서브 블록의 복수의 공간적 주변 블록들의 인터 예측 정보들의 평균 값일 수 있다.
예를 들면, 처리부는 1) 공간적 주변 블록 d의 인터 예측 정보, 2) 공간적 주변 블록 e의 인터 예측 정보 또는 3) 공간적 주변 블록 d 및 공간적 주변 블록 e의 인터 예측 정보들의 평균을 사용하여 서브 블록 A의 인터 예측 정보를 유도할 수 있다.
예를 들면, 처리부는 서브 블록 K의 공간적 주변 블록인 블록 J, 블록 F, 블록 G 및 블록 H 중 하나 이상의 인터 예측 정보들의 평균을 이용하여 서브 블록 K의 인터 예측 정보를 유도할 수 있다.
대상 블록의 서브 블록의 인터 예측 정보를 유도함에 있어서, 처리부는 대상 블록의 시간적 주변 블록의 서브 블록 및 대상 블록의 서브 블록의 공간적 주변 블록을 동시에 사용할 수 있다.
바이래터럴 매칭을 사용하는 인터 예측 정보의 유도
도 29는 일 예에 따른 바이래터럴 매칭을 사용하는 인터 예측 정보의 유도를 나타낸다.
처리부는 바이래터럴 매칭을 사용하여 인터 예측 정보를 유도할 수 있다.
처리부는 바이래터럴 매칭을 수행함에 있어서 대상 블록에 대한 초기 움직임 벡터 후보 리스트를 구성할 수 있고, 구성된 초기 움직임 벡터 후보 리스트의 하나 이상의 초기 움직임 벡터 후보들 중 적어도 하나의 초기 움직임 벡터 후보를 초기 움직임 벡터로서 사용할 수 있다.
예를 들면, 처리부는 대상 블록에 대한 초기 움직임 벡터 후보 리스트를 구성하기 위해 AMVP 모드를 사용할 수 있다. AMVP 모드의 AMVP 후보 리스트의 AMVP 후보들이 초기 움직임 벡터 후보 리스트의 하나 이상의 초기 움직임 벡터 후보들이 될 수 있다. 처리부는 AMVP 후보 리스트의 AMVP 후보들을 초기 움직임 벡터 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 대상 블록에 대한 초기 움직임 벡터 후보 리스트를 구성하기 위해 머지 모드를 사용할 수 있다. 머지 모드의 머지 후보 리스트의 머지 후보들이 초기 움직임 벡터 후보 리스트의 하나 이상의 초기 움직임 벡터 후보들이 될 수 있다. 처리부는 머지 모드의 머지 후보들을 초기 움직임 벡터 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 대상 블록의 프레임률 향상 변환(Frame Rate Up Conversion; FRUC) 단방향 움직임 벡터를 초기 움직임 벡터 후보 리스트로서 구성할 수 있다. 처리부는 대상 블록의 FRUC 단방향 움직임 벡터를 초기 움직임 벡터 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 대상 블록의 주변 블록의 움직임 벡터를 초기 움직임 벡터 후보 리스트로서 구성할 수 있다. 처리부는 대상 블록의 주변 블록의 움직임 벡터를 초기 움직임 벡터 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 전술된 움직임 벡터들의 조합들을 초기 움직임 벡터 후보 리스트로서 구성할 수 있다. 움직임 벡터들의 조합들은 N 개 이상일 수 있다. N은 양의 정수일 수 있다. 처리부는 전술된 움직임 벡터들의 조합들을 초기 움직임 벡터 후보 리스트에 추가할 수 있다.
예를 들면, 처리부는 초기 움직임 벡터 리스트를 구성함에 있어서, 참조 픽처 리스트 L0의 방향 및 참조 픽처 리스트 L1의 방향 중 적어도 하나의 방향에 대한 움직임 벡터를 사용할 수 있다. 처리부는 참조 픽처 리스트 L0의 방향 및 참조 픽처 리스트 L1의 방향 중 적어도 하나 이상의 방향에 대한 움직임 벡터를 초기 움직임 벡터 리스트에 추가할 수 있다.
처리부는 바이래터럴 매칭을 수행함에 있어서 대상 블록에 대한 초기 움직임 벡터를 유도할 수 있다. 처리부는 초기 움직임 벡터 리스트를 이용하여 초기 움직임 벡터를 유도할 수 있다.
바이래터럴 매칭을 수행함에 있어서, 처리부는 초기 움직임 벡터 리스트를 이용하여 초기 움직임 벡터 지시 블록 및 반대 블록이 서로 간에 가장 잘 부합하게 하는 양방향 움직임 벡터를 유도할 수 있다.
초기 움직임 벡터 지시 블록은 초기 움직임 벡터가 가리키는 블록일 수 있다. 반대 블록은 초기 움직임 벡터 지시 블록의 방향의 반대의 방향에서, 초기 움직임 벡터 지시 블록의 궤적과 동일한 궤적 상에 존재하는 블록일 수 있다. 말하자면, 초기 움직임 벡터 블록으로의 방향 및 반대 블록으로의 방향은 서로 반대일 수 있으며, 초기 움직임 벡터 블록의 궤적 및 반대 블록의 궤적은 동일할 수 있다.
예를 들면, 도 29에서 도시된 것과 같이, 처리부는 대상 픽처(2910) 내의 대상 블록(2911)에 대한 바이래터럴 매칭을 수행할 수 있다. 초기 움직임 벡터 리스트에 존재하는 움직임 벡터가 참조 픽처 참조0(2920) 내의 MV0인 경우, 처리부는 1) MV0의 방향의 반대 방향의 참조 픽처 참조1(2930) 내에서, 2) MV0의 궤적과 동일한 궤적 상에 존재하며, 3) MV0가 가리키는 블록(2921)과 가장 잘 부합하는 블록(2931)을 가리키는 움직임 벡터인 MV1을 유도할 수 있다.
말하자면, 처리부가 대상 블록의 초기 움직임 벡터를 이용하여 움직임 벡터 MV0을 유도하고, MV0에 따라 움직임 벡터 MV1를 결정 하는 경우, 1) MV1의 방향 및 MV0의 방향들은 서로 반대일 수 있고, MV1의 움직임 궤적(motion trajectory)은 MV0의 움직임 궤적과 동일할 수 있다.
처리부는 초기 움직임 벡터의 개선을 수행할 수 있다.
예를 들면, 처리부는 유도된 MV0가 가리키는 블록의 주변의 블록들을 탐색할 수 있고, 유도된 MV1가 가리키는 블록의 주변의 블록들을 탐색할 수 있다. 처리부는 MV0가 가리키는 블록의 주변의 블록들 및 MV1가 가리키는 블록의 주변의 블록들 중 서로 간에 가장 부합하는 블록들을 가리키도록 초기 움직임 벡터를 개선할 수 있다.
바이래터럴 매칭을 수행함에 있어서, 처리부는 서브 블록의 단위로 인터 예측 정보를 유도할 수 있다. 인터 예측 정보는 움직임 정보 및/또는 움직임 벡터를 포함할 수 있다.
서브 블록의 단위로 움직임 정보를 유도함에 있어서, 처리부는 블록에 대한 초기 움직임 벡터를 유도하는 전술된 방식을 서브 블록에 대한 초기 움직임 벡터를 유도하기 위해 사용될 수 있다.
바이래터럴 매칭을 수행함에 있어서, 처리부는 블록들의 부합의 정도를 정의할 수 있다. 말하자면, 처리부는 블록들의 부합의 정도를 판단함에 있어서 특정된 정의된 방식들 중 하나를 사용할 수 있다.
예를 들면, 처리부는 2 개의 블록들 간의 절대 차이들의 합(Sum of Absolute Differences; SAD)가 가장 낮으면, 상기의 2 개의 블록들이 가장 잘 부합하는 것으로 판단할 수 있다. 말하자면, 처리부는 2 개의 블록들 간의 SAD가 더 낮을수록 상기의 2 개의 블록들이 더 잘 부합한다고 판단할 수 있다.
예를 들면, 처리부는 2 개의 블록들 간의 절대 변환된 차이들의 합(Sum of Absolute Transformed Differences; SATD)가 가장 낮으면, 상기의 2 개의 블록들이 가장 잘 부합하는 것으로 판단할 수 있다. 말하자면, 처리부는 2 개의 블록들 간의 SATD가 더 낮을수록 상기의 2 개의 블록들이 더 잘 부합한다고 판단할 수 있다.
템플릿 매칭을 사용하는 인터 예측 정보의 유도
도 30은 일 예에 따른 템플릿 매칭 모드를 사용하는 인터 예측 정보의 유도를 나타낸다.
도 30에서는, 대상 픽처(3010) 내의 대상 블록(3011)이 도시되었다.
처리부는 탬플릿 매칭을 사용하여 인터 예측 정보를 유도할 수 있다.
템플릿 매칭을 수행함에 있어서, 처리부는 대상 블록의 주변 블록을 템플릿으로서 이용할 수 있다. 템플릿의 크기 및 위치는 기정의된 방식에 의해 결정될 수 있다.
예를 들면, 처리부는 대상 블록(3011)의 상단에 인접한 주변 블록(3013)을 템플릿으로서 이용할 수 있다.
예를 들면, 처리부는 대상 블록(3011)의 좌측에 인접한 주변 블록(3012)을 템플릿으로서 이용할 수 있다.
예를 들면, 처리부는 대상 블록(3011)의 상단에 인접한 주변 블록(3013) 또는 좌측에 인접한 주변 블록(3012)을 템플릿으로서 이용할 수 있다.
일 실시예에 있어서, 템플릿 매칭을 수행함에 있어서, 처리부는 템플릿을 이용하여 참조 픽처에서 블록을 검색할 수 있다. 도 30에서 참조0(3020)은 참조 픽처일 수 있다.
템플릿 매칭을 수행함에 있어서, 처리부는 템플릿을 이용하여 인터 예측 정보를 유도할 수 있다.
처리부는 참조 픽처 내에서 템플릿에 대응하는 블록을 검색할 수 있다. 템플릿에 대응하는 블록의 모양 및 크기는 탬플릿의 모양 및 크기와 같을 수 있다. 템플렛에 대응하는 블록은 참조 픽처 내에서 템플릿과 가장 잘 부합하는 블록일 수 있다.
처리부는 템플릿에 대응하는 블록을 가리키는 움직임 벡터를 도출할 수 있다. 말하자면, 처리부는 참조 픽처 내의 템플릿에 가장 잘 부합하는 블록을 가리키는 움직임 벡터를 도출할 수 있다.
예를 들면, 도 30에서, 상단에 인접한 주변 블록(3013)에 대해서 검색된 템플릿에 대응하는 블록(3022) 및 좌측에 인접한 주변 블록(3012)에 대해서 검색된 탬플릿에 대응하는 블록(3021)이 도시되었다.
처리부는 템플릿에 대응하는 블록에 대한 움직임 벡터를 이용하여 대상 블록의 움직임 벡터를 유도할 수 있다. 처리부는 템플릿에 대응하는 블록에 대한 움직임 벡터를 대상 블록의 움직임 벡터로서 결정할 수 있다.
이 때, 블록이 검색된 참조 픽처의 방향 및 대상 블록의 움직임 벡터가 가리키는 참조 픽처의 방향은 서로 반대일 수 있다.
처리부는 움직임 벡터의 개선을 수행할 수 있다. 예를 들어, 처리부는 현재의 템플릿 및 도출된 움직임 벡터가 가리키는 블록의 주변의 블록들을 탐색할 수 있고, 움직임 벡터가 탐색된 주변의 블록들 중 템플릿에 가장 잘 부합하는 블록을 가리키도록 움직임 벡터를 개선할 수 있다. 말하자면, 개선된 움직임 백터는 도출된 움직임 벡터가 가리키는 블록의 주변의 블록들 중 템플릿에 가장 잘 부합하는 블록에 대한 움직임 벡터일 수 있다.
템플릿 매칭을 수행함에 있어서, 처리부는 서브 블록의 단위로 인터 예측 정보를 유도할 수 있다. 인터 예측 정보는 움직임 정보 및 움직임 벡터를 포함할 수 있다.
서브 블록의 단위로 움직임 정보를 유도함에 있어서, 처리부는 블록에 대한 움직임 벡터를 유도하는 전술된 방식을 서브 블록에 대한 움직임 벡터를 유도하기 위해 사용할 수 있다.
템플릿 매칭을 수행함에 있어서, 처리부는 블록들의 부합의 정도를 정의할 수 있다. 말하자면, 처리부는 블록들의 부합의 정도를 판단함에 있어서 특정된 정의된 방식들 중 하나를 사용할 수 있다.
예를 들면, 처리부는 2 개의 블록들 간의 SAD가 가장 낮으면, 상기의 2 개의 블록들이 가장 잘 부합하는 것으로 판단할 수 있다. 말하자면, 처리부는 2 개의 블록들 간의 SAD가 더 낮을수록 상기의 2 개의 블록들이 더 잘 부합한다고 판단할 수 있다.
예를 들면, 처리부는 2 개의 블록들 간의 SATD가 가장 낮으면, 상기의 2 개의 블록들이 가장 잘 부합하는 것으로 판단할 수 있다. 말하자면, 처리부는 2 개의 블록들 간의 SATD가 더 낮을수록 상기의 2 개의 블록들이 더 잘 부합한다고 판단할 수 있다.
인터 예측을 위한 움직임 보상 및 움직임 보정
대상 블록에 대한 인터 예측에 있어서, 처리부는 움직임 보상, IC, OBMC, BIO, 어파인 공간 움직임 예측 및 움직임 보상 및 복호화 장치(1300) 상에서의 움직임 벡터 보정 중 적어도 하나를 사용하여 인터 예측을 수행할 수 있다.
처리부는 대상 블록에 대한 인터 예측을 위해 움직임 보상을 수행할 수 있다.
처리부는 유도된 인터 예측 정보를 사용하여 대상 블록에 대한 예측 블록을 생성할 수 있다. 움직임 보상은 단방향 움직임 보상 또는 양방향 움직임 보상일 수 있다.
예를 들면, 처리부는 1 개의 참조 픽처 리스트 L0의 하나의 픽처 내의 블록을 사용하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 1 개의 참조 픽처 리스트 L0의 하나의 픽처 내의 복수의 블록들을 혼합하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 1 개의 참조 픽처 리스트 L0의 복수의 픽처들 내의 복수의 블록들을 혼합하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 참조 픽처 리스트 L0의 하나의 픽처 내의 하나의 블록 및 참조 픽처 리스트 L1의 하나의 픽처 내의 하나의 블록을 혼합하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 참조 픽처 리스트 L0의 하나의 픽처 내의 복수의 블록들 및 참조 픽처 리스트 L1의 하나의 픽처 내의 복수의 블록들을 혼합하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 참조 픽처 리스트 L0의 복수의 픽처들 내의 복수의 블록들 및 참조 픽처 리스트 L1의 복수의 픽처들 내의 복수의 블록들을 혼합하여 움직임 보상을 수행할 수 있다.
처리부는 대상 블록에 대한 인터 예측을 위해 IC를 수행할 수 있다.
움직임 보상에 있어서, 처리부는 움직임 보상에 사용되는 참조 블록을 포함하는 참조 픽처 및 대상 블록을 포함하는 대상 픽처 간의 밝기 변화 및/또는 조명 변화에 대한 보상을 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 주변 샘플 및 참조 블록의 주변 샘플 간의 변화를 N개 이상의 선형 모델로 근사화할 수 있고, 선형 모델을 움직임 보상된 블록에 적용함으로써 밝기 보상을 수행할 수 있다. N은 양의 정수일 수 있다.
도 31은 일 예에 따른 OBMC의 적용을 나타낸다.
처리부는 대상 블록에 대한 인터 예측을 위해 OBMC를 수행할 수 있다.
처리부는 제1 블록 및 제2 블록을 혼합하여 예측 블록을 생성할 수 있다. 제1 블록은 대상 블록의 인터 예측 정보를 사용하는 보상에 의해 생성된 블록일 수 있다. 제2 블록은 대상 블록에 인접한 하나 이상의 주변 블록들의 하나 이상의 인터 예측 정보들을 사용하는 보상에 의해 생성된 하나 이상의 블록들일 수 있다. 여기에서, 대상 블록에 인접한 하나 이상의 주변 블록들은 대상 블록의 좌측에 인접한 좌측 주변 블록, 대상 블록의 우측에 인접한 우측 주변 블록, 대상 블록의 상단에 인접한 상단 주변 블록 및 대상 블록의 하단에 인접한 하단 주변 블록을 포함할 수 있다.
처리부는 대상 블록의 서브 블록의 단위로 OBMC를 수행할 수 있다.
처리부는 제1 블록 및 제2 블록을 혼합하여 예측 블록을 생성할 수 있다. 제1 블록은 대상 블록의 서브 블록의 인터 예측 정보를 사용하는 보상에 의해 생성된 블록일 수 있다. 제2 블록은 대상 블록의 서브 블록에 인접한 하나 이상의 주변 서브 블록들의 하나 이상의 인터 예측 정보들을 사용하는 보상에 의해 생성된 하나 이상의 블록들일 수 있다. 인터 예측 정보는 움직임 벡터를 포함할 수 있다. 여기에서, 대상 블록의 서브 블록에 인접한 하나 이상의 주변 서브 블록들은 대상 블록의 서브 블록의 좌측에 인접한 좌측 주변 서브 블록, 대상 블록의 서브 블록의 우측에 인접한 우측 주변 서브 블록, 대상 블록의 서브 블록의 상단에 인접한 상단 주변 서브 블록 및 대상 블록의 서브 블록의 하단에 인접한 하단 주변 서브 블록을 포함할 수 있다.
처리부는 대상 블록의 서브 블록들 중 특정된 서브 블록에 대해서만 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 내부의 경계에 인접한 서브 블록에 대해서만 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 모든 서브 블록들에 대해서 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 내부의, 좌측 경계에 인접한 서브 블록들에 대해서만 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 내부의, 우측 경계에 인접한 서브 블록들에 대해서만 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 내부의, 상단 경계에 인접한 서브 블록들에 대해서만 OBMC를 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 내부의, 하단 경계에 인접한 서브 블록들에 대해서만 OBMC를 수행할 수 있다.
도 31에서는, 대상 블록인 CU가 PU1 및 PU2로 분할될 때, CU의 서브 블록들 중, 1) 상단 경계에 인접한 서브 블록들, 2) 좌측 경계에 인접한 서브 블록들 및 3) PU들 간의 경계에 인접한 서브 블록들에 대하여 OBMC가 적용되는 것이 도시되었다.
도 32는 일 예에 따른 ATMVP 모드 내의 서브 PU들을 도시한다.
대상 블록은 복수의 서브 블록들로 분할될 수 있다. 대상 블록은 대상 CU일 수있고, 서브 블록은 서브 PU일 수 있다. 처리부는 대상 CU의 모든 서브 블록들에 대해서 OBMC를 수행할 수 있다.
처리부는 제1 블록 및 제2 블록을 혼합하여 예측 블록을 생성할 수 있다. 제1 블록은 대상 블록의 서브 블록의 인터 예측 정보를 사용하는 보상에 의해 생성된 블록일 수 있다. 제2 블록은 대상 블록의 서브 블록에 인접한 주변 서브 블록들의 인터 예측 정보들을 사용하는 보상에 의해 생성된 블록들일 수 있다. 인터 예측 정보는 움직임 벡터일 수 있다. 여기에서, 대상 블록의 서브 블록에 인접한 주변 서브 블록들은 대상 블록의 서브 블록의 좌측에 인접한 좌측 주변 서브 블록, 대상 블록의 서브 블록의 우측에 인접한 우측 주변 서브 블록, 대상 블록의 서브 블록의 상단에 인접한 상단 주변 서브 블록 및 대상 블록의 서브 블록의 하단에 인접한 하단 주변 서브 블록일 수 있다.
처리부는 대상 블록에 대한 인터 예측을 위해 어파인 공간 움직임 예측 및 보상을 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 좌측 상단 위치에서의 제1 움직임 벡터 및 대상 블록의 우측 상단 위치에서의 제2 움직임 벡터에 어파인 변환 식을 적용함으로써 대상 블록의 각 픽셀에 대한 움직임 벡터를 생성할 수 있고, 생성된 움직임 벡터를 사용하여 움직임 보상을 수행할 수 있다.
예를 들면, 처리부는 대상 블록의 좌측 상단 위치에서의 제1 움직임 벡터 및 대상 블록의 우측 상단 위치에서의 제2 움직임 벡터에 어파인 변환 식을 적용함으로써 대상 블록의 각 서브 블록에 대한 움직임 벡터를 생성할 수 있고, 생성된 움직임 벡터를 사용하여 움직임 보상을 수행할 수 있다.
제1 움직임 벡터 및 제2 움직임 벡터를 제공하기 위해 아래의 방식 1) 내지 방식 3) 중 적어도 하나가 사용될 수 있다.
1) 제1 움직임 벡터 및 제2 움직임 벡터가 (비트스트림을 통해) 부호화 장치(1200)로부터 복호화 장치(1300)로 전송될 수 있다.
2) 제1 움직임 벡터 및 제2 움직임 벡터의 각 벡터에 대해, 각 벡터 및 주변 움직임 벡터 간의 차이(difference)가 부호화 장치(1200)로부터 복호화 장치(1300)로 전송될 수 있다.
3) 대상 블록의 주변 블록의 어파인 움직임 벡터를 사용하여 제1 움직임 벡터 및 제2 움직임 벡터가 전송없이 유도될 수 있다.
처리부는 대상 블록에 대한 인터 예측을 위해 BIO를 수행할 수 있다.
처리부는 단방향 위치의 블록을 이용하는 옵티컬 플로우를 사용하여 대상 블록의 움직임 벡터를 유도할 수 있다.
처리부는 디스플레이 순서에 있어서 대상 픽처의 이전의 픽처에 존재하는 블록 및 대상 픽처의 이후의 픽처에 존재하는 블록들을 이용하는 양방향 옵티컬 플로우를 사용하여 대상 블록의 움직임 벡터를 유도할 수 있다. 여기에서, 대상 픽처의 이전의 픽처에 존재하는 블록 및 대상 픽처의 이후의 픽처에 존재하는 블록은 서로 반대인 움직임들을 갖는, 대상 블록에 유사한 블록일 수 있다.
처리부는 대상 블록에 대한 인터 예측을 위해 복호화 장치(1300) 상에서의 움직임 벡터 보정을 수행할 수 있다. 처리부는 복호화 장치(1300)로 전송된 움직임 벡터를 이용하여 대상 블록의 움직임 벡터에 대한 보정을 수행할 수 있다.
도 33은 일 실시예에 따른 대상 블록의 예측 방법 및 비트스트림 생성 방법의 흐름도이다.
실시예의 대상 블록의 예측 방법 및 비트스트림 생성 방법은 부호화 장치(1200)에 의해 수행될 수 있다. 실시예는 대상 블록의 부호화 방법 또는 비디오 부호화 방법의 일부일 수 있다.
단계(3310)에서, 처리부(1210)는 인터 예측 정보를 유도할 수 있다. 단계(3310)는 도 14를 참조하여 전술된 단계(1410)에 대응할 수 있다.
단계(3320)에서, 처리부(1210)는 유도된 인터 예측 정보를 사용하는 인터 예측을 수행할 수 있다. 단계(3320)는 도 14를 참조하여 전술된 단계(1420)에 대응할 수 있다.
단계(3330)에서, 처리부(1210)는 비트스트림을 생성할 수 있다.
비트스트림은 부호화된 대상 블록에 대한 정보를 포함할 수 있다. 예를 들면, 부호화된 대상 블록에 대한 정보는 대상 블록의 변환 및 양자화된 계수를 포함할 수 있다.
비트스트림은 인터 예측 정보를 유도하기 위해 사용되는 정보 및 인터 예측을 위해 사용되는 정보를 포함할 수 있다.
예를 들면, 비트스트림은 인터 예측 정보를 유도하는 방법을 지시하는 지시자를 포함할 수 있다.
예를 들면, 비트스트림은 부호화 장치(1200) 또는 복호화 장치(1300)의 리스트 내의 후보들 중 하나를 가리키는 인덱스를 포함할 수 있다.
처리부(1210)는 인터 예측 정보를 유도하기 위해 사용되는 정보 및 인터 예측을 위해 사용되는 정보에 대한 엔트로피 부호화를 수행할 수 있고, 엔트로피 부호화된 정보들을 포함하는 비트스트림을 생성할 수 있다.
처리부(1210)는 생성된 비트스트림을 저장소(1240)에 저장할 수 있다. 또는, 통신부(1220)는 비트스트림을 복호화 장치(1300)로 전송할 수 있다.
도 34는 일 실시예에 따른 비트스트림을 사용하는 대상 블록의 예측 방법의 흐름도이다.
실시예의 비트스트림을 사용하는 대상 블록의 예측 방법은 복호화 장치(1300)에 의해 수행될 수 있다. 실시예는 대상 블록의 복호화 방법 또는 비디오 복호화 방법의 일부일 수 있다.
단계(3410)에서, 통신부(1320)는 비트스트림을 획득할 수 있다. 통신부(1320)는 부호화 장치(1200)로부터 비트스트림을 수신할 수 있다.
비트스트림은 부호화된 대상 블록에 대한 정보를 포함할 수 있다. 예를 들면, 부호화된 대상 블록에 대한 정보는 대상 블록의 변환 및 양자화된 계수를 포함할 수 있다.
비트스트림은 인터 예측 정보를 유도하기 위해 사용되는 정보 및 인터 예측을 위해 사용되는 정보를 포함할 수 있다.
예를 들면, 비트스트림은 인터 예측 정보를 유도하는 방법을 지시하는 지시자를 포함할 수 있다.
예를 들면, 비트스트림은 부호화 장치(1200) 및 복호화 장치(1300)의 리스트 내의 후보들 중 하나를 가리키는 인덱스를 포함할 수 있다.
처리부(1310)는 획득된 비트스트림을 저장소(1240)에 저장할 수 있다.
처리부(1310)는 비트스트림의 엔트로피 부호화된 정보들에 대한 엔트로피 복호화를 수행함으로써 인터 예측 정보를 유도하기 위해 사용되는 정보 및 인터 예측을 위해 사용되는 정보를 획득할 수 있다.
단계(3420)에서, 처리부(1310)는 인터 예측 정보를 유도할 수 있다. 단계(3420)는 도 14를 참조하여 전술된 단계(1410)에 대응할 수 있다.
단계(3430)에서, 처리부(1310)는 유도된 인터 예측 정보를 사용하는 인터 예측을 수행할 수 있다. 단계(3430)는 도 14를 참조하여 전술된 단계(1420)에 대응할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 대상 블록에 대한 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 처리부
    를 포함하고,
    상기 처리부는 결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트를 구성하고,
    상기 처리부는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 상기 결합 인터 예측 정보를 생성하는 부호화 장치.
  2. 대상 블록에 대한 인터 예측 정보를 유도하고, 유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 처리부
    를 포함하고,
    상기 처리부는 결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트를 구성하고,
    상기 처리부는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 상기 결합 인터 예측 정보를 생성하는 복호화 장치.
  3. 대상 블록에 대한 인터 예측 정보를 유도하는 단계; 및
    유도된 인터 예측 정보를 사용하여 상기 대상 블록에 대한 인터 예측을 수행하는 단계
    를 포함하고,
    결합 인터 예측 정보를 사용하여 상기 대상 블록에 대한 리스트가 구성되고,
    상기 결합 인터 예측 정보는 상기 대상 블록의 주변 블록들의 인터 예측 정보들 중 2 개 이상을 결합하여 생성되는 복호화 방법.
  4. 제3항에 있어서,
    상기 인터 예측 정보는 밝기 보상 (Illumination Compensation; IC) 플래그 및 오버랩된 블록 움직임 보상(Overlapped Block Motion Compensation; OBMC) 플래그 중 적어도 하나를 포함하는 복호화 방법.
  5. 제3항에 있어서,
    상기 리스트는 머지 리스트 또는 향상된 움직임 벡터 예측(advanced motion vector prediction; AMVP) 리스트인 복호화 방법.
  6. 제3항에 있어서,
    상기 주변 블록들은 상기 대상 블록의 공간적 주변 블록 및 시간적 주변 블록을 포함하는 복호화 방법.
  7. 제3항에 있어서,
    상기 주변 블록들 중 하나의 주변 블록의 인터 예측 정보가 비가용한 경우 상기 하나의 주변 블록에 대한 상기 결합 인터 예측 정보가 유도되는 복호화 방법.
  8. 제3항에 있어서,
    상기 주변 블록들 중 하나의 주변 블록의 인터 예측 정보가 상기 리스트에 추가되지 않는 경우 상기 하나의 주변 블록에 대하여 유도된 상기 결합 인터 예측 정보가 상기 리스트에 추가되는 복호화 방법.
  9. 제3항에 있어서,
    상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들을 사용하는 계산식의 결과인 복호화 방법.
  10. 제9항에 있어서,
    상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 가중치가 부여된 평균 값인 복호화 방법.
  11. 제9항에 있어서,
    상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 블록 크기 기반 가중치 결합의 결과인 복호화 방법.
  12. 제9항에 있어서,
    상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 픽처 오더 카운트 가중치 결합의 결과인 복호화 방법.
  13. 제9항에 있어서,
    상기 결합 인터 예측 정보의 움직임 벡터는 상기 주변 블록들의 움직임 벡터들의 외삽 결합의 결과인 복호화 방법.
  14. 제3항에 있어서,
    특정된 블록의 좌측의 위치에 대한 제1 인터 예측 정보 및 상기 특정된 블록의 우측의 위치에 대한 제2 인터 예측 정보가 도출되고, 상기 제1 인터 예측 정보 및 제2 인터 예측 정보를 결합함으로써 상기 결합 인터 예측 정보가 생성되는 복호화 방법.
  15. 제3항에 있어서,
    상기 대상 블록의 모양에 기반하여 상기 리스트를 구성하기 위한 방식이 결정되는 복호화 방법.
  16. 제3항에 있어서,
    상기 대상 블록의 분할 상태에 기반하여 상기 리스트를 구성하기 위한 방식이 결정되는 복호화 방법.
  17. 제3항에 있어서,
    상기 대상 블록의 위치에 기반하여 상기 리스트를 구성하기 위한 방식이 결정되는 복호화 방법.
  18. 제3항에 있어서,
    상기 결합 인터 예측 정보는 상기 주변 블록들의 인터 예측 정보들에 비해 후순위로 상기 리스트에 추가되는 복호화 방법.
  19. 제3항에 있어서,
    상기 결합 인터 예측 정보는 공간적 주변 블록의 인터 예측 정보의 다음이고, 시간적 주변 블록의 인터 예측 정보의 이전에 상기 리스트에 추가되는 복호화 방법.
  20. 제3항에 있어서,
    상기 대상 블록의 깊이에 기반하여 상기 리스트를 구성하기 위한 방식이 결정되는 복호화 방법.
PCT/KR2018/011905 2017-10-10 2018-10-10 인터 예측 정보를 사용하는 방법 및 장치 Ceased WO2019074273A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202510499288.XA CN120378630A (zh) 2017-10-10 2018-10-10 使用帧间预测信息的方法和装置
CN201880076042.XA CN111567045B (zh) 2017-10-10 2018-10-10 使用帧间预测信息的方法和装置
CN202510499174.5A CN120378629A (zh) 2017-10-10 2018-10-10 使用帧间预测信息的方法和装置
US16/753,155 US11082716B2 (en) 2017-10-10 2018-10-10 Method and device using inter prediction information
US17/359,737 US11792424B2 (en) 2017-10-10 2021-06-28 Method and device using inter prediction information
US18/462,638 US12477145B2 (en) 2017-10-10 2023-09-07 Method and device using inter prediction information

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20170129156 2017-10-10
KR10-2017-0129156 2017-10-10
KR20170178140 2017-12-22
KR10-2017-0178140 2017-12-22
KR10-2018-0071065 2018-06-20
KR20180071065 2018-06-20
KR10-2018-0120642 2018-10-10
KR1020180120642A KR102427789B1 (ko) 2017-10-10 2018-10-10 인터 예측 정보를 사용하는 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/753,155 A-371-Of-International US11082716B2 (en) 2017-10-10 2018-10-10 Method and device using inter prediction information
US17/359,737 Continuation US11792424B2 (en) 2017-10-10 2021-06-28 Method and device using inter prediction information

Publications (1)

Publication Number Publication Date
WO2019074273A1 true WO2019074273A1 (ko) 2019-04-18

Family

ID=66101610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011905 Ceased WO2019074273A1 (ko) 2017-10-10 2018-10-10 인터 예측 정보를 사용하는 방법 및 장치

Country Status (3)

Country Link
US (1) US12477145B2 (ko)
KR (1) KR102549488B1 (ko)
WO (1) WO2019074273A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411596A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113573066A (zh) * 2021-07-07 2021-10-29 网宿科技股份有限公司 一种视频编码的方法及装置
CN114208185A (zh) * 2019-07-23 2022-03-18 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
US20220272377A1 (en) * 2018-10-24 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
US12063356B2 (en) 2019-07-29 2024-08-13 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
US12335480B2 (en) 2019-02-24 2025-06-17 Beijing Bytedance Network Technology Co., Ltd. Independent coding of palette mode usage indication
EP4404565A4 (en) * 2021-09-15 2025-10-08 Kt Corp METHOD FOR ENCODING/DECODING VIDEO SIGNAL, AND RECORDING MEDIUM HAVING BIT STREAM STORED THEREON

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025121534A1 (ko) * 2023-12-06 2025-06-12 광운대학교 산학협력단 화면 내 블록 복사의 효과적인 움직임 벡터 예측 방법, 장치 및 기록매체
KR102739809B1 (ko) 2024-08-27 2024-12-10 주식회사 아이원이엠 셀프 라킹형 호스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064944A (ko) * 2011-09-09 2014-05-28 엘지전자 주식회사 인터 예측 방법 및 그 장치
KR20160075753A (ko) * 2012-05-10 2016-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2016175550A1 (ko) * 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
KR20170108012A (ko) * 2015-01-26 2017-09-26 퀄컴 인코포레이티드 비디오 코딩을 위한 중첩 모션 보상
KR20170108010A (ko) * 2015-01-26 2017-09-26 퀄컴 인코포레이티드 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423648B1 (ko) 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
KR101197176B1 (ko) 2011-09-23 2012-11-05 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
KR102070719B1 (ko) 2013-01-23 2020-01-30 한국전자통신연구원 인터 예측 방법 및 그 장치
US9554150B2 (en) 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
EP3062518A4 (en) 2013-10-24 2017-05-31 Electronics and Telecommunications Research Institute Video encoding/decoding method and apparatus
US9294765B2 (en) * 2014-01-07 2016-03-22 Vixs Systems, Inc. Video encoder with intra-prediction pre-processing and methods for use therewith
CN116866569A (zh) * 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064944A (ko) * 2011-09-09 2014-05-28 엘지전자 주식회사 인터 예측 방법 및 그 장치
KR20160075753A (ko) * 2012-05-10 2016-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20170108012A (ko) * 2015-01-26 2017-09-26 퀄컴 인코포레이티드 비디오 코딩을 위한 중첩 모션 보상
KR20170108010A (ko) * 2015-01-26 2017-09-26 퀄컴 인코포레이티드 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측
WO2016175550A1 (ko) * 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220272377A1 (en) * 2018-10-24 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
US11856218B2 (en) 2018-10-24 2023-12-26 Beijing Bytedance Network Technology Co., Ltd Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
US11838537B2 (en) 2018-10-24 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Motion candidate derivation based on multiple information in sub-block motion vector prediction
US11743485B2 (en) 2018-10-24 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Sub-block motion candidate list in video coding
US11671618B2 (en) 2018-10-24 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Searching based motion candidate derivation for sub-block motion vector prediction
US12335480B2 (en) 2019-02-24 2025-06-17 Beijing Bytedance Network Technology Co., Ltd. Independent coding of palette mode usage indication
CN113411608B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411596B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411596A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US12075085B2 (en) 2019-06-21 2024-08-27 Hangzhou Hikvision Digital Technology Co., Ltd. Encoding and decoding method, apparatus, and device
CN113411608A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
US12341966B2 (en) 2019-07-20 2025-06-24 Beijing Bytedance Network Technology Co., Ltd. Condition dependent coding of palette mode usage indication
CN114208185A (zh) * 2019-07-23 2022-03-18 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
CN114208185B (zh) * 2019-07-23 2023-12-29 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
US12348708B2 (en) 2019-07-23 2025-07-01 Beijing Bytedance Network Technology Co., Ltd. Mode determination for palette mode coding
US12063356B2 (en) 2019-07-29 2024-08-13 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
CN113573066A (zh) * 2021-07-07 2021-10-29 网宿科技股份有限公司 一种视频编码的方法及装置
EP4404565A4 (en) * 2021-09-15 2025-10-08 Kt Corp METHOD FOR ENCODING/DECODING VIDEO SIGNAL, AND RECORDING MEDIUM HAVING BIT STREAM STORED THEREON

Also Published As

Publication number Publication date
US12477145B2 (en) 2025-11-18
US20230421804A1 (en) 2023-12-28
KR102549488B1 (ko) 2023-06-30
KR20220109376A (ko) 2022-08-04

Similar Documents

Publication Publication Date Title
WO2019112394A1 (ko) 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
WO2019177354A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019107927A1 (ko) 양방향 인트라 예측 방법 및 장치
WO2018174617A1 (ko) 블록 형태에 기반한 예측 방법 및 장치
WO2021015581A1 (ko) 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2019074273A1 (ko) 인터 예측 정보를 사용하는 방법 및 장치
WO2020050600A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020256522A1 (ko) 영역 분할을 사용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2018097700A1 (ko) 필터링을 위한 방법 및 장치
WO2022019613A1 (ko) 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2018174618A1 (ko) 참조 블록을 사용하는 예측 방법 및 장치
WO2021112652A1 (ko) 영역 차등적 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2019117645A1 (ko) 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
WO2021071342A1 (ko) 변환 정보 부호화/복호화를 위한 방법, 장치 및 비트스트림 저장 매체
WO2023055146A1 (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023200228A1 (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023191585A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2021112651A1 (ko) 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2019147067A1 (ko) 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2024076220A1 (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021101356A1 (ko) 참조 픽처의 해상도를 이용하는 비디오 처리 방법, 장치 및 기록 매체
WO2020256495A1 (ko) 참조 픽처를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021029720A1 (ko) 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023191587A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2023055199A1 (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865564

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865564

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201880076042.X

Country of ref document: CN