[go: up one dir, main page]

WO2009088038A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Download PDF

Info

Publication number
WO2009088038A1
WO2009088038A1 PCT/JP2009/050142 JP2009050142W WO2009088038A1 WO 2009088038 A1 WO2009088038 A1 WO 2009088038A1 JP 2009050142 W JP2009050142 W JP 2009050142W WO 2009088038 A1 WO2009088038 A1 WO 2009088038A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
prediction
image
unit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/050142
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Kenji Otoi
Yuichi Idehara
Yoshihisa Yamada
Kohtaro Asai
Tokumichi Murakami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to EP09701456A priority Critical patent/EP2234404A4/en
Priority to CN2009801020090A priority patent/CN101911706A/zh
Priority to CA 2711742 priority patent/CA2711742A1/en
Priority to US12/812,185 priority patent/US20110032991A1/en
Priority to JP2009548946A priority patent/JP5197630B2/ja
Priority to BRPI0906824-4A priority patent/BRPI0906824A2/pt
Publication of WO2009088038A1 publication Critical patent/WO2009088038A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method used for image compression encoding technology, compressed image data transmission technology, and the like.
  • a standardized input signal format called a 4: 2: 0 format has been used as a compression target signal.
  • 4: 2: 0 means that RGB color video signals are converted into luminance components (Y) and two color difference components (Cb, Cr), and the number of samples of the color difference components in both the horizontal and vertical directions is halved. Reduced format. Since the color difference component is less visible than the luminance component, an international standard video encoding method (Non-Patent Document 1) such as MPEG-4 AVC / H.264 (hereinafter AVC) encodes in this way.
  • AVC MPEG-4 AVC / H.264
  • the color difference component is encoded with the same sample as the luminance component without down-sampling for the purpose of accurately reproducing the color expression at the time of content production at the time of screening 4: 4: 4.
  • a direct encoding method in the format is recommended.
  • FIG. 9 shows the difference between the 4: 2: 0 format and the 4: 4: 4 format.
  • the 4: 2: 0 format is composed of luminance (Y) / color difference (Cb, Cr) signals, and one sample of the color difference signal is equivalent to 2 ⁇ 2 samples of the luminance signal
  • 4: The 4: 4 format does not particularly limit the color space for expressing colors to Y, Cb, and Cr, and indicates that the sample ratio of signals of each color component is 1: 1.
  • MPEG-4 AVC ISO / IEC 14496-10) / ITU-T H.264 standard MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 Amendment2
  • Non-Patent Document 2 For example, in the 4: 4: 4 format encoding according to Non-Patent Document 2, as shown in FIG. 10, first, the input video signal 1001 (4: 4: 4 format) to be encoded in advance is directly or appropriately selected. After conversion to a color space (Y, Cb, Cr, etc.), the block division unit 1002 divides the data into units of macroblocks (16 pixels ⁇ 16 lines rectangular blocks) and outputs the encoded video signal 1003 to the prediction unit 1004. input.
  • a macroblock may be configured in units of three color components, or each color component may be regarded as an independent picture and configured as a single color component rectangular block, It is possible to select at the sequence level whether to use the structured macro block.
  • the prediction unit 1004 predicts the image signal of each color component in the macroblock between frames and between frames to obtain a prediction error signal 1005.
  • a motion vector is searched in units of sub-blocks obtained by further subdividing the macroblock itself or the macroblock, a motion compensated prediction image is generated based on the motion vector, and the encoded video
  • a prediction error signal 1005 is obtained by taking a difference from the signal 1003.
  • the compression unit 1006 performs conversion processing such as DCT (Discrete Cosine Transform) on the prediction error signal 1005 to remove signal correlation, and then quantizes it to obtain compressed data 1007.
  • DCT Discrete Cosine Transform
  • the compressed data 1007 is entropy-encoded by the variable-length encoding unit 1008 and output as a bit stream 1009 and sent to the local decoding unit 1010 to obtain a decoded prediction error signal 1011. This is added to the prediction signal 1012 used to generate the prediction error signal 1005 to obtain a decoded signal 1013.
  • the decoded signal 1013 is stored in the memory 1014 for the purpose of generating a prediction signal 1012 for the subsequent encoded video signal 1003.
  • the decoded signal is subjected to a deblocking filter to remove the block distortion.
  • the prediction signal generation parameter 1015 determined by the prediction unit 1004 to obtain the prediction signal 1012 is sent to the variable length coding unit 1008 and output as a bit stream 1009.
  • the prediction signal generation parameter 1015 includes, for example, an intra prediction mode indicating how to perform spatial prediction within a frame, a motion vector indicating a motion amount between frames, and the like.
  • the prediction signal generation parameter 1015 is detected as a parameter that is commonly applied to the three color components, and each color component is regarded as an independent picture.
  • the prediction signal generation parameter 1015 is detected as a parameter applied individually to each color component.
  • the video signal of 4: 4: 4 format includes the same number of samples of each color component, and has strict color reproducibility compared with the conventional video signal of 4: 2: 0 format, but compression coding. In this sense, it contains redundant information.
  • the redundancy included in the signal is further added to the conventional 4: 2: 0 format fixed color space definition (Y, Cb, Cr). It is necessary to reduce the degree.
  • the encoded video signal 1003 is encoded regardless of the statistical and local properties of the signal, and each color component is encoded as a luminance signal, and the prediction unit In any of 1004, the compression unit 1006, and the variable length coding unit 1008, signal processing in consideration of the characteristics of the signal to be coded is not performed.
  • the present invention provides a method for performing efficient information compression by better removing signal correlation according to the statistical and local properties of the 4: 4: 4 format video signal to be encoded,
  • an image encoding device and an image decoding device that are highly optimized in encoding a moving image signal having no sample ratio distinction between color components as in the 4: 4: 4 format.
  • An object is to provide an image encoding method and an image decoding method.
  • An image encoding apparatus is an image encoding apparatus that divides each picture of a digital video signal into predetermined unit areas and performs compression encoding using motion compensated prediction in that unit.
  • a prediction unit that performs a motion vector search based on virtual pixel accuracy designation information that designates an upper limit of the accuracy of the pixel position indicated by, and generates a motion compensated prediction image based on the searched motion vector, and the virtual pixel accuracy designation
  • the information is multiplexed into the bitstream, and the motion vector data to be encoded is multiplexed into the bitstream based on the size of the searched motion vector and the size of the motion vector used for prediction of the searched motion vector.
  • an encoding unit to be converted is an image encoding apparatus that divides each picture of a digital video signal into predetermined unit areas and performs compression encoding using motion compensated prediction in that unit.
  • encoding using various color spaces is not limited to a fixed color space such as Y, Cb, and Cr.
  • various color spaces are used without being limited to fixed color spaces such as Y, Cb, and Cr.
  • intra-prediction mode information and inter-prediction mode information used for each color component can be flexibly selected, and optimal encoding processing can be performed even when the color space definition is various. It can be carried out.
  • FIG. 3 is an explanatory diagram illustrating a configuration of an image encoding device according to the first embodiment.
  • 4 is a flowchart of adaptive motion vector search / encoding in the image encoding device of FIG. 3.
  • Example 1 Explanatory drawing which shows the division
  • FIG. 3 is an explanatory diagram illustrating a data array of a bit stream output from the image encoding device according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating a configuration of an image decoding device according to the first embodiment.
  • Example 1 The flowchart of the adaptive motion vector decoding in the image decoding apparatus of FIG. (Example 1) Explanatory drawing of 4: 2: 0, 4: 4: 4 format. Explanatory drawing which shows the structure of the conventional image coding apparatus (nonpatent literature 2).
  • Example 1 the motion vector detection accuracy when performing motion compensation prediction processing is dynamically determined for an image encoding device and an image decoding device that compress and expand a digital video signal input in 4: 4: 4 format. An image encoding device and an image decoding device to be switched will be described.
  • a digital video signal is composed of discrete pixel information (hereinafter referred to as integer pixels) generated by sampling the original analog video signal, but is interpolated between adjacent integer pixels.
  • a technique of creating a virtual sample (virtual pixel) by using the virtual pixel as a motion compensation prediction value is widely used. This technique has two effects, that is, prediction accuracy is improved by increasing the number of candidate points for prediction, and singular points of the predicted image are reduced by the smoothing filter effect accompanying the interpolation operation, thereby improving the prediction efficiency.
  • the accuracy of the virtual pixel is improved, the dynamic range of the motion vector that expresses the amount of motion also increases, so that the code amount generally increases.
  • the unit of the motion vector value may be an integer pixel unit.
  • the unit of the value of the motion vector is a half-pixel unit. Double dynamic range is required.
  • FIG. 1 shows how a virtual pixel with 1/2 pixel accuracy is generated.
  • A, B, C, and D are integer pixels
  • e, f, g, h, and i are virtual pixels with 1/2 pixel accuracy generated from A to D.
  • the half pixel a is generated as follows using integer pixels in the vicinity of the surrounding eight.
  • the following formula shows only the case of horizontal processing, and the relationship between the half pixel a created for 1/4 pixel generation and the X components X -4 to X 4 of the integer pixel of the following formula is The positional relationship is shown in FIG.
  • the virtual pixels used in the motion compensation prediction process can use the accuracy of half pixels and 1/4 pixels.
  • the image encoding device and the image decoding device according to the first embodiment set the upper limit of the accuracy of available virtual pixels for each color component of the 4: 4: 4 video signal according to the encoding / decoding situation. Configure to be flexible.
  • the virtual pixel generated from it is used as the predicted value of the original signal. In some cases, the effectiveness is not sufficiently ensured. In this case, the balance between the prediction efficiency that can be earned by using the highly accurate virtual pixel and the code amount of the increasing motion vector is deteriorated. Therefore, it is convenient to design the image encoding device and the image decoding device so that the accuracy of the virtual pixel for which the motion vector can be specified can be flexibly changed according to the encoding situation.
  • FIG. 3 shows the configuration of the image coding apparatus according to the first embodiment.
  • the operations other than the prediction unit 4 and the variable length encoding unit 8 almost follow the encoding operation of Non-Patent Document 2 described in the related art.
  • the prediction unit 4 receives the virtual pixel accuracy instruction information 16, and based on the information, determines the accuracy of virtual pixels used for motion vector detection between frames and performs processing.
  • the virtual pixel accuracy instruction information 16 is defined as a value that defines the relationship between the magnitude of the motion vector and the virtual pixel accuracy. That is, the upper limit of the size of the motion vector using the virtual pixel up to 1/4 pixel accuracy and the upper limit of the size of the motion vector using the virtual pixel up to half pixel accuracy are specified.
  • a motion vector having a size exceeding the upper limit of the size of a motion vector using virtual pixels up to half-pixel accuracy is configured to use only integer pixels. By adopting such a configuration, the following effects are obtained.
  • the motion vector is an amount representing the degree of motion between adjacent frames for each block.
  • the size is small, it indicates that the prediction target block does not move so much from the corresponding block on the reference image. That is, it may be considered that the block area is in a state close to rest.
  • the magnitude of the motion vector is large, it indicates that the prediction target block has moved greatly from the corresponding block on the reference image. That is, the block area may be considered as an area with a large temporal movement between adjacent frames (such as a subject with intense movement).
  • the resolution of an image is high in a still area, and the resolution tends to decrease in an area where movement is intense.
  • the prediction accuracy is improved by generating virtual pixels with high accuracy and using them for prediction in an area where the size of the motion vector is small and close to static.
  • the effect of reducing the upper limit of the accuracy of the virtual pixel and reducing the code amount of the motion vector can be expected.
  • each color component is regarded as an independent picture, and a macro block is configured with a rectangular block of a single color component to make a color
  • the motion vector adaptive encoding processing will be described in detail for each case where individual motion vectors are applied to each component.
  • the block division unit 2 outputs a macroblock composed of the three color components, and performs encoding / decoding in a mode using the common motion vector for the three color components.
  • the virtual pixel accuracy instruction information 16 uses virtual pixels up to 1/4 pixel accuracy when the motion vector mv common to the three color components is smaller than the value Lq.
  • the virtual pixel is used up to half-pixel accuracy.
  • the value is larger than the value Lh, only integer pixels are used for motion compensation prediction.
  • the processing flow by the prediction unit 4 and the variable length coding unit 8 is shown in FIG.
  • the prediction unit 4 first performs a motion vector search using only integer pixels (step S1), and determines which of the above equations (1a) to (3a) is met.
  • step S2 determines which of the above equations (1a) to (3a) is met.
  • step S3 determines which of the above equations (1a) to (3a) is met.
  • step S6 When the expression (2a) is met (Yes in step S4), mv is output as a part of the prediction signal generation parameter 15.
  • the equation (2a) is not matched, the equation (1a) is satisfied (No in step S4), and a motion vector search using 1/4 pixel is executed within the range of Lq (step S5).
  • Mv is output as part of the prediction signal generation parameter 15.
  • the variable length encoding unit 8 uses mv input as a part of the prediction signal generation parameter 15 and Lq and Lh ⁇ specified by the virtual pixel accuracy instruction information 16 to perform the above (1a) to (3a
  • the motion vector is efficiently encoded based on the encoded representation of the motion vector according to the equation (step S6).
  • the motion vector is generally encoded with the prediction difference using the motion vector of the neighboring block as the predicted value, but in this case, the neighboring block that is the predicted value is always the maximum. It is possible to store the values as virtual pixel accuracy values, and to convert the values according to the above formulas (1a) to (3a) and take the difference in the same way as mv only when taking the prediction difference.
  • the virtual pixel accuracy instruction information 16 is multiplexed and output to the bit stream 9 because it is necessary to decode the motion vector by the method according to the above equations (1a) to (3a) on the image decoding apparatus side (step S6).
  • the block division unit 2 outputs a macroblock composed of a single color component, and performs encoding / decoding in a mode using individual motion vectors for each of the three color components.
  • the motion vector mv k ′ to be encoded can be encoded with the dynamic range adaptively reduced as follows. (In the following formula, when mv k > 0, the sign is inverted when mv k ⁇ 0)
  • the processing flow by the prediction unit 4 and the variable length coding unit 8 is shown in FIG.
  • the prediction unit 4 first performs a motion vector search using only integer pixels, and determines which of the above equations (1b) to (3b) is met. When the expression (3b) is satisfied, the prediction process is terminated without executing the subsequent motion vector search using the virtual pixel with the half pixel and the 1/4 pixel accuracy, and mv is used as a part of the prediction signal generation parameter 15 Output k . If the equation (3b) is not met, a motion vector search with half-pixel accuracy is further performed within the range of Lh k to determine whether the equation (2b) is met. If the equation (2b) is met, mv k is output as part of the prediction signal generation parameter 15.
  • the expression (2b) does not match, the expression (1b) is satisfied, and a motion vector search using 1/4 pixel is further performed within the range of Lq k , and a part of the prediction signal generation parameter 15 is obtained.
  • Outputs mv k as The variable length encoding unit 8 uses mv k input as a part of the prediction signal generation parameter 15 and Lq k and Lh k indicated by the virtual pixel accuracy indication information 16 to (1b) above.
  • the encoded representation of the motion vector according to the equations (3b) is possible, and the motion vector is efficiently encoded.
  • the motion vector is generally encoded with the prediction difference using the motion vector of the neighboring block as the predicted value.
  • the value is stored as the maximum virtual pixel accuracy value and the difference is calculated by converting the value according to the above formulas (1b) to (3b) as in mv k only when the prediction difference is taken. Good. Since the virtual pixel accuracy instruction information 16 needs to decode the motion vector by the method according to the above equations (1b) to (3b) on the image decoding side, the values for the three color components are multiplexed and output to the bit stream 9. .
  • the processing flow is equivalent to FIG. 4 when mv in FIG. 4 is read as mv k and Lq and Lh are read as Lq k and Lh k .
  • Lq and Lh indicated by the virtual pixel accuracy indication information 16 are defined as parameters that adaptively change with respect to these factors in the sequence, or different values are multiplexed individually for each picture. It is desirable to be configured. For example, if the video has a lot of motion throughout the video, and the quantization step size is large, the quality of the reference image is not good at a low bit rate, and the rate of the coding amount of the motion vector increases.
  • Lh may be set small or invalidated so that the virtual pixel can be used easily.
  • the properties of the video and the bit rate (quantization step size) may be combined, or may be used individually as control factors for Lq and Lh.
  • Non-Patent Documents 1 and 2 when a predicted image is selectively obtained from a plurality of reference images that are temporally different from each other, Lq and Lh are controlled according to the index of the reference image to be used. You may comprise as follows.
  • the virtual pixel accuracy instruction information 16 may be configured to be linked with the size of the block of the motion vector search unit to be used.
  • a block of a plurality of sizes can be used as a motion vector search unit block as shown in FIG. If the size of the block to which the motion vector is assigned is large, the image pattern can be captured efficiently even if the size of the motion vector itself is large. However, if the block is small, the effect of noise is greater than the image pattern. It becomes easy to receive. Therefore, when the block size of a block to which a motion vector is allocated is large, Lq and Lh are reduced or invalidated to increase the frequency of 1/4 pixel precision motion compensation prediction, and the block size is small. Lq and Lh may be made large or activated.
  • the virtual pixel accuracy instruction information 16 may be configured to control Lq k and Lh k independently for each color component (k) when an individual motion vector is used for each color component. For example, when encoding is performed in a color space such as Y, Cb, and Cr, the characteristics of the signal are different for each color component, so the effects of Lq k and Lh k may be different for each color component.
  • the virtual pixel accuracy instruction information 16 is targeted only for half pixels and 1/4 pixels in the above example, but in the case where finer virtual pixels such as 1/8 pixels and 1/16 pixels are used. Also, it can be easily expanded by providing a new upper limit setting similar to Lq and Lh.
  • the input video signal 1 is encoded by the image encoding device in FIG. 3 based on the above processing, and output from the image encoding device as a bitstream 9 in units of slices in which a plurality of macroblocks are bundled. Is done.
  • FIG. 6 shows a data array of the bit stream 9.
  • the bit stream 9 is configured as a collection of encoded data for the number of macroblocks included in a picture, and the macroblocks are unitized into data units called slices.
  • a picture level header that is referenced as a common parameter by macroblocks belonging to the same picture is prepared, and virtual pixel accuracy instruction information 16 is stored in the picture level header.
  • the common / independent coding identification flag 17 multiplexed in the sequence level header indicates that a common motion vector is used for the three color components
  • Lq and Lh are a set
  • the common / independent coding identification flag 17 is In order to indicate that an individual motion vector is used for each color component, three sets of Lq k and Lh k (the number of color components) are multiplexed.
  • Each slice starts from a slice header, and then encoded data of each macroblock in the slice is arranged (in this example, the second slice includes M macroblocks).
  • the common / independent encoding identification flag 17 indicates that an individual motion vector is used for each color component
  • color component identification information 18 indicating which color component encoded data is included in the slice in the slice header is displayed.
  • the virtual pixel accuracy instruction information 16 may be configured to multiplex Lq k and Lh k specified by the color component identification information 18 in the slice header.
  • the coding mode, motion vector, quantization step size parameter, prediction error compressed data, and the like are arranged in the data of each macroblock.
  • the motion vector is obtained as a difference between mv ′ determined by the above-described equations (1a) to (3a) (or (1b) to (3b)) and the predicted value pmv ′ converted in the same manner. Is encoded.
  • the virtual pixel accuracy instruction information 16 is configured to be stored in a sequence level header that is assigned in units of a sequence in which a plurality of video frames are bundled, and is based on each encoded data such as a picture, a slice, and a macro block.
  • Lq and Lh may be determined by adaptively changing the multiplexing information of the sequence level header. In this way, it is not necessary to encode and transmit the virtual pixel accuracy instruction information 16 with individual picture level headers, and the amount of header information can be reduced.
  • FIG. 7 shows the configuration of the image decoding device according to the first embodiment.
  • the variable length decoding unit 20 decodes the bit stream 9 shown in FIG. 6 and extracts / interprets the common / independent coding identification flag 17 so that the macroblock is composed of three color components or a single color component.
  • the bit stream analysis of subsequent slices and macroblocks is advanced.
  • the virtual pixel accuracy instruction information 16 is extracted from the bitstream 9.
  • a slice header, prediction error compressed data 22 of each macroblock, encoding mode, prediction signal generation parameter 15 including a motion vector, quantization step size parameter 23, and the like are extracted according to a predetermined rule (syntax).
  • the prediction error compression data 22 and the quantization step size parameter 23 are input to the prediction error decoding unit 24 and restored to the decoded prediction error signal 25.
  • the prediction unit 21 generates a prediction image 26 from the prediction signal generation parameter 15 decoded by the variable length decoding unit 20 and the reference image in the memory 28 (the motion vector detection operation of the prediction unit 4 in the image encoding device is Not included).
  • the decoded prediction error signal 25 and the predicted image 26 are added by an adder to obtain a decoded signal 27.
  • the decoded signal 27 is stored in the memory 28 for use in subsequent motion compensation prediction of the macroblock.
  • a process of removing a block distortion by applying a deblocking filter to the decoded signal may be performed before the data is written in the memory 28, a process of removing a block distortion by applying a deblocking filter to the decoded signal may be performed.
  • the decoded signal 27 is restored as an image signal of either a macroblock including three color components or a macroblock including only a single
  • the maximum accuracy of the virtual pixel indicated by the motion vector is 1/4 pixel
  • the motion vector output from the variable length decoding unit 20 as part of the prediction signal generation parameter 15 is always It is assumed that the value is output to the prediction unit 21 as a value in which 1/4 pixel is 1. That is, the motion vector encoded by compressing the dynamic range by the above-described equations (1a) to (3a) (or (1b) to (3b)) in the image encoding device is a virtual pixel extracted from the bitstream.
  • the accuracy instruction information 16 mvd extracted from the bitstream for each motion vector allocation block, and motion vector prediction value pmv '
  • inverse transformation of the process at the time of encoding is performed, and the dynamic range is restored to predictor 21 To be output.
  • Fig. 8 shows the processing flow of this inverse transformation.
  • the variable length decoding unit 20 first extracts mvd that is motion vector encoded data from the bitstream (step S10). This corresponds to data encoded by compressing the dynamic range according to the above-described equations (1) to (3) at the time of encoding.
  • pmv that is a predicted value of the motion vector is obtained, and this is encoded using the virtual pixel accuracy instruction information 16 according to the above-described equations (1a) to (3a) (or (1b) to (3b)).
  • Conversion processing similar to that at the time of conversion is performed, and the dynamic range is compressed (step S11).
  • This mv '' is output to the prediction unit 21 and held internally as a prediction value for subsequent motion vector decoding (step S13).
  • the prediction unit 21 can always handle a motion vector in units of 1/4 pixels without being aware of the dynamic range of the encoded motion vector.
  • Lq and Lh are used as values common to the three color components.
  • (4) to (6) are used using Lq k and Lh k decoded for each color component (k). ) May be applied independently for each color component, or Lq k and Lh k may be set to the same value for all color components, and common Lq and Lh may be used.
  • Lq and Lh are the frame resolution of the video to be decoded, the quantization step size parameter 23, the block size of the motion vector allocation unit (this is the coding It may be configured to change in conjunction with the encoding information included in the bit stream 9 such as the index of the reference image).
  • the image encoding device and the image decoding device in Embodiment 1 described above in order to efficiently encode a 4: 4: 4 format color video signal, according to the nature of the signal of each color component, Since it is possible to dynamically switch the accuracy of virtual samples used for motion vector detection / prediction image generation, the amount of motion vector code can be effectively suppressed in low bit rate coding with a high compression rate. Thus, it is possible to provide an image encoding device and an image decoding device that perform encoding.
  • the image encoding device and the image decoding device according to the first embodiment also have an effect of reducing the complexity of the image encoding process / decoding process for the following reason.
  • the higher the video resolution and the greater the number of pixels in the screen the greater the number of moving pixels when the amount of movement of the subject is converted to the number of pixels compared to when the resolution is low. I need to take it.
  • the number of evaluation points increases and the amount of evaluation calculation on the image coding apparatus side increases.
  • the image coding apparatus of the first embodiment at the time of integer pixel search.
  • the configuration is such that the search for virtual pixels is terminated, so that the amount of computation can be reduced.
  • the reference image is a frame memory having a large data size, it is stored in a large-capacity memory such as an external DRAM (memory 14, memory 28, etc.).
  • the reference image is stored on the external memory.
  • a part of the reference image is mounted and configured to perform operations by fetching a part of the reference image into an internal cache.
  • the virtual pixel generation process is performed only when the magnitude of the motion vector is smaller than a certain threshold value. Therefore, the memory band required for the interpolation filtering process It also has the effect of reducing the width and power consumption.
  • adaptive encoding of a motion vector in the present invention is based on conventional luminance / Needless to say, the present invention can also be applied to the efficiency of motion vector coding in video coding for 4: 2: 0 and 4: 2: 2 formats in which color thinning is performed in the color difference component format. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法等の提供。 　デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備える。

Description

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
　本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
　従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる、標準化された入力信号フォーマットを圧縮処理対象信号として用いてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、MPEG-4 AVC/H.264(以下、AVC)のような国際標準映像符号化方式(非特許文献１)では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、デジタルシネマなどのコンテンツにおいては、コンテンツ制作時の色表現を上映時に正確に再現することを目的として、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する４：４：４フォーマットでの直接符号化方式を推奨している。この目的に適した方式として、非特許文献２のような標準方式がある。４：２：０フォーマットと４：４：４フォーマットの違いを図９に示す。同図において、４：２：０フォーマットは輝度(Y)・色差(Cb,Cr)信号から構成され、色差信号のサンプルは輝度信号の２ｘ２サンプル分相当につき１つであるのに対し、４：４：４フォーマットは特に色を表現する色空間をY,Cb,Crに限定せず、各色成分の信号のサンプル比が１：１となっていることを示している。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264　Amendment2
　例えば、非特許文献２による４：４：４フォーマットの符号化では、図１０に示すように、まず、あらかじめ符号化対象となる入力映像信号１００１（４：４：４フォーマット）を直接または適当な色空間（Y,Cb,Crなど）へ変換を行った後、ブロック分割部１００２においてマクロブロック(16画素×16ラインの矩形ブロック)の単位に分割されて符号化映像信号１００３として予測部１００４へ入力する。非特許文献２では、マクロブロックは３つの色成分をまとめた単位で構成しても良いし、各色成分を独立したピクチャとみなして、単一色成分の矩形ブロックとして構成してもよく、どちらの構成のマクロブロックを用いるかをシーケンスレベルで選択可能となっている。予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で予測を行う場合、マクロブロック自体、ないしはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。圧縮部１００６は、予測誤差信号１００５に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。これを予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３を得る。復号信号１０１３は、以降の符号化映像信号１００３のための予測信号１０１２を生成する目的でメモリ１０１４に格納される。図示していないが、メモリ１０１４へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１５は可変長符号化部１００８へ送られ、ビットストリーム１００９として出力される。ここで、予測信号生成用パラメータ１０１５には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。マクロブロックを３つの色成分をまとめた単位で構成している場合は、予測信号生成用パラメータ１０１５は３つの色成分に共通的に適用されるパラメータとして検出され、各色成分を独立したピクチャとみなして、マクロブロックを単一色成分の矩形ブロックとして構成している場合は、予測信号生成用パラメータ１０１５は各色成分に個別に適用されるパラメータとして検出される。
　４：４：４フォーマットの映像信号は、各色成分の同一数のサンプルが含まれており、従来の４：２：０フォーマットの映像信号に比べて厳密な色再現性を有する反面、圧縮符号化の意味では冗長な情報量を含んでいる。４：４：４フォーマットの映像信号の圧縮効率を高めるためには、従来の４：２：０フォーマットの固定的な色空間定義(Y,Cb,Cr)に対して、さらに信号に含まれる冗長度を低減する必要がある。非特許文献２による４：４：４フォーマットの符号化では、符号化映像信号１００３は信号の統計的・局所的な性質に寄らず、各色成分を輝度信号とみなして符号化を行い、予測部１００４、圧縮部１００６、可変長符号化部１００８のいずれにおいても符号化対象信号の性質を最大限に考慮した信号処理は行われない。
　そこで、本発明は、符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法を提供し、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法を提供することを目的とする。
　本発明にかかわる画像符号化装置は、デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備えるものである。
　本発明の画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分間に存在する局所的な信号相関を適応的に除去できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。
　また、本発明の画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分で用いるイントラ予測モード情報やインター予測モード情報を柔軟に選択できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。
1/2画素精度の仮想画素を生成する処理の様子を示す説明図。（実施例１） 1/4画素精度の仮想画素を生成する処理の様子を示す説明図。（実施例１） 実施の形態１における画像符号化装置の構成を示す説明図。（実施例１） 図３の画像符号化装置における適応動きベクトル探索・符号化のフローチャート。（実施例１） 図３の予測部４で評価される動き補償予測モードの、マクロブロック内分割パターン(動きベクトル割り当てパターン)を示す説明図。（実施例１） 実施の形態１における画像符号化装置から出力されるビットストリームのデータ配列を示す説明図。（実施例１） 実施の形態１における画像復号装置の構成を示す説明図。（実施例１） 図７の画像復号装置における適応動きベクトル復号のフローチャート。（実施例１） ４：２：０、４：４：４フォーマットの説明図。 従来の画像符号化装置(非特許文献２)の構成を示す説明図。
（実施例１）
　本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置、画像復号装置につき、動き補償予測処理を行う際の動きベクトル検出精度を動的に切り替える画像符号化装置、画像復号装置について述べる。
　デジタル映像信号は、もとのアナログ映像信号をサンプリングすることによって生成された離散的な画素情報(以降、整数画素と呼ぶ)で構成されるものであるが、隣接する整数画素間に内挿演算によって仮想的なサンプル(仮想画素)を作り出し、仮想画素を動き補償予測値として用いる技術が広く利用されている。この技術には、予測の候補点が増えることによる予測精度の向上と、内挿演算に伴う平滑化フィルタ効果によって予測画像の特異点が削減され予測効率が向上するという２つの効果があることが知られている。一方で、仮想画素の精度が向上すると、動き量を表現する動きベクトルのダイナミックレンジも広がるため、一般にその符号量も増加する。たとえば、仮想画素を使用せず整数画素だけを用いる場合、動きベクトルの値の単位は整数画素単位でよい。しかし、整数画素と整数画素の間の1/2画素精度の位置までを動きベクトルで指定する場合には、動きベクトルの値の単位は1/2画素単位となるので、整数画素を表すには倍のダイナミックレンジが必要となる。
　MPEG-1,MPEG-2などの標準映像符号化方式では、仮想画素の精度を1/2画素精度まで許容する半画素予測が採用されている。図１に1/2画素精度の仮想画素の生成の様子を示す。同図において、A,B,C,Dは整数画素、e,f,g,h,iはA～Dから生成される1/2画素精度の仮想画素を示す。
e = (A+B)//2
f = (C+D)//2
g = (A+C)//2
h = (B+D)//2
i = (A+B+C+D)//4
(ただし、//は丸めつき除算を示す。)
以降、便宜上、1/2画素精度の仮想画素のことを単に「半画素」と記す。
　また、MPEG-4(ISO/IEC 14496-2)やMPEG-4 AVC/H.264(ISO/IEC 14496-10)では、1/4画素精度までの仮想画素を用いる1/4画素精度予測が採用されている。1/4画素精度予測では、半画素を生成した後、それらを用いて1/4画素精度の仮想画素を生成する。以降、便宜上、1/4画素精度の仮想画素のことを「1/4画素」と記す。1/4画素の生成にあたっては、まず、その基礎となる半画素を生成するが、その際、過度の平滑化を抑える目的で、タップ数の多いフィルタを用いてもとの整数画素信号の周波数成分を極力保持するよう設計される。例えばMPEG-4の1/4画素生成では、半画素aは、その周辺８近傍分の整数画素を使用して、以下のように生成される。なお、下式は、水平処理の場合のみを示しており、1/4画素生成のために作られる半画素aと、下式の整数画素のX成分X-4～X4との関係は、図２に示す位置関係にある。
a = (COE1*X1 + COE2*X2 + COE3*X3 + COE4*X4 + COE-1*X-1 + COE-2*X-2 + COE-3*X-3 + COE-4*X-4)//256
（ただし、COEk: フィルタ係数(係数総和が256)。//は丸めつき除算を示す。）
AVC(ISO/IEC 14496-10)では、半画素を生成する際に[1,-5,20,20,-5,1]なる6タップのフィルタを採用しており、さらに1/4画素を上記MPEG-1、MPEG-2の半画素生成と同様の線形補間処理によって生成している。さらに、1/4画素と1/4画素の間に位置する1/8画素精度の仮想サンプルを同様の手順で求めて使用する事例もある。
１．画像符号化装置の動作
　本実施の形態１において、動き補償予測処理時に用いる仮想画素は、半画素、1/4画素の精度を使用可能とする。そのうえで、本実施の形態１の画像符号化装置、画像復号装置は、4：4：4映像信号の各色成分ごとに、利用可能な仮想画素の精度の上限を符号化・復号の状況に応じて柔軟に指定できるように構成する。
　このように構成することによる効果として、以下のような点が挙げられる。
(i)仮想画素を用いた動き補償予測においては、画像符号化装置側・画像復号装置側で同一の参照画像を用いて仮想画素を生成しなければならない。一般に圧縮された映像信号では、圧縮率が高いほど、動き補償予測に用いる参照画像の品質は低下していく。精度の高い仮想画素を使用する効果は、参照画像が符号化前の原信号に近く、品質の高い信号である(すなわち圧縮率が低い、ないしは高ビットレート符号化)ほど顕著となるが、これは動きベクトルを符号化して伝送する情報量が増加しても、それを予測効率の改善分で補えるケースに相当する。しかし、圧縮率が高く(低ビットレート符号化時)、参照画像の品質が符号化前の原信号からかなり劣化している場合には、そこから生成した仮想画素は原信号の予測値としての有効性が十分に確保されないケースが発生し、その場合、精度の高い仮想画素を使用することによって稼ぐことができる予測効率と、増加する動きベクトルの符号量とのバランスが悪くなる。したがって、符号化の状況に応じて動きベクトルが指定できる仮想画素の精度を柔軟に変更できるように画像符号化装置・画像復号装置を設計しておくと都合が良い。
(ii)４：４：４映像信号の符号化・復号では、従来の輝度・色差成分からなる色空間だけでなく、RGBなどを含め多様な色空間の映像信号を扱うため、色成分ごとに信号の統計的性質がさまざまに変動する。従来のMPEG標準符号化方式における仮想画素利用の動き補償予測は、主として輝度信号に対して最適化設計されており、輝度信号とは異なる統計的性質を有する色成分に対しては、必ずしも従来の方法が最適な動き補償予測効率を与えるとは限らない。したがって、符号化・復号で扱う信号の性質に応じて動きベクトルが指定できる仮想画素の精度を柔軟に変更できるように画像符号化装置・画像復号装置を設計しておくと都合が良い。
　本実施の形態１では、特に、符号化対象フレームと参照画像との間の動きの大きさを表す動きベクトルの大きさに着目して、仮想画素の精度を適応化させる例を示す。図３に本実施の形態１における画像符号化装置の構成を示す。なお、予測部４、可変長符号化部８以外の動作はほぼ従来技術に述べた非特許文献２の符号化動作に従うものとする。
　本実施の形態１における予測部４は、仮想画素精度指示情報１６を受け取り、それに基づいてフレーム間の動きベクトル検出に用いる仮想画素の精度を定めて処理を行うことを特徴とする。仮想画素精度指示情報１６は、動きベクトルの大きさと仮想画素精度との関係を定める値として定義される。すなわち、1/4画素精度まで仮想画素を用いる動きベクトルの大きさの上限と、半画素精度まで仮想画素を用いる動きベクトルの大きさの上限とを指定する。半画素精度まで仮想画素を用いる動きベクトルの大きさの上限を超える大きさをもつ動きベクトルは、整数画素のみを使用するように構成する。このような構成とすることにより、以下の効果がある。
　動きベクトルはブロックごとの隣接フレーム間での動きの程度を表す量であり、大きさが小さい場合は、予測対象ブロックが、参照画像上の対応ブロックからそれほど動いていない、ということを示す。つまり、当該ブロック領域は静止に近い状態にあると考えてよい。一方、動きベクトルの大きさが大きい場合は、予測対象ブロックが、参照画像上の対応ブロックから大きく動いていることを示す。つまり、当該ブロック領域は隣接フレーム間で時間的に大きな動きのある領域(激しい動きのある被写体など)と考えてよい。一般に、静止領域では映像の解像度は高く、動きの激しい領域は解像度が落ちる傾向にある。解像度の高い領域では、仮想画素を精度よく生成できるが、解像度が低い領域では隣接画素間の相関も低下し、精度の高い仮想画素を生成することの意味が小さくなる。したがって、本実施の形態１の仮想画素精度指示情報１６を用いることにより、動きベクトルの大きさが小さく静止に近い領域では、仮想画素を高い精度まで生成して予測に用いることで予測精度を高め、逆に動きベクトルの大きさが大きく動きの激しい領域では仮想画素の精度の上限を落として、その分動きベクトルの符号量を削減するといった効果が期待できる。
　以下、３つの色成分をまとめた単位でマクロブロックを構成して共通の動きベクトルを適用する場合と、各色成分を独立したピクチャとみなして単一色成分の矩形ブロックでマクロブロックを構成して色成分ごとに個別の動きベクトルを適用する場合のそれぞれについて動きベクトルの適応符号化処理について詳述する。
　(A)３つの色成分に共通の動きベクトルを用いる場合
　ブロック分割部２が３つの色成分からなるマクロブロックを出力し、３つの色成分に共通の動きベクトルを用いるモードで符号化・復号を行う場合は、仮想画素精度指示情報１６は、３つの色成分に共通の動きベクトル mv に対し、値 Lq よりも小さい場合には1/4画素精度まで仮想画素を用いることとし、値 Lq 以上で値 Lh よりも小さい場合には半画素精度まで仮想画素を用いることとし、値 Lh よりも大きい場合は整数画素のみを動き補償予測に用いるものと規定する。このように定めることにより、符号化すべき動きベクトル mv' は、以下のようにダイナミックレンジを適応的に低減して符号化することが可能となる。(下式は mv > 0の場合、mv < 0の場合は符号反転)
　mv' = mv (mv < Lq) 　　　　　　　　　　　　　　　　　　　　　（１ａ）
　　　　→1/4画素精度を使用可
　mv' = Lq + (mv　Lq + 1)/2　(Lq <= mv < Lh) 　　　　　　　　　（２ａ）
　　　　→半画素精度を使用可
　mv' = Lq + (Lh　Lq + 1)/2 + (mv　Lh + 2)/4　(Lh <= mv) 　　　（３ａ）
　　　　→整数画素精度のみ使用可
　予測部４ならびに可変長符号化部８による処理フローを図４に示す。予測部４は、まず、整数画素のみを用いた動きベクトル探索を行い(ステップS1)、上記（１ａ）～（３ａ）式のいずれに合致するかを判断する。式（３ａ）に合致する場合(ステップS2でYes)、以降の半画素、1/4画素精度の仮想画素を用いた動きベクトル探索を実行せずに予測処理を終了し、予測信号生成用パラメータ１５の一部として mv を出力する。式（３ａ）に合致しなかった場合(ステップS2でNo)、さらにLhの範囲内において半画素精度での動きベクトル探索を実行して(ステップS3)、式（２ａ）に合致するかを判断する(ステップS4)。式（２ａ）に合致する場合(ステップS4でYes)、予測信号生成用パラメータ１５の一部として mv を出力する。式（２ａ）にも合致しなかった場合は式（１ａ）に当てはまり(ステップS4でNo)、さらに1/4画素も用いた動きベクトル探索をLqの範囲内で実行して(ステップS5)、予測信号生成用パラメータ１５の一部として mv を出力する。可変長符号化部８は、予測信号生成用パラメータ１５の一部として入力される mv と、仮想画素精度指示情報１６で指示される Lq, Lh とを用いることによって、上記（１ａ）～（３ａ）式に従う動きベクトルの符号化表現に基づき、動きベクトルを効率的に符号化する(ステップS6)。なお、動きベクトルは mv を直接符号化するのでなく、近傍ブロックの動きベクトルを予測値として予測差分を符号化するのが一般的であるが、その場合は、予測値となる近傍ブロックは常に最大仮想画素精度の値として保持しておき、予測差分をとる場合のみ mv と同じように上記（１ａ）～（３ａ）式に従った値の変換を行って差分をとるように構成すればよい。仮想画素精度指示情報１６は、画像復号装置側で上記（１ａ）～（３ａ）式に従う方法で動きベクトルを復号する必要があるため、ビットストリーム９へ多重出力する(ステップS6)。
　(B)各色成分ごとに個別の動きベクトルを用いる場合
　ブロック分割部２が単一色成分からなるマクロブロックを出力し、３つの色成分ごとに個別の動きベクトルを用いるモードで符号化・復号を行う場合は、仮想画素精度指示情報１６は、３つの色成分の各動きベクトル mvk (k=0,1,2)に対し、値 Lqk よりも小さい場合には1/4画素精度まで仮想画素を用いることとし、値 Lqk 以上で値 Lhk よりも小さい場合には半画素精度まで仮想画素を用いることとし、値 Lhk よりも大きい場合は整数画素のみを動き補償予測に用いるものと規定する。このように定めることにより、符号化すべき動きベクトル mvk' は、以下のようにダイナミックレンジを適応的に低減して符号化することが可能となる。(下式は mvk > 0の場合、mvk < 0の場合は符号反転)
　mvk' = mvk (mvk < Lqk) 　　　　　　　　　　　　　　　　　　　　（１ｂ）
　　　　→1/4画素精度を使用可
　mvk' = Lqk + (mvk　Lqk + 1)/2　(Lqk <= mvk < Lhk) 　　　　　　　（２ｂ）
　　　　→半画素精度を使用可
　mvk' = Lqk + (Lhk　Lqk + 1)/2 + (mvk　Lhk + 2)/4　(Lhk <= mvk)　 （３ｂ）
　　　　→整数画素精度のみ使用可
　予測部４ならびに可変長符号化部８による処理フローを図５に示す。予測部４は、まず、整数画素のみを用いた動きベクトル探索を行い、上記（１ｂ）～（３ｂ）式のいずれに合致するかを判断する。式（３ｂ）に合致する場合、以降の半画素、1/4画素精度の仮想画素を用いた動きベクトル探索を実行せずに予測処理を終了し、予測信号生成用パラメータ１５の一部として mvk を出力する。式（３ｂ）に合致しなかった場合、さらにLhkの範囲内において半画素精度での動きベクトル探索を実行して、式（２ｂ）に合致するかを判断する。式（２ｂ）に合致する場合、予測信号生成用パラメータ１５の一部として mvk を出力する。式（２ｂ）にも合致しなかった場合は式（１ｂ）に当てはまり、さらに1/4画素も用いた動きベクトル探索をLqkの範囲内で実行して、予測信号生成用パラメータ１５の一部として mvk を出力する。可変長符号化部８は、予測信号生成用パラメータ１５の一部として入力される mvk と、仮想画素精度指示情報１６で指示される Lqk, Lhk とを用いることによって、上記（１ｂ）～（３ｂ）式に従う動きベクトルの符号化表現が可能となり、動きベクトルを効率的に符号化する。なお、動きベクトルは mvk を直接符号化するのでなく、近傍ブロックの動きベクトルを予測値として予測差分を符号化するのが一般的であるが、その場合は、予測値となる近傍ブロックは常に最大仮想画素精度の値として保持しておき、予測差分をとる場合のみ mvk と同じように上記（１ｂ）～（３ｂ）式に従った値の変換を行って差分をとるように構成すればよい。仮想画素精度指示情報１６は、画像復号装置側で上記（１ｂ）～（３ｂ）式に従う方法で動きベクトルを復号する必要があるため、３つの色成分分の値をビットストリーム９へ多重出力する。
　また、処理フローは、図４の mv を mvk 、Lq, Lh をLqk, Lhk と読み替えれば図４と等価である。
　仮想画素の効果は、映像信号の状態(静止映像か、動きの激しい映像か、水平方向へ大きな動きか、垂直方向へ大きな動きか、など)、符号化ビットレート(量子化ステップサイズ)、映像解像度（フレームの水平画素数、垂直ライン数）などの様々な要因で変化すると考えられる。したがって、仮想画素精度指示情報１６で指示されるLq、Lhは、シーケンス中でこれらのファクタに対して適応的に変化するパラメータとして定義されるか、またはピクチャごとに異なる値を個別に多重するように構成されることが望ましい。たとえば、映像全体を通じて動きの激しい映像であって、量子化ステップサイズが大きい場合は、低ビットレートで参照画像の品質がよくない上に動きベクトルの符号量の割合が多くなるので、Lq、Lhを大きな値に設定することで、予測効率を犠牲にすることなく動きベクトルの符号量を抑制することが可能である。逆に、比較的静止した映像を高いビットレートで符号化する場合は、仮想画素を用いた動き補償予測の効果が大きくなる上、動きベクトルの符号量も相対的に小さくなってくるので、Lq、Lhを小さく設定、ないしは無効化して仮想画素を使いやすくなるよう構成すればよい。映像の性質とビットレート(量子化ステップサイズ)は組み合わせてもよいし、個別にLq、Lhの制御ファクタとして用いても良い。
　また、画像の解像度が高くなると、一般に動きベクトル探索単位のブロックが捕捉する実世界領域は小さくなるので、動きベクトルの探索範囲を大きくする必要が生じるが、これに応じてLq、Lhを制御するようにすれば効率的な符号化が可能となる。非特許文献１、２にあるように、時間的に距離が異なる複数の参照画像の中から選択的に予測画像を求める場合には、使用する参照画像のインデックスに応じてLq、Lhを制御するように構成しても良い。
　さらに、仮想画素精度指示情報１６は、使用する動きベクトル探索単位のブロックの大きさと連動するように構成しても良い。非特許文献１、２においては、動きベクトル探索単位のブロックとして、図５のように複数のサイズのブロックを利用可能である。動きベクトルが割り当てられるブロックの大きさが大きければ、動きベクトルそのものの大きさが大きくても、画像のパターンを効率よく捕捉することができるが、ブロックが小さい場合は画像のパターンよりもノイズの影響を受けやすくなる。したがって、動きベクトルを割り当てるブロックのブロックサイズが大きい場合には、Lq、Lhを小さく、ないしは無効化して1/4画素精度の動き補償予測を行う頻度を高めるようにして、ブロックサイズが小さい場合にLq、Lhを大きく、ないしは有効化するように構成しても良い。
　さらに、仮想画素精度指示情報１６は、各色成分ごとに個別の動きベクトルを用いる場合には、Lqk, Lhk を各色成分(k)ごとに独立して制御するように構成しても良い。たとえば、Y、Cb、Crのような色空間で符号化を行う際、各色成分ごとに信号の性質が異なるため、Lqk, Lhk の効果は色成分ごとに異なることが考えられる。
　さらに、仮想画素精度指示情報１６は、上述の例では半画素、1/4画素のみを対象としたが、1/8画素、1/16画素といった、さらに細かい仮想画素を使用するような場合にも、Lq、Lhと同様の新たな上限値設定を設けて容易に拡張することができる。
２．符号化ビットストリームの構成
　入力映像信号１は、上記処理に基づいて図３の画像符号化装置で符号化され、複数のマクロブロックを束ねたスライスの単位でビットストリーム９として画像符号化装置から出力される。図６に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、ピクチャ中に含まれるマクロブロック数分の符号化データが集められたものとして構成され、マクロブロックは複数個集められたスライスというデータ単位にユニット化される。同一ピクチャに属するマクロブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、ピクチャレベルヘッダには、仮想画素精度指示情報１６が格納される。シーケンスレベルヘッダに多重化される共通・独立符号化識別フラグ１７が、３つの色成分に共通の動きベクトルを用いることを示す場合はLq、Lhが一組、共通・独立符号化識別フラグ１７が、各色成分ごとに個別の動きベクトルを用いることを示す場合はLqk, Lhkが3組(色成分の数だけ)多重される。
　各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各マクロブロックの符号化データが配列される(この例では、第2スライスにM個のマクロブロックが含まれることを示す)。共通・独立符号化識別フラグ１７が、各色成分ごとに個別の動きベクトルを用いることを示す場合は、スライスヘッダに同スライスにどの色成分の符号化データを含むかを示す色成分識別情報１８を含む。このとき、仮想画素精度指示情報１６は、色成分識別情報１８で特定されるLqk, Lhkをスライスヘッダに多重するように構成しても良い。スライスヘッダに引き続いて、各マクロブロックのデータは、符号化モード、動きベクトル、量子化ステップサイズパラメータ、予測誤差圧縮データなどが配列される。動きベクトルは、上述の（１ａ）～（３ａ）式（あるいは（１ｂ）～（３ｂ）式）で定まる mv'と、同様に同じ方法で変換される予測値 pmv' との差分で得られる mvd を符号化する。
　なお、仮想画素精度指示情報１６は、複数枚の映像フレームを束ねたシーケンスの単位で付与するシーケンスレベルヘッダに格納するように構成し、ピクチャ、スライス、マクロブロックなどの各符号化データに基づいて適応的にシーケンスレベルヘッダの多重化情報を変化させてLq、Lhを定めるように構成しても良い。このようにすることで、個別のピクチャレベルヘッダで仮想画素精度指示情報１６を符号化・伝送する必要がなくなり、ヘッダの情報量を削減できる。
３．画像復号装置の動作
　図７に本実施の形態１における画像復号装置の構成を示す。可変長復号部２０は、図６に示すビットストリーム９を復号し、共通・独立符号化識別フラグ１７を抽出・解釈することにより、マクロブロックが３つの色成分から構成されるか、単一色成分で構成されるかを判断して、以降のスライス、マクロブロックのビットストリーム解析を進める。共通・独立符号化識別フラグ１７の復号値に基づいて仮想画素精度指示情報１６をビットストリーム９から抽出する。次いで、所定の規則（シンタックス）に従ってスライスヘッダ、各マクロブロックの予測誤差圧縮データ２２、符号化モード、動きベクトルを含む予測信号生成用パラメータ１５、量子化ステップサイズパラメータ２３、などを抽出する。
　予測誤差圧縮データ２２、量子化ステップサイズパラメータ２３は予測誤差復号部２４に入力され、復号予測誤差信号２５に復元される。予測部２１は、可変長復号部２０によって復号される予測信号生成用パラメータ１５とメモリ２８内の参照画像とから予測画像２６を生成する(画像符号化装置における予測部４の動きベクトル検出動作は含まない)。復号予測誤差信号２５と予測画像２６は加算器により加算され、復号信号２７を得る。復号信号２７は以降のマクロブロックの動き補償予測に用いるため、メモリ２８へ格納される。図示していないが、メモリ２８へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成しても良い。復号信号２７は、共通・独立符号化識別フラグ１７に応じて、３つの色成分が含まれるマクロブロック、ないしは単一色成分のみを含むマクロブロックのいずれかの画像信号として復元される。
　本実施の形態１における画像復号装置では、動きベクトルが指し示す仮想画素の最大精度を1/4画素とし、予測信号生成用パラメータ１５の一部として可変長復号部２０から出力される動きベクトルは常に1/4画素を１とする値として予測部２１へ出力されるものとする。すなわち、画像符号化装置において上述の（１ａ）～（３ａ）式（あるいは（１ｂ）～（３ｂ）式）によってダイナミックレンジを圧縮して符号化された動きベクトルは、ビットストリームから抽出した仮想画素精度指示情報１６と、動きベクトル割当ブロックごとにビットストリームから抽出した mvd と、動きベクトル予測値 pmv' とを用いて符号化時の処理の逆変換を行い、ダイナミックレンジを復元して予測部２１へ出力されるものとする。
　この逆変換の処理フローを図８に示す。可変長復号部２０では、まずビットストリームから動きベクトル符号化データである mvd を抽出する(ステップS10)。これは、符号化時に上述の（１）～（３）式によってダイナミックレンジを圧縮して符号化されたデータに相当する。ついで、当該動きベクトルの予測値となる pmv を求めて、これを上述の（１ａ）～（３ａ）式（あるいは（１ｂ）～（３ｂ）式）によって、仮想画素精度指示情報１６を用いた符号化時と同様の変換処理を行い、ダイナミックレンジを圧縮する（ステップS11）。得られた pmv' により、mv' = mvd + pmv' を得、仮想画素精度指示情報１６を用いた下記（４）～（６）式によりこれを逆変換してダイナミックレンジを復元する（ステップS12）。
　mv'' = mv' (mv < Lq) 　　　　　　　　　　　　　　　　　　　　　 （４）
　mv'' = (mv'　Lq) x 2 + Lq　(Lq <= mv < (Lq + (Lh-Lq)/2))　　　　（５）
　mv'' = (mv'　Lq　(Lh-Lq)/2) x 4 + Lh ((Lq + (Lh-Lq)/2) <= mv)　 （６）
　この mv'' を予測部２１へ出力するとともに、以降の動きベクトル復号のための予測値として内部的に保持する(ステップS13)。以上の処理を行うことにより、予測部２１では符号化された動きベクトルのダイナミックレンジを意識することなく、常に1/4画素を１とする単位で動きベクトルを扱うことが可能である。
　なお、画像符号化装置の動作で効果とともに述べたように、仮想画素精度指示情報１６は、3つの色成分に共通の動きベクトルを用いる場合（＝３つの色成分の信号が含まれるマクロブロックの場合）には、3つの色成分に共通の値としてLq、Lhを用いる。各色成分ごとに個別の動きベクトルを用いる場合（＝マクロブロックに単一色成分しか含まない場合）には、各色成分(k)ごとに復号したLqk, Lhk を用いて（４）～（６）式を色成分ごとに独立して適用してもよいし、Lqk, Lhkをすべての色成分に対して同じ値として、共通のLq、Lhを使用するように構成してもよい。これによって、色空間によって様々に変化する信号の統計的性質に適応した効率的な動き予測に対応できる。
　また、画像符号化装置の動作で効果とともに述べたように、Lq、Lhは、復号される映像のフレーム解像度や、量子化ステップサイズパラメータ２３、動きベクトル割当単位のブロックのサイズ（これは符号化モードで指定される）、参照画像のインデックスなど、ビットストリーム９に含まれる符号化情報に連動して変化するように構成してもよい。画像復号装置がこのような構成をとることによって、効率的に符号化されたビットストリームの復号に対応することができる。
　以上述べた本実施の形態１における画像符号化装置、画像復号装置によれば、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、各色成分の信号の性質に応じて、動きベクトル検出・予測画像生成の際に利用する仮想サンプルの精度を動的に切り替えることが可能となるため、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置、画像復号装置を提供することができる。
　さらに、本実施の形態１における画像符号化装置、画像復号装置によれば、以下の理由により、画像符号化処理・復号処理の複雑さを低減する効果も有する。一般に、映像の解像度が高くなり、画面内の画素数が多くなるほど、被写体の移動量を画素数で換算すると解像度が低い場合に比べて移動画素数が多くなるため、動きベクトルの探索範囲を広く取る必要がある。動きベクトルの探索範囲が広がることにより、評価点数が増加し、画像符号化装置側での評価演算量が多くなるが、本実施の形態１の画像符号化装置によれば、整数画素探索時点で動きベクトルの大きさがLh以上となる場合には、仮想画素の探索を打ち切るように構成したので、演算量を抑えることができる。また、仮想画素を生成するためには、参照画像上において仮想画素生成対象位置の周辺の整数画素を複数用いて内挿フィルタリングの処理を行う必要がある。一般に参照画像はデータサイズが大きいフレームメモリであるため外部のDRAMなどの大容量メモリ(メモリ１４、メモリ２８など)に格納されており、内挿フィルタリングの処理を高速に行うために、外部メモリ上の参照画像の一部をそのつど内部キャッシュへ取り込んで演算を行うように実装・構成されるのが一般的である。そのため、仮想画素生成の処理には、一般的に外部メモリアクセスが不可避であり、仮想画素生成点数が増えるほど、メモリバンド幅が増加し、消費電力の増加につながる。動きベクトルの指し示す範囲が狭ければ、内部キャッシュの許容量の範囲で一度に参照画像から所要データを内部キャッシュへ取り込むことで、外部メモリアクセス数を低減することができるが、動きベクトルの大きさが大きい場合、それを包含する領域の画像データは一般的に内部キャッシュへ取り込むのは困難であり、メモリバンド幅は増加せざるを得ない。本実施の形態１の画像符号化装置、画像復号装置では、動きベクトルの大きさが一定の閾値より小さい場合にのみ仮想画素生成処理を行うので、内挿フィルタリング処理のために必要となるメモリバンド幅を抑え、消費電力を抑制する効果も有する。
　なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、本発明における動きベクトルの適応符号化は、非特許文献１など、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０、４：２：２フォーマットを対象とする映像符号化において、その動きベクトル符号化の効率化にも適用可能であることはいうまでもない。

Claims (4)

  1. 　デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
    　動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、
    　前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備えることを特徴とする画像符号化装置。
  2. 　デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
    　動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報をビットストリームから抽出するとともに、動きベクトルが割り当てられる領域の単位で動きベクトルの符号化データをビットストリームから抽出して動きベクトルを復元する復号部と、
    　該復号部によって復号される動きベクトルに基づいて動き補償予測画像を生成する予測部とを備え、
    　前記復号部は、ビットストリームから抽出された動きベクトル符号化データと、該復号対象の動きベクトルの予測に用いる動きベクトルとから復元されるデータの大きさと、前記ビットストリームから抽出した仮想画素精度指定情報とに基づいて動きベクトルを復号することを特徴とする画像復号装置。
  3. 　デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化方法であって、
    　動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測ステップと、
    　前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化ステップとを備えることを特徴とする画像符号化方法。
  4. 　デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号方法であって、
    　動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報をビットストリームから抽出するとともに、動きベクトルが割り当てられる領域の単位で動きベクトルの符号化データをビットストリームから抽出して動きベクトルを復元する復号ステップと、
    　該復号される動きベクトルに基づいて動き補償予測画像を生成する予測ステップとを備え、
    　前記復号ステップは、ビットストリームから抽出された動きベクトル符号化データと、該復号対象の動きベクトルの予測に用いる動きベクトルとから復元されるデータの大きさと、前記ビットストリームから抽出した仮想画素精度指定情報とに基づいて動きベクトルを復号することを特徴とする画像復号方法。
PCT/JP2009/050142 2008-01-09 2009-01-08 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Ceased WO2009088038A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP09701456A EP2234404A4 (en) 2008-01-09 2009-01-08 IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, IMAGE ENCRYPTION METHOD AND IMAGE KEYING PROCESS
CN2009801020090A CN101911706A (zh) 2008-01-09 2009-01-08 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CA 2711742 CA2711742A1 (en) 2008-01-09 2009-01-08 Image encoding device, image decoding device, image encoding method, and image decoding method
US12/812,185 US20110032991A1 (en) 2008-01-09 2009-01-08 Image encoding device, image decoding device, image encoding method, and image decoding method
JP2009548946A JP5197630B2 (ja) 2008-01-09 2009-01-08 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
BRPI0906824-4A BRPI0906824A2 (pt) 2008-01-09 2009-01-08 Dispositivo de codificação de imagem, dispositivo de decodificação de imagem, método de codificação de imagem e método de decodificação de imagem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008002223 2008-01-09
JP2008-002223 2008-01-09

Publications (1)

Publication Number Publication Date
WO2009088038A1 true WO2009088038A1 (ja) 2009-07-16

Family

ID=40853150

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050142 Ceased WO2009088038A1 (ja) 2008-01-09 2009-01-08 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Country Status (9)

Country Link
US (1) US20110032991A1 (ja)
EP (1) EP2234404A4 (ja)
JP (1) JP5197630B2 (ja)
KR (1) KR20100099723A (ja)
CN (1) CN101911706A (ja)
BR (1) BRPI0906824A2 (ja)
CA (1) CA2711742A1 (ja)
RU (1) RU2010133237A (ja)
WO (1) WO2009088038A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509020A (ja) * 2009-10-14 2013-03-07 トムソン ライセンシング 動き情報の適応型符号化方法及び装置
JP2013520875A (ja) * 2010-02-19 2013-06-06 クゥアルコム・インコーポレイテッド ビデオコーディングのための適応動き解像度
JP2017508344A (ja) * 2014-01-08 2017-03-23 マイクロソフト テクノロジー ライセンシング，エルエルシー 動きベクトル精度の選択
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US10587891B2 (en) 2014-01-08 2020-03-10 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145002B2 (en) * 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
CN102742270B (zh) * 2010-02-05 2016-02-03 瑞典爱立信有限公司 用于子像素插值的改进的方法和设备
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
PL2661892T3 (pl) 2011-01-07 2022-08-16 Nokia Technologies Oy Przewidywanie ruchu w kodowaniu wideo
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
JP6008334B2 (ja) 2011-08-25 2016-10-19 サン パテント トラスト 復号装置及び復号方法
CN106791842A (zh) * 2011-09-06 2017-05-31 英特尔公司 分析辅助编码
MX2013008692A (es) 2011-09-07 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
PL2760205T3 (pl) 2011-09-19 2021-05-17 Sun Patent Trust Sposób dekodowania obrazów, urządzenie do dekodowania obrazów
PL3742735T3 (pl) 2011-10-19 2022-11-14 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów
WO2017135151A1 (ja) 2016-02-01 2017-08-10 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
KR102728610B1 (ko) 2017-04-21 2024-11-08 제니맥스 미디어 인크. 게임-생성된 모션 벡터들을 위한 시스템들 및 방법들
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111436229B (zh) 2018-11-12 2024-06-28 北京字节跳动网络技术有限公司 帧间预测的带宽控制方法
WO2020103872A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN111010581B (zh) * 2018-12-07 2022-08-12 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
CN113545065B (zh) 2019-03-06 2023-12-12 北京字节跳动网络技术有限公司 转换后的单向预测候选的使用
CN113875247A (zh) * 2019-04-05 2021-12-31 巨人计划有限责任公司 高动态范围视频格式检测
JP6835337B2 (ja) * 2019-06-20 2021-02-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251596A (ja) * 1995-03-10 1996-09-27 Toshiba Corp 動画像符号化／復号化装置
JP2004236049A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 符号化方法及び復号化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
JP3856262B2 (ja) * 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
GB2339101B (en) * 1998-06-25 2002-09-18 Sony Uk Ltd Processing of compressed video signals using picture motion vectors
JP2003169338A (ja) * 2001-09-18 2003-06-13 Matsushita Electric Ind Co Ltd 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2004274212A (ja) * 2003-03-06 2004-09-30 Renesas Technology Corp 画像符号化装置
US7310451B2 (en) * 2005-01-03 2007-12-18 Intel Corporation Sub-pixel image shifting in display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251596A (ja) * 1995-03-10 1996-09-27 Toshiba Corp 動画像符号化／復号化装置
JP2004236049A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 符号化方法及び復号化方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509020A (ja) * 2009-10-14 2013-03-07 トムソン ライセンシング 動き情報の適応型符号化方法及び装置
JP2016167837A (ja) * 2009-10-14 2016-09-15 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置
KR101792041B1 (ko) * 2009-10-14 2017-11-02 톰슨 라이센싱 움직임 정보의 적응적 코딩 방법 및 장치
JP2018067949A (ja) * 2009-10-14 2018-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置
JP2013520875A (ja) * 2010-02-19 2013-06-06 クゥアルコム・インコーポレイテッド ビデオコーディングのための適応動き解像度
JP2015156653A (ja) * 2010-02-19 2015-08-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのための適応動き解像度
US9237355B2 (en) 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP2017508344A (ja) * 2014-01-08 2017-03-23 マイクロソフト テクノロジー ライセンシング，エルエルシー 動きベクトル精度の選択
US10313680B2 (en) 2014-01-08 2019-06-04 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10587891B2 (en) 2014-01-08 2020-03-10 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream

Also Published As

Publication number Publication date
EP2234404A1 (en) 2010-09-29
EP2234404A4 (en) 2011-06-22
JP5197630B2 (ja) 2013-05-15
US20110032991A1 (en) 2011-02-10
RU2010133237A (ru) 2012-02-20
KR20100099723A (ko) 2010-09-13
CN101911706A (zh) 2010-12-08
JPWO2009088038A1 (ja) 2011-05-26
BRPI0906824A2 (pt) 2015-07-14
CA2711742A1 (en) 2009-07-16

Similar Documents

Publication Publication Date Title
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR100966427B1 (ko) 화상 복호 장치 및 화상 복호 방법
CN114830651B (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
KR102024516B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
TWI411310B (zh) Image processing apparatus and method
WO2012172668A1 (ja) 動画像符号化方法及び装置並びに動画復号化方法及び装置
JPWO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20150034699A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
KR20210023911A (ko) 인트라 예측 방법 및 장치
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
HK1148414A (en) Image encoding device, image decoding device, image encoding method, and image decoding method
JP4153774B2 (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
WO2022146215A1 (en) Temporal filter
JP2012209873A (ja) 動画像符号化装置及び動画像符号化方法
HK40040676B (en) Video decoding method, video encoding method, and related device
HK40040676A (en) Video decoding method, video encoding method, and related device
KR20100041441A (ko) 비디오 부호화/복호화 방법 및 장치
KR20190084929A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
HK1260985A1 (en) Image encoding device, image decoding device, and methods thereof
HK1260985B (en) Image encoding device, image decoding device, and methods thereof
KR20190004247A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980102009.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09701456

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009548946

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 4082/CHENP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2009701456

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20107015100

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2711742

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010133237

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 12812185

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0906824

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100709