[go: up one dir, main page]

WO2013038888A1 - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置 Download PDF

Info

Publication number
WO2013038888A1
WO2013038888A1 PCT/JP2012/071334 JP2012071334W WO2013038888A1 WO 2013038888 A1 WO2013038888 A1 WO 2013038888A1 JP 2012071334 W JP2012071334 W JP 2012071334W WO 2013038888 A1 WO2013038888 A1 WO 2013038888A1
Authority
WO
WIPO (PCT)
Prior art keywords
quantization
prediction
encoded
channel
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/071334
Other languages
English (en)
French (fr)
Inventor
加藤　晴久
米山　暁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of WO2013038888A1 publication Critical patent/WO2013038888A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding device and an image decoding device, and more particularly to an image encoding device that predicts a quantization value to be encoded from a processed quantization value using inter-signal correlation and encodes a prediction error. And an image decoding apparatus.
  • Non-Patent Document 1 There are a frame difference method and a motion compensation method as a method for reducing the time redundancy.
  • the frame difference method simply subtracts two consecutive images and encodes the difference.
  • an approximate image of an encoding target frame is generated by applying a motion vector to a reference frame, and a difference from the encoding target frame is encoded. Since encoding is performed while reducing the difference between images, the motion compensation method is superior in encoding efficiency to the frame difference method.
  • Various methods for estimating the motion vector used in the motion compensation method have been proposed, and the main prior art relating to motion estimation is introduced in Non-Patent Document 1.
  • Non-Patent Document 2 introduces main prior art related to orthogonal transform.
  • Motion compensation reduces time redundancy but cannot be used for still images.
  • the combination of orthogonal transform and quantization and the spatial prediction method reduce the spatial redundancy, but none of them can reduce the redundancy of the color signal because the color signal is processed independently.
  • An object of the present invention is to solve the above-mentioned problems of the prior art and to provide an image encoding device with high encoding efficiency.
  • An object of the present invention is also to provide an image decoding apparatus corresponding to the above-described image encoding apparatus with high encoding efficiency.
  • the image encoding device of the present invention determines prediction information for predicting each pixel to be encoded from an encoded pixel for each pixel of a unit block composed of a plurality of pixels.
  • a prediction unit that generates a prediction pixel of each pixel based on the prediction information, a difference unit that performs a difference process between the pixel and the prediction pixel to obtain a prediction residual, and the prediction
  • a transforming unit that performs orthogonal transform on the residual to obtain a transform coefficient and a quantizer that quantizes the transform coefficient to obtain a quantized value and encodes the quantized value for each unit block
  • quantization holding means for holding an encoded quantized value in a first signal channel constituting a pixel as a reference for prediction, and a code in a second signal channel constituting the pixel
  • Quantity Quantization prediction means for determining quantization prediction information for predicting a quantization value from a coded quantization value in the first signal channel according to a predetermined prediction method
  • an image decoding apparatus is an image decoding apparatus that generates decoded pixels by decoding code information encoded by the image encoding apparatus, and decodes the code information.
  • Decoding means for obtaining a quantized value in the first channel, a quantized prediction residual in the second channel, and information identifying the predetermined prediction method, and a decoded quantum in the first channel
  • a decoding-side quantization holding means for holding the quantized value as a reference for prediction, and a quantized value to be decoded in the second channel from the decoded quantized value in the first channel according to the predetermined prediction method
  • Decoding side quantization prediction means for determining quantization prediction information for predicting the decoding, and decoding for generating a quantized prediction signal in the second channel based on the determined quantization prediction information
  • the quantized value when the quantized value is encoded, the quantized value is encoded using the first signal channel as a reference for prediction, and the quantized value of the second signal channel is determined from the reference. Since the predicted quantized prediction signal is generated and the quantized prediction residual of the difference is encoded, the encoding efficiency can be improved.
  • the code information encoded by the image encoding apparatus of the present invention can be decoded by performing a process corresponding to the process on the encoding apparatus side.
  • an image encoding device 100 includes a first switch 10, a prediction unit 11, a compensation unit 12, a difference unit 13, a conversion unit 14, a quantization unit 15, a channel-specific quantization value processing unit 16, an encoding unit.
  • the quantization value processing unit 16 for each channel which is a characteristic configuration of the present invention, includes the second switch 1, the quantization difference unit 2, the quantization addition unit 3, the quantization holding unit 4, the quantization prediction unit 5 and the like. , Quantization compensation means 6 and setting unit 7.
  • an image decoding apparatus 300 includes a decoding unit 37, a (decoding side) channel-specific quantized value processing unit 36, a (decoding side) inverse quantization unit 38, a (decoding side) inverse transformation unit 39, and a decoding side.
  • Addition means 40 (decoding side) holding means 41, (decoding side) compensation means 32, code input means 301 and image output means 302.
  • Code information from the image encoding device 100 is input from the code input means 301. These units are processed for each unit block, and are output to the image output unit 302 as decoded pixels.
  • the channel-by-channel quantized value processing unit 36 which is a characteristic configuration of the present invention, includes a third switch 51, (decoding side) quantization adding means 53, (decoding side) quantization holding means 54, (decoding side). ) Quantization prediction means 55, (decoding side) quantization compensation means 56, and (decoding side) setting unit 57.
  • the processing of each means or each part will be described with reference to the data flow shown in FIG. 1 and FIG.
  • the image encoding apparatus 100 (appropriately abbreviated as an encoding apparatus) and the image decoding apparatus 300 (appropriately abbreviated as a decoding apparatus) have portions corresponding to processing. Such a portion will be described as appropriate by using () on the decoding device side, for example, as “compensation means 12 (compensation means 32)".
  • the second switch 10 sends the pixel to be encoded from the image input unit 101 to the prediction unit 11 and the difference unit 13. Take the switch state to send.
  • the reference pixel is not held, such as the first unit block in the frame when the intra prediction is used, the state is such that the encoding target pixel is sent to the conversion unit 14.
  • the prediction unit 11 refers to the encoded pixels held by the holding unit 21 and determines prediction information for approximating the image of the unit block to be encoded.
  • the determined prediction information is sent to the compensation means 12 and the encoding means 17 (as indicated by the dotted line in FIG. 1).
  • Various known techniques can be used to determine the prediction information.
  • motion prediction a frame and coordinates to be referenced are searched and used as prediction information.
  • the compensation unit 12 includes prediction information (prediction information decoded by the decoding unit 37) sent from the prediction unit 11 and encoded pixels (decoding) held by the holding unit 21 (holding unit 41). A predicted pixel of the unit block is generated. The generated prediction pixel is sent to the difference means 13 and the addition means 20 (addition means 40).
  • the difference means 13 takes the difference between the pixel to be encoded from the first switch 10 and the prediction pixel from the compensation means 12 to obtain a prediction residual, and sends the prediction residual to the conversion means 14.
  • the conversion means 14 sends the prediction residual from the difference means 13 by sending the encoding target pixel from the first switch 10 to the prediction means 11 and the difference means 13 according to the switch state in the first switch 10. If it is, the prediction residual is converted, and if the pixel to be encoded is sent from the first switch 10, the pixel to be encoded is converted into a frequency domain transform coefficient by orthogonal transform.
  • orthogonal transform DCT (discrete cosine transform) to DCT approximate transform, DWT (discrete wavelet transform), or the like can be used.
  • the quantization unit 15 quantizes the transform coefficient from the transform unit 14 to obtain a quantized value, and sends the quantized value to the second switch 1.
  • the quantization parameter used for quantization can be set as a combination of constant values. Further, the bit rate can be kept constant by controlling according to the information amount of the transform coefficient.
  • the first switch 1 divides the quantized value from the quantizing unit 15 into each signal channel and then becomes a prediction reference provided by the setting unit 7 described later.
  • a channel abbreviated as a reference signal channel
  • a predicted signal channel abbreviated as a predicted signal channel
  • each signal channel is a predetermined signal channel that constitutes a pixel to be encoded in the image input unit 101, and is a signal channel in each color space such as an RGB signal, a YUV signal, or a YcbCr signal.
  • any type and number of signal channels to be separated can be used.
  • the predetermined signal channel for example, RGB
  • the setting unit 7 makes a distinction such that G is a reference signal channel and R and B are predicted signal channels.
  • the setting unit 7 sets the setting information regarding the distinction between the reference and the prediction target and other processing in the quantized value processing unit 16 for each channel.
  • the setting unit 7 sends the setting information to the encoding unit 17 as indicated by a dotted line, and the encoding unit 17 encodes the setting information.
  • the setting information is decoded and set in the setting unit 57 as indicated by a dotted line, whereby the channel-specific quantization value processing unit 36 can perform processing corresponding to the processing on the coding device side. It becomes. Details of the setting information will be described later.
  • the encoding unit 17 receives a quantization value in a reference signal channel described later, a quantized prediction residual in a predicted signal channel described later, setting information from the setting unit 7, and prediction information from the prediction unit 11. These are encoded and sent as code information to the code output means 102.
  • a variable-length code or an arithmetic code that removes redundancy between codes can be used.
  • the decoding unit 37 receives the code information encoded as described above from the code input unit 301, decodes it by the reverse process of the encoding unit 17, and determines the quantized value in the reference signal channel and the predicted signal channel.
  • the quantization prediction residual, the setting information, and the prediction information are obtained, and the quantization value and the quantization prediction residual are supplied to the third switch 51, the setting information is set to the setting unit 57, and the prediction information is compensated by the compensation means 32. Send to.
  • the third switch 51 sends the quantized value in the reference signal channel from the decoding unit 37 to the quantization holding unit 54 (as indicated by the alternate long and short dash line) by appropriately switching the switch state.
  • the quantization prediction residual in the prediction signal channel is sent to the quantization addition means 53.
  • the quantized value in the reference signal channel sent from the second switch 1 is encoded on the one hand by the encoding means 17 and, on the other hand, the quantized quantum signal for reference in the quantization holding means 4. Is stored as a digitized value.
  • the encoded quantized value of the reference signal channel is held (as indicated by the alternate long and short dash line) and sent to the inverse quantization means 18 by the quantization holding means 4.
  • the quantized value in the decoded reference signal channel sent from the third switch 51 is held as a decoded quantized value for reference in the quantization holding means 54.
  • the decoded quantization value of the reference signal channel is held and input to the inverse quantization unit 38 by the quantization holding unit 54.
  • the quantized value (quantized prediction residual) in the predicted signal channel sent from the second switch 1 (third switch 51) is the quantized value processing unit 16 for each channel (quantized value processing unit 36 for each channel).
  • the quantization difference means 2 takes the difference between the quantized value of the signal-under-predicted signal channel and the quantized prediction signal of the signal-under-predicted signal channel from the quantizing compensation means 6 to be described later. None, sent to the encoding means 17 and the quantization addition means 3 (processing only on the encoding device side).
  • the quantized prediction residual is, on the one hand, sent to the encoding means 17 and encoded, and thus becomes an encoded quantized residual.
  • the quantization addition means 3 (quantization addition means 53) is the quantization prediction residual from the quantization difference means 2 (third switch 51) and the quantization from the quantization compensation means 6 (quantization compensation means 56). By adding the predicted signal, the encoded quantized value in the predicted signal channel is obtained and sent to the quantization holding means 4 (quantization holding means 54).
  • the quantization holding means 4 (quantization holding means 54) holds the encoded quantized value (decoded quantized value) in the predicted signal channel as well as the predicted signal channel, and reversely The data is sent to the quantization means 18 (inverse quantization means 38). Further, the quantization holding means 4 (quantization holding means 54) quantizes the encoded quantized values (decoded quantized values) held in both the predicted signal channel and the reference signal channel.
  • the prediction means 5 and the quantization compensation means 6 (quantization prediction means 55 and quantization compensation means 56) are made available by reference.
  • the quantization prediction means 5 quantizes the encoded reference signal channel held in the quantization holding means 4 for the quantization value to be encoded in the predicted signal channel sent from the second switch 1. Quantization prediction information to be predicted according to a predetermined prediction method is determined from the value and sent to the quantization compensation means 6. With the same function on the decoding device side, the quantization predicting unit 55 uses the quantized value of the encoded signal channel of the quantized prediction holding unit 54 to transmit the predicted signal channel transmitted from the third switch 51. Quantization prediction information for using the quantization prediction residual in the original quantization value is determined.
  • the quantization compensation means 6 applies a predetermined prediction method based on the quantization prediction information from the quantization prediction means 5 and quantizes the encoding target in the predicted signal channel sent from the second switch 1.
  • a quantized prediction signal which is a value prediction signal, is generated and sent to the quantizing difference means 2 and the quantizing addition means 3.
  • the quantization compensation unit 56 With the same function on the decoding device side, the quantization compensation unit 56 generates a quantized prediction signal based on the quantized prediction information from the quantization predicting unit 55 and sends it to the quantization adding unit 53.
  • the inverse quantization means 18 encodes the quantized values (decoded already) in both the reference signal channel and the predicted signal channel sent from the quantization holding means 4 (quantization holding means 54).
  • the quantized value is converted into a transform coefficient by dequantizing the quantized value 15 in the reverse order of the quantization process in the quantizing unit 15.
  • the processing returns to the common processing in each signal channel.
  • the target data will be described by omitting the distinction between the reference and the predicted data.
  • the inverse transform unit 19 (inverse transform unit 39) performs the inverse orthogonal transform by following the reverse procedure of the orthogonal transform in the transform unit 14, thereby obtaining the transform coefficient from the inverse quantization unit 18 (inverse quantization unit 38).
  • No prediction residual is sent to the adding means 20 (adding means 40).
  • a pixel is sent from the first switch 10 to the conversion unit 14, it is not a prediction residual but a pixel.
  • the adding means 20 adds the prediction residual from the inverse transforming means 19 (inverse transforming means 39) and the predicted pixel from the compensating means 12 (compensating means 32), and performs the encoded pixel (decoding) Sent to the holding means 21 (holding means 41 and image output means 302).
  • the addition process is omitted and the pixel is sent to each means as it is.
  • the holding unit 21 holds the encoded pixel (decoded pixel) from the adding unit 20 (adding unit 40) and uses it as a reference from the predicting unit 11 and the compensating unit 12 (compensating unit 32). Provide.
  • FIG. 3 is a diagram schematically showing the dependence of the processing procedure on the reference and predicted signal channel in the processing.
  • the signal channel is RGB
  • the reference signal channel is a G signal
  • the predicted signal channel is a B signal and an R signal.
  • the reference G signal Since the reference G signal is necessary to process the B signal and R signal to be predicted, it is necessary to encode in advance, and as shown in (1) by each process from the state of the pixel to be encoded It becomes a quantized value (as an output of the quantizing means 15), the quantized value is encoded as shown in (2), and can be referred to in the quantizing holding means 4 as an encoded quantized value. Become. It becomes possible to encode the B signal and the R signal to be predicted after the referenceable state.
  • the B signal to be predicted becomes a quantized value (as an output of the quantizing means 15) as indicated by (3) from each pixel to be encoded by each process, and the reference G signal as indicated by (4).
  • a quantized prediction residual is obtained as shown in (5), and the quantized prediction residual is encoded as shown in (6).
  • the quantized prediction residual is obtained by referring to the reference G signal as shown in (4), as shown in (4). Encoded.
  • the processing as described in the above (1) to (9) is represented as (i-1) (i) (i + 1), so that the i-1th unit block, the ith unit block , The (i + 1) th unit block and each unit block are sequentially continued.
  • the setting of the reference and predicted signal channel may be changed for each unit block.
  • the predicted signal channel can be decoded only after the reference signal channel is decoded and the quantized value can be referred to.
  • FIG. 4 is a detailed functional block diagram of the setting unit 7 on the encoding device side.
  • the setting unit 7 includes an application setting unit 71, a channel explicit setting unit 72, a channel implied setting unit 73, and a channel learning setting unit 74.
  • Each unit sets the processing method in the channel-specific quantization value processing unit 16 for each predetermined number of unit blocks, and the setting information is encoded by the encoding means 17.
  • the encoding may be performed only at the beginning of a predetermined number of unit blocks, and may be reset at the switching location, that is, at the beginning when switching. . If the predetermined number of unit blocks are the entire image to be encoded by manual setting, the processing method can be set so as not to change the entire image.
  • the setting information is decoded by the decoding unit 37 and the setting is read into the setting unit 57, whereby the channel-specific quantization value processing unit 36 performs the same process as the decoding device side.
  • the application setting unit 71 sets whether or not to perform the process of distinguishing the reference and predicted signal channels.
  • the setting may be a manual setting or may be automatically set based on the encoding cost. If not, processing in the reference signal channel is performed in all signal channels. That is, all quantized values of each signal channel are always sent as they are to the quantization holding means 4 and the encoding means 17 (quantization holding means 54) by the second switch 1 (third switch 51), and the quantization difference
  • the processing of means 2, quantization addition means 3, quantization prediction means 5 and quantization compensation means 6 quantization addition means 53, quantization prediction means 55 and quantization compensation means 56
  • the quantization prediction residual is Not calculated, only the quantized value is encoded in all signal channels.
  • the channel explicit setting unit 72 explicitly sets the reference and predicted signal channels so that they need to be encoded, that is, for example, sets the R signal and the B signal as predicted using the G signal as a reference. Directly set and set.
  • the setting may be manually given. Alternatively, a predetermined number of unit blocks may be individually encoded in each case of possible combinations of reference and predicted signal channels, and set to a combination that minimizes the encoding cost.
  • RGB signal refers to x for the remaining one z and the other two for reference x and y in three ways when the other two are to be predicted based on any one of RGB.
  • the encoding costs may be compared by using 9 possible combinations of 6 ways (6 ways of assigning RGB to the xyz) as possible.
  • the prediction y may be used as a reference for another predicted z so that y is predicted from the reference x and z is predicted from the y.
  • the channel implied setting unit 73 sets the reference and predicted signal channels implicitly, that is, without describing them directly in the setting information so that encoding is unnecessary.
  • a reference and a signal channel to be predicted are set by performing a given determination using encoded pixels, information that specifies how to make the given determination instead of directly describing the channel. Is included in the setting information, and the same setting as that on the encoding device side can be used by making the same determination on the decoding device side.
  • the reference and the prediction target are determined by comparing the abundance of changes in the quantized values of the normalized neighborhood regions Rs, Gs, and Bs.
  • the absolute value variance or absolute value amplitude of the coded quantized value in each neighboring region can be used, and the larger the absolute value variance or amplitude, the richer the change. . If the comparison is made so that signal channels with abundant changes are adopted as a reference, the effect of improving the prediction accuracy can be obtained. As a result of comparison, if it is set so that a signal channel rich in change is adopted as the prediction target, the effect of improving the coding efficiency can be obtained. As in the example of the channel clarification unit 72, a predetermined combination is set as to which of the signal channels having the highest level of change is used as the reference or prediction from which of the lower signal channels. .
  • the channel learning setting unit 74 receives the quantized value of each channel signal of the encoding target block as an input, and automatically outputs the setting information of the reference and predicted signal channel in the encoding target block. It becomes.
  • the input quantization value is prepared by the same processing as that for the reference signal.
  • the automatic output is performed by using a classifier (for example, a decision tree [Decision
  • a classifier for example, a decision tree [Decision
  • a classifier based on statistical machine learning is constructed, and setting information is automatically output using the classifier.
  • the channel learning setting unit 74 further obtains a setting that minimizes the coding cost for each predetermined unit block (regardless of the discriminator), and compares the discriminator with the output of the discriminator. Sequential learning may be applied. Note that since the decoding device only receives explicit reference and prediction setting information, the information such as the statistical machine learning and the discriminator used need not be encoded.
  • the prediction method is also set by the setting unit 7, encoded as setting information, and the same processing is performed on the decoding device side.
  • the G signal in the RGB signal is used as a reference, and the B signal is assumed to be predicted.
  • the quantized values of the reference G signal and the predicted B signal are both determined by the details of the conversion method to the conversion coefficient by the conversion means 14 and are a predetermined size (here, 4 ⁇ 4).
  • the frequency elements are sequentially encoded according to a predetermined order, such as a zigzag scan starting from a direct current element (DC).
  • DC direct current element
  • Prediction / compensation is performed by applying a predetermined prediction formula to the above.
  • the parameter for applying the prediction formula is the quantized prediction information determined by the quantization prediction means 5 and 55, and the quantization compensation means 6 and 56 apply the parameter to the prediction formula to obtain the quantized prediction signal. obtain.
  • the following equation (Equation 1) or (Equation 2) can be used as a prediction equation for B (x) as a prediction equation in which the coefficient k is embodied.
  • the position x i represents each position in a predetermined neighborhood area that has been encoded with respect to the position x of the encoding target element in the predicted B signal.
  • n represents the number of elements belonging to the neighboring region.
  • median n i represents the median value of n.
  • w i is a weighting coefficient, and can be set according to the distance between the positions x i and x.
  • the predetermined neighboring region in the matrix is an example which is constructed according to the next x 1 and left x 2 on the encoding target position x 6 may be set to any other shape .
  • Equation 1 and (Equation 2) are both ratios B (x i ) / at predetermined positions x i in a predetermined neighborhood region in the matrix as a quantity expressing the inter-signal correlation. Focusing on G (x i ), the coefficient k is determined.
  • the quantized prediction signal B (x) in the element is set in advance. It is a fixed value.
  • some G ′ (x i ) is zero, it is excluded from the calculation formula.
  • the setting of processing in each modified embodiment (including processing other than the channel-specific quantization value processing units 16 and 36) is also encoded as setting information by the setting unit 7, and the same processing can be performed on the decoding side.
  • the quantization prediction means 5 and 55 may determine the quantization prediction information for only a predetermined part of the matrix in which each frequency element is listed. In this case, the quantized prediction residual is obtained and encoded only for the predetermined part. The remaining portion is a signal channel to be predicted, but the quantized prediction residual is not obtained, and the quantized value may be encoded or deleted as in the reference signal channel.
  • the predetermined part a part of a predetermined frequency region in the matrix or a part larger than a certain reference value can be adopted.
  • the setting information is set by the setting unit 7, then encoded, and the same is performed on the decoding device side.
  • the quantization prediction residual may be set to an integer value by performing rounding as an additional process after the difference process.
  • the quantized prediction residual is also an integer like the normal quantized value, the effect of improving the coding efficiency can be obtained.
  • the quantization means 15 may omit the rounding process in the quantization and perform only the division by the quantization step.
  • each means treats the quantized value described above as a real number instead of an integer, but the processing is common.
  • the dequantization means 18 and 38 only integration by a quantization step is performed. In this case, in particular, by simultaneously applying the rounding process in the quantization difference means 2 described above, both the quantized value and the quantized prediction residual become real numbers, and the effect of improving the prediction accuracy is obtained.
  • an input signal is separated into quantized values in a plurality of signal channels, and other quantized values are predicted from the quantized values serving as reference signals to reduce the amount of information generated in the predicted signal.
  • high encoding efficiency is possible. Further, it can be combined with a conventional prediction method that reduces temporal redundancy and the like, and the encoding efficiency can be further improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)

Abstract

　符号化効率の高い画像符号化装置及び対応する画像復号装置を提供する。　予測手段１１乃至量子化手段１５及び逆量子化手段１８乃至保持手段２１を備え、単位ブロックの画素に予測を適用しつつ符号化を行う画像符号化装置１００において、画素を構成する信号チャネルにおける各量子化値を、量子化値に対する予測を行うための基準信号チャネルと予測が適用される被予測信号チャネルとに分ける。基準信号はその量子化値を予め符号化して量子化保持手段４に保持し、当該基準信号に基づいて被予測信号の量子化値に対して量子化予測手段５及び量子化補償手段６が予測及び補償して、量子化予測信号を求め、差分の量子化予測残差を符号化する。画像復号装置３００においても対応した処理で復号を行う。

Description

画像符号化装置及び画像復号装置
　本発明は、画像符号化装置及び画像復号装置に関し、特に、信号間相関を利用して処理済みの量子化値から符号対象の量子化値を予測し、予測誤差を符号化する画像符号化装置および画像復号装置に関する。
　従来の画像符号化において符号化効率を向上させる方式としては、時間冗長性を削減する方法と空間冗長性を削減する方法がある。
　時間冗長性を削減する方法としては、フレーム差分方式や動き補償方式がある。フレーム差分方式は連続する2枚の画像を単純に減算し差分を符号化する。動き補償方式は、参照フレームに対して動きベクトルを適用することで符号対象フレームの近似画像を生成し、符号対象フレームとの差分を符号化する。画像間の相違を小さくした上で符号化するため、動き補償方式はフレーム差分方式より符号化効率の面で優れる。動き補償方式で用いる動きベクトルの推定方法は様々な方式が提案されており、動き推定に関する主要な従来技術は非特許文献１にて紹介されている。
　一方、空間冗長性を削減する方法としては、直交変換係数を量子化する方式がある。直交変換は画素信号を周波数領域に写像し、エネルギーを低域に集中させる。人間の視覚特性が高域に敏感でないことを利用して、高域成分を量子化で除去することで符号化効率を上げることが可能となる。また、直交変換係数乃至画素の予測による空間冗長性削減手法がある。直交変換に関する主要な従来技術は非特許文献２にて紹介されている。
http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-2-1.htm http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-3.htm
　動き補償は時間冗長度を削減するが、静止画には利用できない。一方、直交変換と量子化の組み合わせや空間予測方法は空間冗長性を削減するが、いずれも色信号を独立して処理するため色信号の冗長性まで削減することはできない。
　本発明の目的は上記の従来技術の問題点を解消し、符号化効率の高い画像符号化装置を提供することにある。
　本発明の目的はまた、上記符号化効率の高い画像符号化装置に対応する画像復号装置を提供することにある。
　上記目的を達成するため、本発明の画像符号化装置は、複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から符号化対象の各画素を予測する予測情報を決定する予測手段と、当該予測情報に基づいて各画素の予測画素を生成する補償手段と、当該各画素とその予測画素との間で差分処理を行って予測残差とする差分手段と、当該予測残差に対して直交変換を施して変換係数とする変換手段と、当該変換係数を量子化して量子化値とする量子化手段とを備え、単位ブロック毎に当該量子化値の符号化を行う画像符号化装置において、画素を構成する第一の信号チャネルにおける符号化済みの量子化値を予測の基準とするために保持する量子化保持手段と、画素を構成する第二の信号チャネルにおける符号化対象の量子化値を当該第一の信号チャネルにおける符号化済みの量子化値から所定の予測方式に従い予測する量子化予測情報を決定する量子化予測手段と、当該量子化予測情報に基づいて第二の信号チャネルにおける符号化対象の量子化値に対する量子化予測信号を生成する量子化補償手段と、当該第二の信号チャネルにおける符号化対象の量子化値とその量子化予測信号との間で差分処理を行って量子化予測残差とする量子化差分手段とを備え、前記所定の予測方式を特定する情報を符号化し、且つ第二の信号チャネルに対しては前記量子化予測残差を符号化すると共に、当該符号化済みの量子化予測残差とその量子化予測信号とを加算して第二の信号チャネルにおける符号化済みの量子化値となし、当該第一及び第二の信号チャネルにおける符号化済みの量子化値に基づいて前記符号化済み画素を生成することを特徴とする。
　また、上記目的を達成するため、本発明の画像復号装置は、前記画像符号化装置により符号化された符号情報を復号して復号画素を生成する画像復号装置であり、当該符号情報を復号して前記第一のチャネルにおける量子化値と、前記第二のチャネルにおける量子化予測残差と、前記所定の予測方式を特定する情報とを得る復号手段と、前記第一のチャネルにおける復号済み量子化値を予測の基準とするために保持する復号側量子化保持手段と、前記第一のチャネルにおける復号済み量子化値から前記所定の予測方式に従い前記第二のチャネルにおける復号対象の量子化値を予測する量子化予測情報を決定する復号側量子化予測手段と、当該決定された量子化予測情報に基づいて前記第二のチャネルにおける量子化予測信号を生成する復号側量子化予測手段とを備え、前記第二のチャネルにおける量子化予測信号と前記復号された量子化予測残差とを加算して前記第二のチャネルにおける量子化値となし、当該第一及び第二の信号チャネルにおける復号された量子化値に基づいて復号画素を生成することを特徴とする。
　本発明の画像符号化装置によれば、量子化値の符号化に際して第一の信号チャネルを予測の基準としてその量子化値を符号化し、第二の信号チャネルの量子化値については当該基準から予測した量子化予測信号を生成して、差分の量子化予測残差を符号化するので、符号化効率を向上させることができる。
　また、本発明の画像復号装置によれば、符号化装置側における処理に対応した処理を行うことで、本発明の画像符号化装置により符号化された符号情報を復号することができる。
本発明の実施形態に係る画像符号化装置の機能ブロック図である。 本発明の実施形態に係る画像復号装置の機能ブロック図である。 基準信号チャネル及び被予測信号チャネルの処理手順の依存関係を模式的に示す図である。 符号化装置側の設定部の詳細な機能ブロック図である。 チャネル暗示設定部における、基準及び被予測の信号チャネルの暗示的な設定を説明するための図である。 本発明における量子化値の予測及び補償を説明するための図である。
　図１及び図２にそれぞれ、本発明の実施形態に係る画像符号化装置及び画像復号装置の機能ブロック図を示す。図１にて、画像符号化装置１００は、第一のスイッチ１０，予測手段１１，補償手段１２，差分手段１３，変換手段１４，量子化手段１５，チャネル別量子化値処理部１６，符号化手段１７，逆量子化手段１８，逆変換手段１９，加算手段２０，保持手段２１，画像入力手段１０１及び符号出力手段１０２を備え、符号化対象の画素は画像入力手段１０１から入力されて、当該各手段等にて単位ブロック毎に処理されて、符号情報として符号出力手段１０２へ出力される。
　ここで、本発明の特徴的構成であるチャネル別量子化値処理部１６は、第二のスイッチ１，量子化差分手段２，量子化加算手段３，量子化保持手段４，量子化予測手段５，量子化補償手段６及び設定部７を含む。
　図２にて、画像復号装置３００は、復号手段３７，（復号側）チャネル別量子化値処理部３６，（復号側）逆量子化手段３８，（復号側）逆変換手段３９，（復号側）加算手段４０，（復号側）保持手段４１，（復号側）補償手段３２，符号入力手段３０１及び画像出力手段３０２を備え、画像符号化装置１００による符号情報は符号入力手段３０１から入力されて、当該各手段にて単位ブロック毎に処理されて、復号画素として画像出力手段３０２へ出力される。
　ここで、本発明の特徴的構成であるチャネル別量子化値処理部３６は、第三のスイッチ５１，（復号側）量子化加算手段５３，（復号側）量子化保持手段５４，（復号側）量子化予測手段５５，（復号側）量子化補償手段５６及び（復号側）設定部５７を含む。
　以下、当該各手段又は各部等の処理を、図１及び図２に示すデータの流れに即して説明する。なお、画像符号化装置１００（適宜、符号化装置と略称する）と画像復号装置３００（適宜、復号装置と略称する）とでは処理が対応する部分がある。このような部分については適宜、例えば「補償手段１２（補償手段３２）」のように、復号装置側に（）を用いる等して併記して説明することとする。
　第二のスイッチ１０は、予測及び補償のために参照する符号化済み画素が保持手段２１に保持されている場合、画像入力手段１０１からの符号化対象の画素を予測手段１１及び差分手段１３へと送るようなスイッチ状態を取る。一方、画面内予測利用時のフレーム内の最初の単位ブロック等、当該参照用画素が保持されていない場合は、符号化対象の画素を変換手段１４へと送るような状態を取る。
　予測手段１１は、保持手段２１にて保持されている符号化済み画素を参照して、符号化対象の単位ブロックの画像を近似するための予測情報を決定する。決定された予測情報は、補償手段１２及び（図１にて点線で示すように）符号化手段１７に送られる。
　当該予測情報の決定には各種の周知技術を利用できる。一例として、H.264の画面内予測を利用する場合は，各画面内予測モードで個別に符号化し符号量と歪み量から算出される符号化コストを最小化する画面内予測モードを選択し、予測情報とする。動き予測を利用する場合は、参照するフレーム及び座標を探索し、予測情報とする。
　なお、本発明においてはその他の機能ブロック（特に、図４を参照して後述する設定部７の各機能ブロックなど）において符号化コストを算出する際も、同様に符号量と歪み量から算出するものとする。
　補償手段１２（補償手段３２）は、予測手段１１から送られる予測情報（復号手段３７で復号された予測情報）と、保持手段２１（保持手段４１）で保持されている符号化済み画素（復号済み画素）とから当該単位ブロックの予測画素を生成する。生成された予測画素は、差分手段１３及び加算手段２０（加算手段４０）に送られる。
　差分手段１３は、第一のスイッチ１０からの符号化対象の画素と補償手段１２からの予測画素との差分を取ることで予測残差となし、当該予測残差を変換手段１４へ送る。
　変換手段１４は、第一のスイッチ１０におけるスイッチ状態に応じて、第一のスイッチ１０から予測手段１１及び差分手段１３に符号化対象の画素が送られることで差分手段１３から予測残差が送られた場合は当該予測残差を、また第一のスイッチ１０から符号化対象の画素が送られた場合は当該符号化対象の画素を、直交変換によって周波数領域の変換係数に変換する。直交変換としてはDCT(離散コサイン変換)乃至DCTの近似変換やDWT(離散ウェーブレット変換)などを利用することができる。
　量子化手段１５は、変換手段１４からの変換係数を量子化して量子化値となし、当該量子化値を第二のスイッチ１へと送る。ここで、量子化に用いられる量子化パラメータは定数値の組み合わせとして設定することできる。また、変換係数の情報量に応じて制御することでビットレートを一定に保つこともできる。
　チャネル別量子化値処理部１６にて、第一のスイッチ１は、量子化手段１５からの量子化値を各信号チャネルに分けた上で、後述する設定部７が設ける予測の基準となる信号チャネル（基準信号チャネルと略記）と予測される信号チャネル（被予測信号チャネルと略記）との区別に従って、基準信号チャネルにおける量子化値を（一点鎖線で示すように）符号化手段１７及び量子化保持手段４へ送り、被予測信号における量子化値を量子化差分手段２へ送る。
　ここで、各信号チャネルとは、画像入力手段１０１における符号化対象の画素を構成している所定の各信号チャネルであり、例えばRGB信号、YUV信号乃至YcbCr信号などの各色空間における信号チャネルである。その他、分離される信号チャネルの種類や数については、任意のものを利用することができる。当該所定の信号チャネル、例えばRGBに対して、Gを基準信号チャネルとし、R及びBを被予測信号チャネルとする、といったような区別が設定部７により設けられる。
　なお、当該基準と被予測との区別や、その他のチャネル別量子化値処理部１６における処理に関する設定情報は、設定部７により設定される。設定部７は当該設定情報を点線で示すように符号化手段１７へ送り、符号化手段１７が符号化する。復号装置側では、点線で示すように当該設定情報を復号して設定部５７に設定することで、チャネル別量子化値処理部３６は符号化装置側における処理と対応した処理を行うことが可能となる。設定情報の詳細については後述する。
　符号化手段１７は、後述する基準信号チャネルにおける量子化値と、後述する被予測信号チャネルにおける量子化予測残差と、設定部７からの設定情報と、予測手段１１からの予測情報とを受け取り、これらを符号化して符号情報となし、符号出力手段１０２へ送る。当該符号化には符号間の冗長性を取り除く可変長符号乃至算術符号などを利用することができる。
　復号手段３７は、上記のように符号化された符号情報を符号入力手段３０１から受け取り、符号化手段１７の逆の処理により復号して、基準信号チャネルにおける量子化値と、被予測信号チャネルにおける量子化予測残差と、設定情報と、予測情報とを得て、当該量子化値及び量子化予測残差を第三のスイッチ５１へ、設定情報を設定部５７へ、予測情報を補償手段３２へと送る。
　第三のスイッチ５１は、スイッチ状態を適宜切り替えることで、（一点鎖線で示すように）復号手段３７からの基準信号チャネルにおける量子化値を量子化保持手段５４へ送り、復号手段３７からの被予測信号チャネルにおける量子化予測残差を量子化加算手段５３へと送る。
　第二のスイッチ１から送られた基準信号チャネルにおける量子化値は、一方では符号化手段１７にて符号化されると共に、もう一方では量子化保持手段４において参照に供するため符号化済みの量子化値として保持される。当該基準信号チャネルの符号化済み量子化値は、当該保持されると共に（さらに一点鎖線で示すように）、量子化保持手段４により逆量子化手段１８へ送られる。
　第三のスイッチ５１から送られた復号済みの基準信号チャネルにおける量子化値は、量子化保持手段５４において参照に供するため復号済みの量子化値として保持される。当該基準信号チャネルの復号済み量子化値は、当該保持されると共に、量子化保持手段５４により逆量子化手段３８へ入力される。
　第二のスイッチ１（第三のスイッチ５１）から送られた被予測信号チャネルにおける量子化値（量子化予測残差）は、チャネル別量子化値処理部１６（チャネル別量子化値処理部３６）の各手段により、次のような経緯を辿る。量子化差分手段２は、被予測信号チャネルの量子化値と、後述の量子化補償手段６からの当該被予測信号チャネルの量子化予測信号との差分を取ることで、量子化予測残差となし、符号化手段１７及び量子化加算手段３へと送る（符号化装置側のみの処理）。なお、当該量子化予測残差は、一方では符号化手段１７に送られて符号化されるので、符号化済みの量子化残差となる。
　量子化加算手段３（量子化加算手段５３）は、量子化差分手段２（第三のスイッチ５１）からの量子化予測残差と量子化補償手段６（量子化補償手段５６）からの量子化予測信号とを加算することで、当該被予測信号チャネルにおける符号化済みの量子化値となし、量子化保持手段４（量子化保持手段５４）へ送る。
　量子化保持手段４（量子化保持手段５４）は、予測信号チャネルの場合と同様に、当該被予測信号チャネルにおける符号化済みの量子化値（復号済みの量子化値）を保持すると共に、逆量子化手段１８（逆量子化手段３８）へと送る。また、量子化保持手段４（量子化保持手段５４）は、当該被予測信号チャネル及び基準信号チャネルの両者において保持された符号化済みの量子化値（復号済みの量子化値）を、量子化予測手段５及び量子化補償手段６（量子化予測手段５５及び量子化補償手段５６）により参照して利用できるようにする。
　量子化予測手段５は、第二のスイッチ１から送られた当該被予測信号チャネルにおける符号化対象の量子化値を、量子化保持手段４に保持された符号化済みの基準信号チャネルの量子化値から所定の予測方式に従って予測する量子化予測情報を決定し、量子化補償手段６へ送る。復号装置側でも同様の機能により、量子化予測手段５５は、量子化予測保持手段５４の符号化済み信号チャネルの量子化値を用いて、第三のスイッチ５１から送られた当該被予測信号チャネルにおける量子化予測残差を元の量子化値とするための量子化予測情報を、決定する。
　量子化補償手段６は、量子化予測手段５からの量子化予測情報に基づいて所定の予測方式を適用し、第二のスイッチ１から送られた当該被予測信号チャネルにおける符号化対象の量子化値の予測信号である量子化予測信号を生成し、量子化差分手段２及び量子化加算手段３へ送る。復号装置側でも同様の機能により、量子化補償手段５６は、量子化予測手段５５からの量子化予測情報に基づいて量子化予測信号を生成し、量子化加算手段５３へ送る。
　逆量子化手段１８（逆量子化手段３８）は、量子化保持手段４（量子化保持手段５４）から送られた基準信号チャネル及び被予測信号チャネルの両者における符号化済み量子化値（復号済み量子化値）に対して、量子化手段１５における量子化処理と逆の手順を踏んで逆量子化することで、変換係数となす。なお、チャネル別量子化値処理部１６（チャネル別量子化値処理部３６）を過ぎた当該逆量子化手段１８（逆量子化手段３８）以降では各信号チャネルで共通の処理に戻るので、処理対象データに対して基準と被予測との区別を省略して説明する。
　逆変換手段１９（逆変換手段３９）は、変換手段１４での直交変換の逆の手順を踏んで逆直交変換することで、逆量子化手段１８（逆量子化手段３８）からの変換係数を予測残差となし、加算手段２０（加算手段４０）へ送る。なお、第一のスイッチ１０から変換手段１４に画素が送られた場合は、予測残差ではなく画素となる。
　加算手段２０（加算手段４０）は、逆変換手段１９（逆変換手段３９）からの予測残差と補償手段１２（補償手段３２）からの予測画素とを加算して、符号化済み画素（復号済み画素）となし、保持手段２１（保持手段４１及び画像出力手段３０２）へ送る。なお、前記のように予測残差ではなく画素の場合、加算処理は省略されて当該画素がそのまま前記各手段へ送られる。
　保持手段２１（保持手段４１）は、加算手段２０（加算手段４０）からの符号化済み画素（復号済み画素）を保持して、予測手段１１及び補償手段１２（補償手段３２）からの参照に供する。
　以上、符号化装置及び復号装置の各部の処理概要を説明した。図３は、当該処理における基準及び被予測の信号チャネルでの処理手順の依存関係を模式的に示す図である。ここでは信号チャネルはRGBで、基準信号チャネルがG信号、被予測信号チャネルがB信号及びR信号として、符号化装置の場合を説明する。
　基準のG信号は被予測のB信号及びR信号を処理するのに必要となるため、予め符号化しておく必要があり、符号化対象の画素の状態から各処理により(1)で示すように（量子化手段１５の出力としての）量子化値となり、当該量子化値が(2)に示すように符号化されると共に、符号化済みの量子化値として量子化保持手段４において参照可能となる。当該参照可能な状態となってから、被予測のB信号及びR信号の符号化も可能となる。
　すなわち、被予測のB信号については符号化対象の画素から各処理により(3)で示すように（量子化手段１５の出力としての）量子化値となり、(4)で示すように基準のG信号における符号化済み量子化値を参照することで、(5)に示すように量子化予測残差となり、当該量子化予測残差が(6)に示すように符号化される。被予測のR信号についても(7)(8)(9)で示すように被予測のB信号と同様にして、(4)のように基準のG信号の参照を経て量子化予測残差が符号化される。
　そして、本発明においては上記(1)～(9)のような処理が(i-1)(i)(i+1)と示すように、i-1番目の単位ブロック、i番目の単位ブロック、i+1番目の単位ブロックと各単位ブロックを対象として順次継続される。なお、当該継続に際しては、各単位ブロック毎に基準及び被予測の信号チャネルの設定は変化してもよい。復号装置においても全く同様に、基準信号チャネルを復号して量子化値が参照可能になってから初めて、被予測信号チャネルの復号が可能となる。
　図４は、符号化装置側の設定部７の詳細な機能ブロック図である。設定部７は、適用設定部７１，チャネル明示設定部７２，チャネル暗示設定部７３及びチャネル学習設定部７４を含む。当該各部はそれぞれチャネル別量子化値処理部１６での処理方式を所定数の単位ブロック毎に設定して、当該設定情報は符号化手段１７により符号化される。当該符号化は所定数の単位ブロックの先頭毎においてのみ行えばよく、切り替え時には切り替え箇所すなわち先頭で再設定すればよい。。所定数の単位ブロックをマニュアル設定により符号化対象の画像全体とすれば、処理方式を画像全体で変化させないように設定できる。復号装置側では、復号手段３７により設定情報が復号されて設定部５７に当該設定が読み込まれることで、チャネル別量子化値処理部３６で復号装置側と同方式の処理が行われる。
　適用設定部７１は、以上説明したように基準及び被予測の信号チャネルの区別を設けた処理を行うか、行わないかを設定する。当該設定はマニュアル設定でもよいし、符号化コストに基づいて自動設定してもよい。行わない場合は、全ての信号チャネルにおいて基準信号チャネルにおける処理がなされる。すなわち各信号チャネルの量子化値は全て、第二のスイッチ１（第三のスイッチ５１）により常に量子化保持手段４及び符号化手段１７（量子化保持手段５４）にそのまま送られ、量子化差分手段２，量子化加算手段３，量子化予測手段５及び量子化補償手段６（量子化加算手段５３，量子化予測手段５５及び量子化補償手段５６）の処理は省略され量子化予測残差は算出されず、全ての信号チャネルにおいてその量子化値のみが符号化される。
　チャネル明示設定部７２は、基準及び被予測の信号チャネルを、符号化が必要となるよう明示的に、すなわち例えばG信号を基準としR及びB信号を被予測とするといったように、設定情報に直接に記載して設定する。当該設定はマニュアル的に所与の設定を与えてもよい。また、所定数の単位ブロック毎に、基準及び被予測の信号チャネルの可能な組み合わせの各場合において個別に符号化し、符号化コストを最小化する組み合わせに設定してもよい。
　例えばRGB信号であれば、RGBのいずれか１つを基準として残り２つを被予測とする場合の３通りと、２つの基準x及びyに対して残りの１つzをxを参照しての被予測とする場合の６通り（当該xyzにRGBを割り当てる６通り）との９通りを可能な組み合わせとして符号化コストを比較してもよい。基準xからyを予測し、当該yからzを予測するように、被予測yをさらに別の被予測zに対する基準とする場合も組み合わせに含めてもよい。
　チャネル暗示設定部７３は、基準及び被予測の信号チャネルを、符号化が不要となるよう暗示的に、すなわち設定情報には直接には記載しないで設定する。この場合、符号化済みの画素を用いて所与の判断を行うことで基準及び被予測の信号チャネルが設定されるので、直接に記載しない代わりに、当該所与の判断の仕方を特定する情報が設定情報に盛り込まれ、復号装置側でも同様の判断を行うことで符号化装置側と同様の設定を用いることができる。
　当該所与の判断として、図５に例を示すような、符号化対象単位ブロックの近傍領域の符号化済みブロックにおける（画素ではなく）量子化値の変化の豊富さ（変化の度合い）を各信号チャネルでの比較に基づく基準及び被予測の判断決定がある。すなわち、図５に示すRGB信号の例であれば各信号フレームの同時刻同位置の符号化対象ブロックRi,Gi,Biに対して、共通形状及び共通相対位置となるブロック単位での所定の符号化済み近傍領域Rs,Gs,Bsの量子化値の変化の豊富さを比較することで、基準及び被予測を決定する。
　変化に富んでいるかの基準には、当該各近傍領域での符号化済み量子化値の絶対値分散や絶対値振幅を用いることができ、当該絶対値分散又は振幅が大きいほど変化が豊富である。比較により、変化が豊富な信号チャネルを基準として採用するよう設定すれば、予測精度向上の効果が得られる。比較により、変化が豊富な信号チャネルを逆に被予測として採用するよう設定すれば、符号化効率向上の効果が得られる。変化の豊富さが上位のいずれの信号チャネルを下位のいずれの信号チャネルからの基準又は被予測とするかについても、チャネル明示部７２での説明例と同様に、所定の組み合わせを設定しておく。
　チャネル学習設定部７４は、符号化対象ブロックの各チャネル信号の量子化値を入力として、当該符号化対象ブロックにおける基準及び被予測の信号チャネルの設定情報を自動で出力し、当該設定情報が符号化される。ここで、当該入力とされる量子化値は基準信号に対するのと同様の処理によって用意しておく。当該自動出力は、所定の統計的機械学習による識別器（例えば、決定木[Decision Tree]、ランダム森[Random Forest]又はニューラルネットワーク[Neural Network]等）を用いることにより行われる。
　すなわち、所与の学習用画像における特徴量としての所与の量子化値と、当該学習用画像に対する符号化コストを最小にするような基準及び被予測の信号チャネルの所与の設定とによって、統計的機械学習による識別器を構築しておき、当該識別器を用いて設定情報を自動出力する。チャネル学習設定部７４ではさらに、所定の単位ブロック毎に符号化コストを最小にするような設定を（当該識別器によらず）求めて、識別器の出力との比較により、当該識別器に対して逐次学習を適用してもよい。なお、復号装置側では、明示的な基準及び被予測の設定情報を受け取るだけであるので、用いた統計的機械学習及び識別器等の情報は符号化不要である。
　次に、量子化予測手段５，５５及び量子化補償手段６，５６における、基準信号チャネルの量子化値から被予測信号チャネルの量子化値を予測し及び補償するための、所定の予測方式について、図６を用いて説明する。当該予測方式も設定部７により設定され、設定情報として符号化され、復号装置側で同様の処理が行われる。
　図６では説明例として、RGB信号におけるG信号を基準、B信号を被予測としている。(1)及び(2)に示すように、基準G信号及び被予測B信号の量子化値は共に変換手段１４による変換係数への変換手法の詳細により定まる、所定サイズ（ここでは４×４）のマトリクス状に構成され、各周波数要素は直流要素(DC)から開始されるジグザグスキャン等、所定の順序に従って順次符号化される。なお、周波数領域ではなく画素から構成される単位ブロックと区別するために、「マトリクス」及び「要素」と称することとする。
　(1)に太枠Ｆ１で囲って示すように、基準G信号についてはマトリクス内の全要素は符号化済みである。ここで、(2)に太枠Ｆ２で囲って示す部分の要素は前記所定の順序に従って逐次予測・補償されると共に符号化済みであるが、残りの部分は符号化前である被予測B信号における、次の予測・補償及び符号化対象となる要素B(x)を用いて予測の方式を説明する。なお、当該表記B(x)やG'(x)等においてxはマトリクス内の位置を表し、カンマの有無で符号化済みか前かを表す。
　B(x)は、Ｆ１で囲って示す基準信号における符号化済み各要素と、Ｆ２で囲って示す当該被予測信号における当該B(x)を符号化しようとする時点での符号化済み各要素とに所定の予測式を適用することにより予測・補償される。当該予測式を適用する際のパラメータが量子化予測手段５，５５の決定する量子化予測情報であり、量子化補償手段６，５６は当該パラメータを当該予測式に適用して量子化予測信号を得る。
　例えば特に、基準信号における同位置の符号化済み要素G'(x)にパラメータとして係数kを乗じて、B(x)=k×G'(x)という予測式を用いてもよい。さらに当該係数kが具体化されている予測式として例えば、次式（式１）又は（式２）をB(x)に対する予測式として利用できる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、G'(xi), B'(xi)はそれぞれ図中にもi=1,2の例を示すように、位置xiにおける基準G信号の量子化値及び被予測B信号の符号化済みの量子化値を表す。位置xiは、被予測B信号における符号化対象要素の位置xに対する符号化済みの所定の近傍領域内の各位置を表す。nは当該近傍領域に属する要素の個数を表す。median n  i は、n個のうちの中央値を表す。wiは重み係数であり、当該位置xiとxとの距離に応じて設定することもできる。なお、マトリクス中の所定の近傍領域は、図６では符号化対象位置xの上隣x1及び左隣x2により構成された例が示されているが、その他任意の形状を設定してよい。
　すなわち、（式１）及び（式２）は共に、信号間相関を表現する量としてマトリクス内での基準と被予測とでの所定の近傍領域の各位置xiにおける比率B(xi)/G(xi)に注目して、係数kを定めるものである。
　ただし、要素xがマトリクスにおける最初の位置(DCの位置)である場合、あるいは全てのG'(xi)がゼロである場合、当該要素における量子化予測信号B(x)は、予め設定しておいた固定値とする。あるいは一部のG'(xi)がゼロである場合、算出式から除外する。
　計算例として、符号化対象位置xに対する所定の近傍領域が図６中のx1及びx2からなるとし、B(x1)=10, B(x2)=25, G(x1)=20, G(x2)=30, w1=w2=1/2とすると、係数kは（式１）を採用した場合、
k=median (10/20, 25/30)=1/2又は5/6 [偶数個であるのでいずれかに中央値を設定]
（式２）を採用した場合、
k=(10/20 + 25/30)/2=2/3
となる。当該パラメータkにB(x)と同位置のG'(x)の値を乗算したものが、B(x)に対する量子化予測信号となる。
　その他、各種の変形実施例を説明する。各変形実施例における処理（チャネル別量子化値処理部１６，３６以外の処理も含む）の設定も、設定部７により設定情報として符号化され、復号側でも同様の処理が可能となる。
　量子化予測手段５，５５では、各周波数要素が列挙された上記マトリクスのうち、所定の一部のみについて量子化予測情報を決定してもよい。この場合、当該所定の一部についてのみ量子化予測残差が求まり符号化される。残りの部分については、被予測の信号チャネルではあるが量子化予測残差は求めず、基準信号チャネルと同様に量子化値を符号化してもよく、あるいは削除してもよい。当該所定の一部としては、マトリクスにおける所定の周波数領域の部分又は要素の絶対値がある基準以上大きい部分を採用することができる。当該設定情報は設定部７により設定された後、符号化され、復号装置側でも同様にする。
　量子化差分手段２では、前記差分処理の後さらに追加処理として、丸め処理を行うことで量子化予測残差を整数値としてもよい。この場合、量子化予測残差も通常の量子化値と同様に整数となるので、符号化効率向上の効果が得られる。
　量子化手段１５では、量子化における丸め処理を省略して、量子化ステップによる除算のみを行ってもよい。この場合、各手段は上記説明してきた量子化値を特例的に整数ではなく実数として扱うこととなるが、処理は共通である。なお、逆量子化手段１８，３８においては量子化ステップによる積算のみを行うこととなる。この場合、特に同時に上記の量子化差分手段２での丸め処理を不適用とすることで、量子化値及び量子化予測残差の両者が実数となり、予測精度向上の効果が得られる。
　以上、本発明によれば、入力信号を複数の信号チャネルにおける量子化値に分離し、基準信号となる量子化値から他の量子化値を予測して被予測信号における情報の発生量を削減する手段を具備することで、高い符号化効率が可能となる。また、時間的冗長性などを削減する従来の予測方式と組み合わせることが可能であり、符号化効率を更に向上させることが可能となる。
　１００…画像符号化装置、３００…画像復号装置、１０…第一のスイッチ、１１…予測手段、１２，３２…補償手段、１３…差分手段、１４…変換手段、１５…量子化手段、１６，３６…チャネル別量子化値処理部、１７…符号化手段、３７…復号手段、１８，３８…逆量子化手段、１９，３９…逆変換手段、２０，４０…加算手段、２１，４１…保持手段、１０１…画像入力手段、１０２…符号出力手段、３０１…符号入力手段、３０２…画像出力手段、１…第二のスイッチ、５１…第三のスイッチ、２…量子化差分手段、３，５３…量子化加算手段、４，５４…量子化保持手段、５，５５…量子化予測手段、５，５６…量子化補償手段、７，５７…設定部

Claims (13)

  1. 　複数の画素から構成される単位ブロックの各画素に対して、符号化済み画素から符号化対象の各画素を予測する予測情報を決定する予測手段と、
    　当該予測情報に基づいて各画素の予測画素を生成する補償手段と、
    　当該各画素とその予測画素との間で差分処理を行って予測残差とする差分手段と、
    　当該予測残差に対して直交変換を施して変換係数とする変換手段と、
    　当該変換係数を量子化して量子化値とする量子化手段とを備え、単位ブロック毎に当該量子化値の符号化を行う画像符号化装置において、
    　画素を構成する第一の信号チャネルにおける符号化済みの量子化値を予測の基準とするために保持する量子化保持手段と、
    　画素を構成する第二の信号チャネルにおける符号化対象の量子化値を当該第一の信号チャネルにおける符号化済みの量子化値から所定の予測方式に従い予測する量子化予測情報を決定する量子化予測手段と、
    　当該量子化予測情報に基づいて第二の信号チャネルにおける符号化対象の量子化値に対する量子化予測信号を生成する量子化補償手段と、
    　当該第二の信号チャネルにおける符号化対象の量子化値とその量子化予測信号との間で差分処理を行って量子化予測残差とする量子化差分手段とを備え、
    　前記所定の予測方式を特定する情報を符号化し、且つ第二の信号チャネルに対しては前記量子化予測残差を符号化すると共に、当該符号化済みの量子化予測残差とその量子化予測信号とを加算して第二の信号チャネルにおける符号化済みの量子化値となし、当該第一及び第二の信号チャネルにおける符号化済みの量子化値に基づいて前記符号化済み画素を生成することを特徴とする画像符号化装置。
  2. 　前記量子化予測手段、量子化補償手段及び量子化差分手段の適用有無を所定数の単位ブロック毎に設定する適用設定部をさらに備え、
    　前記適用有無に関する情報を符号化すると共に、適用無しの場合には前記第一及び第二の信号チャネルの両者においてその量子化値を符号化することを特徴とする請求項１に記載の画像符号化装置。
  3. 　前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル明示設定部をさらに備え、当該設定された第一及び第二の信号チャネルの情報を符号化することを特徴とする請求項１に記載の画像符号化装置。
  4. 　前記チャネル明示設定部は、前記第一及び第二の信号チャネルの可能な組み合わせの各場合における符号化コストに基づいて、当該符号化コストが最小となるような組み合わせに前記第一及び第二の信号チャネルを設定することを特徴とする請求項３に記載の画像符号化装置。
  5. 　前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル暗示設定部をさらに備え、該チャネル暗示設定部は符号化済みの所定の近傍領域における量子化値の変化度合いの各信号チャネル間での比較に基づいて前記第一及び第二の信号チャネルを設定することにより、当該設定する第一及び第二の信号チャネルの情報を符号化しないことを特徴とする請求項１に記載の画像符号化装置。
  6. 　前記第一及び第二の信号チャネルを所定数の単位ブロック毎に設定するチャネル学習設定部をさらに備え、当該設定された第一及び第二の信号チャネルの情報を符号化し、
    　前記チャネル学習設定部は、所与の学習用画像と当該学習用画像に対する符号化コストを最小にする第一及び第二の信号チャネルの所与の設定とからなる所与の学習データに対して所与の統計的機械学習を適用して得られた識別器を用いることにより前記第一及び第二の信号チャネルを設定することを特徴とする請求項１に記載の画像符号化装置。
  7. 　前記量子化値は単位ブロック毎に周波数領域にて所定サイズのマトリクス状に構成され、該マトリクスの各要素は所定の順序に従って符号化され、
    　前記量子化予測手段は、前記所定の予測方式に従い、前記第二の信号チャネルにおける前記マトリクスにて順次符号化対象となる各要素を、前記第一及び第二の信号チャネルにおける前記マトリクス内での所定の符号化済みの要素に基づいて予測するための情報として、前記量子化予測情報を決定することを特徴とする請求項１に記載の画像符号化装置。
  8. 　前記量子化予測手段は、前記所定の予測方式に従い、前記第二の信号チャネルにおける前記マトリクスにて順次符号化対象となる各要素を、符号化済みの前記第一の信号チャネルにおける前記マトリクスにて同位置の要素に対して定数を乗算することにより予測し、
    　該定数を、前記第一及び第二の信号チャネルにおける前記マトリクス内での符号化済みの所定の近傍領域の各位置における、前記第二の信号チャネルの要素の値を前記第一の信号チャネルの要素の値で割った比の、当該近傍領域内での中央値又は当該近傍領域内での所定の重み付け平均として算出して、該定数を前記量子化予測情報として決定することを特徴とする請求項７に記載の画像符号化装置。
  9. 　前記量子化予測手段が、前記マトリクスの所定の一部のみについて前記量子化予測情報を決定することで、前記第二の信号チャネルに対しては前記所定の一部のみについて前記量子化予測残差を符号化し、且つ前記所定の一部以外の部分については前記量子化値を符号化すると共に、前記所定の一部を特定する情報を符号化することを特徴とする請求項７または８に記載の画像符号化装置。
  10. 　前記量子化予測手段が、前記所定の一部として、前記マトリクスにおける所定の低周波数領域又は前記マトリクスにおける要素の絶対値の大きさが所定基準を満たす領域を設定することを特徴とする請求項９に記載の画像符号化装置。
  11. 　前記量子化差分手段が、前記差分処理を行ってからさらに丸め処理を行うことにより前記量子化予測残差を整数値として得ることを特徴とする請求項１ないし１０のいずれかに記載の画像符号化装置。
  12. 　前記量子化手段が量子化における丸め処理を省略することで、前記各手段が実数値として前記量子化値を扱うことを特徴とする請求項１ないし１０のいずれかに記載の画像符号化装置。
  13. 　請求項１ないし１２のいずれかに記載の画像符号化装置により符号化された符号情報を復号して復号画素を生成する画像復号装置であり、
    　当該符号情報を復号して前記第一のチャネルにおける量子化値と、前記第二のチャネルにおける量子化予測残差と、前記所定の予測方式を特定する情報とを得る復号手段と、
    　前記第一のチャネルにおける復号済み量子化値を予測の基準とするために保持する復号側量子化保持手段と、
    　前記第一のチャネルにおける復号済み量子化値から前記所定の予測方式に従い前記第二のチャネルにおける復号対象の量子化値を予測する量子化予測情報を決定する復号側量子化予測手段と、
    　当該決定された量子化予測情報に基づいて前記第二のチャネルにおける量子化予測信号を生成する復号側量子化補償手段とを備え、
    　前記第二のチャネルにおける量子化予測信号と前記復号された量子化予測残差とを加算して前記第二のチャネルにおける量子化値となし、当該第一及び第二の信号チャネルにおける復号された量子化値に基づいて復号画素を生成することを特徴とする画像復号装置。
PCT/JP2012/071334 2011-09-13 2012-08-23 画像符号化装置及び画像復号装置 Ceased WO2013038888A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011199144A JP2013062644A (ja) 2011-09-13 2011-09-13 画像符号化装置及び画像復号装置
JP2011-199144 2011-09-13

Publications (1)

Publication Number Publication Date
WO2013038888A1 true WO2013038888A1 (ja) 2013-03-21

Family

ID=47883122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/071334 Ceased WO2013038888A1 (ja) 2011-09-13 2012-08-23 画像符号化装置及び画像復号装置

Country Status (2)

Country Link
JP (1) JP2013062644A (ja)
WO (1) WO2013038888A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250117841A (ko) * 2018-06-06 2025-08-05 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
MX2020013271A (es) * 2018-06-13 2021-02-18 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997046021A1 (en) * 1996-05-28 1997-12-04 Matsushita Electric Industrial Co., Ltd. Device and method for predicting and encoding image, device and method for predicting and decoding image, and recording medium
WO2007108640A2 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997046021A1 (en) * 1996-05-28 1997-12-04 Matsushita Electric Industrial Co., Ltd. Device and method for predicting and encoding image, device and method for predicting and decoding image, and recording medium
WO2007108640A2 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BYUNG CHEOL SONG ET AL.: "Block Adaptive Inter-Color Compensation Algorithm for RGB 4:4:4 Video Coding", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 18, no. 10, August 2008 (2008-08-01), pages 1447 - 1451, XP011235245, DOI: doi:10.1109/TCSVT.2008.2002827 *
HARUHISA KATO ET AL.: "Adaptive Inter-channel Prediction for Intra Prediction Error in H.264", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 64, no. 11, 2010, pages 1711 - 1717 *
YONG-HWAN KIM ET AL.: "Efficient RGB Video Coding Using Adaptive Inter-Plane Residual Prediction, Digest of Technical Papers", INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE 2008), January 2008 (2008-01-01), pages 3 - 6, 1-2 *
YONG-HWAN KIM ET AL.: "High-Fidelity RGB Video Coding Using Adaptive Inter-Plane Weighted Prediction", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 19, no. 7, July 2009 (2009-07-01), pages 1051 - 1056, XP011254899 *

Also Published As

Publication number Publication date
JP2013062644A (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
US20250252609A1 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
CN105635735B (zh) 感知图像和视频编码
KR101591825B1 (ko) 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
JP5421757B2 (ja) 画像符号化装置
KR101421056B1 (ko) 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를 추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
US8553768B2 (en) Image encoding/decoding method and apparatus
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US11240496B2 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
RU2720975C2 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
KR101351714B1 (ko) 비트 스트림 복호 방법
KR101261526B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US20120230405A1 (en) Video coding methods and video encoders and decoders with localized weighted prediction
US20070098067A1 (en) Method and apparatus for video encoding/decoding
JP5545783B2 (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
US20140328403A1 (en) Image encoding/decoding method and apparatus using weight prediction
US11223827B2 (en) Image encoding device, image decoding device, and the programs thereof
US20110280309A1 (en) Method for decoding a stream representative of a sequence of pictures, method for coding a sequence of pictures and coded data structure
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
JP2006203909A (ja) マクロブロックをイントラ符号化するための予測モードを選択する方法、ビデオデータのマクロブロックに対して少なくとも一つの予測モードを選択するための方法、予測モードの選択を可能にするためにコンピュータ可読媒体に実装されたコンピュータプログラム製品、および複数の予測モードでデータを符号化するためのエンコーダ
WO2007108642A1 (en) Image encoding/decoding method and apparatus
KR20120084168A (ko) 비디오 인코딩 모드 선택 방법 및 이를 수행하는 비디오 인코딩 장치
JP5796899B2 (ja) 画像符号化装置及び画像復号装置
JP4726047B2 (ja) 画像符号化装置
JP6946979B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12832574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12832574

Country of ref document: EP

Kind code of ref document: A1