[go: up one dir, main page]

WO2010070818A1 - 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 - Google Patents

動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 Download PDF

Info

Publication number
WO2010070818A1
WO2010070818A1 PCT/JP2009/006355 JP2009006355W WO2010070818A1 WO 2010070818 A1 WO2010070818 A1 WO 2010070818A1 JP 2009006355 W JP2009006355 W JP 2009006355W WO 2010070818 A1 WO2010070818 A1 WO 2010070818A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
prediction mode
inter
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/006355
Other languages
English (en)
French (fr)
Inventor
浜田宏一
高橋昌史
横山徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010542823A priority Critical patent/JP5222958B2/ja
Publication of WO2010070818A1 publication Critical patent/WO2010070818A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding / decoding technique for encoding and decoding a moving image, and more particularly to a reduction in code amount in inter-screen prediction.
  • H.264 / AVC Advanced Video Coding
  • the encoding mode is determined as a combination of such a pixel value prediction method and the block size, and an optimum mode is selected from a large number of encoding modes according to the property of the image. By selecting, the coding efficiency is increased.
  • an encoding tool group called a profile is defined in order to limit the encoding techniques that can be used depending on the type of application that is assumed.
  • an encoding mode is determined for each macroblock having a 16 ⁇ 16 pixel size.
  • one of the prediction methods of intra prediction (intra prediction) that compresses using the pixel correlation of the block in the screen and inter prediction (inter prediction) that uses the pixel correlation of the block between the screens is applied.
  • intra prediction intra prediction
  • inter prediction inter prediction
  • Predictive prediction that specifies one reference image
  • bi-directional prediction Bi-directional ⁇ predictive prediction
  • Patent Document 1 discloses that an input image is divided into first blocks of M ⁇ N size, and further, the first block is divided into second blocks of m ⁇ n size, The division shape of the first block is determined based on the feature information extracted from the image of the block.
  • inter-screen prediction mode information when inter-screen prediction is used, prediction is performed while switching a plurality of pixel value prediction methods and block sizes for each macroblock. For this reason, it is necessary to encode the pixel value prediction method and block size information as inter-screen prediction mode information for each macroblock and add the result to the stream. Specifically, a code of 1 to 8 bits per macroblock is allocated as the inter-screen prediction mode information. Considering that the average code amount per macroblock is several bits, the prediction mode information is not a small amount, and if it can be reduced, the code amount can be greatly reduced.
  • An object of the present invention is to realize a further code amount reduction by reducing the code amount of the inter prediction mode information.
  • a moving image encoding apparatus includes a block dividing unit that divides an input image into blocks of a predetermined size among a plurality of sizes, and an inter-screen that generates a predicted image by inter-screen prediction from a reference image for the block.
  • the encoded stream generation unit deletes prediction mode information in the encoded stream and indicates that the prediction mode skip operation has been executed. Give a flag.
  • the moving image encoding method of the present invention includes a block dividing step of dividing an input image into blocks of a predetermined size among a plurality of sizes, and a screen for generating a predicted image by inter-screen prediction from a reference image for the block
  • the inter-picture prediction step includes a prediction mode skip operation for determining the prediction mode of the block based on the prediction mode of the block at the same position of the encoded image.
  • the moving picture decoding apparatus of the present invention includes a differential image decoding unit that generates a prediction difference by performing a variable length decoding process, an inverse quantization process, and an inverse frequency transform process on an encoded stream, and the encoded stream
  • An inter-screen prediction unit that generates a prediction image by inter-screen prediction from a reference image by dividing into blocks to be decoded, an addition unit that generates a decoded image by adding the prediction image and the prediction difference, and has been decoded
  • a frame memory that holds a prediction mode when a prediction image is generated for each block of the image, and the inter-screen prediction unit sets a prediction mode of a block at the same position of the decoded image held in the frame memory. Based on this, a prediction mode skip operation for determining the prediction mode of the block is executed.
  • the moving image decoding method of the present invention includes a difference image decoding step for generating a prediction difference by performing a variable length decoding process, an inverse quantization process, and an inverse frequency transform process on an encoded stream; An inter-screen prediction step of generating a predicted image by inter-screen prediction from a reference image divided into blocks to be decoded, and an adding step of generating a decoded image by adding the predicted image and the prediction difference,
  • the inter-screen prediction step includes a prediction mode skip operation for determining the prediction mode of the block based on the prediction mode of the block at the same position of the decoded image.
  • a moving image encoding technique and a decoding technique that can further reduce the amount of code without degrading the image quality.
  • FIG. 1 is a configuration diagram (Example 1) showing an example of a moving picture encoding apparatus according to the present invention.
  • FIG. The figure which showed notionally the operation
  • the conceptual diagram which shows the mode determination by prediction mode skip.
  • the schematic diagram which shows the structure of the encoding stream which provided the skip flag.
  • the block diagram which shows one Example of the moving image decoding apparatus by this invention (Example 2).
  • An example of switching a prediction mode skip with reference to a motion vector Example 3
  • FIG. 10 is a diagram illustrating a reference picture when the target image is a B picture (Example 4).
  • FIG. 1 is a block diagram showing an embodiment of a moving picture encoding apparatus according to the present invention.
  • the moving image encoding apparatus includes an input image memory 102 that holds an input original image 101 and a block dividing unit 103 that divides the input image into small regions.
  • an intra-screen prediction unit 105 that performs intra-screen prediction in divided block units
  • an inter-screen prediction unit 106 that performs inter-screen prediction in block units based on the amount of motion detected by the motion search unit 104
  • a mode selection unit 107 that determines predictive encoding means (prediction method and block size) that matches the properties is provided.
  • a subtraction unit 108 that calculates a prediction difference between the input image and the prediction image, a frequency conversion unit 109 and a quantization unit 110 that perform encoding on the prediction difference, and encoding according to the symbol occurrence probability.
  • a variable length encoding unit 111 is included.
  • an inverse quantization processing unit 112 and an inverse frequency transform unit 113 that decode a prediction difference that has been encoded once, an addition unit 114 that generates a decoded image using the decoded prediction difference, and a decoded image
  • a reference image memory 115 is stored and used for later prediction. Furthermore, it has a frame memory 116 that holds the inter picture prediction mode of the previous picture.
  • the input image memory 102 holds one image as an encoding target image from the original image 101, and divides it into fine blocks by the block dividing unit 103, and a motion search unit 104, an in-screen prediction unit 105, And to the inter-screen prediction unit 107.
  • the motion search unit 104 calculates the amount of motion of the corresponding block using the reference image stored in the reference image memory 115 and passes the motion vector to the inter-screen prediction unit 106.
  • the intra-screen prediction unit 105 and the inter-screen prediction unit 106 execute the intra-screen prediction process and the inter-screen prediction process in units of several blocks to generate a predicted image.
  • the mode selection unit 107 selects either optimal prediction image.
  • the subtraction unit 108 calculates a prediction difference between the input image and the prediction image and passes it to the frequency conversion unit 109.
  • the frequency conversion unit 109 and the quantization processing unit 110 perform frequency conversion and quantization processing such as discrete cosine transform (DCT) in units of blocks having a specified size with respect to the transmitted prediction difference. And pass to the variable length coding processing unit 111 and the inverse quantization processing unit 112. Further, the variable length coding processing unit 111 decodes the prediction difference information represented by the frequency conversion coefficient, the prediction direction used when performing intra prediction, for example, the motion vector used when performing inter prediction, and the like.
  • the encoded stream 117 is generated by performing variable-length coding on the information necessary for the generation based on the occurrence probability of the symbols.
  • the inverse quantization processing unit 112 and the inverse frequency transform unit 113 perform inverse frequency transform such as inverse quantization and inverse DCT (InverseTDCT) on the quantized frequency transform coefficient, respectively, and obtain a prediction difference To the adder 114. Subsequently, the adder 114 generates a decoded image and stores it in the reference image memory 115.
  • inverse frequency transform such as inverse quantization and inverse DCT (InverseTDCT)
  • FIG. 2 is a diagram conceptually illustrating the operation of the inter-screen prediction process.
  • H. In H.264 / AVC the encoding target image is encoded in block units according to the raster scan order.
  • a decoded image of an encoded image included in the same image sequence 301 as the encoding target image 303 is used as a reference image 302, and a block having a high correlation with the target block 304 in the target image (prediction Image) 305 is searched from the reference image.
  • the difference between the coordinate values of both blocks is encoded as a motion vector (MV) 306.
  • the reverse procedure may be performed, and the decoded image is generated by adding the decoded prediction difference to the block (predicted image) 305 in the reference image.
  • FIG. 2 is a diagram illustrating types of encoding modes that can be used in a Baseline profile, for example, with respect to an inter-screen prediction method defined by H.264 / AVC.
  • H.264 / AVC as a pixel value prediction method between screens, forward prediction (Predictive prediction) in which one reference image is designated and bi-directional prediction (Bi-directionalivepredictive) in which two reference images can be designated. Prediction), but when using the Baseline profile, only Predictive prediction is available.
  • Predictive prediction forward prediction
  • Bi-directionalivepredictive Bi-directionalivepredictive prediction
  • Prediction bi-directional prediction
  • Prediction bi-directional prediction
  • encoding is sequentially performed in the order of raster scanning from the upper left macroblock to the lower right macroblock.
  • the macroblock can be divided into smaller blocks (sub-blocks), and encoding is performed by selecting an optimum one from several sizes determined in advance for each type of prediction method.
  • 16 ⁇ 16 pixels (P16 ⁇ 16 mode), 16 ⁇ 8 pixels (P16 ⁇ 8 mode), 8 ⁇ 16 pixels (P8 ⁇ 16 mode), 8 ⁇ 8 pixels (P8 ⁇ 8) Mode) is prepared, and in the case of 8 ⁇ 8 pixel size, it can be further divided into sub-blocks of 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel size.
  • a PSskip mode that does not encode motion vector information is prepared for a block size of 16 ⁇ 16 pixels
  • a P8 ⁇ 8ref0 mode that does not encode reference frame numbers is prepared for an 8 ⁇ 8 pixel size.
  • a prediction image is generated in units of blocks of any one of the sizes described above, and encoding is performed by performing frequency conversion and quantization processing on the prediction difference from the original image.
  • inter-screen prediction prediction is performed while switching between a plurality of pixel value prediction methods and block sizes for each macroblock, so pixel value prediction method and block size information are assigned to each macro block as inter-screen prediction mode information. Therefore, it was necessary to encode.
  • a method for determining the prediction mode of the current macroblock with reference to the prediction mode of the macroblock at the same position of the previous coded picture is referred to as “prediction mode skip”.
  • this method is referred to as “prediction mode skip”.
  • a conventional method for selecting and determining an optimal block size from the viewpoint of image quality and code amount for the current macroblock regardless of the prediction mode of the previous picture is referred to as “non-skip”.
  • non-skip a frame memory 116 that holds the prediction mode of the previous picture is provided.
  • the inter prediction unit 106 refers to the prediction mode of the macroblock at the same position of the previous picture stored in the frame memory 116 and predicts the current macroblock in the same prediction mode. Generate an image. Then, a “skip flag” indicating “prediction mode skip” is added to the data encoded by “prediction mode skip”. However, since the code amount required for the “skip flag” is very small (1 bit is sufficient), the effect of reducing the code amount by omitting the conventional prediction mode information is great, and as a result, the code amount of the output stream can be reduced. it can.
  • FIG. 4 is a conceptual diagram illustrating mode determination by inter-screen prediction mode skip.
  • a division mode of forward prediction Predictive prediction
  • the prediction mode of the current macroblock is determined based on the prediction mode of the same-position macroblock of the previous picture.
  • the prediction mode of the macroblock MB1 of the previous picture at the same position as the encoding target macroblock MB2 of the current picture is the P8 ⁇ 16 mode
  • the P8 ⁇ 16 mode is adopted as the prediction mode of the encoding target macroblock MB2. To do. It determines similarly about other adjacent macroblocks.
  • the intra prediction mode is set as the prediction mode of the encoding target macroblock MB2. Since it cannot be used as it is, it is changed to the inter-screen prediction mode (for example, P16 ⁇ 16) and set.
  • whether to adopt inter-screen prediction mode skip for a macroblock to be encoded is determined from the viewpoint of image quality and code amount of the target block (skip acceptance / rejection rule). That is, when the correlation with the previous picture is strong, there is a high possibility that the same mode as the prediction mode of the previous picture is optimal. Therefore, even if the prediction mode skip is adopted, the image quality is hardly deteriorated. Specifically, it is determined by a mechanism similar to mode selection that determines a coding method such as RD-optimization, which is one of elemental techniques for performing moving image coding, for each macroblock. Alternatively, the degree of similarity of mode information between pictures is calculated, and when the degree of similarity is larger than the threshold, prediction mode skip may be employed.
  • FIG. 5 is a diagram showing data areas in the stream that can be reduced by adopting prediction mode skip.
  • A is a case where the block size is larger than 8 ⁇ 8, and the area of the macroblock type indicating the macroblock prediction mode is reduced.
  • B is a case where the block size is 8 ⁇ 8 or less, and in addition to the case of (a), the sub macroblock type area indicating the prediction mode of the sub macroblock is also reduced.
  • the reduction of the code amount in each area is 1 to 8 bits, and these areas exist for each macroblock, so that a large reduction amount is seen in the entire stream.
  • FIG. 6 is a schematic diagram showing the structure of an encoded stream to which a skip flag is added.
  • the range of data to which the skip flag is assigned is specified not only in units of macroblocks in (d) but also in units of (a) GOP, (b) pictures, and (c) slices in units of a plurality of consecutive macroblocks. Make it possible. Furthermore, when performing the inter-screen prediction mode skip for the entire stream, a skip flag may be added to the stream header.
  • the decoding device determines the range of data for which the prediction mode skip is performed based on the skip flag assignment position in the stream, and executes decoding of the stream. As described above, since only one skip flag can be provided not only in units of macroblocks but also over a plurality of macroblocks, it is possible to further suppress an increase in code amount.
  • FIG. 7 is a block diagram showing an embodiment of the moving picture decoding apparatus according to the present invention.
  • the moving picture decoding apparatus decodes a prediction difference with a variable length decoding unit 202 that performs the reverse procedure of variable length coding on the encoded stream 201 generated by the moving picture encoding apparatus shown in FIG.
  • an inter-screen prediction unit 205 that performs inter-screen prediction to generate a predicted image
  • an intra-screen prediction unit 206 that performs intra-screen prediction are included.
  • the addition part 207 which adds a prediction difference and a prediction image, and produces
  • the reference image memory 208 which memorize
  • it has a frame memory 209 that holds prediction modes for all macroblocks of the previous picture.
  • the input encoded stream 201 is provided with inter-screen prediction mode information (pixel value prediction method and block size information) at the time of encoding.
  • inter-screen prediction mode information pixel value prediction method and block size information
  • a “skip flag” indicating inter-screen prediction mode skip is assigned.
  • inter-screen prediction mode information is given, a prediction image is generated according to the specified prediction method and block size.
  • the frame memory 209 is referred to, the prediction mode of the current macroblock is determined based on the prediction mode of the same-position macroblock of the previous picture, and a prediction image is generated.
  • the decoding apparatus determines the prediction mode according to the inter-screen prediction mode skip adoption result (that is, presence or absence of the skip flag) determined by the encoding apparatus.
  • the decoding apparatus can determine whether to adopt the inter-screen prediction mode skip by itself.
  • the skip acceptance rule of the encoding device can be used as it is as the skip acceptance rule. If both rules (judgment criteria) are made common, the skip acceptance / rejection result will be well reproduced, and the skip flag added to the encoded stream to be transmitted can be omitted.
  • FIG. 8 is an example of switching between adoption and non-use of the inter-screen prediction mode skip with reference to the magnitude of the motion vector.
  • the motion vector MV is a positional deviation amount between the target block 304 in the encoding target image and the highly correlated block 305 in the reference image.
  • a threshold value is set in advance for the motion vector MV.
  • (A) is a case where the motion vector MV of the previous picture is smaller than a predetermined value (threshold).
  • a predetermined value threshold.
  • inter-screen prediction mode skip is adopted, and the prediction mode of the same-position macroblock MB1 of the previous picture is used as the prediction mode of the macroblock MB2.
  • (B) is a case where the motion vector MV of the previous picture is larger than a predetermined value.
  • the inter-screen prediction mode skip is not adopted, and a “non-skip mode” for uniquely determining the optimal prediction mode is set for the macroblock MB2.
  • FIG. 9 is an example of switching between acceptance / rejection of the inter-screen prediction mode skip with reference to the inter-screen prediction mode of the adjacent macroblock. That is, if the inter-screen prediction mode of the adjacent macroblock of the current picture is the prediction mode skip, the prediction mode skip is also adopted for the macroblock.
  • (A) is a case where the adjacent macroblock MB3 adopts the inter-picture prediction mode skip, and the prediction mode skip is also adopted for the macroblock MB2 and the prediction mode of the same-position macroblock MB1 of the previous picture is used. .
  • (B) is a case where the adjacent macroblock MB3 does not employ the inter-screen prediction mode skip (non-skip mode), and the non-skip mode is also set for the macroblock MB2, and an optimal prediction mode is uniquely obtained.
  • the inter-screen prediction mode skip between the forward prediction images has been described, but the same method can be applied to the inter-screen prediction mode skip between the bi-prediction images (between B pictures).
  • the same method can be applied to the inter-screen prediction mode skip between the bi-prediction images (between B pictures).
  • B picture since the number of pictures that can be referred to increases, the degree of freedom of selection increases.
  • the picture to be referred to will be described in detail.
  • FIG. 10 is a diagram illustrating a picture to be referred for skipping the inter-picture prediction mode when the encoding target image is a B picture.
  • three methods are shown.
  • an image of a B picture having the same picture type is referred to.
  • the previous picture # 3 which is the same B picture, is referred to the encoding target picture # 4.
  • the prediction mode of the target macroblock in picture # 4 is determined.
  • a P picture that is temporally closer is referred to between the two forward prediction images (P pictures). That is, two P pictures # 6 and # 11 can be referred to the encoding target picture # 8. Here, reference is made to picture # 6 which is closer in time. Then, based on the prediction mode of the same-position macroblock in picture # 6, the prediction mode of the target macroblock in picture # 8 is determined.
  • the skip acceptance rule in the case of the inter-screen prediction mode skip between the bi-predictive images described above (between B pictures) is also the same as that in the case of the inter-predictive image (inter-P picture) described in the above embodiments. Can be determined. Since the picture to be referred to may be other than the previous picture, the frame memories 116 and 209 of the encoding device and the decoding device hold not only the previous picture but also a prediction mode of a picture necessary for reference. To do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化時の画面間予測モード情報の符号量を削減することにより、さらなる符号量の低減を実現する。動画像符号化装置は、符号化済み画像の各ブロックについて予測画像を生成したときの予測モードを保持するフレームメモリ１１６を備える。画面間予測部１０６はフレームメモリ１１６を参照し、符号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を可能とする。画面間予測部１０６にて予測モードスキップ動作を実行した場合、符号化ストリーム生成部１１１は符号化ストリーム中の予測モード情報を削除するとともに、予測モードスキップを実行したことを示すスキップフラグを付与する。

Description

動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
　本発明は、動画像を符号化及び復号化する動画像符号化・復号化技術に関し、特に画面間予測における符号量の削減に関するものである。
　近年の動画像符号化規格では、画像の時間的・空間的な相関性を利用した様々な画素値予測方法を利用して、画面を細かな小領域に分割した可変長のブロック単位で符号化を行う方式を採用している。２００３年に策定されたＨ．２６４／ＡＶＣ（Advanced Video Coding）規格では、符号化モードをこのような画素値予測方法とブロックサイズの組み合わせとして定めており、多数の符号化モードの中から画像の性質に応じて最適なモードを選択することによって、符号化効率を高めている。また、Ｈ．２６４／ＡＶＣでは、想定するアプリケーションの種類に応じて利用可能な符号化技術を限定するために、プロファイルと呼ばれる符号化ツール群の集合体を規定している。
　Ｈ．２６４／ＡＶＣでは、１６×１６画素サイズのマクロブロックごとに符号化モードを決定する。ここでは、画面内ブロックの画素相関を利用して圧縮を行う画面内予測（Intra予測）、および画面間ブロックの画素相関を利用する画面間予測（Inter予測）のうちいずれかの予測方法を適用する。画面間の画素値予測方法として、１枚の参照画像を指定する順方向予測（Predictive予測）と、２枚の参照画像を指定することが可能な双方向予測（Bi-directional predictive予測）を規定している（Baselineプロファイルを利用する場合は、Predictive予測のみが利用可能となっている）。
　さらにＨ．２６４／ＡＶＣ方式では、予測に利用するブロックのサイズを１６×１６画素サイズから８×８、８×４、４×８、４×４の小ブロックに分割することで、より符号化効率を高めている。ブロック分割の技術に関し、例えば特許文献１には、入力画像をＭ×Ｎサイズの第１のブロックに分割し、さらに第１のブロックをｍ×ｎサイズの第２のブロックに分割し、第２のブロックの画像から抽出した特徴情報に基づいて第１のブロックの分割形状を決定することが記載されている。
特開２００８－１７３０５号公報
　Ｈ．２６４／ＡＶＣの符号化方式において、画面間予測を用いる場合には、マクロブロック毎に複数の画素値予測方法とブロックサイズを切り替えながら予測を行う。そのため、マクロブロック毎に画面間予測モード情報として、画素値予測方法とブロックサイズ情報を符号化してストリームに付与する必要がある。具体的にはこの画面間予測モード情報として、１マクロブロック当たり１～８ｂｉｔの符号を割り当てている。１マクロブロック当たりの平均符号量が数ｂｉｔであることを考慮すると、この予測モード情報は決して少ない量ではなく、これを削減できれば符号量の大幅な低減が可能となる。
　本発明の目的は、この画面間予測モード情報の符号量を削減することにより、さらなる符号量の低減を実現することにある。
　本発明の動画像符号化装置は、入力画像を複数のサイズのうち所定のサイズのブロックに分割するブロック分割部と、前記ブロックに対し参照画像からの画面間予測により予測画像を生成する画面間予測部と、前記予測画像と前記入力画像の予測差分を算出する減算部と、前記予測差分に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成部と、符号化済み画像の各ブロックについて予測画像を生成したときの予測モードを保持するフレームメモリとを備え、前記画面間予測部は、前記フレームメモリに保持される符号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を実行する。
　前記画面間予測部にて前記予測モードスキップ動作を実行した場合、前記符号化ストリーム生成部は前記符号化ストリーム中の予測モード情報を削除するとともに、前記予測モードスキップ動作を実行したことを示すスキップフラグを付与する。
　本発明の動画像符号化方法は、入力画像を複数のサイズのうち所定のサイズのブロックに分割するブロック分割ステップと、前記ブロックに対し、参照画像からの画面間予測により予測画像を生成する画面間予測ステップと、前記予測画像と前記入力画像の予測差分を算出する減算ステップと、前記予測差分に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成ステップとを備え、前記画面間予測ステップには、符号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を含む。
　本発明の動画像復号化装置は、符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い予測差分を生成する差分画像復号化部と、前記符号化ストリームを復号化するブロックに分割し参照画像からの画面間予測により予測画像を生成する画面間予測部と、前記予測画像と前記予測差分を加算して復号化画像を生成する加算部と、復号化済み画像の各ブロックについて予測画像を生成したときの予測モードを保持するフレームメモリとを備え、前記画面間予測部は、前記フレームメモリに保持される復号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を実行する。
　本発明の動画像復号化方法は、符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い予測差分を生成する差分画像復号化ステップと、前記符号化ストリームを復号化するブロックに分割し参照画像からの画面間予測により予測画像を生成する画面間予測ステップと、前記予測画像と前記予測差分を加算して復号化画像を生成する加算ステップとを備え、前記画面間予測ステップには、復号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を含む。
　本発明によれば、画質を劣化させることなく符号量をさらに低減することのできる動画像符号化技術および復号化技術を提供する。
本発明による動画像符号化装置の一実施例を示す構成図（実施例１）。 画面間予測処理の動作を概念的に示した図。 画面間予測方法で利用可能な符号化モードの種類を示す図。 予測モードスキップによるモード決定を示す概念図。 予測モードスキップにより削減できるデータ領域を示す図。 スキップフラグを付与した符号化ストリームの構造を示す模式図。 本発明による動画像復号化装置の一実施例を示す構成図（実施例２）。 動きベクトルを参照して予測モードスキップを切り替える例（実施例３）。 隣接ブロックの予測モードを参照して予測モードスキップを切り替える例。 対象画像がＢピクチャである場合の参照ピクチャを示す図（実施例４）。
　以下、本発明の実施形態を、図面を参照して説明する。
　図１は、本発明による動画像符号化装置の一実施例を示す構成図である。動画像符号化装置は、入力された原画像１０１を保持する入力画像メモリ１０２と、入力画像を小領域に分割するブロック分割部１０３を有する。また、分割したブロック単位で画面内予測を行う画面内予測部１０５と、動き探索部１０４にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部１０６と、画像の性質に合った予測符号化手段（予測方法およびブロックサイズ）を決定するモード選択部１０７を有する。そして、入力画像と予測画像との予測差分を算出する減算部１０８と、予測差分に対して符号化を行う周波数変換部１０９および量子化部１１０と、記号の発生確率に応じた符号化を行う可変長符号化部１１１を有する。また、一度符号化した予測差分を復号化する逆量子化処理部１１２および逆周波数変換部１１３と、復号化された予測差分を用いて復号化画像を生成する加算部１１４と、復号化画像を保持して後の予測に活用する参照画像メモリ１１５を有する。さらに、前ピクチャの画面間予測モードを保持するフレームメモリ１１６を有する。
　まず、装置全体の動作を説明する。入力画像メモリ１０２は原画像１０１の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部１０３にて細かなブロックに分割し、動き探索部１０４、画面内予測部１０５、および画面間予測部１０７に渡す。動き探索部１０４では、参照画像メモリ１１５に格納されている参照画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部１０６に渡す。画面内予測部１０５および画面間予測部１０６では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行して予測画像を生成する。モード選択部１０７はどちらか最適な予測画像を選択する。続いて減算部１０８では、入力画像と予測画像との予測差分を算出し周波数変換部１０９に渡す。周波数変換部１０９および量子化処理部１１０では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれ離散コサイン変換（ＤＣＴ：Discrete Cosine Transformation）などの周波数変換および量子化処理を行い、可変長符号化処理部１１１および逆量子化処理部１１２に渡す。さらに可変長符号化処理部１１１では、周波数変換係数によって表される予測差分情報と、例えば画面内予測を行う際に利用した予測方向や画面間予測を行う際に利用した動きベクトルなどの復号化に必要な情報を、記号の発生確率に基づいて可変長符号化を行って符号化ストリーム１１７を生成する。また、逆量子化処理部１１２および逆周波数変換部１１３では、量子化後の周波数変換係数に対して、それぞれ逆量子化および逆ＤＣＴ（Inverse DCT）などの逆周波数変換を施し、予測差分を取得して加算部１１４に送る。続いて加算部１１４により復号化画像を生成して参照画像メモリ１１５に格納する。
　次に、画面間予測部１０６の動作について説明する。
  図２は、画面間予測処理の動作を概念的に示した図である。Ｈ．２６４／ＡＶＣでは、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像３０３と同じ画像列３０１に含まれる符号化済みの画像の復号画像を参照画像３０２とし、対象画像中の対象ブロック３０４と相関の高いブロック（予測画像）３０５を参照画像中から探索する。このとき、両ブロックの差分として計算される予測差分に加えて、両ブロックの座標値の差分を動きベクトル（ＭＶ）３０６として符号化する。一方復号化の際には上記と逆の手順を行えばよく、復号化された予測差分を参照画像中のブロック（予測画像）３０５に加えることにより、復号化画像を生成する。
　図３は、Ｈ．２６４／ＡＶＣで規定される画面間予測方法に関し、例えばBaselineプロファイルで利用可能な符号化モードの種類を示す図である。Ｈ．２６４／ＡＶＣでは画面間の画素値予測方法として、１枚の参照画像を指定する順方向予測（Predictive予測）と、２枚の参照画像を指定することが可能な双方向予測（Bi-directional predictive予測）を規定しているが、Baselineプロファイルを利用する場合は、Predictive予測のみが利用可能となっている。各フレームでは、画面左上のマクロブロックから右下のマクロブロックに向かってラスター走査の順番に従って順次符号化が行われる。マクロブロックはさらに小さなサイズのブロック（サブブロック）に分割することが可能であり、予め予測方法の種類ごとに定められたいくつかのサイズの中から最適なものを選んで符号化を行う。
　画面間予測のブロックサイズとしては、１６×１６画素（Ｐ１６×１６モード）、１６×８画素（Ｐ１６×８モード）、８×１６画素（Ｐ８×１６モード）、８×８画素（Ｐ８×８モード）のサイズが用意されており、８×８画素サイズの場合はさらに８×８画素、８×４画素、４×８画素、４×４画素サイズのサブブロックに分割することが可能である。さらに、１６×１６画素のブロックサイズに対しては動きベクトル情報を符号化しないＰＳｋｉｐモードを、８×８画素サイズに対しては参照フレーム番号を符号化しないＰ８×８ｒｅｆ０モードを用意している。
　画面間予測符号化を行う場合は、参照フレーム内で該当ブロックと相関の高い領域を探索してその動き量を検出し、動き補償を行って参照画像を作成する。この場合、符号化ストリームのヘッダ部には動きベクトル情報と参照フレーム番号が書き込まれる。各マクロブロックに対して、上記のいずれかのサイズのブロック単位で予測画像を生成し、原画像との予測差分に対して周波数変換および量子化処理を施して符号化を行う。
　このように画面間予測では、マクロブロック毎に複数の画素値予測方法とブロックサイズを切り替えながら予測を行うため、画面間予測モード情報として、画素値予測方法とブロックサイズ情報をマクロブロック毎に付与して符号化する必要があった。
　そこで本実施例においては、この予測モード情報を省略する新たな予測方式として、符号化済みの前ピクチャの同位置のマクロブロックの予測モードを参照して、現マクロブロックの予測モードを決定する方式を導入する。以後この方式を、「予測モードスキップ」と呼ぶことにする。これに対し、前ピクチャの予測モードとは関係なく、現マクロブロックについて画質と符号量の観点から最適なブロックサイズを選択して決定する従来の方式を「非スキップ」と呼ぶことにする。本実施例では「予測モードスキップ」を実行するために、前ピクチャの予測モードを保持するフレームメモリ１１６を設けている。「予測モードスキップ」の場合、画面間予測部１０６は、フレームメモリ１１６に格納されている前ピクチャの同位置のマクロブロックの予測モードを参照して、同一の予測モードにて現マクロブロックの予測画像を生成する。そして、「予測モードスキップ」にて符号化したデータには、「予測モードスキップ」であることを示す「スキップフラグ」を付与する。ただしこの「スキップフラグ」に要する符号量はわずかであるから（１ｂｉｔで足りる）、従来の予測モード情報の省略による符号量削減の効果が大きく、結果として出力ストリームの符号量の低減を図ることができる。
　図４は、画面間予測モードスキップによるモード決定を示す概念図である。ここでは順方向予測（Predictive予測）の分割モードとして、Ｐ１６×１６、Ｐ１６×８、Ｐ８×１６、Ｐ８×８の各モードと、画面内予測モード（Intra）から選択するものとする。
　（ａ）に示すように、「予測モードスキップ」方式では、前ピクチャの同位置マクロブロックの予測モードを基に現マクロブロックの予測モードを決定する。ここでは、現ピクチャの符号化対象マクロブロックＭＢ２と同位置の前ピクチャのマクロブロックＭＢ１の予測モードがＰ８×１６モードであるから、符号化対象マクロブロックＭＢ２の予測モードとしてＰ８×１６モードを採用する。隣接する他のマクロブロックについても同様に決定する。
　なお（ｂ）に示すように、前ピクチャの同位置マクロブロックＭＢ１の予測モードが画面内予測モード（Ｉｎｔｒａ）であった場合には、符号化対象マクロブロックＭＢ２の予測モードとして画面内予測モードをそのまま用いることができないため、画面間予測モード（例えばＰ１６×１６）に変更して設定する。
　ここで、符号化対象であるマクロブロックに対して画面間予測モードスキップを採用するか否かは、対象ブロックの画質と符号量の観点から決定する（スキップ採否ルール）。すなわち、前ピクチャとの相関が強いときは前ピクチャの予測モードと同一のモードが最適となる可能性が高いので、予測モードスキップを採用しても画質の劣化が生じることは少ない。具体的には、動画像符号化を行うための要素技術の一つであるＲＤ－optimization等、符号化を行う方式をマクロブロック単位で決定するモード選択と同様の仕組みによって判断する。あるいは、ピクチャ間でのモード情報の類似度を計算し、閾値と比較して類似度が大きい場合には予測モードスキップを採用すればよい。
　画面間予測モードスキップを採用することにより、画面間予測モード情報に用いる符号量を削減できる。以下これについて説明する。
  図５は、予測モードスキップを採用することにより削減できるストリーム中のデータ領域を示す図である。（ａ）はブロックサイズが８×８より大の場合で、マクロブロックの予測モードを示すマクロブロックタイプの領域が削減される。（ｂ）はブロックサイズが８×８以下の場合で、（ａ）の場合に加え、さらにサブマクロブロックの予測モードを示すサブマクロブロックタイプの領域についても削減される。各領域での符号量の削減は１～８ｂｉｔであり、これらの領域は各マクロブロックに対してそれぞれ存在するので、ストリーム全体で見ると大きな削減量となる。
　図６は、スキップフラグを付与した符号化ストリームの構造を示す模式図である。スキップフラグ（ＳＦ）は、画面間予測モードスキップを行うデータの範囲を単位として１個付与すればよい。スキップフラグの符号量は１ｂｉｔで足りるので、符号量の増加は極めてわずかである（例えばスキップ＝「１」、非スキップ＝「０」とする）。
　スキップフラグを付与するデータの範囲としては、（ｄ）のマクロブロック単位だけでなく、連続する複数のマクロブロックを単位として（ａ）ＧＯＰ単位、（ｂ）ピクチャ単位、（ｃ）スライス単位でも指定可能とする。さらにストリーム全体について画面間予測モードスキップを行う場合は、スキップフラグをストリームヘッダに付与すればよい。復号化装置（デコーダ）は、ストリーム内のスキップフラグの付与位置により、予測モードスキップを行うデータの範囲を判断して当該ストリームの復号化を実行する。このように、スキップフラグはマクロブロック単位だけでなく、複数個のマクロブロックに渡って１個だけ付与することもできるので、符号量の増加をより抑えることが可能になる。
　図７は、本発明による動画像復号化装置の一実施例を示す構成図である。動画像復号化装置は、例えば図１に示す動画像符号化装置によって生成された符号化ストリーム２０１に対して可変長符号化の逆の手順を踏む可変長復号化部２０２と、予測差分を復号化するための逆量子化処理部２０３および逆周波数変換部２０４を有する。また、予測画像を生成するために画面間予測を行う画面間予測部２０５と、画面内予測を行う画面内予測部２０６を有する。そして、予測差分と予測画像を加算して復号化画像２１０を生成する加算部２０７と、復号化画像２１０を一時的に記憶しておく参照画像メモリ２０８を有する。さらに、前ピクチャの全マクロブロックの予測モードを保持するフレームメモリ２０９を有する。
　ここで画面間予測部２０５の動作を説明する。入力する符号化ストリーム２０１には、符号化時の画面間予測モード情報（画素値予測方法とブロックサイズの情報）が付与されている。あるいは画面間予測モード情報を省略した場合には、画面間予測モードスキップを示す「スキップフラグ」が付与されている。画面間予測モード情報が付与されている場合は、指定された予測方法とブロックサイズに従い予測画像を生成する。「スキップフラグ」が付与されている場合は、フレームメモリ２０９を参照し、前ピクチャの同位置マクロブロックの予測モードを基に現マクロブロックの予測モードを決定し予測画像を生成する。
　上記では、復号化装置は、符号化装置の決めた画面間予測モードスキップの採否結果（すなわちスキップフラグの有無）に従って予測モードを決定する。これに対し、復号化装置が独自で画面間予測モードスキップの採否を決定することもできる。その場合のスキップ採否ルールは、符号化装置の採否ルールをそのまま用いることができる。両者のルール（判定基準）を共通化すればスキップ採否結果も良く再現されることになり、伝送される符号化ストリームに付与するスキップフラグについても省略することができる。
　本実施例では、画面間予測モードスキップを採用するか否かをどのようにして決定するか（採否ルール）について、その具体例を述べる。
  図８は、動きベクトルの大きさを参照して、画面間予測モードスキップの採否を切り替える例である。動きベクトルＭＶは、前記図２で示したように、符号化対象画像中の対象ブロック３０４と、参照画像中の相関の高いブロック３０５の位置ずれ量である。判定のため、動きベクトルＭＶに予め閾値を定めておく。
　（ａ）は前ピクチャの動きベクトルＭＶが所定値（閾値）より小さい場合である。ＭＶが小さい場合は画面間の画像の変化が小さく、画面間予測においてマクロブロック毎の予測モードが同一となる場合が多い。よって画面間予測モードスキップを採用し、前ピクチャの同位置マクロブロックＭＢ１の予測モードを当該マクロブロックＭＢ２の予測モードに使用する。
　（ｂ）は前ピクチャの動きベクトルＭＶが所定値より大きい場合である。ＭＶが大きい場合は、画面間の画像の変化が大きく、画面間予測においてマクロブロック毎の予測モードが異なる場合が多い。よって画面間予測モードスキップを採用せず、当該マクロブロックＭＢ２については独自に最適な予測モードを求める「非スキップモード」を設定する。
　図９は、隣接マクロブロックの画面間予測モードを参照して、画面間予測モードスキップの採否を切り替える例である。すなわち、現ピクチャの隣接マクロブロックの画面間予測モードが予測モードスキップであれば、当該マクロブロックについても予測モードスキップを採用する。
　（ａ）は隣接マクロブロックＭＢ３が画面間予測モードスキップを採用している場合であり、当該マクロブロックＭＢ２についても予測モードスキップを採用し、前ピクチャの同位置マクロブロックＭＢ１の予測モードを使用する。
　（ｂ）は隣接マクロブロックＭＢ３が画面間予測モードスキップを採用していない場合（非スキップモード）であり、当該マクロブロックＭＢ２についても非スキップモードを設定し、独自に最適な予測モードを求める。
　上記実施例では、順方向予測画像間（Ｐピクチャ間）の画面間予測モードスキップに関して説明したが、双方向予測画像間（Ｂピクチャ間）の画面間予測モードスキップに関しても同様の方法で適用できる。ただしＢピクチャの場合は、参照可能なピクチャの数が増えるので選択の自由度が高まる。以下、参照するピクチャについて具体的に説明する。
　図１０は、符号化対象画像がＢピクチャである場合に画面間予測モードスキップのために参照するピクチャを示す図である。ここでは３通りの方法を示す。
  （ａ）の場合は、同一ピクチャタイプであるＢピクチャの画像を参照する。ここでは符号化対象ピクチャ＃４に対し、同一のＢピクチャである前ピクチャ＃３を参照する。そして、ピクチャ＃３内の同位置マクロブロックの予測モードを基に、ピクチャ＃４内の対象マクロブロックの予測モードを決定する。
　（ｂ）の場合は、異なるピクチャタイプである順方向予測画像（Ｐピクチャ）の参照を可能とする。ここでは符号化対象ピクチャ＃４に対し、同一タイプ（Ｂピクチャ）である前ピクチャ＃３の他に、異なるタイプであるＰピクチャ＃６を参照可能とする。そして、ピクチャ＃６内の同位置マクロブロックの予測モードを基に、ピクチャ＃４内の対象マクロブロックの予測モードを決定する。この場合ピクチャ＃３とピクチャ＃６のいずれを用いるかは、符号化側と復号化側で同一のルールで運用すればよい。
　（ｃ）の場合は、２つの順方向予測画像（Ｐピクチャ）のうち時間的に近いＰピクチャを参照する。すなわち、符号化対象ピクチャ＃８に対し、２つのＰピクチャ＃６と＃１１を参照することができる。ここでは、時間的に近い方のピクチャ＃６を参照する。そして、ピクチャ＃６内の同位置マクロブロックの予測モードを基に、ピクチャ＃８内の対象マクロブロックの予測モードを決定する。
　以上述べた双方向予測画像間（Ｂピクチャ間）の画面間予測モードスキップの場合のスキップ採否のルールについても、前記各実施例で述べた順方向予測画像間（Ｐピクチャ間）の場合と同様に定めることができる。なお、参照するピクチャが前ピクチャ以外となる場合が発生するので、符号化装置と復号化装置のフレームメモリ１１６，２０９では、前ピクチャだけでなく参照に必要なピクチャの予測モードを保持するものとする。
　１０１…原画像、１０２…入力画像メモリ、１０３…ブロック分割部、１０４…動き探索部、１０５…画面内予測部、１０６…画面間予測部、１０７…モード選択部、１０８…減算部、１０９…周波数変換部、１１０…量子化部、１１１…可変長符号化部、１１２…逆量子化処理部、１１３…逆周波数変換部、１１４…加算部、１１５…参照画像メモリ、１１６…フレームメモリ、２０１…符号化ストリーム、２０２…可変長復号化部、２０３…逆量子化処理部、２０４…逆周波数変換部、２０５…画面間予測部、２０６…画面内予測部、２０７…加算部、２０８…参照画像メモリ、２０９…フレームメモリ、２１０…復号化画像。

Claims (14)

  1. 　入力画像に対し、画面間予測による予測画像との予測差分を符号化する動画像符号化装置において、
    　入力画像を複数のサイズのうち所定のサイズのブロックに分割するブロック分割部と、
    　前記ブロックに対し、参照画像からの画面間予測により予測画像を生成する画面間予測部と、
    　前記予測画像と前記入力画像の予測差分を算出する減算部と、
    　前記予測差分に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成部と、
    　符号化済み画像の各ブロックについて予測画像を生成したときの予測モードを保持するフレームメモリとを備え、
    　前記画面間予測部は、前記フレームメモリに保持される符号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を実行することを特徴とする動画像符号化装置。
  2. 　請求項１に記載の動画像符号化装置において、
    　前記画面間予測部にて前記予測モードスキップ動作を実行した場合、前記符号化ストリーム生成部は前記符号化ストリーム中の予測モード情報を削除するとともに、前記予測モードスキップ動作を実行したことを示すスキップフラグを付与することを特徴とする動画像符号化装置。
  3. 　請求項２に記載の動画像符号化装置において、
    　前記スキップフラグは、ブロック単位、あるいは連続する複数のブロックからなるストリーム単位、ＧＯＰ単位、ピクチャ単位、スライス単位のいずれかを単位として付与することを特徴とする動画像符号化装置。
  4. 　請求項１に記載の動画像符号化装置において、
    　前記画面間予測部は、符号化済みの前ピクチャの動きベクトルを参照し、該動きベクトルの大きさが所定値より小さい場合は当該ブロックについて前記予測モードスキップ動作を実行することを特徴とする動画像符号化装置。
  5. 　請求項１に記載の動画像符号化装置において、
    　前記画面間予測部は、当該ブロックに隣接する符号化済みブロックの予測モードを参照し、該隣接ブロックが予測モードスキップ動作を行った場合は当該ブロックについても予測モードスキップ動作を実行することを特徴とする動画像符号化装置。
  6. 　入力画像に対し、画面間予測による予測画像との予測差分を符号化する動画像符号化方法において、
    　入力画像を複数のサイズのうち所定のサイズのブロックに分割するブロック分割ステップと、
    　前記ブロックに対し、参照画像からの画面間予測により予測画像を生成する画面間予測ステップと、
    　前記予測画像と前記入力画像の予測差分を算出する減算ステップと、
    　前記予測差分に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成ステップとを備え、
    　前記画面間予測ステップには、符号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を含むことを特徴とする動画像符号化方法。
  7. 　請求項６に記載の動画像符号化方法において、
    　前記画面間予測ステップにて前記予測モードスキップを実行した場合、前記符号化ストリーム中の予測モード情報を削除するとともに、前記予測モードスキップ動作を実行したことを示すスキップフラグを付与することを特徴とする動画像符号化方法。
  8. 　請求項７に記載の動画像符号化方法において、
    　前記スキップフラグは、ブロック単位、あるいは連続する複数のブロックからなるストリーム単位、ＧＯＰ単位、ピクチャ単位、スライス単位のいずれかを単位として付与することを特徴とする動画像符号化方法。
  9. 　請求項６に記載の動画像符号化方法において、
    　前記画面間予測ステップは、符号化済み前ピクチャの動きベクトルを参照し、該動きベクトルの大きさが所定値より小さい場合に当該ブロックについて前記予測モードスキップ動作を実行することを特徴とする動画像符号化方法。
  10. 　請求項６に記載の動画像符号化方法において、
    　前記画面間予測ステップは、当該ブロックに隣接する符号化済みブロックの予測モードを参照し、該隣接ブロックが予測モードスキップ動作を行った場合に当該ブロックについても予測モードスキップ動作を実行することを特徴とする動画像符号化方法。
  11. 　符号化ストリームを復号化して予測差分とし、画面間予測による予測画像を加算して復号化画像を生成する動画像復号化装置において、
    　前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い予測差分を生成する差分画像復号化部と、
    　前記符号化ストリームを復号化するブロックに分割し、参照画像からの画面間予測により予測画像を生成する画面間予測部と、
    　前記予測画像と前記予測差分を加算して復号化画像を生成する加算部と、
    　復号化済み画像の各ブロックについて予測画像を生成したときの予測モードを保持するフレームメモリとを備え、
    　前記画面間予測部は、前記フレームメモリに保持される復号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を実行することを特徴とする動画像復号化装置。
  12. 　請求項１１に記載の動画像復号化装置において、
    　前記画面間予測部は、前記符号化ストリームに符号化時の画面間予測モード情報が付与されている場合は指定された予測モードに従い予測画像を生成し、符号化時に予測モードスキップ動作を実行したことを示すスキップフラグが付与されている場合は前記予測モードスキップ動作を実行して予測画像を生成することを特徴とする動画像復号化装置。
  13. 　符号化ストリームを復号化して予測差分とし、画面間予測による予測画像を加算して復号化画像を生成する動画像復号化方法において、
    　前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い予測差分を生成する差分画像復号化ステップと、
    　前記符号化ストリームを復号化するブロックに分割し、参照画像からの画面間予測により予測画像を生成する画面間予測ステップと、
    　前記予測画像と前記予測差分を加算して復号化画像を生成する加算ステップとを備え、
    　前記画面間予測ステップには、復号化済み画像の同位置のブロックの予測モードを基に当該ブロックの予測モードを決定する予測モードスキップ動作を含むことを特徴とする動画像復号化方法。
  14. 　請求項１３に記載の動画像復号化方法において、
    　前記画面間予測ステップでは、前記符号化ストリームに符号化時の画面間予測モード情報が付与されている場合は指定された予測モードに従い予測画像を生成し、符号化時に予測モードスキップ動作を実行したことを示すスキップフラグが付与されている場合は前記予測モードスキップ動作を実行して予測画像を生成することを特徴とする動画像復号化方法。
PCT/JP2009/006355 2008-12-16 2009-11-25 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 Ceased WO2010070818A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010542823A JP5222958B2 (ja) 2008-12-16 2009-11-25 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008319680 2008-12-16
JP2008-319680 2008-12-16

Publications (1)

Publication Number Publication Date
WO2010070818A1 true WO2010070818A1 (ja) 2010-06-24

Family

ID=42268501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006355 Ceased WO2010070818A1 (ja) 2008-12-16 2009-11-25 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法

Country Status (2)

Country Link
JP (1) JP5222958B2 (ja)
WO (1) WO2010070818A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042890A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012081225A1 (ja) * 2010-12-14 2012-06-21 パナソニック株式会社 画像符号化方法、及び画像復号方法
WO2012081246A1 (ja) * 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2012090478A1 (ja) * 2010-12-28 2012-07-05 パナソニック株式会社 動画像符号化方法、および、動画像復号化方法
WO2012096174A1 (en) * 2011-01-13 2012-07-19 Canon Kabushiki Kaisha Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program
WO2012098866A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 動画像符号化方法および動画像復号化方法
JP2015111961A (ja) * 2015-03-27 2015-06-18 株式会社東芝 画像復号方法および画像復号装置
JP2016187140A (ja) * 2015-03-27 2016-10-27 日本電信電話株式会社 ブロックサイズ決定方法、ブロックサイズ決定装置及びブロックサイズ決定プログラム
US9843818B2 (en) 2011-11-08 2017-12-12 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251627A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法及びプログラムを記録した記録媒体
JP2004032355A (ja) * 2002-06-26 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
JP2005244503A (ja) * 2004-02-25 2005-09-08 Sony Corp 画像情報符号化装置および画像情報符号化方法
JP2008017305A (ja) * 2006-07-07 2008-01-24 Canon Inc 画像処理装置及び画像処理方法
JP2008193735A (ja) * 2002-04-19 2008-08-21 Matsushita Electric Ind Co Ltd 画像復号化方法および画像復号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251627A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法及びプログラムを記録した記録媒体
JP2008193735A (ja) * 2002-04-19 2008-08-21 Matsushita Electric Ind Co Ltd 画像復号化方法および画像復号化装置
JP2004032355A (ja) * 2002-06-26 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
JP2005244503A (ja) * 2004-02-25 2005-09-08 Sony Corp 画像情報符号化装置および画像情報符号化方法
JP2008017305A (ja) * 2006-07-07 2008-01-24 Canon Inc 画像処理装置及び画像処理方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
USRE49991E1 (en) 2010-09-29 2024-05-28 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
USRE48726E1 (en) 2010-09-29 2021-09-07 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
USRE47510E1 (en) 2010-09-29 2019-07-09 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
JP2017060179A (ja) * 2010-09-29 2017-03-23 サン パテント トラスト 復号方法、復号装置およびプログラム
US9167264B2 (en) 2010-09-29 2015-10-20 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
JP2015128317A (ja) * 2010-09-29 2015-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法、復号装置およびプログラム
US8965139B2 (en) 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
TWI569628B (zh) * 2010-09-30 2017-02-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, a program product and an integrated circuit
JP2016131379A (ja) * 2010-09-30 2016-07-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法およびシステム
US12309371B2 (en) 2010-09-30 2025-05-20 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US11729389B2 (en) 2010-09-30 2023-08-15 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9288490B2 (en) 2010-09-30 2016-03-15 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
JP5894922B2 (ja) * 2010-09-30 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法、復号装置、およびプログラム
US10038905B2 (en) 2010-09-30 2018-07-31 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US11310500B2 (en) 2010-09-30 2022-04-19 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
WO2012042890A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US10616579B2 (en) 2010-09-30 2020-04-07 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9743087B2 (en) 2010-09-30 2017-08-22 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9749630B2 (en) 2010-09-30 2017-08-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
WO2012081225A1 (ja) * 2010-12-14 2012-06-21 パナソニック株式会社 画像符号化方法、及び画像復号方法
WO2012081246A1 (ja) * 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
US10778969B2 (en) 2010-12-17 2020-09-15 Sun Patent Trust Image coding method and image decoding method
US10986335B2 (en) 2010-12-17 2021-04-20 Sun Patent Trust Image coding method and image decoding method
WO2012090478A1 (ja) * 2010-12-28 2012-07-05 パナソニック株式会社 動画像符号化方法、および、動画像復号化方法
WO2012096174A1 (en) * 2011-01-13 2012-07-19 Canon Kabushiki Kaisha Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program
US9270992B2 (en) 2011-01-13 2016-02-23 Canon Kabushiki Kaisha Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program
WO2012098866A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 動画像符号化方法および動画像復号化方法
US10687072B2 (en) 2011-11-08 2020-06-16 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11375218B2 (en) 2011-11-08 2022-06-28 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11451808B2 (en) 2011-11-08 2022-09-20 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11831891B2 (en) 2011-11-08 2023-11-28 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US9843818B2 (en) 2011-11-08 2017-12-12 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US12177465B2 (en) 2011-11-08 2024-12-24 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10554991B2 (en) 2011-11-08 2020-02-04 Kabushiki Kaisha Toshiba Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
JP2016187140A (ja) * 2015-03-27 2016-10-27 日本電信電話株式会社 ブロックサイズ決定方法、ブロックサイズ決定装置及びブロックサイズ決定プログラム
JP2015111961A (ja) * 2015-03-27 2015-06-18 株式会社東芝 画像復号方法および画像復号装置

Also Published As

Publication number Publication date
JP5222958B2 (ja) 2013-06-26
JPWO2010070818A1 (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
JP5222958B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP5021083B2 (ja) ビットストリーム生成方法
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
JP5400798B2 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
WO2013089129A1 (ja) 画像符号化及び復号方法、装置、プログラム
JP3940657B2 (ja) 動画像符号化方法と装置及び動画像復号化方法と装置
EP2034742A2 (en) Video coding method and device
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
KR20080041972A (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
JP2007251497A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP4964689B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5388977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
JP5750191B2 (ja) 画像復号化方法
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치
WO2012090425A1 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5946980B1 (ja) 画像復号化方法
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JP4561701B2 (ja) 動画像符号化装置
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2018026726A (ja) 符号化装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09833128

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010542823

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09833128

Country of ref document: EP

Kind code of ref document: A1