[go: up one dir, main page]

WO2016136106A1 - 符号化装置及び復号装置 - Google Patents

符号化装置及び復号装置 Download PDF

Info

Publication number
WO2016136106A1
WO2016136106A1 PCT/JP2015/085740 JP2015085740W WO2016136106A1 WO 2016136106 A1 WO2016136106 A1 WO 2016136106A1 JP 2015085740 W JP2015085740 W JP 2015085740W WO 2016136106 A1 WO2016136106 A1 WO 2016136106A1
Authority
WO
WIPO (PCT)
Prior art keywords
square
prediction
unit
block
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/085740
Other languages
English (en)
French (fr)
Inventor
翠 王
圭 河村
内藤　整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to EP15883396.2A priority Critical patent/EP3264771A4/en
Priority to US15/551,739 priority patent/US10462461B2/en
Priority to JP2017501874A priority patent/JP6671339B2/ja
Priority to CN201580076643.7A priority patent/CN107251558B/zh
Publication of WO2016136106A1 publication Critical patent/WO2016136106A1/ja
Anticipated expiration legal-status Critical
Priority to US16/508,849 priority patent/US20190335175A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Definitions

  • the present invention relates to a still image or video encoding apparatus and decoding apparatus that allow encoding of non-square blocks.
  • intra-frame prediction uses a pixel of an adjacent block that has already been encoded / decoded as a reference pixel, and predicts a pixel value in the block in units of square blocks. . After the residual signal between the pixel value and the intra prediction value is orthogonally transformed and quantized, coefficient scanning is applied, entropy coding is performed, and a bit stream is generated.
  • Non-Patent Documents 1 and 3 and Patent Document 1 a non-square block is added to the conventional international standard encoding method, and after the residual signal between the pixel value and the intra prediction value is non-square orthogonal transformed and quantized, We have proposed an approach for entropy coding by rearranging the coefficients into squares and applying coefficient scanning to a conventional square block.
  • Non-Patent Document 2 proposes a direction-adaptive residual transform (Direction-Adaptive-Residual Transform; hereinafter abbreviated as DART as appropriate) based on an intra prediction mode, instead of the conventional separated DCT. .
  • DART Direction-Adaptive-Residual Transform
  • FIG. 1 and 2 are functional block diagrams of an encoding device and a decoding device that perform intra-frame prediction proposed in Non-Patent Document 3, respectively.
  • FIG. 3 and FIG. 4 are diagrams for explaining quadtree division orthogonal transformation used in Non-Patent Document 3 and proposed in Non-Patent Documents 1 and 3.
  • the encoding device 300 has functional units as shown in FIG. 1 and functions as follows.
  • the input of the mode selection unit 301 is an input image to be encoded and a reference pixel stored in the encoded block buffer 343.
  • the mode selection unit 301 determines block division (square or non-square, block size) and a prediction mode based on a rate distortion optimization algorithm.
  • the output of the mode selection unit 301 is a prediction mode in each of the block division type and the divided block (square or non-square block), and includes a mode information buffer 302 and a square (non-square) intra prediction unit 311 (321). Is output.
  • those divided into square blocks as a result of determination by the mode selection unit 301 are output to the square intra prediction unit 311 and are divided into non-square blocks as a result of the determination. It is also output to the non-square intra prediction unit 321.
  • a square intra prediction unit 311, a differentiator 312, a square DCT unit 313, a quantization unit 332, an entropy coding unit 333, an inverse quantization unit 334, a switch 340, a square IDCT unit 351, adder 341, and encoded block buffer 343 are sequentially processed. Processing in the case of the square block is the same as in the case of normal intra prediction of H.264 or H.265.
  • a non-square intra prediction unit 321, a differentiator 322, a non-square DCT unit 323, a squaring unit 324, a quantization unit 332, an entropy coding unit 333, and an inverse quantization unit 334 The switch 340, the non-square unit 350, the non-square IDCT unit 352, the adder 342, and the encoded block buffer 343 are sequentially processed.
  • the quantization unit 332 and the inverse quantization unit 334 between the square unit 324 and the non-square unit 350, and the entropy encoding unit 333 have the same processing as the square block. Made. This is because the non-square block is rearranged into the square block at the location.
  • a non-square block the rearrangement after the processing of the configuration of the square unit 324 and the non-square unit 350 is different in form from the case of the square block, but other processing is in the form of the square block.
  • a square block is processed by the square intra prediction unit 311. If the corresponding process is a non-square block, the non-square intra prediction unit 321 performs the processing.
  • the processing having such a correspondence relationship will be described in parallel by parenthesizing symbols and the like.
  • the input is a prediction mode, an input image, and a reference pixel stored in the encoded block buffer 343.
  • a prediction value by an optimal prediction method is generated.
  • the output of the part 311 (321) is a predicted value, and is output to the differentiator 312 (322) and the adder 341 (342).
  • the differencer 312 (322) obtains a difference between the prediction value output from the same unit 311 (321) and the pixel of the block to which the prediction is applied in the input image to be encoded as a prediction residual, and performs the prediction The residual is output to the square (non-square) DCT unit 313 (323).
  • the input is a prediction residual between the input image output from the differentiator 312 and the predicted value.
  • the output is a coefficient obtained by orthogonal transformation of a two-dimensional square DCT (discrete cosine transform), and is output to the quantization unit 332.
  • the input is a prediction residual between the input image output from the differentiator 322 and the prediction value, and the same unit 323 applies a two-dimensional non-square DCT orthogonal transform.
  • the output is a coefficient obtained by two-dimensional non-square DCT orthogonal transformation, and is output to the squaring unit 324.
  • Equation (1) the processing of the square (non-square) DCT unit 313 (323) can be formally expressed by the following equation (1).
  • B N ⁇ M is the prediction residual of a size N ⁇ M block
  • C N ⁇ M is a DCT transformed coefficient
  • T M and T N are transform bases of size M ⁇ M and N ⁇ N, respectively.
  • the rearranging operation is applied by the square unit 324 to the non-square coefficient block after the non-square orthogonal transform.
  • the orthogonal transform coefficient of the non-square block output from the non-square DCT unit 323 is input as the input of the same unit 324.
  • the rearranged square block of transform coefficients is output to the quantization unit 332.
  • the quantization unit 332 quantizes the transform coefficient. As an input of the same unit 332, a square block coefficient output from the square DCT unit 313 or the square unit 324 is input. As an output, the level value obtained by quantizing the square block coefficient is output to the inverse quantization unit 334 and the entropy coding unit 333.
  • the entropy coding unit 333 entropy codes the level value to generate a bit stream.
  • the level value output from the quantization unit 332 and the mode information stored in the mode information buffer 302 are input.
  • an entropy-encoded bit stream is output. The output is input to the decoding device 400 in FIG.
  • the level value is inversely quantized.
  • the level value output from the quantization unit 332 is input.
  • the coefficient of the square block is output to the switch 340.
  • the switch 340 determines whether or not rearrangement into a non-square is necessary according to the division type for the block stored in the mode information buffer 302.
  • the division type of the block is square, it is determined that rearrangement is unnecessary, and the coefficient of the square block output from the inverse quantization unit 334 is output to the square IDCT unit 351.
  • the division type of the block is non-square, it is determined that rearrangement is necessary, and the coefficient of the square block output from the inverse quantization unit 334 is output to the non-square conversion unit 350.
  • the non-square conversion unit 350 applies the rearrangement operation from square to non-square, and then outputs the non-square block coefficient to the non-square IDCT unit 352.
  • the square IDCT (Inverse Discrete Cosine Transform) unit 351 performs two-dimensional square DCT inverse orthogonal transform.
  • the square block coefficient sent from the switch 340 is input as input to the same unit 351.
  • the reconstructed prediction residual is output to the adder 341.
  • the non-square IDCT unit 352 performs two-dimensional non-square DCT inverse orthogonal transform for non-square blocks. As an input of the part 352, the coefficient of the non-square block output from the non-square unit 350 is input. As an output, the reconstructed prediction residual is output to the adder 342.
  • the prediction residual output from the square (non-square) IDCT unit 351 (352) and the prediction value output from the square (non-square) intra prediction unit 311 (321) are added and re-executed.
  • a configuration signal is obtained and the reconstructed signal is stored in the encoded block buffer 343.
  • the encoding device 300 in FIG. 1 has been described above, and the decoding device 400 in FIG. 2 corresponding to this will be described.
  • the entropy decoding unit 433 in FIG. 2 decodes the division type, the prediction mode, and the level value from the bit stream.
  • the bit stream output from the entropy encoding unit 333 in FIG. As an output, the division type, the prediction mode, and the level value are output to the mode information buffer 402 and the prediction value generation unit 444.
  • the mode information buffer 402 receives the division type and the prediction mode, and outputs them to the predicted value generation unit 444 and the switch 440.
  • the inverse quantization unit 434 performs the same processing as the inverse quantization unit 334 in FIG. 1 on the level value output from the entropy decoding unit 433, and outputs the square block coefficients to the switch 440.
  • the processing of the switch 440, the square IDCT unit 451, the adder 441, the non-squared unit 450, the non-squared IDCT unit 452, the adder 442, and the memory 443 in FIG. 2 is common to the 400 series and the last two digits), the switch 340, the square IDCT unit 351, the adder 341, the non-square unit 350, and the non-square, respectively, responsible for processing on the reconstruction side in FIG. Since this is the same as the processing of the encoding IDCT unit 352, the adder 342, and the encoded block buffer 343, redundant description is omitted. In this way, processing is performed separately depending on whether the division type of the decoded block is square or non-square.
  • the switch 440 outputs the output of the inverse quantization unit 434 to the square IDCT 451, and if it is non-square, the output of the inverse quantization unit 434 is non-square. Is output to the conversion unit 450.
  • the predicted value generation unit 444 generates the predicted value of the block to be sent to the adders 441 and 442. At this time, a predicted value is generated by referring to the decoded pixel stored in the memory 443 in accordance with the prediction mode output from the entropy decoding unit 433. In this way, a prediction value similar to that generated by the square intra prediction unit 311 or the non-square intra prediction unit 321 in FIG.
  • the decoding device 400 in FIG. 2 has been described above. Details of the mode selection unit 301 in FIG. 1 will be described below.
  • 3 and 4 are diagrams for explaining the block division (quadtree division orthogonal transformation) selected by the mode selection unit 301 in the case of horizontal division and vertical division, respectively.
  • each 2N ⁇ hN sub-block is divided into smaller sub-blocks N ⁇ qN as shown in level 2.
  • q 0.25 is divided into four.
  • FIG. 4 shows an example in which the same division as in FIG. 3 is performed in the vertical direction.
  • the division of FIG. 4 reduces the energy of the residual signal when the vertical correlation (correlation between sub-blocks divided in the vertical direction) is high in the 2N ⁇ 2N block.
  • the block division can be expressed by a graph structure (tree structure). By dividing the block into 4 sub-blocks, you can simply express the tree structure.
  • Non-Patent Document 1 and Patent Document 1 have the types listed below under the setting of always dividing into four sub-blocks when sub-block division, By further continuing the division of FIG. 3 and FIG. 4, it is possible to divide into such finer non-square blocks.
  • a predetermined candidate is set as a candidate for a division pattern into non-square blocks as described above. Specifically, as described above, which division and prediction are applied are determined by applying each prediction to each division candidate in the mode selection function unit 301 of the encoding device 300 and performing a series of encodings. The result is determined according to a rate distortion optimization algorithm.
  • FIG. 5 and 6 are diagrams for explaining DART proposed by Non-Patent Document 2.
  • FIG. 5 and 6 are diagrams for explaining DART proposed by Non-Patent Document 2.
  • the N ⁇ N size (square) intra prediction residual signal block has a property that the correlation coefficient is high in the direction of the prediction mode. Then, paying attention to the property, the following two-step one-dimensional DCT is performed.
  • one-dimensional DCT is performed as a primary path in one of horizontal, vertical, and diagonal directions (prediction mode direction).
  • FIG. 5 shows a case where the direction of DCT performed in the primary path (vertical downward is set to 0 ° as a reference) is 0 °, 45 °, and 135 °.
  • the directions 0, 4, and 12 shown in the figure are numbers representing the respective prediction directions.
  • C 0 , C 1 ,..., C M / 2 ,..., C M ⁇ 1, etc., indicated by arrows, are primary paths that are DCT coefficient calculation targets.
  • the square size N M
  • the square size N M / 2.
  • a one-dimensional DCT is further applied as a secondary path to only the DC coefficient output in the first stage.
  • 6 indicate secondary paths corresponding to 0 ° and 45 ° in FIG. 5, respectively.
  • M DC components C 0 0 , C 0 1 in the primary paths C 0 , C 1 ,..., C M ⁇ 1 at 0 ° in FIG. , ..., C 0 M-1 constitutes the secondary path S.
  • the primary path C 0 of 45 ° in Fig. 5, C 1, ..., C M / 2, ..., C M-1 M -number of the DC component C 0 1 in , ..., C 0 M / 2 , ..., C 0 M-1 constitutes the secondary path S.
  • the coefficients of the two-dimensional orthogonal transform by DART are one DC coefficient and N 2 ⁇ 1 AC coefficients.
  • the AC coefficient of the primary path output is not subject to DCT in the secondary path.
  • the DART method is effective when the direction of the block correlation is high and the direction of the DCT performed in the primary path is the same.
  • DART proposed in Non-Patent Document 2 uses diagonal DCT, DCT always occurs for blocks with a small number of pixels, as in (1) above, resulting in reduced energy compaction performance and coding efficiency. There is a problem that decreases.
  • the primary path C M / 2 corresponding to the center is composed of N pixels (N is a block size) and a large number of pixels. It will decrease.
  • the primary paths C 0 and C M-1 at both ends have one pixel, and energy compaction performance cannot be expected.
  • the encoding device includes: a mode selection unit that determines a block division type and an intra prediction mode in each divided block from an input image to be encoded and encoded pixels; Square intra prediction means for obtaining a prediction value by applying square intra prediction when the determined block is square, and non-square intra prediction for obtaining a prediction value by applying non-square intra prediction when the determined block is non-square Means for obtaining a prediction residual which is a difference between the prediction value and the corresponding input image to be encoded, and a square for rearranging the prediction residual when the determined block is non-square into a square And applying an orthogonal transformation to the prediction residuals rearranged into the squares or the prediction residuals when the determined block is a square.
  • Transform means for obtaining a coefficient; quantization means for quantizing the transform coefficient to obtain a level value; and entropy code for encoding the level value, the determined block division type, and an intra prediction mode in each divided block.
  • the inverse quantization / inverse transform means for obtaining a reconstructed prediction residual by inverse quantization and inverse transform of the level value, and the reconstructed prediction residual block corresponds to a non-square.
  • a non-squared means for reordering into a non-square, and the prediction into a reconstructed prediction residual reordered into the non-square or a reconstructed prediction residual when the determined block is square
  • the decoding apparatus decodes the encoded bitstream, and decodes the block division type, the intra prediction mode in each divided block, and the level value of each block.
  • Inverse quantization / inverse transform means for obtaining a prediction residual decoded by inverse transform, and the decoded block division type indicating that the decoded prediction residual is for a non-square
  • a non-square unit for rearranging the prediction residual from a square to a non-square, and the decoded block division type is decoded.
  • FIG. 7 is a functional block diagram of an encoding apparatus according to an embodiment.
  • Encoding apparatus 100 mode selection unit 101, mode information buffer 102, square intra prediction unit 111, non-square intra prediction unit 121, differentiators 112, 122, squaring unit 123, transform unit 131, quantization unit 132, entropy coding Unit 132, an inverse quantization / inverse transform unit 134, a switch 140, a non-square unit 135, adders 141 and 142, and an encoded block buffer 143.
  • the encoding device 100 in FIG. 7 has a name corresponding to each part, and as a large framework for encoding, a square block and a non-square block are similar to the encoding device 300 in FIG. Is selectively handled and encoded.
  • the following measures are taken particularly in the coding apparatus 100.
  • the non-square intra-prediction unit 121 obtains the prediction value, sets the prediction residual by the differencer 122, and then the square unit 123 uses the same direction as the prediction mode for the non-square block.
  • the square unit 123 uses the same direction as the prediction mode for the non-square block.
  • the object subjected to DCT in the conversion unit 131 is a rearranged square block, and DCT for a block having a small number of pixels can be avoided. Furthermore, when rearranging to perform the DCT, it is possible to improve coding efficiency by performing rearrangement in consideration of the prediction direction applied to the original non-square block.
  • each unit of the encoding device 100 in FIG. 7 will be described.
  • parentheses are used for descriptions of processing and function units corresponding to a square block and a non-square block. Will be described in parallel as appropriate.
  • the mode selection unit 101 has the same function as that of the mode selection unit 301 in FIG. 1 (however, a specific encoding method in the case of a non-square block is different as described below) Using the input image and the reconstructed reference pixels stored in the encoded block buffer 143 as input, the block division type (square or non-square, block size) applied to the encoding target block and prediction for each divided block The mode is output to the mode information buffer 102.
  • the mode selection unit 301 in FIG. 1 has been described using four divisions, but any division method can be used, such as division into two. That is, the number of pixels in one final block that can be divided may be (2n) 2 (where n is an integer), that is, an even square.
  • the output block division type and prediction mode can be determined based on a rate distortion optimization algorithm.
  • the mode information buffer 102 stores information on the block division type and each prediction mode to be applied, and the signal separation according to the information is performed in the switch 140 (separation according to case division between a square block and a non-square block) And is provided to the entropy encoding unit 133 to encode the information.
  • the pixel of the block is input to the square intra prediction 111.
  • the pixel of the block is input to the non-square intra prediction unit 121.
  • the square intra prediction 111 (non-square intra-prediction unit 121) is a block that has been encoded according to the intra-prediction mode output from the mode selection unit 101 for the pixels of the square block (non-square block) input as described above.
  • the reconstructed pixel in the buffer 143 is referred to, and the predicted value is obtained and output to the difference unit 112 (difference unit 122).
  • the subtractor 112 obtains the difference between the prediction signal input from the square intra prediction unit 111 (non-square intra prediction unit 121) and the input pixel of the current block to be encoded as a prediction residual. , Output to the conversion unit 131 (squaring unit 123).
  • the squaring unit 123 rearranges the prediction residuals arranged as the non-square blocks into the prediction residuals as square blocks, and outputs them to the conversion unit 131. Details of the square unit 123 will be described later.
  • the transform unit 131 performs orthogonal transform on the prediction residual in the square block format output from the differentiator 112 or the squarer 123, and outputs the transform coefficient to the quantizer 132.
  • the normal transform type DCT may be used for the orthogonal transform, and the prediction residual in the square block format output by the squaring unit 123 is described in detail in the above-described non-patent document. 2 DART may be applied.
  • the quantization unit 132 quantizes the transform coefficient output from the transform unit 131 to obtain a level value, and outputs the level value to the entropy coding unit 133 and the inverse quantization / inverse transform unit 134.
  • the entropy encoding unit 133 performs entropy on the level value output from the quantization unit 132 and the block division type information and prediction mode information applied to the current block to be encoded stored in the mode information buffer 102. Encode and output a bitstream.
  • the output bit stream is input to the entropy decoding unit 233 of the decoding device 200 in FIG.
  • the inverse quantization / inverse transform unit 134 performs the inverse quantization process (inverse quantization) of the quantization unit 132 on the level value output from the quantization unit 132 to obtain a transform coefficient. Further, the transform coefficient Then, the inverse processing (inverse conversion) of the conversion unit 131 is performed to obtain the prediction residuals arranged in the square block format, and the result is output to the switch 140.
  • the switch 140 refers to the mode information buffer 102 and the prediction residual output by the inverse quantization / inverse transform unit 134 is via the square intra prediction unit 111 (corresponding to a square block from the beginning).
  • the non-square unit 135 rearranges the prediction residuals in the square block format output from the switch 140 into the original non-square block format, and outputs the result to the adder 142. Note that the rearrangement is performed by the non-square unit 135 by the square unit 123 by rearranging according to the block division type information held in the mode information buffer 102, as the switch 140 refers to. Reverse processing is performed.
  • the adder 141 adds the prediction residual output from the switch 140 (non-square conversion unit 135) and the prediction value output from the square intra prediction unit 111 (non-square intra prediction unit 121). Thus, the reconstructed signal of the block is obtained, and the reconstructed signal is output to the encoded block buffer 143.
  • the encoded block buffer 143 holds the reconstructed signal and provides it for reference in the mode selection unit 101, the square intra prediction unit 111, and the non-square intra prediction unit 121.
  • FIG. 8 is a functional block diagram of the decoding device 200 according to an embodiment.
  • the decoding apparatus 200 includes an entropy decoding unit 233, a mode information buffer 202, an inverse quantization / inverse conversion unit 234, a switch 240, a non-square conversion unit 235, adders 241, 242, a memory 243, and a predicted value generation unit 244.
  • the decoding apparatus 200 performs a process generally corresponding to the reconstruction process of the encoding apparatus 100 in FIG. 7 and sequentially decodes the encoded bitstream. Each part is as follows.
  • the entropy decoding unit 233 performs entropy decoding on the bit stream output from the entropy encoding unit 133 in FIG. 7 to obtain information on the block division type and prediction mode in the decoding target block and a level value.
  • the decoded block division type and prediction mode information is output to and held in the mode information buffer 202, and output to the prediction value generation unit 244, and the level value is output to the inverse quantization / inverse conversion unit 234. Is done.
  • the inverse quantization / inverse transform unit 234 performs the same process as the inverse quantization / inverse transform unit 134 in FIG. 7, thereby dequantizing the level value to obtain a transform coefficient and inverse transforming the transform coefficient to obtain a square Predictive residuals arranged in block format and output to switch 240.
  • the switch 240 performs the same processing as the switch 140 of FIG. 7 and refers to the information on the block division type in the decoding target block held in the mode information buffer 202. If the block is a square, the inverse quantization / inverse processing is performed. The prediction residual output from the conversion unit 234 is output to the adder 241. If the block is non-square, the prediction residual is output to the non-square conversion unit 235.
  • the non-square unit 235 performs the same processing as the non-square unit 135 of FIG. 7 and initially generates the prediction residuals arranged in the square block format according to the information of the non-square block held in the mode information buffer 202. Are rearranged into the non-square block format and output to the adder 242.
  • the adder 241 adds the prediction residual output from the switch 240 (non-square unit 235) and the prediction value generated by the prediction value generation unit 244 corresponding to the prediction residual. As a result, a decoded signal of the block is obtained and output to the memory 243 for storage.
  • the memory 243 outputs the decoded signal as an output image and provides it for reference from the predicted value generation unit 244.
  • the prediction value generation unit 244 generates a prediction value of the decoding target block by referring to the decoded pixel of the memory 243 according to the prediction mode information stored in the mode information buffer 202 (or decoded by the entropy decoding unit 233).
  • the prediction value is output to the adder 241.
  • the prediction value is output to the adder 242.
  • the non-square unit 123 can rearrange to square according to a predetermined rule according to the size (N ⁇ M) of the non-square block.
  • the predetermined rule may be in accordance with the prediction direction in the prediction mode applied by the non-square intra prediction unit 121 to the non-square block.
  • the predetermined rule for the rearrangement is determined according to the size of the non-square block and the prediction mode, so that it is possible to eliminate the necessity of encoding the rearrangement information by the entropy encoding unit 133. . That is, in the non-square unit 235 of the decoding device 200 in FIG. 8, information on a method for uniquely rearranging from a square to a non-square according to the decoded non-square block size information and the prediction mode information. Since it can be specified, the reordering information need not be encoded. However, also in the decoding apparatus 200, it is necessary to hold in advance information on a predetermined rule for rearrangement according to the size of the non-square block and the prediction mode.
  • FIG. 9 is a diagram illustrating an example of rearrangement according to the prediction direction.
  • the prediction directions 9A to 9H in FIG. 9 indicate the respective prediction directions when the size of the non-square block is 2 ⁇ 8 in the horizontal direction, and the one-dimensional scan order for rearrangement is indicated as S1 to S16.
  • reference numeral 9I in FIG. 9 indicates the order of rearranging into squares of size 4 ⁇ 4 according to the scan orders S1 to S16 shown in the prediction directions 9A to 9H, respectively.
  • the sorting is performed in various predetermined sorts depending on the size of the non-square block (for example, “32 ⁇ 8 ⁇ 16 ⁇ 16”, “32 ⁇ 2 ⁇ 8 ⁇ 8”, “8 ⁇ 2 ⁇ 4 ⁇ 4 ”and the like) need to be set, but the predetermined order can be set according to the same policy as the example of FIG. 9 (and FIGS. 10 and 11 described later).
  • FIG. 9 shows an example in the case of eight types of prediction directions.
  • the predetermined order may be set according to the same policy. And you may make it represent in the nearest direction among the eight types illustrated. For example, if the prediction direction is 5 ° or 10 °, the vertical (0 °) of the prediction direction 9B in FIG. 9 is the closest direction, so that the rearrangement in the prediction direction 9B is applied. You can do it.
  • the one-dimensional scan order matches the prediction direction or is as close to the prediction direction as possible, unit scan (reflecting the prediction direction) It is preferable that the unit scanning is repeated in the non-square block.
  • the unit scan is as shown in gray notation at each pixel position of size 2 ⁇ 8 in FIG.
  • the grid point (integer) coordinates specifying the pixel position of the horizontal 2 ⁇ vertical 8 non-square block in FIG. Let's use coordinates with (1, 7) as. (The coordinates are also used in FIG. 10 described later.)
  • the prediction direction 9B the prediction direction is vertical (0 °)
  • the gray unit scan is “S1 ⁇ S2 ⁇ ... S8”
  • the displacement ( ⁇ x, ⁇ y) (0, +7) is vertical (0 It corresponds to the direction of °).
  • the unit scan is gray “S3 ⁇ S4 ⁇ S5 ⁇ S6”, etc., and the direction D3 substantially coincides with the prediction direction 22.5 ° as shown in the figure. have.
  • the scans S1, S2 and S15, S16 correspond to the remaining portions at both ends in order to provide the repetitive configuration of the unit scan.
  • the scans S1 and S16 correspond to the remaining portions at both ends.
  • S4, S8, etc. in the middle of the unit scan correspond to a midway passing portion for providing a repetitive configuration of the unit scan.
  • the unit scan is gray “S1 ⁇ S2 ⁇ S3” or similar “S5 ⁇ S6 ⁇ S7”, etc.
  • one-dimensional scanning is performed in a predetermined scanning order S1 to S16 corresponding to each prediction direction as shown in FIG. 9, and scanning is performed in the horizontal direction four times in accordance with the order as shown by reference numeral 9I and arranged in a square. Can be replaced.
  • the first-stage primary path may be applied in the horizontal direction
  • the second-stage secondary path may be applied in the vertical direction.
  • the primary path is the horizontal direction and the secondary path is the vertical direction.
  • the arrangement may be rearranged into squares by repeating the arrangement in the vertical direction as many times as in the horizontal direction, but in this case, the primary path may be the vertical direction and the secondary path may be the horizontal direction.
  • the interlace scan method (vertical direction) is used. Alternate scan) may be applied.
  • FIG. 10 is a diagram illustrating the applied alternate scan in the vertical direction, and the scans of the portions B1 to B4 of the same size 2 ⁇ 8 may be applied to each of the four divided blocks of 2 ⁇ 8 size.
  • scanning is applied to the entire 8 ⁇ 8 square block shown. For example, there are locations (2, 0) and (2, 1) that are ⁇ flying '' in B2 in the middle of block B1, but the locations (2, 0) and (2, 1) of B2 are scanned in that order. That's fine. That is, the entire B1 is not continuously scanned.
  • a scanning method for interlace which is a well-known method (Horizontal alternate scan) may be applied.
  • FIG. 11 is a diagram showing the horizontal alternate scan to be applied, and the scans of the portions B11 to B14 of the same size 2 ⁇ 8 may be applied to each of the four divided blocks of 2 ⁇ 8 size. At this time, the scan is applied to the entire 8 ⁇ 8 square block shown in the same manner as described with reference to FIG.
  • the following may be performed. That is, in FIG. 9, after one-dimensionally arranging S1 to S16 in the scan order corresponding to each prediction direction, it is arranged in a square as shown by reference numeral 9I regardless of the prediction direction. Instead, rearrangement according to the prediction direction may be applied also when arranging in a square.
  • rearrangement may be applied so that each side of the square (lateral side in the example of reference numeral 9I) starts at the start of the unit scan.
  • a predetermined rule according to the following criteria may be used.
  • start location the start location of each side of the square (the minimum location of the value in the horizontal direction x in the image coordinates (x, y) is referred to as “start location”.
  • the number of (1) is as many as possible and matches the start position of the unit scan, and the arrangement of the one-dimensional scans S1 to S16 is not changed as much as possible (when the raster scan is applied to the rearranged squares) , So that the replacement from the arrangement S1 to S16 is as small as possible).
  • the energy compaction performance during orthogonal transformation can be improved by matching the start point of each side of the square as many as possible with the start point of the unit scan.
  • Efficiency can be improved. This is because the unit scan is configured as an arrangement that matches or is close to the prediction direction.
  • FIG. 12 shows an example of another embodiment of rearranging to a square as an example according to the standard.
  • the horizontal direction of the square is “S3, S4, S5, S6” or the like that is a unit scan.
  • An example of rearranging so that the sides of the file start is shown. That is, the first to third lines of the square (the horizontal side is “row”) are configured as unit scans “S3 to S6”, “S7 to S10”, “S11 to S14”, and the fourth line Is composed of “S15, S16” following the third line and “S1, S2” corresponding to the “remaining portion” described above.
  • the energy compaction performance of the orthogonally transformed coefficients is improved by introducing the operation of rearranging from non-square to square based on the correlation of the prediction residual signal before orthogonal transformation. Encoding efficiency can be improved.
  • processing after orthogonal transformation can be shared by square blocks / non-square blocks, so that the processing can be speeded up.
  • the present invention can be applied to encoding and decoding of an image (a still image or an image in a video (moving image)).
  • the present invention can also be provided as a program that causes a computer to function as all or any part of the encoding device 100 and / or the decoding device 200.
  • the computer can adopt a known hardware configuration such as a CPU (Central Processing Unit), a memory, and various I / Fs, and the CPU functions as a function of each unit of the encoding device 100 and / or the decoding device 200. The corresponding instruction will be executed.
  • CPU Central Processing Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化装置は、ブロック分割種別及びイントラ予測モードを決定する手段と、決定されたブロックが非正方形の場合に非正方形イントラ予測を適用し予測値を求める段と、予測値と、対応する符号化対象の入力画像との差分である予測残差を求める手段と、決定されたブロックが非正方形の場合の予測残差を正方形に並び替える手段と、正方形に並び替えられた予測残差に直交変換を適用して変換係数を求める手段と、変換係数を量子化してレベル値を求める手段と、レベル値、ブロック分割種別及びイントラ予測モードを符号化する手段と、レベル値を逆量子化及び逆変換して再構成された予測残差を求める手段と、再構成された予測残差のブロックが非正方形に対応する場合に非正方形に並び替える手段と、非正方形に並び替えられた予測残差に予測値を加算することで符号化済み画素を再構成する手段と、を備えている。

Description

符号化装置及び復号装置
　本発明は、非正方形ブロックの符号化を許容する、静止画像又は映像の符号化装置及び復号装置に関する。
　H.264やH.265に代表される映像符号化方式においてフレーム内予測は、すでに符号化・復号された隣接ブロックの画素を参照画素として、正方形ブロック単位に当該ブロック内の画素値を予測する。画素値とイントラ予測値との残差信号を直交変換・量子化した後、係数スキャンを適用し、エントロピー符号化を行い、ビットストリームを生成する。
　非特許文献１，３や特許文献１では、従来の国際標準符号化方式に非正方形ブロックを追加し、画素値とイントラ予測値との残差信号を非正方形直交変換・量子化した後、その係数を正方形に並び替え、従来の正方形ブロックに対する係数スキャンを適用し、エントロピー符号化するアプローチを提案している。
　また、非特許文献２では、従来の分離型DCTの代わりに、イントラ予測モードに基づく方向適応型残差変換（Direction-Adaptive Residual Transform；以下にて適宜、DARTと略称する）が提案されている。
国際公開2013／063245号
Yuan Yuan, Xiaozhen Zheng, Lingzhi Liu, Xiaoran Cao and Yun He, "Non-Square Quadtree Transform Structure for HEVC", 2012 Picture Coding Symposium, May 7-9, 2012, Krakow, Poland. Robert A. Cohen, Sven Klomp, Anthony Vetro, and Huifang Sun, "DIRECTION-ADAPTIVE TRANSFORMS FOR CODING PREDICTION RESIDUALS", IEEE International Conference on Image Processing 2010 (ICIP 2010). Xiaoran Cao, Xiulian Peng, Changcai Lai, Yunfei Wang, Yongbing Lin, Jizheng Xu, Lingzhi Liu, Jianhua Zheng, Yun He, Haoping Yu and Feng Wu, "CE6.b Report on Short Distance Intra Prediction Method", Doc. JCT-VC D299, 4th Meeting: Daegu, KR, 20-28 January, 2011.
　以下、当該従来技術の概要を、非正方形ブロックを扱う従来技術に関して図１～４を参照して、またDARTに関して図５，６を参照して、それぞれ説明する。
　図１及び図２はそれぞれ、非特許文献３で提案されたフレーム内予測を行う符号化装置及び復号装置の機能ブロック図である。図３及び図４は共に、当該非特許文献３において利用され、非特許文献１，３で提案されている四分木分割直交変換を説明するための図である。
　符号化装置300は図１に示すような各機能部を有し、それぞれ以下のように機能する。
　モード選択部301の入力は、符号化対象の入力画像と符号化済みブロックバッファ343で保存された参照画素である。モード選択部301では、ブロック分割（正方形か非正方形、ブロックサイズ）と予測モードをレート歪最適化アルゴリズムに基づき決定する。モード選択部301の出力は、ブロックの分割種別と当該分割されたブロック（正方形又は非正方形ブロック）の各々における予測モードであり、モード情報バッファ302及び正方形（非正方形）イントラ予測部311（321）へと出力される。
　また、入力画像を構成する画素のうち、モード選択部301による決定の結果、正方形ブロックへと分割されたものは正方形イントラ予測部311に出力され、当該決定の結果、非正方形ブロックへと分割されたのもは非正方形イントラ予測部321へと出力される。
　こうして、図１に示すように、従来技術においては正方形ブロックと非正方形ブロックとで場合分けして処理がなされることで、非正方形ブロックを扱うことを可能とし、符号化効率の向上を図っている。スイッチ340は当該場合分けに応じて正方形／非正方形の画素信号を切り替えている。
　すなわち、図示するように、正方形ブロックの場合、正方形イントラ予測部311、差分器312、正方形DCT部313、量子化部332、エントロピー符号化部333、逆量子化部334、スイッチ340、正方形IDCT部351、加算器341、符号化済みブロックバッファ343において順次、処理がなされる。当該正方形ブロックの場合の処理は、H.264やH.265の通常のイントラ予測の場合と同様である。
　また図示するように、非正方形ブロックの場合、非正方形イントラ予測部321、差分器322、非正方形DCT部323、正方形化部324、量子化部332、エントロピー符号化部333、逆量子化部334、スイッチ340、非正方形化部350、非正方形IDCT部352、加算器342、符号化済みブロックバッファ343において順次、処理がなされる。
　従って、非正方形ブロックの場合も、正方形化部324及び非正方形化部350の間にある量子化部332及び逆量子化部334、また、エントロピー符号化部333に関しては正方形ブロックと共通の処理がなされる。当該箇所では非正方形ブロックが正方形ブロックに並び替えられているからである。
　また、非正方形ブロックの場合、正方形化部324及び非正方形化部350という構成の処理を経て並び替えられることが正方形ブロックの場合と形式上異なるが、それ以外の処理は形式上、正方形ブロックの場合と並列に対応する関係にある。例えば、正方形ブロックは正方形イントラ予測部311で処理され、対応する処理が非正方形ブロックの場合においては非正方形イントラ予測部321でなされる。以下、このような対応関係にある処理に関しては括弧で符号その他を併記することにより、並列的に説明する。
　正方形（非正方形）イントラ予測部311（321）において、入力は予測モードと入力画像と符号化済みブロックバッファ343で保存された参照画素である。正方形（非正方形）ブロックを対象としたレート歪最適化アルゴリズムに基づき、最適な予測方法による予測値を生成する。同部311（321）の出力は予測値であり、差分器312（322）及び加算器341（342）へ出力される。
　差分器312（322）では同部311（321）の出力した予測値と、符号化対象の入力画像のうち当該予測の適用されたブロックの画素との差分を予測残差として求めて、当該予測残差を正方形（非正方形）DCT部313（323）へと出力する。
　正方形DCT部313として、入力は差分器312の出力した入力画像と予測値との予測残差である。出力は2次元正方形DCT（離散コサイン変換）直交変換された係数であり、量子化部332へ出力される。
　非正方形DCT部323として、入力は差分器322の出力した入力画像と予測値との予測残差であり、同部323にて2次元非正方形DCT直交変換を適用する。出力は2次元非正方形DCT直交変換された係数であり、正方形化部324へと出力される。
　なお、正方形（非正方形）DCT部313（323）の処理は形式的には、以下の式（1）で統一的に表すことができる。BN×MがサイズN×Mブロックの予測残差であり、CN×MがDCT変換された係数であり、TM及びTNがそれぞれサイズM×M及びN×Nの変換基底である。式(1)にて正方形DCTはN=Mの場合である。それ以外の場合（N≠Mの場合）、式(1)は非正方形DCTの処理を表す。
　CN×M = TM × BN×M × TN T   (1)
　非正方形の直交変換係数にも従来の量子化テーブルを使えるようにすべく、非正方形直交変換した後の非正方形係数ブロックに正方形化部324でその並び替え操作を適用する。こうして、同部324の入力として、非正方形DCT部323の出力した非正方形ブロックの直交変換係数を入力する。出力として、並び替えられた変換係数の正方形ブロックを量子化部332へと出力する。
　ここで、次のような課題がある。すなわち、直交変換した後で正方形に並び替えているので、直交変換係数のエネルギーコンパクション性能に改善の余地がある。
　量子化部332では、変換係数を量子化する。同部332の入力として、正方形DCT部313又は正方形化部324の出力した正方形ブロックの係数を入力する。出力として、当該正方形ブロック係数が量子化されたレベル値を逆量子化部334及びエントロピー符号化部333へと出力する。
　エントロピー符号化部333では、レベル値をエントロピー符号化し、ビットストリームを生成する。同部の入力として、量子化部332の出力したレベル値とモード情報バッファ302で保存されたモード情報を入力する。出力として、エントロピー符号化されたビットストリームを出力する。当該出力は図２の復号装置400の入力となる。
　逆量子化部334では、レベル値を逆量子化する。同部334の入力として、量子化部332の出力したレベル値を入力する。出力として、正方形ブロックの係数をスイッチ340へと出力する。
　スイッチ340では、モード情報バッファ302で保存された当該ブロックに対する分割種別により、非正方形に並び替えが必要かどうかを判断する。当該ブロックの分割種別が正方形である場合、並び替えは不要と判断し、逆量子化部334の出力した正方形ブロックの係数を正方形IDCT部351へと出力する。一方、当該ブロックの分割種別が非正方形である場合、並び替え必要と判断し、逆量子化部334の出力した正方形ブロックの係数を非正方形化部350へと出力する。
　非正方形化部350では、正方形から非正方形への並べ替え操作を適用してから、当該非正方形ブロック係数を非正方形IDCT部352へと出力する。
　正方形IDCT（逆離散コサイン変換）部351では、2次元正方形DCT逆直交変換を行う。同部351の入力として、スイッチ340より送られた正方形ブロックの係数を入力する。出力として、再構成された予測残差を加算器341へと出力する。
　非正方形IDCT部352では、非正方形ブロックを対象として2次元非正方形DCT逆直交変換を行う。同部352の入力として、非正方形化部350の出力した非正方形ブロックの係数を入力する。出力として、再構成された予測残差を加算器342へと出力する。
　加算器341（342）では、正方形（非正方形）IDCT部351（352）の出力した予測残差と、正方形（非正方形）イントラ予測部311（321）の出力した予測値と、を加えて再構成信号を得て、当該再構成信号を符号化済みブロックバッファ343へと保存する。
　以上、図１の符号化装置300を説明したので、これに対応する図２の復号装置400を説明する。
　図２のエントロピー復号部433では、ビットストリームから、分割種別と予測モードとレベル値を復号する。同部433の入力として、図１のエントロピー符号化部333の出力したビットストリームを入力する。出力として、分割種別と予測モードとレベル値をモード情報バッファ402及び予測値生成部444へと出力する。
　モード情報バッファ402は分割種別と予測モードとを入力し、予測値生成部444及びスイッチ440へと出力する。
　逆量子化部434は、図１の逆量子化部334と同様の処理を、エントロピー復号部433の出力したレベル値に対して行い、正方形ブロックの係数をスイッチ440へと出力する。
　図２のスイッチ440、正方形IDCT部451、加算器441、非正方形化部450、非正方形化IDCT部452、加算器442、メモリ443の処理については、対応する符号（図１では300番台、図２では400番台、下2桁は共通）を付しているように、それぞれ図１の再構成側の処理を担うスイッチ340、正方形IDCT部351、加算器341、非正方形化部350、非正方形化IDCT部352、加算器342、符号化済みブロックバッファ343の処理と共通であるため、重複する説明は省略する。こうして、復号されたブロックの分割種別が正方形か非正方形かで場合分けして処理がなされる。
　すなわち、モード情報バッファ402で当該ブロックの分割種別が正方形であればスイッチ440は逆量子化部434の出力を正方形IDCT451へと出力し、非正方形であれば逆量子化部434の出力を非正方形化部450へと出力する。
　また、符号化装置の側と異なる構成として、加算器441,442へと送る当該ブロックの予測値を、予測値生成部444が生成する。この際、エントロピー復号部433の出力した予測モードに従い、メモリ443に保存された復号画素を参照することで、予測値を生成する。こうして、図１の正方形イントラ予測部311又は非正方形イントラ予測部321が生成したのと同様の予測値が、予測値生成部444により生成される。
　以上、図２の復号装置400を説明した。以下、図１のモード選択部301の詳細を説明する。
　図３及び図４は、モード選択部301で選択されるブロック分割（四分木分割直交変換）をそれぞれ水平分割の場合と垂直分割の場合につき説明するための図である。
　図３の水平方向の分割方法では、レベル0で2N×2Nのブロックにおいて水平方向の相関性（水平方向に分割するサブブロック間の相関性）が高ければ、水平方向へ非正方形ブロックに分割すると、残差信号のエネルギーが小さくなる。このため、レベル1に示すように、複数の非正方形2N×hNブロックに分割する。レベル１ではh=0.5で4つに分割される例が示されている。更に、より細かい模様（Texture）を含んでいれば、レベル2に示すように各2N×hNサブブロックをより小さいサブブロックN×qNに分割する。レベル２ではq=0.25で4つに分割される例が示されている。
　図３と同様の分割を、垂直方向に実施する例が図４に示されている。図４の分割は、2N×2Nのブロックにおいて垂直方向の相関性（垂直方向に分割するサブブロック間の相関性）が高い場合に、残差信号のエネルギーを小さくする。
　なお、図３や図４に示すような4分割の他にも、種々の所定サイズへの分割が可能であり、当該ブロック分割はグラフ構造（木構造）で表現することができるが、非正方形ブロックに分割する時に、必ず4つのサブブロックに分けると決めておくことで、簡素に木構造を表現できる。
　例えば、非特許文献１や特許文献１に開示されている非正方形ブロックサイズは、サブブロック分割する際は必ず4つのサブブロックに分ける設定のもと、以下に列挙する種類が示されており、図３や図４の分割をさらに継続することでこのようなさらに細かい非正方形ブロックへと分割することもできる。
（非正方形ブロックサイズの例）
　32x8, 8x32, 32x2, 2x32, 16x4, 4x16, 16x1, 1x16, 8x2, 2x8
　なお、以上のような非正方形ブロックへの分割パターンの候補は所定候補を設定しておく。具体的にどの分割及び予測が適用されるかは、前述したように、符号化装置300のモード選択機能部301において各分割候補に各予測を適用して符号化を試みたうえで、一連の結果の中からレート歪最適化アルゴリズムに従って決定される。
　図５，６は、非特許文献２の提案するDARTを説明するための図である。
　具体的には、DARTでは、次の性質に注目する。すなわち、N×Nサイズ（正方形）のイントラ予測残差信号ブロックは予測モードの方向にも相関係数が高いという性質である。そして、当該性質に注目して次のような２段階の1次元DCTを行う。
　第１段階として、プライマリパスとして水平、垂直、斜めのうちのひとつの方向（予測モードの方向）で1次元DCTを行う。図５は、当該プライマリパスで行うDCTの方向（垂直下方を基準0°とする）が0°、45°、135°である場合を示している。図中記している方向0,4,12はそれぞれの予測方向を表す数である。それぞれ矢印で示すC0, C1, ..., CM/2, ...,CM-1等がDCT係数の算出対象となるプライマリパスである。なお、ＤＣＴの方向が０°の場合には、正方形サイズN=Mであり、ＤＣＴの方向が４５°及び１３５°の場合には、正方形サイズN=M/2である。
　第２段階として、上記の第１段階で出力されたDC係数のみに対してセカンダリパスとしてさらに1次元DCTを適用する。図６の０°及び４５°は、それぞれ、図５の０°及び４５°に対応するセカンダリパスを示している。図６の０°では、図５の０°のプライマリパスC0, C1 , ...,CM-1におけるM個のDC成分C0 0, C0 1  , ...,C0 M-1がセカンダリパスSを構成している。図６の４５°では、図５の４５°のプライマリパスC0, C1, ..., CM/2, ...,CM-1におけるM個のDC成分C0 1  , ..., C0 M/2  , ...,C0 M-1がセカンダリパスSを構成している。
　以上の第１段階及び第２段階の結果、DARTによりN×Nブロックにおいて、出力される係数の種類と個数は以下のようになる。
　・1つのDC係数（セカンダリパスの出力）
　・プライマリパスとセカンダリパスそれぞれの出力AC係数
　従って、形式上は従来の分離型DCTと同じように、DARTによる2次元直交変換の係数は、１個のDC係数とN2-1個のAC係数となる。しかしながら、上記のようにAC係数の種類が二つに分けている。ここで、プライマリパス出力のAC係数は、セカンダリパスにおけるDCTの対象外である。
　以上、DARTの手法は、ブロックの相関性が高い方向とプライマリパスで行うDCTとの方向が同じ時に、有効であると一般的に言われている。
　以上、各種の従来技術を説明したが、これらには次のような課題がある。
　まず、H.264やH.265に代表される映像符号化方式では、参照画素と符号化対象画素との距離が、正方形のブロックサイズが大きくなるにつれて長くなり相関も低下するため、予測性能が低下し、符号化性能も低下するという課題がある。
　また、非正方形ブロックの場合を許容することで上記のような相関低下に対応した図１，２の方式では、以下(1),(2)の課題がある。
　（1）非正方形の分離型直交変換を用いているため、非正方形ブロックにおける水平と垂直のいずれか方向で、少ない画素数のブロックに対してDCTが適用されてしまう。その結果、画素数の少ない方向（非正方形ブロックの長辺及び短辺のうち短辺の方向）においてエネルギーコンパクション性能（DC成分や低周波数成分へとエネルギーを集中させる性能）が低下し、符号化効率が低下する。
　(2）分離型直交変換は、フレーム内残差信号の方向性を利用していないため、エネルギーコンパクション性能が低くなる。
　さらに、非特許文献２の提案するDARTは斜め方向DCTを使うため、やはり上記の(1)と同様、少ない画素数のブロックに対してDCTが必ず生じ、エネルギーコンパクション性能が低下し、符号化効率が低下するという課題がある。
　例えば図５の45°の場合であれば、中央に相当するプライマリパスCM/2はN個（Nはブロックサイズ）と多くの画素数で構成されているが、端に近づくほど画素数が少なくなってしまう。特に、両端におけるプライマリパスC0, CM-1は画素数が1であり、エネルギーコンパクション性能が望めない。
　本発明の一側面によると、符号化装置は、符号化対象の入力画像と符号化済み画素とから、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを決定するモード選択手段と、前記決定されたブロックが正方形の場合に正方形イントラ予測を適用し予測値を求める正方形イントラ予測手段と、前記決定されたブロックが非正方形の場合に非正方形イントラ予測を適用し予測値を求める非正方形イントラ予測手段と、前記予測値と、対応する符号化対象の入力画像との差分である予測残差を求める差分手段と、前記決定されたブロックが非正方形の場合の予測残差を正方形に並び替える正方形化手段と、前記正方形に並び替えられた予測残差又は前記決定されたブロックが正方形の場合の予測残差に直交変換を適用して変換係数を求める変換手段と、前記変換係数を量子化してレベル値を求める量子化手段と、前記レベル値、前記決定されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを符号化するエントロピー符号化手段と、前記レベル値を逆量子化及び逆変換して再構成された予測残差を求める逆量子化・逆変換手段と、前記再構成された予測残差のブロックが非正方形に対応する場合に非正方形に並び替える非正方形化手段と、前記非正方形に並び替えられた、再構成された予測残差又は前記決定されたブロックが正方形の場合の再構成された予測残差に前記予測値を加算することで前記符号化済み画素を再構成する加算手段と、を備えている。
　また、本発明の一側面によると、復号装置は、符号化されたビットストリームを復号して、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードと各ブロックのレベル値とを復号するエントロピー復号手段と、復号済み画素と前記復号されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードに基づき、復号対象ブロックの予測値を生成する予測値生成手段と、前記レベル値を逆量子化及び逆変換して復号された予測残差を求める逆量子化・逆変換手段と、前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差を正方形から非正方形へと並び替える非正方形化手段と、前記復号されたブロック分割種別が、前記復号された予測残差が正方形に対するものであることを示している場合の予測残差を、または、前記並べ替えられた予測残差を、前記予測値と加算することで前記復号済み画素を生成する加算手段と、を備えている。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
従来技術に係る符号化装置の機能ブロック図である。 従来技術に係る復号装置の機能ブロック図である。 四分木分割直交変換を説明するための図である。 四分木分割直交変換を説明するための図である。 方向適応型残差変換におけるプライマリパスの例を示す図である。 方向適応型残差変換におけるセカンダリパスの例を示す図である。 一実施形態に係る符号化装置の機能ブロック図である。 一実施形態に係る復号装置の機能ブロック図である。 予測方向に応じた並び替えの例を示す図である。 垂直方向のオルタネートスキャンを示す図である。 水平方向のオルタネートスキャンを示す図である。 正方形への並び替えの別の実施形態の例を示す図である。
　図７は、一実施形態に係る符号化装置の機能ブロック図である。符号化装置100は、モード選択部101、モード情報バッファ102、正方形イントラ予測部111、非正方形イントラ予測部121、差分器112,122、正方形化部123、変換部131、量子化部132、エントロピー符号化部132、逆量子化・逆変換部134、スイッチ140、非正方形化部135、加算器141,142及び符号化済みブロックバッファ143を備える。
　図７の符号化装置100は、その各部に対応する名称を付しているように、符号化の際の大きな枠組みとしては図１の符号化装置300と同様に、正方形ブロックと非正方形ブロックとを選択的に扱い符号化する。ただし、従来技術の課題であった少ない画素数のブロックに対するDCTを避けて符号化効率を向上させるべく、符号化装置100では特に、次のような措置を講じている。
　すなわち、非正方形ブロックを扱う際は、非正方形イントラ予測部121でその予測値を求め、差分器122で予測残差とした後、正方形化部123により非正方形ブロックに対して予測モードと同じ方向で予測残差画素値をスキャンしてベクトル（残差値を1列に並べたもの）を生成し、当該ベクトルの並び順に従い、正方形化する。
　このため、非正方形ブロックの場合であっても、変換部131でDCTを施す対象は並べ替えられた正方形ブロックとなり、少ない画素数のブロックに対するDCTを避けることができる。さらに、当該DCTを施すために並び替える際に、元の非正方形ブロックに適用されていた予測の方向を考慮した並び替えを行うことで、符号化効率を向上させることも可能である。
　以下、図７の符号化装置100の各部を説明する。なお、当該説明の際、図１の符号化装置300の説明の場合と同様に、正方形ブロックの場合と非正方形ブロックの場合とで対応する処理や機能部の説明については、括弧を付すなどして適宜、並列的に説明することとする。
　モード選択部101は、図１のモード選択部301と同様の機能（ただし、非正方形ブロックの場合の具体的な符号化のなされ方が以下説明するように異なる）を有し、符号化対象の入力画像と符号化済みブロックバッファ143で保存された再構成済みの参照画素とを入力として、符号化対象ブロックに適用されるブロック分割種別（正方形か非正方形、ブロックサイズ）と各分割ブロックに対する予測モードとをモード情報バッファ102へと出力する。なお、図１のモード選択部301では、四分割により説明を行ったが、分割の方法は、二分割ずつ行う等、任意の分割方法を使用できる。つまり、分割してできる最終的な１つのブロックの画素数が（２ｎ）２（ここで、ｎは整数）、つまり、偶数の２乗であれば良い。
　当該出力されるブロック分割種別と予測モードとは、レート歪最適化アルゴリズムに基づき決定することができる。
　モード情報バッファ102では当該ブロック分割種別及び適用される各予測モードの情報を保持し、スイッチ140に当該情報に従った信号切り分け（正方形ブロックの場合と非正方形ブロックの場合との場合分けによる切り分け）を実施させ、また、当該情報を符号化させるべくエントロピー符号化部133に提供する。
　入力画像に適用された分割ブロックが正方形ブロックの場合、当該ブロックの画素は正方形イントラ予測111に入力され、非正方形ブロックの場合、当該ブロックの画素は非正方形イントラ予測部121に入力される。
　正方形イントラ予測111（非正方形イントラ予測部121）は、上記のように入力された正方形ブロック（非正方形ブロック）の画素に対して、モード選択部101の出力したイントラ予測モードに従って符号化部済みブロックバッファ143の再構成済み画素を参照し、その予測値を求め、差分器112（差分器122）に出力する。
　差分器112（差分器122）では、正方形イントラ予測部111（非正方形イントラ予測部121）より入力される予測信号と、当該符号化対象ブロックの入力画素と、の差分を求めて予測残差とし、変換部131（正方形化部123）に出力する。
　正方形化部123では当該非正方形ブロックとして並べられている予測残差を正方形ブロックとしての予測残差に並び替えたうえで、変換部131に出力する。正方形化部123の詳細は後述する。
　変換部131は差分器112又は正方形化部123の出力した正方形ブロック形式の予測残差に対して直交変換を施し、変換係数を量子化部132に出力する。ここで、直交変換は通常の分離型DCTを用いてもよいし、正方形化部123の出力した正方形ブロック形式の予測残差に関しては、その詳細を後述するような手法で、前述の非特許文献２のDARTを適用するようにしてもよい。
　量子化部132は変換部131の出力した変換係数を量子化してレベル値とし、エントロピー符号化部133及び逆量子化・逆変換部134に出力する。
　エントロピー符号化部133は、量子化部132の出力したレベル値と、モード情報バッファ102に保存されている当該符号化対象ブロックに適用されたブロック分割種別の情報及び予測モードの情報と、をエントロピー符号化してビットストリームを出力する。当該出力されたビットストリームは後述する図８の復号装置200のエントロピー復号部233に入力される。
　逆量子化・逆変換部134は、量子化部132の出力したレベル値に対して量子化部132の量子化の逆処理（逆量子化）を行って変換係数となし、さらに、当該変換係数に対して変換部131の逆処理（逆変換）を行って正方形ブロック形式で並んだ予測残差となし、スイッチ140に出力する。
　スイッチ140では、モード情報バッファ102を参照することにより、逆量子化・逆変換部134の出力した予測残差が正方形イントラ予測部111経由のもの（当初から正方形ブロックに該当するもの）である場合は、当該予測残差を加算器141へと出力し、一方、当該予測残差が非正方形イントラ予測部121経由のもの（当初は非正方形ブロックであったが、正方形化部123で正方形に並び替えられたもの）である場合には、当該予測残差を非正方形化部135へと出力する。
　非正方形化部135は、スイッチ140より出力された正方形ブロック形式の予測残差を、当初の非正方形ブロックの形式に並び替えたうえで、加算器142へと出力する。なお、当該並び替える際は、スイッチ140が参照したのと同様、モード情報バッファ102に保持されているブロック分割種別の情報に従って並び替えることで、非正方形化部135では正方形化部123における並び替えの逆処理を行う。
　加算器141（加算器142）では、スイッチ140（非正方形化部135）の出力した予測残差と、正方形イントラ予測部111（非正方形イントラ予測部121）の出力した予測値と、を加算して当該ブロックの再構成信号を得て、当該再構成信号を符号化済みブロックバッファ143へ出力する。
　符号化済みブロックバッファ143では当該再構成信号を保持し、モード選択部101、正方形イントラ予測部111及び非正方形イントラ予測部121における参照に供する。
　図８は、一実施形態に係る復号装置200の機能ブロック図である。復号装置200は、エントロピー復号部233、モード情報バッファ202、逆量子化・逆変換部234、スイッチ240、非正方形化部235、加算器241,242、メモリ243及び予測値生成部244を備える。
　当該構成を備えることにより、復号装置200では図７の符号化装置100の再構成処理に概ね対応する処理を行い、符号化されたビットストリームを順次復号する。各部、以下の通りである。
　エントロピー復号部233は、図７のエントロピー符号化部133の出力したビットストリームをエントロピー復号することで、当該復号対象ブロックにおけるブロック分割種別及び予測モードの情報と、レベル値とを得る。当該復号されたブロック分割種別及び予測モードの情報はモード情報バッファ202に出力されて保持され、且つ、予測値生成部244に出力され、また、レベル値は逆量子化・逆変換部234に出力される。
　逆量子化・逆変換部234は、図７の逆量子化・逆変換部134と同様の処理を行うことで、レベル値を逆量子化して変換係数となすと共に変換係数を逆変換して正方形ブロック形式で並んだ予測残差となし、スイッチ240に出力する。
　スイッチ240では、図７のスイッチ140と共通の処理がなされ、モード情報バッファ202に保持された当該復号対象ブロックにおけるブロック分割種別の情報を参照し、当該ブロックが正方形であれば逆量子化・逆変換部234の出力した予測残差を加算器241に出力し、当該ブロックが非正方形であれば、当該予測残差を非正方形化部235に出力する。
　非正方形化部235では、図７の非正方形化部135と共通の処理がなされ、モード情報バッファ202に保持された当該非正方形ブロックの情報に従い、当該正方形ブロック形式で並んだ予測残差を当初の非正方形ブロック形式へと並び替えたうえで、加算器242に出力する。
　加算器241（加算器242）では、スイッチ240（非正方形化部235）の出力した予測残差と、当該予測残差に対応する予測値生成部244より生成された予測値と、を加算することで、当該ブロックの復号信号を得て、メモリ243に出力して保存させる。メモリ243では当該復号信号を出力画像として出力すると共に、予測値生成部244からの参照に供する。
　予測値生成部244ではモード情報バッファ202に保存された（又はエントロピー復号部233で復号された）予測モードの情報に従ってメモリ243の復号画素を参照することで、当該復号対象ブロックの予測値を生成し、当該復号対象ブロックが正方形ブロックの場合は当該予測値を加算器241へと、また、当該復号対象ブロックが非正方形ブロックの場合は当該予測値を加算器242へと、出力する。
　以下、図７の正方形化部123における予測残差を非正方形から正方形へと並び替える処理の詳細を説明する。なお、図７の非正方形化部135及び図８の非正方形化部235は、当該説明する正方形化部123の逆の並び替えを行うことで、予測残差を正方形から非正方形へと並び替えることとなる。
　非正方形化部123では、非正方形ブロックのサイズ（N×M）に応じた所定規則で、正方形へと並び替えることができる。当該所定規則は、当該非正方形ブロックに対して非正方形イントラ予測部121で適用された予測モードにおける予測方向に応じたものとすることもできる。
　並び替えの所定規則はこのように、非正方形ブロックのサイズと予測モードとに応じたものとして定めておくことで、並び替えの情報をエントロピー符号化部133で符号化する必要をなくすことができる。すなわち、図８の復号装置200の非正方形化部235においては、復号された非正方形ブロックのサイズの情報と予測モードの情報と、に従い、一意に正方形から非正方形へと並び替える方式の情報を特定することができるので、並び替え情報は符号化する必要はない。ただし、復号装置200においても、非正方形ブロックのサイズと予測モードとに応じた並び替えの所定規則の情報を予め保持しておく必要がある。
　図９は、予測方向に応じた並び替えの例を示す図である。ここで、図９の予測方向９Ａ～９Ｈは、非正方形ブロックのサイズが横2×縦8の場合の各予測方向を示し、並び替えのための１次元的なスキャン順序がS1～S16として示されている。また、図９の参照符号９Ｉは、予測方向９Ａ～９Ｈにそれぞれ示すスキャン順序S1～S16に従ってサイズ4×4の正方形に並び替える順序を示している。
　なお、並び替えは、非正方形ブロックのサイズに応じて種々の所定の並び替え（例えば、「32×8→16×16」、「32×2→8×8」、「8×2→4×4」その他等）を設定しておく必要があるが、図９（及び後述する図１０、図１１）の例と同様の方針で所定順序を設定することができる。
　また、図９では、８種類の予測方向の場合の例が示されているが、より細かく８種類以上の予測方向が定義されている場合は、同様の方針で所定順序を設定してもよいし、当該例示する８種類のうちの最も近い方向に代表させるようにしてもよい。例えば、予測方向が5°や10°であったとした場合であれば、図９の予測方向９Ｂの垂直(0°)が最も近い方向であるので、予測方方向９Ｂの並び替えを適用するようにしてよい。
　図９の各予測方向におけるスキャン順序S1～S16の例に示されるように、１次元的なスキャン順序は予測方向に一致した、あるいは可能な限り予測方向に近い、単位スキャン（予測方向を反映した単位スキャン）を、非正方形ブロックにおいて繰り返すことで構成するようにすることが好ましい。当該単位スキャンは、図９においてサイズ横2×縦8の各画素位置にグレー表記で示す通りである。
　ここで、単位スキャンを説明するために、図９の横2×縦8の非正方形ブロックの画素位置を指定する格子点（整数）座標として、最も左上を(0, 0)とし、最も右下を(1, 7)とする座標を用いることとする。（なお、当該座標は後述する図１０においても同様に用いる。）
　例えば、予測方向９Ａとして示す様に、予測方向が水平(90°)の場合であれば、単位スキャンは灰色の「S1→S2」や同様に繰り返される「S3→S4」、「S5→S6」等となり、全て変位(Δx, Δy)=(+1, 0)と、水平(90°)の方向に一致している。予測方向９Ｂでは予測方向が垂直(0°)であり、灰色の単位スキャンは「S1→S2→...S8」であり、変位(Δx, Δy)=(0, +7)で垂直(0°)の方向に一致している。
　予測方向９Ｃの様に、予測方向が22.5°の場合であれば、単位スキャンは灰色の「S3→S4→S5→S6」等であり、図示するような概ね予測方向22.5°に一致する方向D3を有している。当該方向D3の変位は、(Δx, Δy)=(+1, +3)である。また、予測方向９ＣではスキャンS1,S2及びS15,S16は、当該単位スキャンの繰り返し構成を設けるために両端で余る部分に相当する。また、予測方向９Ｈとして示す様に、予測方向が157.5°の場合も単位スキャンは灰色の「S3→S4→S5→S6」等であり、当該方向D8の変位は(Δx, Δy)=(-1, +3)であって、予測方向９Ｃのスキャンをx軸方向で反転させたスキャンとなっている。
　予測方向９Ｄとして示す様に、予測方向が45°の場合であれば、単位スキャンは灰色の「S2→S3」や同様の「S4→S5」等であり、当該方向D4の変位は、(Δx, Δy)=(+1, +1)であり、予測方向45°に一致して構成されている。また、予測方向９ＤではスキャンS1,S16は両端で余る部分に相当する。また、予測方向９Ｇとして示す様に、予測方向が135°の場合も単位スキャンは灰色の「S2→S3」や同様の「S4→S5」等であり、当該方向D7の変位は(Δx, Δy)=(+1, -1)であって、予測方向９Ｄのスキャンに対応するスキャンとなっている。
　予測方向９Ｅとして示す様に、予測方向が67.5°の場合であれば、単位スキャンは灰色の「S1→S2→S3」や同様の「S5→S6→S7」等であり、当該方向D3の変位は、(Δx, Δy)=(+1, +1)であり、予測方向が67.5°に近い方向として構成されている。また、予測方向９Ｅでは当該単位スキャン途中のS4,S8等は、当該単位スキャンの繰り返し構成を設けるための途中通過部分に相当する。また、予測方向９Ｆとして示す様に、予測方向が112.5°の場合も単位スキャンは灰色の「S1→S2→S3」や同様の「S5→S6→S7」等であり、当該方向D6の変位は(Δx, Δy)=(-1, +1)であって、予測方向９Ｅのスキャンをx軸方向で反転させたスキャンとなっている。
　以上、図９に示す様な各予測方向に応じた所定のスキャン順序S1～S16で1次元的にスキャンし、参照符号９Ｉに示すように当該順序に従って4回水平方向にスキャンして正方形に並び替えることができる。
　参照符号９Ｉに示す並び替えられた正方形の予測残差に対して、図７の変換部131では非特許文献２で説明したDARTを適用してもよい。この際、第１段階のプライマリパスを水平方向に、第2段階のセカンダリパスを垂直方向に適用すればよい。当該水平及び垂直方向に1次元DCTを施すことで、図５、図６で説明したようなDCT係数の個数が少なくなる斜め方向における1次元DCTの利用が排除され、符号化効率の向上を望むことができる。
　なお、図9の参照符号９Ｉに示す例では水平方向に並べることを垂直方向の回数だけ繰り返しているため、プライマリパスを水平方向とし、セカンダリパスを垂直方向としている。これに対して、垂直方向に並べることを水平方向の回数だけ繰り返すようにして正方形に並び替えてもよいが、この場合はプライマリパスを垂直方向とし、セカンダリパスを水平方向とすればよい。
　なお、正方形化部123における並び替えの別の実施形態として、予測方向９Ｃ及び９Ｈとして示す、予測方向が22.5°及び157.5°の場合には、周知方式であるインタレース向けスキャン方式（垂直方向のオルタネートスキャン）を適用してもよい。
　図１０は、当該適用する垂直方向のオルタネートスキャンを示す図であり、2×8サイズの4個の分割ブロックにつきそれぞれ、同サイズ2×8の部分B1～B4のスキャンを適用すればよい。この場合、当該示す8×8の正方形ブロックの全体でスキャンが適用される。例えばブロックB1の途中でB2にいわば「飛んで」いる箇所(2, 0)及び(2, 1)があるが、当該順番でB2の箇所(2, 0)及び(2, 1)をスキャンすればよい。すなわち、B1全体を連続してスキャンするわけではない。
　また同様に、正方形化部123における並び替えの別の実施形態として、予測方向図９Ｅ及び図９Ｆとして示す、予測方向が67.5°及び112.5°の場合には、周知方式であるインタレース向けスキャン方式（水平方向のオルタネートスキャン）を適用してもよい。
　図１１は、当該適用する水平方向のオルタネートスキャンを示す図であり、2×8サイズの4個の分割ブロックにつきそれぞれ、同サイズ2×8の部分B11～B14のスキャンを適用すればよい。この際、図１０で説明したのと同様に、当該示す8×8の正方形ブロックの全体でスキャンを適用する。
　さらに、正方形化部123における並び替えの別の実施形態として、次のようにしてもよい。すなわち、図９では、各予測方向に対応するスキャン順序でS1～S16と1次元的に並べた後、予測方向に依らず一律に参照符号９Ｉに示すように正方形へと並べていたが、これに代えて、正方形に並べる際も予測方向に応じた並び替えを適用するようにしてもよい。
　特に、正方形の各辺（参照符号９Ｉの例では横方向の辺）が単位スキャンの開始箇所で始まるような並び替えを適用するようにしてもよい。この際、並び替えの規則としては次のような基準に従うような所定規則を用いてもよい。すなわち、正方形の各辺の開始箇所（画像座標(x, y)における横方向xの値の最小箇所を「開始箇所」とする。参照符号９Ｉの例であれば、S1,S5,S9,S13の箇所）が可能な限り多数、単位スキャンの開始箇所と一致するようにし、且つ、一次元スキャンS1～S16の並びを可能な限り入れ替えない（並び替えられた正方形にラスタースキャンを適用した際に、並びS1～S16からの入れ替えが可能な限り少ない）ようにする、という基準である。
　当該基準に従い、正方形の各辺の開始箇所が可能な限り多数、単位スキャンの開始箇所と一致するようにすることで、直交変換の際のエネルギーコンパクション性能を向上させることができ、従って、符号化効率を向上させることができる。単位スキャンは予測方向に一致している、あるいは予測方向に近いような並びとして構成されているためである。
　図１２に、当該基準に従う例として、正方形への並び替えの別の実施形態の例を示す。
　図１２参照符号１２Ａに示す例では、予測方向が22.5°及び157.5°の場合（予測方向９Ｃ及び９Ｈの場合）に、単位スキャンである「S3,S4,S5,S6」等で正方形の横方向の辺が始まるように並び替える例が示されている。すなわち、正方形の1～3行目（横方向の辺を「行」とする）を単位スキャンである「S3～S6」、「S7～S10」、「S11～S14」として構成し、4行目を3行目に続く「S15,S16」及び前述の「余る部分」に相当する「S1,S2」で構成する。
　また、図１２の参照符号１２Ｂに示す例では、予測方向が45°及び135°の場合（予測方向９Ｄ及び９Ｇの場合）に、単位スキャンである「S2,S3」や「S6,S7」等で正方形の横方向の辺が始まるように並び替える例が示されている。すなわち、正方形の1～3行目を単位スキャンである「S2,S3及びS4,S5」、「S6,S7及びS8,S9」、「S10,S11及びS12,S13」として構成し、4行目は単位スキャンである「S14,S15」、これに続く「S16」及び前述の「余る部分」に相当する「S1」で構成する。
　なお、図１２の並び替えを適用する際も、予測方向９Ａ、９Ｂ、９Ｅ、９Ｆの場合については、図９の参照符号９Ｉの並びを採用すればよい。ここで、予測方向９Ｅ（67.5°）、予測方向９Ｆ（112.5°）の場合、S4,S8,S12,S16は単位スキャンS1～S3等を繰り返すための前述の「途中通過部分」に相当するが、一次元スキャンS1～S16の並びを可能な限り入れ替えないという基準に従い、単位スキャンにそのまま続ける形で並べ、図９の参照符号９Ｉに示す並びが採用される。
　以上、本発明によれば、直交変換する前に非正方形から正方形に予測残差信号の相関性に基づいて並び替えするという操作を導入することで、直交変換された係数のエネルギーコンパクション性能を向上させ、符号化効率を向上させることができる。また、正方形に並び替えることで、直交変換以降の処理は正方形ブロック／非正方形ブロックで共通化することができるため、処理を高速化することができる。さらに、並び替えるためのスキャン情報を送る必要（符号化・復号する必要）がなく、かつブロック内画素数も変えないので、従来の正方形ブロックを単位としての符号化装置、復号装置にも適用可能である。本発明は、画像（静止画像または映像（動画像）内の画像）の符号化及び復号に適用することができる。
　本発明は、コンピュータを符号化装置100及び／又は復号装置200の全て又はその任意の一部分として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが符号化装置100及び／又は復号装置200の各部の機能に対応する命令を実行することとなる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１５年２月２７日提出の日本国特許出願特願２０１５－０３８５９３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (9)

  1. 　符号化対象の入力画像と符号化済み画素とから、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを決定するモード選択手段と、
    　前記決定されたブロックが正方形の場合に正方形イントラ予測を適用し予測値を求める正方形イントラ予測手段と、
    　前記決定されたブロックが非正方形の場合に非正方形イントラ予測を適用し予測値を求める非正方形イントラ予測手段と、
    　前記予測値と、対応する符号化対象の入力画像との差分である予測残差を求める差分手段と、
    　前記決定されたブロックが非正方形の場合の予測残差を正方形に並び替える正方形化手段と、
    　前記正方形に並び替えられた予測残差又は前記決定されたブロックが正方形の場合の予測残差に直交変換を適用して変換係数を求める変換手段と、
    　前記変換係数を量子化してレベル値を求める量子化手段と、
    　前記レベル値、前記決定されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードを符号化するエントロピー符号化手段と、
    　前記レベル値を逆量子化及び逆変換して再構成された予測残差を求める逆量子化・逆変換手段と、
    　前記再構成された予測残差のブロックが非正方形に対応する場合に非正方形に並び替える非正方形化手段と、
    　前記非正方形に並び替えられた、再構成された予測残差又は前記決定されたブロックが正方形の場合の再構成された予測残差に前記予測値を加算することで前記符号化済み画素を再構成する加算手段と、を備える符号化装置。
  2. 　前記正方形化手段及び前記非正方形化手段は、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向に基づく所定順序で、前記並び替えを行う、請求項１に記載の符号化装置。
  3. 　前記正方形化手段は、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向が反映された単位スキャンを非正方形ブロックにおいて繰り返すことにより予測残差を順序付け、当該順序付けられた予測残差を所定順序で正方形に並べることにより前記正方形に並び替え、
    　前記非正方形化手段では、前記正方形化手段にて前記正方形に並び替えたのと逆に並び替えることにより、前記非正方形へと並び替える請求項２に記載の符号化装置。
  4. 　前記正方形化手段にて前記順序付けられた予測残差を前記正方形に並び替える際の前記所定順序が、前記非正方形イントラ予測手段において適用されたイントラ予測モードの方向に基づく所定順序である、請求項３に記載の符号化装置。
  5. 　前記変換手段は、前記正方形に並び替えられた予測残差に対して、第一方向に沿って一連の一次元直交変換を施すことで一連の第一係数を求めると共に、前記第一方向と直交する第二方向に沿って前記一連の第一係数の直流成分に一次元直交変換を施す、請求項１ないし４のいずれか１項に記載の符号化装置。
  6. 　符号化されたビットストリームを復号して、ブロック分割種別及び分割された各ブロックにおけるイントラ予測モードと各ブロックのレベル値とを復号するエントロピー復号手段と、
    　復号済み画素と前記復号されたブロック分割種別及び分割された各ブロックにおけるイントラ予測モードに基づき、復号対象ブロックの予測値を生成する予測値生成手段と、
    　前記レベル値を逆量子化及び逆変換して復号された予測残差を求める逆量子化・逆変換手段と、
    　前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差を正方形から非正方形へと並び替える非正方形化手段と、
    　前記復号されたブロック分割種別が、前記復号された予測残差が正方形に対するものであることを示している場合の予測残差を、または、前記並べ替えられた予測残差を、前記予測値と加算することで前記復号済み画素を生成する加算手段と、を備える復号装置。
  7. 　前記非正方形化手段は、前記復号されたイントラ予測モードの方向に基づく所定順序で、前記並び替を行う、請求項６に記載の復号装置。
  8. 　前記復号されたブロック分割種別が、前記復号された予測残差が非正方形に対するものであることを示している場合、当該予測残差は、適用されたイントラ予測モードの方向が反映された単位スキャンを非正方形ブロックにおいて繰り返すことにより予測残差を順序付け、当該順序付けられた予測残差を所定順序で正方形に並べることにより生成されたものであり、
    　前記非正方形化手段は、当該予測残差が生成された際に正方形に並び替えられたのと逆に並び替えることにより、前記非正方形へと並び替える請求項７に記載の復号装置。
  9. 　前記順序付けられた予測残差を前記正方形に並べるための前記所定順序が、適用されたイントラ予測モードの方向に基づく所定順序である請求項８に記載の復号装置。
PCT/JP2015/085740 2015-02-27 2015-12-22 符号化装置及び復号装置 Ceased WO2016136106A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP15883396.2A EP3264771A4 (en) 2015-02-27 2015-12-22 Coding device and decoding device
US15/551,739 US10462461B2 (en) 2015-02-27 2015-12-22 Coding device and decoding device which allow encoding of non-square blocks
JP2017501874A JP6671339B2 (ja) 2015-02-27 2015-12-22 符号化装置及び復号装置
CN201580076643.7A CN107251558B (zh) 2015-02-27 2015-12-22 编码装置以及解码装置
US16/508,849 US20190335175A1 (en) 2015-02-27 2019-07-11 Coding device and decoding device which allow encoding and decoding of non-square blocks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015038593 2015-02-27
JP2015-038593 2015-02-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/551,739 A-371-Of-International US10462461B2 (en) 2015-02-27 2015-12-22 Coding device and decoding device which allow encoding of non-square blocks
US16/508,849 Continuation US20190335175A1 (en) 2015-02-27 2019-07-11 Coding device and decoding device which allow encoding and decoding of non-square blocks

Publications (1)

Publication Number Publication Date
WO2016136106A1 true WO2016136106A1 (ja) 2016-09-01

Family

ID=56789325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085740 Ceased WO2016136106A1 (ja) 2015-02-27 2015-12-22 符号化装置及び復号装置

Country Status (5)

Country Link
US (2) US10462461B2 (ja)
EP (1) EP3264771A4 (ja)
JP (1) JP6671339B2 (ja)
CN (1) CN107251558B (ja)
WO (1) WO2016136106A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669622B2 (ja) 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
KR20190052128A (ko) 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
JP6880310B2 (ja) 2018-03-29 2021-06-02 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11516493B2 (en) * 2018-09-11 2022-11-29 Sharp Kabushiki Kaisha Systems and methods for coding transform coefficient level values
CN112584157B (zh) * 2019-09-30 2025-02-07 瑞芯微电子股份有限公司 一种avs2反变换装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013160693A2 (en) * 2012-04-26 2013-10-31 Sony Corporation Method and apparatus for chrominance processing in video coding and decoding
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
JP2014534751A (ja) * 2011-11-04 2014-12-18 ジェニップ ピーティーイー． エルティーディー． 復元ブロック生成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
KR101379187B1 (ko) 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
US9100646B2 (en) * 2008-09-03 2015-08-04 Sk Telecom Co., Ltd. Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US8374274B2 (en) * 2008-10-13 2013-02-12 Qualcomm Incorporated Methods and systems using norm approximation for maximum likelihood MIMO decoding
US20110015831A1 (en) * 2009-07-17 2011-01-20 Loup Electronics, Inc. Application rate system for a farm implement
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN105898311A (zh) * 2009-12-01 2016-08-24 数码士有限公司 用于解码高分辨率图像的设备
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US9247254B2 (en) 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
US9554130B2 (en) * 2012-01-20 2017-01-24 Pantech Inc. Intra prediction mode mapping method and device using the method
WO2013115606A1 (ko) 2012-02-04 2013-08-08 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534751A (ja) * 2011-11-04 2014-12-18 ジェニップ ピーティーイー． エルティーディー． 復元ブロック生成方法
WO2013160693A2 (en) * 2012-04-26 2013-10-31 Sony Corporation Method and apparatus for chrominance processing in video coding and decoding
WO2014071439A1 (en) * 2012-11-08 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ROBERT A. COHEN ET AL.: "DIRECTION-ADAPTIVE TRANSFORMS FOR CODING PREDICTION RESIDUALS", IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING 2010 (ICIP 2010, 29 September 2010 (2010-09-29), pages 185 - 188, XP031812635 *
See also references of EP3264771A4 *
XIAORAN CAO ET AL.: "CE6.b Report on Short Distance Intra Prediction Method", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING, 28 January 2011 (2011-01-28), Daegu, KR, XP030047633 *

Also Published As

Publication number Publication date
CN107251558A (zh) 2017-10-13
CN107251558B (zh) 2019-12-31
EP3264771A1 (en) 2018-01-03
US20190335175A1 (en) 2019-10-31
US10462461B2 (en) 2019-10-29
JP6671339B2 (ja) 2020-03-25
JPWO2016136106A1 (ja) 2017-12-14
EP3264771A4 (en) 2018-08-29
US20180020214A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
RU2765234C1 (ru) Способ внутреннего предсказания и кодер и декодер, использующие его
KR102462009B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR20250037732A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
JP6144776B2 (ja) 映像エンコーディング／デコーディング方法及びこれを用いる装置
KR102338406B1 (ko) 영상 정보 부호화 및 복호화 방법
KR20140077928A (ko) 영상 부호화/복호화 방법 및 그 장치
US20190335175A1 (en) Coding device and decoding device which allow encoding and decoding of non-square blocks
KR20180033030A (ko) 적응적 블록 분할에 기반한 비디오 신호 처리 방법 및 장치
CN111937381A (zh) 使用帧内预测的图像编码/解码方法和装置
WO2020184229A1 (ja) 画像符号化装置、画像符号化方法、及びプログラム
TW202101990A (zh) 圖像編碼裝置、圖像解碼裝置、方法及程式
AU2013395426A1 (en) Scanning orders for non-transform coding
CN112262576B (zh) 残差系数编码/解码方法和装置
CN116866574A (zh) 帧内预测装置、图像解码装置及程序
KR20230092806A (ko) 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
JP6846134B2 (ja) 映像符号化装置及び映像復号装置
KR20230005506A (ko) 변환 계수 부호 비트 숨김을 이용한 비디오 부호화 및 복호화 방법
WO2016143093A1 (ja) 動画像符号化装置及びそれに用いるＩｎｔｒａ予測符号化方法、及び動画像復号化装置
WO2013077713A1 (ko) 변환 계수 재정렬 방법 및 이를 이용하는 장치
JP2011254257A (ja) 画像圧縮装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883396

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017501874

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15551739

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015883396

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE