[go: up one dir, main page]

WO2013105622A1 - 画像復号装置、画像符号化装置、および符号化データのデータ構造 - Google Patents

画像復号装置、画像符号化装置、および符号化データのデータ構造 Download PDF

Info

Publication number
WO2013105622A1
WO2013105622A1 PCT/JP2013/050356 JP2013050356W WO2013105622A1 WO 2013105622 A1 WO2013105622 A1 WO 2013105622A1 JP 2013050356 W JP2013050356 W JP 2013050356W WO 2013105622 A1 WO2013105622 A1 WO 2013105622A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
prediction mode
image
unit
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/050356
Other languages
English (en)
French (fr)
Inventor
山本　智幸
知宏 猪飼
将伸 八杉
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP13735980.8A priority Critical patent/EP2804377A4/en
Priority to AU2013208472A priority patent/AU2013208472B2/en
Priority to CN201811579089.6A priority patent/CN109905705B/zh
Priority to HK15100528.4A priority patent/HK1200255B/zh
Priority to KR1020167014315A priority patent/KR101768401B1/ko
Priority to CA2863208A priority patent/CA2863208C/en
Priority to CN201811579087.7A priority patent/CN109889830B/zh
Priority to CN201380005261.6A priority patent/CN104054343B/zh
Priority to KR1020147021443A priority patent/KR101654446B1/ko
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US14/371,766 priority patent/US20150003524A1/en
Publication of WO2013105622A1 publication Critical patent/WO2013105622A1/ja
Anticipated expiration legal-status Critical
Priority to AU2015264943A priority patent/AU2015264943B2/en
Priority to US17/019,453 priority patent/US11627337B2/en
Priority to US18/113,236 priority patent/US12149735B2/en
Priority to US18/903,386 priority patent/US20250039438A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to an image decoding apparatus that decodes encoded data representing an image, an image encoding apparatus that generates encoded data by encoding an image, and encoded data generated in the image encoding apparatus Related to the data structure.
  • a moving image encoding device that generates encoded data by encoding the moving image, and a moving image that generates a decoded image by decoding the encoded data
  • An image decoding device is used.
  • the moving image encoding method include H.264. H.264 / MPEG-4.
  • KTA software which is a codec for joint development in AVC and VCEG (Video Coding Expert Group), a method adopted in TMuC (Test Model Under Consulation) software, and a successor codec, HEVC (High- The method proposed in (Efficiency Video Coding) (Non-Patent Document 1) and the like can be mentioned.
  • a prediction image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and the prediction image is subtracted from the input image (original image).
  • the resulting prediction residual (sometimes called a “difference image” or “residual image”) is encoded.
  • examples of the method for generating a predicted image include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction).
  • inter prediction by applying motion compensation using a motion vector to a reference image in a reference frame (decoded image) obtained by decoding the entire frame, a predicted image in a prediction target frame is converted into a prediction unit (for example, Generated every block).
  • a prediction unit for example, Generated every block
  • intra prediction based on a locally decoded image in the same frame, predicted images in the frame are sequentially generated.
  • any prediction mode is selected and selected from prediction modes included in a predetermined prediction mode group for each prediction unit (for example, block).
  • a prediction image is generated based on the prediction method associated with the prediction mode.
  • Prediction methods include horizontal prediction, vertical prediction, DC prediction, Planar prediction, and Angular prediction.
  • a unique prediction mode number is assigned to each prediction mode, and the video decoding apparatus determines a prediction method to be applied to the prediction target region based on the prediction mode number decoded from the encoded data.
  • prediction modes corresponding to a plurality of prediction directions are associated with Angular prediction, and the video decoding device determines a prediction direction based on the prediction mode number, and the prediction image is based on the determined prediction direction. Generated.
  • the prediction mode number is also used for purposes other than the above. Specifically, it is used to select a filter for a reference area that is referred to when generating a predicted image by intra prediction, to select a scan method when decoding a conversion coefficient of a prediction residual, and to select a conversion method to be applied to the prediction residual. It is done.
  • ⁇ WD5 Working Draft 5 of High-Efficiency Video Coding (JCTVC-G1103_d0) '', Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO / IEC JTC1 / SC29 / WG11 7th Me CH, 21-30 November, 2011 (released on December 19, 2011)
  • Non-Patent Document 1 when determining the prediction direction used for prediction image generation from the prediction mode number, the prediction mode number is mapped to an index in the order of angle of the prediction direction using a table, and the index is generated as a prediction image Used for processing.
  • a conversion table is also used to select a filter, scan method, or conversion method to be used for selecting a filter, selecting a prediction residual scan method, and selecting a prediction residual conversion method. ing.
  • Non-Patent Document 1 has a problem that a plurality of tables for associating the prediction mode with the process are necessary, and a memory for that is necessary.
  • the present invention has been made in view of the above problems, and its purpose is to use a prediction mode number assigned to a prediction method without using a table to select various processes using the prediction mode, or By using a prediction mode number that can be selected using a table of a smaller size, an image decoding device or the like that can reduce memory is realized.
  • an image decoding device or the like that can perform a decoding process according to the characteristics of the association between the prediction mode number and the prediction direction.
  • an image decoding apparatus is directed to an image decoding apparatus that restores an image from encoded data by generating a prediction image by an intra prediction method associated with a prediction mode.
  • a prediction mode corresponding to a prediction direction is associated with a prediction mode number for specifying the prediction mode, and it is determined whether the prediction mode number is equal to or less than a predetermined threshold.
  • a reference pixel setting unit that sets a reference pixel based on the determined result, and a restoration unit that performs a predetermined restoration process according to the set reference pixel.
  • an image decoding apparatus is directed to an image decoding apparatus that restores an image from encoded data by generating a prediction image by an intra prediction method associated with a prediction mode.
  • the prediction intra prediction method the correspondence between the prediction mode corresponding to the prediction direction represented by the main direction and the gradient and the prediction mode number for uniquely identifying the prediction mode is determined from the prediction mode number. It has the property that a predetermined feature amount related to at least one of the main direction and the gradient can be specified, and the feature amount is calculated from the prediction mode number decoded from the encoded data based on the association. It is characterized by comprising a feature quantity specifying means to be specified and a restoration means for performing a predetermined restoration process according to the feature quantity.
  • an image decoding device that restores an image encoded by generating a prediction image using an intra prediction scheme associated with a prediction mode. From the encoded data, an estimated prediction mode flag indicating whether or not to use the estimated prediction mode and an estimated prediction mode index for designating one of a plurality of estimated prediction modes are used to restore the prediction mode of the prediction unit.
  • the context for arithmetic decoding is not set for the prediction mode index, and the estimated prediction mode is When the flag indicates that the estimated prediction mode matches, the estimated prediction mode indicated by the estimated prediction mode index is selected as a prediction mode, and when the estimated prediction mode flag indicates that the estimated prediction mode does not match, And a prediction mode restoration unit that restores the prediction mode by using a process of exchanging a plurality of estimated prediction modes.
  • an image decoding apparatus is an image decoding apparatus that restores an image encoded by generating a prediction image using an intra prediction scheme associated with a prediction mode.
  • a filter that selects a filter to be applied to the reference image used for generating the predicted image based on the prediction mode number associated with the prediction mode and the size of the prediction unit that is a unit for generating the predicted image
  • a prediction unit that includes a selection unit, and the filter selection unit is associated with a prediction direction having a smaller angle with the main direction when the size of the target prediction unit is larger than when the size of the target prediction unit is small.
  • the reference pixel filter is selected to be applied to the prediction mode number associated with.
  • the encoding apparatus generates a prediction image by an intra prediction method associated with a prediction mode, and obtains a difference between the original image and the prediction image.
  • the prediction mode corresponding to the prediction direction and the prediction mode number for specifying the prediction mode are associated with each other with respect to the intra prediction method of direction prediction.
  • the image encoding device generates a prediction image by an intra prediction method associated with a prediction mode, and obtains a difference between the original image and the prediction image.
  • an image encoding device that encodes the obtained prediction residual, regarding an intra prediction method for direction prediction, a prediction mode corresponding to a prediction direction determined by a main direction and a gradient, and a prediction mode for uniquely identifying the prediction mode
  • the association with the number has a property such that a predetermined feature amount related to at least one of the main direction and the gradient can be specified from the prediction mode number, and the prediction is performed based on the association.
  • Feature quantity specifying means for specifying the feature quantity from the prediction mode number associated with the mode, and encoding means for performing a predetermined encoding process according to the feature quantity; Characterized in that it comprises a.
  • the image decoding device or the image encoding device according to the present invention has an effect that it is possible to reduce the memory required for decoding or encoding.
  • the image decoding apparatus can reduce the amount of processing required to derive the prediction mode when the estimated prediction mode is used.
  • FIG. 3 is a diagram illustrating a data configuration of encoded data generated by a video encoding device according to an embodiment of the present invention and decoded by the video decoding device, wherein (a) to (d) are pictures, respectively. It is a figure which shows a layer, a slice layer, a tree block layer, and a CU layer. It is a figure which shows the example of the prediction mode number corresponding to the classification
  • FIG. 6 It is a functional block diagram shown about the structural example of the estimated image generation part with which the said moving image decoding apparatus is provided. It is a figure which shows PU setting order and PU contained in CU when an input image is a YUV format of 4: 2: 0.
  • A shows PUs in the CU when the size of the target CU is 8 ⁇ 8 pixels and the division type is N ⁇ N.
  • B shows PUs in the CU when the size of the target CU is 16 ⁇ 16 pixels and the division type is 2N ⁇ 2N.
  • FIG. 12 is a table showing another example of a correspondence relationship between a prediction mode identifier and an absolute value absIntraPredAngle of a gradient intraPredAngle. It is a flowchart which shows the Angular prediction process in the said brightness
  • (A) shows a transmitting apparatus equipped with a moving picture coding apparatus, and (b) shows a receiving apparatus equipped with a moving picture decoding apparatus. It is the figure shown about the structure of the recording device which mounts the said moving image encoder, and the reproducing
  • (A) shows a recording apparatus equipped with a moving picture coding apparatus, and (b) shows a reproduction apparatus equipped with a moving picture decoding apparatus. It is a figure which shows the relationship between the combination of the variable intraPredPrecison and the logarithm of 2 of PU size (log2PartSize), and the number of prediction modes. It is a figure which shows the other example of the prediction mode definition which is a definition of a response
  • FIG. 2 is a functional block diagram showing a schematic configuration of the moving picture decoding apparatus 1.
  • VCEG Video Coding Expert Group
  • TMuC Transmission Model Underside
  • the video encoding device 2 generates encoded data # 1 by entropy encoding a syntax value defined to be transmitted from the encoder to the decoder in these video encoding schemes. .
  • CAVLC context-adaptive variable-length coding
  • CABAC context-adaptive binary arithmetic coding
  • the context is an encoding / decoding situation (context), and is determined by past encoding / decoding results of related syntax.
  • Examples of the related syntax include various syntaxes related to intra prediction and inter prediction, various syntaxes related to luminance (Luma) and color difference (Chroma), and various syntaxes related to CU (Coding Unit encoding unit) size.
  • CABAC the binary position to be encoded / decoded in binary data (binary string) corresponding to the syntax may be used as the context.
  • CABAC CABAC
  • binarization processing is performed on syntax that can take multiple values such as a prediction mode and a conversion coefficient, and binary data obtained by this binarization processing is adaptive according to the occurrence probability.
  • arithmetically encoded Specifically, multiple buffers that hold the occurrence probability of binary values (0 or 1) are prepared, one buffer is selected according to the context, and arithmetic coding is performed based on the occurrence probability recorded in the buffer I do. Further, by updating the occurrence probability of the buffer based on the binary value to be decoded / encoded, an appropriate occurrence probability can be maintained according to the context.
  • the moving image decoding apparatus 1 receives encoded data # 1 obtained by encoding a moving image by the moving image encoding apparatus 2.
  • the video decoding device 1 decodes the input encoded data # 1 and outputs the video # 2 to the outside.
  • the configuration of the encoded data # 1 Prior to detailed description of the moving picture decoding apparatus 1, the configuration of the encoded data # 1 will be described below.
  • [Configuration of encoded data] A configuration example of encoded data # 1 that is generated by the video encoding device 2 and decoded by the video decoding device 1 will be described with reference to FIG.
  • the encoded data # 1 exemplarily includes a sequence and a plurality of pictures constituting the sequence.
  • FIG. 3 shows the hierarchical structure below the picture layer in the encoded data # 1.
  • 3A to 3D are included in the picture layer that defines the picture PICT, the slice layer that defines the slice S, the tree block layer that defines the tree block TBLK, and the tree block TBLK, respectively.
  • Picture layer In the picture layer, a set of data referred to by the video decoding device 1 for decoding a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 3A, the picture PICT includes a picture header PH and slices S 1 to S NS (NS is the total number of slices included in the picture PICT).
  • the picture header PH includes a coding parameter group referred to by the video decoding device 1 in order to determine a decoding method of the target picture.
  • the reference value (pic_init_qp_minus26) in the picture in the quantization step of the prediction residual is an example of a coding parameter included in the picture header PH.
  • picture header PH is also referred to as a picture parameter set (PPS).
  • PPS picture parameter set
  • slice layer In the slice layer, a set of data referred to by the video decoding device 1 for decoding the slice S to be processed (also referred to as a target slice) is defined. As shown in FIG. 3B, the slice S includes a slice header SH and tree blocks TBLK 1 to TBLK NC (where NC is the total number of tree blocks included in the slice S).
  • the slice header SH includes a coding parameter group that the moving image decoding apparatus 1 refers to in order to determine a decoding method of the target slice.
  • Slice type designation information (slice_type) for designating a slice type is an example of an encoding parameter included in the slice header SH.
  • I slice that uses only intra prediction at the time of encoding (2) P slice that uses unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.
  • the slice header SH may include a filter parameter referred to by a loop filter (not shown) included in the video decoding device 1.
  • Tree block layer In the tree block layer, a set of data referred to by the video decoding device 1 for decoding a processing target tree block TBLK (hereinafter also referred to as a target tree block) is defined.
  • the tree block TBLK includes a tree block header TBLKH and coding unit information CU 1 to CU NL (NL is the total number of coding unit information included in the tree block TBLK).
  • NL is the total number of coding unit information included in the tree block TBLK.
  • the tree block TBLK is divided into units for specifying a block size for each process of intra prediction or inter prediction and conversion.
  • the above unit of the tree block TBLK is divided by recursive quadtree partitioning.
  • the tree structure obtained by this recursive quadtree partitioning is hereinafter referred to as a coding tree.
  • a unit corresponding to a leaf that is a node at the end of the coding tree is referred to as a coding node.
  • the encoding node is a basic unit of the encoding process, hereinafter, the encoding node is also referred to as an encoding unit (CU).
  • CU encoding unit
  • coding unit information (hereinafter referred to as CU information)
  • CU 1 to CU NL is information corresponding to each coding node (coding unit) obtained by recursively dividing the tree block TBLK into quadtrees. is there.
  • the root of the coding tree is associated with the tree block TBLK.
  • the tree block TBLK is associated with the highest node of the tree structure of the quadtree partition that recursively includes a plurality of encoding nodes.
  • each coding node is half the size of the coding node to which the coding node directly belongs (that is, the unit of the node one layer higher than the coding node).
  • the size that each coding node can take depends on the size specification information of the coding node included in the size of the tree block and the sequence parameter set SPS of the coded data # 1. Since the tree block is the root of the encoding node, the maximum size of the encoding node is the size of the tree block. Since the maximum size of the tree block matches the maximum size of the coding node (CU), LCU (Largest CU) may be used as the name of the tree block. Regarding the minimum size, for example, the minimum encoding node size (log2_min_coding_block_size_minus3) and the difference between the maximum and minimum encoding node sizes (log2_diff_max_min_coding_block_size) are used as size designation information.
  • size specification information of a coding node having a maximum coding node size of 64 ⁇ 64 pixels and a minimum coding node size of 8 ⁇ 8 pixels is used.
  • the size of the encoding node and the encoding unit CU is 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, or 8 ⁇ 8 pixels.
  • the tree block header TBLKH includes an encoding parameter referred to by the video decoding device 1 in order to determine a decoding method of the target tree block. Specifically, as shown in (c) of FIG. 3, tree block division information SP_TBLK that designates a division pattern of the target tree block into each CU, and a quantization parameter difference that designates the size of the quantization step ⁇ qp (qp_delta) is included.
  • the tree block division information SP_TBLK is information representing a coding tree for dividing the tree block. Specifically, the shape and size of each CU included in the target tree block, and the position in the target tree block Is information to specify.
  • the tree block division information SP_TBLK may not explicitly include the shape or size of the CU.
  • the tree block division information SP_TBLK may be a set of flags (split_coding_unit_flag) indicating whether or not the entire target tree block or a partial area of the tree block is divided into four.
  • the shape and size of each CU can be specified by using the shape and size of the tree block together.
  • the quantization parameter difference ⁇ qp is a difference qp ⁇ qp ′ between the quantization parameter qp in the target tree block and the quantization parameter qp ′ in the tree block encoded immediately before the target tree block.
  • CU layer In the CU layer, a set of data referred to by the video decoding device 1 for decoding a CU to be processed (hereinafter also referred to as a target CU) is defined.
  • the encoding node is a node at the root of a prediction tree (PT) and a transformation tree (TT).
  • PT prediction tree
  • TT transformation tree
  • the encoding node is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined.
  • the prediction block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • Prediction processing is performed for each prediction block.
  • a prediction block that is a unit of prediction is also referred to as a prediction unit (PU).
  • intra prediction There are roughly two types of division in the prediction tree: intra prediction and inter prediction.
  • inter prediction there are 2N ⁇ 2N (the same size as the encoding node), 2N ⁇ N, N ⁇ 2N, N ⁇ N, and the like.
  • the encoding node is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • transform processing is performed for each conversion block.
  • the transform block which is a unit of transform is also referred to as a transform unit (TU).
  • the CU information CU specifically includes a skip flag SKIP, PT information PTI, and TT information TTI.
  • the skip flag SKIP is a flag indicating whether or not the skip mode is applied to the target PU.
  • the value of the skip flag SKIP is 1, that is, when the skip mode is applied to the target CU, PT information PTI and TT information TTI in the CU information CU are omitted. Note that the skip flag SKIP is omitted for the I slice.
  • the PT information PTI is information regarding the PT included in the CU.
  • the PT information PTI is a set of information related to each of one or more PUs included in the PT, and is referred to when the moving image decoding apparatus 1 generates a predicted image.
  • the PT information PTI includes prediction type information PType and prediction information PInfo.
  • Prediction type information PType is information that specifies whether intra prediction or inter prediction is used as a prediction image generation method for the target PU.
  • the prediction information PInfo is composed of intra prediction information or inter prediction information depending on which prediction method is specified by the prediction type information PType.
  • a PU to which intra prediction is applied is also referred to as an intra PU
  • a PU to which inter prediction is applied is also referred to as an inter PU.
  • the prediction information PInfo includes information specifying the shape, size, and position of the target PU. As described above, the generation of the predicted image is performed in units of PU. Details of the prediction information PInfo will be described later.
  • TT information TTI is information related to TT included in the CU.
  • the TT information TTI is a set of information regarding each of one or a plurality of TUs included in the TT, and is referred to when the moving image decoding apparatus 1 decodes residual data.
  • a TU may be referred to as a conversion block.
  • the TT information TTI includes TT division information SP_TU for designating a division pattern of the target CU into each conversion block, and TU information TUI 1 to TUI NT (NT is assigned to the target CU. The total number of transform blocks included).
  • TT division information SP_TU is information for determining the shape and size of each TU included in the target CU and the position in the target CU.
  • the TT division information SP_TU can be realized from information (split_transform_unit_flag) indicating whether or not the target node is divided and information (trafoDepth) indicating the division depth.
  • each TU obtained by the division can take a size from 32 ⁇ 32 pixels to 4 ⁇ 4 pixels.
  • the TU partition information SP_TU includes information on whether or not a non-zero conversion coefficient exists in each TU. For example, non-zero coefficient presence / absence information (CBP; Coded) Block Flag) for each TU and non-zero coefficient existence information (no_residual_data_flag) for a plurality of TUs are included in the TU partition information SP_TU.
  • CBP non-zero coefficient presence / absence information
  • no_residual_data_flag non-zero coefficient existence information
  • the TU information TUI 1 to TUI NT are individual information regarding one or more TUs included in the TT.
  • the TU information TUI includes a quantized prediction residual.
  • Each quantized prediction residual is encoded data generated by the video encoding device 2 performing the following processes 1 to 3 on a target block that is a processing target block.
  • Process 1 DCT transform (Discrete Cosine Transform) of the prediction residual obtained by subtracting the prediction image from the encoding target image;
  • Process 2 Quantize the transform coefficient obtained in Process 1;
  • Process 3 Variable length coding is performed on the transform coefficient quantized in Process 2;
  • prediction information PInfo As described above, there are two types of prediction information PInfo: inter prediction information and intra prediction information.
  • the inter prediction information includes an encoding parameter that is referred to when the video decoding device 1 generates an inter predicted image by inter prediction. More specifically, the inter prediction information includes inter PU division information that specifies a division pattern of the target CU into each inter PU, and inter prediction parameters for each inter PU.
  • the inter prediction parameters include a reference image index, an estimated motion vector index, and a motion vector residual.
  • the intra prediction information includes an encoding parameter that is referred to when the video decoding device 1 generates an intra predicted image by intra prediction. More specifically, the intra prediction information includes intra PU division information that specifies a division pattern of the target CU into each intra PU, and intra prediction parameters for each intra PU.
  • the intra prediction parameter is a parameter for restoring intra prediction (prediction mode) for each intra PU. Parameters for restoring the prediction mode include mpm_flag which is a flag related to MPM (Most Probable Mode, the same applies hereinafter), mpm_idx which is an index for selecting the MPM, and an index for designating a prediction mode other than the MPM. Rem_idx is included.
  • MPM is an estimated prediction mode that is highly likely to be selected in the target partition.
  • the MPM may include an estimated prediction mode estimated based on prediction modes assigned to partitions around the target partition, and a DC mode or Planar mode that generally has a high probability of occurrence.
  • the color difference prediction mode when simply expressed as “prediction mode”, it indicates the luminance prediction mode.
  • the color difference prediction mode is described as “color difference prediction mode” and is distinguished from the luminance prediction mode.
  • the parameter for restoring the prediction mode includes chroma_mode, which is a parameter for designating the color difference prediction mode.
  • mpm_flag and rem_index correspond to “prev_intra_luma_pred_flag” and “rem_intra_luma_pred_mode” in Non-Patent Document 1, respectively.
  • chroma_mode corresponds to “intra_chroma_pred_mode”.
  • the video decoding device 1 generates a prediction image for each PU, generates a decoded image # 2 by adding the generated prediction image and a prediction residual decoded from the encoded data # 1, and generates The decoded image # 2 is output to the outside.
  • An encoding parameter is a parameter referred in order to generate a prediction image.
  • the encoding parameters include PU size and shape, block size and shape, and original image and Residual data with the predicted image is included.
  • side information a set of all information excluding the residual data among the information included in the encoding parameter.
  • a picture (frame), a slice, a tree block, a CU, a block, and a PU to be decoded are a target picture, a target slice, a target tree block, a target CU, a target block, and a target PU, respectively. I will call it.
  • the size of the tree block is, for example, 64 ⁇ 64 pixels
  • the size of the CU is, for example, 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, and 8 ⁇ 8 pixels
  • the size of the PU is For example, 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, and the like.
  • these sizes are merely examples, and the sizes of the tree block, CU, and PU may be other than the sizes shown above.
  • FIG. 2 is a functional block diagram showing a schematic configuration of the moving picture decoding apparatus 1.
  • the moving picture decoding apparatus 1 includes a variable length decoding unit 11, an inverse quantization / inverse conversion unit 13, a predicted image generation unit 14, an adder 15, and a frame memory 16.
  • variable length decoding unit 11 decodes various parameters included in the encoded data # 1 input from the video decoding device 1. In the following description, it is assumed that the variable length decoding unit 11 appropriately decodes a parameter encoded by an entropy encoding method such as CABAC and CAVLC. Specifically, the variable length decoding unit 11 decodes encoded data # 1 for one frame according to the following procedure.
  • variable length decoding unit 11 separates the encoded data # 1 for one frame into various information included in the hierarchical structure shown in FIG. 3 by demultiplexing.
  • the variable length decoding unit 11 refers to information included in various headers and sequentially separates the encoded data # 1 into slices and tree blocks.
  • the various headers include (1) information about the method of dividing the target picture into slices, and (2) information about the size, shape, and position of the tree block belonging to the target slice. .
  • variable length decoding unit 11 refers to the tree block division information SP_TBLK included in the tree block header TBLKH, and divides the target tree block into CUs. Further, the variable length decoding unit 11 decodes the TT information TTI related to the conversion tree obtained for the target CU and the PT information PTI related to the prediction tree obtained for the target CU.
  • the TT information TTI includes the TU information TUI corresponding to the TU included in the conversion tree as described above. Further, as described above, the PT information PTI includes the PU information PUI corresponding to the PU included in the target prediction tree.
  • variable length decoding unit 11 supplies the TT information TTI obtained for the target CU to the TU information decoding unit 12. Further, the variable length decoding unit 11 supplies the PT information PTI obtained for the target CU to the predicted image generation unit 14. The configuration of the variable length decoding unit 11 will be described in more detail later.
  • the inverse quantization / inverse transform unit 13 performs an inverse quantization / inverse transform process on each block included in the target CU based on the TT information TTI. Specifically, for each target TU, the inverse quantization / inverse transform unit 13 performs inverse quantization and inverse orthogonal transform on the quantized prediction residual included in the TU information TUI corresponding to the target TU, so that each pixel is per pixel. Is restored.
  • the orthogonal transform refers to an orthogonal transform from the pixel region to the frequency region. Therefore, the inverse orthogonal transform is a transform from the frequency domain to the pixel domain.
  • inverse orthogonal transform examples include inverse DCT transform (Inverse Discrete Cosine Transform), inverse DST transform (Inverse Discrete Sine Transform), and the like.
  • the inverse quantization / inverse transform unit 13 supplies the restored prediction residual D to the adder 15.
  • the predicted image generation unit 14 generates a predicted image based on the PT information PTI for each PU included in the target CU. Specifically, the predicted image generation unit 14 performs, for each target PU, a local decoded image P ′ that is a decoded image by performing intra prediction or inter prediction according to the parameters included in the PU information PUI corresponding to the target PU. Is used to generate a predicted image Pred. The predicted image generation unit 14 supplies the generated predicted image Pred to the adder 15. The configuration of the predicted image generation unit 14 will be described in more detail later.
  • the adder 15 adds the predicted image Pred supplied from the predicted image generation unit 14 and the prediction residual D supplied from the inverse quantization / inverse transform unit 13, thereby obtaining the decoded image P for the target CU. Generate.
  • the decoded image P that has been decoded is sequentially recorded in the frame memory 16.
  • decoded images corresponding to all tree blocks decoded before the target tree block are stored. It is recorded.
  • Decoded image # 2 corresponding to # 1 is output to the outside.
  • the predicted image generation unit 14 generates and outputs a predicted image based on the PT information PTI.
  • the PU information PTI input to the predicted image generation unit 14 includes a prediction mode (IntraPredMode) and a color difference prediction mode (IntraPredModeC).
  • the definition of the prediction mode luminance / color difference
  • FIG. 4 shows an example of the prediction mode number corresponding to the classification of the intra prediction method used in the video decoding device 1.
  • the LM prediction is a method for predicting the pixel value of the color difference based on the decoded pixel value of the luminance, and can be selected only when the color difference is predicted. Other prediction modes can be selected for both luminance and color difference. Horizontal prediction, vertical prediction, and angular prediction are collectively referred to as direction prediction.
  • the direction prediction is a prediction method for generating a prediction image by extrapolating adjacent pixel values around the target PU in a specific direction.
  • FIG. 5 shows prediction modes corresponding to prediction mode identifiers for 33 types of prediction modes belonging to direction prediction.
  • the direction of the arrow in FIG. 5 represents the prediction direction, but more accurately indicates the direction of the vector from the prediction target pixel to the decoded pixel referred to by the prediction target pixel. In that sense, the prediction direction is also referred to as a reference direction.
  • the identifier of each prediction mode is associated with a code indicating whether the main direction is the horizontal direction (HOR) or the vertical direction (VER) and an identifier composed of a combination of displacements with respect to the main direction.
  • HOR is used for horizontal prediction
  • VER is used for vertical prediction
  • VER + 8 is used for a prediction mode that refers to surrounding pixels in the upper right 45-degree direction
  • VER-8 is used for a prediction mode that refers to surrounding pixels in the 45-degree upper left direction
  • 45 is used for lower left 45
  • a prediction mode that refers to peripheral pixels in the direction of the degree is assigned a code of HOR + 8.
  • 17 prediction directions of VER-8 to VER + 8 are defined as a vertical prediction mode
  • 16 prediction directions of HOR-7 to HOR + 8 are defined as a prediction mode of horizontal prediction.
  • the prediction direction is expressed by a main direction and a gradient.
  • the main direction is a reference direction for expressing the prediction direction, and is, for example, a vertical direction or a horizontal direction.
  • the gradient represents the angle between the prediction direction and the main direction.
  • the prediction direction corresponds to the prediction mode.
  • the prediction mode for example, as described in Non-Patent Document 1, 33 types of direction prediction can be employed. Further, a prediction mode number is associated with the prediction mode.
  • Non-Patent Document 1 a configuration in which a prediction mode identifier is assigned to the prediction mode may be used.
  • the prediction mode identifier can be composed of a main direction and a displacement.
  • the displacement is identification information for specifying the gradient.
  • the vertical direction is expressed as “VER” and the horizontal direction is expressed as “HOR”. Further, the displacement from the main direction is expressed as “ ⁇ 8” to “ ⁇ 1” and “+1” to “+8”.
  • 17 prediction modes from VER-8 to VER + 8 in which the main direction is the vertical direction and 16 prediction modes from HOR-7 to HOR + 8 in which the main direction is the horizontal direction are defined. Can do.
  • the gradient may be associated with a prediction mode identifier (prediction mode number).
  • prediction mode number and the prediction direction are associated with each other, and the identifier of the prediction direction and the gradient are associated with each other.
  • the association between the prediction mode and the prediction mode number has such a property that a predetermined feature amount related to the direction prediction can be specified from the prediction mode number.
  • the feature amount is, for example, the main direction and gradient of the prediction direction.
  • the feature amount may be the accuracy of the prediction direction, the absolute value of the gradient (displacement), the sign of the gradient (displacement), or the difference between the displacements of the two prediction modes.
  • the above properties are, for example, the following properties 1 to 3.
  • all of the following properties 1 to 3 may not be satisfied at the same time.
  • the associations that satisfy the combinations of the properties 1 to 3 are possible.
  • (Characteristic 1) Ease of determining main direction This is the ease of determining whether the main direction is the vertical direction or the horizontal direction.
  • association for realizing this property it is possible to associate the prediction mode in the vertical direction and the prediction mode in the horizontal direction in accordance with the even / oddness of the prediction mode number. As a result, the main direction can be determined only by performing even / odd determination of the prediction mode number.
  • the prediction mode in the vertical direction and the prediction mode in the horizontal direction are associated with each other depending on whether the prediction mode number is a predetermined number or more. Thereby, a main direction can be determined by determining whether prediction mode is more than a predetermined number.
  • prediction mode numbers having a certain difference may be associated with two prediction modes having different main directions and the same displacement (gradient) with respect to the main direction.
  • the difference of the displacement (gradient) of two prediction modes can be determined by determining the difference of the prediction mode numbers corresponding to two prediction modes.
  • the correspondence with the displacement can be shared between two prediction modes having different main directions and the same displacement (gradient) with respect to the main direction. That is, one displacement (gradient) can be associated with two prediction mode numbers. Furthermore, it is only necessary to associate a prediction mode number (prediction mode identifier) with one displacement (gradient) for any one of the main directions, and omit the association for the other main direction. Can do. To put it another way, it is possible to integrate gradient correspondences for two prediction mode identifiers having different main directions and equal displacements. As a result, the table size for association can be reduced. (Characteristic 3) Ease of determination of direction prediction accuracy Speaking of the direction prediction accuracy, even-numbered displacement has low accuracy, and odd-numbered displacement has high accuracy.
  • association for satisfying this property it is possible to associate an even displacement prediction mode and an odd displacement prediction mode in accordance with whether or not the prediction mode number is a predetermined number or more.
  • the even displacement prediction mode and the odd displacement prediction mode are associated with each other.
  • the size of the table that associates the prediction mode number (prediction mode identifier) with the feature quantity can be reduced or the table can be omitted.
  • the process can be executed according to the feature amount specified as described above.
  • the predetermined restoration processing for example, in prediction image generation, processing for deriving a prediction direction, filter selection processing applied to reference pixels used for prediction image generation, scan order determination processing for decoding conversion coefficients, conversion
  • An orthogonal transformation process such as a vertical primary transformation and a horizontal primary transformation applied to the coefficients may be mentioned.
  • These restoration processes may be performed according to a predetermined feature amount related to the prediction direction. That is, it can be said that these restoration processes are restoration processes performed in accordance with a predetermined feature amount related to the prediction direction.
  • FIG. 6 is a diagram illustrating an example of a prediction mode definition DEFPM1 that is a definition of correspondence between an intra prediction method and a prediction mode number. In the prediction mode definition DEFPM1 shown in FIG.
  • prediction mode numbers of “0” for Planar prediction, “1” for horizontal prediction, “2” for vertical prediction, and “3” for DC prediction are assigned. From prediction mode numbers “4” to “18”, the Angular prediction mode in which the displacement from the main direction is an even number is in the order of the prediction mode in which the displacement is small. When the displacements are equal, the main direction is vertical and horizontal. The prediction mode numbers are assigned in this order. From prediction mode numbers '19' to '35', the Angular prediction mode in which the displacement from the main direction is an odd number is in the order of the prediction mode in which the displacement is small. When the displacements are equal, the main direction is vertical and horizontal. The prediction mode numbers are assigned in this order.
  • FIG. 7 shows the relationship between the logarithm of the PU size 2 (log2PartSize) and the number of prediction modes.
  • 18 predictions when log2PartSize is 2 (PU size is 4x4 pixels), otherwise 35 predictions when log2PartSize is 3-6 (PU size is 8x8 pixels to 64x64 pixels)
  • the mode can be selected.
  • the 18 prediction modes are the prediction modes of the prediction mode numbers 0 to 17, the 35 prediction modes, and the prediction modes of the prediction mode numbers 0 to 34.
  • the number of prediction modes applied to color differences is six regardless of the size of the prediction unit, but the type of prediction mode is a prediction mode (corresponding luminance prediction mode) applied to a luminance prediction unit corresponding to the target color difference prediction unit.
  • FIG. 8 illustrates the definition of the color difference prediction mode corresponding to the prediction mode number of the corresponding luminance prediction mode.
  • selectable color difference prediction modes include LM prediction, vertical prediction, horizontal prediction, Planar prediction, and VER + 8 prediction.
  • the selectable color difference prediction mode has the same prediction mode as the corresponding luminance prediction mode. included.
  • the nature of the prediction mode number in the prediction mode definition DEFPM1 will be described with reference to the prediction mode definition DEFPM1 in FIG. 6 again.
  • the prediction mode number defined by the prediction mode definition DEFPM1 in FIG. 6 has the following three properties 1 to 3. (Characteristic 1) Easiness of determination of main direction An even prediction mode number is associated with a direction prediction in which the main direction is a vertical direction, and an odd prediction mode number is associated with a direction prediction in which the main direction is a horizontal direction. In this case, it is possible to determine whether the main direction is the horizontal direction or the vertical direction by determining whether the prediction mode number is an odd number or an even number.
  • Whether the prediction mode number is odd or even can be determined based on whether the least significant bit of the prediction mode number is 0 or 1.
  • (Characteristic 2) Ease of determination of same displacement direction prediction mode Two prediction modes having different main directions and the same displacement in the main direction are associated with consecutive prediction mode numbers. For example, prediction mode numbers 13 and 14 are assigned to HOR + 4 prediction and VER + 4 prediction, respectively. In this case, it is possible to easily determine whether or not the displacements of the two prediction modes in the main direction are equal. If the two prediction modes are m1 and m2, whether or not the two prediction modes have the same displacement can be determined by whether (m1 + c) >> 1 and (m2 + c) >> 1 match.
  • c is 1 when the smaller prediction mode number of consecutive prediction mode numbers of the same displacement is an odd number, and 0 when it is an even number.
  • Property 3 Ease of determining direction prediction accuracy While a small prediction mode number (18 or less) is associated with a direction prediction with an even displacement relative to the main direction, the main direction is associated with a large prediction mode number (19 or more). Directional prediction with an odd displacement is associated with. Displacement can be expressed with higher accuracy by adding odd displacement to even displacement. Therefore, a low accuracy displacement is associated with a small prediction mode number, and a high accuracy displacement is associated with a large prediction mode number. In this case, whether or not the accuracy of the prediction direction is low can be determined by whether or not the prediction mode number is equal to or less than a predetermined value (18 in the above example).
  • the properties 1 to 3 of the prediction mode definition described above have the effect of simplifying the determination process based on the prediction mode.
  • the simplification includes a reduction in the number of operations in the determination process and a reduction in the table size required for the determination process.
  • Examples of processing involving determination based on the prediction mode include prediction image generation by Angular prediction, estimation prediction mode candidate derivation, reference pixel filter application, transform coefficient scanning, and direction-dependent orthogonal transform. Details of each example will be described later.
  • [Definition 2] you may use the prediction mode definition different from the above.
  • the prediction mode definition DEFPM2 shown in FIG. 9 may be used. In the prediction mode definition DEFPM2 of FIG.
  • Prediction mode numbers “5” to “34” are assigned with prediction mode numbers so that the absolute values of displacement in the main direction are in a predetermined priority order.
  • the predetermined priority order is an order in which the smaller prediction mode numbers are assigned in the order of the absolute values of displacements of 8, 2, 4, 6, 1, 3, 5, and 7.
  • the priority order is the prediction mode (8) corresponding to the diagonal direction, the prediction mode corresponding to the prediction direction with a coarse direction accuracy in the order of the absolute value of the displacement (2, 4, 6), and the prediction direction with a fine direction accuracy.
  • the prediction modes corresponding to are in order of increasing absolute value of displacement (1, 3, 5, 7).
  • This priority order uses the fact that the prediction mode corresponding to the diagonal direction is more easily selected than the prediction modes corresponding to other prediction directions except horizontal and vertical. Further, this priority order uses the fact that a prediction mode corresponding to a prediction direction with a small absolute value of displacement, that is, a direction close to the main direction is easily selected.
  • the prediction mode corresponding to the negative displacement is smaller than the prediction mode corresponding to the positive displacement.
  • a prediction mode number is assigned. This priority order is determined in consideration of the fact that the prediction mode based on negative displacement is more easily selected than the prediction mode based on positive displacement when the absolute values of displacement are equal.
  • the prediction mode with negative displacement is the prediction mode corresponding to the prediction direction from the upper left to the lower right direction, while the prediction mode with positive displacement is the prediction direction from the upper right to the lower left or the prediction direction from the lower left to the upper right. Corresponds to the prediction mode corresponding to.
  • a prediction mode having a positive displacement that refers to the decoded image in the upper right or lower left is less likely to be selected than a prediction mode having a negative displacement that refers to the decoded image in the upper left.
  • the prediction mode in which the main direction is the vertical direction is smaller than the prediction mode in which the main direction is the horizontal direction.
  • a mode number is assigned.
  • the prediction mode in which the main direction refers to the decoded image on the lower left of the target PU is less likely to be selected than the prediction mode in which the main direction is the vertical direction.
  • the prediction mode definition DEFPM2 shown in FIG. 9 has the following two properties in addition to the properties 1 to 3 that the prediction mode definition in FIG. 6 has.
  • (Characteristic 4) Ease of determination of displacement sign
  • the prediction mode associated with the displacement of the same sign is periodically repeated two by two.
  • consecutive prediction mode numbers 7 to 10 are VER-2, HOR-2, VER + 2, and HOR + 2 in order
  • the signs are “ ⁇ ”, “ ⁇ ”, “+”, and “+” in order.
  • the sign can be derived from the prediction mode number.
  • the code s can be derived from the following equation for the prediction mode number m.
  • s (((m + d) &2)> 0)? +1: -1
  • the operator “&” is a bitwise OR operator, and (m + d) & 2 is 2 if the second bit from the lower order of the binary representation of the integer m + d is 1, while the 2 If the bit is 0, the value is 0.
  • s is ⁇ 1 (negative sign)
  • s is +1 (positive (Sign).
  • FIG. 10 is a functional block diagram illustrating a configuration example of the predicted image generation unit 14.
  • this structural example has illustrated the functional block which concerns on the prediction image production
  • FIG. 10 is a functional block diagram illustrating a configuration example of the predicted image generation unit 14.
  • this structural example has illustrated the functional block which concerns on the prediction image production
  • the predicted image generation unit 14 includes a prediction unit setting unit 141, a reference pixel setting unit 142, a switch 143, a reference pixel filter unit 144, a luminance prediction unit 145, and a color difference prediction unit 146.
  • the prediction unit setting unit 141 sets the PU included in the target CU as the target PU in a prescribed setting order, and outputs information about the target PU (target PU information).
  • the target PU information includes at least a size of the target PU, a position in the CU of the target PU, and an index (luminance color difference index cIdx) indicating the luminance or color difference plane of the target PU.
  • the PU setting order is such that PUs corresponding to Y included in the target CU are set in raster scan order, and subsequently, PUs corresponding to the order of U and V are set in raster scan order. Use the order of setting.
  • FIG. 11 will be described with reference to FIG. 11 illustrating PU setting order and PUs included in the CU when the input image is in the 4: 2: 0 YUV format.
  • FIG. 11 illustrates PUs in the CU when the size of the target CU is 8 ⁇ 8 pixels and the division type is N ⁇ N.
  • four 4 ⁇ 4 pixel PUs corresponding to the luminance Y are set in the raster scan order (in the order of PU_Y0, PU_Y1, PU_Y2, PU_Y3).
  • one 4 ⁇ 4 pixel PU (PU_U0) corresponding to the color difference U is set.
  • PU_V0 one 4 ⁇ 4 pixel prediction unit corresponding to the color difference V is set.
  • FIG. 11 illustrates PUs in the CU when the size of the target CU is 16 ⁇ 16 pixels and the division type is 2N ⁇ 2N.
  • PU_Y0 16 ⁇ 16 pixel prediction unit
  • PU_U0 one 8 ⁇ 8 pixel prediction unit
  • PU_V0 one 8 ⁇ 8 pixel prediction unit
  • the reference pixel setting unit 142 reads a pixel value (decoded pixel value) of a decoded image around the target PU recorded in the frame memory based on the input target PU information, and is referred to when generating a predicted image Set the pixel.
  • the reference pixel value p (x, y) is set by the following equation using the decoded pixel value r (x, y).
  • (xB, yB) represents the position of the upper left pixel in the target PU
  • nS represents the size of the target PU, and indicates the larger value of the width or height of the target PU.
  • the decoded pixel value included in the decoded pixel line adjacent to the upper side of the target PU and the decoded pixel column adjacent to the left side of the target PU is copied to the corresponding reference pixel value.
  • a predetermined value may be used, or referenceable decoding existing in the vicinity of the corresponding decoded pixel value. Pixel values may be used.
  • the switch 143 determines whether the target PU is a luminance or a color difference based on the input target PU information, and outputs the reference pixel input in the corresponding output direction.
  • the reference pixel filter unit 144 applies a filter to the input reference pixel value according to the input prediction mode, and outputs the reference pixel value after the filter application. Specifically, the reference pixel filter unit 144 determines whether to apply the filter according to the target PU size and the prediction mode.
  • the relationship between the presence / absence of filter adaptation, the target PU size, and the prediction mode will be described with reference to FIG.
  • FIG. 12 shows the relationship between the prediction mode number according to the prediction mode definition DEFPM1 of FIG. 6 and the value of filter application presence / absence (refPicFilterFlag). In FIG.
  • refPicFilterFlag when the value of refPicFilterFlag is 1, it indicates that a smoothing filter using adjacent pixels is applied to each pixel of the reference pixel, and when the value of refPicFilterFlag is 0, no smoothing filter is applied. Show.
  • the target PU size nS is 4, refPicFilterFlag is set to 0 regardless of the prediction mode.
  • the target PU size nS is 8, when the prediction mode number is 0 (Planar), 4 (VER-8), 17 (HOR + 8), 18 (VER + 8), refPicFilterFlag is set to 1, otherwise Set to 0.
  • the refPicFilterFlag is set to 0 when the prediction mode number is 1 (HOR), 2 (VER), 3 (DC), or 24 to 27 (VER ⁇ 1, HOR ⁇ 1). Otherwise, set to 1.
  • the target PU size nS is 32 or 64
  • refPicFilterFlag is set to 0 when the prediction mode number is 1 to 3, and is set to 1 otherwise.
  • the smoothing filter for the reference pixel should be applied differs depending on the PU size.
  • both 32 ⁇ 32 pixel PUs and 64 ⁇ 64 pixel PUs tend to be selected in a relatively flat region compared to a region in which a PU of less than 32 ⁇ 32 pixels is selected.
  • the nature of the area to which is applied is similar. Therefore, by applying a smoothing filter to the same prediction mode between the two, the table size required for selecting the smoothing filter can be reduced without reducing the coding efficiency.
  • the luminance prediction unit 145 generates and outputs a luminance prediction image of the target PU based on the input prediction mode and reference pixels. Detailed description of the luminance prediction unit 145 will be described later.
  • the color difference prediction unit 146 generates and outputs a color difference prediction image of the target PU based on the input prediction mode and reference pixels. Detailed description of the color difference prediction unit 146 will be described later.
  • the prediction unit setting unit 141 sets one of the PUs included in the CU as the target PU according to a predetermined order, and sets the target PU information as the reference pixel setting unit 142 and the switch. It outputs to 143 (S11).
  • the reference pixel setting unit 142 sets the reference pixel of the target PU using the decoded pixel value read from the external frame memory (S12).
  • the switch 143 determines whether the target PU is luminance or color difference based on the input target PU information, and switches the output according to the determination result (S13).
  • the output of the switch 143 is connected to the reference pixel filter unit 144.
  • the reference pixel is input to the reference pixel filter unit 144, the reference pixel filter is applied according to the prediction mode separately input, and the reference pixel after the filter application is output to the luminance prediction unit 145 (S14).
  • the brightness prediction unit 145 generates and outputs a brightness prediction image in the target PU based on the input reference pixel and the prediction mode (S15).
  • the output of the switch 143 is connected to the color difference prediction unit 146.
  • the color difference prediction unit 146 generates and outputs a color difference prediction image in the target PU based on the input reference pixel and the prediction mode (S16).
  • the prediction unit setting unit 141 determines whether the prediction images of all the PUs in the target CU have been generated (S17). When the prediction image of some PUs in the target CU has not been generated (NO in S17), the process returns to S1, and the prediction image generation process for the next PU in the target CU is executed.
  • FIG. 14 shows a detailed configuration of the luminance prediction unit 145.
  • the luminance prediction unit 145 includes a prediction method selection unit 1451 and a predicted image derivation unit 1452.
  • the prediction method selection unit 1451 selects a prediction method used for prediction image generation based on the input prediction mode and outputs a selection result.
  • the selection of the prediction method is realized by selecting a prediction method corresponding to the prediction mode number of the input prediction mode based on the definition of FIG. 4 described above.
  • the prediction image derivation unit 1452 derives a prediction image corresponding to the prediction method selection result output by the prediction method selection unit 1451. More specifically, the predicted image derivation unit 1452 includes a DC prediction unit 1452D, a Planar prediction unit 1452P, a horizontal prediction unit 1452H, a vertical prediction unit 1452V, an Angular prediction unit 1452A, and a prediction direction derivation unit 1453. Further, when the prediction method is Planer, vertical prediction, horizontal prediction, DC prediction, and Angular, the predicted image derivation unit 1452 is Planar prediction unit 1452P, vertical prediction unit 1452V, horizontal prediction unit 1452H, and Angular prediction unit, respectively. A prediction image is derived by 1452A.
  • the DC prediction unit 1452D derives a DC prediction value corresponding to the average value of the pixel values of the input reference pixels, and outputs a prediction image using the derived DC prediction value as a pixel value.
  • the Planar prediction unit 1452P generates and outputs a prediction image based on pixel values derived by linearly adding a plurality of reference pixels according to the distance to the prediction target pixel.
  • the pixel value predSamples [x, y] of the predicted image can be derived by the following equation using the reference pixel value p [x, y] and the size nS of the target PU.
  • the horizontal prediction unit 1452H generates a prediction image obtained by extrapolating the left side adjacent pixel of the target PU in the horizontal direction based on the input reference pixels, and outputs the result as a prediction image.
  • the vertical prediction unit 1452V generates a prediction image obtained by extrapolating the upper side adjacent pixels of the target PU in the vertical direction based on the input reference pixels, and outputs the result as a prediction image.
  • the prediction direction deriving unit 1453 determines and outputs a prediction direction (reference direction) associated with the prediction mode when the input prediction mode is the direction prediction mode.
  • the output prediction direction is expressed by a combination of a main direction flag bRefVer indicating whether or not the main direction is a vertical direction and a gradient (offset) intraPredAngle of the prediction direction with respect to the main direction.
  • a main direction flag bRefVer indicating whether or not the main direction is a vertical direction
  • FIG. 1 is a functional block diagram illustrating a configuration example of the prediction direction deriving unit 1453.
  • the prediction direction deriving unit 1453 includes a main direction deriving unit 1453A and a gradient deriving unit 1453B.
  • the main direction deriving unit 1453A derives the main direction flag bRefVer. Further, the main direction deriving unit 1453A can refer to the prediction mode definition DEFPM1 of FIG.
  • the main direction flag bRefVer is derived from the following equation based on the prediction mode number m.
  • the main direction flag bRefVer 1 (main direction is the vertical direction)
  • the prediction mode number m is an odd number
  • the value of the main direction flag bRefVer is 0 (main Direction is horizontal).
  • the main direction can be determined based on the even / odd of the prediction mode number m in the prediction mode definition DEFPM1 in FIG. 6 in which the main direction of the even prediction mode number is the vertical direction and the main direction of the odd prediction mode. This is a case where the prediction mode number is defined so that the direction is the horizontal direction.
  • the prediction mode number satisfies the above-described property 1, that is, ease of main direction determination, because the main direction flag bRefVer can be easily derived.
  • a table that associates the prediction mode number m with the main direction is required. Therefore, by using the prediction mode number definition that satisfies the ease of determining the main direction, the main direction can be derived without using such a table, so that the memory can be reduced.
  • the gradient deriving unit 1453B derives the gradient intraPredAngle. Further, the gradient deriving unit 1453B can refer to the gradient definition table DEFANG1 shown in FIG.
  • the gradient definition table DEFANG1 shown in FIG. 15 is a table showing a correspondence relationship between values of the prediction mode identifier and the gradient intraPredAngle.
  • the gradient deriving unit 1453B may derive the gradient intraPredAngle based on the gradient definition table DEFANG1.
  • the value of the gradient intraPredAngle is a value representing the gradient in the prediction direction. More precisely, when the main direction is the vertical direction, the direction of the vector represented by (intraPredAngle, -32) is the prediction direction.
  • the vector direction represented by ( ⁇ 32, intraPredAngle) is the prediction direction.
  • the absolute values of the gradient intraPredAngle corresponding to the absolute values 0 to 8 of the displacement with respect to the main direction are 0, 2, 5, 9, 13, 17, 21, 26, 32 in order.
  • the sign of displacement with respect to the main direction and the sign of gradient intraPredAngle are equal.
  • the value of the gradient intraPredAngle corresponding to the identifier HOR-1 is ⁇ 2.
  • the table DEFANG1 shown in FIG. 15 two prediction modes having different main directions and the same displacement in the main direction are associated with the same intraPredAngle value. Therefore, for example, as in the gradient definition table DEFANG1r shown in FIG. 16, in two prediction modes having the same displacement in the main direction, the table can be set so as to share the same gradient intraPredAngle value setting.
  • the gradient deriving unit 1453B may derive the gradient intraPredAngle based on the gradient definition table DEFANG1r shown in FIG. Note that the prediction direction deriving unit 1453 may be provided with one of the gradient definition table DEFANG1 shown in FIG. 15 and the gradient definition table DEFANG1r shown in FIG.
  • the memory can be reduced as compared with the case where the gradient definition table DEFANG1 shown in FIG. 15 is used.
  • the prediction mode number satisfies the above-described property 2, that is, the ease of determining the same displacement direction prediction mode, a prediction mode having the same displacement in the main direction can be easily derived.
  • the value of the offset intraPredAngle can be derived from the prediction mode number. That is, when the prediction mode number satisfies the ease of determining the same displacement direction prediction mode, the table size used for deriving the parameter (intraPredAngle) used for Angular prediction can be reduced.
  • FIG. 17 is a functional block diagram illustrating another configuration example of the prediction direction deriving unit 1453.
  • the main direction deriving unit 1453A and the gradient deriving unit 1453B in FIG. 1 are changed to a main direction deriving unit 1453A ′ and a gradient deriving unit 1453B ′.
  • the main direction deriving unit 1453A ' refers to the prediction mode definition DEFPM2 in FIG.
  • the derivation of the main direction flag bRefVer is the same as that of the main direction derivation unit 1453A shown in FIG.
  • the gradient deriving unit 1453B derives the gradient intraPredAngle by deriving the absolute value and sign of the gradient from the prediction mode number.
  • the gradient deriving unit 1453B ' can derive the absolute value of the gradient by referring to the gradient absolute value definition table DEFANG2 shown in FIG.
  • the gradient absolute value definition table DEFANG2 shown in FIG. 18 is a table that associates the absolute value of displacement with respect to the main direction and the absolute value absIntraPredAngle of the gradient intraPredAngle.
  • FIG. 18 shows the correspondence between the index DI and absIntraPredAngle. Index DI values 0, 5, 2, 6, 3, 7, 4, 8, and 1 are associated with absIntraPredAngle values 0, 2, 5, 9, 13, 17, 21, 26, and 32, respectively. ing.
  • the gradient deriving unit 1453B 'derives the code of the offset (gradient) intraPredAngle by calculation using the property 4 of the prediction mode definition in FIG. 9, that is, the ease of determining the sign of displacement.
  • the gradient deriving unit 1453B 'derives the gradient intraPredAngle by combining the absolute value of the gradient derived as described above and the sign of the gradient.
  • the Angular prediction unit 1452A generates and outputs a prediction image corresponding to the target PU using the reference pixels in the input prediction direction (reference direction).
  • a main reference pixel is set according to the value of the main direction flag bRefVer, and a predicted image is generated by referring to the main reference pixel in units of lines or columns in the PU.
  • the prediction image generation unit is set to a line, and the reference pixel above the target PU is set to the main reference pixel.
  • the main reference pixel refMain [x] is set using the value of the reference pixel p [x, y] by the following equation.
  • invAngle corresponds to a value obtained by scaling (multiplying by 8192) the reciprocal of the displacement intraPredAngule in the prediction direction. According to the above formula, in the range where x is 0 or more, the decoded pixel value of the pixel adjacent to the upper side of the target PU is set as the value of refMain [x].
  • the decoded pixel value of the pixel adjacent to the left side of the target PU is set as a value derived from the prediction direction as the value of refMain [x].
  • the predicted image predSamples [x, y] is calculated by the following equation.
  • predSamples [x, y] ((32-iFact) * refMain [x + iIdx + 1] + iFact * refMain [x + iIdx + 2] + 16) >> 5
  • iIdx and iFact represent the position of the main reference pixel used for generating the prediction target pixel calculated according to the distance (y + 1) between the prediction target line and the main reference pixel and the gradient intraPredAngule.
  • iIdx corresponds to the position of integer precision in pixel units
  • iFact corresponds to the position of decimal precision in pixel units, and is derived by the following equation.
  • the prediction image generation unit is set to a column, and the left reference pixel of the target PU is set to the main reference pixel.
  • the main reference pixel refMain [x] is set using the value of the reference pixel p [x, y] by the following equation.
  • predSamples [x, y] ((32-iFact) * refMain [y + iIdx + 1] + iFact * refMain [y + iIdx + 2] + 16) >> 5
  • iIdx and iFact represent the position of the main reference pixel used for generating the predicted reference pixel calculated according to the distance (x + 1) between the prediction target column and the main reference pixel and the gradient intraPredAngule.
  • iIdx corresponds to an integer-precision position in pixel units
  • iFact corresponds to a decimal-precision position in pixel units.
  • FIG. 19 is a flowchart showing the Angular prediction process in the luminance prediction unit.
  • the prediction mode input to the prediction method selection part 1451 is Angular prediction
  • the prediction image generation process by Angular prediction is started.
  • the prediction direction deriving unit 1453 determines the main direction of the prediction direction based on the input prediction mode, and outputs it to the Angular prediction unit 1452A (S21). Next, the prediction direction deriving unit 1453 determines an offset intraPredAngle for the main direction of the prediction direction based on the input prediction mode, and outputs it to the Angular prediction unit 1452A (S22). The Angular prediction unit 1452A sets a main reference pixel based on the input main direction (S23). Subsequently, the Angular prediction unit 1452A sets a prediction target line or column (S24), and generates a prediction image for the target line or column (S25).
  • the color difference prediction unit 146 includes a prediction method selection unit 1451, a predicted image derivation unit 1452, and a prediction direction derivation unit 1453.
  • the predicted image derivation unit 1452 includes a DC prediction unit 1452D, a Planar prediction unit 1452P, a horizontal prediction unit 1452H, a vertical prediction unit 1452V, an Angular prediction unit 1452A, and an LM prediction unit 1452L.
  • the constituent elements other than the LM prediction unit 1452L have the same functions as the corresponding constituent elements included in the luminance prediction unit 145, and thus the same reference numerals are given and description thereof is omitted.
  • the LM prediction unit 1452L estimates a parameter related to the correlation between the luminance pixel value and the color difference pixel value in the target PU based on the correlation between the luminance decoded pixel value around the target PU and the reference pixel value (color difference decoded pixel value).
  • the correlation parameter includes a correlation coefficient a and an offset b.
  • the prediction target PU that is, the color difference prediction image predSamuplesC [x, y] is calculated by the following equation using the pixel value recY [x, y] of the luminance decoded image corresponding to the target PU and the correlation parameter.
  • predSamplesC [x, y] a * recY [x, y] + b This is the end of the description of the prediction image generation processing of the target CU in the prediction image generation unit 14.
  • FIG. 21 is a functional block diagram illustrating a configuration example of the variable length decoding unit 11.
  • the structure which decodes prediction mode among the structures of the variable-length decoding part 11 is shown in detail.
  • variable length decoding unit 11 includes a prediction set determination unit 111, an MPM derivation unit 112, an MPM determination unit 113, a prediction mode restoration unit 114, a color difference prediction mode restoration unit 116, and a context storage unit 117. .
  • the prediction set determination unit 111 determines a prediction set that is a set of prediction modes used for prediction processing. For example, the prediction set determination unit 111 calculates the number of prediction modes used for prediction processing according to the size of the target block, and determines the prediction set by selecting the calculated number of prediction modes from the prediction mode definition. To do. In other words, the prediction set is defined for each size of the target block or for each number of prediction modes available in the target PU.
  • the MPM deriving unit 112 derives the MPM based on the prediction mode assigned to the partitions around the target partition.
  • the MPM deriving unit 112 illustratively derives two MPMs.
  • the MPM deriving unit 112 derives a first MPM candidate (hereinafter referred to as MPM0) and a second MPM candidate (hereinafter referred to as MPM1) as follows.
  • the object to PMA PU Left neighboring adjacent to the left of R T PU: prediction mode N A, subject to PMB PU: adjacent on adjacent on the R T PU: the N B Set the prediction mode.
  • a default prediction mode for example, “Intra_Planar” is set.
  • the case where the adjacent PU is unavailable includes a case where the prediction mode of the adjacent PU is not decoded, and the case where the adjacent PU is an upper adjacent PU and belongs to a different LCU (tree block).
  • the MPM deriving unit 112 derives MPM0 according to the following equation (1).
  • MPM0 pmA (1)
  • MPM1 is derived according to the following equation (2).
  • MPM1 pmB (2) On the other hand, if pmA and pmB match, the MPM deriving unit 112 sets “Intra_Planar” to MPM1 if pmA is “Intra_DC”, and sets “Intra_DC” to MPM1 if pmA is other than “Intra_DC”. Set to.
  • the MPM determination unit 113 determines whether or not the prediction mode of the target PU matches the estimated prediction mode MPM based on mpm_flag included in the encoded data. mpm_flag is “1” when the prediction mode of the target PU matches the estimated prediction mode MPM, and “0” when the prediction mode of the target PU does not match the estimated prediction mode MPM. The MPM determination unit 113 notifies the prediction mode restoration unit 114 of the determination result.
  • the MPM determination unit 113 decodes mpm_flag from the encoded data according to the context stored in the context storage unit 117.
  • the prediction mode restoration unit 114 restores the prediction mode for the target PU.
  • the prediction mode restoration unit 114 restores the prediction mode according to the determination result notified from the MPM determination unit 113.
  • the prediction mode restoration unit 114 decodes mpm_idx from the encoded data, and restores the prediction mode based on the value.
  • mpm_idx is “0” when the prediction mode of the target PU matches MPM0, and “1” when the prediction mode of the target PU matches MPM1.
  • prediction mode restoration unit 114 may or may not use the context stored in the context storage unit 117 when decoding mpm_idx.
  • the values of MPM0 and MPM1 may be conditionally swapped so that the prediction mode corresponding to the small prediction mode number becomes the value of MPM0 with respect to MPM0 and MPM1 derived by the above processing. preferable.
  • the code amount can be reduced.
  • a prediction mode number with a high occurrence probability is associated with a small prediction mode number
  • the occurrence probability of MPM0 becomes higher than the occurrence probability of MPM1. Accordingly, since the probability that a value of 0 occurs in mpm_idx is higher than the probability that a value of 1 occurs, the code amount of mpm_idx can be reduced.
  • the prediction mode restoration unit 114 restores the prediction mode based on rem_idx included in the encoded data. Specifically, first, the values of MPM0 and MPM1 are conditionally swapped so that a smaller prediction mode number of MPM0 and MPM1 is assigned to MPM0. Next, when the value of rem_idx is equal to or greater than the value of MPM0, 1 is added to the value of rem_idx. Next, when the value of rem_idx is equal to or greater than the value of MPM1, 1 is added to the value of rem_idx. Finally, the prediction mode corresponding to the prediction mode number of the value of rem_idx is restored.
  • the color difference prediction mode restoration unit 116 restores the color difference prediction mode for the target PU. More specifically, the color difference prediction mode restoration unit 116 restores the color difference prediction mode as follows.
  • the color difference prediction mode restoration unit 116 decodes the intra color difference prediction mode designation information chroma_mode (intra_chroma_pred_mode) included in the encoded data # 1.
  • the color difference prediction mode restoration unit 116 restores the color difference prediction mode based on the restored intra color difference prediction mode designation information chroma_mode and the luminance prediction mode (IntraPredMode [xB] [yB]).
  • the MPM deriving unit 112 derives MPM0 (S21). Subsequently, the MPM deriving unit 112 derives MPM1 (S22).
  • the MPM determination unit 113 determines whether or not the prediction mode of the target PU matches the estimated prediction mode MPM based on mpm_flag (S23).
  • the prediction mode restoration unit 114 restores the prediction mode based on mpm_idx.
  • mpm_idx is “0”
  • the prediction mode restoration unit 114 sets MPM0 as the prediction mode pmT of the target PU, while when mpm_idx is “1”, sets MPM1 as the prediction mode pmT of the target PU. (S24).
  • the prediction mode restoration unit 114 compares MPM0 and MPM1, and the prediction mode number of MPM1 is greater than the prediction mode number of MPM0. If it is smaller, MPM0 and MPM1 are swapped (S25). Subsequently, the prediction mode restoration unit 114 generates an array of rem_mode (S26). Finally, the prediction mode restoration unit 114 selects the rem_idx-th element from the rem_mode array as the prediction mode (S27).
  • the moving image encoding device 2 is a device that generates and outputs encoded data # 1 by encoding the input image # 10.
  • FIG. 24 is a functional block diagram showing the configuration of the moving image encoding device 2.
  • the moving image encoding apparatus 2 includes an encoding setting unit 21, an inverse quantization / inverse conversion unit 22, a predicted image generation unit 23, an adder 24, a frame memory 25, a subtractor 26, a conversion / A quantization unit 27 and an encoded data generation unit 29 are provided.
  • the encoding setting unit 21 generates image data related to encoding and various setting information based on the input image # 10.
  • the encoding setting unit 21 generates the next image data and setting information.
  • the encoding setting unit 21 generates the CU image # 100 for the target CU by sequentially dividing the input image # 10 into slice units, tree block units, and CU units.
  • the encoding setting unit 21 generates header information H ′ based on the result of the division process.
  • the header information H ′ includes (1) information on the size and shape of the tree block belonging to the target slice and the position in the target slice, and (2) the size, shape and shape of the CU belonging to each tree block.
  • the encoding setting unit 21 refers to the CU image # 100 and the CU information CU 'to generate PT setting information PTI'.
  • the PT setting information PTI ' includes information on all combinations of (1) possible division patterns of the target CU for each PU and (2) prediction modes that can be assigned to each PU.
  • the encoding setting unit 21 supplies the CU image # 100 to the subtractor 26. In addition, the encoding setting unit 21 supplies the header information H ′ to the encoded data generation unit 29. Also, the encoding setting unit 21 supplies the PT setting information PTI ′ to the predicted image generation unit 23.
  • the inverse quantization / inverse transform unit 22 performs inverse quantization and inverse orthogonal transform on the quantized prediction residual for each block supplied from the transform / quantization unit 27, thereby predicting the prediction residual for each block. To restore.
  • the inverse orthogonal transform is as already described for the inverse quantization / inverse transform unit 13 shown in FIG.
  • the inverse quantization / inverse transform unit 22 integrates the prediction residual for each block according to the division pattern specified by the TT division information (described later), and generates the prediction residual D for the target CU.
  • the inverse quantization / inverse transform unit 22 supplies the prediction residual D for the generated target CU to the adder 24.
  • the predicted image generation unit 23 refers to the local decoded image P ′ and the PT setting information PTI ′ recorded in the frame memory 25 to generate a predicted image Pred for the target CU.
  • the predicted image generation unit 23 sets the prediction parameter obtained by the predicted image generation process in the PT setting information PTI ′, and transfers the set PT setting information PTI ′ to the encoded data generation unit 29. Note that the predicted image generation process performed by the predicted image generation unit 23 is the same as that performed by the predicted image generation unit 14 included in the video decoding device 1, and thus description thereof is omitted here.
  • the adder 24 adds the predicted image Pred supplied from the predicted image generation unit 23 and the prediction residual D supplied from the inverse quantization / inverse transform unit 22 to thereby obtain the decoded image P for the target CU. Generate.
  • Decoded decoded image P is sequentially recorded in the frame memory 25.
  • decoded images corresponding to all tree blocks decoded prior to the target tree block for example, all tree blocks preceding in the raster scan order
  • the time of decoding the target tree block It is recorded.
  • the subtractor 26 generates a prediction residual D for the target CU by subtracting the prediction image Pred from the CU image # 100.
  • the subtractor 26 supplies the generated prediction residual D to the transform / quantization unit 27.
  • the transform / quantization unit 27 generates a quantized prediction residual by performing orthogonal transform and quantization on the prediction residual D.
  • the orthogonal transformation refers to transformation from the pixel region to the frequency region.
  • Examples of inverse orthogonal transformation include DCT transformation (DiscretecreCosine Transform), DST transformation (Discrete Sine Transform), and the like.
  • the transform / quantization unit 27 refers to the CU image # 100 and the CU information CU 'and determines a division pattern of the target CU into one or a plurality of blocks. Further, according to the determined division pattern, the prediction residual D is divided into prediction residuals for each block.
  • the transform / quantization unit 27 generates a prediction residual in the frequency domain by orthogonally transforming the prediction residual for each block, and then quantizes the prediction residual in the frequency domain to Generate quantized prediction residuals.
  • the transform / quantization unit 27 generates the quantization prediction residual for each block, TT division information that specifies the division pattern of the target CU, information about all possible division patterns for each block of the target CU, and TT setting information TTI ′ including is generated.
  • the transform / quantization unit 27 supplies the generated TT setting information TTI ′ to the inverse quantization / inverse transform unit 22 and the encoded data generation unit 29.
  • the encoded data generation unit 29 encodes header information H ′, TT setting information TTI ′, and PT setting information PTI ′, and multiplexes the encoded header information H, TT setting information TTI, and PT setting information PTI. Coded data # 1 is generated and output.
  • FIG. 25 is a functional block diagram illustrating a configuration example of the encoded data generation unit 29.
  • the encoded data generation unit 29 can encode data other than transform coefficients included in the TT information TTI ', for example, side information.
  • the encoded data generation unit 29 includes a context storage unit 117, a prediction set determination unit 291, an MPM derivation unit 292, an MPM determination unit 293, a prediction mode encoding unit 294, and a color difference prediction mode encoding unit. 296.
  • the MPM derivation is not different between the video decoding device 1 and the video encoding device 2.
  • the configuration of the video decoding device 1 is the same as the configuration corresponding to the video decoding device 1 and the video encoding device 2 or the configuration that performs the same processing. Can be used.
  • the prediction set determination unit 291 and the MPM derivation unit 292 are the same as the context storage unit 151, the color difference prediction mode definition storage unit 154, the prediction set determination unit 111, and the MPM derivation unit 112 shown in FIG. Therefore, the description is omitted here.
  • the MPM determination unit 293, the prediction mode encoding unit 294, and the color difference prediction mode encoding unit 296 will be described.
  • the MPM determination unit 293 determines whether or not the MPM matches the prediction mode, and encodes mpm_flag according to the determination result. Since the encoding process has already been described for the variable length decoding unit 11 shown in FIG. 1, the description thereof is omitted here.
  • the prediction mode encoding unit 294 encodes information (mpm_idx, rem_idx) related to the prediction mode according to the determination result of the MPM determination unit 293.
  • the prediction mode encoding unit 294 encodes mpm_idx when MPM is used, and encodes rem_idx when MPM is not used.
  • the color difference prediction mode encoding unit 296 encodes the color difference prediction mode for the target PU. More specifically, the color difference prediction mode encoding unit 296 encodes the color difference prediction mode as follows.
  • the color difference prediction mode encoding unit 296 acquires the value of intra color difference prediction mode designation information chroma_mode (intra_chroma_pred_mode) using the prediction mode and the color difference prediction mode for luminance.
  • the color difference prediction mode encoding unit 296 encodes the value of the acquired intra color difference prediction mode designation information chroma_mode.
  • the MPM deriving unit 292 derives MPM0 (S31). Subsequently, the MPM deriving unit 292 derives MPM1 (S32).
  • the MPM determination unit 293 determines whether or not the prediction mode matches the MPM (MPM0 or MPM1) (S33).
  • mpm_idx is derived for the one that matches the prediction mode (S35).
  • the prediction mode encoding unit 294 compares MPM0 and MPM1, and if the prediction mode number of MPM1 is smaller than the prediction mode number of MPM0, swaps MPM0 and MPM1 (S37). Subsequently, the prediction mode encoding unit 294 generates an array of rem_mode (S38). Finally, the prediction mode encoding unit 294 derives rem_idx (S39).
  • the video decoding device 1 when the prediction mode is Angular prediction, the video decoding device 1 generates a prediction image by the intra prediction method associated with the prediction mode.
  • a prediction image generation unit that determines the main direction of the prediction direction based on the determination result and generates a prediction image based on the determination result, and easily determines whether the main direction of the corresponding direction prediction mode is the vertical direction or the horizontal direction.
  • the moving image encoding device 2 when the prediction mode is Angular prediction, the moving image encoding device 2 generates the predicted image by the intra prediction method associated with the prediction mode. And a prediction image generation unit that determines the main direction of the prediction direction based on the prediction mode number and generates a prediction image based on the determination result, and whether the main direction of the corresponding direction prediction mode is vertical or horizontal It is the structure provided with the variable length encoding part which encodes the prediction mode which has the property which can determine easily.
  • the determination of the main direction of the prediction direction based on the direction prediction mode can be derived without using a table that maps the prediction mode number and the main direction by using the property of the prediction mode number. Therefore, the memory required for decoding or encoding can be reduced.
  • intra prediction parameters included in the intra prediction information include mpm_flag which is a flag related to MPM (Most Probable Mode, the same applies hereinafter), mpm_idx which is an index for selecting MPM, and other than MPM. Rem_idx that is an index for designating the prediction mode is included.
  • the prediction mode number to be decoded has at least the above-described property 1 (easiness of main direction determination) when the prediction mode definition DEFPM2 of FIG. 9 is used.
  • the property 1 is useful for prediction image generation processing and prediction mode-dependent processing in the video decoding device, but is also useful for other processing.
  • it can be used when a post-filter is adaptively applied to a decoded image with the decoded image and encoded data # 1 as the output of the video decoding device 2 as inputs. More specifically, the prediction mode number is restored based on the encoded data # 1, it is determined whether the main direction of each prediction mode is the vertical direction or the horizontal direction, and a filter corresponding to the determination result is used for each prediction of the decoded image.
  • the applicable conversion factor scan order is horizontal scan (horzScan), vertical scan (vertScan), diagonal scan (diagScan), the vertical scan for the direction prediction near vertical, the direction near horizontal It is preferable to apply horizontal scanning for direction prediction and diagonal scanning for other prediction modes.
  • the scan order can be determined by the following procedure. First, when the prediction mode is not direction prediction, or when the angle (gradient) between the prediction direction and the main direction is larger than a predetermined value, the diagonal scan is selected. In other cases, if the main direction of the prediction direction is the vertical direction, the vertical scan is selected. In other cases (when the main direction of the prediction direction is the horizontal direction), the vertical scan is selected.
  • bPlanar (m) and bDC (m) are functions for determining whether the prediction mode is Planar prediction or DC prediction, respectively.
  • the value of absIntraPredAngle is a value that represents the absolute value of the gradient in the prediction direction that can be derived from the above-described FIG.
  • BHorz (m) is a function that returns a value of 1 when the main direction of the prediction mode is the horizontal direction and a value of 0 when the prediction mode is the vertical direction.
  • the value of bHorz (m) can be easily calculated without using a table.
  • the prediction mode definition of FIG. 9 if the prediction mode number m is an even number, the main direction is the horizontal direction, and if it is an odd number, the main direction is the vertical direction.
  • the scan order can be selected without using an additional table other than the table used when the predicted image is generated. Therefore, the memory can be reduced when using the prediction mode definition having the property 1, that is, the ease of determining the main direction.
  • the inverse orthogonal transform in the inverse quantization / inverse transform unit 13 of the video decoding device 1 is a transform between the image region and the two-dimensional frequency region, and is a two-dimensional inverse transform.
  • Two-dimensional inverse transformation may be realized by a combination of two one-dimensional inverse transformations (vertical one-dimensional inverse transformation and horizontal one-dimensional inverse transformation).
  • one-dimensional inverse DCT or one-dimensional inverse DST can be used as the vertical one-dimensional inverse transform.
  • one-dimensional inverse DCT or one-dimensional inverse DST can be used as the horizontal one-dimensional inverse transform.
  • the transformation in the transformation / quantization unit 27 of the moving picture coding apparatus 2 can be realized by a combination of two one-dimensional transformations.
  • one-dimensional DCT and one-dimensional DST can be used.
  • the conversion coefficient can be concentrated on the low-frequency component compared to the case where the same type of transformation is always applied. Can be reduced.
  • a combination of one-dimensional DCT to be applied in the vertical and horizontal directions can be selected by the following procedure.
  • the prediction mode is Planar prediction
  • the main direction of the prediction mode is the vertical direction, or the main direction of the prediction mode is the horizontal direction and the prediction direction is the upper left to the lower right direction
  • the vertical one-dimensional conversion Is set to one-dimensional DST.
  • one-dimensional DCT is set for vertical one-dimensional conversion.
  • the prediction mode is Planar prediction
  • the main direction of the prediction mode is the horizontal direction, or the main direction of the prediction mode is the vertical direction and the prediction direction is from the upper left to the lower right
  • the horizontal one dimension One-dimensional DST is set for conversion. Otherwise, one-dimensional DCT is set for horizontal one-dimensional conversion.
  • intraPredAngle represents the gradient in the prediction direction as described above, and in the case of a negative value, the prediction direction (reference direction) represents the upper left.
  • the sign of the gradient in the prediction direction matches the sign of the displacement with respect to the main direction in the prediction mode identifier.
  • ⁇ Modification 3 Another Method for Selecting Reference Pixel Filter>
  • the method of deriving the filter application presence / absence (refPicFilterFlag) value in the reference pixel filter unit 144 using the table of FIG. 12 is described, but another deriving method may be used.
  • the reference pixel filter unit 144 can set a filter application value according to the following expression in accordance with the value of the size puSize of the target PU.
  • absAng (m)> 2)? 1: 0 (puSize: 32x32,64x64)
  • absAng (m) is the same as the value of absIntraPredAngle defined in the gradient absolute value definition table shown in FIG.
  • the filter application value is set based on the absolute value of the gradient in the prediction direction.
  • the reference pixel filter is applied when the absolute value of the gradient in the prediction direction is equal to or smaller than a predetermined threshold corresponding to the size of the target PU (value of refPicFilterFlag Has selected 1).
  • the threshold value is set to be smaller as the size of the target PU is larger.
  • the reference pixel filter can be applied to a prediction mode associated with a prediction direction in which the angle formed with the main direction is smaller than when the size of the target PU is small. preferable.
  • the threshold value is changed according to the PU size.
  • another size for example, a determination according to the CU size or the size of the conversion unit may be used.
  • ⁇ Variation 4 Another example of prediction mode definition>
  • the prediction mode definition in FIGS. 6 and 9 has been described as an example. The following five properties are listed.
  • (Property 1) Easiness of main direction determination (Property 2) Ease of determination of the same direction prediction mode (Property 3) Easy determination of direction prediction accuracy (Property 4) Easy determination of sign of displacement (Property 5) Displacement Easiness of determination of absolute value of different prediction mode definitions having some of the above properties may be used.
  • the prediction mode definition DEFPM3 in FIG. 27 may be used.
  • a prediction mode number of 0 is assigned to the Planar prediction and a prediction mode number of 1 is assigned to the DC prediction.
  • prediction mode numbers 2 to 18 are sequentially assigned to prediction modes VER-8 to VER + 8.
  • prediction mode numbers 19 to 34 are sequentially assigned to the prediction modes HOR-7 to HOR + 8.
  • the prediction mode definition DEFPM3 in FIG. 27 satisfies properties 1 to 3 among the properties described above. In connection with property 1, the determination of whether the prediction mode is horizontal or vertical can be realized by determining whether the prediction mode number is 18 or less. In relation to property 2, whether or not the two prediction modes have the same displacement can be determined by whether or not the difference between the two prediction mode numbers matches 16.
  • the prediction mode definition is based on the definition of the prediction mode number shown in FIG. 9, and for the 4 ⁇ 4 PU size, for the prediction mode numbers 0 to 18 and 8 ⁇ 8 to 64 ⁇ 64 PU sizes. Makes it possible to select prediction modes of prediction mode numbers 0 to 34.
  • the prediction mode decoding process is basically the same as the prediction mode decoding process in the variable length decoding unit 11 described above, except for the following points.
  • the prediction mode restoration unit 114 in the variable length decoding unit 11 does not directly decode the value of rem_idx from the encoded data, but determines the value of rem_idx based on the values of rem_idx_zero_flag and rem_idx_minus_one decoded from the encoded data. More specifically, when the value of the decoded mpm_flag is 0, the prediction mode restoration unit 114 decodes rem_idx_zero_flag from the encoded data.
  • rem_idx_zero_flag If the value of rem_idx_zero_flag is 1, rem_idx is set to 0.
  • the value of rem_idx_zero_flag is 0, the value of rem_idx_minus_one is subsequently decoded, and a value obtained by adding 1 to rem_idx_minus_one is set as the value of rem_idx.
  • the value range of rem_idx is 0 to 16 when the PU size is 4 ⁇ 4, and 0 to 32 in other cases. Therefore, the value range of rem_idx_minus_one is 0 to 15 when the PU size is 4 ⁇ 4. In other cases, it is 0 to 31.
  • the value of rem_idx_minus_one can be encoded with a fixed-length code of 4 bits when the PU size is 4 ⁇ 4, and 5 bits otherwise.
  • the definition of the prediction mode number in FIG. 9 of the present invention can also be applied to the case of using the prediction mode number and the prediction mode encoding method according to the PU size as described above.
  • the type of prediction mode applicable to luminance is the default type determined according to the PU size.
  • the type of prediction mode applicable in sequence, picture, and slice units can be switched. good.
  • side information is selected by selecting a setting that can apply a small number of prediction modes to luminance. Can be reduced. Specific examples will be described below.
  • the number of prediction modes applicable to luminance is changed to the variable shown in (a) of FIG. 30 instead of the number determined by the relationship between the logarithm of the PU size 2 (log2PartSize) described in FIG. 7 and the number of prediction modes.
  • a number determined by the relationship between the combination of the value of intraPredPrecision and the value of log2PartSize and the number of prediction modes may be used.
  • the variable intraPredPrecision is a variable that represents the number of types of applicable prediction modes. A value of 0 indicates that there are many types, and a value of 1 indicates that there are few types. According to the relationship in FIG.
  • the number of prediction modes when the value of the variable intraPredPrecision is 0 is 18 when the log2PartSize is 2 (PU size is 4 ⁇ 4 pixels), and in other cases, that is, the log2PartSize is It is 35 when 3 to 6 (PU size is 8 ⁇ 8 pixels to 64 ⁇ 64 pixels).
  • the number of prediction modes when the value of the variable intraPredPrecision is 1 is 10 regardless of the value of log2PartSize.
  • the types of prediction modes applicable to luminance are predictions corresponding to prediction mode numbers 0 to Nm ⁇ 1 in the prediction mode definition DEFPM4 shown in FIG. 31 when the number of prediction modes described above is Nm.
  • the mode is preferable.
  • prediction mode numbers 0 to 9 are sequentially associated with the prediction modes of Planar, VER, HOR, DC, VER-8, VER-4, HOR-4, VER + 4, HOR + 4, and VER + 8, respectively. It has been.
  • prediction mode numbers 10 to 18 are sequentially associated with prediction modes of HOR + 8, VER-2, HOR-2, VER + 2, HOR + 2, VER-6, HOR-6, VER + 6, HOR + 6, and VER + 6, respectively.
  • the prediction mode numbers 19 to 35 are in order of VER-1, HOR-1, VER + 1, HOR + 1, VER-3, HOR-3, VER + 3, HOR + 3, VER-5, HOR-5, VER + 5, HOR + 5, VER-7. , HOR-7, VER + 7, HOR + 7, and LM, respectively.
  • the prediction mode definition DEFPM4 is applicable to the prediction mode number 10 and the prediction modes corresponding to the prediction mode numbers 0 to 9 are Angular prediction in which DC, Planar, displacement is 0, or the absolute value of the displacement is a multiple of 4. It has the property of including only.
  • the prediction modes corresponding to the prediction mode numbers 0 to 17 that are applicable when the number of prediction modes is 18 include only Angular prediction in which DC, Planar, displacement is 0, or the absolute value of the displacement is a multiple of 2. It has properties.
  • the number of prediction modes may be four.
  • the number of prediction modes is 4, in the prediction mode definition DEFPM4 in FIG. 31, prediction mode numbers 0 to 3 are sequentially associated with prediction modes of Planar, VER, HOR, and DC, respectively. Note that the use of 4 as the number of prediction modes is effective when two estimated prediction modes MPM are used when decoding the prediction mode number.
  • rem_idx is 0 to 1
  • rem_idx can be encoded with a 1-bit fixed-length code.
  • Nm the prediction mode number
  • variable intraPredPrecision By transmitting the value of the variable intraPredPrecision in SPS, PPS, and slice header, it is possible to change the type of prediction mode that can be selected for luminance in sequence units, picture units, and slice units, respectively.
  • the variable intraPredPrecision is not necessarily used, and another value may be used. For example, when a flag indicating information indicating whether or not to change from a predetermined type (a type corresponding to the case where intraPredPrecision is 0) is decoded and the flag indicates that the size is changed, the size of each prediction unit of luminance is further displayed. Alternatively, information indicating how many kinds of prediction modes can be applied may be decoded and used.
  • the above-described moving image encoding device 2 and moving image decoding device 1 can be used by being mounted on various devices that perform transmission, reception, recording, and reproduction of moving images.
  • the moving image may be a natural moving image captured by a camera or the like, or may be an artificial moving image (including CG and GUI) generated by a computer or the like.
  • moving picture encoding apparatus 2 and moving picture decoding apparatus 1 can be used for transmission and reception of moving pictures.
  • FIG. 28 is a block diagram illustrating a configuration of a transmission device PROD_A in which the moving image encoding device 2 is mounted.
  • the transmission device PROD_A modulates a carrier wave with an encoding unit PROD_A1 that obtains encoded data by encoding a moving image, and with the encoded data obtained by the encoding unit PROD_A1.
  • a modulation unit PROD_A2 that obtains a modulation signal and a transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided.
  • the moving image encoding apparatus 2 described above is used as the encoding unit PROD_A1.
  • the transmission device PROD_A is a camera PROD_A4 that captures a moving image, a recording medium PROD_A5 that records the moving image, and an input terminal PROD_A6 for inputting the moving image from the outside as a supply source of the moving image input to the encoding unit PROD_A1. And an image processing unit A7 for generating or processing an image.
  • FIG. 28A a configuration in which all of these are provided in the transmission device PROD_A is illustrated, but a part may be omitted.
  • the recording medium PROD_A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded by a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium PROD_A5 according to the recording encoding method may be interposed between the recording medium PROD_A5 and the encoding unit PROD_A1.
  • FIG. 28 is a block diagram illustrating a configuration of the receiving device PROD_B in which the moving image decoding device 1 is mounted.
  • the receiving device PROD_B includes a receiving unit PROD_B1 that receives the modulated signal, a demodulating unit PROD_B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit PROD_B1, and a demodulator.
  • a decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by the unit PROD_B2.
  • the moving picture decoding apparatus 1 described above is used as the decoding unit PROD_B3.
  • the receiving device PROD_B has a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3.
  • PROD_B6 may be further provided.
  • FIG. 28B a configuration in which all of these are provided in the receiving device PROD_B is illustrated, but a part may be omitted.
  • the recording medium PROD_B5 may be used for recording a non-encoded moving image, or may be encoded using a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) for encoding the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.
  • the transmission medium for transmitting the modulation signal may be wireless or wired.
  • the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcast broadcasting station (broadcasting equipment or the like) / receiving station (such as a television receiver) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by wireless broadcasting.
  • a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by cable broadcasting.
  • a server workstation etc.
  • Client television receiver, personal computer, smart phone etc.
  • VOD Video On Demand
  • video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication.
  • PROD_A / reception device PROD_B usually, either a wireless or wired transmission medium is used in a LAN, and a wired transmission medium is used in a WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multi-function mobile phone terminal.
  • the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.
  • moving image encoding device 2 and moving image decoding device 1 can be used for recording and reproduction of moving images.
  • FIG. 29A is a block diagram showing a configuration of a recording apparatus PROD_C in which the above-described moving picture encoding apparatus 2 is mounted.
  • the recording apparatus PROD_C includes an encoding unit PROD_C1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_C1 on the recording medium PROD_M.
  • the moving image encoding apparatus 2 described above is used as the encoding unit PROD_C1.
  • the recording medium PROD_M may be of a type built in the recording device PROD_C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device PROD_C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) Or a drive device (not shown) built in the recording device PROD_C.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • SD memory such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) Or a drive device (not shown) built in the recording device PROD_C.
  • the recording device PROD_C receives a moving image as a supply source of a moving image to be input to the encoding unit PROD_C1, a camera PROD_C3 that captures a moving image, an input terminal PROD_C4 for inputting a moving image from the outside, and a moving image. May include a receiving unit PROD_C5 and an image processing unit C6 that generates or processes an image.
  • FIG. 29A illustrates a configuration in which the recording apparatus PROD_C includes all of these, but a part of the configuration may be omitted.
  • the receiving unit PROD_C5 may receive a non-encoded moving image, or may receive encoded data encoded by a transmission encoding scheme different from the recording encoding scheme. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.
  • Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, and an HD (Hard Disk) recorder (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is a main source of moving images).
  • a camcorder in this case, the camera PROD_C3 is a main source of moving images
  • a personal computer in this case, the receiving unit PROD_C5 is a main source of moving images
  • a smartphone in this case, the camera PROD_C3 or The receiving unit PROD_C5 or the image processing unit C6 is a main supply source of moving images
  • a recording apparatus PROD_C is also an example of such a recording apparatus PROD_C.
  • FIG. 29 is a block showing a configuration of a playback device PROD_D equipped with the above-described video decoding device 1.
  • the playback device PROD_D reads a moving image by decoding a read unit PROD_D1 that reads encoded data written on the recording medium PROD_M and a coded data read by the read unit PROD_D1. And a decoding unit PROD_D2 to be obtained.
  • the moving picture decoding apparatus 1 described above is used as the decoding unit PROD_D2.
  • the recording medium PROD_M may be of the type built into the playback device PROD_D, such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory, It may be of a type connected to the playback device PROD_D, or (3) may be loaded into a drive device (not shown) built in the playback device PROD_D, such as DVD or BD. Good.
  • the playback device PROD_D has a display PROD_D3 that displays a moving image, an output terminal PROD_D4 that outputs the moving image to the outside, and a transmission unit that transmits the moving image as a supply destination of the moving image output by the decoding unit PROD_D2.
  • PROD_D5 may be further provided.
  • FIG. 29B illustrates a configuration in which the playback apparatus PROD_D includes all of these, but some of the configurations may be omitted.
  • the transmission unit PROD_D5 may transmit an unencoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, it is preferable to interpose an encoding unit (not shown) that encodes a moving image using an encoding method for transmission between the decoding unit PROD_D2 and the transmission unit PROD_D5.
  • Examples of such a playback device PROD_D include a DVD player, a BD player, and an HDD player (in this case, an output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of moving images).
  • a television receiver in this case, the display PROD_D3 is a main supply destination of moving images
  • a digital signage also referred to as an electronic signboard or an electronic bulletin board
  • the display PROD_D3 or the transmission unit PROD_D5 is the main supply of moving images.
  • Desktop PC (in this case, the output terminal PROD_D4 or the transmission unit PROD_D5 is the main video image supply destination), laptop or tablet PC (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a moving image)
  • a smartphone which is a main image supply destination
  • a smartphone in this case, the display PROD_D3 or the transmission unit PROD_D5 is a main moving image supply destination
  • the like are also examples of such a playback device PROD_D.
  • Each block of the moving picture decoding apparatus 1 and the moving picture encoding apparatus 2 described above may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be a CPU (Central Processing). Unit) may be implemented in software.
  • IC chip integrated circuit
  • CPU Central Processing
  • each device includes a CPU that executes instructions of a program that realizes each function, a ROM (Read (Memory) that stores the program, a RAM (Random Memory) that expands the program, the program, and various types
  • a storage device such as a memory for storing data is provided.
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each of the above devices, which is software that realizes the above-described functions, is recorded in a computer-readable manner This can also be achieved by supplying each of the above devices and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, CD-ROMs (Compact Disc-Read-Only Memory) / MO discs (Magneto-Optical discs).
  • tapes such as magnetic tapes and cassette tapes
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • CD-ROMs Compact Disc-Read-Only Memory
  • MO discs Magnetic-Optical discs
  • IC cards including memory cards
  • Cards such as optical cards
  • each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet intranet, extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Area Antenna / Cable Television) communication network, Virtual Private Network (Virtual Private Network) Network), telephone line network, mobile communication network, satellite communication network, and the like.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention can also be expressed as follows.
  • the image decoding apparatus selects a decoding method to be used for a predetermined decoding process based on a predetermined feature amount related to the prediction mode in an image decoding apparatus that generates a predicted image by an intra prediction method associated with the prediction mode.
  • a prediction mode dependent method selection processing unit, and a variable length decoding unit that decodes a prediction mode number that uniquely identifies the prediction mode number, and the predetermined feature amount can be easily determined for the prediction mode number It is the structure which has a property.
  • leading-out part which determines the main direction and gradient of direction prediction based on the said prediction mode number
  • the direction prediction image generation which produces
  • a predetermined feature amount related to the prediction mode may be the main direction, and the predetermined decoding process may be a predicted image generation process in the predicted image generation unit.
  • even-odd prediction mode numbers are assigned to all the direction prediction modes in which the main direction is the vertical direction, and all the main directions are in the horizontal direction. With respect to the direction prediction mode, prediction mode numbers assigned to all the direction prediction modes in which the main direction is the vertical direction and prediction mode numbers having different even and odd numbers may be assigned.
  • the predetermined feature amount related to the prediction mode may be an absolute value of the gradient
  • the predetermined decoding process may be a determination process of the absolute value of the gradient in the prediction direction deriving unit.
  • the image decoding apparatus is applied to a prediction direction deriving unit that determines a main direction and gradient of direction prediction based on the prediction mode number, and a reference pixel used for prediction image generation based on the prediction mode number.
  • a reference pixel setting unit that selects a filter to be used, wherein the predetermined feature amount related to the prediction mode is an absolute value of the gradient, and the predetermined decoding process is a filter selection process in the reference pixel setting unit. Also good.
  • the image decoding apparatus includes a prediction direction deriving unit that determines a main direction and a gradient of direction prediction based on the prediction mode number, and the variable length decoding unit is determined based on the prediction mode number.
  • the transform coefficient is decoded in the scan order, and the predetermined feature amount related to the prediction mode may be a sign of the gradient, and the predetermined decoding process may be a scan order selection process in the variable length decoding unit.
  • a prediction direction deriving unit that determines a main direction and gradient of direction prediction based on the prediction mode number, and a vertical one-dimensional conversion and horizontal one-dimensional selection selected based on the prediction mode number
  • An inverse quantization / inverse transform unit that decodes a prediction residual by applying transform to the transform coefficient, and the predetermined feature amount related to the prediction mode is a sign of the main direction and the gradient
  • the decoding process may be a selection process of vertical one-dimensional conversion and horizontal one-dimensional conversion in the inverse quantization / inverse transform unit.
  • the image decoding device decodes the prediction mode-related syntax by arithmetic decoding from the encoded data, and the prediction mode-related A prediction mode restoring unit that restores a prediction mode based on syntax, wherein the prediction mode related syntax includes at least an estimated prediction mode flag, an estimated prediction mode index, and a residual prediction mode;
  • the prediction mode restoration unit derives the first estimated prediction mode based on the prediction mode of the left adjacent prediction unit of the target prediction unit, and the target prediction A second estimated prediction mode is derived based on the prediction mode of the unit upper adjacent prediction unit, and one estimated prediction is performed based on the value of the estimated prediction mode index without comparing the magnitudes of the two estimated prediction modes.
  • a reference pixel setting unit that selects a filter to be applied to the filter, and the filter selection in the reference pixel setting unit is performed when the size of the target prediction unit is large and the size of the target prediction unit is smaller than that of the main direction.
  • a reference pixel filter is selected to be applied to a prediction mode associated with a prediction direction with a smaller angle.
  • the image encoding device generates a predicted image by an intra prediction method associated with the prediction mode, and the code used for the predetermined encoding process based on the predetermined feature amount related to the prediction mode.
  • a prediction mode-dependent method selection processing unit that selects a coding method and a variable length coding unit that encodes a prediction mode number that uniquely identifies the prediction mode number, and the prediction feature number is easily the predetermined feature amount It is the structure which has the property that it can be determined.
  • the feature amount specifying unit specifies an absolute value of a gradient of the prediction direction as the feature amount
  • the restoration unit performs the direction prediction as the restoration process. It is preferable to derive the prediction direction corresponding to the prediction mode by deriving the main direction and deriving the gradient of the prediction direction based on the absolute value of the gradient of the prediction direction.
  • the absolute value of the gradient in the prediction direction is specified from the prediction mode number. That is, the same index that identifies the gradient is derived from the prediction mode numbers corresponding to the prediction mode groups having the same absolute value of the gradient.
  • the prediction mode group having the same absolute value of the gradient is a prediction mode group having the same absolute value of the angle formed between the corresponding prediction direction and the main direction.
  • the absolute value of the gradient in the prediction direction is the same for the four direction prediction modes (for example, the absolute value of the gradient is 5 for VER-2, HOR-2, VER + 2, and HOR + 2).
  • the size of the table for deriving the absolute value of the gradient in the prediction direction from the prediction mode number (prediction mode identifier) can be reduced.
  • the feature amount specifying unit may be any one of a group of prediction modes in which a prediction mode associated with the prediction mode number corresponds to a prediction direction having an absolute value of the same gradient. It is preferable to specify the absolute value of the gradient by determining whether or not it belongs.
  • the property is that the absolute value of displacement in the prediction direction corresponding to the prediction mode can be easily determined.
  • the prediction mode associated with the displacement having the same absolute value is continuous, and the prediction mode associated with the prediction mode number has the absolute value of the same gradient.
  • the absolute value of the gradient can be specified by determining which of the groups of prediction modes corresponding to the prediction direction belongs.
  • This determination can be made by, for example, a value obtained by performing a right shift operation on the prediction mode number with a predetermined numerical value.
  • the feature quantity specifying means specifies an absolute value of the gradient in the prediction direction as the feature quantity
  • the restoration means is based on the absolute value of the gradient as the restoration process.
  • the absolute value of the gradient in the prediction direction is specified from the prediction mode number. For this reason, it is not necessary to provide a table for associating the absolute value of the gradient in the prediction direction with each prediction mode number (prediction mode identifier).
  • the filter process it is desirable to select a filter according to the size of the target prediction unit and the absolute value of the gradient in the prediction direction. For example, when the size of the target prediction unit is large, the reference pixel filter is applied to the prediction mode associated with the prediction direction in which the absolute value of the gradient is small compared to the case where the size of the target prediction unit is small.
  • the feature amount specifying unit specifies the sign of the gradient in the prediction direction as the feature amount
  • the restoration unit uses the sign of the gradient as the restoration process. Based on this, it is preferable to determine the scan order for decoding the transform coefficients.
  • the sign of the gradient in the prediction direction is specified from the prediction mode number. For this reason, it is not necessary to provide a table for associating each prediction mode number (prediction mode identifier) with the sign of the gradient in the prediction direction.
  • the association between the prediction mode number and the prediction mode only needs to have the following properties.
  • prediction mode numbers 7, 8, 9 and 10 are associated with VER-2, HOR-2, VER + 2 and HOR + 2, respectively.
  • the sign of the displacement can be derived as follows.
  • the scan order for decoding the transform coefficients is preferably selected according to the gradient in the prediction direction. Specifically, it is preferable to select a diagonal scan when the gradient is larger than a predetermined value.
  • the scan order may be selected based on the main direction of the prediction direction. For example, when the main direction is the vertical direction, the vertical scan may be selected, and when the main direction is the horizontal direction, the horizontal scan may be selected.
  • the feature quantity specifying unit specifies the main direction and gradient sign of the prediction direction as the feature quantity
  • the restoration unit uses the main direction and gradient as the restoration process.
  • the prediction residual is decoded by applying a vertical primary transformation and a horizontal primary transformation to the transform coefficients based on the sign of.
  • the main direction of the prediction direction and the sign of the gradient are specified from the prediction mode number.
  • displacement gradient
  • inverse orthogonal transform of transform coefficients vertical one-dimensional inverse transform and horizontal one-dimensional inverse transform can be adopted.
  • one-dimensional inverse DCT or one-dimensional inverse DST can be selected.
  • the vertical one-dimensional inverse transformation and the horizontal one-dimensional inverse transformation it is preferable to select a combination according to the characteristics of the prediction residual.
  • the characteristic of the prediction residual is determined by the prediction mode.
  • a combination of vertical one-dimensional inverse transformation and horizontal one-dimensional inverse transformation is selected as follows.
  • the one-dimensional DST is set for the vertical one-dimensional inverse transformation.
  • a one-dimensional DCT is set for the vertical one-dimensional inverse transform.
  • the one-dimensional DST is applied to the horizontal one-dimensional inverse transform.
  • a one-dimensional DCT is set for the horizontal one-dimensional inverse transform.
  • the above property 1 can be used for the main direction. Further, when the main direction is the vertical direction and the horizontal direction, whether or not the prediction direction is from the upper left to the lower right can be determined by the sign of the gradient. Therefore, the ease of sign determination of the above property: displacement (gradient) can be used.
  • an image decoding apparatus provides a prediction of a target prediction unit in an image decoding apparatus that restores an image encoded by generating a prediction image using an intra prediction method associated with a prediction mode.
  • An estimated prediction mode flag indicating whether to use an estimated prediction mode for mode restoration and an estimated prediction mode index for designating one of a plurality of estimated prediction modes are decoded from encoded data by arithmetic decoding.
  • An arithmetic decoding means an estimated prediction mode deriving means for deriving a plurality of estimated prediction modes from decoded prediction modes assigned to a plurality of neighboring prediction units of the target prediction unit, and an estimated prediction mode index
  • the estimated prediction mode flag is estimated.
  • the estimated prediction mode indicated by the estimated prediction mode index is selected as a prediction mode, and the estimated prediction mode flag indicates that the estimated prediction mode does not match the estimated prediction mode.
  • a prediction mode restoration unit that restores a prediction mode using a prediction mode exchange process, and the prediction mode restoration unit indicates that the estimated prediction mode flag does not match the estimated prediction mode. It is preferable to execute the exchange process of the estimated prediction mode based on the size comparison of the prediction mode numbers corresponding to the prediction mode.
  • the estimated prediction mode flag and the estimated prediction mode index are decoded from the encoded data by arithmetic decoding.
  • a plurality of estimated prediction modes are derived according to the decoded prediction mode assigned to the neighborhood prediction unit.
  • the estimated prediction mode is specified by the estimated prediction mode index.
  • the neighborhood prediction unit is a prediction unit having a spatial correlation with the target prediction unit.
  • a prediction unit adjacent to the target prediction unit can be cited.
  • the neighborhood prediction unit may be a left adjacent prediction unit and an upper adjacent prediction unit of the target prediction unit.
  • a context corresponding to the probability of occurrence of 0 or 1 can be used for decoding parameters by arithmetic decoding.
  • the context if the occurrence probability of 0 or 1 is biased, the code amount can be reduced.
  • a prediction mode with a high occurrence probability is associated with a small prediction mode number.
  • the prediction mode of a small prediction mode number is allocated to the large estimated prediction mode index rather than the prediction mode of a large prediction mode number
  • the index with respect to the prediction mode of a small prediction mode number are swapped.
  • the amount of codes can be reduced by using the context for arithmetic decoding of the estimated prediction mode index.
  • a smoothing filter In general, in a region where the image is flat, it is effective to apply a smoothing filter to the reference image in order to improve the image quality of the predicted image.
  • a large size prediction unit is qualitatively selected in a relatively flat region. Therefore, it is preferable to increase the number of filter application targets in a large size prediction unit.
  • the target prediction unit when the size of the target prediction unit is large, compared with the case where the size of the target prediction unit is small, it is associated with the prediction mode associated with the prediction direction in which the angle formed with the main direction is smaller.
  • the reference pixel filter is applied to the prediction mode number.
  • An image encoding device having a configuration corresponding to the image decoding device also falls within the scope of the present invention. According to the image encoding device configured as described above, it is possible to achieve the same effects as the image decoding device according to the present invention.
  • the data structure of the encoded data according to the present invention has a prediction residual obtained by subtracting a prediction image generated according to a prediction mode selected from a prediction mode group for each prediction unit from an original image.
  • a data structure of encoded data generated by encoding a difference together with side information including prediction mode specifying information specifying a selected prediction mode, and the prediction mode specifying information is determined by a main direction and a gradient. Including a prediction mode number associated with an intra prediction method based on a prediction direction, and having a property such that a predetermined feature amount related to at least one of the main direction and the gradient can be identified from the prediction mode number To do.
  • the prediction mode number is restored based on the encoded data
  • the main direction of the prediction mode is determined. This can be realized without referring to a table associating each prediction mode number with the main direction. Therefore, it is possible to reduce the memory required for decoding or encoding.
  • the present invention can be suitably applied to an image decoding apparatus that decodes encoded data obtained by encoding image data and an image encoding apparatus that generates encoded data obtained by encoding image data. Further, the present invention can be suitably applied to the data structure of encoded data generated by an image encoding device and referenced by the image decoding device.
  • Video decoding device (image decoding device) 11 Variable length decoding unit (arithmetic decoding means) 111 prediction set determination unit 112 MPM deriving unit (estimated prediction mode deriving unit) 113 MPM determination unit 114 prediction mode restoration unit (prediction mode restoration unit) 116 Color difference prediction mode restoration unit 117 Context storage unit 13 Inverse quantization / inverse transformation unit (restoring means) 14 Predictive image generation unit 144 Reference pixel filter unit (restoration unit, filter selection unit) 145 brightness prediction unit (restoration means) 1451 Prediction method selection unit 1452 Predicted image derivation unit 1452D DC prediction unit 1452P Planar prediction unit 1452H Horizontal prediction unit 1452V Vertical prediction unit 1452A Angular prediction unit (restoring means) 1453 prediction direction deriving unit (feature quantity specifying means) 1453A, 1453A ′ main direction deriving section (feature quantity specifying means) 1453B, 1453B ′ Gradient derivation unit (feature quantity specifying means) 146 Color difference prediction units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

画像復号装置、画像符号化装置、および符号化データのデータ構造
　本発明は、画像を表す符号化データを復号する画像復号装置、および画像を符号化することによって符号化データを生成する画像符号化装置、ならびに、該画像符号化装置に生成される符号化データのデータ構造に関する。
　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
　具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１）などが挙げられる。
　これらの動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。
　一方、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位（例えば、ブロック）毎に、予め定められた予測モード群に含まれる予測モードの中から何れかの予測モードが選択されると共に、選択された予測モードに対応付けられる予測方式に基づいて予測画像が生成される。予測方式には、水平予測、垂直予測、ＤＣ予測、Planar予測、Angular予測が含まれる。各予測モードには一意の予測モード番号が割り当てられており、動画像復号装置では、符号化データより復号された予測モード番号に基づいて予測対象領域に適用すべき予測方式を決定する。なお、Angular予測には複数の予測方向に対応する予測モードが対応付けられており、動画像復号装置では、予測モード番号に基づいて予測方向を決定し、決定した予測方向に基づいて予測画像が生成される。
　また、非特許文献１では、予測モード番号は上記以外の用途にも用いられる。具体的には、イントラ予測による予測画像生成時に参照される参照領域に対するフィルタの選択、予測残差の変換係数を復号する際のスキャン方法の選択、予測残差に適用する変換方式の選択に用いられる。
「WD5: Working Draft 5 of High-Efficiency Video Coding (JCTVC-G1103_d0)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting:Geneva, CH, 21-30 November, 2011（２０１１年１２月１９日公開）
　しかしながら、上述の予測モード番号を利用した各種の処理において、予測モードと処理を対応付けるテーブルが必要であり、メモリが増加するという課題があった。
　例えば、非特許文献１では、予測モード番号から予測画像生成に用いる予測方向を決定する際に、予測モード番号を予測方向の角度順のインデックスにテーブルを用いてマッピングし、当該インデックスを予測画像生成処理に利用している。また、フィルタの選択、予測残差のスキャン方法の選択、予測残差の変換方式の選択にも、予測モード番号と適用するフィルタ、スキャン方法、または、変換方式を選択するために変換テーブルを用いている。
　そのため、非特許文献１の方式では、予測モードと処理を関連付けるテーブルが複数必要であり、そのためのメモリが必要であるという問題を有していた。
　本発明は、上記の問題に鑑みてなされたものであり、その目的は、予測方式に対して割り当てられる予測モード番号として、予測モードを用いた各種処理の選択をテーブルを利用せず、または、より小さいサイズのテーブルを利用して選択できる予測モード番号を用いることで、メモリを削減できる画像復号装置等を実現することにある。
　また、予測モード番号と予測方向との対応付けの特性に応じた復号処理を行うことができる画像復号装置等も提供する。
　　上記の課題を解決するために、本発明に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化データから画像を復元する画像復号装置において、方向予測のイントラ予測方式に関して、予測方向に対応する予測モードと、該予測モードを特定するための予測モード番号との対応付けがなされており、　上記予測モード番号が所定の閾値以下か否かを判定し、上記判定された結果に基づいて参照画素を設定する参照画素設定手段を有し、上記設定された参照画素に従って、所定の復元処理を行う復元手段と、を備えることを特徴とする。
上記の課題を解決するために、本発明に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化データから画像を復元する画像復号装置において、方向予測のイントラ予測方式に関して、主方向および勾配により表現される予測方向に対応する予測モードと、該予測モードを一意に特定するための予測モード番号との間の対応付けが、該予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有しており、上記対応付けに基づいて、符号化データから復号された上記予測モード番号から上記特徴量を特定する特徴量特定手段と、上記特徴量に従って、所定の復元処理を行う復元手段と、を備えることを特徴とする。
　上記の課題を解決するために、本発明に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化された画像を復元する画像復号装置において、対象予測単位の予測モードの復元に、推定予測モードを利用するか否かを示す推定予測モードフラグ、および、複数の推定予測モードのいずれかを指定するための推定予測モードインデックスを、符号化データから算術復号によって復号する算術復号手段と、上記対象予測単位の複数の近傍予測単位に割り付けられている復号済みの予測モードから、複数の上記推定予測モードを導出する推定予測モード導出手段と、上記推定予測モードインデックスに対して算術復号のためのコンテキストが設定されていない場合であって、上記推定予測モードフラグが推定予測モードと一致することを示す場合に、上記推定予測モードインデックスが示す推定予測モードを予測モードとして選択し、上記推定予測モードフラグが推定予測モードと一致しないことを示す場合に、上記複数の推定予測モードの交換処理を用いて、予測モードを復元する予測モード復元手段と、を備えることを特徴とする。
　上記の課題を解決するために、本発明に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化された画像を復元する画像復号装置において、上記予測モードに対応付けられている予測モード番号と、上記予測画像を生成する単位である予測単位のサイズとに基づいて、上記予測画像の生成に用いる参照画像に対して適用するフィルタを選択するフィルタ選択手段を備え、上記フィルタ選択手段は、対象予測単位のサイズが大きい場合、対象予測単位のサイズが小さい場合に較べて、主方向となす角度がより小さい予測方向に対応付けられている予測モードに対応付けられている予測モード番号に対して参照画素フィルタを適用することを選択することを特徴とする。
　上記の課題を解決するために、本発明に係る符号化装置では、予測モードに対応付けられたイントラ予測方式により予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、方向予測のイントラ予測方式に関して、予測方向に対応する予測モードと、該予測モードを特定するための予測モード番号との対応付けがなされており、上記予測モード番号が所定の閾値以下か否かを判定し、上記判定された結果に基づいて参照画素を設定する参照画素設定手段を有し、所定の符号化処理を行う符号化手段と、を備えることを特徴とする。
　上記の課題を解決するために、本発明に係る画像符号化装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、方向予測のイントラ予測方式に関して、主方向および勾配により定まる予測方向に対応する予測モードと、該予測モードを一意に特定するための予測モード番号との間の対応付けが、該予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有しており、上記対応付けに基づいて、上記予測モードに対応付けられている上記予測モード番号から上記特徴量を特定する特徴量特定手段と、上記特徴量に従って、所定の符号化処理を行う符号化手段と、を備えることを特徴とする。
　以上のように、本発明に係る画像復号装置、又は画像符号化装置は、復号時または符号化時において必要なメモリを削減することができるという効果を奏する。
　また、以上のように、本発明に係る画像復号装置は、推定予測モードを用いる場合における予測モード導出に要する処理量を削減できる。
　また、以上のように、予測モード番号と予測方向との対応付けの特性に応じた復号処理を行うことができる。
本発明の一実施形態に係る動画像復号装置における予測方向導出部の一構成例を示す機能ブロック図である。 上記動画像復号装置の概略的構成について示した機能ブロック図である。 本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）～（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示す図である。 上記動画像復号装置で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示す図である。 方向予測に属する３３種類の予測モードについて、予測モードの識別子に対応する予測方向を示す図である。 イントラ予測方式と予測モード番号との対応の定義である予測モード定義の一例を示す図である。 ＰＵサイズの２の対数（log2PartSize）と予測モード数の関係を示す図である。 対応輝度予測モードの予測モード番号に応じた色差予測モードの定義を示す図である。 イントラ予測方式と予測モード番号との対応の定義である予測モード定義の他の例を示す図である。 上記動画像復号装置が備える予測画像生成部の構成例について示す機能ブロック図である。 入力画像が４：２：０のＹＵＶフォーマットである場合のＰＵの設定順序およびＣＵ内に含まれるＰＵを示す図である。（Ａ）は、対象ＣＵのサイズが８×８画素であり、かつ、分割タイプがＮ×Ｎである場合のＣＵ内のＰＵを示す。（Ｂ）は、対象ＣＵのサイズが１６×１６画素であり、かつ、分割タイプが２Ｎ×２Ｎである場合のＣＵ内のＰＵを示す。 図６の予測モード定義による予測モード番号とフィルタ適用有無（refPicFilterFlag）の値との関係を示す図である。 上記予測画像生成部におけるＣＵ単位の予測画像生成処理の概略を示すフローチャートである。 上記予測画像生成部が備える輝度予測部の詳細構成を示すブロック図である。 予測モード識別子と勾配intraPredAngleの値との対応関係の一例を示すテーブルである。 予測モード識別子と勾配intraPredAngleの値との対応関係の他の例を示すテーブルである。 上記動画像復号装置における予測方向導出部の他の構成例を示す機能ブロック図である。 予測モード識別子と勾配intraPredAngleの絶対値absIntraPredAngleとの対応関係の他の例を示すテーブルである。 上記輝度予測部におけるAngular予測処理を示すフローチャートである。 上記予測画像生成部が備える色差予測部の詳細構成を示すブロック図である。 上記動画像復号装置が備える可変長復号部の構成例について示す機能ブロック図である。 上記可変長復号部が備えるＭＰＭ導出部におけるＭＰＭ候補の導出方式について示す図である。 上記動画像復号装置における予測モード復元処理の概略的な流れの一例を示すフローチャートである。 本発明の一実施形態に係る動画像符号化装置の構成について示す機能ブロック図である。 上記動画像符号化装置が備える符号化データ生成部の一構成例を示す機能ブロック図である。 上記動画像符号化装置における予測モード符号化処理の流れの一例を示すフローチャートである。 予測モード識別子と勾配intraPredAngleの値との対応関係のさらに他の例を示すテーブルである。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。 変数intraPredPrecisonとＰＵサイズの２の対数（log2PartSize）との組み合わせと予測モード数の関係を示す図である。 イントラ予測方式と予測モード番号との対応の定義である予測モード定義の他の例を示す図である。
〔概要〕
　本発明の一実施形態について図１～図３１を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。
　図２に示す動画像復号装置１および動画像符号化装置２は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている技術を実装している。
　動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。
　エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。
　ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。
　ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。
　動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。
〔符号化データの構成〕
　図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
　符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ）～（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1～ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスＳ1～ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
　ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、予測残差の量子化ステップのピクチャ内における基準値（pic_init_qp_minus26）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
　なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1～ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。
　スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
　また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
　（ツリーブロックレイヤ）
　ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
　ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１～ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
　ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
　ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
　以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
　つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１～ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
　また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
　なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。
　また、各符号化ノードの取り得るサイズは、ツリーブロックのサイズと、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報に依存する。ツリーブロックが符号化ノードのルートとなることから、符号化ノードの最大サイズはツリーブロックのサイズとなる。ツリーブロックの最大サイズが符号化ノード（ＣＵ）の最大サイズに一致することとから、ツリーブロックの呼称としてＬＣＵ（Largest CU）が用いられることもある。最小サイズに関しては、例えば、サイズ指定情報として最小符号化ノードサイズ（log2_min_coding_block_size_minus3）と最大と最小の符号化ノードサイズの差（log2_diff_max_min_coding_block_size）が用いられる。一般的な設定では、最大符号化ノードサイズが６４×６４画素、最小符号化ノードサイズが８×８画素となる符号化ノードのサイズ指定情報が用いられる。その場合、符号化ノードと符号化単位ＣＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、または、８×８画素のいずれかとなる。
　（ツリーブロックヘッダ）
　ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
　ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
　なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
　また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。
　（ＣＵレイヤ）
　ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
　ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
　予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
　また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
　（ＣＵ情報のデータ構造）
　続いて、図３の（ｄ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
　スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
　ＰＴ情報ＰＴＩは、ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
　予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
　予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
　また、予測情報ＰＩｎｆｏは、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、ＰＵを単位として行われる。予測情報ＰＩｎｆｏの詳細については後述する。
　ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことを変換ブロックと称することもある。
　ＴＴ情報ＴＴＩは、図３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ1～ＴＵＩNT（ＮＴは、対象ＣＵに含まれる変換ブロックの総数）を含んでいる。
　ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
　また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。
　また、ＴＵ分割情報ＳＰ＿ＴＵには、各ＴＵに非ゼロの変換係数が存在するか否かの情報が含まれる。例えば、個々のＴＵに対する非ゼロ係数の存否情報（CBP；Coded Block Flag）や、複数のＴＵに対する非ゼロ係数の存否情報（no_residual_data_flag）が ＴＵ分割情報ＳＰ＿ＴＵに含まれる。
　ＴＵ情報ＴＵＩ1～ＴＵＩNTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。
　各量子化予測残差は、動画像符号化装置２が以下の処理１～３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
　処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
　処理２：処理１にて得られた変換係数を量子化する；
　処理３：処理２にて量子化された変換係数を可変長符号化する；
　なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
　（予測情報ＰＩｎｆｏ）
　上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
　インター予測情報には、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータが含まれる。
　インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
　一方、イントラ予測情報には、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるｍｐｍ＿ｆｌａｇ、ＭＰＭを選択するためのインデックスであるｍｐｍ＿ｉｄｘ、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるｒｅｍ＿ｉｄｘが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
　また、以下において、単に“予測モード”と表記する場合、輝度予測モードのことを指す。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるｃｈｒｏｍａ＿ｍｏｄｅが含まれる。
　なお、ｍｐｍ＿ｆｌａｇ、ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｄｘ、およびｃｈｒｏｍａ＿ｍｏｄｅのパラメータの詳細については、後述する。
　また、ｍｐｍ＿ｆｌａｇおよびｒｅｍ＿ｉｎｄｅｘは、それぞれ、非特許文献１における“prev_intra_luma_pred_flag”および“rem_intra_luma_pred_mode”に対応している。また、ｃｈｒｏｍａ＿ｍｏｄｅは、“intra_chroma_pred_mode”に対応している。
〔動画像復号装置〕
　以下では、本実施形態に係る動画像復号装置１の構成について、図１～図２３を参照して説明する。
　（動画像復号装置の概要）
　動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。
　ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
　また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ＣＵ、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ＣＵ、対象ブロック、および、対象ＰＵと呼ぶことにする。
　なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＣＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロック、ＣＵ、および、ＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。
　（動画像復号装置の構成）
　再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。
　図２に示すように動画像復号装置１は、可変長復号部１１、逆量子化・逆変換部１３、予測画像生成部１４、加算器１５およびフレームメモリ１６を備えている。
　　［可変長復号部］
　可変長復号部１１は、動画像復号装置１から入力された符号化データ＃１に含まれる各種のパラメータを復号する。以下の説明では、可変長復号部１１が、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているパラメータの復号を適宜行うものとする。可変長復号部１１は、具体的には、以下の手順により、１フレーム分の符号化データ＃１を復号する。
　まず、可変長復号部１１は、１フレーム分の符号化データ＃１を、逆多重化することで、図３に示した階層構造に含まれる各種情報に分離する。例えば、可変長復号部１１は、各種ヘッダに含まれる情報を参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。
　ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。
　そして、可変長復号部１１は、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫを参照して、対象ツリーブロックを、ＣＵに分割する。また、可変長復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを復号する。
　なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。
　可変長復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１２に供給する。また、可変長復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩを予測画像生成部１４に供給する。なお、可変長復号部１１の構成については、後ほど、より詳しく説明する。
　　［逆量子化・逆変換部］
　逆量子化・逆変換部１３は、対象ＣＵに含まれる各ブロックについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１３は、各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１３は、復元した予測残差Ｄを加算器１５に供給する。
　　［予測画像生成部］
　予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１５に供給する。なお、予測画像生成部１４の構成については、後ほど、より詳しく説明する。
　　［加算器］
　加算器１５は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１３より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
　　［フレームメモリ］
　フレームメモリ１６には、復号された復号画像Ｐが順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。
　また、対象ＣＵを復号する時点において、当該対象ＣＵよりも先に復号された全てのＣＵに対応する復号画像が記録されている。
　なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。
　（予測モードの定義）
　前述の通り、予測画像生成部１４は、ＰＴ情報ＰＴＩに基づいて予測画像を生成して出力する。対象ＣＵがイントラＣＵの場合、予測画像生成部１４に入力されるＰＵ情報ＰＴＩは、予測モード（IntraPredMode）と、色差予測モード（IntraPredModeC）を含む。以下、予測モード（輝度・色差）の定義について、図４～９を参照して説明する。
（概要）
　図４は、動画像復号装置１で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示している。Planar予測（Intra_Planar）に‘０’、垂直予測（Intra_Vertical）に‘１’、水平予測（Intra_Horizontal）に‘２’、ＤＣ予測（Intra_DC）に‘３’、Angular予測（Intra_Angular）に‘４’～ ‘３４’、ＬＭ予測（Intra_FromLuma）に‘３５’の予測モード番号がそれぞれ割り当てられている。ＬＭ予測は輝度の復号画素値に基づいて色差の画素値を予測する方式であり、色差の予測時のみ選択可能である。その他の予測モードは輝度と色差いずれにおいても選択され得る。なお、水平予測、垂直予測、Angular予測を総称して方向予測と呼ぶ。方向予測は、対象ＰＵ周辺の隣接画素値を特定の方向に外挿することで予測画像を生成する予測方式である。
　次に、図５を用いて、方向予測に含まれる各予測モードの識別子を説明する。図５には方向予測に属する３３種類の予測モードについて、予測モードの識別子と対応する予測方向が図示されている。図５中の矢印の方向は予測方向を表すが、より正確には、予測対象画素から予測対象画素が参照する復号済画素へのベクトルの向きを示している。その意味で、予測方向のことを参照方向とも呼ぶ。各予測モードの識別子は、主方向が水平方向（ＨＯＲ）か垂直方向（ＶＥＲ）かを表す符号と、主方向に対する変位の組み合わせからなる識別子が対応付けられている。例えば、水平予測にはＨＯＲ、垂直予測にはＶＥＲ、右上４５度方向の周辺画素を参照する予測モードにはＶＥＲ＋８、左上４５度方向の周辺画素を参照する予測モードにはＶＥＲ－８、左下４５度方向の周辺画素を参照する予測モードにはＨＯＲ＋８の符号がそれぞれ割り当てられる。方向予測には、ＶＥＲ－８～ＶＥＲ＋８の１７個の主方向が垂直方向の予測モードと、ＨＯＲ－７～ＨＯＲ＋８の１６個の主方向が水平予測の予測モードが定義されている。
予測方向は、主方向および勾配により表現される。主方向とは、予測方向を表現するための基準となる方向であり、例えば、垂直方向または水平方向である。勾配とは、予測方向と主方向とのなす角を表すものである。
　予測モードには、予測方向が対応する。予測モードには、例えば、非特許文献１に記載されているとおり、３３種類の方向予測を採用することができる。また、予測モードには、予測モード番号が対応付けられる。
　なお、非特許文献１に記載されているように、予測モードには、予測モード識別子を割り当てる構成であってもよい。予測モード識別子は、主方向および変位から構成することができる。変位は、勾配を特定するための識別情報である。
　具体的には、主方向の表現において、垂直方向は、“ＶＥＲ”と表現し、水平方向は、“ＨＯＲ”と表現する。また、主方向からの変位を、“－８”から“－１”、“＋１”から“＋８”と表現する。また、方向予測には、主方向が垂直方向であるＶＥＲ－８からＶＥＲ＋８の１７個の予測モードと、主方向が水平方向であるＨＯＲ－７からＨＯＲ＋８の１６個の予測モードとを定義することができる。
　また、勾配は、非特許文献１に記載されているように、予測モード識別子（予測モード番号）と対応付けられる構成であってもよい。以上の構成では、予測モード番号と予測方向とが対応付けられ、予測方向の識別子と、勾配とが対応付けられる。
　上記構成によれば、上記予測モードおよび予測モード番号の間の対応付けが、予測モード番号から方向予測に係る所定の特徴量が特定できるような性質を有している。ここで、特徴量とは、例えば、予測方向の主方向、勾配である。また、特徴量は、予測方向の精度、勾配（変位）の絶対値、勾配（変位）の符号、２つの予測モードの変位の異同等であってもよい。
　上記性質は、例えば、次の性質１～３である。なお、上記対応付けにおいて、以下の性質１～３のすべてを同時に満たしていなくてもかまわない。例えば、上記対応付けでは、性質１および性質２の少なくとも一方を満たしていればよい。また、性質１～３の組み合わせを満たすような対応付けも可能である。
（性質１）主方向判定の容易性
　主方向が垂直方向であるか、水平方向であるかを判定することの容易性である。この性質を実現するための対応付けの一例としては、予測モード番号の偶奇に応じて、垂直方向の予測モードおよび水平方向の予測モードを対応付けることが挙げられる。これにより予測モード番号の偶奇判定をするだけで、主方向を判定することができる。
　また、別の例としては、予測モード番号が所定の番号以上であるかどうかに応じて、垂直方向の予測モードおよび水平方向の予測モードを対応付けることが挙げられる。これにより、予測モードが所定の番号以上であるか否かを判定することで、主方向を判定することができる。
　よって、このような性質があれば、予測モードと、予測モードの主方向とを対応付けるテーブルを設けなくても済む。これにより、メモリ削減を図ることができる。
（性質２）同変位方向予測モード判定の容易性
　２つの予測モードが、主方向が異なり、かつ、主方向に対する変位（勾配）が等しいかどうかを判定することの容易性である。
　この性質を実現するための対応付けの一例としては、主方向が異なり、かつ、主方向に対する変位（勾配）が等しい２つの予測モードに対して、連続した予測モード番号を対応付けることが挙げられる。これにより、２つおきに別の変位の予測モードが予測モード番号と対応付けられる。よって、この周期性を判定することで、２つの予測モードが、主方向が異なり、かつ、主方向に対する変位（勾配）が等しいか否かを特定することができる。
　また、別の例としては、主方向が異なり、かつ、主方向に対する変位（勾配）が等しい２つの予測モードに対して、一定の差を有する予測モード番号を対応付けることが挙げられる。これにより、２つの予測モードに対応する予測モード番号の差を判定することで、２つの予測モードの変位（勾配）の異同を判定することができる。
　ここで、主方向が異なり、かつ、主方向に対する変位（勾配）が等しい２つの予測モードの間では、変位（勾配）との対応付けを共有することができる。すなわち、２つの予測モード番号に対して、１つの変位（勾配）を対応付けることができる。更に言えば、いずれか一方の主方向について、予測モード番号（予測モード識別子）と、１つの変位（勾配）とを対応付けておくだけで、他方の主方向については、対応付けを省略することができる。別のいい方をすれば、主方向が異なり、かつ、変位が等しい２つの予測モード識別子に対する勾配の対応付けを統合することができる。これにより、対応付けのためのテーブルサイズを小さくすることができる。
（性質３）方向予測精度判定の容易性
　方向予測精度について言えば、偶数変位は、精度が低く、奇数変位は、高い精度である。
　この性質を満たすための対応付けの一例としては、予測モード番号が所定の番号以上であるかどうかに応じて、偶数変位の予測モードおよび奇数変位の予測モードを対応付けることが挙げられる。
　また、別の例としては、予測モード番号の偶奇に応じて、偶数変位の予測モードおよび奇数変位の予測モードを対応付けることが挙げられる。
　判定の手法については、既に説明したとおりであるので、ここでは、その説明を省略する。
　上記構成によれば、上記性質に基づいて、予測モード番号から、上記の特徴量を導出することが可能となるため、予測モード番号（予測モード識別子）と、上記特徴量とを対応付けるテーブルのサイズを小さくしたり、該テーブルを省略したりすることができる。
　また、所定の復元処理では、上記のように特定した特徴量に従って処理を実行することができる。所定の復元処理としては、例えば、予測画像の生成において、予測方向を導出する処理、予測画像生成に用いる参照画素に対して適用するフィルタ選択処理、変換係数を復号するスキャン順の決定処理、変換係数に適用する垂直１次変換および水平１次変換の直交変換処理などが挙げられる。これらの復元処理は、予測方向に関する所定の特徴量に応じて処理を行う場合がある。すなわち、これらの復元処理は、予測方向に関する所定の特徴量に応じて行う復元処理ということもできる。
　以上に示したように、上記構成によれば、特定した特徴量に従って復元処理を行う。その結果、予測方向に関する所定の特徴量に応じて処理を行うような復元処理を行う場合において必要なメモリを削減することができるという効果を奏する。
［定義１］
　動画像符号化装置１で適用されるイントラ予測方式と予測モード番号との対応は、例えば、図６に示すように定義されていてもよい。図６は、イントラ予測方式と予測モード番号との対応の定義である予測モード定義ＤＥＦＰＭ１の一例を示す図である。図６に示す予測モード定義ＤＥＦＰＭ１では、Planar予測に‘０’、水平予測に‘１’、垂直予測に‘２’、ＤＣ予測に‘３’の予測モード番号が割り当てられている。予測モード番号‘４’～‘１８’までは、主方向からの変位が偶数であるAngular予測モードが、変位が小さい予測モードの順であって、変位が等しい場合は主方向が垂直、水平となる順に、予測モード番号に割り当てられている。予測モード番号‘１９’～‘３５’までは、主方向からの変位が奇数であるAngular予測モードが、変位が小さい予測モードの順であって、変位が等しい場合は主方向が垂直、水平となる順に、予測モード番号に割り当てられている。
　なお、ここで、輝度および色差に対して適用される予測モードの種類について説明しておくと次のとおりである。
　まず、輝度に対して適用される予測モードの種類について図７を用いて説明する。輝度に適用される予測モードの種類は、ＰＵのサイズに応じて異なる。図７にＰＵサイズの２の対数（log2PartSize）と予測モード数の関係を示す。log2PartSizeが２（ＰＵサイズが４×４画素）の場合に１８個、それ以外の場合、すなわちlog2PartSizeが３～６（ＰＵサイズが８×８画素～６４×６４画素）の場合に３５個の予測モードが選択できる。ここで、１８個の予測モードは、予測モード番号０～１７の予測モードであり、３５個の予測モード、予測モード番号０～３４の予測モードである。
　次に、色差に対して適用される予測モードの種類について図８を用いて説明する。色差に適用される予測モード数は予測単位のサイズに依らず６個だが、予測モードの種類は対象の色差予測単位に対応する輝度の予測単位に適用される予測モード（対応輝度予測モード）に応じて異なる。図８に対応輝度予測モードの予測モード番号に応じた色差予測モードの定義を図示している。対応輝度予測モードの予測モード番号が‘０’～‘３’の場合、選択可能な色差予測モードにはＬＭ予測、垂直予測、水平予測、Planar予測、および、ＶＥＲ＋８予測が含まれる。対応輝度予測モードの予測モード番号が‘４’以上の場合、選択可能な色差予測モードにはＬＭ予測、ＶＥＲ予測、ＨＯＲ予測、および、Planar予測に加えて、対応輝度予測モードと同じ予測モードが含まれる。
　再び図６の予測モード定義ＤＥＦＰＭ１を参照しながら、当該予測モード定義ＤＥＦＰＭ１における予測モード番号の性質について説明する。上記図６の予測モード定義ＤＥＦＰＭ１により定義される予測モード番号は、以下の３つの性質１～３を有する。
（性質１）主方向判定の容易性
　主方向が垂直方向の方向予測には偶数の予測モード番号、主方向が水平方向の方向予測には奇数の予測モード番号が対応付けられている。この場合、予測モード番号が奇数か偶数かを判定することで主方向が水平方向か垂直方向かを判定できる。予測モード番号が奇数か偶数かの判定は、予測モード番号の最下位ビットが０か１かにより判定できる。
（性質２）同変位方向予測モード判定の容易性
　主方向が異なり、かつ、主方向に対する変位が等しい２つの予測モードには、連続する予測モード番号が対応付けられている。例えば、ＨＯＲ＋４予測とＶＥＲ＋４予測には、予測モード番号１３と１４がそれぞれ割り当てられている。この場合、２つの予測モードの主方向に対する変位が等しいか否かの判定を容易に実現できる。２つの予測モードをｍ１、ｍ２とすると、（ｍ１＋ｃ）＞＞１と（ｍ２＋ｃ）＞＞１とが一致するか否かで２つの予測モードが同一の変位を有するかが判定できる。なお、ｃは連続する同変位の予測モード番号のうち小さい方の予測モード番号が奇数の場合１、偶数の場合０となる。
（性質３）方向予測精度判定の容易性
　小さい予測モード番号（１８以下）に対して主方向に対する変位が偶数の方向予測が対応付けられる一方、大きい予測モード番号（１９以上）に対して主方向に対する変位が奇数の方向予測が対応付けられている。偶数の変位に対して奇数の変位を加えることで、より高い精度で変位を表現できる。したがって、小さい予測モード番号に対して低い精度の変位、大きい予測モード番号に対して高い精度の変位が対応付けられている。この場合、予測方向の精度が低いか否かが、予測モード番号が所定の値（上記の例では１８）以下であるか否かにより判定できる。
　以上に示した予測モード定義の性質１～３は、予測モードに基づく判定処理を簡略化する効果を有する。ここでの簡略化とは、判定処理における演算数の減少や、判定処理に要するテーブルサイズの削減を含む。予測モードに基づく判定を伴う処理の例として、Angular予測による予測画像生成、推定予測モード候補の導出、参照画素フィルタの適用、変換係数のスキャン、方向依存の直交変換がある。各例についての詳細は後述する。
［定義２］
　なお、上記とは異なる予測モード定義を用いてもよい。例えば、図９に示す予測モード定義ＤＥＦＰＭ２を用いてもよい。図９の予測モード定義ＤＥＦＰＭ２では、Planar予測（Planar）に‘０’、垂直予測（ＶＥＲ）に‘１’、水平予測（ＨＯＲ）に‘２’、ＶＥＲ‐８予測（ＶＥＲ－８）に‘３’、ＤＣ予測（ＤＣ）に‘４’の予測モード番号が割り当てられている。予測モード番号‘５’～‘３４’までは、主方向に対する変位の絶対値が既定の優先度順となるよう予測モード番号が割り当てられている。ここで既定の優先順とは、変位の絶対値が８、２、４、６、１、３、５、７の順に小さい予測モード番号が割り当てられる順である。この優先順は、対角方向に対応する予測モード（８）、方向精度の粗い予測方向に対応する予測モードを変位の絶対値の小さい順（２、４、６）、方向精度の細かい予測方向に対応する予測モードを変位の絶対値の小さい順（１、３、５、７）となっている。この優先順は、対角方向に対応する予測モードが、水平・垂直を除く他の予測方向に対応する予測モードに較べて選択され易い事実を利用している。また、この優先順は、変位の絶対値の小さい予測方向、すなわち主方向に近い方向に対応する予測モードが選択され易い事実を利用している。
　加えて、予測モード番号‘５’～‘３４’において、主方向に対する変位の絶対値が等しい場合、負の変位に対応する予測モードに対して、正の変位に対応する予測モードに較べて小さい予測モード番号が割り当てられている。この優先順は、変位の絶対値が等しい場合には負の変位による予測モードの方が正の変位による予測モードよりも選択されやすいという事実を考慮して決定されている。負の変位を持つ予測モードは、左上から右下方向の予測方向に対応する予測モードであるのに対し、正の変位を持つ予測モードは、右上から左下の予測方向または左下から右上の予測方向に対応する予測モードに相当する。ＣＵをラスタスキャンまたはＺスキャンにより走査して順に復号する際には、右上や左下の復号画像は左上の復号画像に較べて利用できない場合が多い。そのため、右上や左下の復号画像を参照する正の変位を持つ予測モードは、左上の復号画像を参照する負の変位を持つ予測モードに較べて選択され難い。
　加えて、予測モード番号‘５’～‘３４’において、主方向に対する変位が等しい場合、主方向が垂直方向である予測モードに対して、主方向が水平方向である予測モードに較べて小さい予測モード番号が割り当てられている。主方向が垂直方向の場合、対象ＰＵの左上、真上、右上の復号画像を参照する。一方、主方向が水平方向の場合、対象ＰＵの左上、真左、左下の復号画像を参照する。ラスタスキャンまたはＺスキャンにより走査して順に復号処理を行う場合、対象ＰＵの左下の復号画像は、対象ＰＵの左上、真上、右上、真左の復号画像に較べて利用できない可能性が高い。そのため、対象ＰＵの左下の復号画像を参照する主方向が水平方向の予測モードは、主方向が垂直方向の予測モードに較べて選択され難い。
　図９に示す予測モード定義ＤＥＦＰＭ２は、前述の図６における予測モード定義が有する性質１～３に加え、次の２つの性質を有する。
（性質４）変位の符号判定の容易性
　同一符号の変位に対応付けられる予測モードが、2個ずつ周期的に繰り返されている。例えば、連続する予測モード番号７～１０は、順にＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２、ＨＯＲ＋２であり、符号は順に‘－’、‘－’ 、‘＋’ 、‘＋’となっている。この場合、符号の正負が予測モード番号より導出できる。具体的には、予測モード番号ｍに対して、符号ｓが次式により導出できる。
　　ｓ＝（（（ｍ＋ｄ）＆　２）＞０）？　＋１　：　－１
ここで、変数ｄは符号の繰り返し周期の位相に相当する値であり、図９の例においてはｄ＝１となる。演算子‘＆’はビット単位の論理和を取る演算子であり、（ｍ＋ｄ）＆２は、整数ｍ＋ｄの２進表現の下位から２ビット目が１ならば２の値となる一方で、同２ビット目が０ならば０の値となる。上記の式を言いかえると、ｍ＋ｄの値を４で除算した際の余りが、０または１ならばｓは－１（負の符号）となり、余りが２または３ならばｓは＋１（正の符号）となるとも表現できる。
（性質５）変位の絶対値の判定の容易性
　同一の絶対値を持つ変位に対応付けられる予測モードが連続している。例えば、連続する予測モード番号７～１０は、順にＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２、ＨＯＲ＋２であり、変位の絶対値は全て２である。このとき予測モード番号ｍにおいて、変位の絶対値を一意に特定するインデックスＤＩを、ＤＩ＝（ｍ＋ｄ）＞＞２により導出できる。
　　（予測画像生成部の詳細）
　次に、図１０を用いて予測画像生成部１４の構成についてさらに詳しく説明する。図１０は予測画像生成部１４の構成例について示す機能ブロック図である。なお、本構成例は、予測画像生成部１４の機能のうち、イントラＣＵの予測画像生成に係る機能ブロックを図示している。
　図１０に示すように、予測画像生成部１４は、予測単位設定部１４１、参照画素設定部１４２、スイッチ１４３、参照画素フィルタ部１４４、輝度予測部１４５、および色差予測部１４６を備える。
　予測単位設定部１４１は、対象ＣＵに含まれるＰＵを規定の設定順序で対象ＰＵに設定し、対象ＰＵに関する情報（対象ＰＵ情報）を出力する。対象ＰＵ情報には、対象ＰＵのサイズ、対象ＰＵのＣＵ内の位置、対象ＰＵの輝度または色差プレーンを示すインデックス（輝度色差インデックスcIdx）が少なくとも含まれる。
　ＰＵの設定順序は、例えば、入力画像がＹＵＶフォーマットである場合、対象ＣＵに含まれるＹに対応するＰＵをラスタスキャン順に設定し、続いて、Ｕ、Ｖの順に対応するＰＵをそれぞれラスタスキャン順に設定する順序を利用する。
　入力画像が４：２：０のＹＵＶフォーマットである場合のＰＵの設定順序およびＣＵ内に含まれるＰＵを図示した図１１を用いて説明する。
　図１１の（Ａ）は、対象ＣＵのサイズが８×８画素であり、かつ、分割タイプがＮ×Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する４個の４×４画素のＰＵがラスタスキャン順（ＰＵ＿Ｙ０、ＰＵ＿Ｙ１、ＰＵ＿Ｙ２、ＰＵ＿Ｙ３の順）に設定される。次に、色差Ｕに対応する１個の４×４画素のＰＵ（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の４×４画素の予測単位（ＰＵ＿Ｖ０）が設定される。
　図１１の（Ｂ）は、対象ＣＵのサイズが１６×１６画素であり、かつ、分割タイプが２Ｎ×２Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する１個の１６×１６画素の予測単位（ＰＵ＿Ｙ０）が設定される。次に、色差Ｕに対応する１個の８×８画素の予測単位（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の８×８画素の予測単位（ＰＵ＿Ｖ０）が設定される。
　参照画素設定部１４２は、入力される対象ＰＵ情報に基づいて、フレームメモリに記録されている対象ＰＵ周辺の復号画像の画素値（複号画素値）を読出し、予測画像生成時に参照される参照画素を設定する。参照画素値p(x,y)は復号画素値r(x,y)を利用して次式により設定される。
　p(x,y)=r(xB+x,yB+y)　x=-1, y=-1 .. (nS*2-1)、および、x=0..(nS*2-1),y=-1
ここで、(xB,yB)は対象ＰＵ内左上画素の位置、ｎＳは対象ＰＵのサイズを表し、対象ＰＵの幅または高さのうち大きい方の値を示す。上式では、基本的には、対象ＰＵの上辺に隣接する復号画素のラインおよび対象ＰＵの左辺に隣接する復号画素のコラムに含まれる復号画素値を対応する参照画素値にコピーしている。なお、特定の参照画素位置に対応する復号画素値が存在しない、または、参照できない場合には、既定の値を利用してもよいし、対応する復号画素値の近傍に存在する参照可能な復号画素値を利用してもよい。
　スイッチ１４３は、入力される対象ＰＵ情報に基づいて、対象ＰＵが輝度か色差かを判定し、対応する出力方向に対して入力される参照画素を出力する。
　参照画素フィルタ部１４４は、入力される予測モードに応じて、入力される参照画素値にフィルタを適用して、フィルタ適用後の参照画素値を出力する。具体的には、参照画素フィルタ部１４４は、フィルタの適用有無を、対象ＰＵサイズと予測モードとに応じて決定する。図１２を用いて、フィルタの適応有無と、対象ＰＵサイズおよび予測モードとの関係を説明すると次のとおりである。図１２は、図６の予測モード定義ＤＥＦＰＭ１による予測モード番号とフィルタ適用有無（refPicFilterFlag）の値との関係を示している。図１２において、refPicFilterFlagの値が１の場合は参照画素の各画素に対して隣接画素を用いる平滑化フィルタを適用することを示し、refPicFilterFlagの値が０の場合は平滑化フィルタを適用しないことを示す。対象ＰＵサイズｎＳが４の場合には、予測モードに依らずrefPicFilterFlagを０に設定する。対象ＰＵサイズｎＳが８の場合には、予測モード番号が０（Planar）、４（ＶＥＲ－８）、１７（ＨＯＲ＋８）、１８（ＶＥＲ＋８）の場合にrefPicFilterFlagを１に設定し、それ以外の場合０に設定する。対象ＰＵサイズｎＳが１６の場合には、予測モード番号が１（ＨＯＲ）、２（ＶＥＲ）、３（ＤＣ）、２４～２７（ＶＥＲ±１、ＨＯＲ±１）の場合にrefPicFilterFlagを０に設定し、それ以外の場合１に設定する。対象ＰＵサイズｎＳが３２または６４の場合には、予測モード番号が１～３の場合にrefPicFilterFlagを０に設定し、それ以外の場合１に設定する。
　なお、上記の設定において、対象ＰＵサイズｎＳが３２と６４の場合、すなわち、対象ＰＵサイズが３２×３２画素と６４×６４画素の場合に同一の選択基準で平滑化フィルタの適用有無を決定することが好ましい。一般的にＰＵサイズに応じて、いずれの予測モードの場合に参照画素に対する平滑化フィルタを適用するべきかは異なる。しかしながら、３２×３２画素のＰＵも６４×６４画素のＰＵも、３２×３２画素未満のサイズのＰＵが選択される領域に較べて比較的平坦な領域で選択される傾向があり、このため両者が適用される領域の性質は類似している。従って、両者の間で、同じ予測モードに対し平滑化フィルタを適用することで、符号化効率を低下させずに平滑化フィルタの選択に必要なテーブルサイズを削減できる。
　また、一般的に大きいサイズのＰＵは小さいサイズのＰＵに較べて平坦な領域で選択できるため、より多くの予測モードに対して参照画素の平滑化フィルタを適用することが好ましい。
　輝度予測部１４５は、入力される予測モードと参照画素に基づいて対象ＰＵの輝度予測画像を生成して出力する。輝度予測部１４５の詳細な説明は後述する。
　色差予測部１４６は、入力される予測モードと参照画素に基づいて対象ＰＵの色差予測画像を生成して出力する。色差予測部１４６の詳細な説明は後述する。
　　（予測画像生成処理の流れ）
　次に、予測画像生成部１４におけるＣＵ単位の予測画像生成処理の概略を図１３のフロー図を用いて説明する。ＣＵ単位の予測画像生成処理が始まると、まず、予測単位設定部１４１がＣＵ内に含まれるＰＵの一つを既定の順序に従って対象ＰＵに設定して対象ＰＵ情報を参照画素設定部１４２およびスイッチ１４３に出力する（Ｓ１１）。次に、参照画素設定部１４２は対象ＰＵの参照画素を、外部のフレームメモリから読み出した復号画素値を用いて設定する（Ｓ１２）。次に、スイッチ１４３が、入力された対象ＰＵ情報に基づいて対象ＰＵが輝度か色差かを判定し、当該判定結果に応じて出力を切り替える（Ｓ１３）。
　対象ＰＵが輝度である場合（Ｓ１３でＹＥＳ）、スイッチ１４３の出力は参照画素フィルタ部１４４に接続される。続いて、参照画素フィルタ部１４４に対し参照画素が入力され、別途入力された予測モードに応じて参照画素フィルタが適用され、フィルタ適用後の参照画素が輝度予測部１４５に出力される（Ｓ１４）。次に、輝度予測部１４５は、入力される参照画素と予測モードに基づいて対象ＰＵにおける輝度予測画像を生成して出力する（Ｓ１５）。
　一方、対象ＰＵが色差の場合（Ｓ１３でＮＯ）、スイッチ１４３の出力は色差予測部１４６に接続される。続いて、色差予測部１４６は、入力される参照画素と予測モードに基づいて対象ＰＵにおける色差予測画像を生成して出力する（Ｓ１６）。対象ＰＵの輝度または色差の予測画像の生成が終わると、予測単位設定部１４１が、対象ＣＵ内の全てのＰＵの予測画像が生成されたかを判定する（Ｓ１７）。対象ＣＵ内の一部のＰＵの予測画像が生成されていない場合（Ｓ１７でＮＯ）、上記Ｓ１に戻り、対象ＣＵ内の次のＰＵの予測画像生成処理を実行する。対象ＣＵ内の全てのＰＵの予測画像が生成されている場合（Ｓ１７でＹＥＳ）、対象ＣＵ内の各ＰＵの輝度および色差の予測画像を合わせて対象ＣＵの予測画像として出力し、処理を終了する。
（輝度予測部の詳細）
　続いて図１４を用いて、輝度予測部１４５の詳細について説明する。図１４に輝度予測部１４５の詳細構成を示す。図１４に示すように、輝度予測部１４５は、予測方式選択部１４５１および予測画像導出部１４５２を備える。
　予測方式選択部１４５１は、入力される予測モードに基づいて予測画像生成に用いる予測方式を選択して選択結果を出力する。予測方式の選択は、前述の図４の定義に基づいて、入力される予測モードの予測モード番号に対応する予測方式を選択することで実現される。
　予測画像導出部１４５２は、予測方式選択部１４５１が出力した予測方式の選択結果に応じた予測画像を導出する。予測画像導出部１４５２は、より具体的には、ＤＣ予測部１４５２Ｄ、Planar予測部１４５２Ｐ、水平予測部１４５２Ｈ、垂直予測部１４５２Ｖ、Angular予測部１４５２Ａ、および、予測方向導出部１４５３を備える。また、予測画像導出部１４５２は、予測方式が、Planer、垂直予測、水平予測、ＤＣ予測、およびAngularの場合、それぞれ、 Planar予測部１４５２Ｐ、垂直予測部１４５２Ｖ、水平予測部１４５２Ｈ、およびAngular予測部１４５２Ａにより予測画像を導出する。
　ＤＣ予測部１４５２Ｄは、入力される参照画素の画素値の平均値に相当するＤＣ予測値を導出し、導出されたＤＣ予測値を画素値とする予測画像を出力する。
　Planar予測部１４５２Ｐは、予測対象画素との距離に応じて複数の参照画素を線形加算することで導出した画素値により予測画像を生成して出力する。例えば、予測画像の画素値predSamples[x,y]は、参照画素値p[x,y]と対象ＰＵのサイズｎＳを用いて以下の式により導出できる。
　predSamples[ x, y ] = (
　　( nS - 1 - x ) * p[ -1, y ] + ( x + 1 ) * p[ nS, -1 ] + 
　　( nS - 1 - y ) * p[ x ,-1 ] + ( y + 1 ) * p[ -1, nS ] + nS ) >> ( k + 1 )
ここで、x, y = 0..nS-1であり、 k = log2( nS )と定義される。
　水平予測部１４５２Ｈは、対象ＰＵの左辺隣接画素を水平方向に外挿して得られる予測画像を入力される参照画素に基づいて生成し、結果を予測画像として出力する。
　垂直予測部１４５２Ｖは、対象ＰＵの上辺隣接画素を鉛直方向に外挿して得られる予測画像を入力される参照画素に基づいて生成し、結果を予測画像として出力する。
　予測方向導出部１４５３は、入力される予測モードが方向予測モードである場合、当該予測モードに関連付けられる予測方向（参照方向）を決定して出力する。出力される予測方向は、主方向が垂直方向か否かを表す主方向フラグbRefVer、および、予測方向の主方向に対する勾配（オフセット）intraPredAngleの組み合わせで表現される。主方向フラグbRefVerの値が０である場合、主方向が水平方向であることを示し、値が１の場合、主方向が垂直方向であることを示す。
　図１を用いて、予測方向導出部１４５３の具体的構成について説明すると次のとおりである。図１は、予測方向導出部１４５３の一構成例を示す機能ブロック図である。図１に示すように、予測方向導出部１４５３は、より具体的には、主方向導出部１４５３Ａおよび勾配導出部１４５３Ｂを備える。
　主方向導出部１４５３Ａは、主方向フラグbRefVerを導出する。また、主方向導出部１４５３Ａは、図６の予測モード定義ＤＥＦＰＭ１を参照することができる。主方向フラグbRefVerは、予測モード番号mに基づいて次式により導出される。
　bRefVer = (m mod 2)==0 ? 1 : 0;
　上記式によると、予測モード番号ｍが偶数の場合に主方向フラグbRefVerの値が１（主方向が垂直方向）となり、予測モード番号ｍが奇数の場合に主方向フラグbRefVerの値が０（主方向が水平方向）となる。なお、上記のように予測モード番号ｍの偶奇に基づいて主方向が決定できるのは、図６の予測モード定義ＤＥＦＰＭ１において、偶数の予測モード番号の主方向が垂直方向、奇数の予測モードの主方向が水平方向となるよう予測モード番号が定義されている場合である。なお、予測モード番号が、前述の性質１、すなわち主方向判定の容易性を満たせば、主方向フラグbRefVerが容易に導出できるため好ましい。逆に、予測モード番号が主方向判定の容易性を満たさない場合、予測モード番号ｍと主方向を関連付けるテーブルが必要となる。したがって、主方向判定の容易性を満たす予測モード番号定義を用いることで、そのようなテーブルを用いずに主方向が導出できるため、メモリが削減できる。
　勾配導出部１４５３Ｂは、勾配intraPredAngleを導出する。また、勾配導出部１４５３Ｂは、図１５に示す勾配定義テーブルＤＥＦＡＮＧ１を参照することができる。図１５に示す勾配定義テーブルＤＥＦＡＮＧ１は、予測モード識別子と勾配intraPredAngleとの値の対応関係を示すテーブルである。勾配導出部１４５３Ｂは、勾配定義テーブルＤＥＦＡＮＧ１に基づいて、勾配intraPredAngleを導出してもよい。勾配intraPredAngleの値は、予測方向の勾配を表す値である。より正確には、主方向が垂直方向である場合、（intraPredAngle，－３２）で表現されるベクトルの方向が予測方向となる。主方向が水平方向である場合、（－３２，intraPredAngle）で表現されるベクトルの方向が予測方向となる。図１５に示す勾配定義テーブルＤＥＦＡＮＧ１よると、主方向に対する変位の絶対値０～８に対応する勾配intraPredAngleの絶対値は、順に０、２、５、９、１３、１７、２１、２６、３２となる。主方向に対する変位の符号と勾配intraPredAngleの符号は等しい。例えば、識別子ＨＯＲ－１に対応する勾配intraPredAngleの値は－２となる。
　なお、図１５に示す勾配定義テーブルＤＥＦＡＮＧ１では、主方向が異なり、かつ、主方向に対する変位が等しい２個の予測モードが同じintraPredAngleの値に関連付けられている。したがって、例えば、図１６に示す勾配定義テーブルＤＥＦＡＮＧ１ｒのように、主方向に対する変位が等しい２個の予測モードにおいて、同じ勾配intraPredAngleの値の設定を共有するようにテーブルを設定できる。
　よって、勾配導出部１４５３Ｂは、図１６に示す勾配定義テーブルＤＥＦＡＮＧ１ｒに基づいて勾配intraPredAngleを導出してもよい。なお、予測方向導出部１４５３では、図１５に示す勾配定義テーブルＤＥＦＡＮＧ１および図１６に示す勾配定義テーブルＤＥＦＡＮＧ１ｒのいずれか一方が設けられていればよい。
　図１６に示す勾配定義テーブルＤＥＦＡＮＧ１ｒを利用することで、図１５に示す勾配定義テーブルＤＥＦＡＮＧ１を使う場合に較べてメモリが削減できる。なお、予測モード番号が前述の性質２、すなわち、同変位方向予測モード判定の容易性を満たす場合に、主方向に対する変位が等しい予測モードは容易に導出できる。具体的には、図６の予測モード番号の定義を利用する場合、主方向に対する変位を一意に表すインデックスｋは、予測モード番号ｍを用いて、ｋ＝（ｍ＋１）＞＞１、の式により導出できる。このインデックスｋとオフセットintraPredAngleを対応付けるテーブルを利用して、予測モード番号からオフセットintraPredAngleの値を導出できる。すなわち、予測モード番号が同変位方向予測モード判定の容易性を満たす場合、Angular予測に用いるパラメータ（intraPredAngle）導出に利用されるテーブルサイズを削減できる。
　図９に示す予測モード定義ＤＥＦＰＭ２を用いる場合は、図１に示す予測方向導出部１４５３の構成を、図１７に示すように変更すればよい。図１７は、予測方向導出部１４５３の他の構成例を示す機能ブロック図である。図１７に示す予測方向導出部１４５３では、図１における主方向導出部１４５３Ａおよび勾配導出部１４５３Ｂを、主方向導出部１４５３Ａ’および勾配導出部１４５３Ｂ’に変更している。
　主方向導出部１４５３Ａ’は、図９の予測モード定義ＤＥＦＰＭ２を参照する。主方向フラグbRefVerの導出は、図１に示した主方向導出部１４５３Ａと同様であるので、その説明を省略する。
　勾配導出部１４５３Ｂ’は、予測モード番号から、勾配の絶対値および符号を導出することで勾配intraPredAngleを導出する。勾配導出部１４５３Ｂ’は、図１８に示す勾配絶対値定義テーブルＤＥＦＡＮＧ２を参照することにより、勾配の絶対値を導出することができる。図１８に示す勾配絶対値定義テーブルＤＥＦＡＮＧ２は、主方向に対する変位の絶対値と勾配intraPredAngleの絶対値absIntraPredAngleとを対応付けるテーブルである。図９の予測モード定義ＤＥＦＰＭ２を用いる場合、前述の性質５、すなわち、変位の絶対値の判定の容易性より、変位の絶対値を一意に特定するインデックスＤＩをＤＩ＝（ｍ＋ｄ）＞＞２の式により導出できる。また、図１８には、インデックスＤＩとabsIntraPredAngleの対応関係を示している。インデックスＤＩの値、０、５、２、６、３、７、４、８、１は、それぞれabsIntraPredAngleの値、０、２、５、９、１３、１７、２１、２６、３２に対応付けられている。
　また、勾配導出部１４５３Ｂ’は、オフセット（勾配）intraPredAngleの符号を、図９の予測モード定義が有する性質４、すなわち、変位の符号判定の容易性を利用して、計算により導出する。
　勾配導出部１４５３Ｂ’は、以上のようにして導出した勾配の絶対値と、勾配の符号とを組み合わせることにより、勾配intraPredAngleを導出する。
　Angular予測部１４５２Ａは、入力される予測方向（参照方向）の参照画素を用いて対象ＰＵ内に対応する予測画像を生成して出力する。Angular予測による予測画像の生成処理では、主方向フラグbRefVerの値に応じて主参照画素を設定し、予測画像をＰＵ内のラインまたはコラムの単位で主参照画素を参照して生成する。主方向フラグbRefVerの値が１（主方向が垂直方向）の場合、予測画像の生成単位をラインに設定するとともに対象ＰＵの上方の参照画素を主参照画素に設定する。具体的には次式により参照画素p[x,y]の値を用いて主参照画素refMain[x]が設定される。
　　refMain[x] = p[ -1+x, -1 ], with x=0..2*nS
　　refMain[x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nS..-1
なお、ここでinvAngleは予測方向の変位intraPredAnguleの逆数をスケール（８１９２を乗算）した値に相当する。上記の式により、ｘが０以上の範囲では、refMain[x]の値は対象ＰＵの上辺に隣接する画素の復号画素値が設定される。また、ｘが０未満の範囲では、refMain[x]の値として、対象ＰＵの左辺に隣接する画素の復号画素値が、予測方向に基づき導出される位置に設定される。予測画像predSamples[x,y]は次式により計算される。
　　predSamples[x,y] = 
　　　((32-iFact)*refMain[x+iIdx+1] + iFact*refMain[x+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象ラインと主参照画素の距離（ｙ＋１）と勾配intraPredAnguleに応じて計算される予測対象画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における小数精度の位置に相当し、以下の式で導出される。
　　iIdx = ( ( y + 1 )*intraPredAngle ) >> 5
　　iFact = ( ( y + 1 )*intraPredAngle ) && 31
　主方向フラグbRefVerの値が０（主方向が水平方向）の場合、予測画像の生成単位をコラムに設定するとともに対象ＰＵの左側の参照画素を主参照画素に設定する。具体的には次式により参照画素p[x,y]の値を用いて主参照画素refMain[x]が設定される。
　　refMain[ x ] = p[ -1, -1+x ], with x=0..nS
　　refMain[ x ] = p[ -1+( ( x*invAngle+128 )>>8 ), -1 ], with x=-nS..-1
予測画像predSamples[x,y]は次式により計算される。
　　predSamples[x,y] = 
　　　((32-iFact)*refMain[y+iIdx+1] + iFact*refMain[y+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象コラムと主参照画素の距離（ｘ＋１）と勾配intraPredAnguleに応じて計算される予測参照画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における少数精度の位置に相当し、以下の式で導出される。
　　iIdx = ( ( x + 1 )*intraPredAngle ) >> 5
　　iFact = ( ( x + 1 )*intraPredAngle ) & 31
　ここで、‘＆’は論理積のビット演算を表す演算子であり、“Ａ＆３１”の結果は、整数Ａを３２で除算した余りを意味する。
（Angular予測処理の流れ）
　次に、予測モードがAngular予測である場合の輝度予測部１４５における予測画像生成処理について、図１９のフローチャートを用いて説明する。図１９は、輝度予測部におけるAngular予測処理を示すフローチャートである。まず、予測方式選択部１４５１に入力された予測モードがAngular予測である場合、Angular予測による予測画像生成処理が開始される。予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向を決定してAngular予測部１４５２Ａに出力する（Ｓ２１）。次に、予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向に対するオフセットintraPredAngleを決定してAngular予測部１４５２Ａに出力する（Ｓ２２）。Angular予測部１４５２Ａは、入力された主方向に基づいて主参照画素を設定する（Ｓ２３）。続いて、Angular予測部１４５２Ａは予測対象ラインまたはコラムを設定し（Ｓ２４）、対象ラインまたはコラムに対する予測画像を生成する（Ｓ２５）。対象ＰＵの全ライン／コラムの予測画像生成が完了しているかどうかを確認し（Ｓ２６）、完了していない場合（Ｓ２６でＮＯ）、Ｓ２４の処理を実行する。完了している場合（Ｓ２６でＹＥＳ）、対象ＰＵの予測画像を出力して処理を終了する。
（輝度予測部の詳細）
　続いて、図２０を用いて、色差予測部１４６の詳細について説明する。図２０に色差予測部１４６の詳細構成を示す。色差予測部１４６は、予測方式選択部１４５１、予測画像導出部１４５２、および、予測方向導出部１４５３を備える。予測画像導出部１４５２は、ＤＣ予測部１４５２Ｄ、Planar予測部１４５２Ｐ、水平予測部１４５２Ｈ、垂直予測部１４５２Ｖ、Angular予測部１４５２Ａ、およびＬＭ予測部１４５２Ｌを備える。なお、ＬＭ予測部１４５２Ｌ以外の構成要素は、輝度予測部１４５に含まれる対応する構成要素と同じ機能を有するため、同じ符号を付与して説明を省略する。
　ＬＭ予測部１４５２Ｌは、対象ＰＵ内における輝度画素値と色差画素値の相関に係るパラメータを対象ＰＵ周辺の輝度復号画素値と、参照画素値（色差復号画素値）の相関に基づいて推定する。相関パラメータは相関係数ａとオフセットｂを含む。予測対象ＰＵ、すなわち色差の予測画像predSamuplesC[x,y]は、対象ＰＵに対応する輝度復号画像の画素値recY[x,y]と相関パラメータを用いて次式により計算される。
　　predSamplesC[x,y] = a * recY[x,y] + b
　以上で予測画像生成部１４における対象ＣＵの予測画像生成処理の説明を終える。
　　（可変長復号部の詳細）
　次に、図２１を用いて可変長復号部１１の構成についてさらに詳しく説明する。図２１は、可変長復号部１１の構成例について示す機能ブロック図である。なお、図２１では、可変長復号部１１の構成のうち、予測モードを復号する構成について詳細に示している。
　図２１に示すように、可変長復号部１１は、予測セット決定部１１１、ＭＰＭ導出部１１２、ＭＰＭ判定部１１３、予測モード復元部１１４、色差予測モード復元部１１６、およびコンテキスト記憶部１１７を備える。
　予測セット決定部１１１は、予測処理に用いる予測モードの集合である予測セットを決定する。予測セット決定部１１１は、一例として、対象ブロックのサイズに応じて予測処理に用いる予測モードの数を算出し、予測モードの定義から、算出した数だけ予測モードを選択することで予測セットを決定する。言い換えれば、予測セットは、対象ブロックのサイズごと、あるいは対象ＰＵにおいて利用可能な予測モードの数ごとに定義されている。
　ＭＰＭ導出部１１２は、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいてＭＰＭを導出する。
　ＭＰＭ導出部１１２は、例示的に、２つのＭＰＭを導出する。ＭＰＭ導出部１１２は、第１のＭＰＭ候補（以下、ＭＰＭ０と表記する）および第２のＭＰＭ候補（以下、ＭＰＭ１と表記する）を、それぞれ以下のとおり導出する。
　まず、図２２に示すように、ｐｍＡに対象ＰＵ：ＲＴの左に隣接する左隣接ＰＵ：ＮＡの予測モード、ｐｍＢに対象ＰＵ：ＲＴの上に隣接する上隣接ＰＵ：ＮＢの予測モードを設定する。左隣接ＰＵまたは上隣接ＰＵの予測モードが利用不可の場合、既定の予測モード、例えば“Intra_Planar”を設定する。隣接ＰＵが利用不可の場合には、隣接ＰＵの予測モードが未復号の場合、隣接ＰＵが上隣接ＰＵであって異なるＬＣＵ（ツリーブロック）に属する場合が含まれる。
　そして、ＭＰＭ導出部１１２は、ＭＰＭ０を、次の式（１）に従って導出する。
　MPM0 = pmA　…　（１）
　次に、ＭＰＭ導出部１１２は、ＭＰＭ１を、ｐｍＡとｐｍＢが一致するか否かに応じて導出する。ｐｍＡとｐｍＢが一致しない場合、ＭＰＭ１を次の式（２）に従って導出する。
　MPM1 = pmB　…　（２）
　一方、ｐｍＡと、ｐｍＢとが一致する場合、ＭＰＭ導出部１１２は、ｐｍＡが“Intra_DC”ならば、“Intra_Planar”をＭＰＭ１に設定し、ｐｍＡが“Intra_DC”以外であれば、“Intra_DC”をＭＰＭ１に設定する。
　ＭＰＭ判定部１１３は、符号化データに含まれるｍｐｍ＿ｆｌａｇに基づいて、対象ＰＵの予測モードが、推定予測モードＭＰＭと一致しているか否かを判定する。ｍｐｍ＿ｆｌａｇは、対象ＰＵの予測モードが推定予測モードＭＰＭと一致している場合、“１”であり、対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合、“０”である。ＭＰＭ判定部１１３は、判定結果を、予測モード復元部１１４に通知する。
　なお、ＭＰＭ判定部１１３は、コンテキスト記憶部１１７に記憶されているコンテキストに応じて、符号化データからｍｐｍ＿ｆｌａｇを復号する。
　予測モード復元部１１４は、対象ＰＵについての予測モードを復元する。予測モード復元部１１４は、ＭＰＭ判定部１１３から通知される判定結果に応じて、予測モードを復元する。
　対象ＰＵの予測モードが推定予測モードＭＰＭと一致している場合、予測モード復元部１１４は、符号化データからｍｐｍ＿ｉｄｘを復号し、その値に基づいて予測モードを復元する。ｍｐｍ＿ｉｄｘは、対象ＰＵの予測モードが、ＭＰＭ０と一致する場合、“０”であり、対象ＰＵの予測モードが、ＭＰＭ１と一致する場合、“１”である。
　なお、予測モード復元部１１４はｍｐｍ＿ｉｄｘの復号時にコンテキスト記憶部１１７に記憶されているコンテキストを利用してもよいし、利用しなくてもよい。
　コンテキストを利用する場合は、上記の処理により導出したＭＰＭ０とＭＰＭ１に対し、小さい予測モード番号に対応する予測モードがＭＰＭ０の値となるように、条件付きでＭＰＭ０とＭＰＭ１の値をスワップすることが好ましい。コンテキストを利用する場合は、０または１の発生確率に偏りが生じれば、符号量を削減できる。一般的に発生確率の高い予測モードには小さい予測モード番号が対応付けられるため、小さい予測モード番号の予測モードをＭＰＭ０に割り当てることで、ＭＰＭ０の発生確率がＭＰＭ1の発生確率よりも高くなる。したがって、ｍｐｍ＿ｉｄｘで０の値が発生する確率が１の値が発生する確率に較べて高くなるため、ｍｐｍ＿ｉｄｘの符号量を削減できる。
　一方、コンテキストを利用しない場合は、上記の処理により導出したＭＰＭ０とＭＰＭ１に対して予測モード番号が小さい予測モードがＭＰＭ０に対応付けられるようなスワップを適用しないことが好ましい。コンテキストを用いない場合は、ｍｐｍ＿ｉｄｘは等確率と見なされて復号されるため０、１の発生に偏りが生じていても符号量は削減できない。したがって、小さい予測モードがＭＰＭ０に対応付けることによる符号量の削減効果はない。一方、小さい予測モードがＭＰＭ０に対応付けるための条件付きスワップを省略することで、対象ＰＵの予測モードがＭＰＭである場合の予測モード導出に要する処理量を削減できる。
　対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合、予測モード復元部１１４は、符号化データに含まれるｒｅｍ＿ｉｄｘに基づいて予測モードを復元する。具体的には、まず、ＭＰＭ０とＭＰＭ１のうち、小さい予測モード番号がＭＰＭ０に割り当てられるようＭＰＭ０とＭＰＭ１の値を条件付きでスワップする。次に、ｒｅｍ＿ｉｄｘの値がＭＰＭ０の値以上の場合、ｒｅｍ＿ｉｄｘの値を１加算する。次に、ｒｅｍ＿ｉｄｘの値がＭＰＭ１の値以上の場合、ｒｅｍ＿ｉｄｘの値を１加算する。最後に、ｒｅｍ＿ｉｄｘの値の予測モード番号に対応する予測モードを復元する。
　色差予測モード復元部１１６は、対象ＰＵについての色差予測モードを復元する。より詳細には、色差予測モード復元部１１６は、以下のようにして色差予測モードを復元する。
　まず、色差予測モード復元部１１６は、符号化データ＃１に含まれるイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅ（intra_chroma_pred_mode）を復号する。
　そして、色差予測モード復元部１１６は、復元したイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅと、輝度の予測モード（IntraPredMode[xB][yB]）とに基づいて、色差予測モードを復元する。
　　　　［概略的な流れ］
　まず、図２３に示すフローチャートを用いて、動画像復号装置１における予測モード復元処理の概略的な流れの一例について説明する。
　動画像復号装置１において予測モード復元処理が開始されると、ＭＰＭ導出部１１２が、ＭＰＭ０を導出する（Ｓ２１）。続いてＭＰＭ導出部１１２が、ＭＰＭ１を導出する（Ｓ２２）。
　次に、ＭＰＭ判定部１１３が、ｍｐｍ＿ｆｌａｇに基づいて、対象ＰＵの予測モードが推定予測モードＭＰＭと一致しているか否かを判定する（Ｓ２３）。
　対象ＰＵの予測モードが推定予測モードＭＰＭ、すなわちＭＰＭ０またはＭＰＭ１と一致している場合（Ｓ２３においてＹＥＳ）、予測モード復元部１１４が、ｍｐｍ＿ｉｄｘに基づいて予測モードを復元する。予測モード復元部１１４は、ｍｐｍ＿ｉｄｘが“０”であれば、ＭＰＭ０を、対象ＰＵの予測モードｐｍＴとする一方で、ｍｐｍ＿ｉｄｘが“１”であれば、ＭＰＭ１を、対象ＰＵの予測モードｐｍＴとする（Ｓ２４）。
　一方、対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合（Ｓ２３においてＮＯ）、予測モード復元部１１４は、ＭＰＭ０とＭＰＭ１を比較し、ＭＰＭ１の予測モード番号がＭＰＭ０の予測モード番号より小さければ、ＭＰＭ０とＭＰＭ１をスワップする（Ｓ２５）。続いて、予測モード復元部１１４は、ｒｅｍ＿ｍｏｄｅの配列を生成する（Ｓ２６）。最後に、予測モード復元部１１４は、ｒｅｍ＿ｍｏｄｅの配列のうちｒｅｍ＿ｉｄｘ番目の要素を予測モードとして選択する（Ｓ２７）。
　〔動画像符号化装置〕
　以下において、本実施形態に係る動画像符号化装置２について、図２４～図２６を参照して説明する。
　　（動画像符号化装置の概要）
　動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
　　（動画像符号化装置の構成）
　まず、図２４を用いて、動画像符号化装置２の構成例について説明する。図２４は、動画像符号化装置２の構成について示す機能ブロック図である。図２４に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部２９を備えている。
　符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
　具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。
　まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。
　また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。
　さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
　符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。
　逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図１に示す逆量子化・逆変換部１３について、既に説明したとおりであるので、ここではその説明を省略する。
　また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。
　予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。
　加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
　フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。
　減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。
　変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。
　具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。
　また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。
　また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。
　符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。
　　（符号化データ生成部の詳細）
　次に、図２５を用いて、符号化データ生成部２９の詳細について説明する。図２５は、符号化データ生成部２９の構成例について示す機能ブロック図である。
　なお、以下では、符号化データ生成部２９が、ＴＴ設定情報ＴＴＩ’に含まれるパラメータのうち、予測モード（輝度）および色差予測モードに関するパラメータを符号化するための構成について説明する。
　しかしながら、これに限られず符号化データ生成部２９は、ＴＴ情報ＴＴＩ’に含まれる変換係数以外のデータ、例えば、サイド情報等を符号化することができる。
　図２５に示すように、符号化データ生成部２９は、コンテキスト記憶部１１７、予測セット決定部２９１、ＭＰＭ導出部２９２、ＭＰＭ判定部２９３、予測モード符号化部２９４、および色差予測モード符号化部２９６を備える。
　また、例えば、ＭＰＭの導出については、動画像復号装置１および動画像符号化装置２の間で相違しない。
　このように、動画像復号装置１および動画像符号化装置２の間で対応している構成または同様の処理を行う構成については、動画像符号化装置２において、動画像復号装置１の構成を用いることができる。
　従って、予測セット決定部２９１、ＭＰＭ導出部２９２は、それぞれ、図１に示したコンテキスト記憶部１５１、色差予測モード定義記憶部１５４、予測セット決定部１１１、およびＭＰＭ導出部１１２と同様である。よって、ここではその説明を省略する。
　以下では、ＭＰＭ判定部２９３、予測モード符号化部２９４、および色差予測モード符号化部２９６について説明する。
　ＭＰＭ判定部２９３は、ＭＰＭが予測モードと一致するか否かを判定し、判定結果に応じてｍｐｍ＿ｆｌａｇを符号化する。符号化の処理については、図１に示した可変長復号部１１について、既に説明済みであるので、ここではその説明を省略する。
　予測モード符号化部２９４は、ＭＰＭ判定部２９３の判定結果に応じて、予測モードに関する情報（ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｄｘ）を符号化する。予測モード符号化部２９４は、ＭＰＭを用いる場合は、ｍｐｍ＿ｉｄｘを符号化し、ＭＰＭを用いない場合は、ｒｅｍ＿ｉｄｘを符号化する。
　ｍｐｍ＿ｉｄｘの符号化については、図１に示した可変長復号部１１について、既に説明済みであるので、ここではその説明を省略する。
　ｒｅｍ＿ｉｄｘの符号化については後述する。
　色差予測モード符号化部２９６は、対象ＰＵについての色差予測モードを符号化する。より詳細には、色差予測モード符号化部２９６は、以下のようにして色差予測モードを符号化する。
　まず、色差予測モード符号化部２９６は、輝度に対する予測モードおよび色差予測モードを用いて、イントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅ（intra_chroma_pred_mode）の値を取得する。
　そして、色差予測モード符号化部２９６は、取得したイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅの値を符号化する。
　次に、図２６を用いて、動画像符号化装置２における予測モード符号化処理の流れについて説明する。
　まず、図２６に示すフローチャートを用いて、動画像符号化装置２における予測モード符号化処理の概略的な流れの一例について説明する。
　動画像符号化装置２において予測モード符号化処理が開始されると、ＭＰＭ導出部２９２が、ＭＰＭ０を導出する（Ｓ３１）。続いて、ＭＰＭ導出部２９２が、ＭＰＭ１を導出する（Ｓ３２）。
　次に、ＭＰＭ判定部２９３が、予測モードと、ＭＰＭ（ＭＰＭ０またはＭＰＭ１）とが一致しているか否かを判定する（Ｓ３３）。
　ここで、予測モードと、ＭＰＭとが一致している場合（Ｓ３３においてＹＥＳ）、ＭＰＭ判定部２９３が、ｍｐｍ＿ｆｌａｇ＝１を符号化する（Ｓ３４）とともに、予測モード符号化部２９４が、ＭＰＭ０およびＭＰＭ１のうち、予測モードと一致している方について、ｍｐｍ＿ｉｄｘを導出する（Ｓ３５）。
　一方、予測モードと、ＭＰＭとが一致していない場合（Ｓ３３においてＮＯ）、ＭＰＭ判定部２９３が、ｍｐｍ＿ｆｌａｇ＝０を符号化する（Ｓ３６）。予測モード符号化部２９４は、ＭＰＭ０とＭＰＭ１を比較し、ＭＰＭ１の予測モード番号がＭＰＭ０の予測モード番号より小さければ、ＭＰＭ０とＭＰＭ１をスワップする（Ｓ３７）。続いて、予測モード符号化部２９４は、ｒｅｍ＿ｍｏｄｅの配列を生成する（Ｓ３８）。最後に、予測モード符号化部２９４が、ｒｅｍ＿ｉｄｘを導出する（Ｓ３９）。
　（作用・効果）
　以上に示したように、動画像復号装置１は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する動画像復号装置１において、予測モードがAngular予測である際に、予測モード番号に基づいて予測方向の主方向を決定し、その判定結果に基づいて予測画像を生成する予測画像生成部を備えるとともに、対応する方向予測モードの主方向が垂直方向か水平方向かを容易に判定可能な性質を有する予測モードを復号する可変長復号部を備える構成である。
　また、以上に示したように、動画像符号化装置２は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する動画像符号化装置２において、予測モードがAngular予測である際に、予測モード番号に基づいて予測方向の主方向を決定し、その判定結果に基づいて予測画像を生成する予測画像生成部を備えるとともに、対応する方向予測モードの主方向が垂直方向か水平方向かを容易に判定可能な性質を有する予測モードを符号化する可変長符号化部を備える構成である。
　上記構成において、方向予測モードに基づく予測方向の主方向の決定は、上記の予測モード番号の性質を利用して、予測モード番号と主方向をマッピングするテーブルを用いることなく導出できる。よって、復号時または符号化時において必要なメモリを削減できる。
　（符号化データ＃１についての補足）
　以下では、動画像符号化装置２によって生成される符号化データ＃１について補足する。
　符号化データ＃１の基本構成は、図３を参照して記載した通りである。符号化データ＃１にはイントラ予測情報に含まれるイントラ予測パラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるｍｐｍ＿ｆｌａｇ、ＭＰＭを選択するためのインデックスであるｍｐｍ＿ｉｄｘ、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるｒｅｍ＿ｉｄｘが含まれる。ｍｐｍ＿ｆｌａｇ、ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｄｘを用いることで、動画像復号装置１の可変長復号部１１（図２１）で説明した通り、各ＰＵで適用する予測モード（輝度）の予測モード番号が復号される。そして、復号される予測モード番号は、図９の予測モード定義ＤＥＦＰＭ２を用いる場合、前述の性質１（主方向判定の容易性）を少なくとも有している。すでに説明した通り、前記性質１は、動画像復号装置における予測画像生成処理や予測モード依存処理に有用だが、それ以外の処理にも有用である。例えば、動画像復号装置２の出力である復号画像と符号化データ＃１を入力として、復号画像に対してポストフィルタを適応的に適用する際に利用できる。より具体的には、符号化データ＃１に基づいて予測モード番号を復元し、各予測モードの主方向が垂直方向か水平方向かを判定し、判定結果に応じたフィルタを復号画像の各予測モードの対応する領域に対して適用する。その際、前記性質１により、予測モードの主方向の判定がテーブルを用いることなく実行できる。
〔変形例〕
＜変形例１：変換係数スキャン順の選択＞
　動画像復号装置１の可変長復号部１１における変換係数の復号処理において、変換単位内の変換係数を復号する順序（変換係数スキャン順）を予測モード番号に応じて変更してもよい。予測方式に応じて発生する予測残差の性質が異なるため、予測残差に直交変換と量子化を適用して得られる変換係数の性質も異なる。したがって、予測方式に応じて、０の値の変換係数が多く連続するスキャン順を選択することで、変換係数の符号量が削減できる。適用可能な変換係数スキャン順が、水平スキャン（horzScan）、垂直スキャン（vertScan）、対角スキャン（diagScan）である場合、垂直に近い方向の方向予測に対しては垂直スキャン、水平に近い方向の方向予測に対しては水平スキャン、それ以外の予測モードに対しては対角スキャンを適用することが好ましい。
　例えば、以下の手順でスキャン順を決定できる。まず、予測モードが方向予測ではない場合、または、予測方向と主方向のなす角度（勾配）が所定の値より大きい場合、対角スキャンを選択する。それ以外の場合で、予測方向の主方向が垂直方向である場合、垂直スキャンを選択する。それ以外の場合（予測方向の主方向が水平方向である場合）、垂直スキャンを選択する。
　上記の選択処理は、以下に示す擬似コードにより表現できる。
　　if (bPlanar(m) || bDC(m) || absIntraPredAngle ＞ 13)
　　　　scanIdx = diagScan;
　　else
　　　　scanIdx = (bHorz(m)) ? horzScan : vertScan;
ここで、bPlanar(m)、bDC(m)はそれぞれ予測モードがPlanar予測、または、DC予測であるかを判定する関数である。また、absIntraPredAngleの値は、前述の図１８により導出できる予測方向の勾配の絶対値を表す値である。また、bHorz(m)は、予測モードの主方向が水平方向である場合に１を、垂直方向の場合に０の値を返す関数である。
　図６や図９の予測モード定義のように、予測モードが、性質１、すなわち、主方向判定の容易性を有する場合には、bHorz(m)の値はテーブルを用いずに容易に算出できる。例えば、図９の予測モード定義では、予測モード番号ｍが偶数であれば主方向は水平方向であり、奇数であれば主方向は垂直方向である。予測画像生成時に利用するテーブル以外の追加のテーブルを利用することなく、スキャン順を選択できる。したがって、性質１、すなわち、主方向判定の容易性を有する予測モード定義を用いる場合、メモリが削減できる。
＜変形例２：変換・逆変換の選択＞
　動画像復号装置１の逆量子化・逆変換部１３における逆直交変換は、画像領域と２次元周波数領域の間の変換であり２次元の逆変換である。２次元の逆変換を２つの１次元の逆変換（垂直１次元逆変換と水平１次元逆変換）の組み合わせにより実現してもよい。具体的には、垂直１次元逆変換として１次元逆ＤＣＴまたは１次元逆ＤＳＴを利用できる。同様に水平１次元逆変換として１次元逆ＤＣＴまたは１次元逆ＤＳＴを利用できる。同様に動画像符号化装置２の変換・量子化部２７における変換も、２つの１次元変換の組み合わせにより実現できる。１次元変換には、１次元ＤＣＴと１次元ＤＳＴを利用できる。
　予測残差の特性に応じた１次元変換の組み合わせを選択して予測残差に適用することで、常に同種の変換を適用する場合に較べて変換係数を低周波成分に集中できるため、変換係数の符号量が削減できる。
　例えば、以下の手順で垂直・水平方向に適用する１次元ＤＣＴの組み合わせを選択できる。まず、予測モードがPlanar予測か、予測モードの主方向が垂直方向であるか、または、予測モードの主方向が水平方向であって予測方向が左上から右下方向である場合、垂直１次元変換に１次元ＤＳＴを設定する。それ以外の場合、垂直１次元変換に１次元ＤＣＴを設定する。次に、予測モードがPlanar予測か、予測モードの主方向が水平方向であるか、または、予測モードの主方向が垂直方向であって予測方向が左上から右下方向である場合、水平１次元変換に１次元ＤＳＴを設定する。それ以外の場合、水平１次元変換に１次元ＤＣＴを設定する。
　上記の垂直１次元変換（vertTrans）と水平１次元変換（horzTrans）の選択処理は、以下に示す擬似コードにより表現できる。
　　vertTrans = (bPlanar(m) || !bHorz(m)
　　　　　　　　|| (bHorz(m) && intraPredAngle < 0)) ? DST : DCT;
　　horzTrans = (bPlanar(m) ||　bHorz(m)
　　　　　　　　|| intraPredAngle < 0) ? DST : DCT;
ここで、intraPredAngleは前述の通り予測方向の勾配を表し、負値の場合には予測方向（参照方向）が左上であることを表す。なお、予測方向の勾配の正負は、予測モード識別子における主方向に対する変位の正負と一致する。したがって、予測モード定義が、前述の性質４、つまり、変位の符号判定の容易性を満たす場合には、テーブルを用いることなく予測モード番号ｍに基づく計算により正負の判定が可能となる。その場合、１次元変換の選択処理をテーブルを用いることなく実行できる。したがって、図９の予測モード定義のように、予測モード番号が変位の符号判定の容易性を満足する場合、１次元変換の選択時のメモリを削減できる。
　なお、上記は１次元変換の選択処理について記載したが、動画像復号装置１における１次元逆変換の選択処理も、同じ処理により実行される。
＜変形例３：参照画素フィルタ選択の別の方法＞
　上記の予測画像生成部１４の説明では、参照画素フィルタ部１４４におけるフィルタ適用有無（refPicFilterFlag）の値を図１２のテーブルを用いて導出する方法を記載したが、別の導出方法を用いても良い。参照画素フィルタ部１４４は、例えば、対象ＰＵのサイズpuSizeの値に応じて以下の式によりフィルタ適用有無の値を設定できる。
　refPicFilterFlag = 0 （puSize: 4x4）
　refPicFilterFlag = (bPlanar(m) || absAng(m) >= 32) ? 1:0 (puSize: 8x8)
　refPicFilterFlag = (bPlanar(m) || absAng(m) >= 5)　? 1:0 (puSize: 16x16)
　refPicFilterFlag = (bPlanar(m) || absAng(m) >= 2)　? 1:0 (puSize: 32x32,64x64)
ここで、absAng(m)は図１８に示す勾配絶対値定義テーブルにおいて定義されているabsIntraPredAngleの値と同じである。したがって、上記の式では、予測方向の勾配の絶対値に基づいて、フィルタ適用有無の値を設定しているということもできる。上記の式によれば、予測モードが方向予測である場合、予測方向の勾配の絶対値が、対象ＰＵのサイズに応じた所定の閾値以下の場合に参照画素フィルタを適用すること（refPicFilterFlagの値が１）を選択している。閾値は、対象ＰＵのサイズが大きいほど小さい値が設定されている。ＰＵサイズが４×４の場合には、予測方向の勾配に関する条件はないが、常に参照画素フィルタを適用しないため、閾値が無限大であると見なすことができる。なお、予測方向の勾配が大きい場合、予測方向と主方向のなす角度が大きいことを意味する。したがって、対象ＰＵのサイズが大きい場合、対象ＰＵのサイズが小さい場合に較べて、主方向となす角度がより小さい予測方向に対応付けられた予測モードに対しても参照画素フィルタを適用することが好ましい。定性的には、大きいサイズのＰＵは比較的平坦な領域で選択されること、平坦な領域では平滑化が有効であることから、上記の選択が有効であるといえる。なお、上記ではＰＵサイズに応じた閾値の変更と記載したが、別のサイズ、例えばＣＵサイズや変換単位のサイズに応じた判定であってもよい。
＜変形例４：予測モード定義の別の例＞
　特定の性質を有する予測モード定義として、図６と図９の予測モード定義を例に挙げ説明した。性質としては、以下の５つを挙げている。
（性質１）主方向判定の容易性
（性質２）同変位方向予測モード判定の容易性
（性質３）方向予測精度判定の容易性
（性質４）変位の符号判定の容易性
（性質５）変位の絶対値の判定の容易性
　上記性質の一部を有する異なる予測モード定義を用いてもよい。例えば、図２７の予測モード定義ＤＥＦＰＭ３を用いてもよい。図２７の予測モード定義ＤＥＦＰＭ３では、Planar予測に０、ＤＣ予測に１の予測モード番号がそれぞれ割り当てられている。さらに、ＶＥＲ－８～ＶＥＲ＋８の予測モードに対して２～１８の予測モード番号が順に割り当てられている。さらに、ＨＯＲ－７～ＨＯＲ＋８の予測モードに対して１９～３４の予測モード番号が順に割り当てられている。図２７の予測モード定義ＤＥＦＰＭ３は、前述の性質のうち、性質１～３を満たす。性質１に関連し、予測モードが水平方向か垂直方向かの判定が、予測モード番号が１８以下か否かの判定により実現できる。性質２に関連し、２つの予測モードが同一の変位を有するか否かの判定が、２つの予測モード番号の差が１６に一致するか否かにより判定できる。性質３に関連し、方向予測の精度が高いか低いか、すなわち、予測モード識別子における変位の部分が偶数か奇数の判定が、予測モード番号が偶数か奇数かにより判定できる。なお、図２７の予測モード定義ＤＥＦＰＭ３は、追加の性質として、方向予測判定の容易性を有している。すなわち、予測モード番号が２以上か否かにより、予測モードが方向予測に属するか否かが容易に判定できる。
＜変形例５：異なる予測モード符号化の例＞
　上記の例では、４×４のＰＵサイズに対して１８個、８×８～６４×６４のＰＵサイズに対して３５個の予測モードが輝度におけるイントラ予測モードとして選択可能である例を記載したが、それに限らない。例えば、４×４のＰＵサイズに対して１９個、８×８～６４×６４のＰＵサイズに対して３５個のイントラ予測モードが選択可能であってもよい。以下、そのような場合の予測モード定義、および、予測モード復号処理について説明する。
　予測モード定義は、予測モード番号の定義を図９の定義とした上で、４×４のＰＵサイズに対しては予測モード番号０～１８、８×８～６４×６４のＰＵサイズに対しては予測モード番号０～３４の予測モードを選択可能とする。
　予測モード復号処理は、基本的には前述の可変長復号部１１における予測モード復号処理と同じであるが、次の点が異なる。可変長復号部１１内の予測モード復元部１１４では、符号化データから直接rem_idxの値を復号せず、符号化データから復号したrem_idx_zero_flagとrem_idx_minus_oneの値に基づいてrem_idxの値を決定する。より具体的には、復号したmpm_flagの値が０の場合、予測モード復元部１１４は符号化データからrem_idx_zero_flagを復号する。rem_idx_zero_flagの値が１であれば、rem_idxを０に設定する。rem_idx_zero_flagの値が０の場合、続けてrem_idx_minus_oneの値を復号し、rem_idxの値としてrem_idx_minus_oneに1を加算した値を設定する。この際、rem_idxの値域は、ＰＵサイズが４×４の場合に０～１６、それ以外の場合に０～３２であることから、rem_idx_minus_oneの値域はＰＵサイズが４×４の場合に０～１５、それ以外の場合に０～３１となる。rem_idx_minus_oneの値は、ＰＵサイズが４×４の場合に４ビット、それ以外の場合に５ビットの固定長符号により符号化できる。
　以上のように、本発明の図９の予測モード番号の定義は上記のようなＰＵサイズに応じた予測モード数および予測モード符号化方法を用いる場合にも適用できる。
＜変形例６：輝度予測モード数の選択＞
　上記の例では、輝度に対して適用可能な予測モードの種類をＰＵサイズに応じて決まる既定の種類としたが、シーケンス、ピクチャ、スライス単位で適用可能な予測モードの種類を切り替えられる構成としても良い。特に、特定数の予測モードを輝度に対して適用可能である設定と、前記特定数より少ない数の予測モードを輝度に対して適用可能である設定を切り替えられることが好ましい。その場合、予測モードの種類が少数で十分であるような動画像の一部を符号化する際に、少ない数の予測モードを輝度に対して適用可能である設定を選択することでサイド情報を削減できる。以下、具体例を説明する。
　輝度に対して適用可能な予測モードの数を、図７により説明したＰＵサイズの２の対数（log2PartSize）と予測モード数の関係により定まる数に代わり、図３０の（ａ）に示した、変数intraPredPrecisionの値とlog2PartSizeの値との組み合わせと、予測モード数の関係により定まる数を用いてもよい。ここで、変数intraPredPrecisionは、適用可能な予測モードの種類の多さを表す変数であり、０の値は種類が多いことを表し、１の値は種類が少ないことを表す。図３０の（ａ）の関係によると、変数intraPredPrecisionの値が０の場合の予測モード数は、log2PartSizeが２（ＰＵサイズが４×４画素）の場合に１８、それ以外の場合、すなわちlog2PartSizeが３～６（ＰＵサイズが８×８画素～６４×６４画素）の場合に３５となる。一方、変数intraPredPrecisionの値が１の場合の予測モード数は、log2PartSizeの値に依らず１０となる。
　輝度に対して適用可能な予測モードの種類は、上記で説明した予測モード数をＮｍとした場合、図３１に示した予測モード定義ＤＥＦＰＭ４において、予測モード番号０～Ｎｍ－１にそれぞれ対応する予測モードとすることが好ましい。図３１の予測モード定義ＤＥＦＰＭ４では、予測モード番号０～９が順に、Planar、ＶＥＲ、ＨＯＲ、ＤＣ、ＶＥＲ－８、ＶＥＲ－４、ＨＯＲ－４、ＶＥＲ＋４、ＨＯＲ＋４、ＶＥＲ＋８の予測モードにそれぞれ対応付けられている。また、予測モード番号１０～１８が順に、ＨＯＲ＋８、ＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２、ＨＯＲ＋２、ＶＥＲ－６、ＨＯＲ－６、ＶＥＲ＋６、ＨＯＲ＋６、ＶＥＲ＋６の予測モードにそれぞれ対応付けられている。また、予測モード番号１９～３５が順に、ＶＥＲ－１、ＨＯＲ－１、ＶＥＲ＋１、ＨＯＲ＋１、ＶＥＲ－３、ＨＯＲ－３、ＶＥＲ＋３、ＨＯＲ＋３、ＶＥＲ－５、ＨＯＲ－５、ＶＥＲ＋５、ＨＯＲ＋５、ＶＥＲ－７、ＨＯＲ－７、ＶＥＲ＋７、ＨＯＲ＋７、ＬＭにそれぞれ対応付けられている。予測モード定義ＤＥＦＰＭ４は、予測モード数１０の場合に適用可能である予測モード番号０～９に対応する予測モードは、ＤＣ、Planar、変位が０または変位の絶対値が４の倍数であるAngular予測のみを含むという性質を有している。また、予測モード数１８の場合に適用可能である予測モード番号０～１７に対応する予測モードは、ＤＣ、Planar、変位が０または変位の絶対値が２の倍数であるAngular予測のみを含むという性質を有している。
　上記の例において、最小の予測モード数として１０を使うことは、予測モード番号の復号時に推定予測モードＭＰＭを２個用いる場合に有効である。なぜなら、rem_idxの値域が０～７となり、rem_idxを３ｂｉｔの固定長符号により符号化できるためである。
　なお、上記の例において、変数IntraPrecisionの値が１の場合、log2PrartSizeの値によらず、予測モード数として１０を使う例を説明したが、これに限定されない。例えば、図３０の（ｂ）に示すように、予測モード数を４としてもよい。予測モード数が４の場合は、図３１の予測モード定義ＤＥＦＰＭ４では、予測モード番号０～３が順に、Ｐｌａｎａｒ，ＶＥＲ、ＨＯＲ、ＤＣの予測モードにそれぞれ対応付けられている。なお、予測モード数として４を使うことは、予測モード番号の復号時に推定予測モードＭＰＭを２個用いる場合に有効である。なぜなら、rem_idxの値域が０～１となり、rem_idxを１ｂｉｔの固定長符号により符号化できるためである。一般に、推定予測モード数がＫ個の場合には、予測モード数ＮｍがＮｍ－Ｋの値が２のべき乗となるような値にすることで、rem_idxが固定長符号により符号化できるため好ましい。
　変数intraPredPrecisionの値を、ＳＰＳ、ＰＰＳ、スライスヘッダで送信することで、それぞれシーケンス単位、ピクチャ単位、スライス単位での輝度に対する選択可能な予測モードの種類の変更が可能となる。なお、必ずしも変数intraPredPrecisionを用いる必要はなく、別の値を用いても良い。例えば、既定の種類（intraPredPrecisionが０の場合に対応する種類）から変更するか否かの情報を示すフラグを復号し、前記フラグが変更することを示す場合に、さらに輝度の各予測単位のサイズに対して何種類の予測モードを適用可能とするかを示す情報を追加で復号して用いても良い。
　〔応用例〕
　上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
　まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図２８を参照して説明する。
　図２８の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２８の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
　送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、及び、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２８の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図２８の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２８の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
　受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２８の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
　次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図２９を参照して説明する。
　図２９の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２９の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、及び、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２９の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
　図２９の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２９の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２９の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
　　なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
　　（ハードウェア的実現およびソフトウェア的実現）
　また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ－Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　　（むすび）
　本発明は、以下のように表現することも可能である。
（１）　画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する画像復号装置において、予測モードに係る所定の特徴量に基づいて所定の復号処理に用いる復号方式を選択する予測モード依存方式選択処理部と、予測モード番号を一意に特定する予測モード番号を復号する可変長復号部を備え、上記予測モード番号は、前記所定の特徴量が容易に判定可能であるという性質を有する構成である。
（２）　上記画像復号装置では、上記予測モード番号に基づいて方向予測の主方向および勾配を決定する予測方向導出部と、上記主方向と上記勾配に基づいて予測画像を生成する方向予測画像生成部を備え、上記予測モードに係る所定の特徴量は、上記主方向であり、上記所定の復号処理は、上記予測画像生成部における予測画像生成処理であってもよい。
（３）　さらに、上記画像復号装置では、上記主方向が垂直方向である全ての方向予測モードに対して、偶奇の等しい予測モード番号がそれぞれ割り当てられており、上記主方向が水平方向である全ての方向予測モードに対して、上記主方向が垂直方向である全ての方向予測モードに対して割り当てられた予測モード番号と、偶奇の異なる予測モード番号がそれぞれ割り当てられていてもよい。
（４）　上記画像復号装置では、上記予測モード番号に基づいて方向予測の主方向および勾配を決定する予測方向導出部と、上記主方向と上記勾配に基づいて予測画像を生成する方向予測画像生成部を備え、上記予測モードに係る所定の特徴量は、上記勾配の絶対値であり、上記所定の復号処理は、上記予測方向導出部における上記勾配の絶対値の決定処理であってもよい。
（５）　上記画像復号装置では、上記予測モード番号に基づいて方向予測の主方向および勾配を決定する予測方向導出部と、上記予測モード番号に基づいて予測画像生成に用いる参照画素に対して適用するフィルタを選択する参照画素設定部を備え、上記予測モードに係る所定の特徴量は、上記勾配の絶対値であり、上記所定の復号処理は、上記参照画素設定部におけるフィルタ選択処理であってもよい。
（６）　上記画像復号装置では、上記予測モード番号に基づいて方向予測の主方向および勾配を決定する予測方向導出部を備え、上記可変長復号部は、上記予測モード番号に基づいて決定されるスキャン順に変換係数を復号し、上記予測モードに係る所定の特徴量は、上記勾配の符号であり、上記所定の復号処理は、上記可変長復号部におけるスキャン順選択処理であってもよい。
（７）　上記画像復号装置では、上記予測モード番号に基づいて方向予測の主方向および勾配を決定する予測方向導出部と、上記予測モード番号に基づいて選択される垂直１次元変換および水平１次元変換を変換係数に適用することで予測残差を復号する逆量子化・逆変換部を備え、上記予測モードに係る所定の特徴量は、上記主方向および上記勾配の符号であり、上記所定の復号処理は、上記逆量子化・逆変換部における垂直１次元変換および水平１次元変換の選択処理であってもよい。
（８）　画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する画像復号装置において、符号化データから算術復号により予測モード関連シンタックスを復号するとともに、上記予測モード関連シンタックスに基づいて予測モードを復元する予測モード復元部を備え、上記予測モード関連シンタックスは、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードを少なくとも含み、
　上記予測モード復元部は、推定予測モードフラグが推定予測モードを利用することを示す場合、対象予測単位の左隣接予測単位の予測モードに基づいて第一の推定予測モードを導出するとともに、対象予測単位の上隣接予測単位の予測モードに基づいて第二の推定予測モードを導出し、上記二つの推定予測モードの大小比較を行うことなく、上記推定予測モードインデックスの値に基づいて一方の推定予測モードを予測モードとして復元する構成である。
（９）　画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する画像復号装置において、上記予測モード番号と予測画像生成単位のサイズに基づいて予測画像生成に用いる参照画素に対して適用するフィルタを選択する参照画素設定部を備え、上記参照画素設定部におけるフィルタ選択は、対象予測単位のサイズが大きい場合、対象予測単位のサイズが小さい場合に較べて、主方向となす角度がより小さい予測方向に対応付けられた予測モードに対して参照画素フィルタを適用すること選択する構成である。
（１０）　画像符号化装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成する画像符号化装置において、予測モードに係る所定の特徴量に基づいて所定の符号化処理に用いる符号化方式を選択する予測モード依存方式選択処理部と、予測モード番号を一意に特定する予測モード番号を符号化する可変長符号化部を備え、上記予測モード番号は、前記所定の特徴量が容易に判定可能であるという性質を有する構成である。
　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　また、本発明は、以下のように表現することもできる。
　本発明の一態様に係る画像復号装置では、上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の絶対値を特定し、上記復元手段は、上記復元処理として、上記方向予測の主方向を導出するとともに、上記予測方向の勾配の絶対値に基づいて、上記予測方向の勾配を導出することで、上記予測モードに対応する予測方向を導出することが好ましい。
　上記構成によれば予測モード番号から、予測方向の勾配の絶対値を特定する。すなわち、勾配の絶対値が等しい予測モード群にそれぞれ対応する予測モード番号から、勾配を特定する同一のインデックスを導出する。ここで、勾配の絶対値が等しい予測モード群とは、対応する予測方向と主方向とのなす角度の絶対値が等しい予測モード群である。非特許文献１の例で言えば、予測方向の勾配の絶対値は、４つの方向予測モードに関して同じになる（例えば、ＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２、ＨＯＲ＋２に対して勾配の絶対値５）。このため、予測モード番号（予測モード識別子）から、予測方向の勾配の絶対値を導出するために、全ての予測モード番号（予測モード識別子）のそれぞれに、予測方向の勾配の絶対値を対応付けるテーブルを設けなくても済む。
　よって、予測モード番号（予測モード識別子）から、予測方向の勾配の絶対値を導出するためのテーブルのサイズを低減することができる。
　また、本発明の一態様に係る画像復号装置では、上記対応付けでは、同一の勾配の絶対値を有する予測方向に対応する予測モードに対して、連続した予測モード番号が対応付けられており、上記特徴量特定手段は、上記予測モード番号に基づいて、該予測モード番号に対応付けられている予測モードが、上記同一の勾配の絶対値を有する予測方向に対応する予測モードからなる群のいずれに属するかを判定することで、上記勾配の絶対値を特定することが好ましい。
　上記構成によれば、次の性質を得ることができる。
　性質：変位（勾配）の絶対値の判定の容易性
　予測モードに対応する予測方向の変位の絶対値を容易に判定できるという性質である。この性質を満たすには、例えば、同一の絶対値を持つ変位に対応付けられる予測モードが連続しており、予測モード番号に対応付けられている予測モードが、上記同一の勾配の絶対値を有する予測方向に対応する予測モードからなる群のいずれに属するかを判定することで、上記勾配の絶対値を特定することができる。
　この判定は、例えば、予測モード番号に、所定の数値で右シフト演算した値により行うことができる。具体的に例示すると次のとおりである。ＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２およびＨＯＲ＋２に対して、それぞれ、予測モード番号７、８、９および１０が対応付けられているとする。このとき、予測モード番号ｍ（ｍ＝７～１０）に対して、（ｍ＋１）＞＞２の演算を適用すると、２が得られる。このように、上記同一の勾配の絶対値を有する予測方向に対応する予測モードからなる群のいずれに属するかを特定することができる。なお、上記判定は、予測モード番号を除算して得られる商に基づいて行うこともできる。
　よって、各予測モード番号（予測モード識別子）に対して、勾配の絶対値を対応付けなくてもよく、上記群に対して、上記勾配の絶対値を対応付けておくだけで済む。これにより、対応付けテーブルのサイズを削減することができる。
　本発明に係る画像復号装置では、上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の絶対値を特定し、上記復元手段は、上記復元処理として、上記勾配の絶対値に基づいて予測画像生成に用いる参照画素に対して適用するフィルタを選択することが好ましい。
　上記構成によれば、予測モード番号から、予測方向の勾配の絶対値を特定する。このため、全ての予測モード番号（予測モード識別子）のそれぞれに、予測方向の勾配の絶対値を対応付けるテーブルを設けなくても済む。
　また、フィルタ処理においては、対象予測単位のサイズと、予測方向の勾配の絶対値とに応じてフィルタを選択することが望ましい。例えば、対象予測単位のサイズが大きい場合、対象予測単位のサイズが小さい場合と較べて、勾配の絶対値が小さい予測方向に対応付けられた予測モードに対して参照画素フィルタを適用する。
　以上により、参照画素フィルタ適用処理におけるメモリ削減を図ることができる。
　本発明の一態様に係る画像復号装置では、上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の符号を特定し、上記復元手段は、上記復元処理として、上記勾配の符号に基づいて、変換係数を復号するスキャン順を決定することが好ましい。
　上記構成によれば、予測モード番号から、予測方向の勾配の符号を特定する。このため、全ての予測モード番号（予測モード識別子）のそれぞれに、予測方向の勾配の符号を対応付けるテーブルを設けなくても済む。
　予測モード番号から、予測方向の勾配の符号を特定するには、例えば、予測モード番号と、予測モードとの間の対応付けが次のような性質を有していればよい。
　性質：変位（勾配）の符号判定の容易性
　この性質を実現するための対応付けの一例としては、同一符号の変位に対応付けられる予測モードが、２個ずつ周期的に繰り返されて予測モード番号と対応付けることが挙げられる。
　具体的に例示すると、ＶＥＲ－２、ＨＯＲ－２、ＶＥＲ＋２およびＨＯＲ＋２に対して、それぞれ、予測モード番号７、８、９および１０が対応付けられているとする。このとき、変位（勾配）の符号は次のようにして導出することができる。
　予測モード番号ｍ＋１（ｍ＝７～１０）を、４で除算した際の余りを計算する。ここで、余りが、０または１のとき変位の符号は、負の符号である。余りが、２および３のとき変位の符号は、正である。
　また、変換係数を復号するスキャン順は、予測方向の勾配に応じて選択することが好ましい。具体的には、勾配が所定の値より大きい場合、対角スキャンを選択することが好ましい。
　なお、これに対して、勾配が所定の値以下である場合、予測方向の主方向に基づいてスキャン順を選択してもよい。例えば、主方向が垂直方向である場合、垂直スキャンを選択し、主方向が水平方向である場合、水平スキャンを選択してもよい。
　更に言えば、性質：変位（勾配）の符号判定の容易性に加えて、上記性質１を満たすような対応付けを併用することも可能である。上述の具体例では、このような性質を満たしている。このように性質１を利用して上記選択を行ってもよい。
　以上により、スキャン順を選択する処理におけるメモリ削減を図ることができる。
　本発明に係る画像復号装置では、上記特徴量特定手段は、上記特徴量として、上記予測方向の主方向および勾配の符号を特定し、上記復元手段は、上記復元処理として、上記主方向および勾配の符号に基づいて、垂直１次変換および水平１次変換を変換係数に適用することで予測残差を復号することが好ましい。
　上記構成によれば、予測モード番号から、予測方向の主方向および勾配の符号を特定する。上述のとおり、性質：変位（勾配）の符号判定の容易性に加えて、上記性質１を満たすような対応付けを併用することも可能である。
　また、変換係数の逆直交変換においては、垂直１次元逆変換および水平１次元逆変換を採用することができる。これらの逆変換では、１次元逆ＤＣＴまたは１次元逆ＤＳＴを選択することができる。
　垂直１次元逆変換および水平１次元逆変換では、予測残差の特性に応じた組み合わせを選択することが好ましい。予測残差の特性は、予測モードにより定まる。方向予測の予測モードについては、例えば、次のように垂直１次元逆変換および水平１次元逆変換の組み合わせを選択する。
　予測モードの主方向が垂直方向である場合、または、予測モードの主方向が水平方向であって、予測方向が左上から右下方向である場合、垂直１次元逆変換に１次元ＤＳＴを設定する。それ以外の場合、垂直１次元逆変換に１次元ＤＣＴを設定する。
　また、予測モードの主方向が水平方向である場合、または、予測モードの主方向が垂直方向であって、予測方向が左上から右下方向である場合、水平１次元逆変換に１次元ＤＳＴを設定する。それ以外の場合、水平１次元逆変換に１次元ＤＣＴを設定する。
　まず、主方向は、上記の性質１を利用することができる。また、主方向が垂直方向および水平方向の場合において、予測方向が左上から右下方向である否かは、勾配の符号により判定することができる。よって、上記の性質：変位（勾配）の符号判定の容易性を利用することができる。
　以上により、１次元逆変換の組み合わせを選択する処理におけるメモリ削減を図ることができる。
　また、本発明の一態様に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化された画像を復元する画像復号装置において、対象予測単位の予測モードの復元に、推定予測モードを利用するか否かを示す推定予測モードフラグ、および、複数の推定予測モードのいずれかを指定するための推定予測モードインデックスを、符号化データから算術復号によって復号する算術復号手段と、上記対象予測単位の複数の近傍予測単位に割り付けられている復号済みの予測モードから、複数の上記推定予測モードを導出する推定予測モード導出手段と、上記推定予測モードインデックスに対して算術復号のためのコンテキストが設定されていない場合であって、上記推定予測モードフラグが推定予測モードと一致することを示す場合に、上記推定予測モードインデックスが示す推定予測モードを予測モードとして選択し、上記推定予測モードフラグが推定予測モードと一致しないことを示す場合に、上記複数の推定予測モードの交換処理を用いて、予測モードを復元する予測モード復元手段とを備え、上記予測モード復元手段は、上記推定予測モードフラグが推定予測モードと一致しないことを示す場合に、上記複数の予測モードに対応する予測モード番号の大小比較に基づいて推定予測モードの交換処理を実行することが好ましい。
　上記構成では、まず、推定予測モードフラグおよび推定予測モードインデックスを、符号化データから算術復号によって復号する。
　また、近傍予測単位に割り付けられている復号済みの予測モードに従って、複数の推定予測モードを導出する。また、推定予測モードは、推定予測モードインデックスにより指定される。
　ここで、近傍予測単位とは、対象予測単位と空間相関を有する予測単位のことである。例えば、近傍予測単位としては、対象予測単位に隣接する予測単位が挙げられる。また、近傍予測単位は、対象予測単位の左隣接予測単位および上隣接予測単位であってもよい。
　なお、算術復号によるパラメータの復号においては、０または１の発生確率に応じたコンテキストを利用することができる。コンテキストを利用する場合は、０または１の発生確率に偏りが生じれば、符号量を削減できる。
　ここで、一般的に発生確率の高い予測モードには小さい予測モード番号が対応付けられる。
　よって、小さい予測モード番号の予測モードを、小さい推定予測モードインデックスの値に割り当てることで、該小さい推定予測モードインデックスの値に対応する推定予測モードの発生確率が、より大きい推定予測モードインデックスの値に対応する推定予測モードの発生確率よりも高くなる。
　以上より、コンテキストを利用する場合は、小さい予測モード番号の予測モードが、大きい予測モード番号の予測モードよりも、大きい推定予測モードインデックスに割り当てられている場合、小さい予測モード番号の予測モードに対するインデックス割り当てと大きい予測モード番号の予測モードに対するインデックス割り当てとをスワップ（交換）することが好ましい。
　また、このように、発生確率に偏りが生じる場合、推定予測モードインデックスの算術復号にコンテキストを利用することで符号量を削減することができる。
　これに対して、コンテキストを利用しない場合は、算術復号において０、１の発生が、等確率、すなわち“発生確率に偏りが生じない”とみなされて復号される。従って、上記スワップを行っても符号量削減に寄与しないばかりか、不用意に処理量の増大を招来してしまう。このため、コンテキストを利用しない場合は、上記スワップを省略することが望ましい。
　上記構成によれば、上記推定予測モードインデックスに対して算術復号のためのコンテキストが設定されていない場合、上記複数の推定予測モードに対応するモード番号の大小比較に基づく推定予測モードの交換処理を省略する。
　その結果、推定予測モードを用いる場合における予測モード導出に要する処理量を削減できる。
　また、一般的に、画像が平坦な領域では参照画像に対して平滑化フィルタを適用することが予測画像の画質を向上させるうえで有効である。また、大きいサイズの予測単位は、定性的には、比較的平坦な領域で選択される。従って、大きいサイズの予測単位においては、よりフィルタの適用対象を増やすことが好ましい。
　上記構成によれば、対象予測単位のサイズが大きい場合、対象予測単位のサイズが小さい場合に較べて、主方向となす角度がより小さい予測方向に対応付けられている予測モードに対応付けられている予測モード番号に対して参照画素フィルタを適用する。
　このため、対象予測単位のサイズに応じて、予測方向に基づく平滑化フィルタを適用することができ、これにより予測画像の画質の向上を図ることができる。
なお、上記画像復号装置に対応する構成を備える画像符号化装置も本発明の範疇に入る。上記のように構成された画像符号化装置によれば、本発明に係る画像復号装置と同様の効果を奏することができる。
　上記の課題を解決するために、本発明に係る符号化データのデータ構造は、予測単位毎に予測モード群から選択した予測モードに従って生成された予測画像を原画像から減算して得られる予測残差を、選択した予測モードを指定する予測モード指定情報を含むサイド情報と共に符号化することによって生成された符号化データのデータ構造であって、上記予測モード指定情報は、主方向および勾配により定まる予測方向に基づくイントラ予測方式に対応付けられた予測モード番号を含み、上記予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有することを特徴とする。
　上記構成によれば、復号画像と符号化データを入力として、復号画像に対してポストフィルタを適応的に適用する場合、より具体的には、符号化データに基づいて予測モード番号を復元し、各予測モードの主方向が垂直方向か水平方向かを判定し、判定結果に応じたフィルタを復号画像の各予測モードの対応する領域に対して適用する場合に、予測モードの主方向の判定を、各予測モード番号と主方向を対応付けるテーブルを参照することなく実現できる。したがって、復号時または符号化時において必要なメモリを削減できる。
　本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１　　　　　動画像復号装置（画像復号装置）
１１　　　　可変長復号部（算術復号手段）
１１１　　　予測セット決定部
１１２　　　ＭＰＭ導出部（推定予測モード導出手段）
１１３　　　ＭＰＭ判定部
１１４　　　予測モード復元部（予測モード復元手段）
１１６　　　色差予測モード復元部
１１７　　　コンテキスト記憶部
１３　　　　逆量子化・逆変換部（復元手段）
１４　　　　予測画像生成部
１４４　　　参照画素フィルタ部（復元手段、フィルタ選択手段）
１４５　　　輝度予測部（復元手段）
１４５１　　予測方式選択部
１４５２　　予測画像導出部
１４５２Ｄ　ＤＣ予測部
１４５２Ｐ　Planar予測部
１４５２Ｈ　水平予測部
１４５２Ｖ　垂直予測部
１４５２Ａ　Angular予測部（復元手段）
１４５３　　予測方向導出部（特徴量特定手段）
１４５３Ａ、１４５３Ａ’　主方向導出部（特徴量特定手段）
１４５３Ｂ、１４５３Ｂ’　勾配導出部（特徴量特定手段）
１４６　　　色差予測部
ＤＥＦＰＭ１～ＤＥＦＰＭ３　予測モード定義
ＤＥＦＡＮＧ１ｒ、ＤＥＦＡＮＧ１ｒ　勾配定義テーブル
ＤＥＦＡＮＧ２　勾配絶対値定義テーブル
２　　　　　動画像符号化装置（画像符号化装置）
２３　　　　予測画像生成部
２２　　　　逆量子化・逆変換部
２９　　　　符号化データ生成部（符号化手段）
２９１　　　予測セット決定部
２９２　　　ＭＰＭ導出部
２９３　　　ＭＰＭ判定部
２９４　　　予測モード符号化部
２９６　　　色差予測モード符号化部

Claims (11)

  1. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化データから画像を復元する画像復号装置において、
    　方向予測のイントラ予測方式に関して、予測方向に対応する予測モードと、該予測モードを特定するための予測モード番号との対応付けがなされており、
    　上記予測モード番号が所定の閾値以下か否かを判定し、上記判定された結果に基づいて参照画素を設定する参照画素設定手段を有し、
    上記設定された参照画素に従って、所定の復元処理を行う復元手段と、を備えることを特徴とする画像復号装置。
  2. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化データから画像を復元する画像復号装置において、
    　方向予測のイントラ予測方式に関して、主方向および勾配により表現される予測方向に対応する予測モードと、該予測モードを一意に特定するための予測モード番号との間の対応付けが、該予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有しており、
    　上記対応付けに基づいて、符号化データから復号された上記予測モード番号から上記特徴量を特定する特徴量特定手段と、
    　上記特徴量に従って、所定の復元処理を行う復元手段と、を備えることを特徴とする画像復号装置。
  3. 　上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の絶対値を特定し、
    　上記復元手段は、上記復元処理として、上記方向予測の主方向を導出するとともに、上記予測方向の勾配の絶対値に基づいて、上記予測方向の勾配を導出することで、上記予測モードに対応する予測方向を導出することを特徴とする請求項２に記載の画像復号装置。
  4. 　上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の絶対値を特定し、
    　上記復元手段は、上記復元処理として、上記勾配の絶対値に基づいて予測画像生成に用いる参照画素に対して適用するフィルタを選択することを特徴とする請求項２に記載の画像復号装置。
  5. 　上記特徴量特定手段は、上記特徴量として、上記予測方向の勾配の符号を特定し、
    　上記復元手段は、上記復元処理として、上記勾配の符号に基づいて、変換係数を復号するスキャン順を決定することを特徴とする請求項２に記載の画像復号装置。
  6. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化された画像を復元する画像復号装置において、
    　対象予測単位の予測モードの復元に、推定予測モードを利用するか否かを示す推定予測モードフラグ、および、複数の推定予測モードのいずれかを指定するための推定予測モードインデックスを、符号化データから算術復号によって復号する算術復号手段と、
    　上記対象予測単位の複数の近傍予測単位に割り付けられている復号済みの予測モードから、複数の上記推定予測モードを導出する推定予測モード導出手段と、
    　上記推定予測モードインデックスに対して算術復号のためのコンテキストが設定されていない場合であって、上記推定予測モードフラグが推定予測モードと一致することを示す場合に、上記推定予測モードインデックスが示す推定予測モードを予測モードとして選択し、上記推定予測モードフラグが推定予測モードと一致しないことを示す場合に、上記複数の推定予測モードの交換処理を用いて、予測モードを復元する予測モード復元手段と、を備えることを特徴とする画像復号装置。
  7. 　上記予測モード復元手段は、上記推定予測モードフラグが推定予測モードと一致しないことを示す場合に、上記複数の予測モードに対応する予測モード番号の大小比較に基づいて推定予測モードの交換処理を実行すること、を特徴とする請求項６に記載の画像復号装置。
  8. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成することで符号化された画像を復元する画像復号装置において、
    　上記予測モードに対応付けられている予測モード番号と、上記予測画像を生成する単位である予測単位のサイズとに基づいて、上記予測画像の生成に用いる参照画像に対して適用するフィルタを選択するフィルタ選択手段を備え、
    　上記フィルタ選択手段は、対象予測単位のサイズが大きい場合、対象予測単位のサイズが小さい場合に較べて、主方向となす角度がより小さい予測方向に対応付けられている予測モードに対応付けられている予測モード番号に対して参照画素フィルタを適用することを選択する画像復号装置。
  9. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、
    　方向予測のイントラ予測方式に関して、予測方向に対応する予測モードと、該予測モードを特定するための予測モード番号との対応付けがなされており、
    　上記予測モード番号が所定の閾値以下か否かを判定し、上記判定された結果に基づいて参照画素を設定する参照画素設定手段を有し、所定の符号化処理を行う符号化手段と、を備えることを特徴とする画像符号化装置。
  10. 　予測モードに対応付けられたイントラ予測方式により予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、
    　方向予測のイントラ予測方式に関して、主方向および勾配により定まる予測方向に対応する予測モードと、該予測モードを一意に特定するための予測モード番号との間の対応付けが、該予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有しており、
    　上記対応付けに基づいて、上記予測モードに対応付けられている上記予測モード番号から上記特徴量を特定する特徴量特定手段と、
    　上記特徴量に従って、所定の符号化処理を行う符号化手段と、を備えることを特徴とする画像符号化装置。
  11. 　予測単位毎に予測モード群から選択した予測モードに従って生成された予測画像を原画像から減算して得られる予測残差を、選択した予測モードを指定する予測モード指定情報を含むサイド情報と共に符号化することによって生成された符号化データのデータ構造であって、
    　上記予測モード指定情報は、主方向および勾配により定まる予測方向に基づくイントラ予測方式に対応付けられた予測モード番号を含み、
    　上記予測モード番号から上記主方向および上記勾配の少なくとも一方に係る所定の特徴量が特定できるような性質を有することを特徴とする符号化データのデータ構造。
     
PCT/JP2013/050356 2012-01-13 2013-01-11 画像復号装置、画像符号化装置、および符号化データのデータ構造 Ceased WO2013105622A1 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020147021443A KR101654446B1 (ko) 2012-01-13 2013-01-11 화상 복호 장치, 화상 부호화 장치 및 부호화 데이터의 데이터 구조
CN201811579089.6A CN109905705B (zh) 2012-01-13 2013-01-11 图像解码装置
HK15100528.4A HK1200255B (zh) 2012-01-13 2013-01-11 图像解码装置、图像编码装置
KR1020167014315A KR101768401B1 (ko) 2012-01-13 2013-01-11 화상 복호 장치
CA2863208A CA2863208C (en) 2012-01-13 2013-01-11 Image decoding device, image encoding device, and data structure of encoded data
CN201811579087.7A CN109889830B (zh) 2012-01-13 2013-01-11 图像解码装置及方法、图像编码装置及方法
CN201380005261.6A CN104054343B (zh) 2012-01-13 2013-01-11 图像解码装置、图像编码装置
EP13735980.8A EP2804377A4 (en) 2012-01-13 2013-01-11 Image Decoding Device, Image Coding Device and Data Structure of the Coded Data
US14/371,766 US20150003524A1 (en) 2012-01-13 2013-01-11 Image decoding device, image encoding device, and data structure of encoded data
AU2013208472A AU2013208472B2 (en) 2012-01-13 2013-01-11 Image decoding device, image encoding device, and data structure of encoded data
AU2015264943A AU2015264943B2 (en) 2012-01-13 2015-12-07 Image decoding device, image encoding device, and data structure of encoded data
US17/019,453 US11627337B2 (en) 2012-01-13 2020-09-14 Image decoding device
US18/113,236 US12149735B2 (en) 2012-01-13 2023-02-23 Image decoding device, image encoding device, and image decoding method
US18/903,386 US20250039438A1 (en) 2012-01-13 2024-10-01 Image decoding device, image encoding device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-005630 2012-01-13
JP2012005630 2012-01-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/371,766 A-371-Of-International US20150003524A1 (en) 2012-01-13 2013-01-11 Image decoding device, image encoding device, and data structure of encoded data
US17/019,453 Continuation US11627337B2 (en) 2012-01-13 2020-09-14 Image decoding device

Publications (1)

Publication Number Publication Date
WO2013105622A1 true WO2013105622A1 (ja) 2013-07-18

Family

ID=48781564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050356 Ceased WO2013105622A1 (ja) 2012-01-13 2013-01-11 画像復号装置、画像符号化装置、および符号化データのデータ構造

Country Status (8)

Country Link
US (4) US20150003524A1 (ja)
EP (1) EP2804377A4 (ja)
JP (2) JPWO2013105622A1 (ja)
KR (2) KR101654446B1 (ja)
CN (3) CN109889830B (ja)
AU (1) AU2013208472B2 (ja)
CA (1) CA2863208C (ja)
WO (1) WO2013105622A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015053112A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2018523376A (ja) * 2015-06-18 2018-08-16 クアルコム，インコーポレイテッド イントラ予測およびイントラモードコーディング
JP2020110009A (ja) * 2012-01-20 2020-07-16 インテレクチュアル ディスカバリー カンパニー リミテッド 復号化方法及び符号化方法
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
JP2021513815A (ja) * 2018-07-16 2021-05-27 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397616B2 (en) 2012-09-28 2019-08-27 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
WO2014154094A1 (en) * 2013-03-26 2014-10-02 Mediatek Inc. Method of cross color intra prediction
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CN105812799B (zh) * 2014-12-31 2019-03-08 阿里巴巴集团控股有限公司 视频帧内预测模式的快速选择方法及其装置
WO2017007989A1 (en) * 2015-07-08 2017-01-12 Vid Scale, Inc. Enhanced chroma coding using cross plane filtering
KR20180044943A (ko) * 2015-09-23 2018-05-03 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
EP4661401A2 (en) * 2016-02-03 2025-12-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Moving image decoding device, moving image encoding device, and prediction image generation device
US9800760B1 (en) * 2016-09-30 2017-10-24 Kyocera Document Solutions Inc. Fast drawing of unrotated delta row encoded images
KR102315926B1 (ko) * 2016-10-10 2021-10-21 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
CN110622515A (zh) * 2017-05-09 2019-12-27 谷歌有限责任公司 定向帧内预测代码化
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
US10225578B2 (en) 2017-05-09 2019-03-05 Google Llc Intra-prediction edge filtering
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109587491B (zh) * 2017-09-28 2022-09-23 腾讯科技（深圳）有限公司 一种帧内预测方法、装置及存储介质
JP7028414B2 (ja) * 2017-11-07 2022-03-02 株式会社高尾 弾球遊技機
JP6992825B2 (ja) 2018-01-30 2022-01-13 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
US10652534B2 (en) * 2018-03-08 2020-05-12 Tencent America LLC Methods and apparatus for directional intra prediction in video compression
CN110677678B (zh) * 2018-07-01 2022-09-23 北京字节跳动网络技术有限公司 依赖形状的帧间编码
WO2020066702A1 (ja) * 2018-09-28 2020-04-02 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
CN109462758B (zh) * 2018-10-09 2021-04-06 深圳市网心科技有限公司 帧内预测模式确定方法、电子设备、系统及存储介质
US11184622B2 (en) * 2019-09-18 2021-11-23 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
CN112087634B (zh) * 2020-08-11 2022-03-08 北京博雅慧视智能技术研究院有限公司 一种最佳角度判定方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177352A (ja) * 2008-01-22 2009-08-06 Canon Inc 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100219628B1 (ko) * 1997-02-15 1999-09-01 윤종용 루프필터링 방법 및 루프필터
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
US7706443B2 (en) * 2005-03-11 2010-04-27 General Instrument Corporation Method, article of manufacture, and apparatus for high quality, fast intra coding usable for creating digital video content
KR100703200B1 (ko) * 2005-06-29 2007-04-06 한국산업기술대학교산학협력단 인트라 부호화 장치 및 방법
US7991235B2 (en) * 2007-02-27 2011-08-02 Xerox Corporation Light compression for color images using error diffusion
EP2223527A1 (en) * 2007-12-21 2010-09-01 Telefonaktiebolaget LM Ericsson (publ) Adaptive intra mode selection
JP2009159323A (ja) * 2007-12-26 2009-07-16 Toshiba Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
JP2010124397A (ja) * 2008-11-21 2010-06-03 Toshiba Corp 高解像度化装置
KR20100079037A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 비디오 영상 부호화 방법 및 장치
EP2387243A4 (en) * 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
KR101590511B1 (ko) * 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN106067973B (zh) * 2010-05-19 2019-06-18 Sk电信有限公司 视频解码设备
US9661338B2 (en) * 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US9204155B2 (en) * 2010-09-30 2015-12-01 Futurewei Technologies, Inc. Multiple predictor set for intra coding with intra mode prediction
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
US9154796B2 (en) * 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177352A (ja) * 2008-01-22 2009-08-06 Canon Inc 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "WD4: Working Draft 4 of High-Efficiency Video Coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/ WG11, 14 July 2011 (2011-07-14), pages 87 - 100, XP008169159 *
GLENN VAN WALLENDAEL ET AL.: "IMPROVED INTRA MODE SIGNALING FOR HEVC", MULTIMEDIA AND EXPO (ICME), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 11 July 2011 (2011-07-11), pages 1 - 7, XP031964819 *
See also references of EP2804377A4 *
TOMOYUKI YAMAMOTO: "Modified definitions of intra mode and most probable mode", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/ WG11, 1 February 2012 (2012-02-01), pages 1 - 4, XP030111125 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022123090A (ja) * 2012-01-20 2022-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
JP7282239B2 (ja) 2012-01-20 2023-05-26 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
JP2020110009A (ja) * 2012-01-20 2020-07-16 インテレクチュアル ディスカバリー カンパニー リミテッド 復号化方法及び符号化方法
JP2023096035A (ja) * 2012-01-20 2023-07-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
JP7524403B2 (ja) 2012-01-20 2024-07-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
JP2021145374A (ja) * 2012-01-20 2021-09-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
US12047564B2 (en) 2012-01-20 2024-07-23 Dolby Laboratories Licensing Corporation Intra prediction mode mapping method and device using the method
JP7094425B2 (ja) 2012-01-20 2022-07-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 復号化方法及び符号化方法
US11750803B2 (en) 2012-01-20 2023-09-05 Dolby Laboratories Licensing Corporation Intra prediction mode mapping method and device using the method
US11412216B2 (en) 2012-01-20 2022-08-09 Dolby Laboratories Licensing Corporation Intra prediction mode mapping method and device using the method
WO2015053112A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
JP2018523376A (ja) * 2015-06-18 2018-08-16 クアルコム，インコーポレイテッド イントラ予測およびイントラモードコーディング
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
JP2022132417A (ja) * 2018-07-16 2022-09-08 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP7305851B2 (ja) 2018-07-16 2023-07-10 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP2023115281A (ja) * 2018-07-16 2023-08-18 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
US11736685B2 (en) 2018-07-16 2023-08-22 Tencent America LLC Reference sample padding and filtering for intra prediction in video compression
JP7106661B2 (ja) 2018-07-16 2022-07-26 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP2021513815A (ja) * 2018-07-16 2021-05-27 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP7559149B2 (ja) 2018-07-16 2024-10-01 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
JP2024169525A (ja) * 2018-07-16 2024-12-05 テンセント・アメリカ・エルエルシー 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
US12231629B2 (en) 2018-07-16 2025-02-18 Tencent America LLC Reference sample padding and filtering for intra prediction in video compression
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation

Also Published As

Publication number Publication date
US20150003524A1 (en) 2015-01-01
KR20140120896A (ko) 2014-10-14
CN104054343A (zh) 2014-09-17
JP6441418B2 (ja) 2018-12-19
CN104054343B (zh) 2019-01-18
US20250039438A1 (en) 2025-01-30
CA2863208C (en) 2021-03-09
US20230199218A1 (en) 2023-06-22
CA2863208A1 (en) 2013-07-18
JPWO2013105622A1 (ja) 2015-05-11
KR101654446B1 (ko) 2016-09-05
CN109889830B (zh) 2023-08-08
US12149735B2 (en) 2024-11-19
US11627337B2 (en) 2023-04-11
JP2017200231A (ja) 2017-11-02
HK1200255A1 (en) 2015-07-31
CN109889830A (zh) 2019-06-14
KR101768401B1 (ko) 2017-08-14
AU2013208472A1 (en) 2014-08-21
AU2013208472B2 (en) 2015-10-01
US20200413091A1 (en) 2020-12-31
EP2804377A1 (en) 2014-11-19
EP2804377A4 (en) 2015-12-09
KR20160066011A (ko) 2016-06-09
CN109905705A (zh) 2019-06-18
CN109905705B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
JP6441418B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
JP5972888B2 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP5995448B2 (ja) 画像復号装置、および画像符号化装置
WO2014115283A1 (ja) 画像復号装置、および画像符号化装置
US10136161B2 (en) DMM prediction section, image decoding device, and image coding device
WO2013180023A1 (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013058939A (ja) 画像復号装置、および画像符号化装置
WO2019065488A1 (ja) 画像復号装置および画像符号化装置
JP2013141094A (ja) 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造
JP2013118424A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
WO2012121352A1 (ja) 動画像復号装置、動画像符号化装置、および、データ構造
WO2012090962A1 (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造、ならびに、算術復号装置、算術符号化装置
JP6162289B2 (ja) 画像復号装置および画像復号方法
AU2015264943B2 (en) Image decoding device, image encoding device, and data structure of encoded data
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
WO2012147947A1 (ja) 画像復号装置、および画像符号化装置
HK1200255B (zh) 图像解码装置、图像编码装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13735980

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013553317

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2863208

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14371766

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013735980

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147021443

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013208472

Country of ref document: AU

Date of ref document: 20130111

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE