[go: up one dir, main page]

WO2019187096A1 - 復号方法、復号装置、符号化装置及びプログラム - Google Patents

復号方法、復号装置、符号化装置及びプログラム Download PDF

Info

Publication number
WO2019187096A1
WO2019187096A1 PCT/JP2018/013856 JP2018013856W WO2019187096A1 WO 2019187096 A1 WO2019187096 A1 WO 2019187096A1 JP 2018013856 W JP2018013856 W JP 2018013856W WO 2019187096 A1 WO2019187096 A1 WO 2019187096A1
Authority
WO
WIPO (PCT)
Prior art keywords
template
decoded
area
screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/013856
Other languages
English (en)
French (fr)
Inventor
寛史 長岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to PCT/JP2018/013856 priority Critical patent/WO2019187096A1/ja
Priority to JP2020508865A priority patent/JP7248013B2/ja
Publication of WO2019187096A1 publication Critical patent/WO2019187096A1/ja
Priority to US17/032,446 priority patent/US11197011B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • the present invention relates to a decoding method, a decoding device, an encoding device, and a program.
  • Inter prediction As one of inter-screen prediction (inter prediction) in the next generation video codec (next generation codec following H.265 / HEVC) currently under study, there is inter prediction by template matching. Inter prediction by template matching uses a region (template region) adjacent to a block to be decoded to perform matching in a temporally different reference screen, and generates a prediction image by determining a motion vector. This is one of “compensated inter prediction”.
  • Patent Document 1 proposes a method of setting a region having a predetermined positional relationship with a block to be decoded as a template region in order to improve processing efficiency in inter prediction by template matching.
  • the purpose is to improve the processing efficiency in inter prediction by template matching in the next generation codec.
  • a decoding method comprises the following configuration. That is, A decoding method for decoding an image using inter-screen prediction, Obtaining a rectangular area to be decoded from within the screen being decoded; Setting a first template area in accordance with the position of the rectangular area to be decoded in the screen being decoded; Setting a second template region corresponding to the first template region in a reference screen that is temporally different from the screen being decoded; By moving the second template area by a predetermined vector within the reference screen, a third template area is set, and an image between the third template area and the first template area is set.
  • the step of setting the first template region includes: When the size of the rectangular area to be decoded is equal to or smaller than a predetermined threshold, or the screen including the rectangular area to be decoded is not referred to when decoding another screen that is temporally different. In the case of corresponding to a reference screen, an area adjacent to a predetermined block including the decoding target rectangular area determined by the encoding apparatus is set as the first template area.
  • Processing efficiency can be improved in inter prediction by template matching in the next generation codec.
  • FIG. 1 is a diagram illustrating an application example of an encoder and a decoder.
  • FIG. 2 is a diagram illustrating another application example of the encoder and the decoder.
  • FIG. 3 is a diagram illustrating an example of the hardware configuration of the encoder.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of the encoder.
  • FIG. 5 is a diagram for explaining a rectangular area and a template area to be decoded in the inter prediction mode under consideration in the next generation codec.
  • FIG. 6 is a diagram showing an outline of template matching in the inter prediction mode under consideration in the next generation codec.
  • FIG. 1 is a diagram illustrating an application example of an encoder and a decoder.
  • FIG. 2 is a diagram illustrating another application example of the encoder and the decoder.
  • FIG. 3 is a diagram illustrating an example of the hardware configuration of the encoder.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of the encoder.
  • FIG. 7 is a diagram illustrating an example of a functional configuration (encoder) for realizing inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • FIG. 8 is a flowchart showing the flow of inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • FIG. 9 is a flowchart showing the flow of the motion search process at the CU level, which details step S801.
  • FIG. 10 is a flowchart showing the flow of the subCU level motion search process, which details step S802.
  • FIG. 11 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode under consideration in the next generation codec.
  • FIG. 12 is a diagram for explaining a rectangular region and a template region to be decoded in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 13 is a diagram illustrating an outline of template matching in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 14 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 15 is a diagram illustrating template matching execution conditions in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 16 is a flowchart showing a flow of subCU level motion search processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 17 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 18 is a first diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 19 is a second diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 20 is a third diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 21 is a diagram illustrating an example of a functional configuration of the decoder.
  • FIG. 18 is a first diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 19 is a second diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 20 is a third diagram illustrating a specific example of parallel processing in the inter prediction mode of the encode
  • FIG. 22 is a diagram illustrating an example of a functional configuration (decoder) for realizing inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • FIG. 23 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the decoder according to the first embodiment.
  • FIG. 24 is a diagram for explaining a decoding target rectangular region and a template region in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 25 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 26 is a diagram illustrating template matching execution conditions in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 27 is a flowchart showing the flow of a subCU level motion search process in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 28 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 29 is a first diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 30 is a second diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 31 is a third diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 32 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the decoder according to the second embodiment.
  • FIG. 33 is a flowchart showing the flow of a subCU level motion search process in the inter prediction mode of the encoder according to the third embodiment.
  • FIG. 1 is a diagram illustrating an application example of an encoder and a decoder.
  • an encoder 110 and a decoder 120 are arranged in a transmitter and a receiver, respectively, and connected via a network 160, thereby forming an image processing system 100 to which the encoder 110 and the decoder 120 are applied. Can do.
  • an encoder 110 disposed in a transmission device generates a data stream (encoded sequence) by encoding input image data. Further, the transmission device transmits the generated data stream to the reception device via the network 160.
  • the receiving device receives the data stream. Further, the decoder 120 disposed in the receiving device generates and displays image data by decoding the data stream.
  • Forming such an image processing system 100 can reduce the transmission load when transmitting image data, and can be applied to various fields such as the Internet field, the broadcast field, and the communication field.
  • Application example 100a shows an example in which the image processing system 100 is applied to the Internet field.
  • the personal computer 121a, the smart terminal 121b, and the like which are examples of the reception device 110, receive and display the data stream transmitted from the server device 111, which is an example of the transmission device 110.
  • the user of the personal computer 121a or the smart terminal 121b can view the moving image data held by the server device 111 via the Internet.
  • Application example 100b shows an example in which the image processing system 100 is applied to the broadcasting field.
  • the television 122 which is an example of the receiving device 110, receives and displays the data stream transmitted from the broadcast transmitter 112, which is an example of the transmitting device 110. Thereby, for example, the user of the television 122 can view the broadcast content transmitted by the broadcast transmitter 112.
  • Application example 100c shows an example in which the image processing system 100 is applied to the communication field.
  • the video phone 123 which is an example of the reception device 110, receives and displays the data stream transmitted from the video phone 113, which is an example of the transmission device 110. Thereby, the user of the video phone 123 can make a call while looking at the face of the other party.
  • FIG. 2 is a diagram illustrating another application example of the encoder and the decoder.
  • the storage device 200 to which the encoder 110 and the decoder 120 are applied can be formed by integrally configuring the encoder 110 and the decoder 120.
  • the input image data is encoded by the encoder 110, and the generated data stream is stored in a recording medium.
  • the storage device 200 generates and displays image data by the decoder 120 decoding the data stream stored in the recording medium.
  • Forming such a storage device 200 can reduce the capacity for storing image data, and can be applied, for example, to the storage field.
  • the application example 200a shows an example in which the storage device 200 is applied to the storage field.
  • the video recorder 211 which is an example of the storage device 200 stores the data stream generated by the built-in encoder 110 by encoding the image data in the recording medium 212.
  • the built-in decoder 120 decodes the data stream read from the recording medium 212 to generate image data and displays it on the monitor 213. Thereby, the user of the video recorder 211 can accumulate
  • FIG. 3 is a diagram illustrating an example of the hardware configuration of the encoder.
  • the encoder 110 includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303.
  • the CPU 301, the ROM 302, and the RAM 303 form a so-called computer.
  • the encoder 110 includes an auxiliary storage device 304, an input device 305, a display device 306, a connection device 307, and a drive device 308. Note that the hardware of the encoder 110 is connected to each other via a bus 309.
  • the CPU 301 executes various programs (for example, an encoding program) installed in the auxiliary storage device 304.
  • ROM 302 is a non-volatile memory.
  • the ROM 302 functions as a main storage device that stores various programs, data, and the like necessary for the CPU 301 to execute various programs installed in the auxiliary storage device 304.
  • the ROM 302 stores a boot program such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • BIOS Basic Input / Output System
  • EFI Extensible Firmware Interface
  • the RAM 303 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 303 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage device 304 are executed by the CPU 301.
  • the auxiliary storage device 304 is an auxiliary storage device that stores various installed programs and information used when executing the various programs.
  • the input device 305 is an input device used when inputting various instructions to the encoder 110.
  • the display device 306 is a display device that displays internal information of the encoder 110.
  • the connection device 307 is a communication device for the encoder 110 to receive image data from the outside, or the encoder 110 to connect to the decoder 120 to perform communication.
  • the drive device 308 is a device for setting a computer-readable recording medium 310.
  • the recording medium 310 herein includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like.
  • the recording medium 310 may include a semiconductor memory that electrically records information, such as a ROM and a flash memory.
  • the various programs installed in the auxiliary storage device 304 are installed by, for example, setting the distributed recording medium 310 in the drive device 308 and reading out the various programs recorded in the recording medium 310 by the drive device 308. May be.
  • various programs installed in the auxiliary storage device 304 may be installed by being downloaded from the network 160 via the connection device 307.
  • FIG. 3 is merely an example, and depending on the application form, it may be understood that a part of the hardware illustrated in FIG. 3 may be excluded or replaced with other hardware. Nor.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of the encoder.
  • the encoder 110 includes a block division unit 401, an orthogonal transform unit 402, a quantization unit 403, and an entropy encoding unit 404.
  • the encoder 110 also includes an inverse quantization unit 405, an inverse orthogonal transform unit 406, a loop filter unit 407, a decoded image storage unit 408, and an intra / inter prediction unit 409.
  • the block dividing unit 401 acquires each screen (referred to as an input screen or an input frame) included in the input image data.
  • the block dividing unit 401 divides an input screen (input frame) into fixed-size blocks by a stream. Further, the block division unit 401 further recursively divides each fixed-size block into blocks of coding units.
  • the block dividing unit in H.265 / HEVC divides the input screen into CTUs (Coding
  • the block dividing unit in H.265 / HEVC divides each CTU block into CU (Coding Unit) that is a block of a coding unit. Further, H.C.
  • the block division unit in H.265 / HEVC divides each CU block into prediction unit (PU (Prediction Unit)) and transform unit (TU (Transform Unit)) blocks.
  • PU Prediction Unit
  • TU Transform Unit
  • the block dividing unit 401 will be described as dividing all CTU blocks into CU blocks.
  • the size of the CTU block is 128 pixels ⁇ 128 pixels at the maximum. Therefore, in the following, the size of the CTU block is 128 pixels ⁇ 128 pixels. Will be described.
  • Each input screen (input frame) of image data divided into CU blocks by the block dividing unit 401 is notified to the intra / inter prediction unit 409 and used for calculation of a prediction residual signal.
  • the orthogonal transform unit 402 performs orthogonal transform processing on the prediction residual signal calculated based on the difference between the input image in each CU block of the input screen and the predicted image in each corresponding CU block. To do.
  • the quantization unit 403 generates a quantized signal by quantizing the prediction residual signal on which the orthogonal transform process has been performed, and outputs the quantized signal to the entropy encoding unit 404 and the inverse quantization unit 405.
  • the entropy encoding unit 404 generates and outputs a data stream by entropy encoding the quantized signal.
  • the inverse quantization unit 405 inversely quantizes the quantized signal and outputs it to the inverse orthogonal transform unit 406.
  • the inverse orthogonal transform unit 406 performs an inverse orthogonal transform process on the inversely quantized quantized signal. For example, a decoded image is generated by adding the prediction image generated by the intra / inter prediction unit 409 to the signal obtained by the inverse orthogonal transform unit 406 and is input to the loop filter unit 407.
  • the loop filter unit 407 performs a filter process for reducing the coding noise of the input decoded image.
  • the decoded image storage unit 408 stores the decoded image filtered by the loop filter unit 407 for each screen (for each frame).
  • the intra / inter prediction unit 409 performs intra prediction (intra-screen prediction) that generates a predicted image of a block of a CU to be processed using a decoded image of a block of each CU in the screen being decoded.
  • the intra / inter prediction unit 409 performs motion compensation between screens using the decoded image of each CU block in the reference screen, and generates a predicted image of the CU block to be processed (screen). Prediction).
  • the intra / inter prediction unit 409 performs intra prediction images that are prediction images of the blocks of each CU generated by intra prediction or inter prediction images that are prediction images of the blocks of each CU generated by motion compensated inter prediction. Either one is output.
  • the prediction image of each CU block output from the intra / inter prediction unit 409 is used for residual calculation with the input image of each CU block in the input screen, and the calculated prediction residual signal is orthogonally transformed. Input to the unit 402. Also, the predicted image output from the intra / inter prediction unit 409 is added to the signal obtained by the inverse orthogonal transform unit 406 and input to the loop filter unit 407 as a decoded image.
  • FIG. 5 is a diagram for explaining a rectangular area and a template area to be decoded in the inter prediction mode under consideration in the next generation codec.
  • a CTU 510 of 128 pixels ⁇ 128 pixels in an input screen (input frame) 500 is divided into CU blocks, and inter prediction processing by template matching is performed on the CU blocks.
  • a CTU block is divided into CUs having various block sizes in inter prediction.
  • the example illustrated in FIG. 5 includes a case where the block is divided into square CU blocks (8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, 64 ⁇ 64, all in [pixel]).
  • a rectangular block of CU (4 ⁇ 8, 8 ⁇ 4, 8 ⁇ 16, 16 ⁇ 8, 16 ⁇ 32, 32 ⁇ 16, 32 ⁇ 64, 64 ⁇ 32, 64 ⁇ 128). 128 ⁇ 64.
  • the unit is divided into [pixels]).
  • CU block 520 is an enlarged view of a square block divided into 64 pixels ⁇ 64 pixels.
  • rectangular regions such as subCUs 530, 540, and 550 are generated, and the predicted image and the decoded image are sequentially generated for each subCU with the subCU as a decoding target. Is generated.
  • a part of the decoded image of the subCU 540 and a part of the decoded image of the subCU 550 are set as the template areas 541 and 551. Then, inter prediction processing by template matching is performed using the set decoded images of the template areas 541 and 551.
  • FIG. 6 is a diagram showing an outline of template matching in the inter prediction mode under consideration in the next generation codec.
  • a screen 620 is a screen (frame) being decoded by the intra / inter prediction unit 409.
  • the example of FIG. 6 shows a state where template areas 541 and 551 are set for the subCU 530 to be decoded.
  • a screen 610 is a reference screen (a decoding screen that is temporally different from the screen 620 being decoded) on which matching with the template area set in the screen 620 being decoded is performed.
  • FIG. 6 shows a state in which template areas 615 and 616 (second template areas) are set as areas in the screen 610 corresponding to the set template areas 541 and 551 (first template areas). ing.
  • the template areas 615 and 616 are moved by a predetermined vector (moved by the vector 614) in the screen 610, so that the template areas 612 and 613 (third template area) are set. It shows the state.
  • the vector 614 is converted into the subCU 530 to be decoded.
  • the state determined as the motion vector is shown.
  • a part of the decoded image of the subCU adjacent to the subCU 530 to be decoded is set as the template areas 541 and 551, and matching is performed in the screen 610, thereby determining the motion vector 614 used for motion compensation inter prediction. can do.
  • FIG. 7 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • the intra / inter prediction unit 409 includes a motion search processing unit 701, a cost determination unit 702, a template region setting unit 703, and a decoding screen acquisition unit. 704.
  • the intra / inter prediction unit 409 includes a reference screen acquisition unit 705, a matching unit 706, a motion vector calculation unit 707, a predicted image generation unit 708, a motion vector storage unit 709, and a template search point setting unit 710.
  • the motion search processing unit 701 is a block of a CU obtained by dividing a predetermined CTU among the CTUs of the input screen (input frame) from the block dividing unit 401, and includes a CU to be processed (a subCU to be decoded).
  • the motion search processing unit 701 acquires a decoded screen read out as a reference screen by the reference screen acquisition unit 705 from the decoded screens stored in the decoded image storage unit 408. Furthermore, the motion search processing unit 701 performs a non-template matching process (a general search process other than the template matching process) on the reference screen for the input image of the CU block to be processed. Accordingly, the motion search processing unit 701 calculates a motion vector in non-template matching at the CU level and a cost in non-template matching, and notifies the cost determination unit 702 of the motion vector.
  • a non-template matching process a general search process other than the template matching process
  • the cost determination unit 702 acquires the motion vector in the non-template matching at the CU level and the cost in the non-template matching notified from the motion search processing unit 701. In addition, the cost determination unit 702 acquires a motion vector in CU level template matching and a cost in template matching, which are notified from a motion vector calculation unit 707 described later.
  • the cost determination unit 702 determines the prediction mode of the CU by comparing the acquired costs, and outputs it as inter prediction result information. In addition, when the cost determination unit 702 determines the prediction mode of the CU to be a mode that uses a non-template matching motion vector, the cost determination unit 702 uses the motion vector as a motion vector at the CU level. Notify In addition, the cost determination unit 702 notifies the predicted image generation unit 708 of the determined prediction mode of the CU.
  • the cost determination unit 702 notifies the prediction image generation unit 708 of the determined prediction mode of the CU.
  • the CU prediction mode is determined to be a mode using a template matching motion vector.
  • the template region setting unit 703 sets a CU level template region for the block of the decoding target CU on the decoding screen acquired by the decoding-in-progress screen acquisition unit 704. .
  • the template area setting unit 703 sets a subCU level template area for the subCU to be decoded on the screen being decoded acquired by the decoding-in-progress screen acquisition unit 704. .
  • the template area setting unit 703 corresponds to the CU level template area set for the block of the CU to be decoded in the reference screen acquired by the reference screen acquisition unit 705 in the CU level motion search. Set the template area.
  • the template region setting unit 703 corresponds to a template region corresponding to the sub CU level template region set for the sub CU to be decoded in the reference screen acquired by the reference screen acquisition unit 705. Set.
  • the decoding screen acquisition unit 704 is an example of an acquisition unit.
  • the in-decoding screen acquisition unit 704 reads the screen being decoded from the decoded image storage unit 408.
  • the in-decoding screen acquisition unit 704 matches the decoded image of the CU level template region set by the template region setting unit 703 with respect to the block of the decoding target CU.
  • the decoding-in-progress screen acquisition unit 704 notifies the matching unit 706 of the decoded image of the subCU level template region set by the template region setting unit 703 for the subCU to be decoded. To do.
  • the reference screen acquisition unit 705 is an example of a second setting unit.
  • the reference screen acquisition unit 705 reads a predetermined decoding screen (decoding screen that is temporally different) among the decoding screens stored in the decoded image storage unit 408 as a reference screen. Also, the reference screen acquisition unit 705 notifies the motion search processing unit 701 of the read reference screen.
  • the reference screen acquisition unit 705 extracts a reference image of the CU level template area set by the template search point setting unit 710 in the read reference screen.
  • the template search point setting unit 710 sets template regions at positions corresponding to a plurality of CU-level motion vector candidates with respect to the CU-level template region in the reference screen set by the template region setting unit 703. Set. Then, the reference screen acquisition unit 705 extracts a reference image of the CU level template region set at a position corresponding to the plurality of motion vector candidates, and notifies the matching unit 706 of the extracted reference image.
  • the template search point setting unit 710 sets a template area at each position corresponding to a CU level template search point motion vector for a CU level 1 motion vector candidate.
  • the CU level template search point motion vector is a motion vector at a peripheral position of one motion vector candidate serving as a CU level base point.
  • the reference screen acquisition unit 705 extracts a reference image of the CU level template region set at a position corresponding to the template search point motion vector, and notifies the matching unit 706 of the extracted reference image.
  • the reference screen acquisition unit 705 also blocks the CU at the position corresponding to the CU level one template search point motion vector (the determined CU level one motion vector) set by the template search point setting unit 710. Is specified in the reference screen.
  • the reference screen acquisition unit 705 extracts the reference image of the subCU level template region set by the template search point setting unit 710 from the CU block in the identified reference screen.
  • the template search point setting unit 710 responds to a plurality of sub CU level motion vector candidates for the sub CU level template region set by the template region setting unit 703 in the identified block of the CU in the reference screen. A template area is set for each position. Then, the reference screen acquisition unit 705 extracts a reference image of the sub CU level template region set at a position corresponding to the plurality of motion vector candidates, and notifies the matching unit 706 of the extracted reference image.
  • the template search point setting unit 710 sets a template area at each position corresponding to a sub CU level template search point motion vector for a sub CU level one motion vector candidate.
  • the sub CU level template search point motion vector is a plurality of motion vectors at the peripheral positions of one motion vector candidate serving as a sub CU level base point.
  • the reference screen acquisition unit 705 extracts a reference image of the sub CU level template region set at a position corresponding to the template search point motion vector, and notifies the matching unit 706 of the extracted reference image.
  • the matching unit 706 receives the decoded image of the template area at the CU level notified from the in-decoding screen acquisition unit 704 and the template at the CU level notified from the reference screen acquisition unit 705. The degree of matching with the reference image of the region is calculated.
  • the reference image of the CU level template area notified from the reference screen acquisition unit 705 includes a reference image extracted based on a plurality of CU level motion vector candidates and a CU level template search point motion vector. And a reference image extracted based on the reference image.
  • the matching unit 706 notifies the calculated degree of matching to the motion vector calculation unit 707.
  • the matching unit 706 calculates the degree of matching between the decoded image of the subCU level template region and the reference image of the subCU level template region.
  • the decoded image of the subCU level template area is notified from the in-decoding screen acquisition unit 704. Also, the reference image acquisition unit 705 notifies the reference image of the template region at the subCU level.
  • the reference image of the subCU level template area notified from the reference screen acquisition unit 705 includes a reference image extracted based on a plurality of subCU level motion vector candidates and a subCU level template search point motion vector. And the extracted reference image.
  • the matching unit 706 notifies the calculated degree of matching to the motion vector calculation unit 707.
  • the motion vector calculation unit 707 has the highest matching degree with the reference image of the template region set at the position corresponding to the plurality of motion vector candidates at the CU level. Specify the degree of matching.
  • the motion vector calculation unit 707 stores the CU level motion vector candidate corresponding to the specified maximum matching degree in the motion vector storage unit 709 as one motion vector candidate serving as a CU level base point.
  • the motion vector calculation unit 707 acquires the CU level matching degree notified from the matching unit 706 in response to storing one motion vector candidate serving as a CU level base point in the motion vector storage unit 709. At this time, the degree of matching acquired by the motion vector calculation unit 707 is set at a position corresponding to a CU level template search point motion vector (a plurality of motion vectors around one motion vector candidate serving as a CU level base point). The degree of matching with the reference image of the template area.
  • the motion vector calculation unit 707 determines a motion vector in CU level template matching based on the acquired matching degree, and stores the determined CU level motion vector in the motion vector storage unit 709.
  • the motion vector calculation unit 707 calculates the cost for template matching using the determined CU level motion vector. Further, the motion vector calculation unit 707 notifies the cost determination unit 702 of the determined CU level motion vector and cost.
  • the motion vector calculation unit 707 acquires the sub CU level matching degree notified from the matching unit 706 in response to storing the determined CU level motion vector in the motion vector storage unit 709. Also, the motion vector calculation unit 707 selects the maximum matching degree from the matching degrees with the reference image of the template region set at the position corresponding to the plurality of motion vector candidates at the subCU level among the acquired matching degrees. Identify.
  • the motion vector calculation unit 707 stores, in the motion vector storage unit 709, one motion vector candidate at the subCU level corresponding to the identified maximum matching degree as one motion vector candidate serving as a base point at the subCU level. .
  • the motion vector calculation unit 707 acquires the subCU level matching degree notified from the matching unit 706 in response to storing one motion vector candidate serving as a base point of the subCU level in the motion vector storage unit 709. At this time, the degree of matching acquired by the motion vector calculation unit 707 is set at a position according to a template search point motion vector at the subCU level (a plurality of motion vectors around one motion vector candidate serving as a base point at the subCU level). The degree of matching with the reference image of the template area. Furthermore, the motion vector calculation unit 707 determines a motion vector in subCU level template matching based on the acquired matching degree, and notifies the prediction image generation unit 708 of the motion vector.
  • the predicted image generation unit 708 is an example of a generation unit.
  • the prediction image generation unit 708 acquires a non-template matching motion vector from the cost determination unit 702 when the cost determination unit 702 notifies the CU prediction mode of a mode using a non-template matching motion vector. .
  • the predicted image generation unit 708 identifies a reference image corresponding to a non-template matching motion vector in the reference screen notified from the reference screen acquisition unit 705.
  • the predicted image generation unit 708 performs motion compensation inter prediction by generating a predicted image using the identified reference image. Further, the predicted image generation unit 708 outputs the predicted image of the generated CU block as an inter predicted image.
  • the cost determining unit 702 is notified of a mode that uses a template matching motion vector as the CU prediction mode
  • the predicted image generating unit 708 is sequentially notified from the motion vector calculating unit 707. A subCU level motion vector is acquired.
  • the predicted image generation unit 708 specifies reference images corresponding to the determined subCU level motion vectors sequentially notified from the motion vector calculation unit 707 in the reference screen notified from the reference screen acquisition unit 705. And sequentially output as predicted images of the subCUs to be decoded. Further, the predicted image generation unit 708 generates a predicted image of the block of the CU using each identified reference image. Further, the predicted image generation unit 708 outputs the predicted image of the generated CU block as an inter predicted image.
  • the motion vector storage unit 709 stores one motion vector candidate serving as a CU level base point.
  • the motion vector storage unit 709 stores the determined CU level motion vector. Also, the motion vector storage unit 709 stores one motion vector candidate serving as a base point of the subCU level.
  • the template search point setting unit 710 sets a template region at each position corresponding to a plurality of motion vector candidates at the CU level with respect to the template region at the CU level in the reference screen set by the template region setting unit 703. .
  • the template search point setting unit 710 determines a CU level template search point motion vector based on one motion vector candidate that is stored in the motion vector storage unit 709 and serves as a CU level base point.
  • the template search point setting unit 710 also sets a template area at each position corresponding to the CU level template search point motion vector in the reference screen.
  • the template search point setting unit 710 responds to a plurality of sub CU level motion vector candidates with respect to the sub CU level template region set by the template region setting unit 703 in the specified block of the CU in the reference screen.
  • a template area is set for each position.
  • the template search point setting unit 710 determines a sub CU level template search point motion vector based on one motion vector candidate that is stored in the motion vector storage unit 709 and serves as a sub CU level base point. Further, the template search point setting unit 710 sets a template area at each position corresponding to the template search point motion vector at the subCU level in the reference screen.
  • FIG. 8 is a flowchart showing the flow of inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • step S801 the intra / inter prediction unit 409 executes a CU level motion search process to determine a CU level motion vector.
  • step S802 the intra / inter prediction unit 409 executes a sub CU level motion search process based on the CU level motion vector determined in step S801, and determines a sub CU level motion vector. Details of steps S801 and S802 will be described below.
  • FIG. 9 is a flowchart showing the flow of the motion search process at the CU level, which details step S801.
  • step S901 the template area setting unit 703 sets a CU level template area for the block of the CU to be decoded in the screen being decoded.
  • step S902 the template search point setting unit 710 sets a template area at each position corresponding to a plurality of motion vector candidates at the CU level in the reference screen.
  • the matching unit 706 calculates the degree of matching between the decoded image of the CU level template region set in step S901 and the reference image of the CU level template region set in step S902.
  • the motion vector calculation unit 707 specifies the maximum matching degree among the calculated matching degrees.
  • the motion vector calculation unit 707 determines a CU level motion vector candidate corresponding to the identified maximum matching degree as one motion vector candidate serving as a CU level base point.
  • step S904 the template search point setting unit 710 sets a template region at each position corresponding to the CU level template search point motion vector for one motion vector candidate serving as a CU level base point.
  • step S905 the matching unit 706 matches the decoded image of the CU level template region set in step S901 with the reference image of the template region set in a position corresponding to the CU level template search point motion vector. Calculate the degree.
  • step S906 the motion vector calculation unit 707 determines a motion vector in CU level template matching based on the calculated matching degree.
  • the reference screen acquisition unit 705 identifies the block of the CU at the position corresponding to the determined motion vector of CU level (the block of the CU in the reference screen corresponding to the block of the decoding target CU). be able to.
  • FIG. 10 is a flowchart showing the flow of the subCU level motion search process, which details step S802.
  • step S1001 the template area setting unit 703 sets a subCU level template area for the subCU to be decoded in the screen being decoded.
  • step S1002 the template search point setting unit 710 sets a template region at each position corresponding to a plurality of motion vector candidates at the subCU level in the block of the CU in the reference screen specified by the reference screen acquisition unit 705.
  • the matching unit 706 calculates the degree of matching between the decoded image of the sub CU level template area set in step S1001 and the reference image of the sub CU level template area set in step S1002.
  • the motion vector calculation unit 707 specifies the maximum matching degree among the calculated matching degrees.
  • the motion vector calculation unit 707 determines a sub CU level motion vector candidate corresponding to the identified maximum matching degree as one motion vector candidate serving as a sub CU level base point.
  • step S1004 the template search point setting unit 710 sets a template region for each position corresponding to the sub CU level template search point motion vector for one motion vector candidate serving as a sub CU level base point.
  • step S1005 the matching unit 706 matches the decoded image of the subCU level template region set in step S1001 with the reference image of the template region set at a position corresponding to the subCU level template search point motion vector. Calculate the degree.
  • step S1006 the motion vector calculation unit 707 determines a motion vector in subCU level template matching based on the calculated matching degree.
  • the predicted image generation unit 708 identifies a reference image corresponding to the determined motion vector at the subCU level, and outputs it as a predicted image of the subCU to be decoded. Further, the predicted image generation unit 708 generates a predicted image of the block of the CU using each identified reference image and outputs it as an inter predicted image.
  • the subCU predicted image output from the predicted image generation unit 708 is added to the signal obtained from the inverse orthogonal transform unit 406 and input to the loop filter unit 407 as a subCU decoded image.
  • step S1008 the in-decoding screen acquisition unit 704 determines whether prediction images have been output for all subCUs included in the processing target CU in the screen being decoded. If it is determined in step S1008 that there is a subCU that has not output a predicted image (NO in step S1008), the process returns to step S1001. On the other hand, if it is determined in step S1008 that predicted images have been output for all subCUs included in the processing target CU in the screen being decoded (in the case of YES in step S1008), motion search at the subCU level. End the process.
  • FIG. 11 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode under consideration in the next generation codec.
  • FIG. 11A shows an example of a block of a CU including each subCU to be decoded.
  • the block of the CU including the subCU to be decoded is “CU n ”, and the block of the CU includes four subCUs (“sub0”, “sub1”, “sub2”, "sub3") is included.
  • the example of FIG. 11A indicates that a decoded image is generated for each of the upper CU block and the left CU block adjacent to “CU n ”.
  • the example of FIG. 11A shows that a part of the decoded image of the block of the adjacent CU is set as the template areas 1101 to 1112.
  • FIG. 11B is a diagram illustrating processing timing when the intra / inter prediction unit 409 executes processing for four subCUs included in “CU n ”.
  • the processing executed by the intra / inter prediction unit 409 is as follows. Setting of CU level motion vector candidates and determination of one motion vector candidate as a base point; CU level motion vector determination, Setting of subCU level motion vector candidates and determination of one motion vector candidate as a base point; Determination of subCU level motion vectors, Generation of predicted images at the subCU level, ⁇ Acquisition of subCU level decoded image, These are shown separately.
  • the processing timing “T m ” to “T m + 6 ” is shown due to space limitations.
  • a template region is set at each position corresponding to a CU level motion vector candidate, and a CU level base point and One motion vector candidate is determined.
  • processing timing “T m + 1 ”
  • a CU level motion vector is determined for “CU n ”.
  • processing timing “T m + 4 ”
  • a predicted image is generated for “subCU0”
  • the predicted image is output.
  • a template region is set for each position corresponding to a sub CU level motion vector candidate for “sub CU 1” with respect to a sub CU level motion vector determined for “sub CU 0”.
  • One motion vector candidate as a base point of the subCU level is determined.
  • a motion vector at the subCU level is determined for “subCU1”. Note that when determining the motion vector of “subCU1”, the decoded images of the template areas 1102 and 1131 are used.
  • the inter prediction mode under consideration in the next-generation codec the fact that the decoded images of the upper and left subCUs adjacent to the subCU to be decoded are generated is that when determining the motion vector at the subCU level. This is a precondition (see the dotted arrow in FIG. 11B). For this reason, the inter prediction mode under consideration in the encoder of the next-generation codec cannot be said to have high processing efficiency.
  • FIG. 12 is a diagram for explaining a rectangular region and a template region to be decoded in the inter prediction mode of the encoder according to the first embodiment.
  • the CTU 510 of 128 pixels ⁇ 128 pixels in the input screen (input frame) 500 is divided into CU blocks. Further, inter prediction by template matching is performed for the block of the CU (see FIG. 12).
  • CU block 520 is an enlarged view of a square block divided into 64 pixels ⁇ 64 pixels.
  • rectangular regions such as subCUs 530, 540, and 550 are generated, and a predicted image and a decoded image are generated for each subCU with subCU as a decoding target. Is done.
  • the prediction images and decoded images of a plurality of subCUs are generated in parallel.
  • a part of a block adjacent to a predetermined block is set as a template region.
  • the predetermined block is a block of a decoding unit including a plurality of subCUs to be decoded, and in the example of FIG. 12, indicates a block 520 of the CU.
  • the subCU to be decrypted is subCU530
  • template matching A block of the CU adjacent to the upper side of the block 520 of the CU including the subCU 530 to be decoded, and The generation of the prediction image and the decoded image is completed for all the blocks of the CU adjacent to the left side of the block 520 of the CU including the subCU 530 to be decoded. Therefore, in the encoder according to the first embodiment, a part of CU blocks adjacent to the upper side and the left side are set as template regions 1202 and 1213, and template matching is performed on the subCU 530 to be decoded.
  • the subCU to be decoded is subCU540
  • a block of the CU adjacent to the upper side of the block 520 of the CU including the subCU 540 to be decoded and The generation of the prediction image and the decoded image is completed for all the CU blocks adjacent to the left side of the block 520 of the CU including the subCU 540 to be decoded. Therefore, in the encoder according to the first embodiment, a part of CU blocks adjacent to the upper side and the left side are set as template regions 1202 and 1212, and template matching is performed on the subCU 540 to be decoded. That is, the subCU 530 and the subCU 540 can perform template matching in parallel (the same applies to the subCU 550 and the like).
  • template matching is performed in parallel for a plurality of subCUs by setting a part of the upper and left CU blocks of the decoding unit (CU) block including the subCUs to be decoded as template regions. It becomes possible to do.
  • CU decoding unit
  • FIG. 13 is a diagram illustrating an outline of template matching in the inter prediction mode of the encoder according to the first embodiment.
  • a screen 620 is a screen (frame) being decoded by the intra / inter prediction unit 409.
  • the example of FIG. 13 shows a state where the template areas 1202 and 1213 are set for the subCU 530 to be decoded.
  • a screen 610 is a reference screen (a decoding screen that is temporally different from the screen 620 being decoded) on which matching with the template area set in the screen 620 being decoded is performed.
  • FIG. 13 shows a state in which template areas 1321 and 1322 (second template area) are set as areas in the screen 610 corresponding to the set template areas 1202 and 1213 (first template area). ing.
  • the template regions 1311 and 1312 are set by moving the template regions 1321 and 1322 by a predetermined vector (moving by the vector 614) in the screen 610. It shows the state.
  • the vector 614 becomes the motion vector of the subCU 530 to be decoded. It shows how it was decided.
  • a part of the decoded image of the block of the CU adjacent to the block of the CU including the subCU 530 to be decoded is set as the template regions 1202 and 1213, and matching is performed in the screen 610, thereby performing motion compensation inter prediction. Can be determined.
  • FIG. 14 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 7 is different from FIG. 7 in that a template area determination unit 1401 and a template area selection unit 1402 are provided in the case of FIG. Hereinafter, the difference from FIG. 7 will be mainly described.
  • the template area determination unit 1401 determines whether or not the decoding target subCU satisfies a predetermined execution condition. Further, the template area determination unit 1401 notifies the template area setting unit 703 of the determination result as to whether or not a predetermined execution condition is satisfied.
  • the decoding screen acquisition unit 704 has been described with reference to FIG. Set the template area. Specifically, a part of the decoded image of the upper subCU adjacent to the subCU to be decoded and a part of the decoded image of the left subCU are set as template regions. In this case, the decoding-in-progress screen acquisition unit 704 uses the decoded image of the template region set by the template region setting unit 703 (part of the decoded image of the adjacent subCU) as a template among the decoded images included in the screen being decoded. The area selection unit 1402 is notified.
  • the template region setting unit 703 explains to the in-decoding screen acquisition unit 704 using FIG. Set the template area.
  • the template area setting unit 703 identifies a block of a CU that includes a subCU to be decoded, and a part of a decoded image of a block of a CU adjacent to the upper side and the left side of the identified CU block is used as a template. Set as area.
  • the decoding-in-progress screen acquisition unit 704 decodes the decoded image of the template region set by the template region setting unit 703 (part of the decoded image of the block of the adjacent CU) among the decoded images included in the screen being decoded. Is sent to the template area selection unit 1402.
  • the template area selection unit 1402 receives the decoded image of the template area notified from the in-decoding screen acquisition unit 704 (part of the decoded image of the adjacent subCU). Select. Further, the template area selection unit 1402 notifies the matching unit 706 of the decoded image of the selected template area. As a result, the matching unit 706 can perform template matching in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determination unit 1401 for the subCU to be decoded.
  • the template region selection unit 1402 receives the decoded image of the template region notified from the decoding in progress screen acquisition unit 704 (the decoded image of the block of the adjacent CU block). Select (some). Further, the template area selection unit 1402 notifies the matching unit 706 of the decoded image of the selected template area. As a result, the matching unit 706 can perform template matching in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determination unit 1401 for the subCU to be decoded.
  • FIG. 15 is a diagram illustrating template matching execution conditions in the inter prediction mode of the encoder according to the first embodiment.
  • the execution condition information 1500 includes “execution condition determination item”, “determination item threshold”, and “determination reason” as information items.
  • Example 1 a determination item for determining whether or not the execution target condition is satisfied for the subCU to be decrypted is stored.
  • “Threshold value of determination item” stores a threshold value for determining that an execution condition is satisfied for each determination item stored in “determination item of execution condition”. The reason for determining that the execution condition is satisfied is stored in the “determination reason”.
  • “subCU size” is included as the “execution condition determination item”, and the size of the subCU to be decoded is equal to or smaller than a predetermined threshold (“8 pixels ⁇ 8 pixels or less”). Indicates that the execution condition is satisfied. This is because if the size of the subCU is small, the processing efficiency of the encoder is reduced unless the process of the next subCU is advanced unless the generation of the prediction image and the decoded image is completed for the adjacent subCU.
  • a part of a decoded image of a CU block adjacent to the CU block including the subCU is used as a template.
  • Set as area.
  • the execution condition is changed. It indicates that it is determined that the condition is satisfied.
  • the picture type is a non-reference screen
  • the template matching does not correspond to a screen referred to by another screen being decoded. This is based on the fact that the coding error itself is not accumulated because the decoding screen is not referenced even if the coding error increases by making the region away from the subCU to be decoded a template region. It is.
  • the encoder according to the first embodiment when the subCU of the non-reference screen is a decoding target, a part of the decoded image of the block of the CU adjacent to the block of the CU including the subCU is used as the template region. Set as. Thereby, in the encoder according to the first embodiment, parallel processing in which template matching is performed in parallel for a plurality of subCUs can be realized.
  • step S801 CU-level motion search processing
  • step S802 subCU level motion search process
  • FIG. 16 is a flowchart showing the flow of a subCU level motion search process in the inter prediction mode of the encoder according to the first embodiment. Differences from FIG. 10 are steps S1601 to S1603.
  • step S1601 the template region determination unit 1401 determines whether or not the decoding target subCU satisfies the execution condition indicated in the execution condition information 1500. If it is determined in step S1601 that the execution condition is satisfied (YES in step S1601), the process proceeds to step S1602.
  • step S1602 the template area setting unit 703 sets a part of the decoded image of the block of the CU adjacent to the block of the CU including the subCU to be decoded as a template area.
  • step S1601 determines whether the execution condition is not satisfied (NO in step S1601). If it is determined in step S1601 that the execution condition is not satisfied (NO in step S1601), the process proceeds to step S1603.
  • step S1603 the template area setting unit 703 sets a part of the decoded image of the subCU adjacent to the decoding target subCU as a template area.
  • FIG. 17 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode of the encoder according to the first embodiment.
  • FIG. 17A shows an example of a block of a CU including each subCU to be decoded.
  • the block of the CU including the subCU to be decoded is “CU n ”, and the block of the CU includes four subCUs (“sub0”, “sub1”, “sub2”, This indicates that the area of “sub3”) is included.
  • the example of FIG. 17A indicates that a decoded image is generated for both the upper CU block and the left CU block adjacent to “CU n ”.
  • the example of FIG. 17A shows that a part of the decoded image of the block of the adjacent CU is set as the template areas 1101 to 1112.
  • FIG. 17B is a diagram illustrating processing timing when the intra / inter prediction unit 409 executes processing for four subCUs included in “CU n ”.
  • the processing executed by the intra / inter prediction unit 409 is as follows. Setting of CU level motion vector candidates and determination of one motion vector candidate as a base point; CU level motion vector determination, Setting of subCU level motion vector candidates and determination of one motion vector candidate as a base point; Determination of subCU level motion vectors, Generation of predicted images at the subCU level, ⁇ Acquisition of subCU level decoded image, These are shown separately.
  • the processing timing “T m ” to “T m + 7 ” is shown due to space limitations.
  • processing timing “T m + 2 ”, for “subCU0” to “subCU3”, template regions are set at positions corresponding to motion vector candidates at the subCU level, and one motion vector candidate serving as a base point at the subCU level is set. Decisions are performed in parallel. Subsequently, at the processing timing “T m + 3 ”, the sub CU level motion vectors are determined in parallel for “sub CU0” to “sub CU 3 ”.
  • the motion vector at the subCU level for “subCU0” is determined by template matching using the decoded images of the template areas 1101 and 1111.
  • the subCU level motion vector for “subCU1” is determined by template matching using the decoded images of the template areas 1102 and 1111.
  • the subCU level motion vector for “subCU2” is determined by template matching using the decoded images of the template areas 1101 and 1112.
  • the subCU level motion vector for “subCU3” is determined by template matching using the decoded images of the template regions 1102 and 1112.
  • a template region is set at each position corresponding to a motion vector candidate at the CU level, and one motion vector serving as a CU level base point Candidates are determined.
  • processing timing “T m + 5 ”
  • a CU level motion vector is determined for “CU n + 1 ”.
  • prediction images of “subCU0” to “subCU3” are generated and output in parallel.
  • the motion vector at the subCU level has already been determined, and therefore, generation of a predicted image can be executed in parallel.
  • the motion vector can be determined for the subCU included in “CU n + 1 ”, which is the block of the CU next to “CU n ”.
  • FIG. 18 is a first diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • the example of FIG. 18 illustrates the parallel processing performed on the subCU included in the block 1800 of the 8 pixel ⁇ 8 pixel CU generated by dividing the CTU 510 of 128 pixels ⁇ 128 pixels (subCU size). Since 4 pixels ⁇ 4 pixels, parallel processing is executed).
  • the block 1800 of the CU is divided into four subCUs.
  • a part of the decoded image of the CU block adjacent to the upper side and the left side of the CU block 1800 is set as template regions 1801, 1802, 1811, and 1812. .
  • FIG. 19 is a second diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • the example of FIG. 19 shows parallel processing executed on a subCU included in a block 1900 of a CU of 64 pixels ⁇ 64 pixels generated by dividing a CTU 510 of 128 pixels ⁇ 128 pixels (picture type is It is assumed that parallel processing is executed by being a non-reference image).
  • the CU block 1900 is divided into 16 subCUs.
  • a part of the decoded image of the block of the CU adjacent to the upper side and the left side of the CU block 1900 is set as template regions 1901 to 1904 and 1911 to 1914. Yes.
  • FIG. 20 is a third diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the first embodiment.
  • the example of FIG. 20 illustrates a case where the blocks 2001 to 2004 of CUs of 8 pixels ⁇ 4 pixels generated by dividing the CTU 510 of 128 pixels ⁇ 128 pixels are processed.
  • each of the CU blocks 2001 to 2004 is divided into two subCUs.
  • the size of the subCU is 4 pixels ⁇ 4 pixels, and parallel processing is executed for two subCUs.
  • Reference numeral 2010 indicates a time series in which a template area is set for each subCU included in the CU blocks 2001 to 2004, and indicates that the time axis advances from the bottom to the top. .
  • a part of the decoded image of the CU adjacent to the upper side and the left side of the CU block 2001 is set as the template areas 2011, 2012, and 2021. The As a result, it is possible to execute parallel processing for two subCUs included in the block 2001 of the CU.
  • the process proceeds to the CU block 2002.
  • a part of the decoded image of the CU block (CU block 2001) adjacent to the upper side and the left side of the CU block 2002 is a template region 2013, 2014. , 2022 is set.
  • a part of the decoded image of the CU block (CU block 2002) adjacent to the upper side and the left side of the CU block 2003 is a template region 2015, 2016. , 2023. This makes it possible to execute parallel processing on two subCUs included in the block 2003 of the CU.
  • a decoded image is generated for the subCU
  • the process proceeds to the processing of the CU block 2004.
  • a part of the decoded image of the CU block (CU block 2003) adjacent to the upper side and the left side of the CU block 2004 is a template region 2017, 2018. , 2024. This makes it possible to execute parallel processing on two subCUs included in the block 2004 of the CU.
  • FIG. 21 is a diagram illustrating an example of a functional configuration of the decoder.
  • the decoder 120 includes an entropy decoding unit 2101, an inverse quantization unit 2102, an inverse orthogonal transform unit 2103, a loop filter unit 2104, a decoded image storage unit 2105, and an intra / inter prediction unit 2106.
  • the entropy decoding unit 2101 decodes the received data stream and outputs a quantized signal. Also, the entropy decoding unit 2101 extracts incidental information from the data stream and notifies the intra / inter prediction unit 2106 of the information.
  • the inverse quantization unit 2102 inversely quantizes the quantized signal and outputs it to the inverse orthogonal transform unit 2103.
  • the inverse orthogonal transform unit 2103 obtains a prediction residual signal by performing an inverse orthogonal transform process on the inversely quantized quantized signal.
  • the prediction image generated by the intra / inter prediction unit 2106 for each CU block is added to the prediction residual signal obtained by the inverse orthogonal transform unit 2103, for example. As a result, a decoded image of each CU block is generated and input to the loop filter unit 2104.
  • the loop filter unit 2104 performs a filter process for reducing the coding noise of the input decoded image.
  • the loop filter unit 2104 outputs the decoded decoded image as a decoding result and stores it in the decoded image storage unit 2105.
  • the intra / inter prediction unit 2106 performs intra prediction (intra-screen prediction) for generating a predicted image using the decoded image in the screen being decoded.
  • the intra / inter prediction unit 2106 performs motion compensation between screens using the decoded image in the reference screen, and performs motion compensation inter prediction (inter-screen prediction) for generating a predicted image.
  • the intra / inter prediction unit 2106 outputs either a predicted image generated by intra prediction or a predicted image generated by motion compensation inter prediction.
  • the output prediction image is added to the prediction residual signal obtained by the inverse orthogonal transform unit 2103 to generate a decoded image, which is input to the loop filter unit 2104.
  • FIG. 22 is a diagram illustrating an example of a functional configuration (decoder) for realizing inter prediction processing by template matching in the inter prediction mode under consideration in the next generation codec.
  • the intra / inter prediction unit 2106 includes a template region setting unit 2201, a decoding screen acquisition unit 2202, and a reference screen acquisition unit 2203. .
  • the intra / inter prediction unit 2106 includes a matching unit 2204, a motion vector calculation unit 2205, a predicted image generation unit 2207, a motion vector storage unit 2208, and a template search point setting unit 2209.
  • the template area setting unit 2201 is an example of a first setting unit.
  • the template area setting unit 2201 sets a CU level template area for the block of the decoding target CU on the decoding screen acquired by the decoding screen acquisition unit 2202. .
  • the template area setting unit 2201 sets a subCU level template area for the subCU to be decoded on the screen being decoded acquired by the decoding-in-progress screen acquisition unit 2202. .
  • the template area setting unit 2201 corresponds to the CU level template area set for the block of the decoding target CU in the reference screen acquired by the reference screen acquisition unit 2203. Set the template area.
  • the template area setting unit 2201 corresponds to the template area corresponding to the subCU level template area set for the decoding target subCU in the reference screen acquired by the reference screen acquisition unit 2203. Set.
  • the decoding screen acquisition unit 2202 is an example of an acquisition unit.
  • the in-decoding screen acquisition unit 2202 reads out the screen being decoded from the decoded image storage unit 2105.
  • the in-decoding screen acquisition unit 2202 matches the decoded image of the CU level template area set by the template area setting unit 2201 with respect to the block of the decoding target CU.
  • the decoding-in-progress screen acquisition unit 2202 notifies the matching unit 2204 of the decoded image of the subCU level template area set by the template area setting unit 2201 for the subCU to be decoded. To do.
  • the reference screen acquisition unit 2203 is an example of a second setting unit.
  • the reference screen acquisition unit 2203 reads a predetermined decoding screen (decoding screen that is temporally different) from among the decoding screens stored in the decoded image storage unit 2105 as a reference screen.
  • the reference screen acquisition unit 2203 extracts the reference image of the CU level template area set by the template search point setting unit 2209 in the read reference screen.
  • the template search point setting unit 2209 sets template regions at positions corresponding to a plurality of motion vector candidates at the CU level with respect to the template region at the CU level in the reference screen set by the template region setting unit 2201. Set. Then, the reference screen acquisition unit 2203 extracts a reference image of the CU level template region set at a position corresponding to the plurality of motion vector candidates, and notifies the matching unit 2204 of the extracted reference image.
  • the template search point setting unit 2209 sets a template area at each position corresponding to the CU level template search point motion vector for a CU level 1 motion vector candidate.
  • the CU level template search point motion vector is a motion vector at a peripheral position of one motion vector candidate serving as a CU level base point.
  • the reference screen acquisition unit 2203 extracts the reference image of the CU-level template region set at the position corresponding to the template search point motion vector, and notifies the matching unit 2204 of it.
  • the reference screen acquisition unit 2203 also blocks the CU at the position corresponding to the CU level one template search point motion vector (determined CU level one motion vector) set by the template search point setting unit 2209. Is specified in the reference screen.
  • the reference screen acquisition unit 2203 extracts the reference image of the template region at the subCU level set by the template search point setting unit 2209 from the CU block in the identified reference screen.
  • the template search point setting unit 2209 responds to a plurality of sub CU level motion vector candidates for the sub CU level template region set by the template region setting unit 2201 in the specified CU block in the reference screen. A template area is set for each position. Then, the reference screen acquisition unit 2203 extracts a reference image of the template region at the subCU level set at a position corresponding to the plurality of motion vector candidates, and notifies the matching unit 2204 of the extracted reference image.
  • the template search point setting unit 2209 sets a template area at each position corresponding to a sub CU level template search point motion vector for a sub CU level one motion vector candidate.
  • the sub CU level template search point motion vector is a plurality of motion vectors at the peripheral positions of one motion vector candidate serving as a sub CU level base point.
  • the reference screen acquisition unit 2203 extracts the reference image of the subCU level template region set at the position corresponding to the template search point motion vector, and notifies the matching unit 2204 of the extracted reference image.
  • the matching unit 2204 is an example of a calculation unit. In the motion search at the CU level, the matching unit 2204 receives the decoded image of the CU level template area notified from the decoding-in-progress screen acquisition unit 2202 and the CU level template notified from the reference screen acquisition unit 2203. The degree of matching with the reference image of the region is calculated.
  • the reference image of the CU level template area notified from the reference screen acquisition unit 2203 includes a reference image extracted based on a plurality of CU level motion vector candidates and a CU level template search point motion vector. And a reference image extracted based on the reference image.
  • the matching unit 2204 notifies the motion vector calculation unit 2205 of the calculated matching degrees.
  • the matching unit 2204 calculates the degree of matching between the decoded image of the subCU level template area and the reference image of the subCU level template area.
  • the decoded image of the template region at the subCU level is notified from the in-decoding screen acquisition unit 2202.
  • the reference image of the sub-CU level template area is notified from the reference screen acquisition unit 2203.
  • the reference image of the sub CU level template area notified from the reference screen acquisition unit 2203 includes a reference image extracted based on a plurality of sub CU level motion vector candidates and a sub CU level template search point motion vector. And the extracted reference image.
  • the matching unit 2204 notifies the motion vector calculation unit 2205 of the calculated matching degrees.
  • the motion vector calculation unit 2205 is an example of a determination unit. Of the matching degrees notified from the matching unit 2204, the motion vector calculation unit 2205 has the highest matching degree with the reference image of the template region set at the position corresponding to the plurality of motion vector candidates at the CU level. Specify the degree of matching.
  • the motion vector calculation unit 2205 stores the CU level motion vector candidate corresponding to the specified maximum matching degree in the motion vector storage unit 2208 as one motion vector candidate serving as a CU level base point.
  • the motion vector calculation unit 2205 acquires the CU level matching degree notified from the matching unit 2204 in response to storing one motion vector candidate serving as a CU level base point in the motion vector storage unit 2208. At this time, the degree of matching acquired by the motion vector calculation unit 2205 is set at a position corresponding to a CU level template search point motion vector (a plurality of motion vectors around one motion vector candidate serving as a CU level base point). The degree of matching with the reference image of the template area.
  • the motion vector calculation unit 2205 determines a motion vector in CU level template matching based on the acquired matching degree, and stores the determined CU level motion vector in the motion vector storage unit 2208.
  • the motion vector calculation unit 2205 acquires the sub CU level matching degree notified from the matching unit 2204 in response to storing the determined CU level motion vector in the motion vector storage unit 2208. Also, the motion vector calculation unit 2205 selects the maximum matching degree from the matching degrees with the reference image of the template region set at the position corresponding to the plurality of motion vector candidates at the subCU level among the acquired matching degrees. Identify.
  • the motion vector calculation unit 2205 stores, in the motion vector storage unit 2208, one motion vector candidate at the subCU level corresponding to the specified maximum matching degree as one motion vector candidate serving as a base point at the subCU level. .
  • the motion vector calculation unit 2205 acquires the subCU level matching degree notified from the matching unit 2204 in response to storing one motion vector candidate serving as a base point of the subCU level in the motion vector storage unit 2208. At this time, the degree of matching acquired by the motion vector calculation unit 2205 is set at a position according to the template vector for the search point for the subCU level (a plurality of motion vectors around one motion vector candidate serving as the base point for the subCU level). The degree of matching with the reference image of the template area. Furthermore, the motion vector calculation unit 2205 determines a motion vector in subCU level template matching based on the acquired matching degree, and notifies the prediction image generation unit 2207 of the motion vector.
  • the predicted image generation unit 2207 is an example of a generation unit.
  • the predicted image generation unit 2207 identifies reference images corresponding to the determined subCU level motion vectors sequentially notified from the motion vector calculation unit 2205 in the reference screen notified from the reference screen acquisition unit 2203. Further, the predicted image generation unit 2207 generates and outputs a predicted image of the subCU using each identified reference image.
  • the motion vector storage unit 2208 stores one motion vector candidate serving as a CU level base point.
  • the motion vector storage unit 2208 stores the determined CU level motion vector.
  • the motion vector storage unit 2208 stores one motion vector candidate serving as a base point of the subCU level.
  • the template search point setting unit 2209 sets a template region at each position corresponding to a plurality of motion vector candidates at the CU level with respect to the template region at the CU level in the reference screen set by the template region setting unit 2201. .
  • the template search point setting unit 2209 determines a CU level template search point motion vector based on one motion vector candidate that is stored in the motion vector storage unit 2208 and serves as a CU level base point.
  • the template search point setting unit 2209 sets a template area at each position corresponding to the CU level template search point motion vector in the reference screen.
  • the template search point setting unit 2209 responds to a plurality of sub CU level motion vector candidates with respect to the sub CU level template region set by the template region setting unit 2201 in the specified CU block in the reference screen.
  • a template area is set for each position.
  • the template search point setting unit 2209 determines a sub CU level template search point motion vector based on one motion vector candidate that is stored in the motion vector storage unit 2208 and serves as a sub CU level base point. Further, the template search point setting unit 2209 sets a template area at each position according to the template search point motion vector at the subCU level in the reference screen.
  • FIG. 23 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the decoder according to the first embodiment.
  • FIG. 22 is different from FIG. 22 in that a template region determination unit 2301 and a template region selection unit 2302 are included in the case of FIG. Hereinafter, the difference from FIG. 22 will be mainly described.
  • the template area determination unit 2301 determines whether or not the decoding target subCU satisfies a predetermined execution condition. Further, the template area determination unit 2301 notifies the template area setting unit 2201 of the determination result as to whether or not a predetermined execution condition is satisfied.
  • the decoding screen acquisition unit 2202 when the determination result indicating that the predetermined execution condition is not satisfied is notified from the template area determination unit 2301, the decoding screen acquisition unit 2202 has been described with reference to FIG. Set the template area. Specifically, a part of the decoded image of the upper subCU adjacent to the subCU to be decoded and a part of the decoded image of the left subCU are set as template regions. In this case, the decoding-in-progress screen acquisition unit 2202 uses the decoded image of the template region set by the template region setting unit 2201 (part of the decoded image of the adjacent subCU) as a template among the decoded images included in the screen being decoded. The area selection unit 2302 is notified.
  • the template region setting unit 2201 explains to the in-decoding screen acquisition unit 2202 with reference to FIG. Set the template area.
  • the template area setting unit 2201 specifies a block of a CU that includes a subCU to be decoded, and a part of a decoded image of a block of a CU adjacent to the upper side and the left side of the specified CU block is used as a template. Set as area.
  • the decoding-in-progress screen acquisition unit 2202 out of the decoded images included in the decoding-in-progress screen, the decoded image of the template area set by the template area setting unit 2201 (part of the decoded image of the adjacent CU block) Is sent to the template area selection unit 2302.
  • the template region selection unit 2302 receives the decoded image of the template region notified from the decoding-in-progress screen acquisition unit 2202 (part of the decoded image of the adjacent subCU). Select. Further, the template area selection unit 2302 notifies the matching unit 2204 of the decoded image of the selected template area. As a result, the matching unit 2204 can perform template matching on the decoding target subCU in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determining unit 2301.
  • the template region selection unit 2302 receives the decoded image of the template region notified by the in-decoding screen acquisition unit 2202 (the decoded image of the block of the adjacent CU block). Select (some). Further, the template area selection unit 2302 notifies the matching unit 2204 of the decoded image of the selected template area. As a result, the matching unit 2204 can perform template matching on the decoding target subCU in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determining unit 2301.
  • a block of a decoding unit (CU) is divided into a plurality of rectangular areas (subCU).
  • subCU rectangular areas
  • -It is determined whether or not a rectangular area to be decoded satisfies a predetermined execution condition, and if it is determined that the predetermined execution condition is satisfied, a decoded image of a block adjacent to a block of a decoding unit including the rectangular area Is set as a template area.
  • template matching is performed by parallel processing for all rectangular areas included in the block of the decoding unit, and a predicted image of each rectangular area is output.
  • a block of a decoding unit (CU) is divided into a plurality of rectangular areas (subCU).
  • subCU rectangular areas
  • -It is determined whether or not a rectangular area to be decoded satisfies a predetermined execution condition, and if it is determined that the predetermined execution condition is satisfied, a decoded image of a block adjacent to a block of a decoding unit including the rectangular area Is set as a template area.
  • template matching is performed by parallel processing for all rectangular areas included in the block of the decoding unit, and a predicted image of each rectangular area is output.
  • the processing efficiency is improved by setting a part of the decoded image of the block adjacent to the block of the decoding unit including the decoding target subCU as the template region.
  • the processing efficiency is improved by setting a part of the predicted image of the subCU adjacent to the decoding target subCU as a template region.
  • FIG. 24 is a diagram for explaining a decoding target rectangular region and a template region in the inter prediction mode of the encoder according to the second embodiment.
  • the CTU 510 of 128 pixels ⁇ 128 pixels in the input screen (input frame) 500 is divided into CU blocks.
  • inter prediction processing is performed on the block of the CU (see FIG. 24).
  • the CU block 520 is an enlarged view of a square block divided into 64 pixels ⁇ 64 pixels.
  • rectangular regions such as subCUs 530, 540, and 550 are generated, and prediction images and decoded images are generated for each subCU with the subCU as a decoding target. Is done.
  • the encoder according to the second embodiment also generates a plurality of subCU predicted images and decoded images in parallel. For this reason, in the encoder according to the second embodiment, a part of the predicted image of the subCU adjacent to the subCU to be decoded is set as a template region.
  • the template matching is A part of the predicted image of the upper subCU 540 adjacent to the subCU 530 to be decoded; A part of the prediction image of the left subCU 550 adjacent to the subCU 530 to be decoded; Is used as a template region.
  • template matching is performed for the subCU 530 to be decoded using the predicted images of the template areas 2401 and 2402.
  • FIG. 25 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 14 is different from FIG. 14 in that a prediction image acquisition unit 2501 is included in the case of FIG.
  • the difference from FIG. 14 will be mainly described.
  • the predicted image acquisition unit 2501 acquires the predicted image of the subCU adjacent to the decoding target subCU generated by the predicted image generation unit 708. Specifically, the predicted image acquisition unit 2501 acquires the predicted image of the template region set by the template region setting unit 703 (the template region set at the position of the subCU adjacent to the decoding target subCU). In addition, the predicted image acquisition unit 2501 notifies the template region selection unit 1402 of the acquired predicted image of the template region.
  • the template region setting unit 703 has described the prediction image acquisition unit 2501 with reference to FIG. 24 when the template region determination unit 1401 is notified of a determination result that satisfies a predetermined execution condition. Set the template area.
  • the template area setting unit 703 sets a part of the predicted image of the subCU adjacent to the upper side of the subCU to be decoded and a part of the predicted image of the subCU adjacent to the left side as the template area.
  • the predicted image acquisition unit 2501 selects the predicted image of the template region set by the template region setting unit 703 (part of the predicted image of the adjacent subCU) among the predicted images generated by the predicted image generation unit 708. Notify the template area selection unit 1402.
  • the template area selection unit 1402 receives the decoded image of the template area notified from the in-decoding screen acquisition unit 704 (part of the decoded image of the adjacent subCU). Select. Further, the template area selection unit 1402 notifies the matching unit 706 of the decoded image of the selected template area. As a result, the matching unit 706 can perform template matching in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determination unit 1401 for the subCU to be decoded.
  • the template region selection unit 1402 predicts the predicted image of the template region notified from the predicted image acquisition unit 1403 (part of the predicted image of the adjacent subCU). Select. Further, the template area selection unit 1402 notifies the matching unit 706 of the predicted image of the selected template area. As a result, the matching unit 706 can perform template matching on the decoding target subCU using the predicted image of the template region corresponding to the determination result notified from the template region determining unit 1401 in the reference screen.
  • FIG. 26 is a diagram illustrating template matching execution conditions in the inter prediction mode of the encoder according to the second embodiment.
  • the execution condition information 2600 includes “execution condition determination item”, “determination item threshold”, and “determination reason” as information items.
  • Example 1 a determination item for determining whether or not the execution target condition is satisfied for the subCU to be decrypted is stored.
  • “Threshold value of determination item” stores a threshold value for determining that an execution condition is satisfied for each determination item stored in “determination item of execution condition”. The reason for determining that the execution condition is satisfied is stored in the “determination reason”.
  • subCU size and “picture type” are stored as “execution condition determination items”. Note that “subCU size” and “picture type” have already been described with reference to FIG. 15 in the first embodiment, and thus description thereof is omitted here.
  • the example of FIG. 26 indicates that “quantization parameter of CU” is included as “determination item of execution condition”.
  • the determination item is determined to satisfy the execution condition when the quantization parameter of the block of the CU including the subCU to be decoded is equal to or less than a predetermined threshold (30 or less). This is because when the quantization parameter of the block of the CU is “30 or less”, the difference between the decoded image and the predicted image is small, so that the influence of setting the template region using the predicted image can be suppressed.
  • the example of FIG. 26 indicates that “CU-level motion vector” is included as the “execution condition determination item”.
  • the determination item is determined to satisfy the execution condition when the absolute value of the CU-level motion vector for the block of the CU including the subCU to be decoded is equal to or less than a predetermined number of pixels (“1 pixel or less”).
  • a predetermined number of pixels (“1 pixel or less”).
  • the encoder according to the second embodiment when the CU level motion vector for a block of a CU including a subCU to be decoded is “1 pixel or less”, a predicted image of a subCU adjacent to the subCU. Is set as a template area. Thereby, in the encoder according to the second embodiment, parallel processing for executing template matching of a plurality of subCUs in parallel can be realized.
  • step S801 CU level motion search processing
  • step S802 subCU level motion search process
  • FIG. 27 is a flowchart showing the flow of a subCU level motion search process in the inter prediction mode of the encoder according to the second embodiment. Differences from FIG. 10 are steps S2701 to S2702.
  • step S2701 the template region determination unit 1401 determines whether or not the decoding target subCU satisfies the execution condition indicated in the execution condition information 2600. If it is determined in step S2701 that the execution condition is satisfied (YES in step S2701), the process proceeds to step S2702.
  • step S2702 the predicted image acquisition unit 2501 acquires a predicted image of the upper subCU and the left subCU adjacent to the decoding target subCU from the predicted image generation unit 708.
  • the decoding-in-progress screen acquisition unit 704 displays the upper subCU adjacent to the decoding target subCU or the left subCU. You may acquire the decoding image of subCU.
  • the template area selection unit 1402 selects a predicted image or a part of the decoded image of the subCU adjacent to the decoding target subCU as an image of the template area.
  • FIG. 28 is a diagram illustrating processing contents and processing timing for each subCU in the inter prediction mode of the encoder according to the second embodiment.
  • FIG. 28 (a) shows an example of a block of a CU including each subCU to be decoded.
  • the block of the CU including the subCU to be decoded is “CU n ”, and there are four subCUs (“sub0”, “sub1”, “sub2”) in the CU block. , “Sub3”).
  • the example of FIG. 28A shows that a decoded image is generated for both the upper CU block and the left CU block adjacent to “CU n ”.
  • the example of FIG. 28A shows that a part of the decoded image of the adjacent CU block is set as the template areas 1101 to 1112.
  • FIG. 28B is a diagram illustrating processing timing when the intra / inter prediction unit 409 executes processing for four subCUs included in “CU n ”.
  • the processing executed by the intra / inter prediction unit 409 is as follows. Setting of CU level motion vector candidates and determination of one motion vector candidate as a base point; CU level motion vector determination, Setting of subCU level motion vector candidates and determination of one motion vector candidate as a base point; Determination of subCU level motion vectors, Generation of predicted images at the subCU level, ⁇ Acquisition of subCU level decoded image, These are shown separately.
  • the processing timing “T m ” to “T m + 7 ” is shown due to space limitations.
  • a motion vector candidate at the subCU level is set for “subCU0”, and one motion vector candidate as a base point at the subCU level is determined.
  • a motion vector at the subCU level is determined for “subCU0”.
  • the decoded images of the template areas 1101 and 1111 are used when determining the motion vector of “subCU0”.
  • a template region can be set for each position corresponding to a subCU level motion vector candidate for “subCU1” and “subCU2”. .
  • a subCU-level motion vector can be determined for “subCU1” and “subCU2”.
  • the motion vector at the subCU level is determined for “subCU1” and “subCU2”. Note that when determining the motion vector of “subCU1”, the decoded image of the template area 1102 and the predicted image of the template area 2801 are used. In addition, when determining the motion vector of “subCU2”, the predicted image in the template region 2802 and the decoded image in the template region 1112 are used.
  • the decoded image is generated by outputting the predicted image
  • processing timing “T m + 6 ”, for “subCU3”, a template region is set at each position corresponding to the motion vector candidate at the subCU level, and one motion vector candidate serving as a base point at the subCU level is determined.
  • prediction images are generated and output for “subCU1” and “subCU2” in parallel.
  • a subCU-level motion vector can be determined for “subCU3”.
  • a motion vector at the subCU level is determined for “subCU3”.
  • the predicted image of the template area 2803 and the predicted image of the template area 2804 are used.
  • the decoded image is generated by outputting the predicted image
  • parallel processing can be executed for a plurality of subCUs, and the processing efficiency can be improved.
  • FIG. 29 is a first diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • the example of FIG. 29 illustrates parallel processing executed on a subCU included in a block 1800 of an 8 pixel ⁇ 8 pixel CU generated by dividing a CTU 510 of 128 pixels ⁇ 128 pixels (subCU size). Since 4 pixels ⁇ 4 pixels, parallel processing is executed).
  • the CU block 1800 is divided into four subCUs.
  • template areas are set for each of the four subCUs 2901 to 2904 as follows.
  • SubCU 2901 A part of the decoded image of the upper subCU adjacent to the subCU 2901 and a part of the decoded image of the left subCU adjacent to the subCU 2901 are set as template regions 1801 and 1811.
  • SubCU 2902 A part of the decoded image of the upper sub CU 2902 adjacent to the sub CU 2902 and a part of the predicted image of the left sub CU 2901 adjacent to the sub CU 2902 are set as template regions 1802 and 2911.
  • SubCU 2903 A part of the predicted image of the upper sub CU 2901 adjacent to the sub CU 2903 and a part of the decoded image of the left sub CU adjacent to the sub CU 2903 are set as template regions 2912 and 1812.
  • SubCU 2904 A part of the prediction image of the upper sub CU 2902 adjacent to the sub CU 2904 and a part of the prediction image of the left sub CU 2903 adjacent to the sub CU 2904 are set as template regions 2913 and 2914.
  • template matching of the subCU 2902 and the subCU 2903 can be executed in parallel with the processing of the subCU 2901.
  • FIG. 30 is a second diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • the example of FIG. 30 illustrates parallel processing executed on a subCU included in a block 1900 of a 64 pixel ⁇ 64 pixel CU generated by dividing a CTU 510 of 128 pixels ⁇ 128 pixels (for example, CU).
  • the parallel processing is executed when the quantization parameter of the block 1900 is 30 or less).
  • the CU block 1900 is divided into 16 subCUs.
  • a part of the decoded image or predicted image of the upper subCU adjacent to the subCU and a part of the decoded image or predicted image of the left subCU are set as template regions. To do.
  • a part of the decoded image of the upper subCU adjacent to the subCU 3001 is set as the template area 1901, and a part of the decoded image of the left subCU adjacent to the subCU 3001 is set as the template area 1911.
  • template matching of the subCU 3002 and the subCU 3005 can be executed in parallel with the processing of the subCU 3001. Furthermore, in parallel with the processing of the subCU 3002 and the subCU 3005, for example, template matching of the subCUs 3003, 3006, and 3009 can be executed.
  • FIG. 31 is a third diagram illustrating a specific example of parallel processing in the inter prediction mode of the encoder according to the second embodiment.
  • the example of FIG. 31 illustrates a case where 8 to 4 CU blocks 2001 to 2004 generated by dividing a 128-by-128 CTU 510 are processed.
  • each of the CU blocks 2001 to 2004 is divided into two subCUs.
  • the size of the subCU is 4 pixels ⁇ 4 pixels, and parallel processing is executed for two subCUs.
  • Reference numeral 3110 indicates, in time series, how a template area is set for each subCU included in the CU blocks 2001 to 2004, and indicates that the time axis advances from the bottom to the top. .
  • a part of the decoded image of the subCU adjacent to the upper side of the left subCU and a part of the decoded image of the subCU adjacent to the left side are represented.
  • Template areas 2011 and 2021 are set.
  • a part of the decoded image of the subCU adjacent to the upper side of the right subCU and a part of the predicted image of the subCU adjacent to the left side are displayed in the template region 2012, Set as 3121.
  • template matching of the right subCU among the two subCUs included in the block 2001 of the CU can be executed in parallel with the processing of the left subCU.
  • the process proceeds to the CU block 2002. Specifically, among the two subCUs included in the block 2002 of the CU, a part of the decoded image of the subCU adjacent to the upper side of the left subCU and a part of the decoded image of the subCU adjacent to the left side are used as a template. The areas 2013 and 2022 are set. In addition, among the two subCUs included in the block 2002 of the CU, a part of the decoded image of the subCU adjacent to the upper side of the right subCU and a part of the predicted image of the subCU adjacent to the left side are displayed in the template region 2014, 3122 is set.
  • template matching of the right subCU among the two subCUs included in the block 2002 of the CU can be executed in parallel with the processing of the left subCU.
  • the process proceeds to the CU block 2003. Specifically, among the two subCUs included in the block 2003 of the CU, a part of the decoded image of the subCU adjacent to the upper side of the left subCU and a part of the decoded image of the subCU adjacent to the left side are used as a template. Set as areas 2015 and 2023. In addition, among the two subCUs included in the block 2003 of the CU, a part of the decoded image of the subCU adjacent to the upper side of the right subCU and a part of the predicted image of the subCU adjacent to the left side are converted into a template region 2016, 3123 is set.
  • the process proceeds to the processing of the CU block 2004.
  • a part of the decoded image of the subCU adjacent to the upper side of the left subCU and a part of the decoded image of the subCU adjacent to the left side are used as a template.
  • Areas 2017 and 2024 are set.
  • a part of the decoded image of the subCU adjacent to the upper side of the right subCU and a part of the predicted image of the subCU adjacent to the left side are displayed in the template region 2018, 3124 is set.
  • FIG. 32 is a diagram illustrating an example of a functional configuration for realizing inter prediction processing by template matching in the inter prediction mode of the decoder according to the second embodiment.
  • FIG. 23 is different from FIG. 23 in that a prediction image acquisition unit 3201 is provided in the case of FIG. Hereinafter, the difference from FIG. 23 will be mainly described.
  • the predicted image acquisition unit 3201 acquires the predicted image of the subCU adjacent to the decoding target subCU generated by the predicted image generation unit 2207. Specifically, the predicted image acquisition unit 3201 acquires the predicted image of the template region set by the template region setting unit 2201 (the template region set at the position of the subCU adjacent to the decoding target subCU). Also, the predicted image acquisition unit 3201 notifies the template region selection unit 2302 of the acquired predicted image of the template region.
  • the template region setting unit 2201 has been described with reference to FIG. 24 for the predicted image acquisition unit 3201 when the template region determination unit 2301 is notified of a determination result that satisfies a predetermined execution condition. Set the template area.
  • the template region setting unit 2201 sets a part of the predicted image of the subCU adjacent to the upper side of the subCU to be decoded and a part of the predicted image of the subCU adjacent to the left side as the template region.
  • the predicted image acquisition unit 3201 selects the predicted image of the template region set by the template region setting unit 2201 (part of the predicted image of the adjacent subCU) among the predicted images generated by the predicted image generation unit 2207. Notify the template area selection unit 2302.
  • the template region selection unit 2302 receives the decoded image of the template region notified from the decoding-in-progress screen acquisition unit 2202 (part of the decoded image of the adjacent subCU). Select. Further, the template area selection unit 2302 notifies the matching unit 2204 of the decoded image of the selected template area. As a result, the matching unit 2204 can perform template matching on the decoding target subCU in the reference screen using the decoded image of the template region corresponding to the determination result notified from the template region determining unit 2301.
  • the template region selection unit 2302 predicts the predicted image of the template region notified from the predicted image acquisition unit 3201 (part of the predicted image of the adjacent subCU). Select. Further, the template area selection unit 2302 notifies the matching unit 2204 of the predicted image of the selected template area. Accordingly, the matching unit 2204 can perform template matching on the decoding target subCU using the predicted image of the template region corresponding to the determination result notified from the template region determining unit 2301 in the reference screen.
  • the block (CU) of the decoding unit is divided into a plurality of rectangular areas (subCU). If it is determined whether the rectangular area to be decoded satisfies a predetermined execution condition, and if it is determined that the predetermined execution condition is satisfied, a part of the predicted image of the rectangular area adjacent to the rectangular area is a template area Set as. Using the set template area, template matching is performed by parallel processing on a part of the rectangular areas included in the decoding unit block, and a predicted image of each rectangular area is output.
  • the block (CU) of the decoding unit is divided into a plurality of rectangular areas (subCU). If it is determined whether the rectangular area to be decoded satisfies a predetermined execution condition and it is determined that the predetermined execution condition is satisfied, a part of the predicted image of the rectangular area adjacent to the rectangular area is used as a template. Set as area. Using the set template area, template matching is performed by parallel processing on a part of the rectangular areas included in the decoding unit block, and a predicted image of each rectangular area is output.
  • a part of a decoded image of a block of a CU adjacent to a block of a CU including a subCU to be decoded is a template region.
  • the function described in the first embodiment and the function described in the second embodiment are respectively arranged in the encoder and the decoder, and both functions are switched and executed.
  • the structure to perform is demonstrated.
  • the third embodiment will be described focusing on differences from the second embodiment.
  • FIG. 33 is a flowchart showing the flow of a subCU level motion search process in the inter prediction mode of the encoder according to the third embodiment. The difference from FIG. 27 is steps S3301, S3302, S1602, S2702, and S1603.
  • step S3301 the template area determination unit 1401 determines whether or not the decoding target subCU satisfies the first execution condition.
  • the first execution condition refers to, for example, any of the execution conditions defined in the execution condition information 1500.
  • step S3301 If it is determined in step S3301 that the first execution condition is satisfied (YES in step S3301), the process proceeds to step S1602.
  • step S1602 the template area setting unit 703 sets a part of the decoded image of the block of the CU adjacent to the block of the CU including the subCU to be decoded as a template area.
  • step S3301 determines whether the first execution condition is not satisfied (NO in step S3301).
  • the process proceeds to step S3302.
  • the template area determination unit 1401 determines whether the decoding target subCU satisfies the second execution condition.
  • the second execution condition refers to, for example, any execution condition that does not overlap with the execution condition information 1500 among the execution conditions specified in the execution condition information 2700.
  • step S3302 If it is determined in step S3302 that the second execution condition is satisfied (YES in step S3302), the process proceeds to step S2702.
  • step S2702 the predicted image acquisition unit 2501 acquires, from the predicted image generation unit 708, a predicted image or a decoded image of the upper subCU and the left subCU adjacent to the decoding target subCU. Further, the template area selection unit 1402 sets a predicted image or a part of the decoded image of the subCU adjacent to the decoding target subCU as a template area.
  • step S3302 determines whether the second execution condition is not satisfied (NO in step S3302), the process proceeds to step S1603.
  • step S1603 the template area setting unit 703 sets a part of the decoded image of the subCU adjacent to the decoding target subCU as a template area.
  • the intra / inter prediction unit of the encoder and decoder performs the inter prediction process by template matching in the inter prediction mode. If it is determined whether the rectangular area of the decoded image satisfies the first execution condition, and it is determined that the first execution condition is satisfied, the block of the block adjacent to the block of the decoding unit that includes the rectangular area A part of the decoded image is set as a template area. If it is determined whether the rectangular area of the decoded image satisfies the second execution condition and it is determined that the second execution condition is satisfied, a part of the predicted image of the rectangular area adjacent to the rectangular area is Set as template area.
  • the encoder and the decoder according to the third embodiment it is possible to set a template region according to the attribute of the subCU to be decoded and execute the inter prediction process by template matching.
  • the predetermined block is described as a block of a decoding unit (CU) including a subCU to be decoded.
  • the predetermined block is not limited to a CU block. As long as the block includes the subCU to be decoded, the block may be smaller than the CU or larger than the CU.
  • a predetermined block is defined in advance in the encoder 110, and that information indicating the predetermined block is included in the incidental information when the data stream is output. This is because the decoder 120 can recognize a predetermined block based on the incidental information.
  • the determination is made based on the execution conditions defined in the execution condition information 1500 in FIG. 15 or the execution condition information 2600 in FIG.
  • the execution condition used for the determination is not limited to this, and it goes without saying that the determination may be made based on other predetermined execution conditions not defined in the execution condition information 1500 or the execution condition information 2600. .
  • each of the encoder 110 and the decoder 120 performs determination based on all execution conditions defined in the execution condition information 1500 in FIG. 15 or the execution condition information 2600 in FIG. Explained as a thing.
  • the encoder 110 and the decoder 120 may be configured to perform determination based on any execution condition.
  • the encoder 110 since the decoder 120 needs to recognize the execution condition used for the determination in the encoder 110, the encoder 110 includes the execution condition used for the determination in the incidental information as a syntax and transmits the syntax to the decoder 120.
  • a part of the decoded image of the adjacent CU is set as a template region, and when the second execution condition is satisfied, it is adjacent.
  • a part of the predicted image of subCU is set as a template area. That is, the template region is set with either a part of the decoded image of the adjacent CU or a part of the predicted image of the adjacent subCU.
  • the template region setting method is not limited to this, and for example, a part of the prediction image of the adjacent CU may be set.
  • Image processing system 110 Encoder 120: Decoder 409: Intra / inter prediction unit 520: CU blocks 530 to 550: subCU 541, 542: Template region 610: Screen 620: Screen 701: Motion search processing unit 702: Cost determination unit 703: Template region setting unit 704: Decoding screen acquisition unit 705: Reference screen acquisition unit 706: Matching unit 707: Motion vector Calculation unit 708: Predictive image generation unit 709: Motion vector storage unit 710: Template search point setting unit 1101, 1102: Template region 1111, 1112: Template region 1131: Template region 1201, 1202: Template region 1211-1213: Template region 1401 : Template region determination unit 1402: Template region selection unit 1500: Execution condition information 2106: Intra / inter prediction Unit 2201: Template region setting unit 2202: Decoding screen acquisition unit 2203: Reference screen acquisition unit 2204: Matching unit 2205: Motion vector calculation unit 2207: Predictive image generation unit 2208: Motion vector storage unit 2209: Template search point setting unit 2301 :

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

次世代コーデックでのインタ予測において、処理効率を向上させる。復号方法は、復号中の画面内より第１のテンプレート領域を設定するステップと、参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、前記第２のテンプレート領域を、所定ベクトル分移動することで設定した第３のテンプレート領域と、前記第１のテンプレート領域との相関値を算出するステップと、複数の前記相関値に基づいて動きベクトルを決定するステップと、前記動きベクトルに基づいて、前記復号対象の動き補償を行うステップと、を有し、前記第１のテンプレート領域を設定するステップは、前記復号対象のサイズが所定の閾値以下であった場合、または、前記復号対象が含まれる画面が、参照されることのない画面に該当する場合に、前記復号対象が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定する。

Description

復号方法、復号装置、符号化装置及びプログラム
　本発明は、復号方法、復号装置、符号化装置及びプログラムに関する。
　現在検討中である次世代ビデオコーデック（Ｈ．２６５／ＨＥＶＣに続く次世代コーデック）における画面間予測（インタ予測）の１つとして、テンプレートマッチングによるインタ予測がある。テンプレートマッチングによるインタ予測は、復号対象のブロックに隣接する領域（テンプレート領域）を用いて、時間的に異なる参照画面内でマッチングを行い、動きベクトルを決定することで予測画像を生成する、"動き補償インタ予測"の１つである。
　ここで、標準化されたビデオコーデックでの動き補償インタ予測に対しては、従来より、種々の改善方法が提案されている。例えば、下記特許文献１では、テンプレートマッチングによるインタ予測において、処理効率を向上させるべく、復号対象のブロックと所定の位置関係にある領域をテンプレート領域として設定する方法が提案されている。
国際公開第２０１０／０９５５６０号
　一方で、次世代コーデックの場合、インタ予測の際にｓｕｂＣＵと呼ばれるブロックに分割して符号化を行う。このため、次世代コーデックでのテンプレートマッチングによるインタ予測では、復号対象のブロックとの位置関係が所定の位置関係に当てはまらないパターンが存在する。この結果、上記特許文献１のように、処理効率の向上を実現できない場合がある。
　一つの側面では、次世代コーデックでのテンプレートマッチングによるインタ予測において、処理効率を向上させることを目的としている。
　一態様によれば、復号方法は、以下の構成を備える。すなわち、
　画面間予測を用いて画像を復号する復号方法であって、
　復号中の画面内より復号対象の矩形領域を取得するステップと、
　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を有し、
　前記第１のテンプレート領域を設定するステップは、
　前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない参照画面に該当する場合に、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定することを特徴とする。
　次世代コーデックでのテンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
図１は、エンコーダ及びデコーダの適用例を示す図である。 図２は、エンコーダ及びデコーダの他の適用例を示す図である。 図３は、エンコーダのハードウェア構成の一例を示す図である。 図４は、エンコーダの機能構成の一例を示す図である。 図５は、次世代コーデックにおいて検討中のインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。 図６は、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングの概要を示す図である。 図７は、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成（エンコーダ）の一例を示す図である。 図８は、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の流れを示すフローチャートである。 図９は、ステップＳ８０１を詳細化した、ＣＵレベルの動き探索処理の流れを示すフローチャートである。 図１０は、ステップＳ８０２を詳細化した、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。 図１１は、次世代コーデックにおいて検討中のインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。 図１２は、第１の実施形態に係るエンコーダのインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。 図１３は、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの概要を示す図である。 図１４は、第１の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。 図１５は、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの実行条件を示す図である。 図１６は、第１の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。 図１７は、第１の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。 図１８は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第１の図である。 図１９は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第２の図である。 図２０は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第３の図である。 図２１は、デコーダの機能構成の一例を示す図である。 図２２は、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成（デコーダ）の一例を示す図である。 図２３は、第１の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。 図２４は、第２の実施形態に係るエンコーダのインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。 図２５は、第２の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。 図２６は、第２の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの実行条件を示す図である。 図２７は、第２の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。 図２８は、第２の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。 図２９は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第１の図である。 図３０は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第２の図である。 図３１は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第３の図である。 図３２は、第２の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。 図３３は、第３の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜１．エンコーダ及びデコーダの適用例＞
　はじめに、エンコーダ（符号化装置）及びデコーダ（復号装置）の適用例について説明する。図１は、エンコーダ及びデコーダの適用例を示す図である。
　図１に示すように、エンコーダ１１０を送信装置に、デコーダ１２０を受信装置にそれぞれ配し、ネットワーク１６０を介して接続することで、エンコーダ１１０及びデコーダ１２０を適用した画像処理システム１００を形成することができる。
　画像処理システム１００において、送信装置に配されたエンコーダ１１０は、入力された画像データを符号化することでデータストリーム（符号化列）を生成する。また、送信装置は生成されたデータストリームを、ネットワーク１６０を介して受信装置に送信する。
　受信装置はデータストリームを受信する。また、受信装置に配されたデコーダ１２０は、データストリームを復号することで画像データを生成し、表示する。
　かかる画像処理システム１００を形成することで、画像データを送信する際の送信負荷を低減できるため、例えば、インタネット分野、放送分野、通信分野等の種々の分野に適用することができる。
　適用例１００ａは、画像処理システム１００をインタネット分野に適用した例を示している。適用例１００ａの場合、送信装置１１０の一例であるサーバ装置１１１より送信されたデータストリームを、受信装置１１０の一例であるパーソナルコンピュータ１２１ａ、スマート端末１２１ｂ等が受信し、表示する。これにより、パーソナルコンピュータ１２１ａやスマート端末１２１ｂのユーザは、サーバ装置１１１が保持する動画像データをインタネットを介して視聴することができる。
　適用例１００ｂは、画像処理システム１００を放送分野に適用した例を示している。適用例１００ｂの場合、送信装置１１０の一例である放送用送信機１１２より送信されたデータストリームを、受信装置１１０の一例であるテレビ１２２が受信し、表示する。これにより、例えば、テレビ１２２のユーザは、放送用送信機１１２が送信する放送内容を視聴することができる。
　適用例１００ｃは、画像処理システム１００を通信分野に適用した例を示している。適用例１００ｃの場合、送信装置１１０の一例であるテレビ電話機１１３より送信されたデータストリームを、受信装置１１０の一例であるテレビ電話機１２３が受信し、表示する。これにより、テレビ電話機１２３のユーザは、通話相手の顔を見ながら通話することができる。
　図２は、エンコーダ及びデコーダの他の適用例を示す図である。図２に示すように、エンコーダ１１０とデコーダ１２０とを一体的に構成することで、エンコーダ１１０及びデコーダ１２０を適用した蓄積装置２００を形成することができる。
　蓄積装置２００は、入力された画像データをエンコーダ１１０が符号化し、生成したデータストリームを記録媒体に格納する。また、蓄積装置２００は、記録媒体に格納されたデータストリームを、デコーダ１２０が復号することで画像データを生成し、表示する。
　かかる蓄積装置２００を形成することで、画像データを格納する際の容量を低減できるため、例えば、蓄積分野に適用することができる。適用例２００ａは蓄積装置２００を蓄積分野に適用した例を示している。適用例２００ａの場合、蓄積装置２００の一例であるビデオレコーダ２１１は、内蔵するエンコーダ１１０が、画像データを符号化することで生成したデータストリームを記録媒体２１２に格納する。また、ビデオレコーダ２１１は、内蔵するデコーダ１２０が、記録媒体２１２より読み出したデータストリームを復号することで画像データを生成し、モニタ２１３に表示する。これにより、ビデオレコーダ２１１のユーザは、取得した動画像データを効率的に蓄積することができる。
　＜２．エンコーダ及びデコーダのハードウェア構成＞
　次に、エンコーダ及びデコーダのハードウェア構成について説明する。なお、エンコーダ１１０及びデコーダ１２０は、同様のハードウェア構成を有していることから、ここでは、エンコーダ１１０のハードウェア構成について説明する。
　図３は、エンコーダのハードウェア構成の一例を示す図である。図３に示すように、エンコーダ１１０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、エンコーダ１１０は、補助記憶装置３０４、入力装置３０５、表示装置３０６、接続装置３０７、ドライブ装置３０８を有する。なお、エンコーダ１１０の各ハードウェアは、バス３０９を介して相互に接続される。
　ＣＰＵ３０１は、補助記憶装置３０４にインストールされた各種プログラム（例えば、符号化プログラム等）を実行する。
　ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４にインストールされた各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。
　ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶装置３０４にインストールされた各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
　補助記憶装置３０４は、インストールされた各種プログラムや、各種プログラムを実行する際に用いる情報を記憶する補助記憶デバイスである。
　入力装置３０５は、エンコーダ１１０に対して各種指示を入力する際に用いる入力デバイスである。
　表示装置３０６は、エンコーダ１１０の内部情報を表示する表示デバイスである。接続装置３０７は、エンコーダ１１０が外部からの画像データを受け付けたり、エンコーダ１１０がデコーダ１２０と接続し、通信を行うための通信デバイスである。
　ドライブ装置３０８はコンピュータ読み取り可能な記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれてもよい。
　なお、補助記憶装置３０４にインストールされる各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされてもよい。あるいは、補助記憶装置３０４にインストールされる各種プログラムは、接続装置３０７を介してネットワーク１６０からダウンロードされることでインストールされてもよい。
　なお、図３に示すハードウェア構成は、あくまで一例にすぎず、適用形態によっては、図３に示すハードウェアの一部を除外して、あるいは他のハードウェアに置き換えてもよいことはいうまでもない。
　＜３．エンコーダの機能構成＞
　次に、エンコーダ１１０の機能構成について説明する。図４は、エンコーダの機能構成の一例を示す図である。図４に示すように、エンコーダ１１０は、ブロック分割部４０１、直交変換部４０２、量子化部４０３、エントロピ符号化部４０４を有する。また、エンコーダ１１０は、逆量子化部４０５、逆直交変換部４０６、ループフィルタ部４０７、復号画像記憶部４０８、イントラ／インタ予測部４０９を有する。
　ブロック分割部４０１は、入力された画像データに含まれる各画面（入力画面または入力フレームと称す）を取得する。また、ブロック分割部４０１は、入力画面（入力フレーム）をストリームで固定サイズのブロックに分割する。更に、ブロック分割部４０１は、固定サイズのブロックそれぞれを、更に再帰的に、符号化単位のブロックに分割する。なお、Ｈ．２６５／ＨＥＶＣにおけるブロック分割部では、入力画面をストリームで固定サイズのブロックであるＣＴＵ（Coding Tree Unit）に分割する。また、Ｈ．２６５／ＨＥＶＣにおけるブロック分割部では、各ＣＴＵのブロックを符号化単位のブロックであるＣＵ（Coding Unit）に分割する。更に、Ｈ．２６５／ＨＥＶＣにおけるブロック分割部では、各ＣＵのブロックを予測ユニット（ＰＵ（Prediction Unit））と変換ユニット（ＴＵ（Transform Unit））のブロックに分割する。
　しかしながら、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックの国際標準では、ＰＵ、ＴＵを廃止し、全てＣＵのブロックに分割することが見込まれている。このため、本実施形態では、ブロック分割部４０１が、ＣＴＵのブロックを、全てＣＵのブロックに分割するものとして説明する。なお、Ｈ．２６５／ＨＥＶＣに続く次世代コーデックにおいて検討されている内容によれば、ＣＴＵのブロックのサイズは、最大１２８画素×１２８画素であるので、以下では、ＣＴＵのブロックのサイズは、１２８画素×１２８画素として説明する。
　ブロック分割部４０１によりＣＵのブロックに分割された画像データの各入力画面（入力フレーム）は、イントラ／インタ予測部４０９に通知されるとともに、予測残差信号の算出に用いられる。
　直交変換部４０２は、入力画面の各ＣＵのブロック内の入力画像と、対応する各ＣＵのブロック内の予測画像との差分に基づいて算出された予測残差信号に対して直交変換処理を実行する。
　量子化部４０３は、直交変換処理が実行された予測残差信号を量子化することで量子化信号を生成し、エントロピ符号化部４０４及び逆量子化部４０５に出力する。
　エントロピ符号化部４０４は、量子化信号をエントロピ符号化することで、データストリームを生成し、出力する。
　逆量子化部４０５は、量子化信号を逆量子化し、逆直交変換部４０６に出力する。逆直交変換部４０６は、逆量子化された量子化信号に対して逆直交変換処理を実行する。逆直交変換部４０６により得られた信号に対しては、例えば、イントラ／インタ予測部４０９が生成した予測画像が加算されることで復号画像が生成され、ループフィルタ部４０７に入力される。
　ループフィルタ部４０７は、入力された復号画像の符号化ノイズを低減するフィルタ処理を行う。復号画像記憶部４０８は、ループフィルタ部４０７によりフィルタ処理された復号画像を画面ごと（フレームごと）に記憶する。
　イントラ／インタ予測部４０９は、復号中の画面内の各ＣＵのブロックの復号画像を用いて処理対象のＣＵのブロックの予測画像を生成するイントラ予測（画面内予測）を行う。また、イントラ／インタ予測部４０９は、参照画面内の各ＣＵのブロックの復号画像を用いて画面間で動き補償を行い、処理対象のＣＵのブロックの予測画像を生成する動き補償インタ予測（画面間予測）を行う。
　更に、イントラ／インタ予測部４０９は、イントラ予測により生成された各ＣＵのブロックの予測画像であるイントラ予測画像または動き補償インタ予測により生成された各ＣＵのブロックの予測画像であるインタ予測画像のいずれか一方を出力する。
　イントラ／インタ予測部４０９より出力された各ＣＵのブロックの予測画像は、入力画面内の各ＣＵのブロックの入力画像との残差計算に用いられ、算出された予測残差信号は、直交変換部４０２に入力される。また、イントラ／インタ予測部４０９より出力された予測画像は、逆直交変換部４０６により得られた信号に加算され、復号画像としてループフィルタ部４０７に入力される。
　＜４．エンコーダのイントラ／インタ予測部の詳細＞
　続いて、エンコーダのイントラ／インタ予測部４０９における、テンプレートマッチングによるインタ予測処理の詳細について説明する。なお、以下では、まず、対比として次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理について説明する（以下、＜４．１＞参照）。続いて、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理について説明する（以下、＜４．２＞参照）。
　　＜４．１　次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理＞
　（１）復号対象の矩形領域（ｓｕｂＣＵ）及びテンプレート領域の説明
　はじめに、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を行う場合の、復号対象の矩形領域及びテンプレート領域について説明する。図５は、次世代コーデックにおいて検討中のインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。
　図５に示すように、入力画面（入力フレーム）５００のうち、１２８画素×１２８画素のＣＴＵ５１０が、ＣＵのブロックに分割され、当該ＣＵのブロックについて、テンプレートマッチングによるインタ予測処理が行われる。
　なお、ＣＴＵ５１０に示すように、ＣＴＵのブロックは、インタ予測の際、様々なブロックサイズのＣＵに分割される。図５に示す例では、正方形のＣＵのブロック（８×８、１６×１６、３２×３２、６４×６４。単位は全て［画素］）に分割された場合が含まれる。更に、図５に示す例では、長方形のＣＵのブロック（４×８、８×４、８×１６、１６×８、１６×３２、３２×１６、３２×６４、６４×３２、６４×１２８、１２８×６４。単位は全て［画素］）に分割された場合が含まれる。
　ＣＵのブロック５２０は、このうち、６４画素×６４画素に分割された正方形のブロックを拡大して示したものである。ＣＵのブロック５２０に示すように、次世代コーデックにおいては、インタ予測モードにおいて、ｓｕｂＣＵ５３０、５４０、５５０等の矩形領域が生成され、ｓｕｂＣＵを復号対象として、ｓｕｂＣＵごとに、順次、予測画像及び復号画像が生成される。
　図５の例において、復号対象のｓｕｂＣＵ５３０について、テンプレートマッチングによるインタ予測処理を行うことで予測画像及び復号画像を生成する場合、
・ｓｕｂＣＵ５３０の上側に隣接するｓｕｂＣＵ５４０と、
・ｓｕｂＣＵ５３０の左側に隣接するｓｕｂＣＵ５５０と、
が用いられる。つまり、ｓｕｂＣＵ５３０についてテンプレートマッチングによるインタ予測処理を行うことで予測画像及び復号画像を生成するにあたっては、ｓｕｂＣＵ５４０、５５０についての予測画像及び復号画像の生成が、いずれも完了していることが前提となる。
　図５の例によれば、ｓｕｂＣＵ５４０の復号画像の一部と、ｓｕｂＣＵ５５０の復号画像の一部とが、テンプレート領域５４１、５５１として設定される。そして、設定されたテンプレート領域５４１、５５１の復号画像を用いて、テンプレートマッチングによるインタ予測処理が行われる。
　（２）テンプレートマッチングの概要
　続いて、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングの概要について説明する。図６は、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングの概要を示す図である。
　図６において、画面６２０は、イントラ／インタ予測部４０９によって復号中の画面（フレーム）である。図６の例は、復号対象のｓｕｂＣＵ５３０について、テンプレート領域５４１、５５１が設定された様子を示している。
　また、図６において、画面６１０は、復号中の画面６２０において設定されたテンプレート領域とのマッチングが行われる参照画面（復号中の画面６２０とは時間的に異なる復号画面）である。
　図６の例は、設定されたテンプレート領域５４１、５５１（第１のテンプレート領域）に相当する画面６１０内の領域として、テンプレート領域６１５、６１６（第２のテンプレート領域）が設定された様子を示している。
　また、図６の例は、テンプレート領域６１５、６１６が、画面６１０内で所定のベクトル分移動（ベクトル６１４分移動）されることで、テンプレート領域６１２、６１３（第３のテンプレート領域）が設定された様子を示している。
　更に、図６の例は、テンプレート領域６１２、６１３とテンプレート領域５４１、５５１との間で算出された画像の相関値（マッチング度）が最大であったことにより、ベクトル６１４が、復号対象のｓｕｂＣＵ５３０の動きベクトルとして決定された様子を示している。
　このように、復号対象のｓｕｂＣＵ５３０に隣接するｓｕｂＣＵの復号画像の一部をテンプレート領域５４１、５５１として設定し、画面６１０内においてマッチングを行うことで、動き補償インタ予測に用いられる動きベクトル６１４を決定することができる。
　（３）イントラ／インタ予測部の機能構成（エンコーダ）
　続いて、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成（エンコーダ）について説明する。図７は、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。
　図７に示すように、次世代コーデックにおいて検討中のインタ予測モードの場合、イントラ／インタ予測部４０９は、動き探索処理部７０１、コスト判定部７０２、テンプレート領域設定部７０３、復号中画面取得部７０４を有する。また、イントラ／インタ予測部４０９は、参照画面取得部７０５、マッチング部７０６、動きベクトル算出部７０７、予測画像生成部７０８、動きベクトル格納部７０９、テンプレート探索点設定部７１０を有する。
　動き探索処理部７０１は、ブロック分割部４０１より、入力画面（入力フレーム）のＣＴＵのうち、所定のＣＴＵを分割することで得られるＣＵのブロックであって、処理対象のＣＵ（復号対象のｓｕｂＣＵが含まれるＣＵ）のブロックの入力画像を取得する。
　また、動き探索処理部７０１は、復号画像記憶部４０８に記憶された復号画面の中から、参照画面取得部７０５により参照画面として読み出された復号画面を取得する。更に、動き探索処理部７０１は、処理対象のＣＵのブロックの入力画像について、参照画面に対する非テンプレートマッチング処理（テンプレートマッチング処理以外の一般的な探索処理）を実行する。これにより、動き探索処理部７０１は、ＣＵレベルの非テンプレートマッチングにおける動きベクトルと、非テンプレートマッチングにおけるコストとを算出し、コスト判定部７０２に通知する。
　コスト判定部７０２は、動き探索処理部７０１より通知される、ＣＵレベルの非テンプレートマッチングにおける動きベクトルと、非テンプレートマッチングにおけるコストとを取得する。また、コスト判定部７０２は、後述する動きベクトル算出部７０７より通知される、ＣＵレベルのテンプレートマッチングにおける動きベクトルと、テンプレートマッチングにおけるコストとを取得する。
　更に、コスト判定部７０２は、取得したコストを比較することで、ＣＵの予測モードを決定し、インタ予測結果情報として出力する。また、コスト判定部７０２は、ＣＵの予測モードを、非テンプレートマッチングの動きベクトルを利用するモードに決定した場合にあっては、当該動きベクトルを、ＣＵレベルの動きベクトルとして、予測画像生成部７０８に通知する。また、コスト判定部７０２は、決定したＣＵの予測モードを予測画像生成部７０８に通知する。
　一方、ＣＵの予測モードを、テンプレートマッチングの動きベクトルを利用するモードに決定した場合にあっては、コスト判定部７０２は、決定したＣＵの予測モードを予測画像生成部７０８に通知する。なお、以下では、説明の簡略化のため、ＣＵの予測モードがテンプレートマッチングの動きベクトルを利用するモードに決定されるものとして説明する。
　テンプレート領域設定部７０３は、ＣＵレベルの動き探索にあっては、復号中画面取得部７０４が取得した復号中の画面において、復号対象のＣＵのブロックに対して、ＣＵレベルのテンプレート領域を設定する。また、テンプレート領域設定部７０３は、ｓｕｂＣＵレベルの動き探索にあっては、復号中画面取得部７０４が取得した復号中の画面において、復号対象のｓｕｂＣＵに対して、ｓｕｂＣＵレベルのテンプレート領域を設定する。
　更に、テンプレート領域設定部７０３は、ＣＵレベルの動き探索にあっては、参照画面取得部７０５が取得した参照画面内において、復号対象のＣＵのブロックについて設定されたＣＵレベルのテンプレート領域に相当するテンプレート領域を設定する。また、テンプレート領域設定部７０３は、ｓｕｂＣＵレベルの動き探索にあっては、参照画面取得部７０５が取得した参照画面内において、復号対象のｓｕｂＣＵについて設定されたｓｕｂＣＵレベルのテンプレート領域に相当するテンプレート領域を設定する。
　復号中画面取得部７０４は取得手段の一例である。復号中画面取得部７０４は、復号画像記憶部４０８より、復号中の画面を読み出す。また、復号中画面取得部７０４は、ＣＵレベルの動き探索にあっては、復号対象のＣＵのブロックについて、テンプレート領域設定部７０３により設定されたＣＵレベルのテンプレート領域の復号画像を、マッチング部７０６に通知する。
　更に、復号中画面取得部７０４は、ｓｕｂＣＵレベルの動き探索にあっては、復号対象のｓｕｂＣＵについて、テンプレート領域設定部７０３により設定されたｓｕｂＣＵレベルのテンプレート領域の復号画像を、マッチング部７０６に通知する。
　参照画面取得部７０５は第２の設定手段の一例である。参照画面取得部７０５は、復号画像記憶部４０８に記憶された復号画面のうち、所定の復号画面（時間的に異なる復号画面）を参照画面として読み出す。また、参照画面取得部７０５は、読み出した参照画面を動き探索処理部７０１に通知する。
　また、参照画面取得部７０５は、読み出した参照画面内において、テンプレート探索点設定部７１０により設定されたＣＵレベルのテンプレート領域の参照画像を抽出する。
　なお、テンプレート探索点設定部７１０では、テンプレート領域設定部７０３により設定された参照画面内のＣＵレベルのテンプレート領域に対して、ＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。そして、参照画面取得部７０５は、複数の動きベクトル候補に応じた位置に設定されたＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部７０６に通知する。
　また、テンプレート探索点設定部７１０では、ＣＵレベルの１の動きベクトル候補に対して、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。ＣＵレベルのテンプレート探索点用動きベクトルとは、ＣＵレベルの基点となる１の動きベクトル候補の周辺位置の動きベクトルである。そして、参照画面取得部７０５は、テンプレート探索点用動きベクトルに応じた位置に設定されたＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部７０６に通知する。
　また、参照画面取得部７０５は、テンプレート探索点設定部７１０により設定されたＣＵレベルの１のテンプレート探索点用動きベクトル（決定されたＣＵレベルの１の動きベクトル）に応じた位置のＣＵのブロックを、参照画面内において特定する。
　また、参照画面取得部７０５は、特定した参照画面内のＣＵのブロックから、テンプレート探索点設定部７１０により設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出する。
　なお、テンプレート探索点設定部７１０は、特定した参照画面内のＣＵのブロックにおいて、テンプレート領域設定部７０３により設定されたｓｕｂＣＵレベルのテンプレート領域に対して、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。そして、参照画面取得部７０５は、複数の動きベクトル候補に応じた位置に設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部７０６に通知する。
　また、テンプレート探索点設定部７１０では、ｓｕｂＣＵレベルの１の動きベクトル候補に対して、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルとは、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補の周辺位置の複数の動きベクトルである。そして、参照画面取得部７０５は、テンプレート探索点用動きベクトルに応じた位置に設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部７０６に通知する。
　マッチング部７０６は、ＣＵレベルの動き探索にあっては、復号中画面取得部７０４より通知された、ＣＵレベルのテンプレート領域の復号画像と、参照画面取得部７０５より通知された、ＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。
　なお、参照画面取得部７０５より通知されるＣＵレベルのテンプレート領域の参照画像には、ＣＵレベルの複数の動きベクトル候補に基づいて抽出された参照画像と、ＣＵレベルのテンプレート探索点用動きベクトルに基づいて抽出された参照画像とが含まれる。マッチング部７０６では、算出したそれぞれのマッチング度を動きベクトル算出部７０７に通知する。
　また、マッチング部７０６は、ｓｕｂＣＵレベルの動き探索にあっては、ｓｕｂＣＵレベルのテンプレート領域の復号画像と、ｓｕｂＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。
　なお、ｓｕｂＣＵレベルのテンプレート領域の復号画像は、復号中画面取得部７０４より通知される。また、ｓｕｂＣＵレベルのテンプレート領域の参照画像は、参照画面取得部７０５より通知される。参照画面取得部７０５より通知されるｓｕｂＣＵレベルのテンプレート領域の参照画像には、ｓｕｂＣＵレベルの複数の動きベクトル候補に基づいて抽出された参照画像と、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに基づいて抽出された参照画像とが含まれる。マッチング部７０６では、算出したそれぞれのマッチング度を動きベクトル算出部７０７に通知する。
　動きベクトル算出部７０７は、マッチング部７０６より通知されたマッチング度のうち、ＣＵレベルの複数の動きベクトル候補に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度の中から、最大のマッチング度を特定する。
　また、動きベクトル算出部７０７は、特定した最大のマッチング度に対応する、ＣＵレベルの動きベクトル候補を、ＣＵレベルの基点となる１の動きベクトル候補として、動きベクトル格納部７０９に格納する。
　また、動きベクトル算出部７０７は、ＣＵレベルの基点となる１の動きベクトル候補を動きベクトル格納部７０９に格納したことに応じて、マッチング部７０６より通知されたＣＵレベルのマッチング度を取得する。このとき動きベクトル算出部７０７が取得するマッチング度は、ＣＵレベルのテンプレート探索点用動きベクトル（ＣＵレベルの基点となる１の動きベクトル候補の周辺の複数の動きベクトル）に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度である。
　更に、動きベクトル算出部７０７は、取得したマッチング度に基づいて、ＣＵレベルのテンプレートマッチングにおける動きベクトルを決定し、決定したＣＵレベルの動きベクトルを動きベクトル格納部７０９に格納する。
　また、動きベクトル算出部７０７は、決定したＣＵレベルの動きベクトルによるテンプレートマッチングにおけるコストを算出する。また、動きベクトル算出部７０７は、決定したＣＵレベルの動きベクトルとコストとをコスト判定部７０２に通知する。
　また、動きベクトル算出部７０７は、決定したＣＵレベルの動きベクトルを動きベクトル格納部７０９に格納したことに応じて、マッチング部７０６より通知されたｓｕｂＣＵレベルのマッチング度を取得する。また、動きベクトル算出部７０７は、取得したマッチング度のうち、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度の中から、最大のマッチング度を特定する。
　また、動きベクトル算出部７０７は、特定した最大のマッチング度に対応する、ｓｕｂＣＵレベルの１の動きベクトル候補を、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補として、動きベクトル格納部７０９に格納する。
　また、動きベクトル算出部７０７は、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補を動きベクトル格納部７０９に格納したことに応じて、マッチング部７０６より通知されたｓｕｂＣＵレベルのマッチング度を取得する。このとき動きベクトル算出部７０７が取得するマッチング度は、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトル（ｓｕｂＣＵレベルの基点となる１の動きベクトル候補の周辺の複数の動きベクトル）に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度である。更に、動きベクトル算出部７０７は、取得したマッチング度に基づいて、ｓｕｂＣＵレベルのテンプレートマッチングにおける動きベクトルを決定し、予測画像生成部７０８に通知する。
　予測画像生成部７０８は生成手段の一例である。予測画像生成部７０８は、コスト判定部７０２より、ＣＵの予測モードとして、非テンプレートマッチングの動きベクトルを利用するモードが通知された場合、コスト判定部７０２より、非テンプレートマッチングの動きベクトルを取得する。この場合、予測画像生成部７０８は、参照画面取得部７０５より通知された参照画面内において、非テンプレートマッチングの動きベクトルに対応する参照画像を特定する。また、予測画像生成部７０８は、特定した参照画像を用いて予測画像を生成することで動き補償インタ予測を行う。更に、予測画像生成部７０８は、生成したＣＵのブロックの予測画像を、インタ予測画像として出力する。
　一方、コスト判定部７０２より、ＣＵの予測モードとして、テンプレートマッチングの動きベクトルを利用するモードが通知された場合、予測画像生成部７０８は、動きベクトル算出部７０７より順次通知される、決定されたｓｕｂＣＵレベルの動きベクトルを取得する。
　また、予測画像生成部７０８は、参照画面取得部７０５より通知された参照画面内において、動きベクトル算出部７０７より順次通知された、決定されたｓｕｂＣＵレベルの動きベクトルに対応する参照画像を特定し、復号対象のｓｕｂＣＵの予測画像として、順次、出力する。更に、予測画像生成部７０８は、特定した各参照画像を用いてＣＵのブロックの予測画像を生成する。更に、予測画像生成部７０８は、生成したＣＵのブロックの予測画像を、インタ予測画像として出力する。
　動きベクトル格納部７０９は、ＣＵレベルの基点となる１の動きベクトル候補を格納する。また、動きベクトル格納部７０９は、決定したＣＵレベルの動きベクトルを格納する。また、動きベクトル格納部７０９は、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補を格納する。
　テンプレート探索点設定部７１０は、テンプレート領域設定部７０３により設定された参照画面内のＣＵレベルのテンプレート領域に対して、ＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部７１０は、動きベクトル格納部７０９に格納された、ＣＵレベルの基点となる１の動きベクトル候補に基づいて、ＣＵレベルのテンプレート探索点用動きベクトルを決定する。また、テンプレート探索点設定部７１０は、参照画面内において、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部７１０は、特定された参照画面内のＣＵのブロックにおいて、テンプレート領域設定部７０３により設定されたｓｕｂＣＵレベルのテンプレート領域に対して、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部７１０は、動きベクトル格納部７０９に格納された、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補に基づいて、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルを決定する。また、テンプレート探索点設定部７１０は、参照画面内において、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれに、テンプレート領域を設定する。
　（４）インタ予測処理の流れ
　続いて、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の流れについて説明する。図８は、次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の流れを示すフローチャートである。
　ステップＳ８０１において、イントラ／インタ予測部４０９は、ＣＵレベルの動き探索処理を実行し、ＣＵレベルの動きベクトルを決定する。
　ステップＳ８０２において、イントラ／インタ予測部４０９は、ステップＳ８０１において決定したＣＵレベルの動きベクトルに基づいて、ｓｕｂＣＵレベルの動き探索処理を実行し、ｓｕｂＣＵレベルの動きベクトルを決定する。以下、ステップＳ８０１、Ｓ８０２の詳細について説明する。
　・ＣＵレベルの動き探索処理の流れ（ステップＳ８０１）
　図９は、ステップＳ８０１を詳細化した、ＣＵレベルの動き探索処理の流れを示すフローチャートである。
　ステップＳ９０１において、テンプレート領域設定部７０３は、復号中の画面内において、復号対象のＣＵのブロックに対して、ＣＵレベルのテンプレート領域を設定する。
　ステップＳ９０２において、テンプレート探索点設定部７１０は、参照画面内において、ＣＵレベルの複数の動きベクトル候補に応じた位置それぞれにテンプレート領域を設定する。
　ステップＳ９０３において、マッチング部７０６は、ステップＳ９０１において設定されたＣＵレベルのテンプレート領域の復号画像と、ステップＳ９０２において設定されたＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。また、動きベクトル算出部７０７は、算出されたマッチング度のうち、最大のマッチング度を特定する。更に、動きベクトル算出部７０７は、特定した最大のマッチング度に対応する、ＣＵレベルの動きベクトル候補を、ＣＵレベルの基点となる１の動きベクトル候補に決定する。
　ステップＳ９０４において、テンプレート探索点設定部７１０は、ＣＵレベルの基点となる１の動きベクトル候補に対して、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。
　ステップＳ９０５において、マッチング部７０６は、ステップＳ９０１において設定されたＣＵレベルのテンプレート領域の復号画像と、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置に設定されたテンプレート領域の参照画像とのマッチング度を算出する。
　ステップＳ９０６において、動きベクトル算出部７０７は、算出されたマッチング度に基づいて、ＣＵレベルのテンプレートマッチングにおける動きベクトルを決定する。これにより、参照画面取得部７０５では、決定されたＣＵレベルの１の動きベクトルに応じた位置のＣＵのブロック（復号対象のＣＵのブロックに対応する、参照画面内のＣＵのブロック）を特定することができる。
　・ｓｕｂＣＵレベルの動き探索処理の流れ（ステップＳ８０２）
　図１０は、ステップＳ８０２を詳細化した、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。
　ステップＳ１００１において、テンプレート領域設定部７０３は、復号中の画面内において、復号対象のｓｕｂＣＵに対して、ｓｕｂＣＵレベルのテンプレート領域を設定する。
　ステップＳ１００２において、テンプレート探索点設定部７１０は、参照画面取得部７０５により特定された参照画面内のＣＵのブロックにおいて、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置それぞれにテンプレート領域を設定する。
　ステップＳ１００３において、マッチング部７０６は、ステップＳ１００１において設定されたｓｕｂＣＵレベルのテンプレート領域の復号画像と、ステップＳ１００２において設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。また、動きベクトル算出部７０７は、算出されたマッチング度のうち、最大のマッチング度を特定する。更に、動きベクトル算出部７０７は、特定した最大のマッチング度に対応する、ｓｕｂＣＵレベルの動きベクトル候補を、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補に決定する。
　ステップＳ１００４において、テンプレート探索点設定部７１０は、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補に対して、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。
　ステップＳ１００５において、マッチング部７０６は、ステップＳ１００１において設定されたｓｕｂＣＵレベルのテンプレート領域の復号画像と、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置に設定されたテンプレート領域の参照画像とのマッチング度を算出する。
　ステップＳ１００６において、動きベクトル算出部７０７は、算出されたマッチング度に基づいて、ｓｕｂＣＵレベルのテンプレートマッチングにおける動きベクトルを決定する。
　ステップＳ１００７において、予測画像生成部７０８は、決定されたｓｕｂＣＵレベルの動きベクトルに対応する参照画像を特定し、復号対象のｓｕｂＣＵの予測画像として出力する。更に、予測画像生成部７０８は、特定した各参照画像を用いてＣＵのブロックの予測画像を生成し、インタ予測画像として出力する。
　なお、予測画像生成部７０８により出力されたｓｕｂＣＵの予測画像は、逆直交変換部４０６より得られた信号に加算され、ｓｕｂＣＵの復号画像としてループフィルタ部４０７に入力される。
　ステップＳ１００８において、復号中画面取得部７０４は、復号中の画面内の処理対象のＣＵに含まれる全てのｓｕｂＣＵについて、予測画像を出力したか否かを判定する。ステップＳ１００８において、予測画像を出力していないｓｕｂＣＵがあると判定した場合には（ステップＳ１００８においてＮＯの場合には）、ステップＳ１００１に戻る。一方、ステップＳ１００８において、復号中の画面内の処理対象のＣＵに含まれる全てのｓｕｂＣＵについて予測画像を出力したと判定した場合には（ステップＳ１００８においてＹＥＳの場合には）、ｓｕｂＣＵレベルの動き探索処理を終了する。
　（５）ｓｕｂＣＵごとの処理のタイミングチャート
　続いて、次世代コーデックにおいて検討中のインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングについて説明する。図１１は、次世代コーデックにおいて検討中のインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。
　このうち、図１１（ａ）は、復号対象の各ｓｕｂＣＵが含まれるＣＵのブロックの一例を示している。図１１（ａ）の例は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックが"ＣＵｎ"であり、当該ＣＵのブロックには、４つのｓｕｂＣＵ（"ｓｕｂ０"、"ｓｕｂ１"、"ｓｕｂ２"、"ｓｕｂ３"）が含まれることを示している。また、図１１（ａ）の例は、"ＣＵｎ"に隣接する上側のＣＵのブロック及び左側のＣＵのブロックについては、いずれも、復号画像が生成されていることを示している。更に、図１１（ａ）の例は、当該隣接するＣＵのブロックの復号画像の一部が、テンプレート領域１１０１～１１１２として設定されていることを示している。
　図１１（ｂ）は、"ＣＵｎ"に含まれる４つのｓｕｂＣＵについて、イントラ／インタ予測部４０９が処理を実行する際の処理タイミングを示した図である。図１１（ｂ）の例では、イントラ／インタ予測部４０９が実行する処理を、
・ＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ｓｕｂＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの予測画像の生成、
・ｓｕｂＣＵレベルの復号画像の取得、
に分けて示している。なお、図１１（ｂ）の例では、紙面の都合上、処理タイミング＝"Ｔｍ"～"Ｔｍ＋６"までを示している。
　図１１（ｂ）に示すように、はじめに、処理タイミング＝"Ｔｍ"において、"ＣＵｎ"について、ＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ＣＵレベルの基点となる１の動きベクトル候補が決定される。続いて、処理タイミング＝"Ｔｍ＋１"において、"ＣＵｎ"について、ＣＵレベルの動きベクトルが決定される。
　続いて、処理タイミング"Ｔｍ＋２"において、"ｓｕｂＣＵ０"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。続いて、処理タイミング＝"Ｔｍ＋３"において、"ｓｕｂＣＵ０"について、ｓｕｂＣＵレベルの動きベクトルが決定される。なお、"ｓｕｂＣＵ０"の動きベクトルの決定に際しては、テンプレート領域１１０１、１１１１の復号画像が用いられる。
　続いて、処理タイミング＝"Ｔｍ＋４"において、"ｓｕｂＣＵ０"について予測画像が生成され、予測画像が出力される。更に、予測画像が出力されたことで復号画像が生成され、処理タイミング＝"Ｔｍ＋５"において、"ｓｕｂＣＵ０"について生成された復号画像が取得される。
　ｓｕｂＣＵ０についての復号画像が取得されると、"ｓｕｂＣＵ１"について、ｓｕｂＣＵレベルの動きベクトルを決定する際に用いられるテンプレート領域１１３１を設定することが可能となる。
　そこで、処理タイミング＝"Ｔｍ＋５"において、"ｓｕｂＣＵ０"について決定されたｓｕｂＣＵレベルの動きベクトルに対して、"ｓｕｂＣＵ１"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。その後、処理タイミング＝"Ｔｍ＋６"において、"ｓｕｂＣＵ１"について、ｓｕｂＣＵレベルの動きベクトルが決定される。なお、"ｓｕｂＣＵ１"の動きベクトルの決定に際しては、テンプレート領域１１０２、１１３１の復号画像が用いられる。
　このように、次世代コーデックにおいて検討中のインタ予測モードの場合、復号対象のｓｕｂＣＵに隣接する上側及び左側のｓｕｂＣＵの復号画像が生成されていることが、ｓｕｂＣＵレベルの動きベクトルを決定する際の前提となる（図１１（ｂ）の点線矢印参照）。このため、次世代コーデックのエンコーダにおいて検討中のインタ予測モードは、処理効率が高いとはいえない。
　　＜４．２　第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理＞
　次に、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理について説明する。
　（１）復号対象の矩形領域（ｓｕｂＣＵ）及びテンプレート領域の説明
　はじめに、第１の実施形態に係るエンコーダのインタ予測モードにおいて、テンプレートマッチングによるインタ予測処理を行う場合の、復号対象の矩形領域及びテンプレート領域について説明する。図１２は、第１の実施形態に係るエンコーダのインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。
　図５を用いて説明したとおり、第１の実施形態に係るエンコーダにおいても、入力画面（入力フレーム）５００のうち、１２８画素×１２８画素のＣＴＵ５１０が、ＣＵのブロックに分割される。また、当該ＣＵのブロックについて、テンプレートマッチングによるインタ予測が行われる（図１２参照）。
　ＣＵのブロック５２０は、このうち、６４画素×６４画素に分割された正方形のブロックを拡大して示したものである。図５を用いて説明したとおり、次世代コーデックにおいては、インタ予測モードにおいて、ｓｕｂＣＵ５３０、５４０、５５０等の矩形領域が生成され、ｓｕｂＣＵを復号対象として、ｓｕｂＣＵごとに、予測画像及び復号画像が生成される。
　ただし、第１の実施形態に係るエンコーダの場合、複数のｓｕｂＣＵの予測画像及び復号画像の生成を、並列して行う。このために、第１の実施形態に係るエンコーダでは、所定のブロックに隣接するブロックの一部を、テンプレート領域として設定する。所定のブロックとは、復号対象の複数のｓｕｂＣＵを含む復号単位のブロックであり、図１２の例では、ＣＵのブロック５２０を指す。
　例えば、復号対象のｓｕｂＣＵがｓｕｂＣＵ５３０であった場合、テンプレートマッチングを行う時点で、
・復号対象のｓｕｂＣＵ５３０が含まれるＣＵのブロック５２０の上側に隣接するＣＵのブロック、及び、
・復号対象のｓｕｂＣＵ５３０が含まれるＣＵのブロック５２０の左側に隣接するＣＵのブロック
は、いずれも、予測画像及び復号画像の生成が完了している。そこで、第１の実施形態に係るエンコーダでは、上側と左側に隣接するＣＵのブロックの一部をテンプレート領域１２０２、１２１３として設定し、復号対象のｓｕｂＣＵ５３０について、テンプレートマッチングを行う。
　同様に、例えば、復号対象のｓｕｂＣＵがｓｕｂＣＵ５４０であった場合、テンプレートマッチングを行う時点で、
・復号対象のｓｕｂＣＵ５４０が含まれるＣＵのブロック５２０の上側に隣接するＣＵのブロック、及び、
・復号対象のｓｕｂＣＵ５４０が含まれるＣＵのブロック５２０の左側に隣接するＣＵのブロック
は、いずれも、予測画像及び復号画像の生成が完了している。そこで、第１の実施形態に係るエンコーダでは、上側と左側に隣接するＣＵのブロックの一部をテンプレート領域１２０２、１２１２として設定し、復号対象のｓｕｂＣＵ５４０について、テンプレートマッチングを行う。つまり、ｓｕｂＣＵ５３０とｓｕｂＣＵ５４０とは、並列してテンプレートマッチングを行うことができる（なお、ｓｕｂＣＵ５５０等についても同様である）。
　このように、復号対象のｓｕｂＣＵが含まれる復号単位（ＣＵ）のブロックの上側及び左側のＣＵのブロックの一部をテンプレート領域として設定することで、複数のｓｕｂＣＵについて、テンプレートマッチングを並列して実行することが可能となる。
　（２）テンプレートマッチングの概要
　続いて、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングについて概要を説明する。図１３は、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの概要を示す図である。
　図１３において、画面６２０は、イントラ／インタ予測部４０９によって復号中の画面（フレーム）である。図１３の例は、復号対象のｓｕｂＣＵ５３０について、テンプレート領域１２０２、１２１３が設定された様子を示している。
　また、図１３において、画面６１０は、復号中の画面６２０において設定されたテンプレート領域とのマッチングが行われる参照画面（復号中の画面６２０とは時間的に異なる復号画面）である。
　図１３の例は、設定されたテンプレート領域１２０２、１２１３（第１のテンプレート領域）に相当する画面６１０内の領域として、テンプレート領域１３２１、１３２２（第２のテンプレート領域）が設定された様子を示している。
　また、図１３の例は、テンプレート領域１３２１、１３２２が、画面６１０内で所定のベクトル分移動（ベクトル６１４分移動）されることで、テンプレート領域１３１１、１３１２（第３のテンプレート領域）が設定された様子を示している。
　更に、図１３の例は、テンプレート領域１３１１、１３１２とテンプレート領域１２０２、１２１３との間で算出された画像のマッチング度が最大であったことで、ベクトル６１４が、復号対象のｓｕｂＣＵ５３０の動きベクトルとして決定された様子を示している。
　このように、復号対象のｓｕｂＣＵ５３０が含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部をテンプレート領域１２０２、１２１３として設定し、画面６１０内においてマッチングを行うことで、動き補償インタ予測に用いる動きベクトル６１４を決定することができる。
　（３）イントラ／インタ予測部の機能構成（エンコーダ）
　続いて、第１の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成について説明する。図１４は、第１の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。
　図７との相違点は、図１４の場合、テンプレート領域判定部１４０１、テンプレート領域選択部１４０２を有する点である。以下、図７との相違点を中心に説明する。
　テンプレート領域判定部１４０１は、復号対象のｓｕｂＣＵが所定の実行条件を満たすか否かを判定する。また、テンプレート領域判定部１４０１は、所定の実行条件を満たすか否かの判定結果を、テンプレート領域設定部７０３に通知する。
　なお、テンプレート領域設定部７０３では、テンプレート領域判定部１４０１より、所定の実行条件を満たさない旨の判定結果が通知された場合、復号中画面取得部７０４に対して、図５を用いて説明したテンプレート領域を設定する。具体的には、復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵの復号画像の一部と、左側のｓｕｂＣＵの復号画像の一部とを、テンプレート領域として設定する。この場合、復号中画面取得部７０４は、復号中の画面に含まれる復号画像のうち、テンプレート領域設定部７０３により設定されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）をテンプレート領域選択部１４０２に通知する。
　一方、テンプレート領域判定部１４０１より、所定の実行条件を満たす旨の判定結果が通知された場合には、テンプレート領域設定部７０３は、復号中画面取得部７０４に対して、図１２を用いて説明したテンプレート領域を設定する。
　具体的には、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックを特定し、特定したＣＵのブロックの上側及び左側に隣接するＣＵのブロックの復号画像の一部を、テンプレート領域として設定する。この場合、復号中画面取得部７０４は、復号中の画面に含まれる復号画像のうち、テンプレート領域設定部７０３により設定されたテンプレート領域の復号画像（隣接するＣＵのブロックの復号画像の一部）をテンプレート領域選択部１４０２に通知する。
　テンプレート領域選択部１４０２は、所定の実行条件を満たさない旨の判定結果が通知されると、復号中画面取得部７０４より通知されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）を選択する。また、テンプレート領域選択部１４０２は、選択したテンプレート領域の復号画像を、マッチング部７０６に通知する。これにより、マッチング部７０６では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部１４０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　また、テンプレート領域選択部１４０２は、所定の実行条件を満たす旨の判定結果が通知されると、復号中画面取得部７０４より通知されたテンプレート領域の復号画像（隣接するＣＵのブロックの復号画像の一部）を選択する。また、テンプレート領域選択部１４０２は、選択したテンプレート領域の復号画像を、マッチング部７０６に通知する。これにより、マッチング部７０６では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部１４０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　（４）実行条件情報
　続いて、復号対象のｓｕｂＣＵについてテンプレートマッチングが実行される際に、テンプレート領域判定部１４０１が判定するテンプレートマッチングの実行条件について説明する。図１５は、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの実行条件を示す図である。
　図１５に示すように、実行条件情報１５００は、情報の項目として、"実行条件の判定項目"、"判定項目の閾値"、"判定理由"を含む。
　"実行条件の判定項目"には、復号対象のｓｕｂＣＵについて、実行条件を満たすか否かを判定するための判定項目が格納される。
　"判定項目の閾値"には、"実行条件の判定項目"に格納された各判定項目について、実行条件を満たすと判定するための閾値が格納される。"判定理由"には、実行条件を満たすと判定する理由が格納される。
　図１５の例は、"実行条件の判定項目"として、"ｓｕｂＣＵのサイズ"が含まれ、復号対象のｓｕｂＣＵのサイズが所定の閾値以下（"８画素×８画素以下"）であった場合には、実行条件を満たすと判定することを示している。ｓｕｂＣＵのサイズが小さい場合、隣接するｓｕｂＣＵについて予測画像及び復号画像の生成が完了しないかぎり、次のｓｕｂＣＵの処理に進めないとすると、エンコーダの処理効率が低下するからである。
　そこで、第１の実施形態に係るエンコーダでは、所定のサイズ以下のｓｕｂＣＵが復号対象であった場合には、当該ｓｕｂＣＵが含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部をテンプレート領域として設定する。これにより、第１の実施形態に係るエンコーダでは、複数のｓｕｂＣＵについてテンプレートマッチングを並列に行う並列処理を実現することができる。
　また、図１５の例は、"実行条件の判定項目"として、"ピクチャタイプ"が含まれ、復号対象のｓｕｂＣＵのピクチャタイプが"非参照画面であること"に該当する場合に、実行条件を満たすと判定することを示している。ピクチャタイプが非参照画面であった場合には、テンプレートマッチングにおいて、他の復号中の画面によって参照される画面に該当しない。これは、復号対象のｓｕｂＣＵから離れた領域をテンプレート領域にすることで、符号化誤差が増加しても、その復号画面は参照されないため、符号化誤差自体は累積されない、ということを考慮したものである。
　そこで、第１の実施形態に係るエンコーダでは、非参照画面のｓｕｂＣＵが復号対象であった場合には、当該ｓｕｂＣＵが含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部をテンプレート領域として設定する。これにより、第１の実施形態に係るエンコーダでは、複数のｓｕｂＣＵについてテンプレートマッチングを並列に行う並列処理を実現することができる。
　このように、実行条件情報１５００に定義された実行条件を満たす場合に、並列処理を実行することで、画質に影響を与えることなく、処理効率を向上させることが可能となる。
　（５）インタ予測処理の流れ（ｓｕｂＣＵレベルの動き探索処理の流れ）
　続いて、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の流れについて説明する。なお、第１の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の全体の流れは、図８と同じであるため、ここでは説明を省略する。
　また、第１の実施形態に係るエンコーダのインタ予測モードの場合、図８の各工程のうち、図９において詳細を説明した、図８のステップＳ８０１（ＣＵレベルの動き探索処理）の流れも同じである。このため、ここでは説明を省略し、図８の各工程のうちステップＳ８０２（ｓｕｂＣＵレベルの動き探索処理）について説明する。
　図１６は、第１の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。図１０との相違点は、ステップＳ１６０１からステップＳ１６０３である。
　ステップＳ１６０１において、テンプレート領域判定部１４０１は、復号対象のｓｕｂＣＵが実行条件情報１５００に示す実行条件を満たすか否かを判定する。ステップＳ１６０１において、実行条件を満たすと判定した場合には（ステップＳ１６０１においてＹＥＳの場合には）、ステップＳ１６０２に進む。
　ステップＳ１６０２において、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部を、テンプレート領域として設定する。
　一方、ステップＳ１６０１において、実行条件を満たさないと判定した場合には（ステップＳ１６０１においてＮＯの場合には）、ステップＳ１６０３に進む。ステップＳ１６０３において、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域として設定する。
　（６）ｓｕｂＣＵごとの処理のタイミングチャート
　続いて、第１の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングについて説明する。図１７は、第１の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。
　このうち、図１７（ａ）は、復号対象の各ｓｕｂＣＵが含まれるＣＵのブロックの一例を示している。図１７（ａ）の例は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックが"ＣＵｎ"であり、当該ＣＵのブロックには、４つのｓｕｂＣＵ（"ｓｕｂ０"、"ｓｕｂ１"、"ｓｕｂ２"、"ｓｕｂ３"）の領域が含まれることを示している。また、図１７（ａ）の例は、"ＣＵｎ"に隣接する上側のＣＵのブロック及び左側のＣＵのブロックについては、いずれも、復号画像が生成されていることを示している。また、図１７（ａ）の例は、当該隣接するＣＵのブロックの復号画像の一部が、テンプレート領域１１０１～１１１２として設定されていることを示している。
　図１７（ｂ）は、"ＣＵｎ"に含まれる４つのｓｕｂＣＵについて、イントラ／インタ予測部４０９が処理を実行する際の処理タイミングを示した図である。図１１（ｂ）同様、図１７（ｂ）の例では、イントラ／インタ予測部４０９が実行する処理を、
・ＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ｓｕｂＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの予測画像の生成、
・ｓｕｂＣＵレベルの復号画像の取得、
に分けて示している。なお、図１１（ｂ）の例では、紙面の都合上、処理タイミング＝"Ｔｍ"～"Ｔｍ＋７"までを示している。また、ここでは、復号対象のｓｕｂＣＵが、実行条件情報１５００に定義された実行条件を満たしているものとして説明する。
　図１７（ｂ）に示すように、処理タイミング＝"Ｔｍ"において、"ＣＵｎ"について、ＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ＣＵレベルの基点となる１の動きベクトル候補が決定される。続いて、処理タイミング＝"Ｔｍ＋１"において、"ＣＵｎ"について、ＣＵレベルの動きベクトルが決定される。
　続いて、処理タイミング"Ｔｍ＋２"において、"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補の決定が並列に実行される。続いて、処理タイミング＝"Ｔｍ＋３"において、"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトルの決定が並列に実行される。
　なお、"ｓｕｂＣＵ０"についてのｓｕｂＣＵレベルの動きベクトルは、テンプレート領域１１０１、１１１１の復号画像を用いたテンプレートマッチングにより決定される。また、"ｓｕｂＣＵ１"についてのｓｕｂＣＵレベルの動きベクトルは、テンプレート領域１１０２、１１１１の復号画像を用いたテンプレートマッチングにより決定される。また、"ｓｕｂＣＵ２"についてのｓｕｂＣＵレベルの動きベクトルは、テンプレート領域１１０１、１１１２の復号画像を用いたテンプレートマッチングにより決定される。更に、"ｓｕｂＣＵ３"についてのｓｕｂＣＵレベルの動きベクトルは、テンプレート領域１１０２、１１１２の復号画像を用いたテンプレートマッチングにより決定される。
　"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"それぞれのｓｕｂＣＵレベルの動きベクトルが決定されると、"ＣＵｎ"の次のＣＵのブロックである、"ＣＵｎ＋１"についての処理に移行し、ＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定とが行われる。
　具体的には、まず、処理タイミング＝"Ｔｍ＋４"において、"ＣＵｎ＋１"について、ＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ＣＵレベルの基点となる１の動きベクトル候補が決定される。続いて、処理タイミング＝"Ｔｍ＋５"において、"ＣＵｎ＋１"について、ＣＵレベルの動きベクトルが決定される。
　また、処理タイミング＝"Ｔｍ＋４"では、並行して、"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"の予測画像が生成され、出力される。"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"それぞれについては、既にｓｕｂＣＵレベルの動きベクトルが決定されているため、予測画像の生成を並列に実行することができる。
　更に、予測画像が出力されることで、復号画像が生成され、処理タイミング＝"Ｔｍ＋５"において、"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"それぞれについて生成された復号画像が取得される。"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"それぞれについては、既に予測画像が出力されているため、復号画像の取得を並列に実行することができる。
　"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"それぞれの復号画像が取得されると、"ＣＵｎ"の次のＣＵのブロックである、"ＣＵｎ＋１"に含まれるｓｕｂＣＵについて、動きベクトルを決定することが可能となる。
　そこで、まず、処理タイミング＝"Ｔｍ＋６"において、"ＣＵｎ＋１"についてのＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。その後、処理タイミング＝"Ｔｍ＋７"において、"ｓｕｂＣＵ０"～"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトルの決定が並列に実行される。
　このように、第１の実施形態に係るエンコーダによれば、複数のｓｕｂＣＵについての並列処理が実行可能となるため、処理効率を向上させることができる。この結果、処理タイミング＝"Ｔｍ"～"Ｔｍ＋５"の間に、"ＣＵｎ"に含まれる４つのｓｕｂＣＵについて復号画像を生成することができる。
　（７）並列処理の具体例（その１）
　続いて、第１の実施形態に係るエンコーダのインタ予測モードにおいて、複数のｓｕｂＣＵについて実行される並列処理の具体例について説明する。図１８は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第１の図である。図１８の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された、８画素×８画素のＣＵのブロック１８００に含まれるｓｕｂＣＵについて実行される並列処理を示している（ｓｕｂＣＵのサイズが４画素×４画素であるため、並列処理が実行される）。
　図１８の例では、ＣＵのブロック１８００を４つのｓｕｂＣＵに分けている。また、図１８の例では、４つのｓｕｂＣＵそれぞれについて、ＣＵのブロック１８００の上側及び左側に隣接するＣＵのブロックの復号画像の一部を、テンプレート領域１８０１、１８０２、１８１１、１８１２として設定している。これにより、ＣＵのブロック１８００に含まれる４つのｓｕｂＣＵについて並列処理を実行することが可能となる。
　（８）並列処理の具体例（その２）
　図１９は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第２の図である。図１９の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された、６４画素×６４画素のＣＵのブロック１９００に含まれるｓｕｂＣＵについて実行される並列処理を示している（ピクチャタイプが非参照画像であることで並列処理が実行されるものとする）。
　図１９の例では、ＣＵのブロック１９００を１６個のｓｕｂＣＵに分けている。また、図１９の例では、１６個のｓｕｂＣＵそれぞれについて、ＣＵのブロック１９００の上側及び左側に隣接するＣＵのブロックの復号画像の一部を、テンプレート領域１９０１～１９０４、１９１１～１９１４として設定している。これにより、ＣＵのブロック１９００に含まれる１６個のｓｕｂＣＵについて並列処理を実行することが可能となる。
　（９）並列処理の具体例（その３）
　図２０は、第１の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第３の図である。図２０の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された、８画素×４画素のＣＵのブロック２００１～２００４を処理する場合を示している。
　図２０の例では、ＣＵのブロック２００１～２００４それぞれを、２つのｓｕｂＣＵに分けている。このため、ｓｕｂＣＵのサイズが４画素×４画素となり、２つのｓｕｂＣＵについて並列処理が実行される。
　符号２０１０は、ＣＵのブロック２００１～２００４に含まれる各ｓｕｂＣＵについて、テンプレート領域を設定していく様子を時系列で示したものであり、下から上に向かって時間軸が進むことを示している。
　符号２０１０に示すように、ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵそれぞれについて、ＣＵのブロック２００１の上側及び左側に隣接するＣＵの復号画像の一部が、テンプレート領域２０１１、２０１２、２０２１として設定される。これにより、ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵについて並列処理を実行することが可能となる。
　ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００２の処理に移行する。具体的には、ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵについて、ＣＵのブロック２００２の上側及び左側に隣接するＣＵのブロック（ＣＵのブロック２００１）の復号画像の一部が、テンプレート領域２０１３、２０１４、２０２２として設定される。これにより、ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵについて並列処理を実行することが可能となる。
　ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００３の処理に移行する。具体的には、ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵについて、ＣＵのブロック２００３の上側及び左側に隣接するＣＵのブロック（ＣＵのブロック２００２）の復号画像の一部が、テンプレート領域２０１５、２０１６、２０２３として設定される。これにより、ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵについて並列処理を実行することが可能となる。
　ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００４の処理に移行する。具体的には、ＣＵのブロック２００４に含まれる２つのｓｕｂＣＵについて、ＣＵのブロック２００４の上側及び左側に隣接するＣＵのブロック（ＣＵのブロック２００３）の復号画像の一部が、テンプレート領域２０１７、２０１８、２０２４として設定される。これにより、ＣＵのブロック２００４に含まれる２つのｓｕｂＣＵについて並列処理を実行することが可能となる。
　＜５．デコーダの機能構成＞
　次に、復号プログラムを実行することで実現される、デコーダ１２０の機能構成について説明する。図２１は、デコーダの機能構成の一例を示す図である。図２１に示すように、デコーダ１２０は、エントロピ復号部２１０１、逆量子化部２１０２、逆直交変換部２１０３、ループフィルタ部２１０４、復号画像記憶部２１０５、イントラ／インタ予測部２１０６を有する。
　エントロピ復号部２１０１は、受信したデータストリームを復号し、量子化信号を出力する。また、エントロピ復号部２１０１は、データストリームより付帯情報を抽出し、イントラ／インタ予測部２１０６に通知する。
　逆量子化部２１０２は、量子化信号を逆量子化し、逆直交変換部２１０３に出力する。逆直交変換部２１０３は、逆量子化された量子化信号に対して逆直交変換処理を実行することで、予測残差信号を得る。
　逆直交変換部２１０３により得られた予測残差信号には、例えば、イントラ／インタ予測部２１０６が各ＣＵのブロックについて生成した予測画像が加算される。これにより、各ＣＵのブロックの復号画像が生成され、ループフィルタ部２１０４に入力される。
　ループフィルタ部２１０４は、入力された復号画像の符号化ノイズを低減するフィルタ処理を行う。
　また、ループフィルタ部２１０４は、フィルタ処理した復号画像を復号結果として出力するとともに、復号画像記憶部２１０５に記憶する。
　イントラ／インタ予測部２１０６は、復号中の画面内の復号画像を用いて予測画像を生成するイントラ予測（画面内予測）を行う。また、イントラ／インタ予測部２１０６は、参照画面内の復号画像を用いて画面間で動き補償を行い、予測画像を生成する動き補償インタ予測（画面間予測）を行う。
　更に、イントラ／インタ予測部２１０６は、イントラ予測により生成された予測画像または動き補償インタ予測により生成された予測画像のいずれか一方を出力する。出力された予測画像は、逆直交変換部２１０３により得られた予測残差信号に加算されることで復号画像が生成され、ループフィルタ部２１０４に入力される。
　＜６．デコーダのイントラ／インタ予測部の詳細＞
　続いて、デコーダのイントラ／インタ予測部２１０６における、テンプレートマッチングによるインタ予測処理の詳細について説明する。なお、デコーダの場合も、以下では、まず、対比として次世代コーデックにおいて検討中のインタ予測モードにおける、テンプレートマッチングによるインタ予測処理について説明する（以下、＜６．１＞参照）。続いて、第１の実施形態に係るデコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理について説明する（以下、＜６．２＞参照）。
　　＜６．１　次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するためのイントラ／インタ予測部の機能構成（デコーダ）＞
　図２２は、次世代コーデックにおいて検討中のインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成（デコーダ）の一例を示す図である。
　図２２に示すように、次世代コーデックのデコーダにおいて検討中のインタ予測モードの場合、イントラ／インタ予測部２１０６は、テンプレート領域設定部２２０１、復号中画面取得部２２０２、参照画面取得部２２０３を有する。また、イントラ／インタ予測部２１０６は、マッチング部２２０４、動きベクトル算出部２２０５、予測画像生成部２２０７、動きベクトル格納部２２０８、テンプレート探索点設定部２２０９を有する。
　テンプレート領域設定部２２０１は第１の設定手段の一例である。テンプレート領域設定部２２０１は、ＣＵレベルの動き探索にあっては、復号中画面取得部２２０２が取得した復号中の画面において、復号対象のＣＵのブロックに対して、ＣＵレベルのテンプレート領域を設定する。また、テンプレート領域設定部２２０１は、ｓｕｂＣＵレベルの動き探索にあっては、復号中画面取得部２２０２が取得した復号中の画面において、復号対象のｓｕｂＣＵに対して、ｓｕｂＣＵレベルのテンプレート領域を設定する。
　更に、テンプレート領域設定部２２０１は、ＣＵレベルの動き探索にあっては、参照画面取得部２２０３が取得した参照画面内において、復号対象のＣＵのブロックについて設定されたＣＵレベルのテンプレート領域に相当するテンプレート領域を設定する。また、テンプレート領域設定部２２０１は、ｓｕｂＣＵレベルの動き探索にあっては、参照画面取得部２２０３が取得した参照画面内において、復号対象のｓｕｂＣＵについて設定されたｓｕｂＣＵレベルのテンプレート領域に相当するテンプレート領域を設定する。
　復号中画面取得部２２０２は取得手段の一例である。復号中画面取得部２２０２は、復号画像記憶部２１０５より、復号中の画面を読み出す。また、復号中画面取得部２２０２は、ＣＵレベルの動き探索にあっては、復号対象のＣＵのブロックについて、テンプレート領域設定部２２０１により設定されたＣＵレベルのテンプレート領域の復号画像を、マッチング部２２０４に通知する。
　更に、復号中画面取得部２２０２は、ｓｕｂＣＵレベルの動き探索にあっては、復号対象のｓｕｂＣＵについて、テンプレート領域設定部２２０１により設定されたｓｕｂＣＵレベルのテンプレート領域の復号画像を、マッチング部２２０４に通知する。
　参照画面取得部２２０３は第２の設定手段の一例である。参照画面取得部２２０３は、復号画像記憶部２１０５に記憶された復号画面のうち、所定の復号画面（時間的に異なる復号画面）を参照画面として読み出す。
　また、参照画面取得部２２０３は、読み出した参照画面内において、テンプレート探索点設定部２２０９により設定されたＣＵレベルのテンプレート領域の参照画像を抽出する。
　なお、テンプレート探索点設定部２２０９では、テンプレート領域設定部２２０１により設定された参照画面内のＣＵレベルのテンプレート領域に対して、ＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。そして、参照画面取得部２２０３は、複数の動きベクトル候補に応じた位置に設定されたＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部２２０４に通知する。
　また、テンプレート探索点設定部２２０９では、ＣＵレベルの１の動きベクトル候補に対して、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。ＣＵレベルのテンプレート探索点用動きベクトルとは、ＣＵレベルの基点となる１の動きベクトル候補の周辺位置の動きベクトルである。そして、参照画面取得部２２０３は、テンプレート探索点用動きベクトルに応じた位置に設定されたＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部２２０４に通知する。
　また、参照画面取得部２２０３は、テンプレート探索点設定部２２０９により設定されたＣＵレベルの１のテンプレート探索点用動きベクトル（決定されたＣＵレベルの１の動きベクトル）に応じた位置のＣＵのブロックを、参照画面内において特定する。
　また、参照画面取得部２２０３は、特定した参照画面内のＣＵのブロックから、テンプレート探索点設定部２２０９により設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出する。
　なお、テンプレート探索点設定部２２０９は、特定した参照画面内のＣＵのブロックにおいて、テンプレート領域設定部２２０１により設定されたｓｕｂＣＵレベルのテンプレート領域に対して、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。そして、参照画面取得部２２０３は、複数の動きベクトル候補に応じた位置に設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部２２０４に通知する。
　また、テンプレート探索点設定部２２０９では、ｓｕｂＣＵレベルの１の動きベクトル候補に対して、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれにテンプレート領域を設定する。ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルとは、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補の周辺位置の複数の動きベクトルである。そして、参照画面取得部２２０３は、テンプレート探索点用動きベクトルに応じた位置に設定されたｓｕｂＣＵレベルのテンプレート領域の参照画像を抽出して、マッチング部２２０４に通知する。
　マッチング部２２０４は算出手段の一例である。マッチング部２２０４は、ＣＵレベルの動き探索にあっては、復号中画面取得部２２０２より通知された、ＣＵレベルのテンプレート領域の復号画像と、参照画面取得部２２０３より通知された、ＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。
　なお、参照画面取得部２２０３より通知されるＣＵレベルのテンプレート領域の参照画像には、ＣＵレベルの複数の動きベクトル候補に基づいて抽出された参照画像と、ＣＵレベルのテンプレート探索点用動きベクトルに基づいて抽出された参照画像とが含まれる。マッチング部２２０４では、算出したそれぞれのマッチング度を動きベクトル算出部２２０５に通知する。
　また、マッチング部２２０４は、ｓｕｂＣＵレベルの動き探索にあっては、ｓｕｂＣＵレベルのテンプレート領域の復号画像と、ｓｕｂＣＵレベルのテンプレート領域の参照画像とのマッチング度を算出する。
　なお、ｓｕｂＣＵレベルのテンプレート領域の復号画像は、復号中画面取得部２２０２より通知される。また、ｓｕｂＣＵレベルのテンプレート領域の参照画像は、参照画面取得部２２０３より通知される。参照画面取得部２２０３より通知されるｓｕｂＣＵレベルのテンプレート領域の参照画像には、ｓｕｂＣＵレベルの複数の動きベクトル候補に基づいて抽出された参照画像と、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに基づいて抽出された参照画像とが含まれる。マッチング部２２０４では、算出したそれぞれのマッチング度を動きベクトル算出部２２０５に通知する。
　動きベクトル算出部２２０５は決定手段の一例である。動きベクトル算出部２２０５は、マッチング部２２０４より通知されたマッチング度のうち、ＣＵレベルの複数の動きベクトル候補に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度の中から、最大のマッチング度を特定する。
　また、動きベクトル算出部２２０５は、特定した最大のマッチング度に対応する、ＣＵレベルの動きベクトル候補を、ＣＵレベルの基点となる１の動きベクトル候補として、動きベクトル格納部２２０８に格納する。
　また、動きベクトル算出部２２０５は、ＣＵレベルの基点となる１の動きベクトル候補を動きベクトル格納部２２０８に格納したことに応じて、マッチング部２２０４より通知されたＣＵレベルのマッチング度を取得する。このとき動きベクトル算出部２２０５が取得するマッチング度は、ＣＵレベルのテンプレート探索点用動きベクトル（ＣＵレベルの基点となる１の動きベクトル候補の周辺の複数の動きベクトル）に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度である。
　更に、動きベクトル算出部２２０５は、取得したマッチング度に基づいて、ＣＵレベルのテンプレートマッチングにおける動きベクトルを決定し、決定したＣＵレベルの動きベクトルを動きベクトル格納部２２０８に格納する。
　また、動きベクトル算出部２２０５は、決定したＣＵレベルの動きベクトルを動きベクトル格納部２２０８に格納したことに応じて、マッチング部２２０４より通知されたｓｕｂＣＵレベルのマッチング度を取得する。また、動きベクトル算出部２２０５は、取得したマッチング度のうち、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度の中から、最大のマッチング度を特定する。
　また、動きベクトル算出部２２０５は、特定した最大のマッチング度に対応する、ｓｕｂＣＵレベルの１の動きベクトル候補を、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補として、動きベクトル格納部２２０８に格納する。
　また、動きベクトル算出部２２０５は、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補を動きベクトル格納部２２０８に格納したことに応じて、マッチング部２２０４より通知されたｓｕｂＣＵレベルのマッチング度を取得する。このとき動きベクトル算出部２２０５が取得するマッチング度は、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトル（ｓｕｂＣＵレベルの基点となる１の動きベクトル候補の周辺の複数の動きベクトル）に応じた位置に設定されたテンプレート領域の参照画像とのマッチング度である。更に、動きベクトル算出部２２０５は、取得したマッチング度に基づいて、ｓｕｂＣＵレベルのテンプレートマッチングにおける動きベクトルを決定し、予測画像生成部２２０７に通知する。
　予測画像生成部２２０７は生成手段の一例である。予測画像生成部２２０７は、参照画面取得部２２０３より通知された参照画面内において、動きベクトル算出部２２０５より順次通知された、決定されたｓｕｂＣＵレベルの動きベクトルに対応する参照画像を特定する。更に、予測画像生成部２２０７は、特定した各参照画像を用いてｓｕｂＣＵの予測画像を生成し、出力する。
　動きベクトル格納部２２０８は、ＣＵレベルの基点となる１の動きベクトル候補を格納する。また、動きベクトル格納部２２０８は、決定したＣＵレベルの動きベクトルを格納する。また、動きベクトル格納部２２０８は、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補を格納する。
　テンプレート探索点設定部２２０９は、テンプレート領域設定部２２０１により設定された参照画面内のＣＵレベルのテンプレート領域に対して、ＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部２２０９は、動きベクトル格納部２２０８に格納された、ＣＵレベルの基点となる１の動きベクトル候補に基づいて、ＣＵレベルのテンプレート探索点用動きベクトルを決定する。また、テンプレート探索点設定部２２０９は、参照画面内において、ＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部２２０９は、特定された参照画面内のＣＵのブロックにおいて、テンプレート領域設定部２２０１により設定されたｓｕｂＣＵレベルのテンプレート領域に対して、ｓｕｂＣＵレベルの複数の動きベクトル候補に応じた位置それぞれに、テンプレート領域を設定する。
　また、テンプレート探索点設定部２２０９は、動きベクトル格納部２２０８に格納された、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補に基づいて、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルを決定する。また、テンプレート探索点設定部２２０９は、参照画面内において、ｓｕｂＣＵレベルのテンプレート探索点用動きベクトルに応じた位置それぞれに、テンプレート領域を設定する。
　　＜６．２　第１の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するためのイントラ／インタ予測部の機能構成＞
　続いて、第１の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成について説明する。図２３は、第１の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。
　図２２との相違点は、図２３の場合、テンプレート領域判定部２３０１、テンプレート領域選択部２３０２を有する点である。以下、図２２との相違点を中心に説明する。
　テンプレート領域判定部２３０１は、復号対象のｓｕｂＣＵが所定の実行条件を満たすか否かを判定する。また、テンプレート領域判定部２３０１は、所定の実行条件を満たすか否かの判定結果を、テンプレート領域設定部２２０１に通知する。
　なお、テンプレート領域設定部２２０１では、テンプレート領域判定部２３０１より、所定の実行条件を満たさない旨の判定結果が通知された場合、復号中画面取得部２２０２に対して、図５を用いて説明したテンプレート領域を設定する。具体的には、復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵの復号画像の一部と、左側のｓｕｂＣＵの復号画像の一部を、テンプレート領域として設定する。この場合、復号中画面取得部２２０２は、復号中の画面に含まれる復号画像のうち、テンプレート領域設定部２２０１により設定されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）をテンプレート領域選択部２３０２に通知する。
　一方、テンプレート領域判定部２３０１より、所定の実行条件を満たす旨の判定結果が通知された場合には、テンプレート領域設定部２２０１は、復号中画面取得部２２０２に対して、図１２を用いて説明したテンプレート領域を設定する。
　具体的には、テンプレート領域設定部２２０１は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックを特定し、特定したＣＵのブロックの上側及び左側に隣接するＣＵのブロックの復号画像の一部を、テンプレート領域として設定する。この場合、復号中画面取得部２２０２は、復号中の画面に含まれる復号画像のうち、テンプレート領域設定部２２０１により設定されたテンプレート領域の復号画像（隣接するＣＵのブロックの復号画像の一部）をテンプレート領域選択部２３０２に通知する。
　テンプレート領域選択部２３０２は、所定の実行条件を満たさない旨の判定結果が通知されると、復号中画面取得部２２０２より通知されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）を選択する。また、テンプレート領域選択部２３０２は、選択したテンプレート領域の復号画像を、マッチング部２２０４に通知する。これにより、マッチング部２２０４では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部２３０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　また、テンプレート領域選択部２３０２は、所定の実行条件を満たす旨の判定結果が通知されると、復号中画面取得部２２０２より通知されたテンプレート領域の復号画像（隣接するＣＵのブロックの復号画像の一部）を選択する。また、テンプレート領域選択部２３０２は、選択したテンプレート領域の復号画像を、マッチング部２２０４に通知する。これにより、マッチング部２２０４では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部２３０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　＜７．まとめ＞
　以上の説明から明らかなように、第１の実施形態に係るエンコーダのイントラ／インタ予測部では、インタ予測モードにおいてテンプレートマッチングによるインタ予測処理を実行する際、
・復号単位（ＣＵ）のブロックを複数の矩形領域（ｓｕｂＣＵ）に分ける。
・復号対象の矩形領域が所定の実行条件を満たすか否かを判定し、所定の実行条件を満たすと判定した場合には、当該矩形領域が含まれる復号単位のブロックに隣接するブロックの復号画像の一部を、テンプレート領域として設定する。
・設定したテンプレート領域を用いて、復号単位のブロックに含まれる全ての矩形領域について、並列処理によりテンプレートマッチングを行い、各矩形領域の予測画像を出力する。
　これにより、第１の実施形態に係るエンコーダによれば、テンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
　また、第１の実施形態に係るデコーダのイントラ／インタ予測部では、インタ予測モードにおいてテンプレートマッチングによるインタ予測処理を実行する際、
・復号単位（ＣＵ）のブロックを複数の矩形領域（ｓｕｂＣＵ）に分ける。
・復号対象の矩形領域が所定の実行条件を満たすか否かを判定し、所定の実行条件を満たすと判定した場合には、当該矩形領域が含まれる復号単位のブロックに隣接するブロックの復号画像の一部を、テンプレート領域として設定する。
・設定したテンプレート領域を用いて、復号単位のブロックに含まれる全ての矩形領域について、並列処理によりテンプレートマッチングを行い、各矩形領域の予測画像を出力する。
　これにより、第１の実施形態に係るデコーダによれば、テンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
　［第２の実施形態］
　上記第１の実施形態では、復号対象のｓｕｂＣＵが含まれる復号単位のブロックに隣接するブロックの復号画像の一部を、テンプレート領域として設定することで、処理効率の向上を実現した。これに対して、第２の実施形態では、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域として設定することで、処理効率の向上を実現する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜１．第２の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理＞
　（１）復号対象の矩形領域（ｓｕｂＣＵ）及びテンプレート領域の説明
　はじめに、第２の実施形態に係るエンコーダのインタ予測モードにおいて、テンプレートマッチングによるインタ予測処理を実行する場合の、復号対象の矩形領域及びテンプレート領域について説明する。図２４は、第２の実施形態に係るエンコーダのインタ予測モードにおける、復号対象の矩形領域及びテンプレート領域を説明するための図である。
　図１２を用いて説明したとおり、第２の実施形態に係るエンコーダにおいても、入力画面（入力フレーム）５００のうち、１２８画素×１２８画素のＣＴＵ５１０が、ＣＵのブロックに分割される。また、当該ＣＵのブロックについて、インタ予測処理が行われる（図２４参照）。
　ＣＵのブロック５２０は、６４画素×６４画素に分割された正方形のブロックを拡大して示したものである。図１２を用いて説明したとおり、次世代コーデックにおいては、インタ予測モードにおいて、ｓｕｂＣＵ５３０、５４０、５５０等の矩形領域が生成され、ｓｕｂＣＵを復号対象として、ｓｕｂＣＵごとに、予測画像及び復号画像が生成される。
　第１の実施形態と同様に、第２の実施形態に係るエンコーダも、複数のｓｕｂＣＵの予測画像及び復号画像の生成を、並列して行う。このために、第２の実施形態に係るエンコーダでは、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域として設定する。
　図２４に示すように、例えば、復号対象のｓｕｂＣＵがｓｕｂＣＵ５３０であった場合、テンプレートマッチングは、
・復号対象のｓｕｂＣＵ５３０に隣接する上側のｓｕｂＣＵ５４０の予測画像の一部、
・復号対象のｓｕｂＣＵ５３０に隣接する左側のｓｕｂＣＵ５５０の予測画像の一部、
を、テンプレート領域として用いて行う。具体的には、テンプレート領域２４０１、２４０２の予測画像を用いて、復号対象のｓｕｂＣＵ５３０について、テンプレートマッチングを行う。
　このように、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部をテンプレート領域として設定することで、復号対象のｓｕｂＣＵのテンプレートマッチングを、隣接するｓｕｂＣＵの処理と並列して実行することが可能となる。
　（２）イントラ／インタ予測部の機能構成（エンコーダ）
　続いて、第２の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成について説明する。図２５は、第２の実施形態に係るエンコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。
　図１４との相違点は、図２５の場合、予測画像取得部２５０１を有する点である。以下、図１４との相違点を中心に説明する。
　予測画像取得部２５０１は、予測画像生成部７０８により生成された、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像を取得する。具体的には、予測画像取得部２５０１は、テンプレート領域設定部７０３より設定されたテンプレート領域（復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの位置に設定されたテンプレート領域）の予測画像を取得する。また、予測画像取得部２５０１は、取得したテンプレート領域の予測画像を、テンプレート領域選択部１４０２に通知する。
　なお、テンプレート領域設定部７０３は、テンプレート領域判定部１４０１から、所定の実行条件を満たす旨の判定結果が通知された場合には、予測画像取得部２５０１に対して、図２４を用いて説明したテンプレート領域を設定する。
　具体的には、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの予測画像の一部と、左側に隣接するｓｕｂＣＵの予測画像の一部とを、テンプレート領域として設定する。この場合、予測画像取得部２５０１は、予測画像生成部７０８により生成された予測画像のうち、テンプレート領域設定部７０３により設定されたテンプレート領域の予測画像（隣接するｓｕｂＣＵの予測画像の一部）をテンプレート領域選択部１４０２に通知する。
　テンプレート領域選択部１４０２は、所定の実行条件を満たさない旨の判定結果が通知されると、復号中画面取得部７０４より通知されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）を選択する。また、テンプレート領域選択部１４０２は、選択したテンプレート領域の復号画像を、マッチング部７０６に通知する。これにより、マッチング部７０６では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部１４０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　また、テンプレート領域選択部１４０２は、所定の実行条件を満たす旨の判定結果が通知されると、予測画像取得部１４０３より通知されたテンプレート領域の予測画像（隣接するｓｕｂＣＵの予測画像の一部）を選択する。また、テンプレート領域選択部１４０２は、選択したテンプレート領域の予測画像を、マッチング部７０６に通知する。これにより、マッチング部７０６では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部１４０１より通知された判定結果に応じたテンプレート領域の予測画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　（３）実行条件情報
　続いて、復号対象のｓｕｂＣＵについてテンプレートマッチングが実行される際に、テンプレート領域判定部１４０１が判定するテンプレートマッチングの実行条件について説明する。図２６は、第２の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングの実行条件を示す図である。
　図２６に示すように、実行条件情報２６００は、情報の項目として、"実行条件の判定項目"、"判定項目の閾値"、"判定理由"を含む。
　"実行条件の判定項目"には、復号対象のｓｕｂＣＵについて、実行条件を満たすか否かを判定するための判定項目が格納される。
　"判定項目の閾値"には、"実行条件の判定項目"に格納された各判定項目について、実行条件を満たすと判定するための閾値が格納される。"判定理由"には、実行条件を満たすと判定する理由が格納される。
　図２６の例は、"実行条件の判定項目"として、"ｓｕｂＣＵのサイズ"、"ピクチャタイプ"が格納されている。なお、"ｓｕｂＣＵのサイズ"、"ピクチャタイプ"については、上記第１の実施形態において、図１５を用いて説明済みであるため、ここでは説明を省略する。
　また、図２６の例は、"実行条件の判定項目"として、"ＣＵの量子化パラメータ"が含まれることを示している。当該判定項目は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックの量子化パラメータが、所定の閾値以下（３０以下）であった場合、実行条件を満たすと判定される。ＣＵのブロックの量子化パラメータが"３０以下"の場合、復号画像と予測画像との差分が少ないため、予測画像を用いてテンプレート領域を設定することによる影響が抑えられるからである。
　そこで、第２の実施形態に係るエンコーダでは、復号対象のｓｕｂＣＵが含まれるＣＵのブロックの量子化パラメータが、"３０以下"であった場合、当該ｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部をテンプレート領域として設定する。これにより、第２の実施形態に係るエンコーダでは、複数のｓｕｂＣＵのテンプレートマッチングを並列に実行する並列処理を実現することができる。
　また、図２６の例は、"実行条件の判定項目"として、"ＣＵレベルの動きベクトル"が含まれることを示している。当該判定項目は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックについてのＣＵレベルの動きベクトルの絶対値が所定の画素数以下（"１画素以下"）であった場合、実行条件を満たすと判定される。ＣＵレベルの動きベクトルの絶対値が１画素以下とは、当該ＣＵのブロックが静止領域のブロックであることを示しており、この場合、予測画像がそのまま復号画像となることが多いからである。
　そこで、第２の実施形態に係るエンコーダでは、復号対象のｓｕｂＣＵが含まれるＣＵのブロックについてのＣＵレベルの動きベクトルが、"１画素以下"であった場合、当該ｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部をテンプレート領域として設定する。これにより、第２の実施形態に係るエンコーダでは、複数のｓｕｂＣＵのテンプレートマッチングを並列に実行する並列処理を実現することができる。
　（４）インタ予測処理の流れ（ｓｕｂＣＵレベル動き探索処理の流れ）
　続いて、第２の実施形態に係るエンコーダのインタ予測モードにおける、テンプレートマッチングによるインタ予測処理の流れについて説明する。なお、第２の実施形態に係るエンコーダのインタ予測モードの場合も、第１の実施形態と同様、テンプレートマッチングによるインタ予測処理の全体の流れは、図８と同じであるため、ここでは説明を省略する。
　また、第２の実施形態に係るエンコーダのインタ予測モードの場合、図８の各工程のうち、図９において詳細を説明した、図８のステップＳ８０１（ＣＵレベルの動き探索処理）の流れも同じである。このため、ここでは説明を省略し、図８の各工程のうちステップＳ８０２（ｓｕｂＣＵレベルの動き探索処理）について説明する。
　図２７は、第２の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。図１０との相違点は、ステップＳ２７０１からステップＳ２７０２である。
　ステップＳ２７０１において、テンプレート領域判定部１４０１は、復号対象のｓｕｂＣＵが実行条件情報２６００に示す実行条件を満たすか否かを判定する。ステップＳ２７０１において、実行条件を満たすと判定した場合には（ステップＳ２７０１においてＹＥＳの場合には）、ステップＳ２７０２に進む。
　ステップＳ２７０２において、予測画像取得部２５０１は、予測画像生成部７０８より、復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵ及び左側のｓｕｂＣＵの予測画像を取得する。なお、復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵまたは左側のｓｕｂＣＵについて、既に復号画像が生成されている場合には、復号中画面取得部７０４が復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵまたは左側のｓｕｂＣＵの復号画像を取得してもよい。また、テンプレート領域選択部１４０２は、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像または復号画像の一部を、テンプレート領域の画像として選択する。
　（５）ｓｕｂＣＵごとの処理のタイミングチャート
　続いて、第２の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容と処理タイミングとについて説明する。図２８は、第２の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵごとの処理内容及び処理タイミングを示す図である。
　このうち、図２８（ａ）は、復号対象の各ｓｕｂＣＵが含まれるＣＵのブロックの一例を示している。図２８（ａ）の例は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックが、"ＣＵｎ"であり、当該ＣＵのブロックには、４つのｓｕｂＣＵ（"ｓｕｂ０"、"ｓｕｂ１"、"ｓｕｂ２"、"ｓｕｂ３"）の領域が含まれることを示している。また、図２８（ａ）の例は、"ＣＵｎ"に隣接する上側のＣＵのブロック及び左側のＣＵのブロックについては、いずれも、復号画像が生成されていることを示している。また、図２８（ａ）の例は、当該隣接するＣＵのブロックの復号画像の一部が、テンプレート領域１１０１～１１１２として設定されていることを示している。
　図２８（ｂ）は、"ＣＵｎ"に含まれる４つのｓｕｂＣＵについて、イントラ／インタ予測部４０９が処理を実行する際の処理タイミングを示した図である。図１１（ｂ）同様、図２８（ｂ）の例では、イントラ／インタ予測部４０９が実行する処理を、
・ＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの動きベクトル候補の設定と基点となる１の動きベクトル候補の決定、
・ｓｕｂＣＵレベルの動きベクトルの決定、
・ｓｕｂＣＵレベルの予測画像の生成、
・ｓｕｂＣＵレベルの復号画像の取得、
に分けて示している。なお、図２８（ｂ）の例では、紙面の都合上、処理タイミング＝"Ｔｍ"～"Ｔｍ＋７"までを示している。また、ここでは、復号対象のｓｕｂＣＵが実行条件情報２６００に定義された実行条件を満たしているものとして説明する。
　図２８（ｂ）に示すように、処理タイミング＝"Ｔｍ"において、"ＣＵｎ"について、ＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ＣＵレベルの基点となる１の動きベクトル候補が決定される。続いて、処理タイミング＝"Ｔｍ＋１"において、"ＣＵｎ"について、ＣＵレベルの動きベクトルが決定される。
　続いて、処理タイミング"Ｔｍ＋２"において、"ｓｕｂＣＵ０"について、ｓｕｂＣＵレベルの動きベクトル候補が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。
　続いて、処理タイミング"Ｔｍ＋３"において、"ｓｕｂＣＵ０"について、ｓｕｂＣＵレベルの動きベクトルが決定される。なお、"ｓｕｂＣＵ０"の動きベクトルの決定に際しては、テンプレート領域１１０１、１１１１の復号画像が用いられる。ここで、"ｓｕｂＣＵ０"について、ｓｕｂＣＵレベルの動きベクトルが決定されると、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域を設定することが可能となる。
　そこで、処理タイミング＝"Ｔｍ＋４"において、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。また、処理タイミング＝"Ｔｍ＋４"では、並行して、"ｓｕｂＣＵ０"について予測画像が生成され、出力される。
　ここで、"ｓｕｂＣＵ０"について、予測画像が生成されると、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、ｓｕｂＣＵレベルの動きベクトルを決定することが可能となる。
　そこで、処理タイミング＝"Ｔｍ＋５"において、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、ｓｕｂＣＵレベルの動きベクトルが決定される。なお、"ｓｕｂＣＵ１"の動きベクトルの決定に際しては、テンプレート領域１１０２の復号画像とテンプレート領域２８０１の予測画像とが用いられる。また、"ｓｕｂＣＵ２"の動きベクトルの決定に際しては、テンプレート領域２８０２の予測画像と、テンプレート領域１１１２の復号画像とが用いられる。
　また、予測画像が出力されたことで復号画像が生成されているため、処理タイミング＝"Ｔｍ＋５"では、並行して、"ｓｕｂＣＵ０"について生成された復号画像が取得される。
　なお、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、ｓｕｂＣＵレベルの動きベクトルが決定されると、"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域を設定することが可能となる。
　そこで、処理タイミング＝"Ｔｍ＋６"において、"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトル候補に応じた位置それぞれにテンプレート領域が設定され、ｓｕｂＣＵレベルの基点となる１の動きベクトル候補が決定される。また、処理タイミング＝"Ｔｍ＋６"では、並行して、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について予測画像が生成され、出力される。
　ここで、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について、予測画像が生成されると、"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトルを決定することが可能となる。
　そこで、処理タイミング＝"Ｔｍ＋７"において、"ｓｕｂＣＵ３"について、ｓｕｂＣＵレベルの動きベクトルが決定される。"ｓｕｂＣＵ３"の動きベクトルの決定に際しては、テンプレート領域２８０３の予測画像と、テンプレート領域２８０４の予測画像とが用いられる。
　また、予測画像が出力されたことで復号画像が生成されるため、処理タイミング＝"Ｔｍ＋７"では、並行して、"ｓｕｂＣＵ１"及び"ｓｕｂＣＵ２"について生成された復号画像が取得される。
　このように、第２の実施形態に係るエンコーダによれば、複数のｓｕｂＣＵについて並列処理が実行可能となり、処理効率を向上させることができる。この結果、処理タイミング＝"Ｔｍ"～"Ｔｍ＋９"の間に、"ＣＵｎ"に含まれる４つのｓｕｂＣＵについて復号画像を生成することができる。
　（６）並列処理の具体例（その１）
　続いて、第２の実施形態に係るエンコーダのインタ予測モードにおいて、複数のｓｕｂＣＵについて実行される並列処理の具体例について説明する。図２９は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第１の図である。図２９の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された、８画素×８画素のＣＵのブロック１８００に含まれるｓｕｂＣＵについて実行される並列処理を示している（ｓｕｂＣＵのサイズが４画素×４画素であるため、並列処理が実行される）。
　図２９の例では、ＣＵのブロック１８００を４つのｓｕｂＣＵに分けている。また、図２９の例では、４つのｓｕｂＣＵ２９０１～２９０４それぞれについて、下記のようにテンプレート領域を設定する。
・ｓｕｂＣＵ２９０１：ｓｕｂＣＵ２９０１に隣接する上側のｓｕｂＣＵの復号画像の一部と、ｓｕｂＣＵ２９０１に隣接する左側のｓｕｂＣＵの復号画像の一部とを、テンプレート領域１８０１、１８１１として設定する。
・ｓｕｂＣＵ２９０２：ｓｕｂＣＵ２９０２に隣接する上側のｓｕｂＣＵの復号画像の一部と、ｓｕｂＣＵ２９０２に隣接する左側のｓｕｂＣＵ２９０１の予測画像の一部とをテンプレート領域１８０２、２９１１として設定する。
・ｓｕｂＣＵ２９０３：ｓｕｂＣＵ２９０３に隣接する上側のｓｕｂＣＵ２９０１の予測画像の一部と、ｓｕｂＣＵ２９０３に隣接する左側のｓｕｂＣＵの復号画像の一部とを、テンプレート領域２９１２、１８１２として設定する。
・ｓｕｂＣＵ２９０４：ｓｕｂＣＵ２９０４に隣接する上側のｓｕｂＣＵ２９０２の予測画像の一部と、ｓｕｂＣＵ２９０４に隣接する左側のｓｕｂＣＵ２９０３の予測画像の一部とを、テンプレート領域２９１３、２９１４として設定する。
　これにより、ＣＵのブロック１８００に含まれる４つのｓｕｂＣＵ２９０１～２９０４のうち、例えば、ｓｕｂＣＵ２９０２及びｓｕｂＣＵ２９０３のテンプレートマッチングを、ｓｕｂＣＵ２９０１の処理と並列して実行することが可能となる。
　（７）並列処理の具体例（その２）
　図３０は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第２の図である。図３０の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された、６４画素×６４画素のＣＵのブロック１９００に含まれるｓｕｂＣＵについて実行される並列処理を示している（例えば、ＣＵのブロック１９００の量子化パラメータが３０以下であることで、並列処理が実行されるものとする）。
　図３０の例では、ＣＵのブロック１９００を１６個のｓｕｂＣＵに分けている。また、図３０の例では、１６個のｓｕｂＣＵそれぞれについて、ｓｕｂＣＵに隣接する上側のｓｕｂＣＵの復号画像または予測画像の一部、左側のｓｕｂＣＵの復号画像または予測画像の一部をそれぞれテンプレート領域として設定する。
　例えば、ｓｕｂＣＵ３００１の場合、ｓｕｂＣＵ３００１に隣接する上側のｓｕｂＣＵの復号画像の一部を、テンプレート領域１９０１として設定し、ｓｕｂＣＵ３００１に隣接する左側のｓｕｂＣＵの復号画像の一部を、テンプレート領域１９１１として設定する。
　これにより、例えば、ｓｕｂＣＵ３００２及びｓｕｂＣＵ３００５のテンプレートマッチングを、ｓｕｂＣＵ３００１の処理と並列して実行することが可能となる。更に、ｓｕｂＣＵ３００２及びｓｕｂＣＵ３００５の処理と並列して、例えば、ｓｕｂＣＵ３００３、３００６、３００９のテンプレートマッチングを実行することが可能となる。
　（８）並列処理の具体例（その３）
　図３１は、第２の実施形態に係るエンコーダのインタ予測モードにおける、並列処理の具体例を示す第３の図である。図３１の例は、１２８画素×１２８画素のＣＴＵ５１０を分割することで生成された８画素×４画素のＣＵのブロック２００１～２００４を処理する場合を示している。
　図３１の例では、ＣＵのブロック２００１～２００４それぞれを、２つのｓｕｂＣＵに分けている。このため、ｓｕｂＣＵのサイズが４画素×４画素となり、２つのｓｕｂＣＵについて並列処理が実行される。
　符号３１１０は、ＣＵのブロック２００１～２００４に含まれる各ｓｕｂＣＵについて、テンプレート領域を設定していく様子を時系列で示したものであり、下から上に向かって時間軸が進むことを示している。
　符号３１１０に示すように、ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵのうち、左側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域２０１１、２０２１として設定する。また、ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域２０１２、３１２１として設定する。
　これにより、ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵのテンプレートマッチングを、左側のｓｕｂＣＵの処理と並列して実行することが可能となる。
　ＣＵのブロック２００１に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００２の処理に移行する。具体的には、ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵのうち、左側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域２０１３、２０２２として設定する。また、ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域２０１４、３１２２として設定する。
　これにより、ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵのテンプレートマッチングを、左側のｓｕｂＣＵの処理と並列して実行することが可能となる。
　ＣＵのブロック２００２に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００３の処理に移行する。具体的には、ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵのうち、左側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域２０１５、２０２３として設定する。また、ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域２０１６、３１２３として設定する。
　これにより、ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵのテンプレートマッチングを、左側のｓｕｂＣＵの処理と並列して実行することが可能となる。
　ＣＵのブロック２００３に含まれる２つのｓｕｂＣＵが並列処理されることで、当該ｓｕｂＣＵについて復号画像が生成されると、続いて、ＣＵのブロック２００４の処理に移行する。具体的には、ＣＵのブロック２００４に含まれる２つのｓｕｂＣＵのうち、左側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域２０１７、２０２４として設定する。また、ＣＵのブロック２００４に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの復号画像の一部、及び、左側に隣接するｓｕｂＣＵの予測画像の一部を、テンプレート領域２０１８、３１２４として設定する。
　これにより、ＣＵのブロック２００４に含まれる２つのｓｕｂＣＵのうち、右側のｓｕｂＣＵのテンプレートマッチングを、左側のｓｕｂＣＵの処理と並列して実行することが可能となる。
　＜２．第２の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するためのイントラ／インタ予測部の機能構成＞
　続いて、第２の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成について説明する。図３２は、第２の実施形態に係るデコーダのインタ予測モードで、テンプレートマッチングによるインタ予測処理を実現するための機能構成の一例を示す図である。
　図２３との相違点は、図３２の場合、予測画像取得部３２０１を有する点である。以下、図２３との相違点を中心に説明する。
　予測画像取得部３２０１は、予測画像生成部２２０７により生成された、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像を取得する。具体的には、予測画像取得部３２０１は、テンプレート領域設定部２２０１より設定されたテンプレート領域（復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの位置に設定されたテンプレート領域）の予測画像を取得する。また、予測画像取得部３２０１は、取得したテンプレート領域の予測画像を、テンプレート領域選択部２３０２に通知する。
　なお、テンプレート領域設定部２２０１は、テンプレート領域判定部２３０１から、所定の実行条件を満たす旨の判定結果が通知された場合には、予測画像取得部３２０１に対して、図２４を用いて説明したテンプレート領域を設定する。
　具体的には、テンプレート領域設定部２２０１は、復号対象のｓｕｂＣＵの上側に隣接するｓｕｂＣＵの予測画像の一部と、左側に隣接するｓｕｂＣＵの予測画像の一部とを、テンプレート領域として設定する。この場合、予測画像取得部３２０１は、予測画像生成部２２０７により生成された予測画像のうち、テンプレート領域設定部２２０１により設定されたテンプレート領域の予測画像（隣接するｓｕｂＣＵの予測画像の一部）をテンプレート領域選択部２３０２に通知する。
　テンプレート領域選択部２３０２は、所定の実行条件を満たさない旨の判定結果が通知されると、復号中画面取得部２２０２より通知されたテンプレート領域の復号画像（隣接するｓｕｂＣＵの復号画像の一部）を選択する。また、テンプレート領域選択部２３０２は、選択したテンプレート領域の復号画像を、マッチング部２２０４に通知する。これにより、マッチング部２２０４では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部２３０１より通知された判定結果に応じたテンプレート領域の復号画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　また、テンプレート領域選択部２３０２は、所定の実行条件を満たす旨の判定結果が通知されると、予測画像取得部３２０１より通知されたテンプレート領域の予測画像（隣接するｓｕｂＣＵの予測画像の一部）を選択する。また、テンプレート領域選択部２３０２は、選択したテンプレート領域の予測画像を、マッチング部２２０４に通知する。これにより、マッチング部２２０４では、復号対象のｓｕｂＣＵについて、テンプレート領域判定部２３０１より通知された判定結果に応じたテンプレート領域の予測画像を用いて、参照画面内においてテンプレートマッチングを行うことができる。
　＜３．まとめ＞
　以上の説明から明らかなように、第２の実施形態に係るエンコーダのイントラ／インタ予測部では、インタ予測モードにおいてテンプレートマッチングによるインタ予測処理を実行する際、
・復号単位のブロック（ＣＵ）を複数の矩形領域（ｓｕｂＣＵ）に分ける。
・復号対象の矩形領域が所定の実行条件を満たすか否かを判定し、所定の実行条件を満たすと判定した場合には、当該矩形領域に隣接する矩形領域の予測画像の一部をテンプレート領域として設定する。
・設定したテンプレート領域を用いて、復号単位のブロックに含まれる一部の矩形領域について、並列処理によりテンプレートマッチングを行い、各矩形領域の予測画像を出力する。
　これにより、第２の実施形態に係るエンコーダによれば、テンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
　また、第２の実施形態に係るデコーダのイントラ／インタ予測部では、インタ予測モードにおいてテンプレートマッチングによるインタ予測処理を実行する際、
・復号単位のブロック（ＣＵ）を複数の矩形領域（ｓｕｂＣＵ）に分ける。
・復号対象の矩形領域が所定の実行条件を満たすか否かを判定し、所定の実行条件を満たすと判定した場合には、当該矩形領域に隣接する矩形領域の予測画像の一部を、テンプレート領域として設定する。
・設定したテンプレート領域を用いて、復号単位のブロックに含まれる一部の矩形領域について、並列処理によりテンプレートマッチングを行い、各矩形領域の予測画像を出力する。
　これにより、第２の実施形態に係るデコーダによれば、テンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
　［第３の実施形態］
　上記第１の実施形態では、テンプレートマッチングによるインタ予測処理において、所定の実行条件を満たす場合に、復号対象のｓｕｂＣＵが含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部をテンプレート領域として設定する機能について説明した。
　また、上記第２の実施形態では、テンプレートマッチングによるインタ予測処理を実行する際、所定の実行条件を満たす場合に、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像の一部をテンプレート領域として設定する機能について説明した。
　これに対して、第３の実施形態では、上記第１の実施形態において説明した機能と、上記第２の実施形態において説明した機能とをエンコーダ及びデコーダにそれぞれ配し、両機能を切り替えて実行する構成について説明する。以下、第３の実施形態について、上記第２の実施形態との相違点を中心に説明する。
　＜１．インタ予測処理の流れ（ｓｕｂＣＵレベルの動き探索処理の流れ）＞
　図３３は、第３の実施形態に係るエンコーダのインタ予測モードにおける、ｓｕｂＣＵレベルの動き探索処理の流れを示すフローチャートである。図２７との相違点は、ステップＳ３３０１、Ｓ３３０２、Ｓ１６０２、Ｓ２７０２、Ｓ１６０３である。
　ステップＳ３３０１において、テンプレート領域判定部１４０１は、復号対象のｓｕｂＣＵが第１の実行条件を満たすか否かを判定する。なお、第１の実行条件とは、例えば、実行条件情報１５００に規定された実行条件のいずれかを指すものとする。
　ステップＳ３３０１において、第１の実行条件を満たすと判定した場合には（ステップＳ３３０１においてＹＥＳの場合には）、ステップＳ１６０２に進む。
　ステップＳ１６０２において、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵが含まれるＣＵのブロックに隣接するＣＵのブロックの復号画像の一部を、テンプレート領域として設定する。
　一方、ステップＳ３３０１において、第１の実行条件を満たさないと判定した場合には（ステップＳ３３０１においてＮＯの場合には）、ステップＳ３３０２に進む。ステップＳ３３０２において、テンプレート領域判定部１４０１は、復号対象のｓｕｂＣＵが第２の実行条件を満たすか否かを判定する。なお、第２の実行条件とは、例えば、実行条件情報２７００に規定された実行条件のうち、実行条件情報１５００と重複しない実行条件のいずれかを指すものとする。
　ステップＳ３３０２において、第２の実行条件を満たすと判定した場合には（ステップＳ３３０２においてＹＥＳの場合には）、ステップＳ２７０２に進む。ステップＳ２７０２において、予測画像取得部２５０１は、予測画像生成部７０８より、復号対象のｓｕｂＣＵに隣接する上側のｓｕｂＣＵ及び左側のｓｕｂＣＵの予測画像または復号画像を取得する。また、テンプレート領域選択部１４０２は、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの予測画像または復号画像の一部を、テンプレート領域として設定する。
　一方、ステップＳ３３０２において、第２の実行条件を満たさないと判定した場合には（ステップＳ３３０２においてＮＯの場合には）、ステップＳ１６０３に進む。ステップＳ１６０３において、テンプレート領域設定部７０３は、復号対象のｓｕｂＣＵに隣接するｓｕｂＣＵの復号画像の一部を、テンプレート領域として設定する。
　＜２．まとめ＞
　以上の説明から明らかなように、第３の実施形態に係るエンコーダ及びデコーダのイントラ／インタ予測部は、インタ予測モードにおいてテンプレートマッチングによるインタ予測処理を実行する際、
・復号画像の矩形領域が第１の実行条件を満たすか否かを判定し、第１の実行条件を満たすと判定した場合には、当該矩形領域が含まれる復号単位のブロックに隣接するブロックの復号画像の一部を、テンプレート領域として設定する。
・復号画像の矩形領域が第２の実行条件を満たすか否かを判定し、第２の実行条件を満たすと判定した場合には、当該矩形領域に隣接する矩形領域の予測画像の一部を、テンプレート領域として設定する。
　これにより、第３の実施形態に係るエンコーダ及びデコーダによれば、復号対象のｓｕｂＣＵの属性に応じたテンプレート領域を設定して、テンプレートマッチングによるインタ予測処理を実行することが可能となる。
　この結果、第３の実施形態に係るエンコーダ及びデコーダによれば、テンプレートマッチングによるインタ予測において、処理効率を向上させることができる。
　［その他の実施形態］
　上記第１の実施形態では、所定のブロックが、復号対象のｓｕｂＣＵが含まれる復号単位（ＣＵ）のブロックであるとして説明した。しかしながら、所定のブロックはＣＵのブロックに限定されない。復号対象のｓｕｂＣＵが含まれるブロックであれば、ＣＵより小さいブロックであっても、ＣＵより大きいブロックであってもよい。
　ただし、復号対象のｓｕｂＣＵについて処理を開始するにあたっては、所定のブロックの上側に隣接するブロック及び左側に隣接するブロックについて復号画像の生成が完了していることが前提となる。
　また、エンコーダ１１０において予め所定のブロックを定義しておき、データストリームを出力する際、付帯情報に、所定のブロックを示す情報を含めるように構成することが前提となる。これにより、デコーダ１２０では、付帯情報に基づいて、所定のブロックを認識することが可能となるからである。
　また、上記第１乃至第３の実施形態では、図１５の実行条件情報１５００または図２６の実行条件情報２６００に規定された実行条件に基づいて判定を行うものとして説明した。しかしながら、判定に用いる実行条件は、これに限定されず、実行条件情報１５００または実行条件情報２６００に規定されていない他の所定の実行条件に基づいて判定を行ってもよいことはいうまでもない。
　また、上記第１乃至第３の実施形態では、エンコーダ１１０及びデコーダ１２０それぞれにおいて、図１５の実行条件情報１５００または図２６の実行条件情報２６００に規定された全ての実行条件に基づいて判定を行うものとして説明した。
　しかしながら、エンコーダ１１０及びデコーダ１２０では、いずれかの実行条件に基づいて判定を行うように構成してもよい。この場合、デコーダ１２０は、エンコーダ１１０において判定に用いた実行条件を認識する必要があるため、エンコーダ１１０は、判定に用いた実行条件をシンタクスとして付帯情報に含めてデコーダ１２０に送信する。
　例えば、エンコーダ１１０では、実行条件の判定項目＝"ピクチャタイプ"の場合、シーケンスレベルシンタクスとして、
・fruc_parallel_merge_tid_minus1：０～５
を付帯情報に含めてデコーダ１２０に送信する。なお、"０～５"は、ピクチャの階層レベルを表しており、"０"の場合は、"ＯＦＦ"を表している。
　また、エンコーダ１１０では、実行条件の判定項目＝"ｓｕｂＣＵのサイズ"の場合、ピクチャレベルシンタクスとして、
・log2_fruc_parallel_merge_size_minus2：０～５
を付帯情報に含めてデコーダ１２０に送信する。なお、"０"は４画素×４画素以下を、"１"は８画素×８画素以下を、"２"は１６画素×１６画素以下を、"３"は３２画素×３２画素以下を、"４"は６４画素×６４画素以下を、"５"は１２８画素×１２８画素以下をそれぞれ表している。
　また、エンコーダ１１０では、実行条件の判定項目＝"ＣＵの量子化パラメータ"の場合、ピクチャレベルシンタクスとして、
・fruc_parallel_merge_qp_minus1：０～６４
を付帯情報に含めてデコーダ１２０に送信する。なお、"０"の場合は、"ＯＦＦ"を表している。
　更に、エンコーダ１１０では、実行条件の判定項目＝"ＣＵレベルの動きベクトル"の場合、ピクチャレベルシンタクスとして、
・fruc_parallel_merge_cu_mv_minus1：０～５１１
を付帯情報に含めてデコーダ１２０に送信する。
　また、上記第３の実施形態では、第１の実行条件を満たす場合には、隣接するＣＵの復号画像の一部をテンプレート領域として設定し、第２の実行条件を満たす場合には、隣接するｓｕｂＣＵの予測画像の一部をテンプレート領域として設定するものとした。つまり、テンプレート領域は、隣接するＣＵの復号画像の一部または隣接するｓｕｂＣＵの予測画像の一部のいずれかを設定するものとした。
　しかしながら、テンプレート領域の設定方法はこれに限定されず、例えば、隣接するＣＵの予測画像の一部を設定するように構成してもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００　　　　　　　：画像処理システム
１１０　　　　　　　：エンコーダ
１２０　　　　　　　：デコーダ
４０９　　　　　　　：イントラ／インタ予測部
５２０　　　　　　　：ＣＵのブロック
５３０～５５０　　　：ｓｕｂＣＵ
５４１、５４２　　　：テンプレート領域
６１０　　　　　　　：画面
６２０　　　　　　　：画面
７０１　　　　　　　：動き探索処理部
７０２　　　　　　　：コスト判定部
７０３　　　　　　　：テンプレート領域設定部
７０４　　　　　　　：復号中画面取得部
７０５　　　　　　　：参照画面取得部
７０６　　　　　　　：マッチング部
７０７　　　　　　　：動きベクトル算出部
７０８　　　　　　　：予測画像生成部
７０９　　　　　　　：動きベクトル格納部
７１０　　　　　　　：テンプレート探索点設定部
１１０１、１１０２　：テンプレート領域
１１１１、１１１２　：テンプレート領域
１１３１　　　　　　：テンプレート領域
１２０１、１２０２　：テンプレート領域
１２１１～１２１３　：テンプレート領域
１４０１　　　　　　：テンプレート領域判定部
１４０２　　　　　　：テンプレート領域選択部
１５００　　　　　　：実行条件情報
２１０６　　　　　　：イントラ／インタ予測部
２２０１　　　　　　：テンプレート領域設定部
２２０２　　　　　　：復号中画面取得部
２２０３　　　　　　：参照画面取得部
２２０４　　　　　　：マッチング部
２２０５　　　　　　：動きベクトル算出部
２２０７　　　　　　：予測画像生成部
２２０８　　　　　　：動きベクトル格納部
２２０９　　　　　　：テンプレート探索点設定部
２３０１　　　　　　：テンプレート領域判定部
２３０２　　　　　　：テンプレート領域選択部
２４０１、２４０２　：テンプレート領域
２５０１　　　　　　：予測画像取得部
２６００　　　　　　：実行条件情報
２８０１～２８０４　：テンプレート領域
３２０１　　　　　　：予測画像取得部

Claims (16)

  1. 　画面間予測を用いて画像を復号する復号方法であって、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を有し、
    　前記第１のテンプレート領域を設定するステップは、
    　前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない参照画面に該当する場合に、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定することを特徴とする復号方法。
  2. 　前記第２のテンプレート領域を設定するステップは、
    　前記ブロックに含まれる複数の矩形領域それぞれの前記第１のテンプレート領域に相当する第２のテンプレート領域を、並列して設定することを特徴とする請求項１に記載の復号方法。
  3. 　前記ブロックは、前記復号対象の矩形領域が含まれる復号単位のブロックであることを特徴とする請求項１または２に記載の復号方法。
  4. 　画面間予測を用いて画像を復号する復号方法であって、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を有し、
    　前記相関値を算出するステップは、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする復号方法。
  5. 　前記相関値を算出するステップは、前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない非参照画面に該当する場合、または、前記復号対象の矩形領域が含まれる復号単位のブロックの量子化パラメータが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる復号単位のブロックの動きベクトルの絶対値が、所定の画素数以下であった場合に、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする請求項４に記載の復号方法。
  6. 　前記第２のテンプレート領域を設定するステップは、
    　前記ブロックに含まれる複数の矩形領域それぞれの前記第１のテンプレート領域に相当する第２のテンプレート領域を、並列して設定することを特徴とする請求項５に記載の復号方法。
  7. 　画面間予測を用いて画像を復号する復号方法であって、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を有し、
    　前記復号対象の矩形領域が第１の実行条件を満たす場合、前記第１のテンプレート領域を設定するステップは、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定し、
    　前記復号対象の矩形領域が第２の実行条件を満たす場合、前記相関値を算出するステップは、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする復号方法。
  8. 　画面間予測を用いて画像を復号する復号装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記第１の設定手段は、
    　前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない参照画面に該当する場合に、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定することを特徴とする復号装置。
  9. 　画面間予測を用いて画像を復号する復号装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記算出手段は、
    　前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする復号装置。
  10. 　画面間予測を用いて画像を復号する復号装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記復号対象の矩形領域が第１の実行条件を満たす場合、前記第１の設定手段は、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定し、
    　前記復号対象の矩形領域が第２の実行条件を満たす場合、前記算出手段は、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする復号装置。
  11. 　画面間予測を用いて画像を復号する符号化装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記第１の設定手段は、
    　前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない参照画面に該当する場合に、前記符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定することを特徴とする符号化装置。
  12. 　画面間予測を用いて画像を復号する符号化装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記算出手段は、
    　前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする符号化装置。
  13. 　画面間予測を用いて画像を復号する符号化装置であって、
    　復号中の画面内より復号対象の矩形領域を取得する取得手段と、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定する第１の設定手段と、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定する第２の設定手段と、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出する算出手段と、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定する決定手段と、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行う生成手段と、を有し、
    　前記復号対象の矩形領域が第１の実行条件を満たす場合、前記第１の設定手段は、前記符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定し、
    　前記復号対象の矩形領域が第２の実行条件を満たす場合、前記算出手段は、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とする符号化装置。
  14. 　画面間予測を用いて画像を復号する装置のコンピュータに、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を実行させるためのプログラムであって、
    　前記第１のテンプレート領域を設定するステップは、
    　前記復号対象の矩形領域のサイズが所定の閾値以下であった場合、または、前記復号対象の矩形領域が含まれる画面が、時間的に異なる他の画面を復号する際に参照されることのない参照画面に該当する場合に、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定することを特徴とするプログラム。
  15. 　画面間予測を用いて画像を復号する装置のコンピュータに、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を実行させるためのプログラムであって、
    　前記相関値を算出するステップは、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とするプログラム。
  16. 　画面間予測を用いて画像を復号する装置のコンピュータに、
    　復号中の画面内より復号対象の矩形領域を取得するステップと、
    　前記復号中の画面内において、前記復号対象の矩形領域の位置に応じて第１のテンプレート領域を設定するステップと、
    　前記復号中の画面とは時間的に異なる参照画面内において、前記第１のテンプレート領域に相当する第２のテンプレート領域を設定するステップと、
    　前記第２のテンプレート領域を、前記参照画面内で所定のベクトル分移動することで、第３のテンプレート領域を設定し、前記第３のテンプレート領域と前記第１のテンプレート領域との間で画像の相関値を算出するステップと、
    　複数の前記所定のベクトルに対応する複数の前記相関値に基づいて、複数の前記所定のベクトルの中から１つのベクトルを選択することで、前記復号対象の矩形領域の動きベクトルを決定するステップと、
    　前記動きベクトルに基づいて、前記復号対象の矩形領域の予測画像を生成することで動き補償を行うステップと、を実行させるためのプログラムであって、
    　前記復号対象の矩形領域が第１の実行条件を満たす場合、前記第１のテンプレート領域を設定するステップは、符号化装置において決定された、前記復号対象の矩形領域が含まれる所定のブロックに隣接する領域を、前記第１のテンプレート領域として設定し、
    　前記復号対象の矩形領域が第２の実行条件を満たす場合、前記相関値を算出するステップは、前記第１のテンプレート領域の予測画像を用いて前記相関値を算出することを特徴とするプログラム。
PCT/JP2018/013856 2018-03-30 2018-03-30 復号方法、復号装置、符号化装置及びプログラム Ceased WO2019187096A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/013856 WO2019187096A1 (ja) 2018-03-30 2018-03-30 復号方法、復号装置、符号化装置及びプログラム
JP2020508865A JP7248013B2 (ja) 2018-03-30 2018-03-30 復号方法、復号装置、符号化装置及びプログラム
US17/032,446 US11197011B2 (en) 2018-03-30 2020-09-25 Decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013856 WO2019187096A1 (ja) 2018-03-30 2018-03-30 復号方法、復号装置、符号化装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/032,446 Continuation US11197011B2 (en) 2018-03-30 2020-09-25 Decoding method

Publications (1)

Publication Number Publication Date
WO2019187096A1 true WO2019187096A1 (ja) 2019-10-03

Family

ID=68061044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/013856 Ceased WO2019187096A1 (ja) 2018-03-30 2018-03-30 復号方法、復号装置、符号化装置及びプログラム

Country Status (3)

Country Link
US (1) US11197011B2 (ja)
JP (1) JP7248013B2 (ja)
WO (1) WO2019187096A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021072795A1 (zh) * 2019-10-17 2021-04-22 北京大学深圳研究生院 一种基于帧间预测的编解码方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508422A (zh) * 2019-03-08 2021-10-15 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
WO2023055167A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 인트라 예측 모드 도출 기반 인트라 예측 방법 및 장치
US12105767B2 (en) * 2022-05-03 2024-10-01 Adobe Inc. Digital content layout encoding for search

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095560A1 (ja) * 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法
WO2011099468A1 (ja) * 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
CN105531999B (zh) * 2013-07-09 2019-08-09 诺基亚技术有限公司 涉及用于信号传输运动信息的语法的视频编码方法及装置
JP6147368B2 (ja) * 2014-02-03 2017-06-14 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR20180016348A (ko) * 2015-06-05 2018-02-14 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095560A1 (ja) * 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法
WO2011099468A1 (ja) * 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, J. L. ET AL.: "Algorithm description of joint exploration test model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) 7TH MEETING, JVET-G1001- V1, 19 August 2017 (2017-08-19), XP030150980 *
XIU, X. Y. ET AL.: "On low-latency reduction for template-based inter prediction", JOINT VIDEO EXPERTS TEAM (JVET) 10TH MEETING, JVET-J0045-VL, 3 April 2018 (2018-04-03), pages 1 - 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021072795A1 (zh) * 2019-10-17 2021-04-22 北京大学深圳研究生院 一种基于帧间预测的编解码方法及装置
US12206892B2 (en) 2019-10-17 2025-01-21 Peking University Shenzhen Graduate School Method and device for encoding or decoding based on inter-frame prediction

Also Published As

Publication number Publication date
US11197011B2 (en) 2021-12-07
JPWO2019187096A1 (ja) 2021-04-08
JP7248013B2 (ja) 2023-03-29
US20210014514A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
KR102760093B1 (ko) 모션 벡터 리파인먼트 및 모션 보상을 위한 메모리 액세스 윈도우 및 패딩
CN113491124B (zh) 基于dmvr的帧间预测方法和设备
KR102731944B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
US12069291B2 (en) Limited memory access window for motion vector refinement
US10200715B2 (en) Methods and devices for encoding and decoding video pictures
CN111567047B (zh) 进行子预测块运动矢量推导的存储器访问窗口
KR20200066737A (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019075375A1 (en) MOTION VECTOR PREDICTORS USING MOTION MODELS AFFINED IN VIDEO CODING
CN111201795B (zh) 存储访问窗口和用于运动矢量修正的填充
CN111201792B (zh) 指向分数像素点位置的运动矢量的修正运动矢量
KR102701434B1 (ko) 디코더 측 모션 벡터 정제를 위한 에러 표면 기반 서브 픽셀 정밀 정제 방법
US11197011B2 (en) Decoding method
CN114342387B (zh) 基于运动预测的图像编译方法和装置
CN114270824B (zh) 用于基于帧间预测编译图像的方法和装置
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
WO2024255897A1 (en) System and method for intra prediction using fractional-pel block vector
CN118975245A (zh) 视频编解码中的帧间预测
CN120858573A (zh) 帧内模板匹配预测的方法和设备
CN119111073A (zh) 使用模板匹配的图像编码/解码方法、用于发送比特流的方法以及其中存储有比特流的记录介质
CN120836157A (zh) 帧内模板匹配预测的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912717

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508865

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18912717

Country of ref document: EP

Kind code of ref document: A1