[go: up one dir, main page]

WO2006006489A1 - 動き検出装置 - Google Patents

動き検出装置 Download PDF

Info

Publication number
WO2006006489A1
WO2006006489A1 PCT/JP2005/012568 JP2005012568W WO2006006489A1 WO 2006006489 A1 WO2006006489 A1 WO 2006006489A1 JP 2005012568 W JP2005012568 W JP 2005012568W WO 2006006489 A1 WO2006006489 A1 WO 2006006489A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage means
motion
motion detection
reference image
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/012568
Other languages
English (en)
French (fr)
Inventor
Akihiko Inoue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006528968A priority Critical patent/JP4709155B2/ja
Priority to US11/579,898 priority patent/US20080031335A1/en
Priority to EP20050765586 priority patent/EP1768420A1/en
Publication of WO2006006489A1 publication Critical patent/WO2006006489A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image coding technique, and more particularly to a motion detection device that detects a motion vector of a coded image from a coded image and a reference image.
  • a videophone at a remote place using a portable information terminal is possible.
  • This TV phone can transmit moving images to and from each other in synchronization with the voice, enabling richer expressive communication than before.
  • the transmission line for videophones is wireless, and the current transmission rate is 64 kbps (bit per second). In the future, there is a possibility that it will be accelerated to about 2Mbps.
  • moving image transmission technology in particular, moving image compression code technology is important.
  • Video storage technology which is another important technology, has been developed year by year!
  • DVD Digital Versatile Disk
  • the number of DVD recorders sold has increased year by year, and it is a matter of time before all VHS recorders are replaced with DVD recorders.
  • the recording density of recording media (DVD-RAM, DVD-RW, Blu-ray Disc, etc.) used in DVD recorders is increasing year by year.
  • high-definition programs have been recorded for a long time with high image quality. ,,,.
  • a moving image encoding technique that encodes the video at a low bit rate without degrading the image quality is important.
  • the input image to be encoded is a luminance component that is 16 pixels long x 16 pixels wide, a color difference component (Cb) that is 8 pixels wide by 8 pixels wide, and 8 pixels x vertical.
  • Color difference component (Cr) force of 8 horizontal pixels Divided into macroblocks. For each macro block, the most similar block of the reference image is searched (so-called motion detection processing is performed), and the difference from the searched block of the reference image is taken. Then, the difference is converted into the frequency domain, then variable-length encoded and converted into a bit stream.
  • the block matching method performs pixel-level operations between a macroblock of the current image and a block of the same size as the macroblock generated from a specific range of the reference image (hereinafter referred to as the search range).
  • the search range a specific range of the reference image
  • an evaluation value indicating the degree of correlation is obtained, and the evaluation value is the best, and the resulting position on the reference image is detected as a motion vector.
  • the sum of absolute differences (SAD) and sum of squares of differences (SSD) are used as the evaluation value, and the smaller the value, the higher the correlation.
  • Document 1 Japanese Patent Laid-Open No. 2002-218474 discloses that motion vector detection with integer pixel accuracy is performed as a first step in a relatively large search range in order to perform motion vector detection with 1Z2 pixel accuracy.
  • a technique for detecting a motion vector with 1Z2 pixel accuracy around the motion vector detected in the first step and within a search range smaller than the first step is disclosed.
  • FIG. 22 is a block diagram of a conventional general motion detection unit.
  • the conventional general motion detector shown in FIG. 22 includes an integer pixel accuracy motion detector 1, a 1Z2 pixel accuracy motion detector 2, a motion compensator 3, a first local memory 4, a second local memory 5, and a third local.
  • Memory 6, DMA controller Troller 7 and SDRAM8 are provided.
  • FIG. 23 is a flowchart of a conventional general motion detection unit.
  • a macroblock to be encoded (hereinafter referred to as a current macroblock) is transferred from the input image stored in the SDRAM 8 to the first local memory 4.
  • step S3 the integer pixel accuracy motion detection unit 1 performs integer pixel accuracy motion detection on the search range of the current macroblock and the reference image transferred to the first local memory 4.
  • the integer pixel accuracy motion detection unit 1 uses only integer pixels to detect a search range force of a block of the same size having the strongest correlation with the current macroblock, and obtains a motion vector.
  • the motion vector is expressed by the relative position of the coordinates on the left edge of the detected block with respect to the coordinates on the left edge of the current macroblock.
  • the strength of the correlation is evaluated, for example, as a sum of absolute differences (SAD) or sum of squares of differences (SSD) of luminance components in corresponding pixels in two blocks.
  • SAD sum of absolute differences
  • SSD sum of squares of differences
  • FIG. 24 shows integer pixels thinned out for each pixel. That is, in the example shown in FIG. 24, the pixel P2 is thinned out for each pixel in the horizontal direction, and only the pixel P1 is used as the reference image.
  • the detection accuracy in the horizontal direction falls to 1Z2 compared to the case without thinning.
  • the area for the reference image to be secured in the first local memory 4 can be reduced to 1Z2.
  • a wide range of motion detection can be performed with the same memory capacity. What kind of thinning method is used depends on the image quality degradation due to the decrease in detection accuracy and the search. It is determined by the trade-off relationship of image quality improvement due to the expansion of the search range.
  • step S4 a reference image necessary for 1Z2 pixel accuracy motion detection is obtained from S DRAM 8 based on the motion vector MV-INT obtained by integer pixel accuracy motion detection in step S3. Transferred to local memory 5.
  • Integer pixel precision motion vector MV When performing 1Z2 pixel precision motion detection on 8 1Z2 pixels around INT, from the reference image stored in SDRAM8, the motion vector MV—INT is used as a reference in the X direction. An image of 18 pixels in the horizontal direction and 18 lines in the vertical direction is acquired from the coordinate position moved by “1” and “1” in the Y direction, and transferred to the second local memory 5. If the SDRAM8 can only be accessed in 32-bit units, pixel data that is not required as a reference image may be read, and image data for a maximum of 24 horizontal pixels and 18 vertical lines may be read.
  • step S5 the 1Z2 pixel accuracy motion detection unit 2 performs 1Z2 pixel accuracy motion detection. For example, at the 8 points around the motion vector MV-INT, 1Z2 pixels are generated using the reference image transferred to the second local memory 5 in step S4, and the 8 1Z2 pixels and integers of the search center position Difference absolute value sum operation is performed between the pixel and the current macroblock.
  • FIG. 25 shows 1Z2 pixels generated in the vicinity of integer pixel B. That is, 1Z2 pixels a to h are generated around the integer pixel B which is the search center position.
  • 1Z2 pixels are calculated using integer pixels A to D as follows.
  • the 1Z2 pixel accuracy motion detection unit 2 has the largest sum of absolute difference values for a total of nine pixels, the integer pixel B at the search center position and the eight 1Z2 pixels a to h around it. Find a smaller point.
  • the motion vector MV-HALF with 1Z2 pixel accuracy is calculated by adding the offset coordinates of the search center position force for the point where the calculated sum of absolute differences is the smallest to the motion vector MV-INT.
  • 1Z4 pixel accuracy motion detection may be performed based on the motion vector MV-HALF obtained by 1Z2 pixel accuracy motion detection.
  • 1Z4 pixels are generated using the reference image at 8 points around the motion vector MV-HALF, and the 1Z2 pixels at the search center position and the 8 Searches for the point with the smallest sum of absolute differences for a total of 9 pixels of 1Z4 pixels.
  • a motion vector with 1Z4 pixel accuracy is calculated.
  • FIG. 22 and FIG. 23 the components and processing steps for 1Z4 pixel precision motion detection are omitted and illustrated.
  • step S6 for motion compensation following motion detection, a reference image at a position indicated by the motion vector finally determined in 1Z2 pixel precision motion detection in step S5 is transferred from the SDRAM 8 to the third local memory 6. Transferred.
  • the reference area acquired in the second local memory 5 by the 1Z2 pixel precision motion detection includes an area necessary for motion compensation.
  • the motion compensation unit 3 directly accesses the second local memory 5.
  • the color difference component is not transferred to the second local memory 5, it is necessary to transfer it from the SDRAM 8 to the third local memory 6.
  • step S7 the motion compensation unit 3 performs motion compensation.
  • the color difference component image data obtained by motion compensation is determined by the color difference motion vector determined based on the motion vector of the luminance component.
  • the motion vector of the color difference component is defined as 1Z2 times the motion vector of the luminance component. For example, luminance component movement
  • the XY coordinates (0.5, 1.5) of the rule are multiplied by 1 ⁇ 2 to become (0.25, 0.75), which is rounded to (0.5, 0.5).
  • the moving image encoding process includes a plurality of processes such as motion detection, motion compensation, DCT, and variable length encoding.
  • these processes are executed in units of macro blocks using one hardware resource (for example, a processor)
  • the next macro block process cannot be started until the process of one macro block is completed.
  • macroblock processing may not be in time and frame dropping may occur.
  • FIG. 26 is a flowchart of the moving image code key process.
  • the general video encoding process also includes the motion detection in step S11, the motion compensation in step S12, the DCTZ quantization process in step S13, and the variable-length encoding processing power in step S14. . If these processes are divided into four-stage pipelines, the process is as shown in Fig. 27.
  • Fig. 27 shows a pipeline process of video encoding.
  • the horizontal axis represents time, and the number in 0 for each process indicates the macroblock number being processed.
  • the motion detection process for the macroblock number “0” is completed, the motion compensation process for the macroblock number “0” is started, and at the same time, the macroblock number “1” is started. The motion detection process starts.
  • pipeline processing outputs macroblocks streamed at time T intervals. It will be. If the total time of the four processes is time U, the processing time per macroblock is time U for sequential processing and time T for pipeline processing, and U> T is self-explanatory. Increases block processing throughput.
  • a pipeline buffer is an intermediate buffer that holds data at pipeline breaks. Therefore, pipelines are a performance and cost tracer. It must be done in consideration of the code-off.
  • FIG. 28 is a flowchart of motion detection.
  • FIG. 28 shows a processing flow of motion detection in a certain layer in motion detection hierarchized into a plurality of layers.
  • step S21 motion detection of the (m-1) th layer (m is a natural number of 2 or more) is performed.
  • (M-1) layer motion detectability performed in step S21 When it is performed on the thinned reference image as shown in Fig. 24, it is detected in step (m-1) layer (m-1). Based on the obtained motion vector, the reference image data for the next (m) layer motion detection must be transferred.
  • step S23 motion detection of the (m) th layer is performed using the transferred reference image data.
  • FIG. 29 shows the configuration of a motion detection pipeline, which corresponds to the motion detection of FIG.
  • a motion detection pipeline which corresponds to the motion detection of FIG.
  • the technique according to the prior art improves the throughput of moving image processing by pipeline processing.
  • the number of motion detection layers increases, the number of stages of the pipeline increases and the latency increases.
  • it has the disadvantage of increasing the number of pipeline buffers required.
  • Patent Document 1 JP 2002-218474 A (Fig. 3)
  • Patent Document 2 Japanese Patent Laid-Open No. 2001-15872
  • the present invention provides a motion detection device for moving picture encoding that can reduce the time delay in pipeline processing, suppress the occurrence of frame delay, and further reduce the number of pipeline buffers. For the purpose.
  • a motion detection device is a motion detection device that hierarchically detects a motion vector based on a correlation between a reference image and an encoded image, and includes a processor and a first-stage motion vector.
  • First storage means for storing a first reference image for detecting a tuttle, first motion detection means for detecting a first-stage motion vector using the first reference image stored in the first storage means, 1
  • Second storage means for storing a second reference image for the second stage motion vector detection performed using the first stage motion vector detected by the motion detection means, and stored in the second storage means
  • the second motion detecting means for detecting the second stage motion belt using the second reference image and the second stage motion belt detected by the second motion detecting means are used for the third stage.
  • the third storage means for storing the third reference image for detecting the motion vector at the stage, and the third motion detection for detecting the motion vector at the third stage using the third reference image stored in the third storage means Means, main storage means for storing reference images and encoded images, main storage means and A data transfer control means for controlling data transfer between the storage means, data transfer between the main storage means and the second storage means, and data transfer between the main storage means and the third storage means,
  • the processor transfers the main storage means to the third storage means based on the motion vector detected in the first stage before the detection of the second stage motion vector is completed. If data of the third reference image is transferred and reference of the first-stage motion vector is unnecessary, the processor transfers from the main storage means to the third storage means before the detection of the first-stage motion vector is completed. Transfer the third reference image data.
  • the transfer of the reference image for detecting the motion vector in the third stage and the execution of the motion vector detection in the second stage are performed simultaneously.
  • the third stage motion detection can be started without delay. If the motion vector detected in the first stage is not referenced, the third stage motion vector detection can be started without delay.
  • a motion detection device is a motion detection device that detects a motion vector in a hierarchical manner based on a correlation between a reference image and an encoded image, and includes a processor and a first-stage motion vector.
  • First storage means for storing a first reference image for detecting a tuttle, first motion detection means for detecting a first-stage motion vector using the first reference image stored in the first storage means, 1 Second storage means for storing a second reference image for the second stage motion vector detection performed using the first stage motion vector detected by the motion detection means, and stored in the second storage means A second motion detecting means for detecting a second stage motion margin using the second reference image; A third storage means for storing a third reference image for motion compensation to be performed using the second stage motion vector detected by the second motion detection means, and a third storage means stored in the third storage means.
  • Motion compensation means for performing motion compensation using a reference image, main storage means for storing the reference image and the encoded image, data transfer between the main storage means and the first storage means, main storage means,
  • the processor transfers the data of the third reference image from the main storage means to the third storage means based on the motion vector detected in the first stage before the detection of the second stage motion vector is completed. For motion vector non-reference detected in the stage, the processor Before the detection of the first stage of motion vector is completed, transfers the data of the third see the image to the third storage means from the main memory unit.
  • the transfer of the reference image for motion compensation and the execution of the motion vector detection in the second stage are performed simultaneously. Compensation can be started without delay. If the motion vector detected in the first stage is not referenced, the third stage motion compensation can be started without delay.
  • a motion detection device is a motion detection device that hierarchically detects a motion vector based on the correlation between a reference image and an encoded image, and includes a processor and a first-stage motion vector.
  • First storage means for storing a first reference image for detecting a tuttle, first motion detection means for detecting a first-stage motion vector using the first reference image stored in the first storage means, 1 Second storage means for storing a second reference image for the second stage motion vector detection performed using the first stage motion vector detected by the motion detection means, and stored in the second storage means Second motion detection means for detecting a second stage motion margin using the second reference image, main storage means for storing the reference image and the encoded image, main storage means and first storage means Data transfer between the main storage means and the second storage means And a data transfer control means for controlling the processor, before the first stage of motion vector detection is completed, transfers the data of the second reference image to the second storage means from the main memory unit.
  • the second-stage motion vector detection is delayed because the second-stage motion vector detection reference image transfer and the first-stage motion vector detection are performed simultaneously. You can start endlessly.
  • a motion detection device is a motion detection device that detects a motion vector based on a correlation between a reference image and an encoded image, and includes a processor and a first-stage motion vector detection.
  • First storage means for storing the first reference image
  • first motion detection means for detecting a first-stage motion vector using the first reference image stored in the first storage means
  • first motion A second storage means for storing a second reference image for motion compensation performed using the first stage motion envelope detected by the detection means; and a second reference image stored in the second storage means.
  • the motion compensation means for performing the motion compensation, the main storage means for storing the reference image and the encoded image, the data transfer between the main storage means and the first storage means, and the main storage means and the second storage means.
  • Data transfer control means for controlling data transfer between the storage means.
  • the sensor transfers the data of the second reference image from the main storage means to the second storage means before the first-stage motion vector detection is completed.
  • the motion compensation can be started without delay.
  • the first motion detection means detects a motion vector with integer pixel precision.
  • the second motion detection means detects a motion vector with 1Z2 pixel accuracy.
  • the third motion detection means detects a motion vector with 1Z4 pixel accuracy.
  • the motion compensation means performs motion compensation of the luminance image.
  • the motion compensation means performs motion compensation of the color difference image.
  • the first storage means and the second storage means are implemented by a memory, and the memory size of the first storage means is larger than the memory size of the second storage means.
  • the first motion detection means using the first storage means can search for a motion vector over a wider range than the second motion detection means using the second storage means. I'll do it.
  • the second storage means and the third storage means are implemented by a memory, and the memory size of the second storage means is larger than the memory size of the third storage means.
  • the second motion detecting means using the second storage means can search for a motion vector over a wider range than the third motion detecting means using the third storage means. I'll do it.
  • one of the data transfer control means and the second motion detection means accesses the second storage means.
  • one of the data transfer control means and the third motion detection means accesses the third storage means.
  • one of the data transfer control means and the motion compensation means accesses the third storage means.
  • reference image data in a necessary range is transferred from the second storage means to the third storage means based on the motion vector detected by the first motion detection means. Is done.
  • the motion vector detected by the first motion detection means is The reference image data in the necessary range is transferred from the first storage means to the second storage means as a reference.
  • a motion detection device for moving picture coding which can reduce the time delay in pipeline processing, suppress the occurrence of frame delay, and further reduce the number of pipeline buffers. can do.
  • FIG. 1 is a block diagram of a motion detection apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of the motion detection device according to the first embodiment of the present invention.
  • FIG. 3 is an integer pixel arrangement thinned out to 1Z4 of a reference image in Embodiment 1 of the present invention.
  • FIG. 4 is a 1Z2 pixel arrangement diagram thinned out to 1Z4 of a reference image in Embodiment 1 of the present invention.
  • FIG. 5 is a 1Z4 pixel arrangement diagram of a reference image according to Embodiment 1 of the present invention.
  • FIG. 6 is an explanatory diagram showing a transfer range of a reference image in Embodiment 1 of the present invention.
  • FIG. 7 is a configuration diagram of the knock line of the motion detection device according to the first embodiment of the present invention.
  • FIG. 8 is a block diagram of a motion detection apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart of the motion detection apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a correspondence table of luminance coordinates and color difference coordinates in the second embodiment of the present invention.
  • FIG. 11 is an explanatory diagram of the transfer range of color difference data according to the second embodiment of the present invention.
  • FIG. 13 is a configuration diagram of the knock line of the motion detection device according to the second embodiment of the present invention.
  • FIG. 14 is a block diagram of a motion detection apparatus according to Embodiment 3 of the present invention.
  • FIG. 15 is a flowchart of the motion detection apparatus according to the third embodiment of the present invention.
  • FIG. 16 is a configuration diagram of the knock line of the motion detection device according to the third embodiment of the present invention.
  • FIG. 17 is a flowchart of the motion detection apparatus according to the fourth embodiment of the present invention.
  • FIG. 18 is a configuration diagram of the knock line of the motion detection device according to the fourth embodiment of the present invention.
  • FIG. 19 is a block diagram of a motion detection device according to the fifth embodiment of the present invention.
  • FIG. 20 is a flowchart of the motion detection apparatus according to the fifth embodiment of the present invention.
  • FIG. 21 is a configuration diagram of the knock line of the motion detection device according to the fifth embodiment of the present invention.
  • FIG. 23 is a flowchart of a conventional general motion detection unit.
  • FIG. 26 Flowchart of video code processing
  • FIG. 1 is a block diagram of a motion detection apparatus according to Embodiment 1 of the present invention.
  • the motion detection device of this embodiment includes integer pixel accuracy motion detector 21, 1Z2 pixel accuracy motion detector 22, 1Z4 pixel accuracy motion detector 23, local memory 31, 32, 33, SDRA M41, A DMA controller 42 and a processor 20 are provided.
  • the integer pixel accuracy motion detector 21 corresponds to the first motion detection means
  • the 1Z2 pixel accuracy motion detector 22 corresponds to the second motion detection means
  • the 1Z4 pixel accuracy motion detector 23 corresponds to the third motion detection means. Corresponds to motion detection means.
  • the local memory 31 corresponds to first storage means, and stores reference image data used by the integer pixel precision motion detector 21 and image data of a macroblock to be encoded.
  • the low power memory 32 corresponds to a second storage unit, and stores reference image data used by the 1Z2 pixel accuracy motion detector 22 and image data of a macroblock to be encoded.
  • the local memory 33 corresponds to the third storage means, and stores the reference image data used by the 1Z4 pixel accuracy motion detector 23 and the image data of the macroblock to be encoded.
  • the SDRAM 41 corresponds to a main storage device and stores image data of a current frame and a reference frame.
  • the DMA controller 42 corresponds to data transfer control means, and controls data transfer between the SDRAM 41 and the local memories 31, 32, and 33.
  • the processor 20 controls processing of the entire motion detection device.
  • the solid line represents the data line and the dotted line represents the control line.
  • FIG. 2 is a flowchart of the motion detection apparatus according to Embodiment 1 of the present invention. With reference to FIG. 1, the operation of the motion detection apparatus of this embodiment will be described according to FIG.
  • step S31 the reference image data used for integer pixel precision motion detection and the image data of the macroblock to be encoded are stored in the SDRA under the control of the DMA controller 42.
  • step S32 the integer pixel accuracy motion detector 21 uses the reference image data transferred to the local memory 31 and the image data of the macroblock to be encoded to use the integer image. Perform raw motion detection. Integer pixel motion detection is performed according to the block matching method.
  • integer pixel accuracy motion detection according to the present embodiment is performed on a reference image that is thinned to 1Z4 in the horizontal direction.
  • FIG. 3 is an arrangement diagram of integer pixels thinned out by 1Z4 of the reference image in the first embodiment of the present invention.
  • a white circle pixel Fpl represents an integer pixel that has not been thinned
  • a black circle pixel Fp2 represents an integer pixel that has been thinned.
  • the reference image is thinned to 1Z4 in the horizontal direction. Since valid data exists in units of 4 pixels in the horizontal direction, the accuracy of motion detection in the horizontal direction is 1Z4.
  • step S33 the reference image data used for 1Z2 pixel precision motion detection and the image data power of the macroblock to be encoded are transferred from the SDRAM 41 to the local memory 32 according to the instruction of the processor 20 .
  • step S34 the 1Z2 pixel accuracy motion detector 22 performs 1Z2 pixel accuracy motion detection around the motion vector detected by the integer pixel accuracy motion detection.
  • 1Z2 pixel accuracy motion detection is performed on eight 1Z2 pixels around the motion vector detected by the integer pixel accuracy motion detection.
  • FIG. 4 is a layout diagram of 1Z2 pixels thinned out by 1Z4 of the reference image according to Embodiment 1 of the present invention.
  • the white circle pixel Fpl represents an integer pixel that has not been thinned
  • the black circle pixel Fp2 represents an integer pixel that has been thinned.
  • a small white circle pixel Hp 1 represents a 1Z2 pixel calculated from the undecimated integer pixel Fpl.
  • 1Z2 pixels are calculated by averaging integer pixel values. As shown in Fig. 4, when focusing on a certain search position, 1Z2 pixels are effective in units of 4 pixels in the horizontal direction. Also, it can be seen that even with the same 1Z4 thinning process, more reference image data is required for 1Z2 pixel accuracy motion detection than for integer pixel accuracy motion detection.
  • step S35 the reference image data used for the 1Z4 pixel precision motion detection and the image data power of the macroblock to be encoded. Transferred.
  • step S36 the 1Z4 pixel accuracy motion detector 23 performs 1Z4 pixel accuracy motion detection around the motion vector detected by the 1Z2 pixel accuracy motion detection.
  • FIG. 5 is a 1Z4 pixel arrangement diagram of the reference image according to Embodiment 1 of the present invention.
  • a white circle pixel Fpl represents an integer pixel
  • a small white circle pixel Hpl represents a 1Z2 pixel
  • a small black circle pixel Qpl represents a 1Z4 pixel.
  • the signing of pixel Qpl is representative and not every pixel is signed.
  • the calculation of 1Z4 pixels is obtained as an average value of 1Z2 pixels, similarly to the case where 1Z2 pixels are calculated from integer pixels.
  • the 1Z4 pixel layout shown in Figure 5 the 1Z2 pixel layout for calculating the 1Z4 pixel, and the integer pixel layout for calculating the 1Z2 pixel, the 1Z4 pixel precision motion detection uses integer pixels. It cannot be thinned out. Therefore, after 1Z2 pixel precision motion detection with 1Z2 pixel power with thinning is completed, it is necessary to transfer reference image data without thinning for 1Z4 pixel precision motion detection.
  • step S35 shown in FIG. 2 when the integer pixel accuracy motion detection is completed, data for 1Z4 pixel accuracy motion detection is transferred so as to include the search range in 1Z2 pixel accuracy motion detection.
  • FIG. 6 is an explanatory diagram showing the transfer range of the reference image in Embodiment 1 of the present invention.
  • the reference numerals of the respective pixels are the same as those in FIG.
  • the macroblock to be encoded is composed of 3 pixels ⁇ 3 pixels. Assumes. (Actually, the macroblock to be encoded is composed of 16 pixels x 16 pixels.)
  • the solid line frame 51 is a macroblock matched by the integer pixel accuracy motion detection, and the integer pixel accuracy motion vector MV— The position of INT is given by the coordinates of the upper left pixel Fp 3 of the frame 51.
  • a frame 52 indicated by a dotted line indicates a range of the reference image that should be transferred for 1Z4 pixel accuracy motion detection.
  • the frame 52 indicates the detection of the 1Z2 pixel accuracy motion vector MV—HALF at the deviation of the 8 1Z2 pixels around it from the position of the motion vector MV—INT indicated by the pixel Fp3 in the 1Z2 pixel accuracy motion detection. Even if the result is settled, indicate the range of pixels that always contain the integer pixels necessary to generate the 1Z4 pixel for the next 1Z4 pixel precision motion detection!
  • the transfer range of the reference image data for 1Z4 pixel accuracy motion detection is set to the range indicated by the frame 52, the reference image data for 1Z4 pixel accuracy motion detection is converted to integer pixel accuracy motion detection.
  • the motion vector MV-INT can be transferred from the SDR AM 41 in FIG.
  • the reference image data for 1Z4 pixel accuracy motion detection can be transferred without waiting for the result of 1Z2 pixel accuracy motion detection, reducing the data waiting time for 1Z4 pixel accuracy motion detection and improving the latency of macroblock processing. To do.
  • FIG. 7 shows the configuration of the pipeline of the motion detection device according to the first embodiment of the present invention.
  • FIG. 7 shows that the processing pipeline of the motion detection apparatus of this embodiment is configured from stage-0 to stage-4, divided into motion detection processing and reference image DMA transfer processing. .
  • the reference image data for 1Z4 pixel accuracy motion detection can be transferred simultaneously with the 1Z2 pixel accuracy motion detection, so the number of pipeline stages is reduced by one step. I can do it.
  • the number of pipeline stages can be reduced by one, and the motion detection process can be performed at a higher speed, so that the time delay in the pipeline process is reduced. This can reduce the occurrence of frame delay.
  • FIG. 8 is a block diagram of a motion detection apparatus according to Embodiment 2 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. To do.
  • the motion detection apparatus includes an integer pixel accuracy motion detector 21, a 1/2 pixel accuracy motion detector 22, a motion compensator 24, local memories 31, 32, 33, and SDRAM 41. DMA controller 42 and processor 20 are provided.
  • the local memory 31 corresponds to first storage means, and stores reference image data used by the integer pixel precision motion detector 21 and image data of a macroblock to be encoded.
  • the low power memory 32 corresponds to a second storage unit, and stores reference image data used by the 1Z2 pixel accuracy motion detector 22 and image data of a macroblock to be encoded.
  • the local memory 33 corresponds to the third storage means, and stores the reference image data used by the motion compensator 24 and the image data of the macroblock to be encoded.
  • the SDRAM 41 corresponds to a main storage device and stores image data of a current frame and a reference frame.
  • the DMA controller 42 corresponds to data transfer control means, and controls data transfer between the SDRAM 41 and the local memories 31, 32, and 33.
  • the processor 20 controls processing of the entire motion detection device.
  • the solid line represents the data line and the dotted line represents the control line.
  • motion detection is performed in two layers of integer pixel accuracy and 1Z2 pixel accuracy, and 1Z4 pixel accuracy motion detection is not performed.
  • 1Z2 pixel accuracy motion detection the pixels of the reference image are not thinned out.
  • motion compensation is performed.
  • FIG. 9 is a flowchart of the motion detection apparatus according to the second embodiment of the present invention.
  • the transfer of the data and the macroblock image data to be encoded, and the 1Z2 pixel accuracy motion detection in step S44 are steps S31 and S31 in the flowchart of the motion detection apparatus in the first embodiment of the present invention shown in FIG. This is the same as step S32, step S33, and step S34, and the description is omitted.
  • motion compensation is performed next. Motion compensation is performed on the reference image of the luminance component and the reference image of the color difference component.
  • the reference image data of the color difference component has not been transferred to the local memory 33 yet.
  • the conventional technology transfers the reference image data for the color difference component after the 1Z2 pixel accuracy motion detection is determined. There was a need to do.
  • the reference image data of the color difference component is transferred so as to include the search range of 1Z2 pixel accuracy motion detection.
  • the reference image data of the color difference component is transferred so as to include the search range of 1Z2 pixel accuracy motion detection.
  • the image data area is defined, and the reference image data of the color difference component in the area is transferred from the SDRAM 41 shown in FIG. 8 to the local memory 33 immediately after the motion vector is determined in the integer pixel precision motion detection.
  • step S46 in accordance with the 1Z2 pixel accuracy motion detection result in step S44, the luminance component reference image data and the color difference component reference image data stored in the local memory 33 are read, and motion compensation is performed. Do.
  • FIG. 10 is a correspondence table of luminance coordinates and color difference coordinates in Embodiment 2 of the present invention. This correspondence table is equally applicable to horizontal and vertical coordinates.
  • color difference data Since the reference image data of the color difference component (hereinafter referred to as color difference data) is half the amount of the reference image data of the luminance component (hereinafter referred to as luminance data) in each of the horizontal direction and the vertical direction, One color difference data corresponds to two luminance data in each direction. (In the entire screen, one color difference data corresponds to four luminance data.) In other words, as shown in FIG. 10, the luminance coordinate value “0” is changed to the color difference coordinate value “0”. When the coordinate value of “0.5”, “1” and “1.5J correspond to the coordinate value of color difference“ 0.5J ”and the coordinate value of luminance“ 2 ”corresponds to the coordinate value of color difference“ 1 ”, respectively. Condition. According to this coordinate transformation rule, For example, the ⁇ coordinate of the color difference data corresponding to the XY coordinate (1.5, 2.5) of the luminance data is (0.5, 1.5).
  • FIG. 11 is an explanatory diagram of the transfer range of color difference data according to the second embodiment of the present invention.
  • FIG. 11 shows an example of coordinate conversion from the coordinates of luminance data in the horizontal direction to the coordinates of color difference data in order to simplify the explanation.
  • the position of the integer pixel accuracy motion vector MV— ⁇ is found in the black circle integer pixel Fpl2 as a result of the integer pixel accuracy motion detection in the luminance data.
  • the coordinate positions where the 1Z2 pixel accuracy motion vector may be detected are the 1Z2 pixel Hpl l and 1Z2 pixel Hpl2 on the left and right of the integer pixel Fpl2, and the integer pixel Fp. 12 itself.
  • the X coordinate of the integer pixel Fp 12 is “2”
  • the X coordinates of the pixels Hpl l, Fpl2, and Hpl 2 from which 1Z2 pixel precision motion vectors may be detected are “1.5. ”,“ 2 ”,“ 2.5 ”.
  • the coordinates and pixels of the color difference data corresponding to the coordinates of the luminance data are the 1Z2 pixel Hp20 with the coordinate "0.5”, the integer pixel Fp21 with the coordinate "1”, and It becomes 1Z2 pixel Hp21 of “1.5”.
  • the coordinates of the pixels that may be generated as 8 pixels per line of color difference data are deviations in the following three cases.
  • the SDRAM 41 power may be transferred to the local memory 33 as well. By calculating in this way, it is possible to transfer color difference reference image data before 1Z2 pixel accuracy motion detection is completed.
  • the reference image data for motion compensation can be transferred without waiting for the result of 1Z2 pixel precision motion detection. Latency for acquiring data is reduced and latency of macroblock processing is improved.
  • FIG. 12 shows a pipeline configuration of a motion detection device according to the prior art. At the same time, Figure 12 shows the pipeline buffers required at each stage.
  • a reference image buffer (luminance) for holding the luminance data of the currently transferred reference image is required.
  • luminance data transfer and processing are performed simultaneously in stage-0 and stage-1 in different macroblock generations.
  • stage-1 performs integer pixel precision motion detection for the (n) th macroblock
  • stage-0 reference image data for integer pixel precision motion detection for the (n + 1) th macroblock Are being transferred in parallel.
  • the current macroblock buffer (brightness / color difference) is used to transfer the macroblock data (luminance data and color difference data) of the current image used for stage-1 integer pixel precision motion detection at stage-0 simultaneously. is necessary.
  • the motion detection device requires a four-stage pipeline, and a total of 10 pipeline buffers are required.
  • FIG. 13 shows the configuration of the pipeline of the motion detection device according to the second embodiment of the present invention.
  • data transfer for integer pixel accuracy motion detection is performed at stage-0
  • integer pixel accuracy motion detection is performed at stage-1
  • 1Z2 pixel accuracy motion detection data transfer is performed based on the result. I do.
  • stage-2 1Z2 pixel precision motion detection and motion compensation data (color difference data) transfer are performed in parallel, and then motion compensation is performed.
  • the transfer range of motion compensation data (color difference data) is specified based on the result of stage-1 integer pixel precision motion detection, and motion compensation data is detected.
  • Luminance data and color difference data can be transferred in parallel with 1Z2 pixel precision motion detection at stage-2, so the number of pipeline stages required is three. This is one step less than the prior art motion detector shown in FIG.
  • FIG. 13 also shows the pipeline buffer required at each stage of the pipeline.
  • the necessary pipeline buffers are a reference image buffer (luminance) for luminance data at each stage, a current macroblock buffer (luminance / color difference) for luminance data and color difference data, and stage—7 reference image buffers (color differences) for 2 color difference data.
  • the number of pipeline buffers can be reduced from 10 to 7 in the conventional motion detection device shown in FIG.
  • FIG. 14 is a block diagram of a motion detection apparatus according to Embodiment 3 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
  • the motion detection device of the present embodiment includes an integer pixel accuracy motion detector 21, a 1/2 pixel accuracy motion detector 22, a local memory 31, 32, an SDRAM 41, a DMA controller 42, and A processor 20 is provided.
  • 1Z2 pixel accuracy motion detection is performed after integer pixel accuracy motion detection, and 1Z4 pixel accuracy motion detection is not performed.
  • 1Z2 pixel accuracy motion detection the pixels of the reference image are not thinned out.
  • FIG. 15 is a flowchart of the motion detection apparatus according to the third embodiment of the present invention.
  • the motion detection apparatus of the present embodiment transfers reference image data for integer pixel precision motion detection from the SDRAM 41 to the local memory 31 in step S51.
  • step S52 integer pixel precision motion detection is performed.
  • step S53 the reference image data for 1Z2 pixel precision motion detection is converted to SDRAM4.
  • the transfer of the reference image data for 1Z2 pixel accuracy motion detection may be performed in parallel with the transfer of the reference image data for integer pixel accuracy motion detection in step S51, or the integer pixel accuracy motion detection in step S52. You may also go in parallel.
  • the area to which the reference image data for 1Z2 pixel accuracy motion detection is transferred is determined without depending on the search result of the integer pixel accuracy motion detection.
  • the determination method is the same as the determination method of the transfer area of the reference image data for 1Z4 pixel accuracy motion detection in Embodiment 1 of the present invention (see FIG. 6). That is, for 1Z2 pixel accuracy motion detection, the reference image data necessary for 1Z2 pixel accuracy motion detection is always included regardless of the position of the integer accuracy motion vector in the macro block in the current code. Determine the transfer area of the reference image data.
  • step S54 based on the search result of integer pixel precision motion detection in step S52, 1/2 pixel precision motion detection is performed using the reference image data for 1Z2 pixel precision motion detection transferred in step S53. .
  • reference image data for 1Z2 pixel accuracy motion detection can be transferred without waiting for the result of integer pixel accuracy motion detection, so 1Z2 pixel accuracy motion detection is possible.
  • the waiting time for the reference image data is reduced, and the latency of macroblock processing is improved.
  • FIG. 16 shows the configuration of the pipeline of the motion detection device according to the third embodiment of the present invention.
  • 1Z2 pixel precision motion detection is performed at stage-1 Therefore, the number of pipeline stages can be reduced by one.
  • the motion detection apparatus according to the fourth embodiment of the present invention has the same block configuration as the motion detection apparatus according to the first embodiment of the present invention shown in FIG. Therefore, the motion detection apparatus of this embodiment will be described with reference to FIG.
  • the motion detection device of this embodiment is a combination of Embodiment 1 and Embodiment 3 of the present invention, and performs integer pixel accuracy motion detection, 1Z2 pixel accuracy motion detection, and 1Z4 pixel accuracy motion detection. carry out.
  • the motion detection apparatus of this embodiment can perform reference image transfer for 1Z2 pixel accuracy motion detection without waiting for the result of integer pixel accuracy motion detection, and can perform reference image transfer for 1Z4 pixel accuracy motion detection. It can be started immediately after the motion vector is determined in integer pixel precision motion detection.
  • FIG. 17 is a flowchart of the motion detection apparatus according to the fourth embodiment of the present invention. With reference to FIG. 1, the operation of the motion detection apparatus of this embodiment will be described according to FIG.
  • step S61 transfer of integer pixel precision motion detection reference image data is performed.
  • step S62 integer pixel precision motion detection is performed.
  • step S63 1Z2 pixel precision motion detection reference image data is transferred.
  • step S64 based on the search result of the integer pixel accuracy motion detection in step S62, using the reference image data for 1Z2 pixel accuracy motion detection transferred in step S63, 1 /
  • step S65 the reference image data for 1Z4 pixel accuracy motion detection is transferred to the data transfer region determined based on the search result of the integer pixel accuracy motion detection in step S62.
  • step S66 based on the search result of 1Z2 pixel accuracy motion detection in step S64, the reference image data for 1Z4 pixel accuracy motion detection transferred in step S65 is used.
  • the motion detection device of the present embodiment does not wait for the result of integer pixel accuracy motion detection
  • 1Z2 pixel accuracy motion can be transferred because reference image data for 1Z2 pixel accuracy motion detection can be transferred.
  • the waiting time of the reference image data for detection is reduced.
  • the reference image data for 1Z4 pixel accuracy motion detection can be transferred without waiting for the result of 1Z2 pixel accuracy motion detection, the waiting time of the reference image data for 1Z4 pixel accuracy motion detection is reduced.
  • the latency of macroblock processing is greatly improved.
  • FIG. 18 shows the configuration of the pipeline of the motion detection device according to the fourth embodiment of the present invention.
  • the motion detection apparatus of this embodiment can transfer reference image data for 1Z2 pixel precision motion detection at stage-1 and 1 Z4 pixel precision motion detection at stage-2.
  • the reference image data can be transferred.
  • the number of pipeline stages is reduced by two.
  • the motion detection apparatus of this embodiment is determined only by the execution time of latency block motion vector detection in macroblock processing, and there is no delay due to data transfer! / With nephew! Has ⁇ ⁇ characteristics.
  • FIG. 19 is a block diagram of a motion detection apparatus according to Embodiment 5 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the motion detection device of this embodiment includes an integer pixel accuracy motion detector 21, a motion compensator 24, local memories 31, 32, SDRAM 41, a DMA controller 42, and a processor 20. .
  • motion compensation is performed after integer pixel precision motion detection.
  • FIG. 20 is a flowchart of the motion detection apparatus according to the fifth embodiment of the present invention.
  • the motion detection apparatus of this embodiment transfers the reference image data for integer pixel precision motion detection from the SDRAM 41 to the local memory 31 in step S71.
  • step S72 integer pixel precision motion detection is performed using the reference image data transferred to the local memory 31 in step S71.
  • step S73 the motion compensation reference image data is transferred from the SDRAM 41 to the local memory 32. This transfer of the reference image data is performed in parallel with the integer pixel accuracy motion detection in step S72.
  • step S74 using the motion compensation reference image data transferred in step S73, motion compensation is performed based on the integer pixel precision motion detection search result in step S72.
  • the reference image data for motion compensation can be transferred without waiting for the result of motion detection with integer pixel precision, so that the reference image data for motion compensation is transferred. Data waiting time is reduced and the latency of macroblock processing is improved.
  • FIG. 21 shows the configuration of the pipeline of the motion detection device according to the fifth embodiment of the present invention. According to the motion detection apparatus of this embodiment, since reference image data transfer for motion compensation can be performed at stage-1, the number of pipeline stages is reduced by one.
  • the transfer of reference image data for 1Z2 pixel accuracy motion detection and the transfer of reference image data for 1Z4 pixel accuracy motion detection are respectively Since it can be performed without waiting for the result of the pixel accuracy motion detection of the hierarchy, the delay associated with the transfer of the reference image data does not occur, and the latency of the macroblock processing is greatly improved. Further, according to the motion detection apparatus of the present invention, the number of pipeline stages and the number of pipeline buffers can be reduced. As a result, a moving image motion detection device capable of high-speed processing can be realized in a smaller size and at lower cost.
  • the gist of the present invention is to realize a moving image coding motion detection device that can improve the latency of macroblock processing accompanying reference image data transfer and can further reduce the required number of pipeline buffers. Therefore, various applications are possible without departing from the spirit of the present invention.
  • the motion detection apparatus can be used in, for example, a moving picture coding apparatus and its application fields.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　整数画素精度動き検出用参照画像データと符号化対象マクロブロック画像データが、ＳＤＲＡＭ（４１）からローカルメモリ（４１）に転送される。整数画素精度動き検出器（２１）によって整数画素精度動き検出が実施され、その結果を基に、１／４画素精度動き検出用参照画像データの転送領域が決定される。１／２画素精度動き検出用参照画像データの転送後、１／２画素精度動き検出器２２による１／２画素精度動き検出と、１／４画素精度動き検出用参照画像データの転送が同時に実行される。１／４画素精度動き検出器（２３）により１／４画素精度動き検出が実行される。この結果、パイプライン段数とパイプラインバッファ数が削減でき、パイプライン処理を高速化できる。

Description

動き検出装置
技術分野
[0001] 本発明は、動画像符号ィ匕技術に関し、特に、被符号化画像と参照画像とから被符 号ィ匕画像の動きベクトルを検出する動き検出装置に関するものである。
背景技術
[0002] 今日、動画像の伝送技術と蓄積技術は、我々の生活を豊かなものにする上で非常 に重要な技術となっている。
[0003] 例えば、携帯情報端末を用いた遠隔地でのテレビ電話が可能となって 、る。このテ レビ電話では、音声に同期させて、動画像を相互に伝送できるため、従来に比べより 豊かな表現力のあるコミュニケーションが実現ができる。テレビ電話の伝送路は無線 であり、現在の伝送速度は、 64kbps (bit per second)である。将来的には、 2Mb ps程度まで高速ィ匕される可能性はある。しかし、比較的低い伝送速度の下で、伝送 する画像の画質を向上させるためには、動画像の伝送技術、特に、動画像の圧縮符 号ィ匕技術が重要である。
[0004] もう一方の重要技術である動画像の蓄積技術は、年々発展して!/、る。近年では、 D VD (Digital Versatile Disk)レコーダを使って、ディジタル方式でテレビ番組を 録画することも可能となっている。 DVDレコーダは年々販売台数を伸ばし、 VHSレコ ーダが全て DVDレコーダに置き換わるのも時間の問題である。 VHSレコーダと同様 に、 DVDレコーダにおいても、高画質で長時間録画できることは、重要なセールスポ イントである。 DVDレコーダに使用される記録媒体（DVD—RAM、 DVD—RW、ブ ルーレイディスクなど）の記録密度は、年々向上している力 現状では、ハイビジョン 番組を高画質で長時間録画するまでには至って 、な 、。記録媒体の限られた領域 に、長時間の映像を画質を保ちつつ録画するためには、画質を落とさずに映像を低 ビットレートで符号ィ匕する動画像符号ィ匕技術が重要となる。
[0005] 動画像符号ィ匕技術には、様々な方式が提案されて！ヽる。画像圧縮技術の標準規 格としては、 ITU-T (国際電気通信連合電気通信標準化部門）の H. 261、 H. 263 、 ISO (国際標準化機構）の MPEG- 1、 MPEG- 2、 MPEG- 4などがある。（MPEG は、 Moving Picture Experts Groupの略語。 )
これらの動画像符号化処理において、符号化の対象となる入力画像は、縦 16画素 X横 16画素の輝度成分、縦 8画素 X横 8画素の色差成分 (Cb)、および、縦 8画素 X横 8画素の色差成分（Cr)力 構成されるマクロブロックに分割される。各マクロブ ロックは、参照画像力 最も類似したブロックが探索され (いわゆる動き検出処理が行 われ)、探索された参照画像のブロックとの差分がとられる。そして、その差分は周波 数領域に変換された後、可変長符号化されてビットストリームに変換される。
[0006] これらの符号化処理の中で、画質を大きく左右する処理が動き検出処理である。 M PEG符号ィ匕処理装置において、重要な構成要素である動き検出部について、先ず 、説明する。
[0007] 動き検出には、様々な手法が存在するが、最も代表的な方法がブロックマッチング 法である。ブロックマッチング法は、現画像のマクロブロックと、参照画像のある特定 の範囲（以降、探索範囲と呼ぶ)から生成される、マクロブロックと同じサイズのブロッ クとの間で、画素レベルの演算を行い、相関度を示す評価値を求め、その評価値が 最もよ 、結果となる参照画像上の位置を動きベクトルとして検出する方法である。評 価値として、一般に、差分絶対値和（SAD)や差分二乗和（SSD)が用いられ、その 値が小さ!/、ほど相関性が高 、とみなされる。
[0008] 従来、階層的に動き検出を実施する例がある。たとえば、文献 1 (日本国特開 2002 — 218474号公報）は、動きベクトルの検出を 1Z2画素精度で実施するために、第 1 ステップとして、比較的大きな探索範囲で整数画素精度の動きベクトル検出を実施し 、第 2ステップとして、第 1ステップで検出した動きベクトルの周囲で、かつ、第 1ステツ プより小さい探索範囲で、 1Z2画素精度の動きベクトルを検出する技術を開示して いる。
[0009] 図 22と図 23とを参照して、従来技術による動き検出の方法を具体的に説明する。
[0010] 図 22は、従来の一般的な動き検出部のブロック図である。図 22に示す従来の一般 的な動き検出部は、整数画素精度動き検出部 1、 1Z2画素精度動き検出部 2、動き 補償部 3、第 1ローカルメモリ 4、第 2ローカルメモリ 5、第 3ローカルメモリ 6、 DMAコン トローラ 7、及び、 SDRAM8を備える。
[0011] 図 23は、従来の一般的な動き検出部のフローチャートである。
[0012] 図 23のステップ S1において、 SDRAM8に格納されている入力画像から、符号化 対象のマクロブロック（以下、カレントマクロブロックと呼ぶ）を第 1ローカルメモリ 4へ転 送する。
[0013] ステップ S2において、カレントマクロブロック力 決定される動き検出範囲、すなわ ち、探索範囲の画像データ、例えば、— 32く =Xく = + 32、 - 32< =Y< = + 32 の探索範囲の画像データ力 参照画像として、 SDRAM8から第 1ローカルメモリ 4へ 転送される。
[0014] ステップ S3において、整数画素精度動き検出部 1は、第 1ローカルメモリ 4に転送さ れた、カレントマクロブロックと参照画像の探索範囲に対して、整数画素精度動き検 出を行う。整数画素精度動き検出では、整数画素精度動き検出部 1は、整数画素の みを用いて、カレントマクロブロックと最も相関の強い同じサイズのブロックを探索範 囲力 検出し、動きベクトルを求める。動きベクトルは、カレントマクロブロックの左端 上の座標に対する、検出したブロックの左端上の座標の相対位置で表現する。相関 の強さは、例えば、 2つのブロック内の対応する画素における輝度成分の差分絶対 値和（SAD)や差分二乗和（SSD)として評価される。
[0015] 階層化して動き検出を行う場合、一般的に整数画素精度動き検出は、それ以降の 階層の動き検出より探索範囲が大きい。そのため、必要とされるメモリ容量が大きくな る。
[0016] メモリ容量増大を回避するために、例えば、画素を間引いてメモリへ転送し、動き検 出の精度を落とす方法がある。図 24は、 1画素毎に間引かれた整数画素を示す。す なわち、図 24に示す例では、横方向に 1画素毎に画素 P2が間引かれて、画素 P1の みが参照画像として用いられる。このように間引くと、間引かない場合と比較して横方 向の検出精度が 1Z2に落ちる。しかし、第 1ローカルメモリ 4に確保されるべき参照 画像用の領域は、 1Z2に削減できる。この方法により、同じ探索範囲を少ないメモリ 容量で探索できる。または、同じメモリ容量で広範囲の動き検出を行うことができる。 どのような間引き方法を採用するかは、検出精度が落ちることによる画質劣化と、探 索範囲が広がることによる画質向上のトレードオフ関係により、決定される。
[0017] 図 23に戻って、ステップ S4において、ステップ S3の整数画素精度動き検出で求め た動きベクトル MV-INTを基に、 1Z2画素精度動き検出に必要な参照画像が、 S DRAM8から第 2ローカルメモリ 5へ転送される。
[0018] 上述したように、整数画素精度動き検出の参照画像の画素を間引いた場合、 1/2 画素精度動き検出のための参照画像を、 SDRAM8より再び取得する必要がある。 なぜなら、後述するように、規格上、 1Z2画素を算出するためには、必ず隣接する整 数画素が必要となる力 である。整数画素精度動きベクトル MV— INTの周辺 8点の 1Z2画素に対して、 1Z2画素精度動き検出を行う場合、 SDRAM8に格納されてい る参照画像から、動きベクトル MV— INTを基準として、 X方向に「一 1」、 Y方向に「 1」移動した座標位置から、横方向に 18画素、縦方向に 18ラインの画像が取得さ れ、第 2ローカルメモリ 5に転送される。 SDRAM8に対して、 32ビット単位のアクセス しかできない場合は、参照画像として必要のない画素データを読み出してしまう場合 があり、最大で横 24画素、縦 18ライン分の画像データを読み出す場合もある。
[0019] ステップ S5において、 1Z2画素精度動き検出部 2は、 1Z2画素精度動き検出を 実施する。例えば、動きベクトル MV— INTの周辺 8点において、ステップ S4におい て第 2ローカルメモリ 5に転送された参照画像を用いて、 1Z2画素を生成し、その 8 個の 1Z2画素及び探索中心位置の整数画素と、カレントマクロブロックとで差分絶 対値和演算を行う。
[0020] 図 25は、整数画素 Bの近傍に生成された 1Z2画素を示す。すなわち、探索中心 位置である整数画素 Bの周りに、 1Z2画素 a〜hが生成されている。 1Z2画素は、例 えば、 MPEG— 4のシンプルプロファイルの場合、整数画素 A〜Dを用いて、次のよ うに算出される。
[0021] 図 25の 1Z2画素 fと 1Z2画素 dは、それぞれ、
f= (A+B + C + D+ 2-R) /4
d= (A+B+ l -R) /2
と算出される。ここで、 Rは、 rounding controlと呼ばれ、「0」または「1」が代入され る。 [0022] 1Z2画素精度動き検出部 2は、探索中心位置の整数画素 Bとその周りの 8個の 1 Z2画素 a〜hの計 9点の画素に対して、差分絶対値和の値が最も小さくなる点を求 める。求めた差分絶対値和の値が最も小さくなる点に対する探索中心位置力ものォ フセット座標を、動きベクトル MV— INTに加算することにより、 1Z2画素精度の動き ベクトル MV— HALFが算出される。
[0023] さらに検出精度を向上させるために、 1Z2画素精度動き検出で求めた動きベクトル MV— HALFを基に、 1Z4画素精度動き検出を実施する場合もある。例えば、 1/2 画素精度動き検出と同様に、動きベクトル MV— HALFの周辺 8点において、参照 画像を用いて 1Z4画素を生成し、探索中心位置の 1Z2画素とその周りに生成した 8 個の 1Z4画素の計 9点の画素に対して、差分絶対値和の値が最も小さくなる点を探 索する。探索した点に対する探索中心位置力ものオフセット座標を、動きベクトル M V— HALFに加算することにより、 1Z4画素精度の動きベクトルを算出する。なお、 図 22及び図 23においては、 1Z4画素精度動き検出のための構成要素と処理ステツ プを省略して図示して 、な 、。
[0024] ステップ S6において、動き検出に続く動き補償のために、ステップ S5の 1Z2画素 精度動き検出において最終的に決定した動きベクトルが示す位置の参照画像が、 S DRAM8から第 3ローカルメモリ 6に転送される。
[0025] 一般的に、動きベクトル検出は、画素データの輝度成分に対して実施される。その ため、輝度成分に関しては、多くの場合、 1Z2画素精度動き検出で第 2ローカルメモ リ 5に取得した参照領域は、動き補償に必要な領域を包含している。データ転送量を 削減するために、第 2ローカルメモリ 5のデータを、第 3ローカルメモリ 6へ転送する場 合と、第 2ローカルメモリ 5を動き補償部 3が直接アクセスする場合とがある。ただし、 色差成分に関しては、第 2ローカルメモリ 5に転送されていないため、 SDRAM8より 第 3ローカルメモリ 6へ転送する必要がある。
[0026] ステップ S7にお ヽて、動き補償部 3は、動き補償を実施する。動き補償で取得する 色差成分の画像データは、輝度成分の動きベクトルに基づ ヽて決定される色差動き ベクトルによって決定される。 MPEG— 4の場合、輝度成分の動きベクトルの 1Z2倍 したものが色差成分の動きベクトルとして定義される。例えば、輝度成分の動きべタト ルの XY座標（0. 5、 1. 5)は、 1Ζ2倍すると、 (0. 25、 0. 75)になるが、これは（0. 5、 0. 5)に丸められる。
[0027] 前述したとおり、動画像符号化処理は、動き検出、動き補償、 DCT、可変長符号化 などの複数の処理から構成される。これらの処理を、一つのハードウェア資源 (例え ばプロセッサ）を用いて、マクロブロック単位に実行する場合、一つのマクロブロックの 処理が終了するまで、次のマクロブロック処理が開始できない。このような逐次処理で は、画面サイズや入力のフレームレートが大きい場合、マクロブロック処理が間に合 わずに、コマ落ちが生じてしまうことがある。
[0028] これを解決するために、処理単位毎のハードウェア資源を用意し、マクロブロック処 理をパイプライン的に実行する方法がある。
[0029] 図 26は、動画像符号ィ匕処理のフローチャートである。図 26に示すように、一般的な 動画像符号化処理は、ステップ S11の動き検出、ステップ S12の動き補償、ステップ S13の DCTZ量子化処理、及び、ステップ S 14の可変長符号化処理力もなる。これ らの処理を、 4段のパイプランに分割すると、図 27のような処理になる。
[0030] 図 27は、動画像符号化のパイプライン処理を示す。同図において、横軸は時間を 表し、各処理の 0内の数字は、処理しているマクロブロック番号を示す。図 27に示す ように、パイプライン処理では、マクロブロック番号「0」の動き検出処理が終了すると、 マクロブロック番号「0」の動き補償処理が開始され、それと同時に、マクロブロック番 号「1」の動き検出の処理がスタートする。
[0031] 図 27に示す 4つの処理のうち、最も処理時間が長い処理の処理時間を時間 Tとす ると、パイプライン処理では、時間 Tの間隔でストリーム化されたマクロブロックが出力 されることになる。 4つの処理の合計時間を時間 Uとすると、 1マクロブロックあたりの 処理時間は、逐次処理では時間 U,パイプライン処理では時間 Tとなり、 U > T は自明であるため、パイプライン処理によって、マクロブロック処理のスループットが 向上する。
[0032] しかし、このようなパイプライン処理を実行するためには、各処理の間にパイプライ ンバッファが必要となる。パイプラインバッファとは、パイプラインの切れ目でデータを 保持しておくための中間バッファである。よって、パイプラインィ匕は、性能とコストのトレ ードオフを考慮して実施しなければならな 、。
[0033] 図 28は、動き検出のフローチャートである。図 28は、複数に階層化された動き検出 における、ある階層の動き検出の処理フローを示している。
[0034] ステップ S21において、第 (m—1)階層（mは 2以上の自然数)の動き検出が行わ れる。ステップ S21において行われる第 (m—1)階層の動き検出力 図 24に示したよ うな間引された参照画像に対して実施される場合、ステップ S22において、第 (m—1 )階層で検出された動きベクトルを基に、次の第 (m)階層の動き検出のための参照 画像データを転送しなければならない。ステップ S23において、転送された参照画像 データを用いて、第 (m)階層の動き検出が行われる。
[0035] 図 29は、動き検出のパイプラインの構成を示し、図 28の動き検出に対応するもの である。動き検出において、広い範囲を探索する場合、その探索範囲のデータを取 得するためのデータ転送に時間を要する。そのため、図 29に示すパイプラインの構 成例では、 stage (k+ 1)に、データ転送のためのパイプラインステージを設けて、ス ループットを向上させるている。
[0036] 以上説明したような、従来技術による手法は、パイプライン処理によって動画像処 理のスループットが向上する反面、動き検出の階層が増えた場合には、ノ ィプライン 段数が深くなり、レイテンシが増大すると同時に、必要なパイプラインバッファの数が 増大するという欠点がある。
特許文献 1：特開 2002— 218474号公報 (第 3図）
特許文献 2：特開 2001— 15872号公報
発明の開示
発明が解決しょうとする課題
[0037] そこで本発明は、パイプライン処理における時間遅延を低減してフレーム遅延の発 生を抑制し、さらに、パイプラインバッファの数を削減できる、動画像符号化用の動き 検出装置を提供することを目的とする。
課題を解決するための手段
[0038] 第 1の発明に係る動き検出装置は、参照画像と被符号化画像との相関により、階層 的に動きベクトルを検出する動き検出装置であって、プロセッサと、第 1段階の動きべ タトル検出用の第 1参照画像を格納する第 1記憶手段と、第 1記憶手段に格納された 第 1参照画像を用いて、第 1段階の動きベクトルを検出する第 1動き検出手段と、第 1 動き検出手段で検出した第 1段階の動きベクトルを用いて実施する第 2段階の動きべ タトル検出のための第 2参照画像を格納する第 2記憶手段と、第 2記憶手段に格納さ れた第 2参照画像を用いて、第 2段階の動きべ外ルを検出する第 2動き検出手段と 、第 2動き検出手段で検出した第 2段階の動きべ外ルを用いて実施する第 3段階の 動きベクトル検出のための第 3参照画像を格納する第 3記憶手段と、第 3記憶手段に 格納された第 3参照画像を用いて、第 3段階の動きベクトルを検出する第 3動き検出 手段と、参照画像と被符号化画像を格納する主記憶手段と、主記憶手段と第 1記憶 手段の間のデータ転送、主記憶手段と第 2記憶手段の間のデータ転送、及び、主記 憶手段と第 3記憶手段の間のデータ転送を制御するデータ転送制御手段とを備え、 第 1段階の動きベクトルの参照が必要な場合、プロセッサは、第 2段階の動きベクトル の検出が完了する前に、第 1段階で検出した動きベクトルに基づいて、主記憶手段 から第 3記憶手段へ第 3参照画像のデータを転送し、第 1段階の動きベクトルの参照 が不必要な場合、プロセッサは、第 1段階の動きベクトルの検出が完了する前に、主 記憶手段から第 3記憶手段へ第 3参照画像のデータを転送する。
[0039] この構成によれば、第 1段階で検出した動きベクトルを参照する場合、第 3段階の 動きベクトル検出用の参照画像の転送と、第 2段階の動きベクトル検出の実行を同時 に実施するため、第 3段階の動きべ外ル検出が遅延なく開始できる。また、第 1段階 で検出した動きベクトルを参照しない場合、第 3段階の動きベクトルの検出を遅延なく 開始できる。
[0040] 第 2の発明に係る動き検出装置は、参照画像と被符号化画像との相関により、階層 的に動きベクトルを検出する動き検出装置であって、プロセッサと、第 1段階の動きべ タトル検出用の第 1参照画像を格納する第 1記憶手段と、第 1記憶手段に格納された 第 1参照画像を用いて、第 1段階の動きベクトルを検出する第 1動き検出手段と、第 1 動き検出手段で検出した第 1段階の動きベクトルを用いて実施する第 2段階の動きべ タトル検出のための第 2参照画像を格納する第 2記憶手段と、第 2記憶手段に格納さ れた第 2参照画像を用いて、第 2段階の動きべ外ルを検出する第 2動き検出手段と 、第 2動き検出手段で検出した第 2段階の動きべ外ルを用いて実施する動き補償の ための第 3参照画像を格納する第 3記憶手段と、第 3記憶手段に格納された第 3参照 画像を用いて、動き補償を実施する動き補償手段と、参照画像と被符号化画像を格 納する主記憶手段と、主記憶手段と第 1記憶手段の間のデータ転送、主記憶手段と 第 2記憶手段の間のデータ転送、及び、主記憶手段と第 3記憶手段の間のデータ転 送を制御するデータ転送制御手段とを備え、第 1段階の動きベクトルの参照が必要 な場合、プロセッサは、第 2段階の動きベクトルの検出が完了する前に、第 1段階で 検出した動きベクトルに基づいて、主記憶手段から第 3記憶手段へ第 3参照画像の データを転送し、第 1段階で検出した動きベクトル非参照の場合、プロセッサは、第 1 段階の動きベクトルの検出が完了する前に、主記憶手段から第 3記憶手段へ第 3参 照画像のデータを転送する。
[0041] この構成によれば、第 1段階で検出した動きべ外ルを参照する場合、動き補償用 の参照画像の転送と、第 2段階の動きベクトル検出の実行を同時に実施するため、 動き補償が遅延なく開始できる。また、第 1段階で検出した動きべ外ルを参照しない 場合、第 3段階の動き補償を遅延なく開始できる。
[0042] 第 3の発明に係る動き検出装置は、参照画像と被符号化画像との相関により、階層 的に動きベクトルを検出する動き検出装置であって、プロセッサと、第 1段階の動きべ タトル検出用の第 1参照画像を格納する第 1記憶手段と、第 1記憶手段に格納された 第 1参照画像を用いて、第 1段階の動きベクトルを検出する第 1動き検出手段と、第 1 動き検出手段で検出した第 1段階の動きベクトルを用いて実施する第 2段階の動きべ タトル検出のための第 2参照画像を格納する第 2記憶手段と、第 2記憶手段に格納さ れた第 2参照画像を用いて、第 2段階の動きべ外ルを検出する第 2動き検出手段と 、参照画像と被符号化画像を格納する主記憶手段と、主記憶手段と第 1記憶手段の 間のデータ転送、及び、主記憶手段と第 2記憶手段の間のデータ転送を制御するデ ータ転送制御手段とを備え、プロセッサは、第 1段階の動きベクトル検出が完了する 前に、主記憶手段から第 2記憶手段へ第 2参照画像のデータを転送する。
[0043] この構成によれば、第 2段階の動きベクトル検出用の参照画像の転送と、第 1段階 の動きベクトル検出の実行を同時に実施するため、第 2段階の動きベクトル検出が遅 延なく開始できる。
[0044] 第 4の発明に係る動き検出装置は、参照画像と被符号化画像との相関により、動き ベクトルを検出する動き検出装置であって、プロセッサと、第 1段階の動きベクトル検 出用の第 1参照画像を格納する第 1記憶手段と、第 1記憶手段に格納された第 1参 照画像を用いて、第 1段階の動きベクトルを検出する第 1動き検出手段と、第 1動き検 出手段で検出した第 1段階の動きべ外ルを用いて実施する動き補償のための第 2 参照画像を格納する第 2記憶手段と、第 2記憶手段に格納された第 2参照画像を用 いて、動き補償を実施する動き補償手段と、参照画像と被符号化画像を格納する主 記憶手段と、主記憶手段と第 1記憶手段の間のデータ転送、及び、主記憶手段と第 2記憶手段の間のデータ転送を制御するデータ転送制御手段とを備え、プロセッサ は、第 1段階の動きベクトルの検出が完了する前に、主記憶手段から第 2記憶手段へ 第 2参照画像のデータを転送する。
[0045] この構成によれば、動き補償用の参照画像の転送と、第 1段階の動きベクトル検出 の実行を同時に実施するため、動き補償用が遅延なく開始できる。
[0046] 第 5の発明に係る動き検出装置では、第 1動き検出手段は、整数画素精度の動き ベクトルを検出する。
[0047] 第 6の発明に係る動き検出装置では、第 2動き検出手段は、 1Z2画素精度の動き ベクトルを検出する。
[0048] 第 7の発明に係る動き検出装置では、第 3動き検出手段は、 1Z4画素精度の動き ベクトルを検出する。
[0049] これらの構成によれば、整数画素精度の動きベクトル検出から 1Z4画素精度の動 きベクトル検出まで、段階的に実行できる。さらに、整数画素精度の動きベクトル検出 までを行う動き検出装置、 1Z2画素精度の動きベクトル検出までを行う動き検出装 置、あるいは、 1Z4画素精度の動きベクトル検出までを行う動き検出装置を、応用目 的に応じて随意に構成できる。
[0050] 第 8の発明に係る動き検出装置では、動き補償手段は、輝度画像の動き補償を実 施する。
[0051] この構成によれば、輝度データに対して動き補償を行う動き検出装置を実現できる [0052] 第 9の発明に係る動き検出装置では、動き補償手段は、色差画像の動き補償を実 施する。
[0053] この構成によれば、色差データに対して動き補償を行う動き検出装置を実現できる
[0054] 第 10の発明に係る動き検出装置では、第 1記憶手段と第 2記憶手段とは、メモリで 実装され、第 1記憶手段のメモリサイズは、第 2記憶手段のメモリサイズより大きい。
[0055] この構成によれば、第 1記憶手段を利用する第 1動き検出手段は、第 2記憶手段を 利用する第 2動き検出手段よりも、より広い範囲にわたって動きベクトルを探索するこ とがでさる。
[0056] 第 11の発明に係る動き検出装置では、第 2記憶手段と第 3記憶手段とは、メモリで 実装され、第 2記憶手段のメモリサイズは、第 3記憶手段のメモリサイズより大きい。
[0057] この構成によれば、第 2記憶手段を利用する第 2動き検出手段は、第 3記憶手段を 利用する第 3動き検出手段よりも、より広い範囲にわたって動きベクトルを探索するこ とがでさる。
[0058] 第 12の発明に係る動き検出装置では、第 2記憶手段には、データ転送制御手段と 第 2動き検出手段の 、ずれか一方がアクセスする。
[0059] 第 13の発明に係る動き検出装置では、第 3記憶手段には、データ転送制御手段と 第 3動き検出手段の 、ずれか一方がアクセスする。
[0060] 第 14の発明に係る動き検出装置では、第 3記憶手段には、データ転送制御手段と 動き補償手段の 、ずれか一方がアクセスする。
[0061] これらの構成によれば、パイプラインバッファを設けなくても、データ転送と動き検出 を実行できる。
[0062] 第 15の発明に係る動き検出装置では、第 1動き検出手段で検出した動きベクトルを 基準にして、必要な範囲の参照画像のデータが、第 2記憶手段から第 3記憶手段へ 転送される。
[0063] この構成によれば、主記憶手段から第 3記憶手段へのデータ転送を割愛できる。
[0064] 第 16の発明に係る動き検出装置では、第 1動き検出手段で検出した動きベクトルを 基準にして、必要な範囲の参照画像のデータが、第 1記憶手段から前記第 2記憶手 段へ転送される。
[0065] この構成によれば、主記憶手段から第 2記憶手段へのデータ転送を割愛できる。
発明の効果
[0066] 本発明によれば、パイプライン処理における時間遅延を低減してフレーム遅延の発 生を抑制し、さらに、パイプラインバッファの数を削減できる、動画像符号化用の動き 検出装置を提供することができる。
図面の簡単な説明
[0067] [図 1]本発明の実施の形態 1における動き検出装置のブロック図
[図 2]本発明の実施の形態 1における動き検出装置のフローチャート
[図 3]本発明の実施の形態 1における参照画像の 1Z4に間引かれた整数画素配置 図
[図 4]本発明の実施の形態 1における参照画像の 1Z4に間引かれた 1Z2画素配置 図
[図 5]本発明の実施の形態 1における参照画像の 1Z4画素配置図
[図 6]本発明の実施の形態 1における参照画像の転送範囲を示す説明図
[図 7]本発明の実施の形態 1における動き検出装置のノ ィプラインの構成図
[図 8]本発明の実施の形態 2における動き検出装置のブロック図
[図 9]本発明の実施の形態 2における動き検出装置のフローチャート
[図 10]本発明の実施の形態 2における輝度座標と色差座標の対応表
[図 11]本発明の実施の形態 2における色差データの転送範囲の説明図
[図 12]従来技術による動き検出装置のパイプライン構成図
[図 13]本発明の実施の形態 2における動き検出装置のノ ィプラインの構成図
[図 14]本発明の実施の形態 3における動き検出装置のブロック図
[図 15]本発明の実施の形態 3における動き検出装置のフローチャート
[図 16]本発明の実施の形態 3における動き検出装置のノ ィプラインの構成図
[図 17]本発明の実施の形態 4における動き検出装置のフローチャート
[図 18]本発明の実施の形態 4における動き検出装置のノ ィプラインの構成図 [図 19]本発明の実施の形態 5における動き検出装置のブロック図
[図 20]本発明の実施の形態 5における動き検出装置のフローチャート
[図 21]本発明の実施の形態 5における動き検出装置のノ ィプラインの構成図
[図 22]従来の一般的な動き検出部のブロック図
[図 23]従来の一般的な動き検出部のフローチャート
[図 24] 1画素毎に間引かれた整数画素の例示図
[図 25]整数画素 Bの近傍に生成された 1Z2画素の例示図
[図 26]動画像符号ィ匕処理のフローチャート
[図 27]動画像符号ィ匕のパイプライン処理の例示図
[図 28]動き検出のフローチャート
[図 29]動き検出のパイプラインの構成図
符号の説明
1 整数画素精度動き検出部
2 1Z2画素精度動き検出部
3 動き補償部
4 第 1ローカルメモリ
5 第 2ローカルメモリ
6 第 3ローカルメモリ
7 DMAコントローラ
8 SDRAM
20 プロセッサ
21 整数画素精度動き検出器
22 1Z2画素精度動き検出器
23 1Z4画素精度動き検出器
24 動き補償器
31、 32、 33 ローカルメモジ
41 SDRAM
42 DMAコントローラ 発明を実施するための最良の形態
[0069] 次に、図面を参照しながら、本発明の実施の形態を説明する。
[0070] (実施の形態 1)
図 1は、本発明の実施の形態 1における動き検出装置のブロック図である。本形態 の動き検出装置は、図 1に示すように、整数画素精度動き検出器 21、 1Z2画素精度 動き検出器 22、 1Z4画素精度動き検出器 23、ローカルメモリ 31、 32、 33、 SDRA M41、 DMAコントローラ 42、及び、プロセッサ 20を備える。
[0071] 整数画素精度動き検出器 21は、第 1動き検出手段に相当し、 1Z2画素精度動き 検出器 22は、第 2動き検出手段に相当し、 1Z4画素精度動き検出器 23は、第 3動 き検出手段に相当する。
[0072] ローカルメモリ 31は、第 1記憶手段に相当し、整数画素精度動き検出器 21が使用 する参照画像データと符号化対象のマクロブロックの画像データを格納する。ロー力 ルメモリ 32は、第 2記憶手段に相当し、 1Z2画素精度動き検出器 22が使用する参 照画像データと符号化対象のマクロブロックの画像データを格納する。ローカルメモ リ 33は、第 3記憶手段に相当し、 1Z4画素精度動き検出器 23が使用する参照画像 データと符号化対象のマクロブロックの画像データを格納する。 SDRAM41は、主 記憶装置に相当し、現フレームと参照フレームの画像データを格納する。
[0073] DMAコントローラ 42は、データ転送制御手段に相当し、 SDRAM41とローカルメ モリ 31、 32、 33の間のデータ転送を制御する。プロセッサ 20は、動き検出装置全体 の処理を制御する。また、図 1において、実線はデータ線を表し、点線は制御線を表 す。
[0074] 図 2は、本発明の実施の形態 1における動き検出装置のフローチャートである。図 1 を参照しつつ、図 2に従って、本形態の動き検出装置の動作を説明する。
[0075] ステップ S31において、整数画素精度動き検出に使用する参照画像データと符号 化対象のマクロブロックの画像データが、 DMAコントローラ 42の制御の下、 SDRA
M41からローカルメモリ 31に転送される。
[0076] ステップ S32において、整数画素精度動き検出器 21は、ローカルメモリ 31に転送さ れた参照画像データと符号化対象のマクロブロックの画像データを使用して、整数画 素精度動き検出を実施する。整数画素動き検出は、ブロックマッチング法に従って実 施される。
[0077] 以下の説明では、本形態の整数画素精度動き検出を、水平方向に 1Z4に間引か れた参照画像に対して実施する例について述べる。
[0078] 図 3は、本発明の実施の形態 1における参照画像の 1Z4に間引かれた整数画素 配置図である。同図において、白丸の画素 Fplは、間引かれていない整数画素を表 し、黒丸の画素 Fp2は、間引かれた整数画素を表す。この例では、参照画像は、水 平方向に 1Z4に間引かれている。水平方向で 4画素単位に有効データが存在する ため、水平方向の動き検出の精度が 1Z4になる。
[0079] 整数画素精度動き検出の方法は、数多く提案されており、代表的なものとして、全 探索、勾配法、ダイアモンドサーチ、 One— at— a— Timeなどがある。本発明では、 どの方法を用いても良い。また、整数画素精度動き検出の評価関数には、従来技術 の差分絶対値和、差分二乗和などが利用できる。
[0080] 図 2に戻り、ステップ S33において、 1Z2画素精度動き検出に使用される参照画像 データと符号化対象のマクロブロックの画像データ力 プロセッサ 20の命令によって 、 SDRAM41からローカルメモリ 32に転送される。
[0081] ステップ S34において、 1Z2画素精度動き検出器 22は、整数画素精度動き検出 で検出した動きベクトルの周辺で、 1Z2画素精度動き検出を実施する。本形態の 1 Z2画素精度動き検出では、整数画素精度動き検出で検出した動きベクトルの周辺 の 8個の 1Z2画素に対して、 1Z2画素精度動き検出が実施される。
[0082] 以下の説明では、本形態の 1Z2画素精度動き検出を、水平方向に 1Z4に間引か れた参照画像に対して実施する例について述べる。
[0083] 図 4は、本発明の実施の形態 1における参照画像の 1Z4に間引かれた 1Z2画素 配置図である。図 4において、白丸の画素 Fplは、間引かれていない整数画素を表 し、黒丸の画素 Fp2は、間引かれた整数画素を表す。また、小さい白丸の画素 Hp 1 は、間引かれていない整数画素 Fplから算出された 1Z2画素を表す。
[0084] 1Z2画素は、前述したように、整数画素値の平均で算出する。図 4に示すように、 ある探索位置に注目すると、 1Z2画素は、横方向に 4画素単位で有効である。また、 同じ 1Z4に間引きされた処理でも、 1Z2画素精度動き検出には、整数画素精度動 き検出の時に比較して、より多くの参照画像データが必要になることが分かる。
[0085] 図 2に戻り、ステップ S35において、 1Z4画素精度動き検出に使用される参照画像 データと符号化対象のマクロブロックの画像データ力 プロセッサ 20からの命令によ つて、 SDRAM41からローカルメモリ 33に転送される。
[0086] ステップ S36において、 1Z4画素精度動き検出器 23は、 1Z2画素精度動き検出 で検出した動きベクトルの周辺で、 1Z4画素精度動き検出を実施する。
[0087] 動き検出の最後の階層である 1Z4画素精度動き検出では、動き検出の精度を向 上させるために、画素の間引きは行われない。
[0088] 図 5は、本発明の実施の形態 1における参照画像の 1Z4画素配置図である。図 5 において、白丸の画素 Fplは、整数画素を表し、小さい白丸の画素 Hplは、 1Z2画 素を表し、小さい黒丸の画素 Qplは、 1Z4画素を表す。画素 Fpl,画素 Hpl,及び
、画素 Qplの符号付けは、代表的であって、すべての画素に符号を付しているので はない。
[0089] 1Z4画素の算出は、 1Z2画素が整数画素から算出された場合と同様に、 1Z2画 素の平均値として求められる。図 5に示した 1Z4画素の配置、 1Z4画素を算出する ための 1Z2画素の配置、さらに、 1Z2画素を算出するための整数画素の配置から 明白なように、 1Z4画素精度動き検出では整数画素を間引くことができない。従って 、間引きのある 1Z2画素力 の 1Z2画素精度動き検出が終了したら、 1Z4画素精 度動き検出用として、間引きのない参照画像データを転送する必要がある。
[0090] ところで、前述したように、 1Z4画素精度動き検出用の参照画像データの転送の終 了を待って、 1Z4画素精度動き検出を実施すると、 1Z4画素精度動き検出の開始 が遅くなり、レイテンシが増加する。そこで、図 2に示すステップ S35では、整数画素 精度動き検出が終了した時点で、 1Z2画素精度動き検出における探索範囲を含む ように、 1Z4画素精度動き検出用のデータを転送する。
[0091] 図 6は、本発明の実施の形態 1における参照画像の転送範囲を示す説明図である 。図 6において、各画素の符号は、図 5と同様であり、説明を省略する。
[0092] 図 6に示す例では、符号化するマクロブロックは、 3画素 X 3画素から構成されると 仮定している。（実際は、符号化するマクロブロックは、 16画素 X 16画素から構成さ れる。）実線の枠 51が、整数画素精度動き検出でマッチングの取れたマクロブロック であり、その整数画素精度動きベクトル MV— INTの位置は、枠 51の左上の画素 Fp 3の座標で与えられる。点線で示す枠 52は、 1Z4画素精度動き検出用に転送すベ き参照画像の範囲を示す。すなわち、枠 52は、 1Z2画素精度動き検出において、 画素 Fp3で示される動きベクトル MV— INTの位置から、その周辺の 8個の 1Z2画 素の 、ずれに 1Z2画素精度動きベクトル MV— HALFの検出結果が落ち着 ヽても 、次の 1Z4画素精度動き検出のための 1Z4画素を生成するために必要な整数画 素が必ず含まれるような画素の範囲を示して!/ヽる。
[0093] このように、 1Z4画素精度動き検出のための参照画像データの転送範囲を枠 52で 示す範囲に設定すれば、 1Z4画素精度動き検出のための参照画像データを、整数 画素精度動き検出において動きベクトル MV— INTが確定した段階で、図 1の SDR AM41からローカルメモリ 33へ転送することができる。この結果、 1Z2画素精度動き 検出の結果を待たずに、 1Z4画素精度動き検出用の参照画像データを転送できる ため、 1Z4画素精度動き検出のデータ待ち時間が削減され、マクロブロック処理の レイテンシが改善する。
[0094] 図 7は、本発明の実施の形態 1における動き検出装置のパイプラインの構成を示す 。図 7は、本形態の動き検出装置の処理のパイプラインが、動き検出処理と参照画像 DMA転送処理とに分けて、 stage— 0から stage— 4にわたつて構成されていること を表している。上述したように、本形態の動き検出装置では、 stage— 3において、 1 Z2画素精度動き検出と同時に、 1Z4画素精度動き検出用の参照画像データの転 送が実施できるため、パイプラン段数を一段少なく出来る。
[0095] 以上説明したように、本形態の動き検出装置によれば、パイプライン段数を一段少 なくできて、その分だけ動き検出処理を高速に実施できるので、ノ ィプライン処理に おける時間遅延を低減してフレーム遅延の発生を抑制出来る。
[0096] (実施の形態 2)
図 8は、本発明の実施の形態 2における動き検出装置のブロック図である。図 8にお いて、図 1と同様な構成要素については、同一の符号を付すことにより、説明を省略 する。
[0097] 本形態の動き検出装置は、図 8に示すように、整数画素精度動き検出器 21、 1/2 画素精度動き検出器 22、動き補償器 24、ローカルメモリ 31、 32、 33、 SDRAM41, DMAコントローラ 42、及び、プロセッサ 20を備える。
[0098] ローカルメモリ 31は、第 1記憶手段に相当し、整数画素精度動き検出器 21が使用 する参照画像データと符号化対象のマクロブロックの画像データを格納する。ロー力 ルメモリ 32は、第 2記憶手段に相当し、 1Z2画素精度動き検出器 22が使用する参 照画像データと符号化対象のマクロブロックの画像データを格納する。ローカルメモ リ 33は、第 3記憶手段に相当し、動き補償器 24が使用する参照画像データと符号化 対象のマクロブロックの画像データを格納する。 SDRAM41は、主記憶装置に相当 し、現フレームと参照フレームの画像データを格納する。
[0099] DMAコントローラ 42は、データ転送制御手段に相当し、 SDRAM41とローカルメ モリ 31、 32、 33の間のデータ転送を制御する。プロセッサ 20は、動き検出装置全体 の処理を制御する。また、図 8において、実線はデータ線を表し、点線は制御線を表 す。
[0100] 本形態の動き検出装置では、動き検出は、整数画素精度と 1Z2画素精度の 2階層 で実施され、 1Z4画素精度動き検出は実施されない。また、 1Z2画素精度動き検 出では、参照画像の画素を間引かないものとする。 1Z2画素精度動き検出の後、動 き補償が実施される。
[0101] 図 9は、本発明の実施の形態 2における動き検出装置のフローチャートである。
[0102] 図 8を参照しつつ、図 9に従って、本形態の動き検出装置の動作を説明する。
[0103] ステップ S41における整数画素精度動き検出用の参照画像データと符号化対象の マクロブロック画像データの転送、ステップ S42における整数画素精度動き検出、ス テツプ S43における 1Z2画素精度動き検出用の参照画像データと符号ィ匕対象のマ クロブロック画像データの転送、及び、ステップ S44における 1Z2画素精度動き検出 は、図 2に示した本発明の実施の形態 1における動き検出装置のフローチャートのス テツプ S31、ステップ S32、ステップ S33、及び、ステップ S34と同様であり、説明を省 略する。 [0104] ステップ S44において、 1Z2画素精度動き検出が終了すると、次に動き補償を実 施する。動き補償は、輝度成分の参照画像と、色差成分の参照画像に対して実施さ れる。しかし、この段階では、色差成分の参照画像データは、ローカルメモリ 33にま だ転送されていない。また、色差成分の参照画像データ領域は、輝度成分の動きべ タトルが確定した後でなければ特定できないため、従来技術では、 1Z2画素精度動 き検出の確定後に、色差成分の参照画像データを転送する必要があった。
[0105] そこで、本形態の動き検出装置では、ステップ S45において、整数画素動きべタト ルが確定した段階で、 1Z2画素精度動き検出の探索範囲を含むように、色差成分 の参照画像データの転送を開始する。すなわち、実施の形態 1における図 2のステツ プ S35の 1Z4画素精度動き検出用参照画像転送と同様に、 1Z2画素精度動き検 出のいかなる探索結果にも対応できるように、必要な色差成分の参照画像データ領 域を定義し、その領域の色差成分の参照画像データを、整数画素精度動き検出に おける動きベクトルの決定直後に、図 8に示す SDRAM41からローカルメモリ 33へ 転送する。
[0106] ステップ S46において、ステップ S44における 1Z2画素精度動き検出結果に従つ て、ローカルメモリ 33に格納されている、輝度成分の参照画像データと色差成分の 参照画像データとを読出し、動き補償を行う。
[0107] 上述したステップ S45における色差成分の参照画像データの具体的な転送方法を さらに説明する。
[0108] 図 10は、本発明の実施の形態 2における輝度座標と色差座標の対応表である。こ の対応表は、水平方向と垂直方向の座標に等しく適用できる。
[0109] 色差成分の参照画像データ（以下、色差データと呼ぶ）は、水平方向と垂直方向の それぞれにおいて、輝度成分の参照画像データ (以下、輝度データと呼ぶ)の半分 の量であるため、それぞれの方向で輝度データ 2つに対して色差データ 1つが対応 する。（画面全体では、輝度データ 4つに対して色差データ 1つが対応する。）すなわ ち、図 10に示すように、輝度の座標値「0」は、色差の座標値「0」に、輝度の座標値「 0. 5」「1」「1. 5Jは、色差の座標値「0. 5Jに、輝度の座標値「2」は、色差の座標値「 1」に、それぞれ対応するといつた具合である。この座標変換ルールによれば、たとえ ば、輝度データの XY座標（1. 5、 2. 5)に対応する色差データの ΧΥ座標は、（0. 5 、 1. 5)である。
[0110] 動き補償において、被符号ィ匕マクロブロックの 16画素 X 16画素の輝度データに対 応して生成しなければならない色差データは、 8画素 X 8画素である。図 11は、本発 明の実施の形態 2における色差データの転送範囲の説明図である。図 11は、説明を 簡単にするために、水平方向における輝度データの座標から色差データの座標に 座標変換する例を示して ヽる。
[0111] いま、輝度データにおいて、整数画素精度動き検出の結果、整数画素精度動きべ タトル MV— ΙΝΤの位置は、黒丸の整数画素 Fpl2に求まったと仮定する。次の階層 の 1Z2画素精度動き検出では、 1Z2画素精度動きベクトルが検出される可能性の ある座標位置は、整数画素 Fpl2の左右の 1Z2画素 Hpl lと 1Z2画素 Hpl2、およ び、整数画素 Fp 12そのものである。例えば、整数画素 Fp 12の X座標が「2」である場 合、 1Z2画素精度動きベクトルが検出される可能性のある画素 Hpl l, Fpl2, Hpl 2の X座標は、それぞれ、「1. 5」、「2」、「2. 5」となる。
[0112] これらの輝度データの座標に対応する色差データの座標と画素は、図 10の座標変 換ルールより、座標「0. 5」の 1Z2画素 Hp20、座標「1」の整数画素 Fp21、座標「1 . 5」の 1Z2画素 Hp21となる。つまり、色差データの 1ライン 8画素分として生成さ れる可能性のある画素の座標は、次の 3つの場合の 、ずれかである。
(1) 0. 5、 1. 5、 2. 5、 3. 5、 4. 5、 5. 5、 6. 5、 7. 5
(2) 1. 0、 2. 0、 3. 0、 4. 0、 5. 0、 6. 0、 7. 0、 8. 0
(3) 1. 5、 2. 5、 3. 5、 4. 5、 5. 5、 6. 5、 7. 5、 8. 5
座標「0. 5」の 1/2画素 Hp20から座標「7. 5」の 1/2画素 Hp27までを含む場合 (1)の色差データを生成するためには、座標「0」の整数画素 Fp20から座標「8. 0」 の整数画素 Fp28までを、 SDRAM41からローカルメモリ 33に転送する必要がある。
[0113] 座標「1. 5」の整数画素 Hp21から座標「8. 5」の整数画素 Hp28を含む場合（3)の 色差データを生成するためには、座標「1」の整数画素 Fp21から座標「9. 0」の整数 画素 Fp29までを、 SDRAM41からローカルメモリ 33に転送する必要がある。
[0114] 以上より、場合（1)、（2)、（3)の色差データをすベて生成できるようにするためには 、座標「0」の整数画素 Fp20から座標「9. 0」の整数画素 Fp29までを、 SDRAM41 力もローカルメモリ 33に転送すれば良い。このように計算することで、 1Z2画素精度 動き検出が終了する前に、色差の参照画像データを転送することが可能である。
[0115] このように、本形態の動き検出装置によれば、 1Z2画素精度動き検出の結果を待 たずに、動き補償用の参照画像データを転送できるため、動き補償に必要な参照画 像データを取得するための待ち時間が削減され、マクロブロック処理のレイテンシが 改善する。
[0116] ここで、本形態の動き検出装置における必要なパイプライン段数とパイプラインバッ ファ数の削減効果をより明確にするため、従来技術と比較しょう。
[0117] 図 12は、従来技術による動き検出装置のパイプライン構成を示す。同時に、図 12 には、各段で必要なパイプラインバッファを示して 、る。
[0118] 図 12に示すように、 stage— 0において、現在転送している参照画像の輝度データ を保持するための参照画像バッファ (輝度）が必要となる。これは、異なるマクロブロッ ク世代において、データ転送と処理が stage— 0と stage— 1で同時に実施されている ためである。例えば、 stage— 1で (n)番目のマクロブロックの整数画素精度動き検出 を実行して 、る時に、 stage— 0で (n+ 1)番目のマクロブロックの整数画素精度動き 検出用の参照画像データを並行して転送している。この時、（n)番目のマクロブロック の整数画素精度動き検出で参照して 、るメモリ領域を破壊しな 、ために、 stage - 0 におけるデータ転送のために別途バッファを設ける必要がある。さらに、 stage— 1の 整数画素精度動き検出に使用する現画像のマクロブロックデータ (輝度データと色差 データ）を、 stage— 0において同時に転送するために、現マクロブロックバッファ（輝 度 ·色差)が必要である。
[0119] 従来技術による動き検出装置では、動き補償用データの転送が、 stage— 2の 1Z
2画素精度動き検出が完了した後に実行されるため、動き補償を stage— 2とは別の s tage— 3で行う必要がある。これは、 1Z2画素精度動き検出と動き補償の処理を同 じ段に収めることが性能的に難しいためである。この結果、 stage— 2に、輝度データ 転送用の参照画像バッファ (輝度）と、色差データ転送用の参照画像バッファ (色差） と、 stage— 3に、輝度データ動き補償用の参照画像バッファ (輝度）と、色差データ 動き補償用の参照画像バッファ (色差)とが必要となる。
[0120] このように、従来技術による動き検出装置では、 4段のパイプラインが必要であり、 ノ ィプラインバッファは、合計 10個必要である。
[0121] 図 13は、本発明の実施の形態 2における動き検出装置のパイプラインの構成を示 す。本形態のパイプライン構成によれば、 stage— 0において整数画素精度動き検出 用データ転送を行い、 stage— 1において整数画素精度動き検出を行い、その結果 を受けて 1Z2画素精度動き検出用データ転送を行う。 stage— 2において 1Z2画素 精度動き検出と動き補償用データ (色差データ)転送を並行して行 、、その後動き補 償を実施する。
[0122] このように、本形態の動き検出装置によれば、 stage— 1の整数画素精度動き検出 の結果によって、動き補償用データ (色差データ)の転送範囲を特定して、動き補償 用データ (輝度データと色差データ）の転送を、 stage— 2にお 、て 1Z2画素精度動 き検出と並行して実施できるので、必要なパイプライン段数は、 3段である。これは、 図 12に示した従来技術による動き検出装置よりも 1段少ない。
[0123] 図 13には、パイプラインの各段で必要となるノ ィプラインバッファも同時に示してい る。本形態の動き検出装置では、必要なパイプラインバッファは、各段の輝度データ 用の参照画像バッファ (輝度）と、輝度データと色差データ用の現マクロブロックバッ ファ (輝度 ·色差）、及び、 stage— 2の色差データ用の参照画像バッファ (色差)の、 計 7個である。すなわち、本形態の動き検出装置では、 stage— 3が不要となった効 果として、パイプラインバッファ数を、図 12に示した従来技術による動き検出装置の 1 0個から 7個に削減できる。
[0124] (実施の形態 3)
図 14は、本発明の実施の形態 3における動き検出装置のブロック図である。図 14 において、図 1と同様な構成要素については、同一の符号を付すことにより、説明を 省略する。
[0125] 本形態の動き検出装置は、図 14に示すように、整数画素精度動き検出器 21、 1/ 2画素精度動き検出器 22、ローカルメモリ 31、 32、 SDRAM41, DMAコントローラ 42、及び、プロセッサ 20を備える。 [0126] 本形態の動き検出装置では、整数画素精度動き検出の後に、 1Z2画素精度動き 検出を実施し、 1Z4画素精度動き検出は実施しない。また、 1Z2画素精度動き検 出では、参照画像の画素を間引かないものとする。
[0127] 図 15は、本発明の実施の形態 3における動き検出装置のフローチャートである。
[0128] 図 15に示すように、本形態の動き検出装置は、ステップ S51において、整数画素 精度動き検出用の参照画像データを SDRAM41からローカルメモリ 31に転送する。
[0129] ステップ S52において、整数画素精度動き検出を行う。
[0130] ステップ S53において、 1Z2画素精度動き検出用の参照画像データを SDRAM4
1からローカルメモリ 32に転送する。この 1Z2画素精度動き検出用の参照画像デー タの転送は、ステップ S51の整数画素精度動き検出用の参照画像データの転送と並 行して行っても良いし、ステップ S52の整数画素精度動き検出と並行して行っても良 い。
[0131] 1Z2画素精度動き検出用の参照画像データの転送する領域は、整数画素精度動 き検出の探索結果に依存せずに決定される。その決定の方法は、本発明の実施の 形態 1における 1Z4画素精度動き検出用の参照画像データの転送領域の決定の方 法と同様である（図 6参照)。すなわち、現在符号ィ匕中のマクロブロックに対して、整数 精度動きベクトルがどの位置に落ち着いても、 1Z2画素精度動き検出に必要な参照 画像データが必ず含まれるように、 1Z2画素精度動き検出用の参照画像データの 転送する領域を決定する。
[0132] ステップ S54において、ステップ S52の整数画素精度動き検出の探索結果を基に、 ステップ S53で転送した 1Z2画素精度動き検出用の参照画像データを用いて、 1/ 2画素精度動き検出を行う。
[0133] このように、本形態の動き検出装置によれば、整数画素精度動き検出の結果を待 たずに、 1Z2画素精度動き検出用の参照画像データを転送できるため、 1Z2画素 精度動き検出用の参照画像データの待ち時間が削減され、マクロブロック処理のレイ テンシが改善する。
[0134] 図 16は、本発明の実施の形態 3における動き検出装置のパイプラインの構成を示 す。本形態の動き検出装置によれば、 stage— 1において、 1Z2画素精度動き検出 用の参照画像データ転送が実施できるため、パイプラン段数がひとつ少なくて済む。
[0135] (実施の形態 4)
本発明の実施の形態 4の動き検出装置は、図 1に示した本発明の実施の形態 1の 動き検出装置と同じブロック構成である。従って、本形態の動き検出装置の説明は、 図 1を参照して行う。
[0136] 本形態の動き検出装置は、本発明の実施の形態 1と実施の形態 3を組み合わせた ものであり、整数画素精度動き検出、 1Z2画素精度動き検出、及び、 1Z4画素精度 動き検出を実施する。また、本形態の動き検出装置は、 1Z2画素精度動き検出用の 参照画像転送を整数画素精度動き検出の結果を待たずに実施でき、かつ、 1Z4画 素精度動き検出用の参照画像転送を、整数画素精度動き検出において動きべタト ルが確定した直後に開始できる。
[0137] 図 17は、本発明の実施の形態 4における動き検出装置のフローチャートである。図 1を参照しつつ、図 17に従って、本形態の動き検出装置の動作を説明する。
[0138] ステップ S61において、整数画素精度動き検出用参照画像データの転送を行う。
[0139] ステップ S62において、整数画素精度動き検出を行う。
[0140] ステップ S62と同時に、ステップ S63において、 1Z2画素精度動き検出用参照画 像データの転送を行う。
[0141] ステップ S64において、ステップ S62の整数画素精度動き検出の探索結果を基に、 ステップ S63で転送した 1Z2画素精度動き検出用の参照画像データを用いて、 1/
2画素精度動き検出を行う。
[0142] ステップ S64と同時に、ステップ S65において、ステップ S62の整数画素精度動き 検出の探索結果を基に決定されたデータ転送領域について、 1Z4画素精度動き検 出用参照画像データの転送を行う。
[0143] ステップ S66において、テツプ S64の 1Z2画素精度動き検出の探索結果を基に、 ステップ S65で転送した 1Z4画素精度動き検出用の参照画像データを用いて、 1/
4画素精度動き検出を行う。
[0144] このように、本形態の動き検出装置は、整数画素精度動き検出の結果を待たずに、
1Z2画素精度動き検出用の参照画像データを転送できるため、 1Z2画素精度動き 検出用の参照画像データの待ち時間が削減される。さらに、 1Z2画素精度動き検出 の結果を待たずに、 1Z4画素精度動き検出用の参照画像データを転送できるため 、 1Z4画素精度動き検出用の参照画像データの待ち時間が削減される。この結果、 本形態の動き検出装置によれば、マクロブロック処理のレイテンシが大幅に改善する
[0145] 図 18は、本発明の実施の形態 4における動き検出装置のパイプラインの構成を示 す。図 18に示すように、本形態の動き検出装置は、 stage— 1において、 1Z2画素 精度動き検出用の参照画像データの転送が実施でき、かつ、 stage— 2において、 1 Z4画素精度動き検出用の参照画像データの転送が実施できる。その結果、本形態 の動き検出装置では、パイプライン段数が 2段削減される。さらに、本形態の動き検 出装置は、マクロブロック処理のレイテンシカ 動きベクトル検出の実行時間のみによ つて決定され、データ転送による遅延が生じな！/ヽと！ヽぅ特徴を有する。
[0146] (実施の形態 5)
図 19は、本発明の実施の形態 5における動き検出装置のブロック図である。図 19 において、図 1と同様な構成要素については、同一の符号を付すことにより、説明を 省略する。
[0147] 本形態の動き検出装置は、図 19に示すように、整数画素精度動き検出器 21、動き 補償器 24、ローカルメモリ 31、 32、 SDRAM41, DMAコントローラ 42、及び、プロ セッサ 20を備える。
[0148] 本形態の動き検出装置では、整数画素精度動き検出の後に、動き補償を行う。
[0149] 図 20は、本発明の実施の形態 5における動き検出装置のフローチャートである。
[0150] 図 20に示すように、本形態の動き検出装置は、ステップ S71において、整数画素 精度動き検出用の参照画像データを SDRAM41からローカルメモリ 31に転送する。
[0151] ステップ S72において、ステップ S71においてローカルメモリ 31に転送された参照 画像データを用いて、整数画素精度動き検出を行う。
[0152] ステップ S73において、動き補償用の参照画像データを SDRAM41からローカル メモリ 32に転送する。この参照画像データの転送は、ステップ S72の整数画素精度 動き検出と並行して実施する。 [0153] ステップ S74において、ステップ S73で転送した動き補償用の参照画像データを用 いて、ステップ S72の整数画素精度動き検出の探索結果を基に、動き補償を行う。
[0154] このように、本形態の動き検出装置によれば、整数画素精度動き検出の結果を待 たずに、動き補償用の参照画像データを転送できるため、動き補償用の参照画像デ ータの待ち時間が削減され、マクロブロック処理のレイテンシが改善する。
[0155] 図 21は、本発明の実施の形態 5における動き検出装置のパイプラインの構成を示 す。本形態の動き検出装置によれば、 stage— 1において、動き補償用の参照画像 データ転送が実施できるため、パイプラン段数がひとつ少なくて済む。
[0156] 以上説明したように、本発明の動き検出装置によれば、 1Z2画素精度動き検出用 の参照画像データの転送と 1Z4画素精度動き検出用の参照画像データの転送とを 、それぞれ上位の階層の画素精度動き検出の結果を待たずに、実施できるので、参 照画像データの転送に伴う遅延が生ぜず、マクロブロック処理のレイテンシが大幅に 改善する。また、本発明の動き検出装置によれば、パイプライン段数の削減と、パイ プラインバッファ数の削減が可能となる。この結果、高速処理可能な動画像の動き検 出装置を、より小型に低コストで実現できる。
[0157] 本発明の趣旨は、参照画像データの転送に伴うマクロブロック処理のレイテンシを 改善し、さらに、パイプラインバッファの必要個数を削減できる、動画像符号化用動き 検出装置を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の 適用が可能である。
産業上の利用可能性
[0158] 本発明に係わる動き検出装置は、例えば、動画像の符号ィ匕装置とその応用分野に おいて利用できる。

Claims

請求の範囲
[1] 参照画像と被符号ィ匕画像との相関により、階層的に動きベクトルを検出する動き検出 装置であって、
プロセッサと、
第 1段階の動きベクトル検出用の第 1参照画像を格納する第 1記憶手段と、 前記第 1記憶手段に格納された第 1参照画像を用いて、第 1段階の動きベクトルを 検出する第 1動き検出手段と、
前記第 1動き検出手段で検出した前記第 1段階の動きべ外ルを用いて実施する第 2段階の動きベクトル検出のための第 2参照画像を格納する第 2記憶手段と、 前記第 2記憶手段に格納された第 2参照画像を用いて、第 2段階の動きベクトルを 検出する第 2動き検出手段と、
前記第 2動き検出手段で検出した前記第 2段階の動きべ外ルを用いて実施する第 3段階の動きベクトル検出のための第 3参照画像を格納する第 3記憶手段と、 前記第 3記憶手段に格納された第 3参照画像を用いて、第 3段階の動きベクトルを 検出する第 3動き検出手段と、
前記参照画像と前記被符号化画像を格納する主記憶手段と、
前記主記憶手段と前記第 1記憶手段の間のデータ転送、前記主記憶手段と前記 第 2記憶手段の間のデータ転送、及び、前記主記憶手段と前記第 3記憶手段の間の データ転送を制御するデータ転送制御手段とを備え、
前記第 1段階の動きベクトルの参照が必要な場合、前記プロセッサは、前記第 2段 階の動きベクトルの検出が完了する前に、前記第 1段階で検出した動きベクトルに基 づ 、て、前記主記憶手段から前記第 3記憶手段へ第 3参照画像のデータを転送し、 前記第 1段階の動きベクトルの参照が不必要な場合、前記プロセッサは、前記第 1 段階の動きベクトルの検出が完了する前に、前記主記憶手段から前記第 3記憶手段 へ第 3参照画像のデータを転送する動き検出装置。
[2] 参照画像と被符号化画像との相関により、階層的に動きべクトルを検出する動き検出 装置であって、
プロセッサと、 第 1段階の動きベクトル検出用の第 1参照画像を格納する第 1記憶手段と、 前記第 1記憶手段に格納された第 1参照画像を用いて、第 1段階の動きベクトルを 検出する第 1動き検出手段と、
前記第 1動き検出手段で検出した前記第 1段階の動きべ外ルを用いて実施する第 2段階の動きベクトル検出のための第 2参照画像を格納する第 2記憶手段と、 前記第 2記憶手段に格納された第 2参照画像を用いて、第 2段階の動きベクトルを 検出する第 2動き検出手段と、
前記第 2動き検出手段で検出した前記第 2段階の動きべ外ルを用いて実施する動 き補償のための第 3参照画像を格納する第 3記憶手段と、
前記第 3記憶手段に格納された第 3参照画像を用いて、動き補償を実施する動き 補償手段と、
前記参照画像と前記被符号化画像を格納する主記憶手段と、
前記主記憶手段と前記第 1記憶手段の間のデータ転送、前記主記憶手段と前記 第 2記憶手段の間のデータ転送、及び、前記主記憶手段と前記第 3記憶手段の間の データ転送を制御するデータ転送制御手段とを備え、
前記第 1段階の動きベクトルの参照が必要な場合、前記プロセッサは、前記第 2段 階の動きベクトルの検出が完了する前に、前記第 1段階で検出した動きベクトルに基 づ 、て、前記主記憶手段から前記第 3記憶手段へ第 3参照画像のデータを転送し、 前記第 1段階の動きベクトルの参照が不必要な場合、前記プロセッサは、前記第 1 段階の動きベクトルの検出が完了する前に、前記主記憶手段から前記第 3記憶手段 へ第 3参照画像のデータを転送する動き検出装置。
参照画像と被符号化画像との相関により、階層的に動きべクトルを検出する動き検出 装置であって、
プロセッサと、
第 1段階の動きベクトル検出用の第 1参照画像を格納する第 1記憶手段と、 前記第 1記憶手段に格納された第 1参照画像を用いて、第 1段階の動きベクトルを 検出する第 1動き検出手段と、
前記第 1動き検出手段で検出した前記第 1段階の動きべ外ルを用いて実施する第 2段階の動きベクトル検出のための第 2参照画像を格納する第 2記憶手段と、 前記第 2記憶手段に格納された第 2参照画像を用いて、第 2段階の動きベクトルを 検出する第 2動き検出手段と、
前記参照画像と前記被符号化画像を格納する主記憶手段と、
前記主記憶手段と前記第 1記憶手段の間のデータ転送、及び、前記主記憶手段と 前記第 2記憶手段の間のデータ転送を制御するデータ転送制御手段とを備え、 前記プロセッサは、前記第 1段階の動きベクトル検出が完了する前に、前記主記憶 手段から前記第 2記憶手段へ第 2参照画像のデータを転送する動き検出装置。
[4] 参照画像と被符号ィ匕画像との相関により、動きべ外ルを検出する動き検出装置であ つて、
プロセッサと、
第 1段階の動きベクトル検出用の第 1参照画像を格納する第 1記憶手段と、 前記第 1記憶手段に格納された第 1参照画像を用いて、第 1段階の動きベクトルを 検出する第 1動き検出手段と、
前記第 1動き検出手段で検出した前記第 1段階の動きべ外ルを用いて実施する動 き補償のための第 2参照画像を格納する第 2記憶手段と、
前記第 2記憶手段に格納された第 2参照画像を用いて、動き補償を実施する動き 補償手段と、
前記参照画像と前記被符号化画像を格納する主記憶手段と、
前記主記憶手段と前記第 1記憶手段の間のデータ転送、及び、前記主記憶手段と 前記第 2記憶手段の間のデータ転送を制御するデータ転送制御手段とを備え、 前記プロセッサは、前記第 1段階の動きベクトルの検出が完了する前に、前記主記 憶手段から前記第 2記憶手段へ第 2参照画像のデータを転送する動き検出装置。
[5] 前記第 1動き検出手段は、整数画素精度の動きベクトルを検出する、請求項 1記載 の動き検出装置。
[6] 前記第 2動き検出手段は、 1Z2画素精度の動きベクトルを検出する、請求項 1記載 の動き検出装置。
[7] 前記第 3動き検出手段は、 1Z4画素精度の動きベクトルを検出する、請求項 1記載 の動き検出装置。
[8] 前記動き補償手段は、輝度画像の動き補償を実施する、請求項 2記載の動き検出装 置。
[9] 前記動き補償手段は、色差画像の動き補償を実施する、請求項 2記載の動き検出装 置。
[10] 前記第 1記憶手段と前記第 2記憶手段とは、メモリで実装され、前記第 1記憶手段の メモリサイズは、前記第 2記憶手段のメモリサイズより大きい、請求項 1記載の動き検 出装置。
[11] 前記第 2記憶手段と前記第 3記憶手段とは、メモリで実装され、前記第 2記憶手段の メモリサイズは、前記第 3記憶手段のメモリサイズより大きい、請求項 1記載の動き検 出装置。
[12] 前記第 2記憶手段には、前記データ転送制御手段と前記第 2動き検出手段のいず れか一方がアクセスする、請求項 1記載の動き検出装置。
[13] 前記第 3記憶手段には、前記データ転送制御手段と前記第 3動き検出手段のいず れか一方がアクセスする、請求項 1記載の動き検出装置。
[14] 前記第 3記憶手段には、前記データ転送制御手段と前記動き補償手段のいずれ力ゝ 一方がアクセスする、請求項 2記載の動き検出装置。
[15] 前記第 1動き検出手段で検出した動きベクトルを基準にして、必要な範囲の参照画 像のデータが、前記第 2記憶手段から前記第 3記憶手段へ転送される、請求項 1記 載の動き検出装置。
[16] 前記第 1動き検出手段で検出した動きベクトルを基準にして、必要な範囲の参照画 像のデータが、前記第 1記憶手段から前記第 2記憶手段へ転送される、請求項 3記 載の動き検出装置。
PCT/JP2005/012568 2004-07-13 2005-07-07 動き検出装置 Ceased WO2006006489A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006528968A JP4709155B2 (ja) 2004-07-13 2005-07-07 動き検出装置
US11/579,898 US20080031335A1 (en) 2004-07-13 2005-07-07 Motion Detection Device
EP20050765586 EP1768420A1 (en) 2004-07-13 2005-07-07 Motion detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-205806 2004-07-13
JP2004205806 2004-07-13

Publications (1)

Publication Number Publication Date
WO2006006489A1 true WO2006006489A1 (ja) 2006-01-19

Family

ID=35783833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/012568 Ceased WO2006006489A1 (ja) 2004-07-13 2005-07-07 動き検出装置

Country Status (6)

Country Link
US (1) US20080031335A1 (ja)
EP (1) EP1768420A1 (ja)
JP (1) JP4709155B2 (ja)
KR (1) KR20090014371A (ja)
CN (1) CN100553342C (ja)
WO (1) WO2006006489A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152805A (ja) * 2007-12-19 2009-07-09 Canon Inc 動画像符号化装置、動画像符号化装置の制御方法及びコンピュータプログラム
WO2015030226A1 (ja) * 2013-09-02 2015-03-05 三菱電機株式会社 動き探索処理装置及び画像符号化装置及び動き探索処理方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
US20090323807A1 (en) * 2008-06-30 2009-12-31 Nicholas Mastronarde Enabling selective use of fractional and bidirectional video motion estimation
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
CN115985202B (zh) * 2022-12-26 2025-06-24 歌尔科技有限公司 调节设备、显示屏幕、调整方法、显示设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
JPH06197322A (ja) * 1992-12-24 1994-07-15 Matsushita Electric Ind Co Ltd 動き検出回路
JPH11167629A (ja) * 1997-09-03 1999-06-22 Matsushita Electric Ind Co Ltd プロセッサ
JP2002218474A (ja) * 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157641C (zh) * 1997-09-03 2004-07-14 松下电器产业株式会社 处理器
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
JPH06197322A (ja) * 1992-12-24 1994-07-15 Matsushita Electric Ind Co Ltd 動き検出回路
JPH11167629A (ja) * 1997-09-03 1999-06-22 Matsushita Electric Ind Co Ltd プロセッサ
JP2002218474A (ja) * 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152805A (ja) * 2007-12-19 2009-07-09 Canon Inc 動画像符号化装置、動画像符号化装置の制御方法及びコンピュータプログラム
WO2015030226A1 (ja) * 2013-09-02 2015-03-05 三菱電機株式会社 動き探索処理装置及び画像符号化装置及び動き探索処理方法及びプログラム

Also Published As

Publication number Publication date
CN100553342C (zh) 2009-10-21
KR20090014371A (ko) 2009-02-10
CN1954616A (zh) 2007-04-25
JP4709155B2 (ja) 2011-06-22
US20080031335A1 (en) 2008-02-07
JPWO2006006489A1 (ja) 2008-04-24
EP1768420A1 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
CN100525456C (zh) 运动检测装置
US8203648B2 (en) Motion vector detecting apparatus and motion vector detecting method
CN101164336B (zh) 影像信息记录装置以及影像信息记录方法
JPH09247688A (ja) Ｍｐｅｇ２・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減
JPWO2008136178A1 (ja) 動き検出装置、動き検出方法、及び動き検出プログラム
CN101895765A (zh) 代码转换器、记录装置和代码转换方法
US6438254B1 (en) Motion vector detection method, motion vector detection apparatus, and data storage media
US20080089418A1 (en) Image encoding apparatus and memory access method
US20050276327A1 (en) Method and apparatus for predicting motion
WO2006006489A1 (ja) 動き検出装置
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2000333184A (ja) 動きベクトル検出方法，動きベクトル検出装置，及びデータ記録媒体
JP4346573B2 (ja) 符号化装置と方法
WO2025001955A1 (zh) 视频编码方法、装置、电子设备及可读存储介质
JPH11239352A (ja) 画像処理方法及び画像処理装置、並びにデータ記憶媒体
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP2000069484A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
JPH10327416A (ja) 動画像符号化装置
JPWO2010021153A1 (ja) 動き検出装置
JPWO2007055013A1 (ja) 画像復号化装置および方法、画像符号化装置
JP4021800B2 (ja) 動画像符号化装置，方法および動画像符号化プログラム
JPH08265773A (ja) 階層型動きベクトル検出方法及びその装置
KR100892471B1 (ko) 움직임 검출 장치
KR100708183B1 (ko) 움직임 추정을 위한 영상 데이터 저장 장치 및 그 데이터저장 방법
WO2006103984A1 (ja) 動き検出装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067022100

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006528968

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11579898

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580015434.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2005765586

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 1020067022100

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005765586

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11579898

Country of ref document: US