[go: up one dir, main page]

WO2015056712A1 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム - Google Patents

動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム Download PDF

Info

Publication number
WO2015056712A1
WO2015056712A1 PCT/JP2014/077436 JP2014077436W WO2015056712A1 WO 2015056712 A1 WO2015056712 A1 WO 2015056712A1 JP 2014077436 W JP2014077436 W JP 2014077436W WO 2015056712 A1 WO2015056712 A1 WO 2015056712A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
motion information
prediction
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/077436
Other languages
English (en)
French (fr)
Inventor
信哉 志水
志織 杉本
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to KR1020167007560A priority Critical patent/KR101750421B1/ko
Priority to JP2015542635A priority patent/JPWO2015056712A1/ja
Priority to US15/029,553 priority patent/US10911779B2/en
Priority to CN201480056611.6A priority patent/CN105612748B/zh
Publication of WO2015056712A1 publication Critical patent/WO2015056712A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to a moving image encoding method, a moving image decoding method, a moving image encoding device, a moving image decoding device, a moving image encoding program, and a moving image decoding program for encoding and decoding multi-viewpoint moving images.
  • This application claims priority based on Japanese Patent Application No. 2013-216526 for which it applied to Japan on October 17, 2013, and uses the content here.
  • multi-view images composed of a plurality of images obtained by photographing the same subject and background with a plurality of cameras. These moving images taken by a plurality of cameras are called multi-view moving images (or multi-view images).
  • an image (moving image) captured by one camera is referred to as a “two-dimensional image (two-dimensional moving image)”, and the same subject and background have different positions and orientations (hereinafter referred to as viewpoints).
  • viewpoints A group of two-dimensional images (two-dimensional moving images) photographed by these cameras is referred to as “multi-view images (multi-view images)”.
  • the two-dimensional moving image has a strong correlation in the time direction, and the encoding efficiency can be increased by using the correlation.
  • the encoding efficiency can be increased by using this correlation.
  • H. an international encoding standard.
  • high-efficiency encoding is performed using techniques such as motion compensation prediction, orthogonal transform, quantization, and entropy encoding.
  • H.M. In H.264, encoding using temporal correlation between a frame to be encoded and a plurality of past or future frames is possible.
  • H. The details of the motion compensation prediction technique used in H.264 are described in Non-Patent Document 1, for example.
  • H. An outline of the motion compensation prediction technique used in H.264 will be described.
  • H. H.264 motion compensation prediction divides the encoding target frame into blocks of various sizes, and allows each block to have different motion vectors and different reference frames. By using a different motion vector for each block, it is possible to achieve highly accurate prediction that compensates for different motions for each subject. On the other hand, by using a different reference frame for each block, it is possible to realize highly accurate prediction in consideration of occlusion caused by temporal changes.
  • the difference between the multi-view image encoding method and the multi-view image encoding method is that, in addition to the correlation between cameras, the multi-view image has a temporal correlation at the same time. However, in either case, correlation between cameras can be used in the same way. Therefore, here, a method used in encoding a multi-view video is described.
  • FIG. 8 is a conceptual diagram illustrating the parallax that occurs between the cameras (the first camera and the second camera).
  • the image plane of the camera whose optical axes are parallel is looked down vertically. In this way, the position where the same part on the subject is projected on the image plane of a different camera is generally called a corresponding point.
  • each pixel value of the encoding target frame is predicted from the reference frame based on the correspondence relationship, and the prediction residual and the disparity information indicating the correspondence relationship are encoded. Since the parallax changes for each target camera pair and position, it is necessary to encode the parallax information for each region where the parallax compensation prediction is performed. In fact, H. In the H.264 multi-view video encoding scheme, a vector representing disparity information is encoded for each block using disparity compensation prediction.
  • Correspondence given by the parallax information can be represented by a one-dimensional quantity indicating the three-dimensional position of the subject instead of a two-dimensional vector based on epipolar geometric constraints by using camera parameters.
  • information indicating the three-dimensional position of the subject there are various expressions, but the distance from the reference camera to the subject or the coordinate value on the axis that is not parallel to the image plane of the camera is often used. In some cases, the reciprocal of the distance is used instead of the distance. In addition, since the reciprocal of the distance is information proportional to the parallax, there are cases where two reference cameras are set and the three-dimensional position is expressed as the amount of parallax between images captured by these cameras. Since there is no essential difference no matter what expression is used, in the following, information indicating these three-dimensional positions is expressed as depth without distinguishing by expression.
  • FIG. 9 is a conceptual diagram of epipolar geometric constraints.
  • the point on the image of another camera corresponding to the point on the image of one camera is constrained on a straight line called an epipolar line.
  • the corresponding point is uniquely determined on the epipolar line.
  • the corresponding point in the second camera image corresponding to the subject projected at the position m in the first camera image is on the epipolar line when the subject position in the real space is M ′.
  • the subject position in the real space is M ′′, it is projected at the position m ′′ on the epipolar line.
  • Non-Patent Document 2 using this property, a composite image for the encoding target frame is generated from the reference frame in accordance with the three-dimensional information of each subject given by the depth map (distance image) for the reference frame.
  • the synthesized image As a candidate for a predicted image for each region, highly accurate prediction is realized, and efficient multi-view video encoding is realized.
  • a composite image generated based on this depth is called a viewpoint composite image, a viewpoint interpolation image, or a parallax compensation image.
  • high-efficiency prediction can be realized by a viewpoint synthesized image that has been subjected to high-precision parallax compensation using three-dimensional information of a subject obtained from a depth map. .
  • the existing prediction for each area and the prediction based on the viewpoint composite image even when a viewpoint composite image with low accuracy is generated partially due to the influence of depth map quality and occlusion, By selecting whether or not the viewpoint composite image is a predicted image for each region, it is possible to prevent the code amount from increasing.
  • Non-Patent Document 2 when the accuracy of the three-dimensional information represented by the depth map is low, the parallax is compensated only with low accuracy compared to the parallax compensation prediction using a general parallax vector. Therefore, there is a problem that highly efficient prediction cannot be realized.
  • the present invention has been made in view of such circumstances, and even when the accuracy of the amount of parallax expressed by the depth map is low, it is possible to realize highly accurate prediction and realize highly efficient encoding. It is an object of the present invention to provide a moving image encoding method, a moving image decoding method, a moving image encoding device, a moving image decoding device, a moving image encoding program, and a moving image decoding program.
  • One aspect of the present invention provides a reference viewpoint that is motion information of a reference viewpoint image with respect to a reference viewpoint that is different from the encoding target image when one frame of a multi-viewpoint moving image including a plurality of different viewpoint moving images is encoded. Encoding is performed for each encoding target region that is a region obtained by dividing the encoding target image while predicting between different viewpoints using motion information and a depth map for a subject in the multi-viewpoint moving image.
  • a moving image encoding apparatus wherein a corresponding region setting unit that sets a corresponding region on the depth map and a prediction region that is a region obtained by dividing the encoding target region are set for the encoding target region And a disparity vector for generating a disparity vector for the reference viewpoint using depth information in a region corresponding to the prediction region in the corresponding region for each prediction region
  • the disparity vector generation unit further generates a disparity vector for the depth map for the encoding target region, and the corresponding region setting unit for the depth map An area indicated by a disparity vector may be set as the corresponding area.
  • the disparity vector generation unit sets the disparity vector for the depth map using a disparity vector used when encoding an area adjacent to the encoding target area. May be.
  • the region dividing unit may set region division for the encoding target region based on depth information in the corresponding region.
  • the disparity vector generation unit sets, for each prediction region, a representative depth from the depth information in the region corresponding to the prediction region in the corresponding region, and the representative depth
  • the disparity vector for the reference viewpoint may be set based on
  • the motion information generation unit calculates a corresponding position in the reference viewpoint using a pixel position predetermined for the prediction region and the disparity vector with respect to the reference viewpoint.
  • the motion information given to the region including the corresponding position in the reference viewpoint motion information may be obtained as the motion information in the prediction region.
  • a reference image setting unit that sets, as a reference image, an already encoded frame that is different from the encoding target image at the encoding target viewpoint for the encoding target image.
  • the motion information generation unit further includes the motion information in the prediction region by scaling the motion information obtained from the reference viewpoint motion information according to a time interval between the encoding target image and the reference image. May be generated.
  • the predicted image generation unit includes a first predicted image generated using the motion information in the prediction region, the disparity vector with respect to the reference viewpoint, and the reference viewpoint image.
  • the predicted image for the prediction region may be generated using the second predicted image generated by using the second predicted image.
  • motion information of a reference viewpoint image with respect to a reference viewpoint different from the decoding target image Decoding is performed for each decoding target area, which is an area obtained by dividing the decoding target image, while predicting between different viewpoints using the reference viewpoint motion information and the depth map for the subject in the multi-viewpoint moving image.
  • a moving image decoding apparatus that performs a corresponding region setting unit that sets a corresponding region on the depth map for the decoding target region, and a region that sets a prediction region that is a region obtained by dividing the decoding target region For each prediction area, a division unit and a disparity vector for generating a disparity vector for the reference viewpoint using depth information in an area corresponding to the prediction area in the corresponding area.
  • the disparity vector generation unit further generates a disparity vector for the depth map for the decoding target region, and the corresponding region setting unit for the disparity vector for the depth map An area indicated by may be set as the corresponding area.
  • the disparity vector generation unit may set the disparity vector for the depth map using a disparity vector used when decoding a region adjacent to the decoding target region.
  • the area dividing unit may set area division for the decoding target area based on depth information in the corresponding area.
  • the disparity vector generation unit sets a representative depth from the depth information in the region corresponding to the prediction region in the corresponding region for each prediction region, and sets the representative depth to the representative depth. Based on this, the disparity vector for the reference viewpoint may be set.
  • the motion information generation unit obtains a corresponding position in the reference viewpoint using a pixel position predetermined for the prediction region and the disparity vector with respect to the reference viewpoint.
  • motion information given to a region including the corresponding position may be used as the motion information in the prediction region.
  • the moving image decoding apparatus of the present invention further includes a reference image setting unit configured to set, as a reference image, an already decoded frame that is different from the decoding target image at the decoding target viewpoint with respect to the decoding target image.
  • the information generation unit may generate the motion information in the prediction region by scaling motion information obtained from the reference viewpoint motion information according to a time interval between the decoding target image and the reference image. .
  • the predicted image generation unit uses the first predicted image generated using the motion information in the prediction region, the disparity vector with respect to the reference viewpoint, and the reference viewpoint image.
  • the predicted image for the prediction region may be generated using the second predicted image generated in step S1.
  • One aspect of the present invention provides a reference viewpoint that is motion information of a reference viewpoint image with respect to a reference viewpoint that is different from the encoding target image when one frame of a multi-viewpoint moving image including a plurality of different viewpoint moving images is encoded.
  • Encoding is performed for each encoding target region that is a region obtained by dividing the encoding target image while predicting between different viewpoints using motion information and a depth map for a subject in the multi-viewpoint moving image.
  • a corresponding region setting step for setting a corresponding region on the depth map for the encoding target region, and a prediction region that is a region obtained by dividing the encoding target region are set.
  • a disparity vector for the reference viewpoint is generated using the depth information in the region corresponding to the prediction region in the corresponding region.
  • the motion information generation step of generating motion information in the prediction region from the reference viewpoint motion information based on the disparity vector with respect to the reference view, and the motion information in the prediction region,
  • a predicted image generation step of generating a predicted image for a prediction region.
  • motion information of a reference viewpoint image with respect to a reference viewpoint different from the decoding target image Decoding is performed for each decoding target area, which is an area obtained by dividing the decoding target image, while predicting between different viewpoints using the reference viewpoint motion information and the depth map for the subject in the multi-viewpoint moving image.
  • a moving image decoding method for performing a corresponding region setting step for setting a corresponding region on the depth map for the decoding target region, and a region for setting a prediction region which is a region obtained by dividing the decoding target region
  • a disparity vector for the reference viewpoint is generated using a division step and depth information in a region corresponding to the prediction region in the corresponding region.
  • the motion information generation step of generating motion information in the prediction region from the reference viewpoint motion information based on the disparity vector with respect to the reference view, and the motion information in the prediction region, And a predicted image generation step of generating a predicted image for the prediction region.
  • One aspect of the present invention is a moving image encoding program for causing a computer to execute the moving image encoding method.
  • One aspect of the present invention is a moving picture decoding program for causing a computer to execute the moving picture decoding method.
  • the present invention even when the accuracy of the parallax expressed by the depth map is low, it is possible to realize prediction with decimal pixel accuracy, and it is possible to encode a multi-view video with a small code amount. An effect is obtained.
  • FIG. 4 It is a block diagram which shows the hardware constitutions when the moving image decoding apparatus 200 shown in FIG. 4 is comprised by a computer and a software program. It is a conceptual diagram which shows the parallax which arises between cameras. It is a conceptual diagram of epipolar geometric constraint.
  • a moving picture coding apparatus and a moving picture decoding apparatus will be described with reference to the drawings.
  • a multi-view video captured by two cameras a first camera (camera A) and a second camera (camera B)
  • a description will be given assuming that one frame of a moving image of the camera B is encoded or decoded as a viewpoint.
  • information necessary for obtaining the parallax from the depth information is given separately. Specifically, this information is an external parameter representing the positional relationship between the camera A and the camera B, or an internal parameter representing projection information on the image plane by the camera. Other information may be given as long as parallax can be obtained.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to this embodiment.
  • the moving image encoding apparatus 100 includes an encoding target image input unit 101, an encoding target image memory 102, a reference viewpoint motion information input unit 103, a depth map input unit 104, a motion information generation unit 105, A viewpoint composite image generation unit 106, an image encoding unit 107, an image decoding unit 108, and a reference image memory 109 are provided.
  • the encoding target image input unit 101 inputs an image to be encoded.
  • the image to be encoded is referred to as an encoding target image.
  • the moving image of the camera B is input frame by frame.
  • the viewpoint (here, camera B) that captured the encoding target image is referred to as an encoding target viewpoint.
  • the encoding target image memory 102 stores the input encoding target image.
  • the reference viewpoint motion information input unit 103 inputs motion information (such as a motion vector) for the reference viewpoint moving image.
  • the motion information input here is referred to as reference viewpoint motion information.
  • reference viewpoint motion information the movement information of the camera A is input.
  • the depth map input unit 104 inputs a depth map to be referred to when generating a viewpoint composite image.
  • a depth map for an encoding target image is input, but a depth map for another viewpoint such as a reference viewpoint may be used.
  • the depth map represents the three-dimensional position of the subject shown in each pixel of the corresponding image.
  • the depth map may be any information as long as the three-dimensional position can be obtained by information such as camera parameters given separately. For example, a distance from the camera to the subject, a coordinate value with respect to an axis that is not parallel to the image plane, and a parallax amount with respect to another camera (for example, camera A) can be used.
  • a parallax map that directly represents the parallax amount may be used instead of the depth map.
  • the depth map is assumed to be delivered in the form of an image, but it may not be in the form of an image as long as similar information can be obtained.
  • the motion information generation unit 105 generates motion information for the encoding target image using the reference viewpoint motion information and the depth map.
  • the viewpoint composite image generation unit 106 generates a viewpoint composite image for the encoding target image from the reference image based on the generated motion information.
  • the image encoding unit 107 predictively encodes the encoding target image while using the viewpoint synthesized image.
  • the image decoding unit 108 decodes the bit stream of the encoding target image.
  • the reference image memory 109 stores an image obtained when the bit stream of the encoding target image is decoded.
  • FIG. 2 is a flowchart showing the operation of the video encoding apparatus 100 shown in FIG.
  • the encoding target image input unit 101 receives the encoding target image Org, and stores the input encoding target image Org in the encoding target image memory 102 (step S101).
  • the reference viewpoint motion information input unit 103 inputs the reference viewpoint motion information and outputs the input reference viewpoint motion information to the motion information generation unit 105
  • the depth map input unit 104 inputs and inputs the depth map.
  • the depth map is output to the motion information generation unit 105 (step S102).
  • the reference viewpoint motion information and the depth map input in step S102 are the same as those obtained on the decoding side, such as the one already decoded. This is to suppress the occurrence of coding noise such as drift by using exactly the same information obtained by the decoding device. However, when the generation of such coding noise is allowed, the one that can be obtained only on the coding side, such as the one before coding, may be input.
  • the depth map in addition to the one already decoded, the depth map estimated by applying stereo matching etc. to the multi-view video decoded for multiple cameras, or decoded
  • the depth map estimated using the disparity vector, the motion vector, and the like can also be used as the same one can be obtained on the decoding side.
  • the reference viewpoint motion information may be motion information used when encoding an image for the reference viewpoint, or may be separately encoded for the reference viewpoint. It is also possible to use motion information obtained by decoding and estimating a moving image for the reference viewpoint.
  • Step S103 to S109 When the input of the encoding target image, the reference viewpoint motion information, and the depth map is finished, the encoding target image is divided into regions of a predetermined size, and the video signal of the encoding target image is encoded for each of the divided regions.
  • Step S103 to S109 That is, assuming that the encoding target area index is blk and the total number of encoding target areas in one frame is represented by numBlks, blk is initialized to 0 (step S103), and then 1 is added to blk (step S108). ), The following processing (steps S104 to S107) is repeated until blk becomes numBlks (step S109).
  • it is divided into processing unit blocks called macroblocks of 16 pixels ⁇ 16 pixels, but may be divided into blocks of other sizes as long as they are the same as those on the decoding side.
  • the motion information generation unit 105 generates motion information in the encoding target area blk (step S104). This process will be described later in detail.
  • the viewpoint composite image generation unit 106 generates a viewpoint composite image Syn for the encoding target region blk from the image stored in the reference image memory 109 according to the motion information. (Step S105). Specifically, for each pixel p included in the encoding target region blk, the viewpoint composite image generation unit 106 corresponds to the pixel of the corresponding point on the reference image represented by the motion information, as represented by the following equation:
  • mv (p) and Ref (p) represent the motion vector indicated by the motion information for the pixel p and its time interval
  • Dec T is an image stored in the reference image memory 109 at the time interval T with respect to the encoding target image. (Reference image). If the corresponding point p + mv (p) is not an integer pixel position, the pixel value at the nearest integer pixel position may be set as the pixel value of the corresponding point, or the integer pixel group around the corresponding point may be filtered. By applying, pixel values at corresponding points may be generated. However, the pixel value of the corresponding point is generated by the same method as the processing on the decoding side.
  • a viewpoint composite image may be generated based on the average value. That is, when the number of motion information for the pixel p is represented by N (p) and the index of motion information is n, the viewpoint composite image is represented by the following mathematical formula.
  • this formula does not consider rounding to an integer in division, but an offset may be added so as to round off. Specifically, after N (p) / 2 is added, division is performed by N (p). In addition, when there are three or more pieces of motion information, prediction may be performed using a median value instead of an average value. However, it is necessary to perform the same processing as that on the decoding side. Here, the viewpoint composite image is generated for each pixel. However, when the same motion information is provided for each small area, the process can be performed for each small area.
  • the image encoding unit 107 encodes the video signal (pixel value) of the encoding target image in the encoding target region blk while using the viewpoint composite image as a predicted image (step) S106).
  • the bit stream obtained as a result of encoding is the output of the video encoding apparatus 100.
  • any method may be used as the encoding method.
  • MPEG-2 and H.264 In general coding such as H.264 / AVC, frequency conversion such as DCT (Discrete Cosine Transform), quantization, binarization, and entropy coding is performed on the difference signal between the video signal of the block blk and the predicted image. Encoding is performed in order.
  • the image decoding unit 108 decodes the video signal for the block blk using the bit stream and the view synthesized image, and stores the decoded image Dec [blk] as a decoding result in the reference image memory 109 (Ste S107).
  • a method corresponding to the method used at the time of encoding is used.
  • MPEG-2 and H.264 In the case of general encoding such as H.264 / AVC, it is obtained by sequentially performing inverse frequency transformation such as entropy decoding, inverse binarization, inverse quantization, IDCT (Inverse Discrete Cosine Transform) on code data.
  • the predicted image is added to the two-dimensional signal, and finally the video signal is decoded by performing clipping in the pixel value range.
  • the data immediately before the processing on the encoding side becomes lossless and the predicted image may be received, and decoding may be performed by simplified processing. That is, in the above-described example, a two-dimensional signal obtained by receiving a value obtained by applying quantization processing at the time of encoding and a predicted image, and sequentially performing inverse quantization and frequency inverse transform on the quantized value.
  • a video signal may be decoded by adding a predicted image to the image and performing clipping in a pixel value range.
  • step S104 shown in FIG. 2 a process (step S104 shown in FIG. 2) in which the motion information generation unit 105 shown in FIG. 1 generates motion information in the encoding target region blk will be described in detail.
  • the motion information generation unit 105 sets an area on the depth map for the encoding target area blk (corresponding area on the depth map for the encoding target area) (step S1401).
  • the depth map for the encoding target image is input, the depth map at the same position as the encoding target region blk is set. If the resolution of the encoding target image and the depth map are different, a scaled area is set according to the resolution ratio.
  • the parallax DV between the encoding target viewpoint and the depth viewpoint in the encoding target region blk (disparity vector for the depth map) And a depth map at blk + DV is set.
  • the position and size are scaled according to the resolution ratio.
  • the parallax DV between the encoding target viewpoint and the depth viewpoint in the encoding target region blk may be obtained using any method as long as it is the same method as that on the decoding side.
  • the disparity vector used when encoding the peripheral region of the encoding target region blk, the global disparity vector set for the entire encoding target image or the partial image including the encoding target region, the encoding target It is possible to use a disparity vector or the like that is separately set and encoded for a region.
  • region blk, or the image encoded in the past may be accumulate
  • a disparity vector obtained by converting the depth value at the same position as the encoding target area of the depth map encoded in the past with respect to the encoding target viewpoint may be used.
  • the motion information generation unit 105 determines a method for dividing the encoding target region blk (step S1402).
  • division may be performed by a predetermined method, or a division method may be determined by analyzing a set depth map. However, the division method is set in the same manner as the decoding side.
  • a method of setting a division with a fixed block size For example, there is a method of dividing into a block of 4 pixels ⁇ 4 pixels or a block of 8 pixels ⁇ 8 pixels.
  • MAX (a, b) represents the maximum value of a and b.
  • the size of the encoding target area is larger than 16 pixels ⁇ 16 pixels, it is divided into blocks of 8 pixels ⁇ 8 pixels, and when the size of the encoding target area is 16 pixels ⁇ 16 pixels or less, it is 4 pixels. There is also a method of making the block size of ⁇ 4 pixels.
  • the division method As a method of determining the division method by analyzing the depth map, for example, a method using the result of clustering based on the depth value, or a quadtree so that the variance value of the generated depth value for each division is equal to or less than a threshold value. There is a method of recursively dividing by expression. Instead of the generated variance value of the depth value for each division, the division method may be determined by comparing the depth values at the four vertices of the corresponding region on the depth map for the encoding target region.
  • step S1403 to S1409 motion information is generated for each sub-region (prediction region) generated according to the division method. That is, assuming that the sub-region index is sblk and the number of sub-regions in the encoding target region blk is represented by numSBlks blk , sblk is initialized with 0 (step S1403), and then 1 is added to sblk (step S1408). , Sblk becomes numSBlks blk (step S1409), the following processing (steps S1404 to S1407) is repeated.
  • the motion information generation unit 105 obtains a representative depth value from the set depth map (depth information in the region corresponding to the prediction region in the corresponding region) for the sub-region sblk. Determination is made (step S1404).
  • the representative depth value may be determined using any method, but it is necessary to use the same method as that on the decoding side. For example, there is a method using an average value, median value, maximum value, minimum value, or the like of the depth map for the sub-region sblk. Further, an average value, a median value, a maximum value, a minimum value, or the like of depth values for some pixels may be used instead of all the pixels of the depth map for the sub-region sblk. As some pixels, four vertices or four vertices and the center may be used. Further, there is a method of using a depth value for a predetermined position such as the upper left or the center with respect to the sub-region sblk.
  • the motion information generation unit 105 obtains a disparity vector dv sblk (disparity vector with respect to the reference viewpoint) from the representative depth value using information on the positional relationship between the encoding target viewpoint and the reference viewpoint (step S1405).
  • a method for obtaining a disparity vector dv sblk by backprojection and reprojection using camera parameters a method for obtaining a disparity vector dv sblk by conversion using a homography matrix, and a disparity vector for a depth value created in advance
  • a method of obtaining the disparity vector dv sblk with reference to the look-up table is a method of obtaining the disparity vector dv sblk with reference to the look-up table.
  • the motion information generation unit 105 obtains a corresponding position in the reference viewpoint (step S1406). Specifically, the corresponding position is obtained by adding the disparity vector dv sblk to the point P sblk representing the sub-region sblk (the position of the pixel determined in advance with respect to the prediction region). As a point representing the sub region, a predetermined position such as the upper left or the center of the sub region can be used. It should be noted that which position is the representative point must be the same as that on the decoding side.
  • the motion information generation unit 105 sets the reference viewpoint motion information accumulated for the region including the corresponding point P sblk + dv sblk in the reference viewpoint as motion information (motion information in the prediction region) for the sub region sbllk. (Step S1407). If no motion information is accumulated for the region including the corresponding point P sblk + dv sblk , the corresponding point may be set even if information without motion information is set or default motion information such as a zero vector is set. A region in which motion information closest to P sblk + dv sblk is accumulated may be identified, and the motion information accumulated in that region may be set. However, motion information is set according to the same rules as those on the decoding side.
  • the reference viewpoint motion information is set as the motion information as it is, but the time interval is set in advance, the motion information is scaled according to the predetermined time interval and the time interval in the reference viewpoint motion information, and the reference viewpoint motion is determined.
  • the motion information obtained by replacing the time interval in the information with the predetermined time interval may be set.
  • the motion information generated for different regions all have the same time interval, and the reference image used when generating the viewpoint composite image is unified (the encoding target at the encoding target viewpoint).
  • An already encoded one frame different from the image is set as a reference image), and the memory space to be accessed can be limited.
  • the viewpoint composite image (first predicted image) is generated using only the motion information generated from the reference viewpoint motion information for each sub-region, but is obtained for each sub-region in addition to the motion information.
  • the disparity vector dv sblk may be used.
  • a viewpoint composite image is generated by the following formula (the prediction for the prediction region is obtained by obtaining an average value rounded to an integer of the first prediction image and the second prediction image) An image may be generated).
  • a viewpoint composite image may be generated while selecting either motion information or a disparity vector for each sub-region or pixel. Furthermore, either one or both of the motion information and the disparity vector may be selected. Note that any method may be used for selection as long as it is the same method as that on the decoding side. For example, when the reference viewpoint motion information set in step S1407 does not exist for the corresponding point obtained in step S1406, or when a moving image for the reference viewpoint is encoded, prediction other than motion compensation prediction is performed in a region including the corresponding point. There is a method of generating a viewpoint composite image using a disparity vector in the case of using, and generating a viewpoint composite image using motion information in other cases.
  • the viewpoint composite image using the disparity vector is used.
  • the prediction residual when the motion compensation prediction is performed using the motion information generated for sblk in the region sblk + dv sblk may be generated using the encoded video image at the reference viewpoint. .
  • a viewpoint composite image is generated using a disparity vector, and when the amount is equal to or less than the threshold, motion information is used.
  • ResIVMC DecIV [sblk + dv sblk ] ⁇ DecIV Ref (sblk) [sblk + dv sblk + mv (sblk)]
  • DecIV T there is also a method of generating and using the next prediction residual ResPastIV in addition to ResIVMC. Specifically,
  • ResPastIV Dec Ref (sblk) [sblk + mv (sblk)] ⁇ DecIV Ref (sblk) [sblk + dv sblk + mv (sblk)]
  • a threshold value may be set,
  • may be compared with the set threshold value, and a viewpoint composite image may be generated using only information corresponding to a value smaller than the threshold value.
  • both are larger than the threshold, only the information corresponding to the residual having a smaller value according to the above-described rule may be used, or both may be used.
  • a viewpoint synthesized image or its candidate may be generated according to the following mathematical formula.
  • Syn [p] Dec Ref (p) [p + mv (p)] + w0 ⁇ (DecIV [p + dv (p)] ⁇ DecIV Ref (p) [p + dv (p) + mv (p)])
  • Syn [p] DecIV [p + dv (p)] + w1 ⁇ (Dec Ref (p) [p + mv (p)] ⁇ DecIV Ref (p) [p + dv (p) + mv (p)])
  • w0 and w1 are weighting factors determined separately, and may be determined in any way as long as they are the same values as those on the decoding side.
  • a predetermined value may be used.
  • an image generated according to the above formula as a candidate for a viewpoint composite image, the parallax obtained for each sub-region instead of the viewpoint composite image generated using only the motion information generated from the reference viewpoint motion information described above
  • an image generated according to the above formula may be used, or an image generated according to the above formula may be added as an alternative to the option.
  • FIG. 4 is a block diagram showing the configuration of the moving picture decoding apparatus according to this embodiment.
  • the moving image decoding apparatus 200 includes a bit stream input unit 201, a bit stream memory 202, a reference viewpoint motion information input unit 203, a depth map input unit 204, a motion information generation unit 205, and a viewpoint composite image generation unit. 206, an image decoding unit 207, and a reference image memory 208.
  • the bit stream input unit 201 inputs a moving image bit stream to be decoded.
  • a decoding target image indicates one frame of the moving image of the camera B.
  • the viewpoint (here, camera B) that captured the decoding target image is referred to as a decoding target viewpoint.
  • the bit stream memory 202 stores a bit stream for the input decoding target image.
  • the reference viewpoint motion information input unit 203 inputs motion information (such as a motion vector) for the reference viewpoint moving image.
  • reference viewpoint motion information is referred to as reference viewpoint motion information.
  • the depth map input unit 204 inputs a depth map to be referred to when generating a viewpoint composite image.
  • a depth map for a decoding target image is input, but a depth map for another viewpoint such as a reference viewpoint may be used.
  • the depth map represents the three-dimensional position of the subject shown in each pixel of the corresponding image.
  • the depth map may be any information as long as the three-dimensional position can be obtained by information such as camera parameters given separately. For example, a distance from the camera to the subject, a coordinate value with respect to an axis that is not parallel to the image plane, and a parallax amount with respect to another camera (for example, camera A) can be used.
  • a parallax map that directly represents the parallax amount may be used instead of the depth map.
  • the depth map is assumed to be delivered in the form of an image, but it may not be in the form of an image as long as similar information can be obtained.
  • the motion information generation unit 205 uses the reference viewpoint motion information and the depth map to generate motion information for the decoding target image.
  • the viewpoint composite image generation unit 206 generates a viewpoint composite image for the decoding target image from the reference image based on the generated motion information.
  • the image decoding unit 207 decodes and outputs the decoding target image from the bitstream using the viewpoint synthesized image.
  • the reference image memory 208 stores the obtained decoding target image for subsequent decoding.
  • FIG. 5 is a flowchart showing the operation of the video decoding device 200 shown in FIG.
  • the bit stream input unit 201 inputs a bit stream obtained by encoding a decoding target image, and stores the input bit stream in the bit stream memory 202 (step S201).
  • the reference viewpoint motion information input unit 203 inputs the reference viewpoint motion information and outputs the input reference viewpoint motion information to the motion information generation unit 205
  • the depth map input unit 204 inputs and inputs the depth map.
  • the depth map is output to the motion information generation unit 205 (step S202).
  • the reference viewpoint motion information and the depth map input in step S202 are the same as those used on the encoding side. This is to suppress the occurrence of coding noise such as drift by using exactly the same information as that obtained by the moving picture coding apparatus. However, if such encoding noise is allowed to occur, a different one from that used at the time of encoding may be input.
  • depth maps in addition to those separately decoded, depth maps estimated by applying stereo matching etc. to multi-viewpoint images decoded for multiple cameras, decoded parallax vectors, motion vectors, etc. A depth map estimated by using may be used.
  • the reference viewpoint motion information may be the motion information used when decoding the image for the reference viewpoint, or may be separately encoded for the reference viewpoint. It is also possible to use motion information obtained by decoding and estimating a moving image for the reference viewpoint.
  • the decoding target image is divided into regions of a predetermined size, and the video signal of the decoding target image is decoded from the bit stream for each divided region.
  • Steps S203 to S208 That is, assuming that the decoding target region index is blk and the total number of decoding target regions in one frame is represented by numBlks, blk is initialized with 0 (step S203), and then 1 is added to blk (step S207). The following processing (steps S204 to S206) is repeated until blk becomes numBlks (step S208).
  • it is divided into processing unit blocks called macroblocks of 16 pixels ⁇ 16 pixels, but may be divided into blocks of other sizes as long as they are the same as those on the encoding side.
  • the motion information generation unit 205 In the process repeated for each decoding target area, first, the motion information generation unit 205 generates motion information in the decoding target area blk (step S204). This process is the same as step S104 described above.
  • the viewpoint composite image generation unit 206 When the motion information for the decoding target area blk is obtained, the viewpoint composite image generation unit 206 generates a viewpoint composite image Syn for the decoding target area blk from the image stored in the reference image memory 208 according to the motion information (step). S205).
  • the process here is the same as step S105 described above.
  • the image decoding unit 207 decodes the decoding target image from the bitstream using the viewpoint composite image as the predicted image (step S206).
  • the obtained decoding target image is stored in the reference image memory 208 and is output from the moving image decoding apparatus 200.
  • a method corresponding to the method used at the time of encoding is used.
  • MPEG-2 and H.264 When general coding such as H.264 / AVC is used, frequency inverse transform such as entropy decoding, inverse binarization, inverse quantization, and IDCT (Inverse Discrete Cosine Transform) is sequentially performed on the code data. Then, a predicted image is added to the obtained two-dimensional signal, and finally, the video signal is decoded by performing clipping in the range of pixel values.
  • the motion information and the viewpoint composite image are generated for each region obtained by dividing the encoding target image or the decoding target image.
  • both the motion information or the motion information and the viewpoint composite image are to be encoded. You may produce
  • a memory for buffering the generated motion information is required.
  • a memory for storing the generated viewpoint composite image is required.
  • the process of the present technique has been described as the process of encoding / decoding the entire image, but the process can be applied to only a part of the image. In this case, it may be determined whether or not the process is to be applied, and a flag indicating whether or not to apply may be encoded or decoded, or the necessity of application may be designated by some other means. For example, you may use the method of expressing the necessity of application as one of the modes which show the method of producing
  • the pixel value is not predicted directly between viewpoints, but the pixel value is temporally predicted after predicting a motion vector between viewpoints. Therefore, even when the accuracy of the parallax expressed by the depth map is low, it is possible to realize the prediction with the decimal pixel accuracy, and it is possible to encode the multi-view video with a small code amount.
  • FIG. 6 is a block diagram showing a hardware configuration when the above-described moving image encoding apparatus 100 is configured by a computer and a software program.
  • the system shown in FIG. 6 includes a CPU (Central Processing Unit) 50 that executes a program, a memory 51 such as a RAM (Random Access Memory) that stores programs and data accessed by the CPU 50, and an encoding target from a camera or the like.
  • An encoding target image input unit 52 (which may be a storage unit that stores an image signal from a disk device or the like), and a reference viewpoint motion information input unit 53 (a disk that inputs reference viewpoint motion information from a memory or the like).
  • a depth map input unit 54 for inputting a depth map for the viewpoint where the image to be encoded from the depth camera or the like is captured (a memory for storing the depth map by the disk device or the like).
  • Image code that is a software program that causes the CPU 50 to execute the moving image encoding process.
  • a bit stream output unit 56 that outputs a bit stream generated by executing the image storage program 55 stored in the encoding program 551 and the image encoding program 551 loaded in the memory 51 by, for example, a network. (It may be a storage unit that stores a bit stream by a disk device or the like) and is connected by a bus.
  • FIG. 7 is a block diagram showing a hardware configuration when the above-described moving picture decoding apparatus 200 is configured by a computer and a software program.
  • the system shown in FIG. 7 includes a CPU 60 that executes a program, a memory 51 such as a RAM that stores programs and data accessed by the CPU 60, and a bit that inputs a bit stream encoded by the moving image encoding apparatus according to this method.
  • a stream input unit 62 may be a storage unit that stores a bit stream by a disk device or the like), and a reference viewpoint motion information input unit 63 that inputs motion information of a reference viewpoint from a memory or the like (stores motion information by a disk device or the like).
  • a storage unit A storage unit
  • a depth map input unit 64 (which may be a storage unit that stores depth information by a disk device or the like) that inputs a depth map for a viewpoint where a decoding target from a depth camera or the like is captured
  • image decoding processing Image decoding program 651 which is a software program executed by CPU 60
  • the stored program storage device 65 and the decoding target image that outputs the decoding target image obtained by decoding the bitstream to the playback device by executing the image decoding program 651 loaded in the memory 61 by the CPU 60
  • the output unit 66 (which may be a storage unit that stores an image signal by a disk device or the like) is connected by a bus.
  • the moving picture encoding apparatus 100 and the moving picture decoding apparatus 200 in the above-described embodiment may be realized by a computer.
  • a program for realizing this function is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed, whereby the moving picture coding apparatus 100 and The moving picture decoding apparatus 200 may be realized.
  • the “computer system” includes hardware such as an OS (Operating System) and peripheral devices.
  • “Computer-readable recording medium” means a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD (Compact Disk) -ROM, or a hard disk built in a computer system. Refers to the device.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the moving image encoding device 100 and the moving image decoding device 200 may be realized using hardware such as PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array).
  • the present invention uses, for example, an image captured from a viewpoint different from the viewpoint from which the encoding (decoding) target image is captured and a depth map for the subject in the image to the viewpoint of the encoding (decoding) target image.
  • the present invention can be applied to a purpose of achieving high coding efficiency.
  • DESCRIPTION OF SYMBOLS 100 ... Moving image encoding device 101 ... Encoding object image input part 102 ... Encoding object image memory 103 ... Reference viewpoint motion information input part 104 ... Depth map input part 105 ... Motion information generation unit 106 ... viewpoint composite image generation unit 107 ... image encoding unit 108 ... image decoding unit 109 ... reference image memory 200 ... moving image decoding apparatus 201 ... bitstream input Unit 202 ... bitstream memory 203 ... reference viewpoint motion information input unit 204 ... depth map input unit 205 ... motion information generation unit 206 ... viewpoint composite image generation unit 207 ... image decoding unit 208: Reference image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　複数の異なる視点の動画像からなる多視点動画像を予測しながら符号化／復号する動画像符号化／復号装置は、符号化／復号対象領域に対して、デプスマップ上での対応領域を設定する対応領域設定部と、符号化／復号対象領域を分割した領域である予測領域を設定する領域分割部と、予測領域ごとに、対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、参照視点に対する視差ベクトルを生成する視差ベクトル生成部と、参照視点に対する視差ベクトルに基づいて、参照視点動き情報から予測領域における動き情報を生成する動き情報生成部と、予測領域における動き情報を用いて、予測領域に対する予測画像を生成する予測画像生成部とを備える。

Description

動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
　本発明は、多視点動画像を符号化及び復号する動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムに関する。
　本願は、２０１３年１０月１７日に日本へ出願された特願２０１３－２１６５２６号に基づき優先権を主張し、その内容をここに援用する。
　従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（２次元動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。
　２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。
　ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ－２、ＭＰＥＧ－４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、符号化対象フレームと過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
　Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。
　次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
　多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図８は、カメラ（第１のカメラと第２のカメラ）間で生じる視差を示す概念図である。図８に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。
　視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。
　視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として３次元位置を表現する場合もある。どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。
　図９はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図９に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に投影される。
　非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する合成画像を生成し、生成された合成画像を領域ごとの予測画像の候補とすることで、精度の高い予測を実現し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される合成画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。
ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", 2009 16th IEEE International Conference on Image Processing (ICIP), pp. 2949-2952, 7-10 Nov. 2009.
　非特許文献２に記載の方法によれば、デプスマップから得られる被写体の３次元情報を用いて高精度な視差補償を行った視点合成画像によって、高効率な予測を実現することが可能である。また、領域ごとに既存の予測と視点合成画像による予測を選択することで、デプスマップの品質やオクルージョンの影響を受けて、部分的には精度が低い視点合成画像が生成される場合においても、領域ごとに視点合成画像を予測画像とするか否かを選択することで、符号量が増加してしまうのを防ぐことが可能である。
　しかしながら、非特許文献２に記載の方法では、デプスマップによって表現される３次元情報の精度が低い場合、一般的な視差ベクトルを用いた視差補償予測と比べて、低い精度でしか視差を補償することができなくなるため、高効率な予測を実現することができなくなってしまうという問題がある。
　本発明は、このような事情に鑑みてなされたもので、デプスマップによって表現される視差量の精度が低い場合でも、精度の高い予測を実現し、高効率な符号化を実現することができる動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムを提供することを目的とする。
　本発明の一態様は、複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域ごとに、符号化を行う動画像符号化装置であって、前記符号化対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定部と、前記符号化対象領域を分割した領域である予測領域を設定する領域分割部と、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成部と、前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成部と、前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成部とを備える動画像符号化装置である。
　本発明の動画像符号化装置において、前記視差ベクトル生成部は、さらに、前記符号化対象領域に対して、前記デプスマップに対する視差ベクトルを生成し、前記対応領域設定部は、前記デプスマップに対する前記視差ベクトルによって示される領域を前記対応領域として設定してもよい。
　本発明の動画像符号化装置において、前記視差ベクトル生成部は、前記符号化対象領域に隣接する領域を符号化する際に使用した視差ベクトルを用いて、前記デプスマップに対する前記視差ベクトルを設定してもよい。
　本発明の動画像符号化装置において、前記領域分割部は、前記対応領域内のデプス情報に基づいて、前記符号化対象領域に対する領域分割を設定してもよい。
　本発明の動画像符号化装置において、前記視差ベクトル生成部は、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する前記領域における前記デプス情報から代表デプスを設定し、当該代表デプスに基づいて前記参照視点に対する前記視差ベクトルを設定してもよい。
　本発明の動画像符号化装置において、前記動き情報生成部は、前記予測領域に対して予め定められた画素の位置と前記参照視点に対する前記視差ベクトルとを用いて、前記参照視点における対応位置を求め、前記参照視点動き情報のうち、当該対応位置を含む領域に対して与えられた動き情報を前記予測領域における前記動き情報としてもよい。
　本発明の動画像符号化装置において、前記符号化対象画像に対して、符号化対象視点における前記符号化対象画像とは異なる既に符号化済みの１フレームを参照画像として設定する参照画像設定部をさらに備え、前記動き情報生成部は、前記参照視点動き情報から得られた動き情報を、前記符号化対象画像と前記参照画像との時間間隔に合わせてスケーリングすることで前記予測領域における前記動き情報を生成してもよい。
　本発明の動画像符号化装置において、前記予測画像生成部は、前記予測領域における前記動き情報を用いて生成した第１の予測画像と、前記参照視点に対する前記視差ベクトルと前記参照視点画像とを用いて生成した第２の予測画像とを用いて、前記予測領域に対する前記予測画像を生成してもよい。
　本発明の一態様は、複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域ごとに、復号を行う動画像復号装置であって、前記復号対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定部と、前記復号対象領域を分割した領域である予測領域を設定する領域分割部と、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成部と、前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成部と、前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成部とを備える動画像復号装置である。
　本発明の動画像復号装置において、前記視差ベクトル生成部は、さらに、前記復号対象領域に対して、前記デプスマップに対する視差ベクトルを生成し、前記対応領域設定部は、前記デプスマップに対する前記視差ベクトルによって示される領域を前記対応領域として設定してもよい。
　本発明の動画像復号装置において、前記視差ベクトル生成部は、前記復号対象領域に隣接する領域を復号する際に使用した視差ベクトルを用いて、前記デプスマップに対する前記視差ベクトルを設定してもよい。
　本発明の動画像復号装置において、前記領域分割部は、前記対応領域内のデプス情報に基づいて、前記復号対象領域に対する領域分割を設定してもよい。
　本発明の動画像復号装置において、前記視差ベクトル生成部は、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する前記領域における前記デプス情報から代表デプスを設定し、当該代表デプスに基づいて前記参照視点に対する前記視差ベクトルを設定してもよい。
　本発明の動画像復号装置において、前記動き情報生成部は、前記予測領域に対して予め定められた画素の位置と前記参照視点に対する前記視差ベクトルとを用いて、前記参照視点における対応位置を求め、前記参照視点動き情報のうち、当該対応位置を含む領域に対して与えられた動き情報を前記予測領域における前記動き情報としてもよい。
　本発明の動画像復号装置において、前記復号対象画像に対して、復号対象視点における前記復号対象画像とは異なる既に復号済みの１フレームを参照画像として設定する参照画像設定部をさらに備え、前記動き情報生成部は、前記参照視点動き情報から得られた動き情報を、前記復号対象画像と前記参照画像との時間間隔に合わせてスケーリングすることで前記予測領域における前記動き情報を生成してもよい。
　本発明の動画像復号装置において、前記予測画像生成部は、前記予測領域における前記動き情報を用いて生成した第１の予測画像と、前記参照視点に対する前記視差ベクトルと前記参照視点画像とを用いて生成した第２の予測画像とを用いて、前記予測領域に対する前記予測画像を生成してもよい。
　本発明の一態様は、複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域ごとに、符号化を行う動画像符号化方法であって、前記符号化対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定ステップと、前記符号化対象領域を分割した領域である予測領域を設定する領域分割ステップと、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成ステップと、前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成ステップと、前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成ステップとを有する動画像符号化方法である。
　本発明の一態様は、複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域ごとに、復号を行う動画像復号方法であって、前記復号対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定ステップと、前記復号対象領域を分割した領域である予測領域を設定する領域分割ステップと、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成ステップと、前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成ステップと、前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成ステップとを有する動画像復号方法である。
　本発明の一態様は、コンピュータに、前記動画像符号化方法を実行させるための動画像符号化プログラムである。
　本発明の一態様は、コンピュータに、前記動画像復号方法を実行させるための動画像復号プログラムである。
　本発明によれば、デプスマップによって表現される視差の精度が低い場合においても、小数画素精度の予測を実現することが可能となり、少ない符号量で多視点動画像を符号化することができるという効果が得られる。
本発明の一実施形態における動画像符号化装置の構成を示すブロック図である。 図１に示す動画像符号化装置１００の動作を示すフローチャートである。 図１に示す動き情報生成部１０５における動き情報を生成する動作（ステップＳ１０４）の詳細処理動作を示すフローチャートである。 本発明の一実施形態における動画像復号装置の構成を示すブロック図である。 図４に示す動画像復号装置２００の動作を示すフローチャートである。 図１に示す動画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 図４に示す動画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 カメラ間で生じる視差を示す概念図である。 エピポーラ幾何拘束の概念図である。
　以下、図面を参照して、本発明の実施形態による動画像符号化装置及び動画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点動画像を符号化する場合を想定し、カメラＡを参照視点としてカメラＢの動画像の１フレームを符号化または復号するものとして説明する。なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、参考文献「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この参考文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
　以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックスなど）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。
　図１は本実施形態における動画像符号化装置の構成を示すブロック図である。動画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照視点動き情報入力部１０３、デプスマップ入力部１０４、動き情報生成部１０５、視点合成画像生成部１０６、画像符号化部１０７、画像復号部１０８及び参照画像メモリ１０９を備えている。
　符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの動画像を１フレームずつ入力するものとする。また、符号化対象画像を撮影した視点（ここではカメラＢ）を符号化対象視点と称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照視点動き情報入力部１０３は、参照視点の動画像に対する動き情報（動きベクトルなど）を入力する。以下では、ここで入力された動き情報を参照視点動き情報と呼ぶ。ここではカメラＡの動き情報を入力するものとする。
　デプスマップ入力部１０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、符号化対象画像に対するデプスマップを入力するものとするが、参照視点など別の視点に対するデプスマップでもよい。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＡ）に対する視差量を用いることができる。また、ここでは視差量が得られればよいので、デプスマップではなく、視差量を直接表現した視差マップを用いてもよい。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくてもよい。
　動き情報生成部１０５は、参照視点動き情報とデプスマップとを用いて、符号化対象画像に対する動き情報を生成する。視点合成画像生成部１０６は、生成された動き情報に基づいて、参照画像から符号化対象画像に対する視点合成画像を生成する。画像符号化部１０７は、視点合成画像を用いながら、符号化対象画像を予測符号化する。画像復号部１０８は、符号化対象画像のビットストリームを復号する。参照画像メモリ１０９は、符号化対象画像のビットストリームを復号した際に得られる画像を蓄積する。
　次に、図２を参照して、図１に示す動画像符号化装置１００の動作を説明する。図２は、図１に示す動画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、入力された符号化対象画像Ｏｒｇを符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照視点動き情報入力部１０３は参照視点動き情報を入力し、入力された参照視点動き情報を動き情報生成部１０５へ出力し、デプスマップ入力部１０４はデプスマップを入力し、入力されたデプスマップを動き情報生成部１０５へ出力する（ステップＳ１０２）。
　なお、ステップＳ１０２で入力される参照視点動き情報とデプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点動画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。
　参照視点動き情報は、参照視点に対する画像を符号化する際に使用された動き情報を用いてもよいし、参照視点に対して別途符号化されたものでもよい。また、参照視点に対する動画像を復号し、そこから推定して得られた動き情報を用いることも可能である。
　符号化対象画像、参照視点動き情報、デプスマップの入力が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の映像信号を符号化する（ステップＳ１０３～Ｓ１０９）。すなわち、符号化対象領域インデックスをｂｌｋ、１フレーム中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０３）、その後、ｂｌｋに１を加算しながら（ステップＳ１０８）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１０９）、以下の処理（ステップＳ１０４～Ｓ１０７）を繰り返す。一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。
　符号化対象領域ごとに繰り返される処理では、まず、動き情報生成部１０５は、符号化対象領域ｂｌｋにおける動き情報を生成する（ステップＳ１０４）。ここでの処理は後で詳しく説明する。符号化対象領域ｂｌｋに対する動き情報が得られたら、視点合成画像生成部１０６は、その動き情報に従って、参照画像メモリ１０９に蓄積された画像から、符号化対象領域ｂｌｋに対する視点合成画像Ｓｙｎを生成する（ステップＳ１０５）。具体的には、視点合成画像生成部１０６は、符号化対象領域ｂｌｋに含まれる画素ｐごとに、次の数式で表されるように、動き情報によって表される参照画像上の対応点の画素値を求めることで視点合成画像Ｓｙｎを生成する。
　Ｓｙｎ［ｐ］＝ＤｅｃＲｅｆ（ｐ）［ｐ＋ｍｖ（ｐ）］
　ｍｖ（ｐ）とＲｅｆ（ｐ）は画素ｐに対する動き情報の示す動きベクトルとその時間間隔を表し、ＤｅｃＴは符号化対象画像に対して時間間隔Ｔの参照画像メモリ１０９に蓄積されている画像（参照画像）を表す。なお、対応点ｐ＋ｍｖ（ｐ）が整数画素位置ではない場合は、最も近い整数画素位置の画素値を対応点の画素値としてもよいし、対応点の周辺の整数画素群に対してフィルタ処理を施すことで対応点における画素値を生成してもよい。ただし、復号側での処理と同じ方法で対応点の画素値を生成するものとする。
　画素ｐに対する動き情報が２つ以上存在する場合、その平均値によって視点合成画像を生成してもよい。すなわち、画素ｐに対する動き情報の数をＮ（ｐ）で表し、動き情報のインデックスをｎとすると、視点合成画像は下記の数式で表される。
Figure JPOXMLDOC01-appb-M000001
　なお、この数式では除算における整数への丸めを考慮していないが、四捨五入を行うようにオフセットを加えてもよい。具体的には、Ｎ（ｐ）／２を加えてからＮ（ｐ）で除算を行う。また、動き情報が３つ以上存在する場合は、平均値ではなく中央値で予測を行ってもよい。ただし、復号側での処理と同じ処理を行う必要がある。ここでは、画素ごとに視点合成画像を生成するものとしたが、小領域ごとに同じ動き情報を持つ場合には、その小領域ごとに処理を行うこともできる。
　次に、視点合成画像が得られたら、画像符号化部１０７は、視点合成画像を予測画像としながら、符号化対象領域ｂｌｋにおける符号化対象画像の映像信号（画素値）を符号化する（ステップＳ１０６）。符号化の結果得られるビットストリームが動画像符号化装置１００の出力となる。なお、符号化する方法には、どのような方法を用いてもよい。ＭＰＥＧ－２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの映像信号と予測画像との差分信号に対して、ＤＣＴ（Discrete Cosine Transform）などの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
　次に、画像復号部１０８は、ビットストリームと視点合成画像とを用いて、ブロックｂｌｋに対する映像信号を復号し、復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を参照画像メモリ１０９に蓄積する（ステップＳ１０７）。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ－２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴ（Inverse Discrete Cosine Transform）などの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した処理によって復号を行ってもよい。すなわち、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号してもよい。
　次に、図３を参照して、図１に示す動き情報生成部１０５が、符号化対象領域ｂｌｋにおける動き情報を生成する処理（図２に示すステップＳ１０４）について詳細に説明する。動き情報を生成する処理において、まず、動き情報生成部１０５は、符号化対象領域ｂｌｋに対するデプスマップ上の領域（符号化対象領域に対するデプスマップ上での対応領域）を設定する（ステップＳ１４０１）。ここでは、符号化対象画像に対するデプスマップが入力されているため、符号化対象領域ｂｌｋと同じ位置のデプスマップを設定することとなる。なお、符号化対象画像とデプスマップの解像度が異なる場合は、解像度比に応じてスケーリングした領域を設定する。
　符号化対象視点と異なる視点の１つをデプス視点とするとき、デプス視点に対するデプスマップを用いる場合は、符号化対象領域ｂｌｋにおける符号化対象視点とデプス視点の視差ＤＶ（デプスマップに対する視差ベクトル）を求め、ｂｌｋ＋ＤＶにおけるデプスマップを設定する。なお、符号化対象画像とデプスマップの解像度が異なる場合は、解像度比に応じて位置および大きさのスケーリングを行う。
　符号化対象領域ｂｌｋにおける符号化対象視点とデプス視点の視差ＤＶは、復号側と同じ方法であればどのような方法を用いて求めてもよい。例えば、符号化対象領域ｂｌｋの周辺領域を符号化する際に使用された視差ベクトルや、符号化対象画像全体や符号化対象領域を含む部分画像に対して設定されたグローバル視差ベクトル、符号化対象領域に対して別途設定し符号化される視差ベクトルなどを用いることが可能である。また、符号化対象領域ｂｌｋとは異なる領域や過去に符号化された画像で使用した視差ベクトルを蓄積しておき、蓄積された視差ベクトルを用いてもよい。更に符号化対象視点に対して過去に符号化されたデプスマップの符号化対象領域と同位置のデプス値を変換して得られる視差ベクトルを用いてもよい。
　次に、動き情報生成部１０５は、符号化対象領域ｂｌｋの分割方法を決定する（ステップＳ１４０２）。分割方法として、予め定められた方法で分割してもよいし、設定されたデプスマップを解析して分割方法を決定してもよい。ただし、復号側と同じ方法で分割方法を設定する。
　予め定められた方法としては、固定のブロックサイズで分割を設定する方法がある。例えば、４画素×４画素のブロックや８画素×８画素のブロックに分割する方法などがある。また、符号化対象領域ｂｌｋの大きさに応じて分割サイズを決定する方法もある。例えば、符号化対象領域のサイズが２Ｎ×２Ｍの場合は、（Ｎ／２）×（Ｍ／２）のブロックやＭＡＸ（Ｎ／２，４）×ＭＡＸ(Ｍ／２，４)のブロックに分割する方法がある。なお、ＭＡＸ（ａ，ｂ）はａとｂの最大値を表すものとする。また、符号化対象領域のサイズが１６画素×１６画素より大きい場合には、８画素×８画素のブロックに分割し、符号化対象領域のサイズが１６画素×１６画素以下の場合には４画素×４画素のブロックサイズにするなどの方法もある。
　デプスマップを解析して分割方法を決める方法としては、例えば、デプス値をもとにクラスタリングした結果を用いる方法や、生成した分割毎のデプス値の分散値が閾値以下になるように四分木表現で再帰的に分割する方法がある。生成した分割毎のデプス値の分散値の代わりに、符号化対象領域に対するデプスマップ上での対応領域の４頂点におけるデプス値を比較することで分割方法を決定してもよい。
　次に、符号化対象領域ｂｌｋの分割方法が決定したら、その分割方法に従って生成されるサブ領域（予測領域）ごとに、動き情報を生成する（ステップＳ１４０３～Ｓ１４０９）。すなわち、サブ領域インデックスをｓｂｌｋ、符号化対象領域ｂｌｋ内のサブ領域数をｎｕｍＳＢｌｋｓｂｌｋで表すとすると、ｓｂｌｋを０で初期化し（ステップＳ１４０３）、その後、ｓｂｌｋに１を加算しながら（ステップＳ１４０８）、ｓｂｌｋがｎｕｍＳＢｌｋｓｂｌｋになるまで（ステップＳ１４０９）、以下の処理（ステップＳ１４０４～Ｓ１４０７）を繰り返す。
　サブ領域ごとに繰り返される処理において、まず、動き情報生成部１０５は、サブ領域ｓｂｌｋに対して、設定されたデプスマップ（対応領域内の予測領域に対応する領域におけるデプス情報）から代表デプス値を決定する（ステップＳ１４０４）。どのような方法を用いて代表デプス値を決定してもよいが、復号側と同じ方法を用いる必要がある。例えば、サブ領域ｓｂｌｋに対するデプスマップの平均値や中央値、最大値、最小値などを用いる方法がある。また、サブ領域ｓｂｌｋに対するデプスマップの全ての画素ではなく、一部の画素に対するデプス値の平均値や中央値、最大値、最小値などを用いてもよい。一部の画素としては、４頂点や４頂点と中央などを用いてもよい。更に、サブ領域ｓｂｌｋに対して左上や中央など予め定められた位置に対するデプス値を用いる方法もある。
　代表デプス値が得られたら、動き情報生成部１０５は、符号化対象視点と参照視点の位置関係に関する情報を用いて、代表デプス値から視差ベクトルｄｖｓｂｌｋ（参照視点に対する視差ベクトル）を求める（ステップＳ１４０５）。具体的には、カメラパラメータを用いた逆投影及び再投影によって視差ベクトルｄｖｓｂｌｋを求める方法や、ホモグラフィ行列を用いた変換によって視差ベクトルｄｖｓｂｌｋを求める方法、予め作成されたデプス値に対する視差ベクトルのルックアップテーブルを参照して視差ベクトルｄｖｓｂｌｋを求める方法などがある。
　視差ベクトルが得られたら、動き情報生成部１０５は、参照視点において対応する位置を求める（ステップＳ１４０６）。具体的には、サブ領域ｓｂｌｋを代表する点Ｐｓｂｌｋ（予測領域に対して予め定められた画素の位置）に、視差ベクトルｄｖｓｂｌｋを加えることで対応位置を求める。サブ領域を代表する点としては、サブ領域に対して左上や中央など、予め定められた位置を用いることができる。なお、どの位置を代表する点とするかは、復号側と同じである必要がある。
　次に、動き情報生成部１０５は、参照視点における対応点Ｐｓｂｌｋ＋ｄｖｓｂｌｋを含む領域に対して蓄積されている参照視点動き情報をサブ領域ｓｂｌｋに対する動き情報（予測領域における動き情報）として設定する（ステップＳ１４０７）。なお、対応点Ｐｓｂｌｋ＋ｄｖｓｂｌｋを含む領域に対して動き情報が蓄積されていない場合は、動き情報なしの情報を設定しても、ゼロベクトルなどデフォルトの動き情報を設定しても、対応点Ｐｓｂｌｋ＋ｄｖｓｂｌｋに最も近い動き情報を蓄積している領域を同定して、その領域において蓄積されている動き情報を設定してもよい。ただし、復号側と同じ規則で動き情報を設定する。
　前述の説明では、参照視点動き情報をそのまま動き情報として設定したが、時間間隔を予め設定し、動き情報をその予め定められた時間間隔と参照視点動き情報における時間間隔に従ってスケーリングし、参照視点動き情報における時間間隔をその予め定められた時間間隔に置き換えて得られる動き情報を設定してもよい。このようにすることで、異なる領域に対して生成される動き情報が全て同じ時間間隔を持つことになり、視点合成画像を生成する際の参照画像を統一し（符号化対象視点における符号化対象画像とは異なる既に符号化済みの１フレームを参照画像として設定し）、アクセスするメモリ空間を限定することが可能となる。なお、アクセスするメモリ空間が限定されることによって、キャッシュヒットをさせて、処理速度を向上することが可能となる。
　本実施形態では、サブ領域ごとに参照視点動き情報から生成される動き情報のみを用いて視点合成画像（第１の予測画像）を生成したが、動き情報に加えて、サブ領域ごとに得られる視差ベクトルｄｖｓｂｌｋを用いてもよい。例えば、参照視点に対する復号画像をＤｅｃＩＶとすると、次の数式で視点合成画像を生成（第１の予測画像と第２の予測画像の整数に丸められた平均値を求めることで、予測領域に対する予測画像を生成）してもよい。
　Ｓｙｎ［ｐ］＝（ＤｅｃＲｅｆ（ｐ）［ｐ＋ｍｖ（ｐ）］＋ＤｅｃＩＶ［ｐ＋ｄｖ（ｐ）］＋１）／２
　なお、ｄｖ（ｐ）は画素ｐを含むサブ領域に対する視差ベクトルを表す。
　また、サブ領域または画素ごとに、動き情報と視差ベクトルのいずれか一方を選択しながら、視点合成画像を生成してもよい。さらに、動き情報と視差ベクトルのいずれか一方または両方を選択するようにしてもよい。なお、復号側と同じ方法であれば、選択にはどのような方法を用いてもよい。例えば、ステップＳ１４０６で求めた対応点についてステップＳ１４０７で設定した参照視点動き情報が存在しない場合や、参照視点に対する動画像を符号化する際に、その対応点を含む領域では動き補償予測以外の予測を用いた場合には視差ベクトルを用いて視点合成画像を生成し、それ以外の場合には動き情報を用いて視点合成画像を生成する方法がある。
　別の方法としては、参照視点に対する動画像の対応点を含む領域において符号化されていた動き補償予測残差の量が予め定められた閾値よりも大きい場合には視差ベクトルを用いて視点合成画像を生成し、この動き補償予測残差の量が閾値以下の場合には動き情報を用いて視点合成画像を生成する方法もある。
　更に別の方法としては、参照視点において時間間隔Ｔの復号画像ＤｅｃＩＶＴを用いて、動き情報および視差ベクトルのうちのいずれを選択するのかを決定する方法もある。例えば、参照視点における符号化済みの動画像を用いて、領域ｓｂｌｋ＋ｄｖｓｂｌｋにおいて、ｓｂｌｋに対して生成した動き情報を用いて動き補償予測を行った際の予測残差を生成して用いてもよい。具体的には、生成された予測残差の量が予め定められた閾値よりも大きい場合には視差ベクトルを用いて視点合成画像を生成し、その量が閾値以下の場合には動き情報を用いて視点合成画像を生成する。なお、このとき用いる予測残差ＲｅｓＩＶＭＣは次の数式で表される。
　ＲｅｓＩＶＭＣ＝ＤｅｃＩＶ［ｓｂｌｋ＋ｄｖｓｂｌｋ］―ＤｅｃＩＶＲｅｆ（ｓｂｌｋ）［ｓｂｌｋ＋ｄｖｓｂｌｋ＋ｍｖ（ｓｂｌｋ）］
　ＤｅｃＩＶＴを用いた別の方法として、ＲｅｓＩＶＭＣに加えて、次の予測残差ＲｅｓＰａｓｔＩＶを生成して用いる方法もある。具体的には、｜ＲｅｓＩＶＭＣ｜と｜ＲｅｓＰａｓｔＩＶ｜とを比較して、｜ＲｅｓＩＶＭＣ｜の方が小さい場合には動き情報を用いて視点合成画像を生成し、｜ＲｅｓＰａｓｔＩＶ｜の方が小さい場合には視差ベクトルを用いて視点合成画像を生成する。両者が等しい場合には、いずれかを用いてもよいし、両方を用いてもよい。
　ＲｅｓＰａｓｔＩＶ＝ＤｅｃＲｅｆ（ｓｂｌｋ）［ｓｂｌｋ＋ｍｖ（ｓｂｌｋ）］―ＤｅｃＩＶＲｅｆ（ｓｂｌｋ）［ｓｂｌｋ＋ｄｖｓｂｌｋ＋ｍｖ（ｓｂｌｋ）］
　また、閾値を設定し、｜ＲｅｓＩＶＭＣ｜と｜ＲｅｓＰａｓｔＩＶ｜をそれぞれ、設定した閾値と比較し、閾値よりも小さいものに対応する情報だけを用いて視点合成画像を生成するものとしてもよい。この時、両方が閾値よりも大きくなってしまった場合は、前述のルールに従ってより小さい値を持つ残差に対応する情報だけを用いてもよいし、両方を用いてもよい。
　また、参照視点における時間間隔Ｔの復号画像ＤｅｃＩＶＴを用いる場合、次の数式に従って視点合成画像またはその候補を生成してもよい。
　Ｓｙｎ［ｐ］＝ＤｅｃＲｅｆ（ｐ）［ｐ＋ｍｖ（ｐ）］＋ｗ０×（ＤｅｃＩＶ［ｐ＋ｄｖ（ｐ）］－ＤｅｃＩＶＲｅｆ（ｐ）［ｐ＋ｄｖ（ｐ）＋ｍｖ（ｐ）］）
　Ｓｙｎ［ｐ］＝ＤｅｃＩＶ［ｐ＋ｄｖ（ｐ）］＋ｗ１×（ＤｅｃＲｅｆ（ｐ）［ｐ＋ｍｖ（ｐ）］－ＤｅｃＩＶＲｅｆ（ｐ）［ｐ＋ｄｖ（ｐ）＋ｍｖ（ｐ）］）
　ここで、ｗ０及びｗ１は別途定められた重み係数であり、復号側と同じ値であればどのように決定してもよい。例えば、予め定めた値を使用してもよい。上記数式に従って生成された画像を視点合成画像の候補として用いる場合は、前述した参照視点動き情報から生成される動き情報のみを用いて生成した視点合成画像の代わりや、サブ領域ごとに得られる視差ベクトルのみを用いて生成した視点合成画像の代わりに、上記数式に従って生成された画像を用いてもよいし、上記数式に従って生成された画像を別の候補として選択肢に加えてもよい。
　次に、本実施形態における動画像復号装置について説明する。図４は本実施形態における動画像復号装置の構成を示すブロック図である。動画像復号装置２００は、図４に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照視点動き情報入力部２０３、デプスマップ入力部２０４、動き情報生成部２０５、視点合成画像生成部２０６、画像復号部２０７及び参照画像メモリ２０８を備えている。
　ビットストリーム入力部２０１は、復号対象となる動画像のビットストリームを入力する。以下では、この復号対象となる動画像の１フレームを復号対象画像と呼ぶ。ここでは、復号対象画像はカメラＢの動画像の１フレームを指す。また、以下では、復号対象画像を撮影した視点（ここではカメラＢ）を復号対象視点と呼ぶ。ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。参照視点動き情報入力部２０３は、参照視点の動画像に対する動き情報（動きベクトルなど）を入力する。以下では、ここで入力された動き情報を参照視点動き情報と呼ぶ。ここではカメラＡの動き情報が入力されるものとする。
　デプスマップ入力部２０４は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、復号対象画像に対するデプスマップを入力するものとするが、参照視点など別の視点に対するデプスマップでもよい。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。デプスマップは、別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＡ）に対する視差量を用いることができる。また、ここでは視差量が得られればよいので、デプスマップではなく、視差量を直接表現した視差マップを用いてもよい。なお、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくてもよい。
　動き情報生成部２０５は、参照視点動き情報とデプスマップとを用いて、復号対象画像に対する動き情報を生成する。視点合成画像生成部２０６は、生成された動き情報に基づいて、参照画像から復号対象画像に対する視点合成画像を生成する。画像復号部２０７は、視点合成画像を用いながら、ビットストリームから復号対象画像を復号して出力する。参照画像メモリ２０８は、得られた復号対象画像を以降の復号のために蓄積する。
　次に、図５を参照して、図４に示す動画像復号装置２００の動作を説明する。図５は、図４に示す動画像復号装置２００の動作を示すフローチャートである。まず、ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを入力し、入力されたビットストリームをビットストリームメモリ２０２に記憶する（ステップＳ２０１）。次に、参照視点動き情報入力部２０３は参照視点動き情報を入力し、入力された参照視点動き情報を動き情報生成部２０５へ出力し、デプスマップ入力部２０４はデプスマップを入力し、入力されたデプスマップを動き情報生成部２０５へ出力する（ステップＳ２０２）。
　なお、ステップＳ２０２で入力される参照視点動き情報とデプスマップは、符号化側で使用されたものと同じものとする。これは動画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。
　参照視点動き情報は、参照視点に対する画像を復号する際に使用された動き情報を用いてもよいし、参照視点に対して別途符号化されたものでもよい。また、参照視点に対する動画像を復号し、そこから推定して得られた動き情報を用いることも可能である。
　ビットストリーム、参照視点動き情報、デプスマップの入力が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の映像信号をビットストリームから復号する（ステップＳ２０３～Ｓ２０８）。すなわち、復号対象領域インデックスをｂｌｋ、１フレーム中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０３）、その後、ｂｌｋに１を加算しながら（ステップＳ２０７）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２０８）、以下の処理（ステップＳ２０４～Ｓ２０６）を繰り返す。一般的な復号では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。
　復号対象領域ごとに繰り返される処理において、まず、動き情報生成部２０５は、復号対象領域ｂｌｋにおける動き情報を生成する（ステップＳ２０４）。ここでの処理は、前述したステップＳ１０４と同じである。復号対象領域ｂｌｋに対する動き情報が得られたら、視点合成画像生成部２０６は、その動き情報に従って、参照画像メモリ２０８に蓄積された画像から、復号対象領域ｂｌｋに対する視点合成画像Ｓｙｎを生成する（ステップＳ２０５）。ここでの処理は、前述したステップＳ１０５と同じである。
　次に、視点合成画像が得られたら、画像復号部２０７は、視点合成画像を予測画像として用いてビットストリームから復号対象画像を復号する（ステップＳ２０６）。得られた復号対象画像は参照画像メモリ２０８に蓄積されると共に、動画像復号装置２００の出力となる。
　復号対象画像の復号には符号化時に用いられた方法に対応する方法を用いる。例えば、ＭＰＥＧ－２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴ（Inverse Discrete Cosine Transform）などの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に画素値の値域でクリッピングを行うことで映像信号を復号する。
　前述した説明では、符号化対象画像または復号対象画像を分割した領域ごとに、動き情報の生成及び視点合成画像の生成を行ったが、動き情報または動き情報と視点合成画像の両方を符号化対象画像または復号対象画像の全体に対して生成してもよい。動き情報を画像全体に対して生成する場合は、生成された動き情報をバッファリングするメモリが必要となる。また、動き情報と視点合成画像の両方を画像全体に対して生成する場合は、生成された視点合成画像を蓄積するためのメモリが必要となる。
　また、前述した説明では、画像全体を符号化/復号する処理として本手法の処理を説明したが、画像の一部分のみに処理を適用することも可能である。この場合、処理を適用するか否かを判断して、適用の要否を示すフラグを符号化または復号してもよいし、なんらか別の手段で適用の要否を指定してもよい。例えば、領域ごとの予測画像を生成する手法を示すモードの１つとして適用の要否を表現する方法を用いてもよい。
　このように、デプスマップから求めた視差を用いて視点合成画像を生成する際に、画素値を視点間で直接予測するのではなく、動きベクトルを視点間で予測した後に、画素値は時間方向に予測することで、デプスマップによって表現される視差の精度が低い場合においても、小数画素精度の予測を実現することが可能となり、少ない符号量で多視点動画像を符号化することができる。
　図６は、前述した動画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図６に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、メモリ等から参照視点の動き情報を入力する参照視点動き情報入力部５３（ディスク装置等による動き情報を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象画像を撮影した視点に対するデプスマップを入力するデプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、動画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５６（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
　図７は、前述した動画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図７に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、動画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、メモリ等からの参照視点の動き情報を入力する参照視点動き情報入力部６３（ディスク装置等による動き情報を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象を撮影した視点に対するデプスマップを入力するデプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
　前述した実施形態における動画像符号化装置１００及び動画像復号装置２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって、動画像符号化装置１００及び動画像復号装置２００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、動画像符号化装置１００及び動画像復号装置２００は、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
　以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
　本発明は、例えば、符号化（復号）対象画像を撮影した視点とは異なる視点から撮影された画像とそれら画像中の被写体に対するデプスマップを用いて、符号化（復号）対象画像に対して視点合成予測を行う際に、そのデプスマップが高い精度の視差情報を表現していなくても、高い符号化効率を達成する用途に適用できる。
１００・・・動画像符号化装置
１０１・・・符号化対象画像入力部
１０２・・・符号化対象画像メモリ
１０３・・・参照視点動き情報入力部
１０４・・・デプスマップ入力部
１０５・・・動き情報生成部
１０６・・・視点合成画像生成部
１０７・・・画像符号化部
１０８・・・画像復号部
１０９・・・参照画像メモリ
２００・・・動画像復号装置
２０１・・・ビットストリーム入力部
２０２・・・ビットストリームメモリ
２０３・・・参照視点動き情報入力部
２０４・・・デプスマップ入力部
２０５・・・動き情報生成部
２０６・・・視点合成画像生成部
２０７・・・画像復号部
２０８・・・参照画像メモリ

Claims (20)

  1. 　複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域ごとに、符号化を行う動画像符号化装置であって、
    　前記符号化対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定部と、
    　前記符号化対象領域を分割した領域である予測領域を設定する領域分割部と、
    　前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成部と、
    　前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成部と、
    　前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成部と
    　を備える動画像符号化装置。
  2. 　前記視差ベクトル生成部は、さらに、前記符号化対象領域に対して、前記デプスマップに対する視差ベクトルを生成し、
    　前記対応領域設定部は、前記デプスマップに対する前記視差ベクトルによって示される領域を前記対応領域として設定する請求項１に記載の動画像符号化装置。
  3. 　前記視差ベクトル生成部は、前記符号化対象領域に隣接する領域を符号化する際に使用した視差ベクトルを用いて、前記デプスマップに対する前記視差ベクトルを設定する請求項２に記載の動画像符号化装置。
  4. 　前記領域分割部は、前記対応領域内のデプス情報に基づいて、前記符号化対象領域に対する領域分割を設定する請求項１から３のいずれか１項に記載の動画像符号化装置。
  5. 　前記視差ベクトル生成部は、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する前記領域における前記デプス情報から代表デプスを設定し、当該代表デプスに基づいて前記参照視点に対する前記視差ベクトルを設定する請求項１から４のいずれか１項に記載の動画像符号化装置。
  6. 　前記動き情報生成部は、前記予測領域に対して予め定められた画素の位置と前記参照視点に対する前記視差ベクトルとを用いて、前記参照視点における対応位置を求め、前記参照視点動き情報のうち、当該対応位置を含む領域に対して与えられた動き情報を前記予測領域における前記動き情報とする請求項１から請求項５のいずれか１項に記載の動画像符号化装置。
  7. 　前記符号化対象画像に対して、符号化対象視点における前記符号化対象画像とは異なる既に符号化済みの１フレームを参照画像として設定する参照画像設定部をさらに備え、
    　前記動き情報生成部は、前記参照視点動き情報から得られた動き情報を、前記符号化対象画像と前記参照画像との時間間隔に合わせてスケーリングすることで前記予測領域における前記動き情報を生成する請求項１から請求項６のいずれか１項に記載の動画像符号化装置。
  8. 　前記予測画像生成部は、前記予測領域における前記動き情報を用いて生成した第１の予測画像と、前記参照視点に対する前記視差ベクトルと前記参照視点画像とを用いて生成した第２の予測画像とを用いて、前記予測領域に対する前記予測画像を生成する請求項１から請求項７のいずれか１項に記載の動画像符号化装置。
  9. 　複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域ごとに、復号を行う動画像復号装置であって、
    　前記復号対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定部と、
    　前記復号対象領域を分割した領域である予測領域を設定する領域分割部と、
    　前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成部と、
    　前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成部と、
    　前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成部と
    　を備える動画像復号装置。
  10. 　前記視差ベクトル生成部は、さらに、前記復号対象領域に対して、前記デプスマップに対する視差ベクトルを生成し、
    　前記対応領域設定部は、前記デプスマップに対する前記視差ベクトルによって示される領域を前記対応領域として設定する請求項９に記載の動画像復号装置。
  11. 　前記視差ベクトル生成部は、前記復号対象領域に隣接する領域を復号する際に使用した視差ベクトルを用いて、前記デプスマップに対する前記視差ベクトルを設定する請求項１０に記載の動画像復号装置。
  12. 　前記領域分割部は、前記対応領域内のデプス情報に基づいて、前記復号対象領域に対する領域分割を設定する請求項９から請求項１１のいずれか１項に記載の動画像復号装置。
  13. 　前記視差ベクトル生成部は、前記予測領域ごとに、前記対応領域内の当該予測領域に対応する前記領域における前記デプス情報から代表デプスを設定し、当該代表デプスに基づいて前記参照視点に対する前記視差ベクトルを設定する請求項９から請求項１２のいずれか１項に記載の動画像復号装置。
  14. 　前記動き情報生成部は、前記予測領域に対して予め定められた画素の位置と前記参照視点に対する前記視差ベクトルとを用いて、前記参照視点における対応位置を求め、前記参照視点動き情報のうち、当該対応位置を含む領域に対して与えられた動き情報を前記予測領域における前記動き情報とする請求項９から請求項１３のいずれか１項に記載の動画像復号装置。
  15. 　前記復号対象画像に対して、復号対象視点における前記復号対象画像とは異なる既に復号済みの１フレームを参照画像として設定する参照画像設定部をさらに備え、
    　前記動き情報生成部は、前記参照視点動き情報から得られた動き情報を、前記復号対象画像と前記参照画像との時間間隔に合わせてスケーリングすることで前記予測領域における前記動き情報を生成する請求項９から請求項１４のいずれか１項に記載の動画像復号装置。
  16. 　前記予測画像生成部は、前記予測領域における前記動き情報を用いて生成した第１の予測画像と、前記参照視点に対する前記視差ベクトルと前記参照視点画像とを用いて生成した第２の予測画像とを用いて、前記予測領域に対する前記予測画像を生成する請求項９から請求項１５のいずれか１項に記載の動画像復号装置。
  17. 　複数の異なる視点の動画像からなる多視点動画像の１フレームを符号化する際に、符号化対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記符号化対象画像を分割した領域である符号化対象領域ごとに、符号化を行う動画像符号化方法であって、
    　前記符号化対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定ステップと、
    　前記符号化対象領域を分割した領域である予測領域を設定する領域分割ステップと、
    　前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成ステップと、
    　前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成ステップと、
    　前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成ステップと
    　を有する動画像符号化方法。
  18. 　複数の異なる視点の動画像からなる多視点動画像の符号データから、復号対象画像を復号する際に、前記復号対象画像とは異なる参照視点に対する参照視点画像の動き情報である参照視点動き情報と、前記多視点動画像中の被写体に対するデプスマップとを用いて、異なる視点間で予測しながら、前記復号対象画像を分割した領域である復号対象領域ごとに、復号を行う動画像復号方法であって、
    　前記復号対象領域に対して、前記デプスマップ上での対応領域を設定する対応領域設定ステップと、
    　前記復号対象領域を分割した領域である予測領域を設定する領域分割ステップと、
    　前記予測領域ごとに、前記対応領域内の当該予測領域に対応する領域におけるデプス情報を用いて、前記参照視点に対する視差ベクトルを生成する視差ベクトル生成ステップと、
    　前記参照視点に対する前記視差ベクトルに基づいて、前記参照視点動き情報から前記予測領域における動き情報を生成する動き情報生成ステップと、
    　前記予測領域における前記動き情報を用いて、前記予測領域に対する予測画像を生成する予測画像生成ステップと
    　を有する動画像復号方法。
  19. 　コンピュータに、請求項１７に記載の動画像符号化方法を実行させるための動画像符号化プログラム。
  20. 　コンピュータに、請求項１８に記載の動画像復号方法を実行させるための動画像復号プログラム。
PCT/JP2014/077436 2013-10-17 2014-10-15 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム Ceased WO2015056712A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020167007560A KR101750421B1 (ko) 2013-10-17 2014-10-15 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP2015542635A JPWO2015056712A1 (ja) 2013-10-17 2014-10-15 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US15/029,553 US10911779B2 (en) 2013-10-17 2014-10-15 Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
CN201480056611.6A CN105612748B (zh) 2013-10-17 2014-10-15 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013216526 2013-10-17
JP2013-216526 2013-10-17

Publications (1)

Publication Number Publication Date
WO2015056712A1 true WO2015056712A1 (ja) 2015-04-23

Family

ID=52828154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077436 Ceased WO2015056712A1 (ja) 2013-10-17 2014-10-15 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Country Status (5)

Country Link
US (1) US10911779B2 (ja)
JP (1) JPWO2015056712A1 (ja)
KR (1) KR101750421B1 (ja)
CN (1) CN105612748B (ja)
WO (1) WO2015056712A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602325A (zh) * 2018-12-27 2021-04-02 Kddi 株式会社 图像解码装置、图像编码装置、程序和图像处理系统
JP2021510251A (ja) * 2018-01-05 2021-04-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像データビットストリームを生成するための装置及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6758977B2 (ja) * 2016-07-22 2020-09-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2020059616A1 (ja) * 2018-09-21 2020-03-26 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
EP2512139B1 (en) * 2006-10-30 2013-09-11 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
US9066075B2 (en) * 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
CN103404154A (zh) * 2011-03-08 2013-11-20 索尼公司 图像处理设备、图像处理方法以及程序
JP5932666B2 (ja) * 2011-07-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化装置とその集積回路、および画像符号化方法
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
CN102510500B (zh) 2011-10-14 2013-12-18 北京航空航天大学 一种基于深度信息的多视点立体视频错误隐藏方法
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH ET AL.: "3D-HEVC Test Model 1", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCT3V-A1005_D0, ITU-T, 20 September 2013 (2013-09-20), pages 12 - 21 *
SHIN'YA SHIMIZU: "Depth Map o Mochiita Sanjigen Eizo Fugoka no Kokusai Hyojunka Doko", IPSJ SIG NOTES, AUDIO VISUAL AND MULTIMEDIA INFORMATION PROCESSING (AVM), INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 2013 -AV, 5 September 2013 (2013-09-05), pages 1 - 6 *
YU-LIN CHANG ET AL.: "3D-CE2.h related: Simplified DV derivation for DoNBDV and BVSP", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC1/SC29/WG11 JCT3V-D0138, ITU-T, 13 April 2013 (2013-04-13), pages 1 - 4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021510251A (ja) * 2018-01-05 2021-04-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像データビットストリームを生成するための装置及び方法
JP7252238B2 (ja) 2018-01-05 2023-04-04 コーニンクレッカ フィリップス エヌ ヴェ 画像データビットストリームを生成するための装置及び方法
CN112602325A (zh) * 2018-12-27 2021-04-02 Kddi 株式会社 图像解码装置、图像编码装置、程序和图像处理系统

Also Published As

Publication number Publication date
CN105612748B (zh) 2019-04-02
US10911779B2 (en) 2021-02-02
US20160255370A1 (en) 2016-09-01
KR20160045864A (ko) 2016-04-27
CN105612748A (zh) 2016-05-25
KR101750421B1 (ko) 2017-06-23
JPWO2015056712A1 (ja) 2017-03-09
US20170055000A2 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
WO2014050830A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
CN104429077A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JPWO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14854836

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2015542635

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167007560

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15029553

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15029553

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14854836

Country of ref document: EP

Kind code of ref document: A1