[go: up one dir, main page]

WO2013146508A1 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2013146508A1
WO2013146508A1 PCT/JP2013/057994 JP2013057994W WO2013146508A1 WO 2013146508 A1 WO2013146508 A1 WO 2013146508A1 JP 2013057994 W JP2013057994 W JP 2013057994W WO 2013146508 A1 WO2013146508 A1 WO 2013146508A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
moving image
image
transition
frame sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/057994
Other languages
English (en)
French (fr)
Inventor
英史 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US14/386,942 priority Critical patent/US9344643B2/en
Priority to CN201380016103.0A priority patent/CN104205807B/zh
Priority to JP2014507772A priority patent/JP5999454B2/ja
Publication of WO2013146508A1 publication Critical patent/WO2013146508A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Definitions

  • the present technology relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program that can obtain a higher-quality loop moving image.
  • a video texture technique for generating and presenting a loop moving image from a video image material.
  • the video texture technique is a method of generating a loop moving image by performing image processing so that a joint between repeated images is not conspicuous when a video material of several seconds is repeatedly reproduced.
  • Such a loop moving image is a video image in which one repetition is recorded, and the end frame and the beginning frame of the loop moving image are reproduced without interruption during playback, so that it is presented as if it were an infinite length video image. can do.
  • the loop moving image since the loop moving image only needs to store video video data that is repeated once, the storage capacity and transfer time can be saved.
  • the loop moving image is suitable for applications such as viewing on a digital photo frame, an advertisement moving image on a website, and a background moving image on a personal computer screen.
  • Non-Patent Document 1 a video texture technique described in Non-Patent Document 1 is known as a method for automatically generating this loop moving image.
  • a repeated playback section of a loop moving image and a transition frame image are automatically calculated.
  • the similarity between any two frame images is calculated for each frame image included in the video image. Then, a pair of frame images having the highest degree of similarity is set as an in point and an out point of repeated reproduction, and a loop moving image is generated so as to repeatedly reproduce between those points. At this time, cross-fade processing of the video image is performed so that the joint between the In point and the Out point is not noticeable in the transition period before and after the In point and the Out point.
  • the present technology has been made in view of such a situation, and makes it possible to obtain a higher-quality loop moving image.
  • An image processing apparatus is an image processing apparatus that generates a transitional moving image in which an image transitions from one of a first moving image and a second moving image to the other, and includes the first moving image and the first moving image.
  • a matching processing unit that searches for a frame pair and a plurality of the frame pairs arranged in time series are converted into a time difference between frames of the first moving image and a time difference between frames of the second moving image of the frame pairs adjacent to each other.
  • the rearrangement processing unit that rearranges in the time direction and the image of each frame constituting the rearranged frame pair are blended to form a frame image of the transition video, thereby the transition video Raw And a blend processing unit for.
  • the first moving image frame and the second moving image frame of the plurality of frame pairs arranged in time series can be arranged in ascending or descending order of time series, respectively.
  • the rearrangement processing unit is adjacent to each other with a time difference obtained by weighted addition of the time difference between the frames of the first moving image and the time difference between the frames of the second moving image in the frame pairs adjacent to each other.
  • the rearrangement can be performed so that the frame pairs to be arranged are arranged.
  • the weight of the time difference between the frames of the first moving image used for the weighted addition is an average value of the frame weights of the first moving images of the frame pairs adjacent to each other, and the first moving image
  • the weight of each frame can be determined so as to increase as the frame on the head side of the first moving image increases.
  • the matching processing unit In the matching processing unit, the first moving image to be presented simultaneously when the playback speed of the second moving image with respect to the first moving image is changed with the predetermined frame pair as a starting point And a frame pair adjacent to the predetermined frame pair, based on the degree of similarity between the frame pair of the second moving image and the second moving image frame pair. be able to.
  • the matching processing unit is configured to obtain a plurality of the frame pairs arranged in time series for the plurality of first moving images having different lengths, and the blending processing unit is configured to determine the first moving image for each of the first moving images.
  • the transition moving image can be generated using a frame having the highest evaluation based on the degree of similarity for each frame.
  • the image processing apparatus may further include a loop moving image generating unit that generates a loop moving image based on the transition moving image.
  • An image processing method or program is an image processing method or program that generates a transitional moving image in which an image transitions from one of a first moving image and a second moving image to the other.
  • the first moving image and the second image having similar images based on the degree of similarity between the image of the frame forming the first moving image and the image of the frame forming the second moving image.
  • the frame pairs of the moving images are searched, and the plurality of frame pairs arranged in time series are converted into the time difference of the frames of the first moving image and the time difference of the frames of the second moving image of the adjacent frame pairs.
  • the transition moving image is generated by rearranging in the time direction and blending the images of the frames constituting the rearranged frame pair into the frame image of the transition moving image. Including the step.
  • the first moving image is configured in image processing for generating a transition moving image in which an image transitions from one of the first moving image and the second moving image to the other.
  • a frame pair of the first moving image and the second moving image with similar images is searched, A plurality of the frame pairs arranged in time series are rearranged in the time direction based on a time difference between frames of the first moving image and a time difference between frames of the second moving image of the frame pairs adjacent to each other,
  • the transition moving image is generated by blending the images of the frames constituting the rearranged frame pair to form the image of the transition moving image.
  • a higher quality loop moving image can be obtained.
  • a moving image MT11 is given as a material, and that the moving image MT11 is used to generate a loop moving image LP11.
  • each of a plurality of rectangles in a rectangle representing the moving image MT11 or the loop moving image LP11 represents an image of one frame.
  • the leftmost frame in the figure is the frame with the smallest frame number, and during normal reproduction, the frame is reproduced in order from the leftmost frame to the rightmost frame.
  • the leftmost frame is the first frame
  • the frame adjacent to the right side of the frame is the second frame.
  • two frame sequences of a transition source frame sequence and a transition destination frame sequence are determined from the moving image MT11. That is, the correspondence between the IN point and OUT point of each frame sequence (section) at the transition source and the transition destination is determined.
  • a section including five frames in the moving image MT11 is set as a transition source frame sequence TS11, and a section including five frames preceding the frame sequence TS11 in the moving image MT11 is set as a transition destination frame sequence TD11. It is said that.
  • the first frame and the last frame of these frame sequences are the in point and the out point, respectively.
  • the first frame FS in is the In point
  • the last frame FS out is the Out point
  • the first frame FD in is the In point
  • the last frame FD out is the Out point.
  • the frame sequence TS11 and the frame sequence TD11 are determined so that images of frames at the same position in these frame sequences are similar to each other. Normally, the transition source frame sequence TS11 is selected from the vicinity of the end of the moving image MT11 as the material, and the transition destination frame sequence TD11 is selected from the vicinity of the start end of the moving image MT11.
  • the loop moving image LP11 is generated based on the image data of the section from the frame FD in to the frame FS out of the moving image MT11.
  • the transition source frame sequence TS11 and the transition destination frame sequence TD11 are blended to generate an image of each frame in the latter half of the loop moving image LP11, that is, the transition period Tr.
  • the images of the frames at the same position in the frame sequence TS11 and the frame sequence TD11 are added with weights to obtain the images of each frame in the transition period Tr of the loop moving image LP11.
  • the image of the first frame FB in of the transition period Tr is obtained by blending the image of the first frame FS in in the transition source frame sequence TS11 and the image of the first frame FD in in the transition destination frame sequence TD11. This is the image obtained.
  • the image of the last frame FB out in the transition period Tr of the loop moving image LP11 includes the image of the last frame FS out in the transition source frame sequence TS11 and the image of the last frame FD out in the transition destination frame sequence TD11. It is the image obtained by blending.
  • the transition period Tr obtained by such a blending process is such that the image of each frame gradually changes (transitions) from the image of the transition source frame sequence TS11 to the image of the transition destination frame sequence TD11. Become.
  • a section NT11 between the frame FD out and the frame FS in in the moving picture MT11 is set as the first half section Tn of the loop moving picture LP11 as it is, and a loop moving picture LP11 composed of the section Tn and the transition period Tr is obtained. .
  • the frames are reproduced in order from the first frame of the section Tn to the last frame of the transition period Tr, and then return to the first frame of the section Tn. Played repeatedly.
  • a minimum loop moving image length Tr_min that is the minimum length of the loop moving image LP11, that is, a minimum distance restriction of a section from the frame FD in to the frame FS in is also given in advance as a parameter.
  • F i (x, y) represents the pixel value of the pixel at the position (x, y) of the image Fi
  • F j (x, y) represents the position of the image Fj.
  • the pixel value of the pixel at (x, y) is shown. Therefore, in the expression (1), for all the pixels of the images Fi and Fj, the square value of the difference between the pixel values of the pixels at the same position in the image Fi and the image Fj is obtained, and the sum of these square values (integration) Value) is the difference value D (i, j) between frame i and frame j.
  • the difference value D (i, j) indicates the degree of similarity between the image Fi of the frame i and the image Fj of the frame j, and the difference value D (i, j) is greater as these images are more similar. ) Value becomes smaller.
  • the difference value D (i, j) is obtained for all the combinations of (i, j) constituting the material moving image, and the difference value D (i, j) is two-dimensional. It is stored as a difference value matrix MD.
  • the two-dimensional difference value matrix MD has a difference value D in which the value of the element at the position (i, j) is the i-axis in the vertical direction and the j-axis in the horizontal direction.
  • the matrix is (i, j).
  • each square represents each element of the two-dimensional difference value matrix MD, and the value of the element, that is, the value of the difference value D (i, j) increases as the density of the square representing the element increases. Is getting smaller.
  • Tr indicates the number obtained by subtracting 1 from the number of frames in the transition period Tr described with reference to FIG. Therefore, in Expression (2), the sum of the difference values D (i, j) from the position (i, j) to the position (i + Tr, j + Tr) is obtained as the transition cost C (i, j).
  • the difference value D (i, j) that is the value of each of the five elements included in the region RC11 Is the transition cost C (i1, j1) for the position (i1, j1).
  • the element sequence included in the region RC11 is a sequence of five elements arranged adjacent to each other in the diagonally lower right direction in the figure starting from the element at the position (i1, j1).
  • the frames i to (i + Tr) are the frames FS in to FS out that constitute the frame sequence TS11, respectively.
  • the frames j is the frame FD in of FIG. 1
  • the frames j to (j + Tr) are the frames FD in to FD out constituting the frame sequence TD11, respectively.
  • the transition cost C (i, j) for the position (i, j) is the sum of the difference values D (i, j) of the frames at the same position in the frame sequence TS11 and the frame sequence TD11.
  • the transition cost C (i, j) indicates the degree of similarity between the frame sequence TS11 and the frame sequence TD11. Therefore, if the position (i, j) at which the transition cost C (i, j) is the minimum is obtained and the section starting from the frame position is used as the transition source and destination frame sequence, the loop that is difficult to notice the joint A moving image can be obtained.
  • the position (i, j) at which the transition cost C (i, j) is minimum is obtained from the positions (i, j), and the obtained position (i, j).
  • the frames i and j indicated by are set as the frames FS in and FD in which are in points, respectively.
  • the difference value D (i, j) at each position is not simply accumulated, but the intermediate position between the In point and the Out point is set to the maximum value.
  • a method has also been proposed in which the weighted integrated value of the difference value D (i, j) with weights gradually attenuated at both end points is used as the transition cost C (i, j).
  • the motion of the subject is similar in two sections in the moving image that is the material, the speed of the movement is different, or the periodic motion is not included in the moving image that is the material in the first place Sometimes.
  • the joint between the first frame and the end frame can be clearly recognized when the loop moving image is repeatedly reproduced.
  • the transition point is determined taking into account the speed. It is desirable to perform blend processing on the image of each frame. Further, even when the movement of the subject is non-periodic, if a moving image is reversely reproduced, it is likely that a more appropriate transition point can be found if it is included in the transition source or destination frame sequence candidates.
  • the playback speed to be considered is N-times speed
  • the former corresponds to the case where the playback speed is increased or decreased, that is, N is considered to be a speed of 0 or more.
  • N is negative. Can be considered to be.
  • the transition cost C (i, j) of the frame sequence that is not reproduced by 1 time is an element lined up in a direction that is not downward 45 degrees in the figure.
  • the transition cost C (i, j) of the reverse-reproduction frame sequence corresponds to the integration of the difference values D (i, j) of the elements arranged in the downward direction in the drawing.
  • the vertical direction and the horizontal direction indicate the i-axis direction and the j-axis direction, respectively.
  • the same two-dimensional difference value matrix MD as the two-dimensional difference value matrix MD shown in FIG. It is shown.
  • the sum of the difference values D (i, j), which are the values of the six elements included in the region RC22, is the position (when the other frame sequence is reproduced in reverse with respect to one frame sequence ( The transition cost C (i, j) for i, j).
  • the transition cost C (i, j) for i, j is the position (when the other frame sequence is reproduced in reverse with respect to one frame sequence.
  • the transition source and the transition destination frame sequence are determined in consideration of the reproduction speed, for example, since the length of the transition period is different between the region RC21 and the region RC22, the transition cost C (i, j) is normalized. It is necessary to compare.
  • a moving image suitable for reverse reproduction of the other frame sequence with respect to one frame sequence is a video including a motion that does not have directionality, for example, a video in which a person changes facial expressions, An image of an animal changing its body orientation, an image of a flag fluttering in the wind, and so on.
  • an image including a directional movement is an image in which a person walks from left to right. If such a video is used as a material and a part of the video is reversely reproduced and used as a transition source or destination frame sequence, the obtained loop moving image becomes unnatural.
  • a frame sequence that is a transition source and a frame sequence that is a transition destination are determined.
  • the transition source frame sequence is referred to as a transition source frame sequence FS
  • the transition destination frame sequence is referred to as a transition destination frame sequence FD.
  • the transition source frame sequence FS is selected from near the end of the material moving image
  • the transition destination frame sequence FD is selected from near the start end of the material moving image.
  • the number of frames NF constituting each frame sequence of the transition source frame sequence FS and the transition destination frame sequence FD is given in advance as an input parameter.
  • the video is transitioned using a part of the sections of the transition source frame sequence FS and the transition destination frame sequence FD. It is assumed that the minimum number of frames NF_min required for transition, that is, the minimum number of frames in the transition period included in the loop moving image is given in advance as an input parameter.
  • the cost here is, for example, the transition cost C (i, j) obtained by the calculation of Expression (2).
  • this corresponds to performing elastic matching on the two signals X and Y.
  • DP Dynamic Programming
  • DP matching is a method for recognizing time series patterns such as speech and gestures. It is used in various fields such as image pattern recognition.
  • the length of the signal X is J and the length of the signal Y is I
  • the horizontal direction and the vertical direction indicate the time directions of the signal X and the signal Y, respectively, and each circle represents one lattice point on the DP plane.
  • the position of each grid point on the DP plane is the position (i, j) (where 1 ⁇ i ⁇ I, 1 ⁇ j ⁇ J).
  • three routes indicated by an arrow Q11 are given as routes from each lattice point to other lattice points. That is, the tilt restriction is given as shown by the arrow Q11.
  • the lattice point PO11 at the position (i, j) the lattice point PO12 at the position (i, j + 1), the lattice point PO13 at the position (i + 1, j + 1), or the position (i + 2, j + 1). It is possible to transition to any one of the lattice points PO14.
  • the grid point PO11 is connected to a path to any one of the grid points PO12 to PO14.
  • costs are defined for each lattice point, an edge between lattice points, or both an edge between each lattice point and the lattice point.
  • the combination that minimizes the distance between the transition source frame sequence FS and the transition destination frame sequence FD is obtained as follows. That is, while changing the length of the frame sequence extracted from the transition source frame sequence FS and the transition destination frame sequence FD, a combination of the two extracted frame sequences is made, and elastic matching is performed for each set of frame sequences. The pair with the smallest distance may be selected.
  • the number of combinations of two frame sequences extracted from the transition source frame sequence FS and the transition destination frame sequence FD becomes a huge number. Therefore, the number of combinations of frame sequences can be reduced by using the following extended function of DP matching.
  • the DP matching using the extended function is DP matching based on the start point / end point liberalization.
  • the start point SP11 and the end point DP11 are fixed. Give more than one.
  • the DP plane is enlarged.
  • the vertical direction and the horizontal direction indicate the i-axis direction and the j-axis direction, respectively, and each circle represents one lattice point on the DP plane.
  • one temporary start point TSP11 and one temporary end point TDP11 are further given to the DP plane shown in FIG. 5.
  • the route from the true start point to the end point is automatically determined as the route having the minimum cost.
  • a partial signal having a minimum cost among the partial signals in the signal X is selected for the signal X.
  • the input of the signal X can be fixed, so that the number of combinations to be tried can be greatly reduced.
  • the signal Y all partial signal patterns are extracted and elastic matching with the signal X is performed while changing the partial signal length and the partial signal start position.
  • both the transition source frame sequence FS and the transition destination frame sequence FD may have variable lengths, but here, the transition source frame sequence FS is set to a fixed length, and the transition destination frame sequence FD is used.
  • An example in which only the variable length is set will be described. In such a case, the amount of calculation can be reduced compared to the case where both frame sequences are variable length.
  • transition source frame sequence FS and a transition destination frame sequence FD having a number of frames of NF are given, and an optimal matching of partial frame sequences included in these frame sequences is calculated.
  • the transition source frame sequence FS is set to a fixed length, and the partial frame sequence is selected by the start point end point liberalization.
  • the start position of the partial frame sequence is changed between the first frame to (NF-NF_min) frame of the transition destination frame sequence FD, and the length of the partial frame sequence is also NF_min to NF. And the partial frame sequence is determined.
  • the frame sequence used for DP matching extracted from the transition destination frame sequence FD is also referred to as a partial frame sequence FD ′.
  • a DP plane is generated from the transition source frame sequence FS and the transition destination frame sequence FD, for example, in the same manner as in FIG. At this time, the portion from the true start point to the end point of the transition destination frame sequence FD becomes the partial frame sequence FD ′.
  • the direction of the transition source frame sequence FS is the i-axis direction
  • the direction of the partial frame sequence FD ′ is the j-axis direction
  • the Lth frame of the transition destination frame sequence FD that is the frame of the partial frame sequence FD ′ is used.
  • a temporary end point is connected to each of the lattice points in between.
  • connection (edge) between the lattice points is given, and the inclination restriction shown in FIG. 6 is given to the connection between the lattice points, for example.
  • the vertical direction and the horizontal direction indicate the i-axis direction (transition source frame sequence FS direction) and the j-axis direction (partial frame sequence FD ′ direction), respectively. Represents a point.
  • a path from the lattice point PO41 to any of the lattice points PO51 to PO55 can be taken.
  • the position of the lattice point PO51 is the position (i + 1, j + 3).
  • the path from the lattice point PO41 to the lattice point PO51 corresponds to a progression of 1 in the direction of the transition source frame sequence FS and a progression of 3 in the direction of the partial frame sequence FD ′.
  • the position (i, j) of the lattice point PO41 and the position (i + 1, j + 3) of the lattice point PO51 have the following relationship. It can be said that.
  • the reproduction speed of partial frame sequence FD ′ with respect to transition source frame sequence FS is set to triple speed, and these transition source frame sequence FS and partial frame sequence FD ′ are virtually Let's play it back.
  • the pair is frame i + 1 and frame j + 3.
  • the position of the lattice point PO52 is the position (i + 1, j + 2) with respect to the position (i, j) of the lattice point PO41, and the relative playback speed of the partial frame sequence FD ′ with respect to the transition source frame sequence FS at this time is 2 Double speed.
  • the position of the lattice point PO53 is the position (i + 1, j + 1) with respect to the position (i, j) of the lattice point PO41, and the relative reproduction speed of the partial frame sequence FD ′ with respect to the transition source frame sequence FS at this time Becomes 1x speed.
  • the position of the lattice point PO54 is the position (i + 2, j + 1) with respect to the position (i, j) of the lattice point PO41, and the relative playback speed of the partial frame sequence FD ′ with respect to the transition source frame sequence FS at this time is 1 / Double speed.
  • the position of the lattice point PO55 is the position (i + 3, j + 1) with respect to the position (i, j) of the lattice point PO41, and the relative reproduction speed of the partial frame sequence FD ′ with respect to the transition source frame sequence FS at this time Becomes 1/3 speed.
  • the playback speed described here is for explaining the positional relationship between the two grid points, and the playback speed determined by the difference in the overall lengths of the transition source frame sequence FS and the partial frame sequence FD ′. Different.
  • the playback speed determined by the difference in the overall length of the frame sequence means that the transition source frame sequence FS and the partial frame sequence FD ′ that are necessary to make the playback time uniform when transitioning from the transition source to the transition destination. Relative playback speed.
  • the cost is defined at the edge between each grid point.
  • the cost at the lattice point at the position (i, j) is set as the value of the difference value D (i, j) obtained by the above-described equation (1), and the cost actually added to the edge A different cost is assigned to each edge reaching the lattice point. That is, the cost added to an edge is scaled according to the length of the edge, that is, the edge length, for example. Note that the cost at the lattice point is temporarily given to give a cost to the edge, and no cost is given to the lattice point in the final DP plane.
  • the cost at the lattice point at the position (i, j) is the value of the difference value D (i, j), and the edge length of the edge k connected to this lattice point is length (k).
  • a value obtained by multiplying the difference value D (i, j) by length (k) is set as a cost E (i, j, k) added to the edge k.
  • the length of the edge k11 from the lattice point OP61 to the lattice point PO62 is length (k) on the DP plane.
  • the position of the lattice point OP62 is the position (i, j).
  • the cost E (i, j, k) added to the edge k11 includes the difference value D (i, j) obtained for the position (i, j) and the length length (k) of the edge k11.
  • the difference value D (i, j) is a difference value obtained by calculating the above-described equation (1). That is, the difference value D (i, j) is the pixel value of each pixel of the image of the i-th frame from the beginning of the transition source frame sequence FS and the transition destination frame sequence FD that is the frame of the partial frame sequence FD ′. This is the sum of squared differences from the pixel value of each pixel in the image of the jth frame from the top.
  • the difference value D (i, j) indicates the degree of similarity between the image of the transition source frame sequence FS and the image of the partial frame sequence FD ′, but the cost E (i, j, k) is obtained.
  • an optical flow or the like may be used instead of the difference value D (i, j).
  • the cost E (i, j, k) is added to the edge between each lattice point on the DP plane.
  • the total cost of the route from the start point to the end point of the DP plane is the total value of the cost added to the edge on the route. Therefore, the route with more long edges selected calculates the total cost of the route. The number of times the cost is added at the time decreases.
  • the edge cost can be increased as much as the number of additions is reduced, and a route that minimizes the total cost can be obtained correctly. It becomes like this.
  • the path having the minimum total cost from the start point to the end point of the DP plane obtained by DP matching between the transition source frame sequence FS and the partial frame sequence FD ′ is also referred to as a minimum cost route.
  • the total cost is also referred to as the minimum total cost.
  • the minimum total cost is obtained for each partial frame sequence FD ′ of the transition destination frame sequence FD.
  • the one that minimizes the cost may be selected.
  • each partial frame sequence FD ′ has a different signal length, that is, the number of frames, and the number of times the cost is added when calculating the minimum total cost for each partial frame sequence FD ′ is different. Can not be compared.
  • the minimum total cost obtained for the partial frame sequence FD ′ is divided by the signal length of the partial frame sequence FD ′, that is, the number of frames to normalize the minimum total cost, and then the normalized minimum total cost is minimized.
  • the partial frame sequence FD ′ to be
  • Equation (4) E (x, y, k) indicates the cost of the edge determined by Equation (3). Therefore, the total cost C (i, j, m) is obtained by dividing the sum of the costs E (x, y, k) of each edge on the minimum cost path by the signal length m of the partial frame sequence FD ′. can get.
  • the one with the minimum total cost C (i, j, m) obtained by the equation (4) is set as the final transition destination frame sequence FD.
  • a transition source frame sequence FS as a final transition source and a transition destination frame sequence FD as a final transition destination, that is, a selected partial frame sequence FD ′ are obtained.
  • the playback speed of the transition source is fixed to 1 by associating the transition source frame sequence FS and the transition destination frame sequence FD, the playback speed of the transition destination varies.
  • the transition destination frame sequence FD is set as the playback speed of the transition source frame sequence FS, and the video obtained by blending the images of each frame in the frame sequence is reproduced, the video when the transition to the transition destination is completed Connection will be worse. This is because there are places where the playback speed of the transition destination suddenly changes from N times to 1 time.
  • the transition source is set to the playback speed of 1 time and the transition destination is set to the playback speed of N times, and the transition end time, that is, the last frame of the transition period. Then, each frame of the transition period is generated by gradually changing the playback speed so that the transition source has a playback speed of 1 / N times and the transition destination has a playback speed of 1 time.
  • frames corresponding to each other of the transition destination frame sequence FD and the transition source frame sequence FS obtained by DP matching that is, sequences of similar frames (hereinafter also referred to as matching frames) are obtained from the minimum cost path at the time of DP matching. can get.
  • This matching frame sequence is not only the frame at the lattice point position on the minimum cost path, but also the other frame of each frame of the transition destination frame sequence FD and the transition source frame sequence FS that is not a matching frame. This is obtained by defining the corresponding frame of the column.
  • the horizontal axis indicates the frame number i (where 1 ⁇ i ⁇ 6) of the transition source frame sequence FS
  • the vertical axis indicates the frame number j (where 1 ⁇ i ⁇ 6) of the transition destination frame sequence FD. j ⁇ 7).
  • Each circle indicates a matching frame sequence of the transition source frame sequence FS and the transition destination frame sequence FD.
  • the frame of the transition destination frame sequence FD corresponding to the fourth frame of the transition source frame sequence FS the frame of the transition source frame sequence FS corresponding to the second frame and the sixth frame of the transition destination frame sequence FD, Is not fixed.
  • the fourth frame of the transition source frame sequence FS and the second and sixth frames of the transition destination frame sequence FD A corresponding matching frame is determined.
  • a frame pair indicated by the positions (i, j) (1, 2), (4, 4), (5, 6) is set as a matching frame.
  • the frame corresponding to the second frame of the transition destination frame sequence FD is the first frame of the transition source frame sequence FS
  • the frame corresponding to the fourth frame of the transition source frame sequence FS is the transition destination frame sequence FD. This is the fourth frame.
  • the frame corresponding to the sixth frame of the transition destination frame sequence FD is the fifth frame of the transition source frame sequence FS.
  • the right direction on the right side indicates the time direction, and each square represents an image of one frame.
  • a frame in which F Si (where 1 ⁇ i ⁇ 6) is written in the rectangle represents the i-th frame from the beginning of the transition source frame sequence FS
  • F Dj (where 1 ⁇ i)
  • the frame with j ⁇ 7) represents the jth frame from the beginning of the transition destination frame sequence FD.
  • a frame in which F Bh (where 1 ⁇ h ⁇ 7) is written in a rectangle is h from the beginning of the transition period obtained by blending the transition source frame sequence FS and the transition destination frame sequence FD. Represents the second frame.
  • the i-th frame of the transition source frame sequence FS is also referred to as a frame F Si
  • the j-th frame of the transition destination frame sequence FD is also referred to as a frame F Dj
  • the h-th frame in the transition period is also referred to as a frame FBh .
  • the matching frames are arranged at equal intervals in the portion indicated by the arrow Q32.
  • a pair of frame F S1 and frame F D1, a pair of frame F S1 and frame F D2, a pair of frame F S2 and frame F D3 , and a pair of frame F S3 and frame F D4 are arranged in order in the right direction. ing.
  • a pair of frame F S4 and frame F D4 are in the right direction.
  • a pair of frame F S5 and frame F D5 are in the right direction.
  • a pair of frame F S5 and frame F D6 are in the right direction.
  • a pair of frame F S6 and frame F D7 are in the right direction.
  • the frames F Dj constituting a pair of the frame F Si and the frame F Dj are also arranged in ascending order or descending order.
  • a numerical value indicating a time difference between the frames F Si arranged in the right direction is shown.
  • the unit of time difference is the number of frames.
  • a time difference “0” between the frames F S1 is written while the same frame F S1 is arranged, and between the frames F S1 and F S2 is arranged between the frames F S1 and F S2.
  • the time difference “1” is marked.
  • a numerical value indicating a time difference between the frames is shown between the frames F Dj arranged in the right direction. For example, during the same frame F D4 are arranged, the time difference between the frames F D4 are written is "0", between the frame F D1 and the frame F D2 are arranged, between the frames The time difference “1” is marked.
  • the matching frame rearrangement process is performed from this state (initial state), and the pair of each frame F Si and frame F Dj is rearranged.
  • the transition source gradually transitions from the transition source frame to the transition destination frame from the beginning to the end of the transition period, that is, from the beginning to the end of the pair of frames F Si and F Dj arranged in time series.
  • the position is shifted so that the time difference (interval) becomes 1.
  • the interval between the frames F Si of the transition source frame sequence FS is 1, and in the vicinity of the end position of the transition period on the right side in FIG.
  • the arrangement position of each frame pair is adjusted so that the interval between the frames FDj in the frame sequence FD is 1.
  • the interval (time difference) between the arrangement positions of each frame pair is adjusted by assigning a weight to a place where the time difference is different between the transition destination and the transition source.
  • the transition source frame sequence FS is arranged at an interval close to 1 ⁇ playback speed at the transition start end
  • the transition destination frame sequence FD is arranged at an interval close to 1 ⁇ playback speed at the end portion.
  • each frame pair is weighted with respect to the frame interval of frames arranged adjacent to each other at the transition destination and the transition source, that is, the time difference indicated by the arrow Q32.
  • the updated frame interval is calculated by blending the weighted frame intervals (time difference).
  • the frame pairs are rearranged so that each frame pair is aligned with the obtained frame interval (time difference) with respect to the frame pair immediately before the frame pair in the time direction.
  • a weight WS is given to the transition source frame sequence FS and a weight WD is given to the transition destination frame sequence FD.
  • the weight WS is composed of the weight WS i (where 1 ⁇ i ⁇ 6) given to each frame F Si of the transition source frame sequence FS, and the weight WD is the transition destination frame sequence. It consists of weight WD j (where 1 ⁇ j ⁇ 7) given to each frame FDj of FD.
  • Such a weight WS is used to obtain a weight between frames of the transition source frame sequence FS.
  • the weight between frames is, for example, an average value of the weights of adjacent frames. Therefore, for example, the weight between the frame F S1 and the frame F S2 is (WS 1 + WS 2 ) / 2. Similar to the weight between frames of the transition source frame sequence FS, the weight between frames of the transition destination frame sequence FD is also obtained using the weight WD.
  • the frame interval (time difference) of the transition source frame sequence FS and the frame interval (time difference) of the transition destination frame sequence FD are blended for the frame pair of interest, and the updated A frame interval (time difference) is calculated.
  • the frame pair immediately before this frame pair is the pair of the frame F S1 and the frame F D1 .
  • the same frame F S1 is arranged for the transition source frame sequence FS of these pairs, and the frame F D1 and the frame F D2 are arranged for the transition destination frame sequence FD.
  • the weight WD 1 of the frame F D1 the average value of the weight WD 2 frame F D2 are, as a weight between the frames (and WD 1, 2) Calculated.
  • the weight WS 1 is used as it is. This is because the average value of the two weights WS 1 is the weight WS 1 .
  • the frame interval blending with the frame pair immediately before the pair is performed.
  • the frame interval (time difference) is “0”. Also, for the transition destination frame sequence FD, the frame FD1 and the frame FD2 are arranged side by side, so the frame interval (time difference) is “1”.
  • the result is as indicated by the arrow Q33.
  • the pair of the frame F S1 and the frame F D2 is arranged at a position almost overlapping with the pair of the frame F S1 and the frame F D1 immediately before the pair.
  • Each frame pair indicated by arrow Q33 is arranged such that the position of the top frame pair of those frame pairs arranged in time series is the time position of the top frame in the transition period.
  • a frame pair arranged closest to that time is selected.
  • the image of each frame of the frame pair selected at each time of the transition period is blended with the blend rate ⁇ to obtain the frame image of the transition period.
  • the blend rate ⁇ at these times is shown at the positions of the dotted lines representing the times of the transition period.
  • each frame F Si of the transition source frame sequence FS is multiplied by (1- ⁇ ) as a weight.
  • the image of each frame in the transition period is generated by blending each frame of the transition source frame sequence FS and the transition destination frame sequence FD.
  • the image (frame sequence) in the transition period is an image that gradually transitions from the image of the transition source frame sequence FS to the image of the transition destination frame sequence FD.
  • the frame sequence of the transition period When the frame sequence of the transition period is obtained, the frame sequence of the section between the last frame (out point) of the transition destination frame sequence FD and the first frame (in point) of the transition source frame sequence FS in the material moving image Then, a loop moving image consisting of the frame sequence of the transition period following the frame sequence is obtained.
  • a combination considering reverse reproduction may be added as a combination of the transition source frame sequence FS and the partial frame sequence FD ′ extracted from the transition destination frame sequence FD.
  • the minimum number of frames in the transition period included in the loop moving image is NF_min
  • the number of frames constituting each frame sequence of the transition source frame sequence FS and the transition destination frame sequence FD is NF.
  • the top frame (start position) of the partial frame sequence FD ′ extracted from the transition destination frame sequence FD is changed between the NF to (NF ⁇ NF_min) frames from the top of the transition destination frame sequence FD
  • the partial frame sequence FD ′ is extracted by changing the signal length of the partial frame sequence FD ′ between NF_min and NF frames.
  • the frame sequence to be set is a partial frame sequence FD ′.
  • DP matching is performed for each combination of the transition source frame sequence FS and the obtained partial frame sequence FD ', and a final transition destination frame sequence FD for reverse reproduction is obtained. Therefore, a frame sequence of the transition period for the reverse reproduction is obtained from the transition source frame sequence FS and the transition destination frame sequence FD for the reverse reproduction.
  • a loop moving image LP31 including a reverse playback section is generated from one material moving image MT31.
  • the transition source frame sequence FS1 for obtaining the transition period TR11 of the forward reproduction by DP matching that is, the transition period TR11 in which the picture transition is performed by the reproduction in the forward direction, from the section FV11 near the end of the material moving image MT31.
  • a transition destination frame sequence FD1 are determined.
  • the transition source frame sequence FS2 and the transition for obtaining the transition period TR12 of the reverse reproduction by DP matching that is, the transition period TR12 in which the image transition using the reverse reproduction is performed are performed.
  • a previous frame sequence FD2 is determined. Then, the images of the frames of the transition source frame sequence FS2 and the transition destination frame sequence FD2 are blended to generate a transition period TR12.
  • the section from the frame immediately after the transition destination frame sequence FD2 in the material moving image MT31 to the frame immediately before the transition source frame sequence FS1 is cut out as it is, and is set as the forward reproduction period TU11 in the loop moving image LP31.
  • a section from the frame immediately before the transition source frame sequence FS2 in the material moving image MT31 to the frame immediately before the transition destination frame sequence FD1 is cut out, and the frame of the cut out section is changed from the newest frame number to the oldest frame number.
  • a section composed of the frame sequence obtained as a result is set as a reverse reproduction period TU12 in the loop moving image LP31.
  • the reverse reproduction period TU12 is a period in which a part of the material moving image MT31 is reproduced in the reverse direction.
  • a moving image obtained by sequentially connecting the forward reproduction period TU11, the transition period TR11, the reverse reproduction period TU12, and the transition period TR12 is set as a loop moving image LP31.
  • FIG. 10 is a diagram illustrating a configuration example of an embodiment of an image processing apparatus to which the present technology is applied.
  • the image processing apparatus 11 in FIG. 10 includes an acquisition unit 21, a frame sequence determination unit 22, a partial frame sequence determination unit 23, a matching processing unit 24, a rearrangement processing unit 25, a blend processing unit 26, and a loop moving image generation unit 27. Composed.
  • the obtaining unit 21 obtains a material moving image that is a material of a loop moving image to be generated from now on and supplies the material moving image to the frame sequence determining unit 22 and the loop moving image generating unit 27.
  • the frame sequence determination unit 22 extracts the transition source frame sequence FS and the transition destination frame sequence FD from the material moving image supplied from the acquisition unit 21, and the partial frame sequence determination unit 23, the matching processing unit 24, and the blend processing unit 26.
  • the partial frame sequence determination unit 23 extracts the partial frame sequence FD ′ from the transition destination frame sequence FD supplied from the frame sequence determination unit 22 and supplies it to the matching processing unit 24.
  • the matching processing unit 24 performs elastic matching based on the transition source frame sequence FS and the transition destination frame sequence FD from the frame sequence determination unit 22 and the partial frame sequence FD ′ from the partial frame sequence determination unit 23, and the matching result Is supplied to the rearrangement processing unit 25.
  • the rearrangement processing unit 25 performs matching frame rearrangement processing based on the matching result supplied from the matching processing unit 24 and supplies the processing result to the blend processing unit 26.
  • the blend processing unit 26 performs blend processing based on the processing result from the rearrangement processing unit 25 and the transition source frame sequence FS and the transition destination frame sequence FD from the frame sequence determination unit 22, and transitions that constitute a loop moving image Each frame of the period is generated and supplied to the loop moving image generation unit 27.
  • the loop moving image generating unit 27 generates and outputs a loop moving image based on each frame in the transition period from the blend processing unit 26 and the material moving image from the acquiring unit 21.
  • step S11 the acquisition unit 21 acquires the supplied material moving image and supplies the acquired material moving image to the frame sequence determination unit 22 and the loop moving image generation unit 27.
  • step S12 the frame sequence determination unit 22 determines a section between the transition source frame sequence FS and the transition destination frame sequence FD in the material moving image supplied from the acquisition unit 21, and the partial frame sequence determination unit 23, the matching processing unit 24 and the blend processing unit 26.
  • the frame sequence determination unit 22 sets the section from the first frame of the material moving image to the NFth frame as the transition destination frame sequence FD, and sets the section including the last NF frame of the material moving image as the transition source frame sequence FS.
  • transition source frame sequence FS and the transition destination frame sequence FD may be extracted from different material moving images.
  • step S 13 the partial frame sequence determination unit 23 extracts the partial frame sequence FD ′ from the transition destination frame sequence FD supplied from the frame sequence determination unit 22 and supplies the partial frame sequence FD ′ to the matching processing unit 24.
  • the number of frames NF of the transition source frame sequence FS and the transition destination frame sequence FD and the minimum number of frames NF_min of the transition period included in the loop moving image are determined in advance.
  • the partial frame sequence determining unit 23 changes the start position of the partial frame sequence FD ′ between the first to (NF-NF_min) frames of the transition destination frame sequence FD and the length of the partial frame sequence FD ′.
  • the partial frame sequence FD ′ is determined by changing between NF_min and NF frames. Accordingly, since a plurality of frame sequences can become the partial frame sequence FD ', in step S13, those frame sequences that have not yet been processed are set as the partial frame sequence FD'.
  • step S14 the matching processing unit 24 performs elastic matching based on the transition source frame sequence FS and the transition destination frame sequence FD from the frame sequence determination unit 22 and the partial frame sequence FD ′ from the partial frame sequence determination unit 23. .
  • DP matching is performed as elastic matching.
  • the matching processing unit 24 generates a DP plane based on the transition source frame sequence FS and the transition destination frame sequence FD, and costs E (i, j, k). At this time, a temporary start point and a temporary end point are given to the DP plane as necessary.
  • the matching processing unit 24 searches for the minimum cost path from the start point to the end point on the DP plane, and calculates the total cost C (i, j, m) of the minimum cost path by Equation (4).
  • Ask for. The total cost obtained by Expression (4) can be said to be an evaluation value of the minimum cost path based on the degree of similarity of images of each matching frame.
  • the starting point of the DP plane is the position of a lattice point determined by the top frame of the transition source frame sequence FS and the top frame of the partial frame sequence FD ′.
  • the end point of the DP plane is the position of a lattice point determined by the last frame of the transition source frame sequence FS and the last frame of the partial frame sequence FD ′.
  • step S15 the matching processing unit 24 determines whether or not the total cost C (i, j, m) of the minimum cost route obtained in the immediately preceding step S14 is the minimum. That is, the total cost C (i, j, m) of the minimum cost path obtained in the process of the immediately preceding step S14 is the total cost C of the minimum cost path obtained for the partial frame sequence FD ′ that has been processed so far ( It is determined whether it is smaller than i, j, m).
  • the matching processing unit 24 calculates the minimum total cost C (i, j, m) among the total costs C (i, j, m) of the minimum cost path obtained for the partial frame sequence FD ′ that has been processed up to now. m) and the matching frame at that time. Then, the matching processing unit 24 determines that the total cost is minimum when the total cost newly obtained in the process of the immediately preceding step S14 is smaller than the total cost held.
  • step S16 the matching processing unit 24 updates the total cost C (i, j, m) and the matching frame that are held.
  • the matching processing unit 24 discards the total cost and matching frame that have been held so far, and holds the newly calculated total cost of the minimum cost route and the matching frame indicated by the minimum cost route.
  • step S15 If it is determined in step S15 that the total cost is not minimum, the total cost and the matching frame are not updated, and the process proceeds to step S17.
  • step S15 If it is determined in step S15 that the total cost is not the minimum, or if the total cost and the matching frame are updated in step S16, the matching processing unit 24 performs processing for all the partial frame sequences FD ′ in step S17. It is determined whether or not.
  • step S17 If it is determined in step S17 that processing has not yet been performed for all the partial frame sequences FD ', the processing returns to step S13, and the above-described processing is repeated.
  • step S17 when it is determined in step S17 that the processing has been performed for all the partial frame sequences FD ′, the matching processing unit 24 supplies the matching frames that are held to the rearrangement processing unit 25, and the processing is performed. Proceed to step S18.
  • step S18 the rearrangement processing unit 25 performs matching frame rearrangement processing based on the matching frame supplied from the matching processing unit 24, and supplies the processing result to the blend processing unit 26.
  • the rearrangement processing unit 25 appropriately obtains a matching frame by interpolation, and sets a pair of frames of the transition source frame sequence FS and the transition destination frame sequence FD that are set as matching frames. Are arranged in time series.
  • a pair of a frame F S1 and a frame F D2 a pair of a frame F S4 and a frame F D4 , and a pair of a frame F S5 and a frame F D6 are obtained by interpolation.
  • each frame pair is arranged.
  • the rearrangement processing unit 25 rearranges each frame pair as shown by an arrow Q33 based on the time difference between frames (frame interval) and the weight between frames.
  • step S19 the blend processing unit 26 performs reassignment processing of each frame pair based on the processing result from the rearrangement processing unit 25.
  • the blend processing unit 26 assigns one frame pair to each time in the transition period.
  • a frame pair to be used for the blending process at that time is determined.
  • step S20 the blend processing unit 26 performs blend processing based on the assignment result of the frame pair to each time in the transition period and the transition source frame sequence FS and the transition destination frame sequence FD from the frame sequence determination unit 22. Then, an image of each frame in the transition period is generated.
  • the blend processing unit 26 for each time of the transition period, the frame pair assigned at that time, that is, the image of the frame of the transition source frame sequence FS and the partial frame sequence FD.
  • the frame image of '(transition destination frame sequence FD) is blended to obtain a frame image of the transition period.
  • the frame sequence of the transition period shown by the arrow Q35 in FIG. 8 is obtained.
  • the blend processing unit 26 supplies the obtained frame sequence of the transition period to the loop moving image generation unit 27.
  • step S21 the loop moving image generating unit 27 generates a loop moving image based on the frame sequence of the transition period from the blend processing unit 26 and the material moving image from the acquiring unit 21.
  • the loop moving image generating unit 27 includes the frame sequence of the transition period after the frame sequence of the section between the last frame of the transition destination frame sequence FD and the first frame of the transition source frame sequence FS in the material moving image.
  • a loop moving image is generated by connecting.
  • the loop moving image generating unit 27 When the loop moving image is generated, the loop moving image generating unit 27 outputs the generated loop moving image, and the loop moving image generating process ends.
  • the loop moving image output from the image processing apparatus 11 is reproduced or recorded on a recording medium.
  • the image processing apparatus 11 changes each partial frame sequence FD ′ and the transition source frame sequence while changing the length of the partial frame sequence FD ′ and the position of the first frame that are candidates for the final transition destination frame sequence FD. Matching with FS is performed to obtain an optimal matching frame.
  • the image processing apparatus 11 adjusts the presentation position of the obtained matching frame pair in the time direction, generates a frame sequence of the transition period by blend processing, and uses the frame sequence of the transition period to generate a loop video Generate an image.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a recording unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the recording unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, the program recorded in the recording unit 208 to the RAM 203 via the input / output interface 205 and the bus 204, and executes the program. Is performed.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable medium 211 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the recording unit 208.
  • the program can be installed in the ROM 202 or the recording unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • An image processing device that generates a transition moving image in which an image transitions from one of the first moving image and the second moving image to the other, Based on the degree of similarity between the image of the frame constituting the first moving image and the image of the frame constituting the second moving image, the first moving image and the second image having similar images
  • a matching processing unit for searching for a frame pair of a moving image A rearrangement in which a plurality of the frame pairs arranged in time series are rearranged in the time direction based on a time difference between frames of the first moving image and a time difference between frames of the second moving image in the adjacent frame pairs.
  • a placement processing unit comprising: a blend processing unit configured to generate the transition moving image by blending the images of the frames constituting the rearranged frame pair into the transition moving image frame image.
  • a blend processing unit configured to generate the transition moving image by blending the images of the frames constituting the rearranged frame pair into the transition moving image frame image.
  • the weight of the time difference between the frames of the first moving image used for the weighted addition is an average value of the frame weights of the first moving images of the frame pairs adjacent to each other,
  • the image processing device according to [3], wherein the weight of each frame of the first moving image is determined so as to increase as the frame on the leading side of the first moving image.
  • the matching processing unit includes the first moving image to be presented simultaneously when the playback speed of the second moving image with respect to the first moving image is changed starting from the predetermined frame pair. Based on the degree of similarity of the second moving image frame pair, any one of the plurality of playback speed frame pairs is set as the frame pair adjacent to the predetermined frame pair.
  • the image processing device according to any one of [1] to [4].
  • the matching processing unit obtains a plurality of the frame pairs arranged in time series for the plurality of first moving images having different lengths,
  • the blend processing unit generates the transition moving image by using a frame pair having the highest evaluation based on the degree of similarity for each frame among the plurality of frame pairs obtained for each of the first moving images.
  • the image processing apparatus according to any one of [1] to [5].
  • [7] The image processing device according to any one of [1] to [6], further including a loop moving image generation unit that generates a loop moving image based on the transition moving image.
  • 11 image processing device 22 frame sequence determination unit, 23 partial frame sequence determination unit, 24 matching processing unit, 25 rearrangement processing unit, 26 blend processing unit, 27 loop moving image generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本技術は、より高品質なループ動画像を得ることができるようにする画像処理装置および方法、並びにプログラムに関する。 フレーム列決定部は、入力された素材動画像から遷移元フレーム列と遷移先フレーム列を抽出し、部分フレーム列決定部は、遷移先フレーム列から、長さが異なるいくつかの部分フレーム列を抽出する。マッチング処理部は、遷移元フレーム列と部分フレーム列とのＤＰマッチングを行なって、互いに対応するフレームのペアを定め、ブレンド処理部は、各フレームペアの画像をブレンドすることで、遷移元フレーム列の画像から、遷移先フレーム列の画像へと遷移していく遷移期間のフレーム列を生成する。ループ動画像生成部は、素材動画像と遷移期間のフレーム列とに基づいて、ループ動画像を生成する。本技術は、画像処理装置に適用することができる。

Description

画像処理装置および方法、並びにプログラム
　本技術は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なループ動画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
　例えば、ビデオ映像素材からループ動画像を生成して提示するビデオテクスチャ技法が知られている。ビデオテクスチャ技法とは、数秒間のビデオ素材を繰り返し再生した場合に、繰り返しの映像のつなぎ目が目立たないように画像処理してループ動画像を生成する方法である。
　このようなループ動画像は、１回分の繰り返しを記録したビデオ映像で、再生時にループ動画像の終わりのフレームと始まりのフレームを途切れなく再生することで、あたかも無限長のビデオ映像のように提示することができる。また、ループ動画像は、１回分の繰り返しのビデオ映像データだけを保存しておけばよいので、記憶容量や転送時間を節約することができる。
　例えば、滝の流れる風景や風にたなびく旗など、周期のあるような映像であれば、ループ動画像として映像を繰り返し再生しても視聴者が違和感なく鑑賞することができる。そのため、ループ動画像は、デジタルフォトフレーム上での鑑賞やウェブサイトの広告動画像、パーソナルコンピュータ画面の背景動画像などの用途に適している。
　このループ動画像を自動で生成する方法として、例えば非特許文献１に記載されたビデオテクスチャ技法が知られている。ビデオテクスチャ技法では、ループ動画像の繰り返しの再生区間、および遷移フレーム画像が自動で計算される。
　具体的には、ビデオ映像に含まれる各フレーム画像について、任意の２つのフレーム画像の類似度が計算される。そして、計算された類似度の最も高いフレーム画像のペアが繰り返し再生のイン点とアウト点とされて、それらの両点の間が繰り返し再生されるようにループ動画像が生成される。このとき、イン点とアウト点の前後の遷移期間において、イン点とアウト点のつなぎ目が目立たないように、ビデオ映像のクロスフェード処理が行なわれる。
Video Textures, Arno Schodl, Richard Szeliski, David H. Salesin, Irfan Essa, Proceedings of SIGGRAPH 2000, pages 489-498, July 2000
　しかしながら、上述した技術では、充分に高品質なループ動画像を得ることができない場合があった。
　例えば、上述したビデオテクスチャ技法では、周期性のない動きが含まれるビデオ映像がループ動画像の素材とされた場合、類似度の高いイン点とアウト点がみつからないために、繰り返し再生時のつなぎ目が明らかになってしまうことがあり、好ましくない。そのため、より多様なビデオ映像素材に対応できるようなループ動画像の生成手法が望まれている。
　本技術は、このような状況に鑑みてなされたものであり、より高品質なループ動画像を得ることができるようにするものである。
　本技術の一側面の画像処理装置は、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部とを備える。
　時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並ぶようにすることができる。
　前記再配置処理部には、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なわせることができる。
　前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みを、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とし、前記第１の動画像の各フレームの重みを、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められるようにすることができる。
　前記マッチング処理部には、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとさせることができる。
　前記マッチング処理部には、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求めさせ、前記ブレンド処理部には、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成させることができる。
　画像処理装置には、前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに設けることができる。
　本技術の一側面の画像処理方法またはプログラムは、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理方法またはプログラムであって、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するステップを含む。
　本技術の一側面においては、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理において、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアが探索され、時系列に並ぶ複数の前記フレームペアが、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置され、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像が生成される。
　本技術の一側面によれば、より高品質なループ動画像を得ることができる。
ビデオテクスチャ技法によるループ動画像の生成について説明する図である。 二次元差分値行列について説明する図である。 二次元差分値行列と遷移コストについて説明する図である。 ＤＰマッチングによる最小コスト経路の探索について説明する図である。 ＤＰマッチングによる最小コスト経路の探索について説明する図である。 ＤＰ平面におけるエッジの傾斜制限について説明する図である。 エッジ長を考慮したコストの算出について説明する図である。 ブレンド処理について説明する図である。 逆転再生を含むループ動画像の生成について説明する図である。 画像処理装置の構成例を示す図である。 ループ動画像生成処理について説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
［ループ動画像の生成について］
　まず、ビデオテクスチャ技法によるループ動画像の生成について説明する。
　なお、ここではループ動画像の素材となる動画像（ビデオ映像）は１つであり、１つの動画像内から繰り返し再生される区間を決定してループ動画像を生成するものとする。
　例えば、図１に示すように、動画像ＭＴ１１が素材として与えられ、この動画像ＭＴ１１が用いられてループ動画像ＬＰ１１が生成されるとする。
　なお、図１において、動画像ＭＴ１１やループ動画像ＬＰ１１を表す長方形内の複数の長方形のそれぞれは、１つのフレームの画像を表している。また、図１では、図中、左端にあるフレームが、フレーム番号が最も小さいフレームとなっており、通常の再生時には、左端のフレームから右端のフレームまで順番に再生されていく。例えば、動画像ＭＴ１１の図中、左端のフレームが１番目のフレームであり、そのフレームの右側に隣接するフレームが２番目のフレームである。
　ビデオテクスチャ技法では、２つのステップの処理によりループ動画像が生成される。
　まず、第１のステップでは、動画像ＭＴ１１のなかから、遷移元のフレーム列と、遷移先のフレーム列の２つのフレーム列が決定される。つまり、遷移元と遷移先の各フレーム列（区間）のイン点とアウト点の対応が決定される。
　図１の例では、動画像ＭＴ１１における５つのフレームからなる区間が遷移元のフレーム列ＴＳ１１とされ、動画像ＭＴ１１におけるフレーム列ＴＳ１１より前にある５つのフレームからなる区間が遷移先のフレーム列ＴＤ１１とされている。
　ここで、フレーム列ＴＳ１１とフレーム列ＴＤ１１において、それらのフレーム列の先頭のフレームおよび最後のフレームが、それぞれイン点およびアウト点である。
　すなわち、フレーム列ＴＳ１１では、先頭のフレームＦＳｉｎがイン点であり、最後のフレームＦＳｏｕｔがアウト点である。また、フレーム列ＴＤ１１では、先頭のフレームＦＤｉｎがイン点であり、最後のフレームＦＤｏｕｔがアウト点である。
　フレーム列ＴＳ１１とフレーム列ＴＤ１１は、それらのフレーム列の同じ位置にあるフレームの画像が互いに類似した画像となるように定められる。通常、遷移元のフレーム列ＴＳ１１は、素材となる動画像ＭＴ１１の終端付近から選択され、遷移先のフレーム列ＴＤ１１は、動画像ＭＴ１１の開始端付近から選択される。
　また、第２のステップでは、動画像ＭＴ１１のフレームＦＤｉｎからフレームＦＳｏｕｔまでの区間の画像データに基づいて、ループ動画像ＬＰ１１が生成される。
　具体的には、遷移元のフレーム列ＴＳ１１と遷移先のフレーム列ＴＤ１１とがブレンド処理されて、ループ動画像ＬＰ１１の後半の区間、すなわち遷移期間Ｔｒの各フレームの画像が生成される。ブレンド処理では、フレーム列ＴＳ１１とフレーム列ＴＤ１１の同じ位置にあるフレームの画像が重み付き加算されて、ループ動画像ＬＰ１１の遷移期間Ｔｒの各フレームの画像とされる。
　したがって、例えば遷移期間Ｔｒの先頭のフレームＦＢｉｎの画像は、遷移元のフレーム列ＴＳ１１における先頭のフレームＦＳｉｎの画像と、遷移先のフレーム列ＴＤ１１における先頭のフレームＦＤｉｎの画像とをブレンドして得られた画像である。
　また、ループ動画像ＬＰ１１の遷移期間Ｔｒの最後のフレームＦＢｏｕｔの画像は、遷移元のフレーム列ＴＳ１１における最後のフレームＦＳｏｕｔの画像と、遷移先のフレーム列ＴＤ１１における最後のフレームＦＤｏｕｔの画像とをブレンドして得られた画像である。
　このようなブレンド処理により得られる遷移期間Ｔｒは、各フレームの画像が、遷移元のフレーム列ＴＳ１１の画像から、遷移先のフレーム列ＴＤ１１の画像へと徐々に変化（遷移）していく画像となる。
　さらに、動画像ＭＴ１１におけるフレームＦＤｏｕｔとフレームＦＳｉｎの間にある区間ＮＴ１１が、そのままループ動画像ＬＰ１１の前半の区間Ｔｎとされ、区間Ｔｎと遷移期間Ｔｒとからなるループ動画像ＬＰ１１が得られる。
　ループ動画像ＬＰ１１の再生時には、区間Ｔｎの先頭のフレームから遷移期間Ｔｒの最後のフレームまで順番に再生された後、再び区間Ｔｎの先頭のフレームに戻り、ループ動画像ＬＰ１１を構成する各フレームが繰り返し再生される。
　なお、ループ動画像ＬＰ１１の生成時には、遷移に要するフレーム数、すなわち遷移期間Ｔｒのフレーム数は予めパラメータとして与えられている。また、ループ動画像ＬＰ１１の最小の長さである最小ループ動画像長Ｔｒ＿ｍｉｎ、すなわちフレームＦＤｉｎからフレームＦＳｉｎまでの区間の最小距離制約も、予めパラメータとして与えられている。
　次に、遷移元のフレーム列ＴＳ１１と遷移先のフレーム列ＴＤ１１のイン点およびアウト点を決定する方法について説明する。
　まず、入力された素材となる動画像を構成する任意のｉ番目のフレームｉの画像Ｆｉと、ｊ番目のフレームｊの画像Ｆｊについて、それらの画像の差分値Ｄ（ｉ，ｊ）が計算される。すなわち、次式（１）の計算が行なわれる。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）において、Ｆｉ（ｘ，ｙ）は、画像Ｆｉの位置（ｘ，ｙ）にある画素の画素値を示しており、Ｆｊ（ｘ，ｙ）は、画像Ｆｊの位置（ｘ，ｙ）にある画素の画素値を示している。したがって、式（１）では、画像Ｆｉと画像Ｆｊの全ての画素について、画像Ｆｉと画像Ｆｊの同じ位置にある画素の画素値の差分の二乗値が求められ、それらの二乗値の総和（積算値）がフレームｉとフレームｊの差分値Ｄ（ｉ，ｊ）とされる。
　この差分値Ｄ（ｉ，ｊ）は、フレームｉの画像Ｆｉと、とフレームｊの画像Ｆｊとの類似の度合いを示しており、それらの画像が類似しているほど差分値Ｄ（ｉ，ｊ）の値は小さくなる。
　ループ動画像の生成時には、素材となる動画像を構成する全ての（ｉ，ｊ）の組み合わせについて差分値Ｄ（ｉ，ｊ）が求められ、それらの差分値Ｄ（ｉ，ｊ）が二次元差分値行列ＭＤとして保存される。
　ここで、二次元差分値行列ＭＤは、例えば図２に示すように、図中、縦方向をｉ軸とし、横方向をｊ軸として、位置（ｉ，ｊ）の要素の値が差分値Ｄ（ｉ，ｊ）となる行列である。なお、図２において、各正方形は、二次元差分値行列ＭＤの各要素を表しており、要素を表す正方形の濃度が濃いほど、その要素の値、つまり差分値Ｄ（ｉ，ｊ）の値は小さくなっている。
　例えば、二次元差分値行列ＭＤの図中、右下方向の対角線上にある各要素では、フレームｉとフレームｊは同じフレームとなるので、それらの要素の値（差分値Ｄ（ｉ，ｊ））は０となっている。また、フレームｉとフレームｊは、同じ動画像を構成するフレームであるので、二次元差分値行列ＭＤは、直線ｉ＝ｊに関して対称となっている。
　このようにして二次元差分値行列ＭＤが得られると、次に二次元差分値行列ＭＤ上で連続して並ぶ要素列について、次式（２）の計算が行なわれ、遷移コストＣ（ｉ，ｊ）が算出される。
Figure JPOXMLDOC01-appb-M000002
　なお、式（２）において、Ｔｒは、図１を参照して説明した遷移期間Ｔｒのフレーム数から１を減じた数を示している。したがって、式（２）では、位置（ｉ，ｊ）から位置（ｉ＋Ｔｒ，ｊ＋Ｔｒ）までの差分値Ｄ（ｉ，ｊ）の総和が遷移コストＣ（ｉ，ｊ）として求められる。
　例えば、Ｔｒ＝４である場合、図２の位置（ｉ，ｊ）＝（ｉ１，ｊ１）に注目すると、領域ＲＣ１１内に含まれる５つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、位置（ｉ１，ｊ１）についての遷移コストＣ（ｉ１，ｊ１）となる。
　ここで、領域ＲＣ１１内に含まれる要素列は、位置（ｉ１，ｊ１）の要素を先頭として図中、右斜め下方向に隣接して並ぶ５つの要素の列である。
　例えば、フレームｉが図１のフレームＦＳｉｎであるとすると、フレームｉ乃至フレーム（ｉ＋Ｔｒ）は、それぞれフレーム列ＴＳ１１を構成するフレームＦＳｉｎ乃至フレームＦＳｏｕｔとなる。また、フレームｊが図１のフレームＦＤｉｎであるとすると、フレームｊ乃至フレーム（ｊ＋Ｔｒ）は、それぞれフレーム列ＴＤ１１を構成するフレームＦＤｉｎ乃至フレームＦＤｏｕｔとなる。
　この場合、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）は、フレーム列ＴＳ１１とフレーム列ＴＤ１１の同じ位置にあるフレームの差分値Ｄ（ｉ，ｊ）の総和となる。
　したがって、遷移コストＣ（ｉ，ｊ）は、フレーム列ＴＳ１１とフレーム列ＴＤ１１との類似の度合いを示しているということができる。そのため、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）を求めて、そのフレーム位置を先頭とする区間を遷移元および遷移先のフレーム列とすれば、つなぎ目の目立ちにくいループ動画像を得ることができる。
　そこで、ループ動画像の生成時には、各位置（ｉ，ｊ）のうち、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）が求められ、得られた位置（ｉ，ｊ）により示されるフレームｉ，ｊが、それぞれイン点であるフレームＦＳｉｎ，ＦＤｉｎとされる。
　なお、より詳細には、二次元差分値行列ＭＤ上の各位置（ｉ，ｊ）のうち、最小ループ動画像長Ｔｒ＿ｍｉｎにより定まる領域、具体的にはｉ＝ｊである要素近傍の領域は、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）の検出の対象外とされる。
　また、ビデオテクスチャ技法では、遷移コストＣ（ｉ，ｊ）の算出時に、単純に各位置の差分値Ｄ（ｉ，ｊ）を積算するのではなく、イン点とアウト点の中間位置を最大値として両端点へ徐々に減衰する重みを付加した差分値Ｄ（ｉ，ｊ）の重み付き積算値を遷移コストＣ（ｉ，ｊ）とする方法も提案されている。
　さて、以上において説明したビデオテクスチャ技法においては、素材として入力された動画像から、類似したフレーム列を探し出して繰り返し遷移点、つまりイン点とアウト点としたが、実際の映像で２つのフレーム列の画像が一致することは稀である。
　例えば、素材となる動画像内の２つの区間で、被写体の動きが似たような動きであっても動きの速度が異なったり、そもそも周期的な動きが素材となる動画像に含まれていなかったりすることもある。そのような場合、素材となる動画像からループ動画像を生成したとしても、ループ動画像の繰り返し再生時に、先頭フレームと終了フレームとのつなぎ目がはっきりと認識できてしまうようになる。
　そのため、より高品質なループ動画像を得るためには、素材となる動画像の類似する２つの区間で、被写体の動きの速度が異なるのであれば、速度まで考慮に入れて遷移点を決定し、各フレームの画像に対するブレンド処理を行なうことが望ましい。また、被写体の動きが周期的でない動きであっても、動画像を逆転再生する場合も遷移元または遷移先のフレーム列の候補に含めれば、より適切な遷移点が見つかる可能性がある。　
　ここで、考慮する再生速度をＮ倍速とすると、前者は再生速度を速くしたり遅くしたりする場合、つまりＮが０以上の速度を考えることに相当し、後者の逆転再生はＮが負となる場合であると考えることができる。
　例えば、図３に示すように、二次元差分値行列ＭＤでの表現では、１倍再生でないフレーム列の遷移コストＣ（ｉ，ｊ）は、図中、右下がりの４５度でない方向に並ぶ要素の差分値Ｄ（ｉ，ｊ）の積算に相当する。また、逆転再生のフレーム列の遷移コストＣ（ｉ，ｊ）は、図中、左下がりの方向に並ぶ要素の差分値Ｄ（ｉ，ｊ）の積算に相当する。
　なお、図３において、縦方向および横方向は、それぞれｉ軸方向およびｊ軸方向を示しており、図３では、図２に示した二次元差分値行列ＭＤと同じ二次元差分値行列ＭＤが示されている。
　例えば、図３の例では、領域ＲＣ２１内に含まれる８つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、１倍でない再生速度で一方のフレーム列を再生させる場合における、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）となる。この例では、ｊ軸方向のフレーム列の１フレーム分の画像が再生されている期間に、ｉ軸方向のフレーム列の２フレーム分の画像が再生されることになる。この場合、２つのフレーム列の長さは異なるが、それらのフレーム列の再生速度が異なるために、各フレーム列の再生時間が同じ長さとなる。
　また、領域ＲＣ２２内に含まれる６つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、一方のフレーム列に対して、他方のフレーム列が逆転再生される場合における、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）となる。この例では、ｉ軸方向のフレーム列がフレーム番号の小さいものから順番に再生される場合には、ｊ軸方向のフレーム列は、フレーム番号の大きいものから順番に再生されることになる。
　なお、再生速度も考慮して遷移元と遷移先のフレーム列を決定する場合、例えば領域ＲＣ２１と領域ＲＣ２２とでは遷移期間の長さが異なるので、遷移コストＣ（ｉ，ｊ）を正規化して比較する必要がある。
　以上のように、再生速度や再生方向を考慮すれば、遷移元と遷移先のフレーム列として、より適切な区間を得ることができるので、より高品質なループ動画像を生成することができる。そこで、従来では、順方向の１倍再生のみを考慮していたところを、本技術ではＮ倍再生についても考慮することで、より高品質なループ動画像を得ることができるようにする。
　なお、一方のフレーム列に対して他方のフレーム列を逆転再生とするのに適した動画像は、方向性を持たない動きが含まれる映像であり、例えば人物が表情を変えるような映像や、動物が体の向きを変えるような映像、旗が風ではためいているような映像などである。
　これに対して、方向性のある動きが含まれる映像とは、人が左から右へ歩いて通り過ぎるような映像などである。そのような映像を素材として、映像の一部の区間を逆転再生したものを遷移元または遷移先のフレーム列とすると、得られたループ動画像は不自然なものとなってしまう。
［再生速度を考慮したループ動画像の生成について］
　それでは、以下において、本技術によるループ動画像の生成について説明していく。
　本技術では、ループ動画像を生成する際に、速度Ｎを調整しながら最適な遷移フレーム画像が生成される。
　まず、ループ動画像の素材となる動画像（以下、素材動画像とも称する）について、遷移元となるフレーム列と、遷移先となるフレーム列とが決定される。以下では、遷移元となるフレーム列を遷移元フレーム列ＦＳと称し、遷移先となるフレーム列を遷移先フレーム列ＦＤと称することとする。
　例えば、典型的には、遷移元フレーム列ＦＳは素材動画像の終端付近から選択され、遷移先フレーム列ＦＤは素材動画像の開始端付近から選択される。また、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数ＮＦは、入力パラメータとして予め与えられているものとする。
　これから生成しようとするループ動画像では、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの一部の区間同士を用いて映像を遷移させるとする。そして、遷移に要する最小のフレーム数ＮＦ＿ｍｉｎ、つまりループ動画像に含まれる遷移期間の最小のフレーム数は、入力パラメータとして予め与えられているものとする。
　例えば、再生速度Ｎ＝１も含めた速度Ｎでの最適な遷移期間を求めるということは、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレーム列のなかから抽出した部分的なフレーム列同士の対応付けを、そのコストが最小になるように求めることと同義である。なお、ここでいうコストとは、例えば式（２）の計算で得られる遷移コストＣ（ｉ，ｊ）である。
　このとき、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから抽出するフレーム列の長さが異なれば、それは、すなわち再生速度が異なる遷移となることを意味する。
　例えば、遷移元の１５個のフレームに対して、遷移先の３０個のフレームが対応付けられたとすると、遷移先のフレーム列をＮ＝２として再生しながら映像を遷移していくことになる。
　このような対応付け問題をより一般的な問題として考えると、信号Ｘと信号Ｙの２つの信号について、弾性マッチングを行うことに相当する。
　すなわち、信号Ｘと信号Ｙから一部系列がそれぞれ取り出され、取り出した各系列を伸び縮みさせながら２つの系列間の距離が求められ、その距離が最小となる系列の組み合わせが探索される。
　このように長さの異なる数列の最適な対応を計算する方法の１つに、ＤＰ（Dynamic Programming）マッチング（動的計画法）があり、ＤＰマッチングは、音声やジェスチャなどの時系列パターン認識や、画像パターン認識などの様々な分野で用いられている。
　１次元の信号Ｘと信号ＹのＤＰマッチングを行なうには、信号間のマッチングの制約を決める必要がある。
　一般的には、信号Ｘの長さをＪとし、信号Ｙの長さをＩとすると、例えば、図４に示すように（Ｉ×Ｊ）個の格子点を持つＤＰ平面を定義して、その格子点間のつながり（エッジ）が与えられ、各格子点間のつながりには傾斜制限と呼ばれる制限が加えられる。
　なお、図４において、横方向および縦方向は、それぞれ信号Ｘおよび信号Ｙの時間方向を示しており、各円は、ＤＰ平面上の１つの格子点を表している。
　ここで、図中、横方向をｊ軸方向とし、縦方向をｉ軸方向とすると、ＤＰ平面上の各格子点の位置を、ｉｊ座標系の位置（ｉ，ｊ）（但し、１≦ｉ≦Ｉ，１≦ｊ≦Ｊ）で表現することができる。
　図４のＤＰ平面では、位置（ｉ，ｊ）＝（１，１）を始点ＳＰ１１とし、位置（ｉ，ｊ）＝（Ｉ，Ｊ）を終点ＤＰ１１として、始点ＳＰ１１から終点ＤＰ１１までの経路を考えるときに、各格子点から他の格子点への経路として、矢印Ｑ１１に示す３通りの経路が与えられている。すなわち、矢印Ｑ１１に示すように傾斜制限が与えられる。
　具体的には、位置（ｉ，ｊ）にある格子点ＰＯ１１からは、位置（ｉ，ｊ＋１）にある格子点ＰＯ１２、位置（ｉ＋１，ｊ＋１）にある格子点ＰＯ１３、または位置（ｉ＋２，ｊ＋１）にある格子点ＰＯ１４の何れかに遷移することができる。換言すれば、格子点ＰＯ１１は、格子点ＰＯ１２乃至格子点ＰＯ１４の何れかへの経路に接続されている。
　さらに、ＤＰ平面では、各格子点、格子点間のエッジ、または各格子点と格子点間のエッジの両方に対してコストが定義される。
　そして、ＤＰ平面の始点ＳＰ１１から終点ＤＰ１１までの経路中のコストが積算されて、コストが最小となる経路がＤＰマッチングによって計算され、その結果得られた経路を通る各格子点群が、最適な信号の組み合わせ方となる。
　このようなＤＰマッチングを、上述した遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの対応付けに適用することを考える。
　この場合、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの間の距離が最小となる組み合わせは、以下のようにして得られる。すなわち、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから取り出されるフレーム列長を変えながら、取り出された２つのフレーム列の組み合わせを作り、フレーム列の各組について弾性マッチングを行なっていき、各組から距離が最小となる組を選択すればよい。
　しかしながら、そのような処理を行なうと、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから取り出した２つのフレーム列の組み合わせの数が膨大な数となってしまう。そこで、ＤＰマッチングの次のような拡張機能を利用することで、フレーム列の組み合わせの数を減らすことができる。
　すなわち、拡張機能を利用したＤＰマッチングとは、始点終点自由化によるＤＰマッチングであり、図４の例では始点ＳＰ１１と終点ＤＰ１１が固定されていたのに対して、これらの始点と終点の候補を複数与えるものである。
　具体的には、例えば図５に示すように、ＤＰ平面が拡大される。なお、図５では、縦方向および横方向は、それぞれｉ軸方向およびｊ軸方向を示しており、各円は、ＤＰ平面上の１つの格子点を表している。
　図５では、図４に示したＤＰ平面に対して、さらに１つの仮の始点ＴＳＰ１１と、１つの仮の終点ＴＤＰ１１とが与えられている。
　そして、ＤＰ平面では仮の始点ＴＳＰ１１に対して、５つの格子点ＰＯ２１乃至格子点ＰＯ２５が真の始点の候補とされて、仮の始点ＴＳＰ１１から格子点ＰＯ２１乃至格子点ＰＯ２５のそれぞれへのエッジが定義され、それらのエッジのコストが０とされる。
　また、仮の終点ＴＤＰ１１に対して、６つの格子点ＰＯ３１乃至格子点ＰＯ３６が真の終点の候補とされて、仮の終点ＴＤＰ１１から格子点ＰＯ３１乃至格子点ＰＯ３６のそれぞれへのエッジが定義され、それらのエッジのコストが０とされる。
　これにより、ＤＰ平面にＤＰマッチングを適用するだけで、自動的に真の始点から終点までの経路が、コストの合計が最小となる経路として決定される。
　このような始点終点自由化によるＤＰマッチングによって、信号Ｘについては、信号Ｘ中の部分信号のうち、コストが最小になる部分信号が選択されることになる。
　すなわち、可変長の信号Ｘと可変長の信号Ｙの弾性マッチングのうち、信号Ｘについては入力を固定することができるので、試行する組み合わせ数を大幅に削減することができる。また、信号Ｙについては、部分信号長および部分信号開始位置を変えながら、全ての部分信号パターンを抽出して信号Ｘとの弾性マッチングを行うこととする。
　つまり、図５に示したＤＰ平面では、仮の始点と終点が定められるので、固定された信号Ｘを入力すれば、ＤＰマッチングにより信号Ｘから抽出された各部分信号についてのマッチングが行なわれることになる。したがって、信号Ｙから抽出した部分信号の信号長等を変化させながら、その部分信号と信号Ｘとを入力としてＤＰマッチングを行なえば、可変長の信号Ｘと可変長の信号Ｙの弾性マッチングの処理結果が得られることになる。
　続いて、上述のＤＰマッチングを用いて、ループ動画像を生成する具体的な方法について説明する。なお、ループ動画像を生成する場合に、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの両方を可変長としてもよいが、ここでは、遷移元フレーム列ＦＳを固定長とし、遷移先フレーム列ＦＤのみを可変長とする例について説明する。このような場合、両方のフレーム列を可変長とする場合と比べて、計算量を削減することができる。
　例えば、フレーム数がＮＦである遷移元フレーム列ＦＳと遷移先フレーム列ＦＤが与えられており、これらのフレーム列に含まれる部分フレーム列の最適なマッチングを計算するとする。
　この場合に、遷移元フレーム列ＦＳに関しては固定長にしておいて、始点終点自由化によって部分フレーム列が選択されるようにする。
　また、遷移先フレーム列ＦＤに関しては、部分フレーム列の開始位置を遷移先フレーム列ＦＤの１フレーム目乃至（ＮＦ－ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列の長さもＮＦ＿ｍｉｎ乃至ＮＦの間で変化させて、部分フレーム列が決定される。なお、以下、遷移先フレーム列ＦＤから抽出された、ＤＰマッチングに用いられるフレーム列を部分フレーム列ＦＤ’とも称することとする。
　本技術では、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとから、例えば図５と同様にしてＤＰ平面が生成される。このとき、遷移先フレーム列ＦＤの真の始点から終点までの部分が部分フレーム列ＦＤ’となる。
　ここで、ＤＰ平面では、遷移元フレーム列ＦＳの方向がｉ軸方向とされ、部分フレーム列ＦＤ’（遷移先フレーム列ＦＤ）の方向がｊ軸方向とされる。そして、ｉｊ座標系において、遷移元フレーム列ＦＳのＫ番目のフレームの位置のｉ座標はｉ＝Ｋとされ、部分フレーム列ＦＤ’のフレームとされる遷移先フレーム列ＦＤのＬ番目のフレームの位置のｊ座標はｊ＝Ｌとされる。
　また、ＤＰ平面上の各位置（ｉ，ｊ）に格子点が配置されるとともに、ＤＰ平面には仮の始点と仮の終点が与えられる。そして、位置（ｉ，ｊ）＝（１，１）乃至（１，ＮＦ－ＮＦ＿ｍｉｎ）にある各格子点が仮の始点と接続され、ｉ座標が最大となり、かつｊ座標がＮＦ＿ｍｉｎから最大値までの間となる各格子点には、仮の終点が接続される。
　さらに、格子点間のつながり（エッジ）が与えられ、各格子点間のつながりには、例えば図６に示す傾斜制限が与えられる。
　なお、図６において、縦方向および横方向は、それぞれｉ軸方向（遷移元フレーム列ＦＳ方向）、およびｊ軸方向（部分フレーム列ＦＤ’方向）を示しており、各円は、１つの格子点を表している。
　図６の例では、格子点ＰＯ４１からは、格子点ＰＯ５１乃至格子点ＰＯ５５の何れかへの経路をとることができる。
　例えば、格子点ＰＯ４１が位置（ｉ，ｊ）にあるとすると、格子点ＰＯ５１の位置は位置（ｉ＋１，ｊ＋３）となる。つまり、格子点ＰＯ４１から格子点ＰＯ５１への経路は、遷移元フレーム列ＦＳ方向に１進むのに対して、部分フレーム列ＦＤ’方向へは３進む対応となっている。
　これは、遷移元フレーム列ＦＳの再生速度を１倍速とすると、部分フレーム列ＦＤ’の再生速度が３倍速となっていることに相当する。つまり、遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度が３倍となっていることに相当する。
　したがって、経路が格子点ＰＯ４１から格子点ＰＯ５１へと進む場合、格子点ＰＯ４１の位置（ｉ，ｊ）と、格子点ＰＯ５１の位置（ｉ＋１，ｊ＋３）とは、次のような関係を有しているといえる。
　すなわち、フレームｉとフレームｊを起点（再生開始位置）とし、遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の再生速度を３倍速として、それらの遷移元フレーム列ＦＳと部分フレーム列ＦＤ’を仮想的に再生させるとする。このとき、フレームｉともフレームｊとも異なる遷移元フレーム列ＦＳと部分フレーム列ＦＤ’のフレームのペアのうち、再生開始位置であるフレームｉとフレームｊよりも後に、最初に同時に提示させるべきフレームのペアがフレームｉ＋１とフレームｊ＋３となる。
　格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５２の位置は位置（ｉ＋１，ｊ＋２）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は２倍速となる。
　また、格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５３の位置は位置（ｉ＋１，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１倍速となる。
　格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５４の位置は位置（ｉ＋２，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１／２倍速となる。
　さらに、格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５５の位置は位置（ｉ＋３，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１／３倍速となる。
　なお、ここで説明した再生速度は、２つの格子点の位置関係を説明するためのものであり、遷移元フレーム列ＦＳと部分フレーム列ＦＤ’の全体の長さの違いにより定まる再生速度とは異なる。フレーム列の全体の長さの違いにより定まる再生速度とは、遷移元から遷移先に遷移させようとするときに、再生時間を揃えるために必要となる遷移元フレーム列ＦＳと部分フレーム列ＦＤ’の相対的な再生速度である。
　また、ＤＰ平面では、各格子点間のエッジにコストが定義される。
　例えば、ＤＰ平面の各格子点に図６に示した傾斜制限が与えられた場合、ＤＰ平面上の仮の始点から所定の格子点までの各経路のコストに対して正規化が必要となる。これは、同じ格子点に到達する経路であっても、経路が異なるとコストの加算回数が異なるためである。
　例えば、ここでは、仮に位置（ｉ，ｊ）にある格子点におけるコストを、上述した式（１）により求まる差分値Ｄ（ｉ，ｊ）の値としておき、実際にエッジに付加されるコストとして、その格子点に達するエッジごとに異なるコストが割り当てられるようにする。すなわち、エッジに付加されるコストは、例えばそのエッジの長さ、つまりエッジ長に応じてスケールされる。なお、格子点におけるコストは、エッジにコストを与えるために一時的に与えられたものであり、最終的なＤＰ平面では、格子点にはコストは与えられない。
　より具体的には、位置（ｉ，ｊ）にある格子点におけるコストが差分値Ｄ（ｉ，ｊ）の値とされており、この格子点につながるエッジｋのエッジ長がlength(k)であるとする。この場合、次式（３）に示すように、差分値Ｄ（ｉ，ｊ）をlength(k)倍して得られる値がエッジｋに付加されるコストＥ（ｉ，ｊ，ｋ）とされる。
Figure JPOXMLDOC01-appb-M000003
　例えば、図７に示すように、ＤＰ平面上において、格子点ＯＰ６１から格子点ＰＯ６２へのエッジｋ１１の長さがlength(k)であるとする。また、格子点ＯＰ６２の位置が位置（ｉ，ｊ）であるとする。
　この場合、エッジｋ１１に付加されるコストＥ（ｉ，ｊ，ｋ）は、位置（ｉ，ｊ）について求められた差分値Ｄ（ｉ，ｊ）と、エッジｋ１１の長さlength(k)との積「Ｄ（ｉ，ｊ）×length(k)」となる。
　ここで、差分値Ｄ（ｉ，ｊ）は、上述した式（１）を計算することで求まる差分値である。すなわち、差分値Ｄ（ｉ，ｊ）は、遷移元フレーム列ＦＳの先頭からｉ番目のフレームの画像の各画素の画素値と、部分フレーム列ＦＤ’のフレームとされる遷移先フレーム列ＦＤの先頭からｊ番目のフレームの画像の各画素の画素値との差分二乗値の総和である。
　差分値Ｄ（ｉ，ｊ）は、遷移元フレーム列ＦＳの画像と、部分フレーム列ＦＤ’の画像との類似の度合いを示しているが、コストＥ（ｉ，ｊ，ｋ）を求める場合に、差分値Ｄ（ｉ，ｊ）に代えてオプティカルフローなどが用いられてもよい。
　このようにして、ＤＰ平面上の各格子点間のエッジにコストＥ（ｉ，ｊ，ｋ）が付加される。このとき、ＤＰ平面の始点から終点までの経路の合計コストは、その経路上のエッジに付加されたコストの合計値であるから、長いエッジが多く選択された経路ほど、経路の合計コストの算出時におけるコストの加算回数が少なくなる。
　そこで、差分値にエッジの長さを乗算してエッジのコストとすることで、加算回数が少なくなる分だけ、エッジのコストを大きくすることができ、合計コストが最小となる経路が正しく求められるようになる。
　なお、以下、遷移元フレーム列ＦＳと部分フレーム列ＦＤ’とのＤＰマッチングにより得られた、ＤＰ平面の始点から終点までの合計コストが最小となる経路を最小コスト経路とも称し、最小コスト経路の合計コストを最小合計コストとも称することとする。
　仮の始点と終点を定めて遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのＤＰマッチングを行なうと、遷移元フレーム列ＦＳと各部分フレーム列ＦＤ’とのＤＰマッチングが行なわれたことになる。
　遷移元フレーム列ＦＳと部分フレーム列ＦＤ’とのＤＰマッチングを行なうと、遷移先フレーム列ＦＤの部分フレーム列ＦＤ’ごとに最小合計コストが求まるので、各部分フレーム列ＦＤ’のうち、最小合計コストが最小となるものを選択すればよい。
　しかし、各部分フレーム列ＦＤ’は、信号長、つまりフレーム数が異なり、各部分フレーム列ＦＤ’についての最小合計コストの算出時におけるコストの加算回数は異なるため、そのままでは各最小合計コストを公平に比較することができない。
　そこで、部分フレーム列ＦＤ’について求めた最小合計コストを、部分フレーム列ＦＤ’の信号長、つまりフレーム数で除算して、最小合計コストを正規化してから、正規化された最小合計コストが最小となる部分フレーム列ＦＤ’を選択すればよい。
　したがって、部分フレーム列ＦＤ’の信号長がｍであり、ＤＰ平面上の部分フレーム列ＦＤ’の始点位置が位置（ｉ，ｊ）である場合、部分フレーム列ＦＤ’の最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）は、次式（４）を計算することで求められる。
Figure JPOXMLDOC01-appb-M000004
　なお、式（４）においてＥ（ｘ，ｙ，ｋ）は、式（３）により求まるエッジのコストを示している。したがって、合計コストＣ（ｉ，ｊ，ｍ）は、最小コスト経路上にある各エッジのコストＥ（ｘ，ｙ，ｋ）の総和を、部分フレーム列ＦＤ’の信号長ｍで除算することにより得られる。
　各部分フレーム列ＦＤ’のうち、式（４）により求められる合計コストＣ（ｉ，ｊ，ｍ）が最小となるものが、最終的な遷移先フレーム列ＦＤとされる。
　以上のように、ＤＰマッチングを行なうと、最終的な遷移元となる遷移元フレーム列ＦＳと、最終的な遷移先となる遷移先フレーム列ＦＤ、つまり選択された部分フレーム列ＦＤ’が得られる。
　次に、ＤＰマッチングにより得られた遷移元フレーム列ＦＳと遷移先フレーム列ＦＤをどのようにブレンドして再生するかについて説明する。
　例えば、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの対応付けによって、遷移元の再生速度を１に固定した場合、遷移先の再生速度は様々な速度となる。
　そのため、遷移先フレーム列ＦＤを、遷移元フレーム列ＦＳの再生速度とし、それらのフレーム列の各フレームの画像をブレンドして得られた映像を再生すると、完全に遷移先に遷移したときの映像のつながりが悪くなってしまう。これは、遷移先の再生速度がＮ倍から１倍に急に変化する箇所が生じるからである。
　そこで、本技術では、遷移開始時点、つまり遷移期間の先頭のフレームでは、遷移元が１倍の再生速度，遷移先がＮ倍の再生速度とされ、遷移終了時点、つまり遷移期間の最後のフレームでは、遷移元が１／Ｎ倍の再生速度，遷移先が１倍の再生速度となるように徐々に再生速度を変化させて遷移期間の各フレームが生成される。
　本技術では、このような再生速度を割り当てる処理が行なわれる。
　すなわち、ＤＰマッチングにより得られた遷移先フレーム列ＦＤと遷移元フレーム列ＦＳとの互いに対応するフレーム、つまり類似するフレーム（以下、マッチングフレームとも称する）の列が、ＤＰマッチング時の最小コスト経路から得られる。
　このマッチングフレーム列は、最小コスト経路上の格子点位置のフレームだけでなく、遷移先フレーム列ＦＤと遷移元フレーム列ＦＳの各フレームのうち、マッチングフレームとされていないフレームについても、他方のフレーム列の対応するフレームを定めることで得られるものである。
　具体的には、例えば図８の矢印Ｑ３１に示すＤＰマッチング結果が得られたとする。この例では、図中、横軸は遷移元フレーム列ＦＳのフレーム番号ｉ（但し、１≦ｉ≦６）を示しており、縦軸は遷移先フレーム列ＦＤのフレーム番号ｊ（但し、１≦ｊ≦７）を示している。また、各円は遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのマッチングフレーム列を示している。
　例えば、位置（ｉ，ｊ）＝（１，１），（２，３），（３，４），（５，５），（６，７）の各位置におけるマッチングフレームが、ＤＰマッチングにより得られた最小コスト経路上の格子点により示される遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームの組であるとする。例えば、位置（ｉ，ｊ）＝（１，１）は、遷移元フレーム列ＦＳの１フレーム目と、遷移先フレーム列ＦＤの１フレーム目とが互いに対応しているマッチングフレームであることを示している。
　しかし、このままでは、遷移元フレーム列ＦＳの４フレーム目に対応する遷移先フレーム列ＦＤのフレームと、遷移先フレーム列ＦＤの２フレーム目および６フレーム目に対応する遷移元フレーム列ＦＳのフレームとが定まっていない。
　そこで、例えば最小コスト経路上の格子点に対応する各位置（ｉ，ｊ）に基づいて、遷移元フレーム列ＦＳの４フレーム目と、遷移先フレーム列ＦＤの２フレーム目および６フレーム目とに対応するマッチングフレームが決定される。
　その結果、例えば位置（ｉ，ｊ）＝（１，２），（４，４），（５，６）の各位置により示されるフレームペアがマッチングフレームとされる。
　すなわち、遷移先フレーム列ＦＤの２フレーム目に対応するフレームが、遷移元フレーム列ＦＳの１フレーム目とされ、遷移元フレーム列ＦＳの４フレーム目に対応するフレームが、遷移先フレーム列ＦＤの４フレーム目とされる。また、遷移先フレーム列ＦＤの６フレーム目に対応するフレームが、遷移元フレーム列ＦＳの５フレーム目とされる。
　このようにして遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのマッチングフレーム列が定まると、次に、図８の右側の矢印Ｑ３２に示すように、初期状態において、マッチングフレームが、そのまま１倍速で再生されるように割り当てられる。
　なお、図８中、右側において右方向は時間方向を示しており、各四角形は１つのフレームの画像を表している。
　特に、四角形内にＦＳｉ（但し、１≦ｉ≦６）が記されたフレームは、遷移元フレーム列ＦＳの先頭からｉ番目のフレームを表しており、四角形内にＦＤｊ（但し、１≦ｊ≦７）が記されたフレームは、遷移先フレーム列ＦＤの先頭からｊ番目のフレームを表している。また、四角形内にＦＢｈ（但し、１≦ｈ≦７）が記されたフレームは、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとをブレンド処理して得られた、遷移期間の先頭からｈ番目のフレームを表している。
　なお、以下では、遷移元フレーム列ＦＳのｉ番目のフレームをフレームＦＳｉとも称し、遷移先フレーム列ＦＤのｊ番目のフレームをフレームＦＤｊとも称することとする。また、以下、遷移期間のｈ番目のフレームをフレームＦＢｈとも称することとする。
　図８では、矢印Ｑ３２により示される部分では、各マッチングフレームが等間隔に並べられている。
　すなわち、フレームＦＳ１とフレームＦＤ１のペア、フレームＦＳ１とフレームＦＤ２のペア、フレームＦＳ２とフレームＦＤ３のペア、およびフレームＦＳ３とフレームＦＤ４のペアが右方向に順番に並べられている。
　そして、さらにその右側に、フレームＦＳ４とフレームＦＤ４のペア、フレームＦＳ５とフレームＦＤ５のペア、フレームＦＳ５とフレームＦＤ６のペア、およびフレームＦＳ６とフレームＦＤ７のペアが右方向に順番に並べられている。
　これらの時系列に並べられた遷移元フレーム列ＦＳのフレームＦＳｉと遷移先フレーム列ＦＤのフレームＦＤｊとのペアを構成する各フレームＦＳｉは、フレーム番号が大きい順または小さい順、つまり昇順または降順に並べられることになる。同様に、フレームＦＳｉとフレームＦＤｊとのペアを構成する各フレームＦＤｊも昇順または降順に並べられることになる。
　また、矢印Ｑ３２に示される部分では、右方向に並ぶ各フレームＦＳｉ間には、それらのフレーム間の時間差を示す数値が示されている。なお、時間差の単位はフレーム数である。
　例えば、同じフレームＦＳ１が並んでいる間には、それらのフレームＦＳ１間の時間差「０」が記されており、フレームＦＳ１とフレームＦＳ２が並んでいる間には、それらのフレーム間の時間差「１」が記されている。
　同様に、右方向に並ぶ各フレームＦＤｊ間には、それらのフレーム間の時間差を示す数値が示されている。例えば、同じフレームＦＤ４が並んでいる間には、それらのフレームＦＤ４間の時間差「０」が記されており、フレームＦＤ１とフレームＦＤ２が並んでいる間には、それらのフレーム間の時間差「１」が記されている。
　このように各マッチングフレームが等間隔に並べられると、この状態（初期状態）から、マッチングフレーム再配置処理が行なわれ、各フレームＦＳｉとフレームＦＤｊのペアが再配置される。
　マッチングフレーム再配置処理では、遷移期間の始端から終端、つまり時系列に並べられたフレームＦＳｉとフレームＦＤｊのペアの先頭から最後尾に向かって、徐々に遷移元から遷移先のフレーム間の時間差（間隔）が１になるように、その位置がずらされていく。
　すなわち、図８中、左側にある遷移期間の開始位置近傍では、遷移元フレーム列ＦＳの各フレームＦＳｉの間隔が１となり、図８中、右側にある遷移期間の終了位置近傍では、遷移先フレーム列ＦＤの各フレームＦＤｊの間隔が１となるように、各フレームペアの配置位置が調整される。
　各フレームＦＳｉとフレームＦＤｊのペアを時間方向に配置した場合、図中、右方向に同じフレームが連続して並ぶ区間は、本来であれば、時間差０で再生されるべき箇所である。
　しかし、矢印Ｑ３２に示す状態では、横方向に並ぶフレームＦＳｉ間では時間差が０となっている場合でも、同じ位置にあるフレームＦＤｊ間では時間差が０となっていない箇所がある。例えば、フレームＦＳ１およびフレームＦＤ１のペアと、フレームＦＳ１およびフレームＦＤ２のペアとが並んでいる部分では、フレームＦＳ１の時間差は０であるが、フレームＦＤ１とフレームＦＤ２の時間差は１となっている。
　そこで、マッチングフレーム再配置処理では、遷移先と遷移元で時間差が異なる場所について、重みを付けて各フレームペアの配置位置の間隔（時間差）が調整される。これにより、遷移始端においては遷移元フレーム列ＦＳが１倍の再生速度に近い間隔で配置され、終端部においては遷移先フレーム列ＦＤが１倍の再生速度に近い間隔で配置されるようになる。
　例えばマッチングフレーム再配置処理では、各フレームペアについて、遷移先と遷移元の互いに隣接して配置されているフレームのフレーム間隔、つまり矢印Ｑ３２に示す時間差に対して重みが付けられる。そして、重み付けされたフレーム間隔（時間差）をブレンドすることで、更新後のフレーム間隔が算出される。そして、各フレームペアが、そのフレームペアの時間方向の直前にあるフレームペアに対して、得られたフレーム間隔（時間差）で並ぶように、フレームペアが配置し直される。
　より具体的には、遷移元フレーム列ＦＳに対して重みＷＳが与えられ、遷移先フレーム列ＦＤに対して重みＷＤが与えられているとする。
　なお、より詳細には、重みＷＳは、遷移元フレーム列ＦＳの各フレームＦＳｉに対して与えられた重みＷＳｉ（但し、１≦ｉ≦６）からなり、重みＷＤは、遷移先フレーム列ＦＤの各フレームＦＤｊに対して与えられた重みＷＤｊ（但し、１≦ｊ≦７）からなる。
　ここで、重みＷＳは、遷移元フレーム列ＦＳの先頭の位置から最後の位置へ向かって減衰していくように定められる。つまり、例えば重みＷＳ１＝1.0とされ、重みＷＳ６＝0.0とされて、それらの間にあるＷＳｉは、重みＷＳ１と重みＷＳ６を用いた線形補間により求められる値とされる。
　一方、重みＷＤは、遷移先フレーム列ＦＤの先頭の位置から最後の位置へ向かって増加していくように定められる。つまり、例えば重みＷＤ１＝0.0とされ、重みＷＤ７＝1.0とされて、それらの間にあるＷＤｊは、重みＷＤ１と重みＷＤ７を用いた線形補間により求められる値とされる。
　このような重みＷＳが用いられて、遷移元フレーム列ＦＳのフレーム間の重みが求められる。フレーム間の重みは、例えば互いに隣接するフレームの重みの平均値とされる。したがって、例えばフレームＦＳ１とフレームＦＳ２の間の重みは、（ＷＳ１＋ＷＳ２）／２とされる。遷移元フレーム列ＦＳのフレーム間の重みと同様に、遷移先フレーム列ＦＤのフレーム間の重みも重みＷＤが用いられて求められる。
　そして、用いられた重みが用いられて、注目するフレームペアについて、遷移元フレーム列ＦＳのフレーム間隔（時間差）と、遷移先フレーム列ＦＤのフレーム間隔（時間差）とがブレンド処理され、更新後のフレーム間隔（時間差）が算出される。
　例えば、フレームＦＳ１とフレームＦＤ２のペアに注目すると、このフレームペアの直前にあるフレームペアは、フレームＦＳ１とフレームＦＤ１のペアである。
　したがって、これらのペアの遷移元フレーム列ＦＳについては、同じフレームＦＳ１が並んでおり、遷移先フレーム列ＦＤについては、フレームＦＤ１とフレームＦＤ２が並んでいる。
　そこで、フレーム間隔のブレンド処理に用いられる重みとして、フレームＦＤ１の重みＷＤ１と、フレームＦＤ２の重みＷＤ２との平均値が、それらのフレーム間の重み（ＷＤ１，２とする）として算出される。なお、遷移元フレーム列ＦＳについては、同じフレームＦＳ１が並んでいるので、重みＷＳ１がそのまま用いられる。これは、２つの重みＷＳ１の平均値は重みＷＳ１となるからである。
　そして、注目しているフレームＦＳ１とフレームＦＤ２のペアについて、そのペアの直前のフレームペアとのフレーム間隔のブレンドが行なわれる。
　この場合、遷移元フレーム列ＦＳについては、同じフレームＦＳ１が並んでいるので、そのフレーム間隔（時間差）は「０」である。また、遷移先フレーム列ＦＤについては、フレームＦＤ１とフレームＦＤ２が並んでいるので、そのフレーム間隔（時間差）は「１」である。
　したがって、これらのフレーム間隔を、求めた重みを付けてブレンド（重み付き加算）すれば、最終的に得ようとするフレーム間隔が得られる。すなわち、（ＷＳ１×０）＋（ＷＤ１，２×１）が計算され、得られた値が最終的なフレーム間隔である。
　最終的なフレーム間隔（時間差）が得られると、注目しているフレームＦＳ１とフレームＦＤ２のペアと、その直前にあるフレームＦＳ１とフレームＦＤ１のペアとのフレーム間隔、つまり図中、横方向に並ぶ間隔が、求めたフレーム間隔となるように、フレームＦＳ１とフレームＦＤ２のペアが配置し直される。
　このように、マッチングフレーム再配置処理を行なって、矢印Ｑ３２に示した各フレームペアを再配置すると、矢印Ｑ３３に示すようになる。この例では、フレームＦＳ１とフレームＦＤ２のペアは、その直前にあるフレームＦＳ１とフレームＦＤ１のペアにほぼ重なる位置に配置されている。
　マッチングフレーム再配置処理が行なわれて、各フレームペアが再配置されると、実際に再生される遷移期間の各時刻のマッチングフレームが選択される。
　矢印Ｑ３３に示す各フレームペアは、時系列に並べられたそれらのフレームペアの先頭のフレームペアの位置が、遷移期間の先頭のフレームの時刻の位置となるように配置されている。
　ここでは、例えば矢印Ｑ３４に示すように、各フレームペアのうち、点線で示される遷移期間の各フレームの提示時刻ごとに、その時刻に最も近い位置に配置されているフレームペアが選択される。この場合、選択されずに破棄されるフレームペアが存在することもある。
　矢印Ｑ３４に示す例では、遷移期間の各時刻のマッチングフレームのペアとして、フレームＦＳ１とフレームＦＤ１のペア、フレームＦＳ２とフレームＦＤ３のペア、およびフレームＦＳ３とフレームＦＤ４のペア、フレームＦＳ４とフレームＦＤ４のペア、フレームＦＳ５とフレームＦＤ５のペア、フレームＦＳ５とフレームＦＤ６のペア、およびフレームＦＳ６とフレームＦＤ７のペアが選択されている。
　最後に、遷移期間の時刻ごとに選択されたフレームペアの各フレームの画像が、ブレンド率αによりブレンドされ、遷移期間のフレームの画像とされる。なお、図８では、遷移期間の各時刻を表す点線の位置に、それらの時刻におけるブレンド率αが示されている。
　この例では、ブレンド率αは、遷移先フレーム列ＦＤの各フレームＦＤｊに乗算される重みを示しており、ブレンド率αは、α＝0.0からα＝1.0まで、遷移期間のフレーム番号が大きくなるにしたがって線形的に大きくなっている。
　また、フレームペアのブレンド時には、遷移元フレーム列ＦＳの各フレームＦＳｉには、（１－α）が重みとして乗算される。
　したがって、例えば遷移期間の１つ目のフレームＦＢ１に注目し、遷移元フレーム列ＦＳのフレームＦＳ１の画像をＦＳ１とし、遷移先フレーム列ＦＤのフレームＦＤ１の画像をＦＤ１とすると、フレームＦＢ１の画像は、α×ＦＤ１＋（１－α）×ＦＳ１により求められる。
　このような遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレームのブレンドにより、遷移期間の各フレームの画像が生成される。図８では、遷移期間の画像（フレーム列）は、遷移元フレーム列ＦＳの画像から、遷移先フレーム列ＦＤの画像へと徐々に遷移していく画像となる。
　遷移期間のフレーム列が得られると、素材動画像における遷移先フレーム列ＦＤの最後のフレーム（アウト点）と、遷移元フレーム列ＦＳの最初のフレーム（イン点）との間の区間のフレーム列と、そのフレーム列に続く遷移期間のフレーム列とからなるループ動画像が得られる。
　なお、逆転再生も含めたループ動画像も、以上において説明した方法と同様の計算により生成することができる。
　そのような場合、上述したＤＰマッチングにおいて、遷移元フレーム列ＦＳと、遷移先フレーム列ＦＤから抽出される部分フレーム列ＦＤ’の組み合わせとして、逆転再生も考慮した組み合わせも加えればよい。
　例えば、ループ動画像に含まれる遷移期間の最小のフレーム数がＮＦ＿ｍｉｎであるとし、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数がＮＦであるとする。
　この場合、遷移先フレーム列ＦＤから抽出される部分フレーム列ＦＤ’の先頭のフレーム（開始位置）を、遷移先フレーム列ＦＤの先頭からＮＦ乃至（ＮＦ－ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列ＦＤ’の信号長をＮＦ＿ｍｉｎ乃至ＮＦフレームの間で変化させて、部分フレーム列ＦＤ’が抽出される。このとき、遷移先フレーム列ＦＤから抽出されたフレーム列の表示順（フレームの順番）を逆向きに並べて得られるフレーム列、つまりフレーム番号が新しいものから古いものへと順番に各フレームを並べて得られるフレーム列が、部分フレーム列ＦＤ’とされる。
　そして、遷移元フレーム列ＦＳと、得られた部分フレーム列ＦＤ’との各組み合わせについてＤＰマッチングが行なわれ、逆転再生についての最終的な遷移先フレーム列ＦＤが得られる。したがって、これらの逆転再生についての遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとから、逆転再生につての遷移期間のフレーム列が得られる。
　但し、逆転再生を用いたループ動画像を最終的に出力する場合には、２つの遷移期間が必要となるので、素材動画像から、それぞれ独立に順再生の遷移期間と、逆転再生の遷移期間とを生成する必要がある。
　例えば、図９に示すように、１つの素材動画像ＭＴ３１から、逆転再生の区間を含むループ動画像ＬＰ３１を生成するものとする。
　この場合、素材動画像ＭＴ３１の終了端近傍の区間ＦＶ１１から、ＤＰマッチングにより順再生の遷移期間ＴＲ１１、つまり順方向への再生により画像遷移が行われる遷移期間ＴＲ１１を得るための遷移元フレーム列ＦＳ１と遷移先フレーム列ＦＤ１が定められる。
　そして、遷移元フレーム列ＦＳ１と遷移先フレーム列ＦＤ１の各フレームの画像がブレンドされ、遷移期間ＴＲ１１が生成される。
　また、素材動画像ＭＴ３１の開始端近傍の区間ＦＶ１２から、ＤＰマッチングにより逆転再生の遷移期間ＴＲ１２、つまり逆転再生を用いた画像遷移が行われる遷移期間ＴＲ１２を得るための遷移元フレーム列ＦＳ２と遷移先フレーム列ＦＤ２が定められる。そして、遷移元フレーム列ＦＳ２と遷移先フレーム列ＦＤ２の各フレームの画像がブレンドされ、遷移期間ＴＲ１２が生成される。
　さらに、素材動画像ＭＴ３１における遷移先フレーム列ＦＤ２の直後のフレームから、遷移元フレーム列ＦＳ１の直前のフレームまでの区間がそのまま切り出され、ループ動画像ＬＰ３１における順再生期間ＴＵ１１とされる。
　また、素材動画像ＭＴ３１における遷移元フレーム列ＦＳ２の直前のフレームから、遷移先フレーム列ＦＤ１の直前のフレームまでの区間が切り出され、切り出された区間のフレームがフレーム番号の新しい方から古い方へと順番に並べられる。そして、その結果得られたフレーム列からなる区間が、ループ動画像ＬＰ３１における逆転再生期間ＴＵ１２とされる。この逆転再生期間ＴＵ１２は、素材動画像ＭＴ３１の一部の区間が逆方向に再生される区間である。
　そして、順再生期間ＴＵ１１、遷移期間ＴＲ１１、逆転再生期間ＴＵ１２、および遷移期間ＴＲ１２を順番につなげて得られる動画像が、ループ動画像ＬＰ３１とされる。
　なお、以下では、説明を簡単にするため、逆転再生を含まないループ動画像の生成について説明することとする。
［画像処理装置の構成例］
　次に、本技術を適用した具体的な実施の形態について説明する。
　図１０は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
　図１０の画像処理装置１１は、取得部２１、フレーム列決定部２２、部分フレーム列決定部２３、マッチング処理部２４、再配置処理部２５、ブレンド処理部２６、およびループ動画像生成部２７から構成される。
　取得部２１は、これから生成しようとするループ動画像の素材となる素材動画像を取得して、フレーム列決定部２２およびループ動画像生成部２７に供給する。
　フレーム列決定部２２は、取得部２１から供給された素材動画像から、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤを抽出し、部分フレーム列決定部２３、マッチング処理部２４、およびブレンド処理部２６に供給する。
　部分フレーム列決定部２３は、フレーム列決定部２２から供給された遷移先フレーム列ＦＤから部分フレーム列ＦＤ’を抽出し、マッチング処理部２４に供給する。
　マッチング処理部２４は、フレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤ、および部分フレーム列決定部２３からの部分フレーム列ＦＤ’に基づいて弾性マッチングを行い、そのマッチング結果を再配置処理部２５に供給する。
　再配置処理部２５は、マッチング処理部２４から供給されたマッチング結果に基づいて、マッチングフレーム再配置処理を行い、その処理結果をブレンド処理部２６に供給する。
　ブレンド処理部２６は、再配置処理部２５からの処理結果、およびフレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてブレンド処理を行い、ループ動画像を構成する遷移期間の各フレームを生成し、ループ動画像生成部２７に供給する。
　ループ動画像生成部２７は、ブレンド処理部２６からの遷移期間の各フレームと、取得部２１からの素材動画像とに基づいてループ動画像を生成し、出力する。
［ループ動画像生成処理の説明］
　ところで、画像処理装置１１に素材動画像が供給され、ループ動画像の生成が指示されると、画像処理装置１１によりループ動画像生成処理が行なわれ、ループ動画像が生成される。以下、図１１のフローチャートを参照して、画像処理装置１１によるループ動画像生成処理について説明する。
　ステップＳ１１において、取得部２１は、供給された素材動画像を取得して、フレーム列決定部２２およびループ動画像生成部２７に供給する。
　ステップＳ１２において、フレーム列決定部２２は、取得部２１から供給された素材動画像における、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの区間を決定し、部分フレーム列決定部２３、マッチング処理部２４、およびブレンド処理部２６に供給する。
　例えば、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数ＮＦが予め定められているとする。この場合、フレーム列決定部２２は、素材動画像の先頭のフレームからＮＦ番目のフレームまでの区間を遷移先フレーム列ＦＤとし、素材動画像の最後のＮＦフレームからなる区間を遷移元フレーム列ＦＳとする。
　なお、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤは、それぞれ異なる素材動画像から抽出されるようにしてもよい。
　ステップＳ１３において、部分フレーム列決定部２３は、フレーム列決定部２２から供給された遷移先フレーム列ＦＤから部分フレーム列ＦＤ’を抽出し、マッチング処理部２４に供給する。
　例えば、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤのフレーム数ＮＦと、ループ動画像に含まれる遷移期間の最小のフレーム数ＮＦ＿ｍｉｎとが予め定められているとする。
　この場合、部分フレーム列決定部２３は、部分フレーム列ＦＤ’の開始位置を、遷移先フレーム列ＦＤの１乃至（ＮＦ－ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列ＦＤ’の長さもＮＦ＿ｍｉｎ乃至ＮＦフレームの間で変化させて、部分フレーム列ＦＤ’を決定する。したがって、複数のフレーム列が部分フレーム列ＦＤ’となり得るので、ステップＳ１３では、それらのフレーム列のうち、まだ処理対象とされていないものが部分フレーム列ＦＤ’とされる。
　ステップＳ１４において、マッチング処理部２４は、フレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤ、および部分フレーム列決定部２３からの部分フレーム列ＦＤ’に基づいて弾性マッチングを行なう。
　例えば、弾性マッチングとして、ＤＰマッチングが行なわれる。そのような場合、マッチング処理部２４は、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてＤＰ平面を生成し、ＤＰ平面上の各エッジに式（３）に示したコストＥ（ｉ，ｊ，ｋ）を与える。このとき、ＤＰ平面には、必要に応じて仮の始点と仮の終点が与えられる。
　そして、マッチング処理部２４は、ＤＰ平面上における始点から終点までの最小コスト経路を探索して、その最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）を、式（４）を計算することにより求める。式（４）により求まる合計コストは、各マッチングフレームの画像の類似の度合いに基づく最小コスト経路の評価値ということができる。
　なお、ＤＰ平面の始点は、遷移元フレーム列ＦＳの先頭のフレームと、部分フレーム列ＦＤ’の先頭のフレームとにより定まる格子点の位置とされる。同様に、ＤＰ平面の終点は、遷移元フレーム列ＦＳの最後のフレームと、部分フレーム列ＦＤ’の最後のフレームとにより定まる格子点の位置とされる。
　ステップＳ１５において、マッチング処理部２４は、直前のステップＳ１４の処理で得られた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）が最小であるか否かを判定する。すなわち、直前のステップＳ１４の処理で得られた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）が、これまで処理対象とした部分フレーム列ＦＤ’について求めた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）よりも小さいか否かが判定される。
　例えば、マッチング処理部２４は、これまで処理対象とした部分フレーム列ＦＤ’について求めた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）のうち、最小となる合計コストＣ（ｉ，ｊ，ｍ）と、そのときのマッチングフレームとを保持している。そして、マッチング処理部２４は、保持している合計コストよりも、直前のステップＳ１４の処理で新たに求められた合計コストが小さい場合、合計コストが最小であると判定する。
　ステップＳ１５において、合計コストが最小であると判定された場合、ステップＳ１６において、マッチング処理部２４は、保持している合計コストＣ（ｉ，ｊ，ｍ）とマッチングフレームを更新する。
　すなわち、マッチング処理部２４は、これまで保持していた合計コストとマッチングフレームを破棄し、新たに求められた最小コスト経路の合計コストと、その最小コスト経路により示されるマッチングフレームとを保持する。
　このように最小コスト経路の合計コストとマッチングフレームの更新を行なっていくことで、合計コストに基づく評価が最も高いマッチングフレームが得られることになる。合計コストとマッチングフレームの更新が行なわれると、その後、処理はステップＳ１７へと進む。
　また、ステップＳ１５において、合計コストが最小でないと判定された場合、合計コストとマッチングフレームの更新は行なわれず、処理はステップＳ１７に進む。
　ステップＳ１５において合計コストが最小でないと判定されたか、またはステップＳ１６において合計コストとマッチングフレームの更新が行なわれると、ステップＳ１７において、マッチング処理部２４は、全ての部分フレーム列ＦＤ’について処理を行なったか否かを判定する。
　ステップＳ１７において、まだ全ての部分フレーム列ＦＤ’について処理を行なっていないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。
　これに対して、ステップＳ１７において、全ての部分フレーム列ＦＤ’について処理を行なったと判定された場合、マッチング処理部２４は、保持しているマッチングフレームを再配置処理部２５に供給し、処理はステップＳ１８に進む。
　ステップＳ１８において、再配置処理部２５は、マッチング処理部２４から供給されたマッチングフレームに基づいて、マッチングフレーム再配置処理を行い、その処理結果をブレンド処理部２６に供給する。
　例えば、再配置処理部２５は、図８を参照して説明したように、適宜、マッチングフレームを補間により求めて、マッチングフレームとされた遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームのペアを時系列に並べる。
　例えば、図８の矢印Ｑ３１に示したように、補間によってフレームＦＳ１とフレームＦＤ２のペア、フレームＦＳ４とフレームＦＤ４のペア、およびフレームＦＳ５とフレームＦＤ６のペアが求められ、矢印Ｑ３２に示すように、各フレームペアが並べられる。
　そして、再配置処理部２５は、各フレームペアについて、フレーム間の時間差（フレーム間隔）と、フレーム間の重みとに基づいて、矢印Ｑ３３に示したように、各フレームペアを配置し直す。
　ステップＳ１９において、ブレンド処理部２６は、再配置処理部２５からの処理結果に基づいて、各フレームペアの再割り当て処理を行なう。
　例えば、ブレンド処理部２６は、図８を参照して説明したように、遷移期間の各時刻に対して、１つのフレームペアを割り当てる。これにより、図８の矢印Ｑ３４に示すように、遷移期間の各時刻に対して、その時刻のブレンド処理に用いるフレームペアが定められる。
　ステップＳ２０において、ブレンド処理部２６は、遷移期間の各時刻へのフレームペアの割り当て結果、およびフレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてブレンド処理を行って、遷移期間の各フレームの画像を生成する。
　例えばブレンド処理部２６は、図８を参照して説明したように、遷移期間の時刻ごとに、その時刻に割り当てられたフレームペア、つまり遷移元フレーム列ＦＳのフレームの画像と、部分フレーム列ＦＤ’（遷移先フレーム列ＦＤ）のフレームの画像とをブレンドし、遷移期間のフレームの画像とする。これにより、図８の矢印Ｑ３５に示した遷移期間のフレーム列が得られる。ブレンド処理部２６は、得られた遷移期間のフレーム列を、ループ動画像生成部２７に供給する。
　ステップＳ２１において、ループ動画像生成部２７は、ブレンド処理部２６からの遷移期間のフレーム列と、取得部２１からの素材動画像とに基づいてループ動画像を生成する。
　例えば、ループ動画像生成部２７は、素材動画像における遷移先フレーム列ＦＤの最後のフレームと、遷移元フレーム列ＦＳの最初のフレームとの間の区間のフレーム列の後に、遷移期間のフレーム列を接続することでループ動画像を生成する。
　ループ動画像が生成されると、ループ動画像生成部２７は、生成したループ動画像を出力し、ループ動画像生成処理は終了する。画像処理装置１１から出力されたループ動画像は再生されたり、記録媒体に記録されたりする。
　以上のようにして画像処理装置１１は、最終的な遷移先フレーム列ＦＤの候補となる部分フレーム列ＦＤ’の長さや先頭フレームの位置を変えながら、各部分フレーム列ＦＤ’と遷移元フレーム列ＦＳとのマッチングを行い、最適なマッチングフレームを求める。
　そして、画像処理装置１１は、得られたマッチングフレームのペアの時間方向の提示位置を調整して、ブレンド処理により遷移期間のフレーム列を生成するとともに、この遷移期間のフレーム列を用いてループ動画像を生成する。
　このように、部分フレーム列ＦＤ’の長さや先頭フレームの位置を変えながらマッチングを行なうことで、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームのペアとして、より適切なペアを得ることができる。これにより、より高精度に類似フレームの遷移を行なうことができ、その結果、より高品質なループ動画像を得ることができる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
［１］
　第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、
　前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、
　時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、
　再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
　を備える画像処理装置。
［２］
　時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
　［１］に記載の画像処理装置。
［３］
　前記再配置処理部は、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なう
　［２］に記載の画像処理装置。
［４］
　前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とされ、
　前記第１の動画像の各フレームの重みは、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められる
　［３］に記載の画像処理装置。
［５］
　前記マッチング処理部は、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
　［１］乃至［４］の何れかに記載の画像処理装置。
［６］
　前記マッチング処理部は、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
　前記ブレンド処理部は、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
　［１］乃至［５］の何れかに記載の画像処理装置。
［７］
　前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
　［１］乃至［６］の何れかに記載の画像処理装置。
　１１　画像処理装置，　２２　フレーム列決定部，　２３　部分フレーム列決定部，　２４　マッチング処理部，　２５　再配置処理部，　２６　ブレンド処理部，　２７　ループ動画像生成部

Claims (9)

  1. 　第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、
    　前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、
    　時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、
    　再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
    　を備える画像処理装置。
  2. 　時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
    　請求項１に記載の画像処理装置。
  3. 　前記再配置処理部は、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なう
    　請求項２に記載の画像処理装置。
  4. 　前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とされ、
    　前記第１の動画像の各フレームの重みは、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められる
    　請求項３に記載の画像処理装置。
  5. 　前記マッチング処理部は、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
    　請求項２に記載の画像処理装置。
  6. 　前記マッチング処理部は、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
    　前記ブレンド処理部は、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
    　請求項２に記載の画像処理装置。
  7. 　前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
    　請求項２に記載の画像処理装置。
  8. 　第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理方法であって、
    　前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、
    　時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、
    　再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
    　ステップを含む画像処理方法。
  9. 　第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理用のプログラムであって、
    　前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、
    　時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、
    　再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2013/057994 2012-03-30 2013-03-21 画像処理装置および方法、並びにプログラム Ceased WO2013146508A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/386,942 US9344643B2 (en) 2012-03-30 2013-03-21 Image processing apparatus, method and program
CN201380016103.0A CN104205807B (zh) 2012-03-30 2013-03-21 图像处理设备、方法以及程序
JP2014507772A JP5999454B2 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-080973 2012-03-30
JP2012080973 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013146508A1 true WO2013146508A1 (ja) 2013-10-03

Family

ID=49259765

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/057994 Ceased WO2013146508A1 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US9344643B2 (ja)
JP (1) JP5999454B2 (ja)
CN (1) CN104205807B (ja)
WO (1) WO2013146508A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094527A1 (ja) * 2015-12-04 2017-06-08 日本電産株式会社 動画生成システムおよび動画表示システム
JP2017111619A (ja) * 2015-12-16 2017-06-22 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016092704A1 (ja) * 2014-12-12 2016-06-16 三菱電機株式会社 情報処理装置及び動画再生方法及び動画再生プログラム
JP7246236B2 (ja) * 2019-04-12 2023-03-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像表示方法
CN111783567B (zh) * 2020-06-16 2023-07-25 西安外事学院 一种基于极值标识的时间序列分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216975A (ja) * 2002-01-17 2003-07-31 Sony Corp 動作情報処理装置及び動作情報処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2007129367A1 (ja) * 2006-04-25 2007-11-15 Mitsubishi Denki Kabushiki Kaisha 画像合成装置および画像合成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373590B (zh) * 2004-05-19 2014-01-22 索尼电脑娱乐公司 图像帧处理方法及向各种显示器显示活动图像的设备
JP5123643B2 (ja) * 2007-11-12 2013-01-23 ルネサスエレクトロニクス株式会社 映像処理装置
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5553152B2 (ja) * 2010-04-09 2014-07-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5924127B2 (ja) * 2012-05-24 2016-05-25 カシオ計算機株式会社 動画生成装置、動画生成方法、及び、プログラム
JP5874538B2 (ja) * 2012-06-01 2016-03-02 カシオ計算機株式会社 動画生成装置、動画生成方法、及び、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216975A (ja) * 2002-01-17 2003-07-31 Sony Corp 動作情報処理装置及び動作情報処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2007129367A1 (ja) * 2006-04-25 2007-11-15 Mitsubishi Denki Kabushiki Kaisha 画像合成装置および画像合成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094527A1 (ja) * 2015-12-04 2017-06-08 日本電産株式会社 動画生成システムおよび動画表示システム
JPWO2017094527A1 (ja) * 2015-12-04 2018-09-27 日本電産株式会社 動画生成システムおよび動画表示システム
JP7009997B2 (ja) 2015-12-04 2022-01-26 日本電産株式会社 動画生成システムおよび動画表示システム
JP2017111619A (ja) * 2015-12-16 2017-06-22 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
CN104205807A (zh) 2014-12-10
CN104205807B (zh) 2017-06-06
US9344643B2 (en) 2016-05-17
JP5999454B2 (ja) 2016-09-28
JPWO2013146508A1 (ja) 2015-12-14
US20150304573A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
US11587319B2 (en) Gating model for video analysis
CN110633610B (zh) 一种基于yolo的学员状态检测方法
JP5999454B2 (ja) 画像処理装置および方法、並びにプログラム
JP7483089B2 (ja) パーソナライズされた自動ビデオクロッピング
EP2129112A1 (en) Image processor, and processing method and program for the same
CN114885144B (zh) 基于数据融合的高帧率3d视频生成方法及装置
Zhang et al. Boosting-based multimodal speaker detection for distributed meeting videos
WO2021213008A1 (zh) 一种视频的音画匹配方法、相关装置以及存储介质
CN114119373A (zh) 图像裁剪方法、装置及电子设备
CN116452418A (zh) 低分辨率图像目标识别的方法、装置及系统
CN118585964A (zh) 视音相关性特征融合策略的视频显著性预测方法及系统
JP6917788B2 (ja) 要約映像生成装置及びプログラム
CN114666656B (zh) 视频剪辑方法、装置、电子设备及计算机可读介质
CN111726526A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN119496964B (zh) 一种基于aigc大模型的相对可控视频生成系统
CN113225488B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN118158340B (zh) 一种运镜控制方法、装置、设备和存储介质
CN112287998A (zh) 一种低光照条件下进行目标检测的方法
CN119068085A (zh) 实时口型动画生成方法及装置、存储介质、计算机设备
CN117478964B (zh) 视频倍速播放的方法和装置
CN114463241B (zh) 图像合成方法、装置、电子设备及存储介质
CN120281995B (zh) 一种视频大纲生成方法、装置、计算机设备和介质
US20240273681A1 (en) Method, apparatus, device and storage medium for video processing
WO2025034217A1 (en) Using audio classification to enhance audio in videos
CN115019358A (zh) 一种真实场景下的多模态数据集的构建方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507772

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14386942

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13767402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE