[go: up one dir, main page]

WO2012032953A1 - 動画像処理装置、動画像処理方法およびプログラム - Google Patents

動画像処理装置、動画像処理方法およびプログラム Download PDF

Info

Publication number
WO2012032953A1
WO2012032953A1 PCT/JP2011/069395 JP2011069395W WO2012032953A1 WO 2012032953 A1 WO2012032953 A1 WO 2012032953A1 JP 2011069395 W JP2011069395 W JP 2011069395W WO 2012032953 A1 WO2012032953 A1 WO 2012032953A1
Authority
WO
WIPO (PCT)
Prior art keywords
cut
pair
cuts
pairs
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/069395
Other languages
English (en)
French (fr)
Inventor
芳徳 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US13/819,931 priority Critical patent/US20130156406A1/en
Priority to BR112013004781A priority patent/BR112013004781A2/pt
Priority to CN2011800415625A priority patent/CN103081460A/zh
Priority to RU2013109056/08A priority patent/RU2013109056A/ru
Priority to EP11823429.3A priority patent/EP2615829A1/en
Publication of WO2012032953A1 publication Critical patent/WO2012032953A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Definitions

  • the present disclosure relates to a moving image processing apparatus, a moving image processing method, and a program.
  • Video (or moving image) is generally composed of many cuts.
  • the image representation according to the intention of the author repeats the series of different cuts (also referred to as turning-back of the cut.) Or the like, which may congeal devised to cut structure.
  • How the video is perceived in other words, how the video is expressed in terms of the temporal context of the video. It may be important to know whether or not
  • the cut composition image may become larger than the display area where the cut composition image is displayed.
  • the representative image is reduced and displayed at a high rate, and the visibility of the cut composition image is reduced. There is.
  • the cut composition image is to be partially displayed in order to ensure the visibility of the cut composition image, the cut composition image is divided and displayed, and the list of the cut composition may be deteriorated. is there. Therefore, in any case, the user cannot easily grasp the cut configuration of the moving image through the cut configuration image.
  • the present disclosure is capable of generating cut structure image can easily grasp the cut structure of a moving image
  • the moving image processing apparatus is intended to provide a moving image processing method, and a program.
  • a cut transition detection unit that detects transition between cuts from a moving image including a plurality of cuts, and a plurality of cuts are divided into a plurality of cut groups having different feature amounts, and are different from each other.
  • Each cut pair is a cut pair consisting of two or more consecutive cuts belonging to a cut group, and a combination of a cut pair specifying unit for specifying a plurality of cut pairs repeated in a moving image and at least a part of the plurality of cuts.
  • a moving image processing apparatus including a pair generation unit and a cut composition image generation unit that generates a cut composition image including the generated cut pairs is provided. It is.
  • the cut pair generation unit divides a plurality of cut pairs into a predetermined number of pair groups, and for each pair group, combines at least a part of the cuts included in each pair group to form each cut pair 2
  • One cut pair may be generated from the cut pairs included in each pair group so that the above cuts belong to different cut groups and satisfy the context of cut transitions in the moving image.
  • the cut pair generation unit may divide a plurality of cut pairs into a predetermined number of pair groups based on the cut feature amount.
  • the cut pair generation unit may divide a plurality of cut pairs into a predetermined number of pair groups based on the feature amounts of the cut pairs.
  • the cut pair generation unit may generate one cut pair by combining a plurality of cuts based on the cut feature amount.
  • the cut pair generation unit may generate one cut pair by combining a plurality of cuts based on the feature amount of the cut pair.
  • the cut pair generation unit may select cuts based on cut feature values for each cut group, and generate one cut pair by combining a plurality of selected cuts.
  • the cut pair generation unit selects a cut based on a cut feature amount for the first cut group, and generates one cut pair by combining a plurality of cuts belonging to the same cut pair as the selected cut Good.
  • the cut pair may be generated based on the inner product of the similarity matrix indicating the similarity between the cut pairs.
  • the cut pair that maximizes the sum of the inner products of the similarity matrix may be generated as a representative cut pair that represents a plurality of cut pairs.
  • a cut pair having a low similarity to the representative cut pair may be generated.
  • the cut pair may be generated based on the scalar value of the similarity matrix indicating the similarity between the cut pairs.
  • the cut pair with the largest scalar value in the similarity matrix may be generated as a representative cut pair representing a plurality of cut pairs.
  • a cut pair having a low similarity to the representative cut pair may be generated.
  • the predetermined number may be set according to the display condition of the cut composition image.
  • transitions between cuts are detected from a moving image including a plurality of cuts, the plurality of cuts are divided into a plurality of cut groups having different feature amounts, and 2 belonging to different cut groups
  • a cut pair consisting of the above continuous cuts, a plurality of cut pairs repeated in a moving image is identified, and at least a part of the plurality of cuts is combined, and two or more cuts forming each cut pair are different.
  • a moving image processing method including generating an image is provided.
  • a program for causing a computer to execute the moving image processing method is provided.
  • the program may be provided using a computer-readable recording medium, or may be provided via a communication unit or the like.
  • FIG. 1 shows a procedure of a moving image processing method according to an embodiment of the present disclosure.
  • a transition between cuts is detected from a moving image MP including a plurality of cuts (step S1).
  • a plurality of cuts are divided into a plurality of cut groups having different feature amounts S (generic name of cut group feature amounts), and are cut pairs composed of two or more consecutive cuts belonging to different cut groups, A plurality of cut pairs repeated in the moving image MP are specified (step S3).
  • step S5 A predetermined number N of cut pairs are generated (step S5).
  • the number N of cut pairs is set in advance according to the display conditions (display range, display size, etc.) of the cut composition image CI (generic name for the cut composition image). Further, a cut composition image CI composed of the generated cut pairs is generated (step S7).
  • a predetermined number N of cut pairs are generated by combining at least a part of a plurality of cuts so as to satisfy a predetermined condition, and a cut composition image CI including the generated cut pairs is generated. It is possible to generate the cut composition image CI that can ensure the listability and the visibility of the cut composition image CI. And the user can grasp
  • FIG. 2 shows a main functional configuration of the moving image processing apparatus 1.
  • the moving image processing apparatus 1 includes a data acquisition unit 11, a cut transition detection unit 13, a cut pair identification unit 15, a display optimization unit 17, a cut pair generation unit 19, a meta information generation unit 21, a cut A configuration image generation unit 23, a cut configuration image output unit 25, a cut configuration information output unit 27, and a data storage unit 29 are included.
  • the data acquisition unit 11 acquires moving image data MP including a plurality of cuts, a cut transition detection unit 13, a cut pair identification unit 15, a cut pair generation unit 19, a meta information generation unit 21, and a cut composition image generation unit 23.
  • the moving image data MP is generally frame format data, and may be only image data or a combination with audio data.
  • the moving image data MP may be acquired from the data storage unit 29 or may be acquired from an external device (not shown).
  • the cut transition detection unit 13 detects a cut transition in the moving image MP based on the moving image data MP, and supplies the detection result to the cut pair identification unit 15 and the cut configuration information output unit 27.
  • the cut transition means a cut transition in the moving image MP.
  • the cut transition is detected based on the similarity between the feature amounts of images and / or sounds in successive frames.
  • As the image and / or audio feature amount a color histogram, face image detection, correlation between images, and / or audio amount, tone, rhythm, and the like can be used. Note that the feature amount obtained at the time of detecting the cut transition may be stored in the data storage unit 29 or the like and used for other processing.
  • the cut pair identification unit 15 classifies a plurality of cuts into cut groups based on the feature amount S ′ of each cut, and identifies the cut pairs.
  • the cut pair identification result is supplied to the display optimization unit 17, the cut pair generation unit 19, and the cut configuration information output unit 27 together with the detection result of the cut transition.
  • the cut feature amount S ′ a color histogram of the image included in the cut, face image detection, correlation between images, and / or a sound amount, tone / rhythm, or a combination thereof can be used.
  • the feature amount S ′ obtained when the cut pair is specified may be stored in the data storage unit 29 or the like and used for other processing.
  • the cut group means a combination of cuts having similar feature quantities S ′.
  • a cut pair means a combination of a series of different cuts repeated in a cut configuration, and consists of two or more cuts that are continuous in time.
  • Cut pair specifying unit 15 based on the specification result of the cut pair, imparting the attribute information (described later group ID, pair ID, etc.) representing the cut group or cuts pair to each cut.
  • the attribute information may be supplied to the cut configuration information output unit 27, the data storage unit 29, an external device, and the like.
  • the display optimization unit 17 optimizes the display of the cut composition image CI according to the display conditions (display range, display size, etc.) of the cut composition image CI. Specifically, in order to ensure the visibility of the cut configuration image CI as well as the list of cut configurations, the number N of cut pairs displayed as the cut configuration image CI is optimized to the optimal display number Nopt. The optimization result is supplied to the cut pair generation unit 19.
  • Cut pair generation unit 19 which will be described in detail later, depending on the particular result and displays the optimization results of the cutting pair and generates a cut pair to be displayed as cut structure image CI. Specifically, according to the cut pair generation conditions, cut pairs are generated based on the cut feature amount S ′ so as to satisfy the optimum number of cut pairs Nopt. The result of the cut pair generation is supplied to the cut configuration image generation unit 23, but may be supplied to the cut configuration information output unit 27, the data storage unit 29, an external device, and the like.
  • the meta information generation unit 21 generates meta information MI (generic name of meta information) indicating the characteristics of audio and images included in each cut.
  • the meta information generation unit 21 extracts voice and image features from the moving image data MP based on the moving image data MP and the cut transition detection result. Then, meta information MI indicating the sound and image characteristics of each cut is generated and supplied to the cut composition image generation unit 23.
  • the cut composition image generation unit 23 generates the cut composition image CI based on the moving image data MP and the result of the cut pair generation.
  • the cut composition image CI is an image in which the boundary between cut pairs is clearly shown and the representative images I of cuts included in the generated cut pair are arranged according to the order of cut transitions.
  • the representative image I is extracted from images included in the cut of the generated cut pair according to a predetermined standard.
  • the cut composition image CI may include meta information MI supplied from the meta information generation unit 21.
  • the representative image I is an image representing each cut, and is extracted as an image corresponding to the central frame of the cut, for example.
  • the cut composition image CI is supplied to the cut composition image output unit 25.
  • the cut composition image output unit 25 outputs the cut composition image CI supplied from the cut composition image generation unit 23 so that the user can grasp the cut composition of the moving image MP.
  • the cut composition image CI may be output to a display device, a printing device, a storage device, or an external device (all not shown) connected to the moving image processing device 1.
  • the cut configuration information output unit 27 outputs the cut transition detection result, the cut classification result, and the cut pair identification result as cut configuration information so that the user can use it for grasping the cut configuration.
  • the cut configuration information may be output to a display device, a printing device, a storage device, or an external device (all not shown) connected to the moving image processing apparatus 1.
  • Cut configuration information can be used, for example, as data for realizing a moving image search considering the cut configuration. For example, it is possible to search for a cut that forms a cut pair with a reference cut using a certain cut as a reference cut, or to search for a cut pair having the same configuration as the reference cut pair using a certain cut pair as a reference cut pair. It is also possible to search for a moving image MP that includes many cut pairs and a moving image MP that includes many cut cutbacks.
  • the data storage unit 29 stores moving image data MP and data attached to the moving image data MP.
  • the data storage unit 29 stores cut composition information in association with the moving image data MP.
  • the data storage unit 29 may store the cut composition image CI.
  • FIG. 2 the display of the connection relationship between the data storage unit 29 and other components is partially omitted.
  • the cut composition image output unit 25 and the cut composition information output unit 27 are configured by an arithmetic processing device such as a CPU or a DSP (digital signal processing device).
  • the data storage unit 29 includes an internal storage device such as a flash memory, and an external storage device such as a hard disk drive and a Blu-ray disk drive.
  • the CPU implements a moving image processing method by developing a program read from a ROM or the like on the RAM and executing the program. Note that at least a part of the functional configuration may be configured as hardware such as dedicated logic.
  • FIG. 3 shows an overall operation procedure of the moving image processing apparatus 1.
  • the data acquisition unit 11 acquires the moving image data MP (step S11) and supplies it to the cut transition detection unit 13 and the like.
  • the cut transition detection unit 13 detects a cut transition in the moving image MP based on the moving image data MP (step S13), and supplies the detection result to the cut pair identification unit 15.
  • the cut transition is detected based on the similarity of the feature amount of the image and / or sound in successive frames.
  • a serial number indicating the order of cut transition is assigned to each cut as a cut ID.
  • FIG. 4 shows an example of the cut configuration obtained from the detection result of the cut transition.
  • the cut configuration is shown using the representative images I1 to I15 of the cuts 1 to 15.
  • cuts 1, 3, 6, 8, 11, and 13 are similar to each other
  • cuts 2, 4, 7, 9, 12, and 14 are similar to each other
  • cuts 5, 10, and 15 are similar to each other. is doing.
  • FIG. 5 shows a cut pair identification process.
  • an initialization process is first performed (step S31).
  • Cut group that is specified from the moving image data MP represents the number of.
  • the group ID and pair ID are assigned to each cut to indicate the cut group and cut pair to which each cut belongs.
  • the feature amount S ′ of the cut 1 is calculated and stored in the data storage unit 29 or the like as the feature amount S1 of the cut group 1 (step S33).
  • the feature amount S ′ of cut 2 is calculated and stored in the data storage unit 29 or the like as the feature amount S2 of cut group 2 (step S35).
  • the cut group feature amount S (a generic term for cut group feature amounts) is calculated as a color histogram, face image detection, correlation between images, and / or voice volume, tone / rhythm, or a combination thereof.
  • step S37 the presence of the subsequent cut to be processed is confirmed (step S37). If the subsequent cut exists (“Yes” in step S37), the feature quantity S ′ of the subsequent cut is calculated (step S39), and the feature quantity S ′ of the subsequent cut and the feature quantities S1 to Sm of the cut groups 1 to m are calculated. Similarity is determined between them (step S41).
  • the similarity of the feature amount S may be preferentially determined with a cut group having a larger group ID than the previous cut. This is because, when belonging to the same cut pair, the group ID of the cut group to which the subsequent cut belongs is larger than the previous cut.
  • step S43 If it is determined that the similarity between the feature amount S1 and the cut group 1 to m is greater than or equal to a predetermined threshold between the feature amount S ′ of the subsequent cut and the cut group 1 to m (“Yes” in step S41). ), The group ID of the cut group x (1 ⁇ x ⁇ m) having the highest similarity is assigned to the subsequent cut (step S43).
  • the group ID of the subsequent cut is compared with the group ID of the immediately preceding cut (step S45), the pair ID is incremented by one if the former is smaller (step S47).
  • the immediately preceding cut and the subsequent cut belong to different cut pairs, and there is a boundary (cut turning point) between the cut pairs between the two cuts.
  • the subsequent cut is given the previous pair ID or the incremented pair ID (step S49).
  • the feature quantity S ′ of the subsequent cut may be stored and used as a part of the feature quantity Sx of the cut group x, or may be rejected (step S51).
  • step S53 when it is determined that the similarity between the feature quantity S ′ of the subsequent cut and the feature quantities S1 to Sm of the cut groups 1 to m is less than the predetermined threshold (“No” in step S41), a new In order to generate a simple cut group, the group number m is incremented by 1 (step S53). Subsequent cuts are given a group ID corresponding to the number m of groups as a new cut group (step S55). Further, the previous pair ID is given to the subsequent cut (step S57). The feature value S ′ of the subsequent cut is stored and used as the feature value Sm of the new cut group m (step S59).
  • steps S37 to S59 are repeated until there is no subsequent cut (“No” in step S37). Then, if there is no subsequent cut, the cut pair identification process ends, and the process of step S17 is continued as shown in FIG.
  • FIG. 6 shows the cut pair identification result for the cut configuration shown in FIG.
  • cut structure array M 0 is optimized (step S17).
  • the cut composition array M 0 is information for arranging the cuts in a matrix based on the appearance order of the cut pairs in the moving image MP and the appearance order of the cuts in each cut pair.
  • FIG. 7 shows a cut composition array M 0 generated from the cut pair identification result shown in FIG.
  • cut ID is shown in the cut structure array M 0.
  • the cuts 1 and 2 are arranged side by side
  • the cuts 3 to 5 are arranged side by side under the cuts 1 and 2, and similarly, the cuts 6 and 7 and the cuts 8 to 10 are arranged.
  • Cuts 11 and 12 and cuts 13 to 15 are arranged.
  • the appearance order (pair ID) of cut pairs in the moving image MP is in the first direction (vertical direction), and the appearance order of cuts in each cut pair (group ID) is in the second direction. They are arranged in a matrix form (horizontal direction).
  • the combination of the first direction and the second direction may be a combination of the horizontal direction and the vertical direction instead of the combination of the vertical direction and the horizontal direction.
  • Ra x 0 / y 0 .
  • the maximum display width xmax of the representative image I is calculated from the display width X of the display area Ad (step S63).
  • the maximum display width xmax of the representative image I is greater than the original size width x 0 of the representative image I, the maximum display width xmax may be set to scale the width x 0.
  • the display number N 1 of the cut pair when displaying a representative image I at the maximum display width xmax is calculated (step S65).
  • the display number N 1 is calculated as a value obtained by truncating decimals.
  • the first partial array M 1 is generated from the cut configuration array M 0 based on the display number N 1 of cut pairs (step S 67).
  • the partial sequence a sequence that has been partially extracted from the cut structure array M 0.
  • the first partial array M 1 is generated as an array including all the cuts in the cut pairs 1 to N 1 , and the total number of cuts included in the array is the total number of cuts n 1 in the first partial array M 1. .
  • the display occupation ratio Ro 1 of the first cut composition image CI with respect to the display area Ad is calculated (step S69).
  • processing counter i is incremented by one (step S71), the display number N i is incremented by one (step S73).
  • the i-th partial array M i is generated from the cut composition array M 0 based on the display number N i of the cut pairs (step S75).
  • the i-th partial sequence M i is generated as a sequence including all the cuts in the cut pairs 1 to N i .
  • the representative image size a i in the case of displaying the representative image I on the display number N i is calculated (step S77).
  • the display occupation ratio Ro i of the i-th cut composition image CI with respect to the display area Ad is calculated (step S79).
  • step S81 Next, or small is determined than calculated display occupancy Ro i is the immediately preceding processing (processing counter i-1 treatment) display occupancy Ro i-1 calculated in (step S81). If the determination result is affirmative (“Yes” in step S81), the display number N i ⁇ 1 becomes the optimum display number Nopt (step S83). As a result, the i-1th partial sequence M i-1 is determined as the optimized cut constituent sequence.
  • step S81 if the determination result is negative (“No” in step S81), the process returns to step S71. Then, the display number N i + 1 corresponding to the next processing counter i + 1 is set, and the processes in steps S71 to S81 are repeated until the determination result in step S81 becomes affirmative.
  • the display size a i of the representative image I decreases as the display number N i increases. Therefore, the representative image set in advance the minimum display height ymin of I, or display height y i of the representative image I is calculated from the display speed N i is the minimum display height less than ymin may be determined. If the determination result is affirmative, the optimization process may be terminated, and the display number N 1 of the first partial array M 1 that maximizes the display occupation ratio Ro i may be set as the optimal display number Nopt.
  • the representative images I1 to I10 of the cut groups 1 to 3 fill the display width X of the display area Ad. Will be displayed.
  • the cut composition image CI as shown in FIG. 9B, the representative images I1 to I12 of the cut pairs 1 to 5 are displayed at the full display height Y of the display area Ad.
  • the cut composition image CI as shown in FIG. 9C, the representative images I1 to I15 of the cut pairs 1 to 6 are displayed at the full display height Y of the display area Ad.
  • the number N of cut pairs is adjusted so as to maximize the display occupancy ratio Ro for the display area Ad, and the adjusted number N of cut pairs. the by generating a cut structure image CI satisfying, it is possible to generate a possible cut structure image CI ensuring the visibility of the list property and cut structure image CI of the cut structure.
  • the optimized arrangement may not necessarily include all cut configurations in the moving image MP due to display condition restrictions. Therefore, if the cut composition image CI is generated according to the optimized arrangement, the cut composition of the moving image MP may not be appropriately represented. Therefore, as described below, in terms of generating the cut pair were selected cut from cut structure array M 0 to meet an optimized sequence (optimum display number Nopt), the cut structure image CI is generated Is done.
  • the cut pair generating unit 19 When the display optimization process is completed, as shown in FIG. 3, the cut pair generating unit 19 generates a cut pair having the optimum display number Nopt from a plurality of cut pairs (step S19).
  • a cut pair is generated by combining at least a part of a plurality of cuts so that two or more cuts constituting each cut pair belong to different cut groups and satisfy the context of cut transitions in the moving image MP. .
  • FIG. 10 shows a cut pair generation procedure.
  • cut transition detection and cut pair identification are performed in advance.
  • detection of cut transition transition between cuts is detected from the moving image MP including a plurality of cuts (step S91).
  • a plurality of cuts are divided into a plurality of cut groups having different feature amounts S, and are cut pairs composed of two or more consecutive cuts belonging to different cut groups, and are included in the moving image MP.
  • a plurality of cut pairs repeated in step S93 are specified (step S93).
  • the cut pairs may be generated from each pair group (first generation procedure) after the cut pairs in the cut configuration array M 0 are divided into pair groups. to without classification may be directly generated (second generation procedure) from the cut structure array M 0. For this reason, in the generation of the cut pair, it is first determined whether to select the first generation procedure (step S95).
  • step S95 the cut pairs in the cut composition array M 0 are classified into pair groups of the optimal display number Nopt based on the feature quantities of the cuts or cut pairs. (Step S97). Next, for each pair group, at least some of the cuts included in each pair group are combined, and one cut pair is generated from the cut pairs included in each pair group (step S98). Here, the cuts are combined so that two or more cuts forming each cut pair belong to different cut groups and satisfy the context of the cut transition in the moving image.
  • step S95 the cut pair of the optimal display number Nopt from the plurality of cut pairs by combining at least a part of the plurality of cuts without considering the pair group. Is generated (step S99). Again, cuts, two or more cuts which form each cut pair are combined so as to satisfy the context of cut transition in the moving picture in MP with belong to different cut group.
  • FIG. 11 shows a generation example of the cut composition image CI by two generation procedures.
  • first generation procedure first, cut pairs 1 to 7 in the cut configuration array M 0 are pair group 1 (cut pairs 1 to 3), pair group 2 (cut pairs 4 and 5), and pair group 3 (cut Pairs are divided into 6 and 7).
  • the cuts 3 and 4 are selected from the pair group 1
  • the cuts 8 and 9 are selected from the pair group 2
  • the cuts 11 and 14 are selected from the pair group 3.
  • the selected cuts are hatched.
  • cut 3,4,8,9,11,14 are sorted directly from the cut structure array M 0.
  • FIG. 12 shows an example of cut pair generation conditions. Cut pair is generated from the cut structure array M 0 according to the generated condition of the cut pair shown in FIG. 12.
  • the features of the cut include the number of frames of the cut image, the volume of the cut audio, the brightness / color of the cut image, the amount of movement in the cut image, and the like.
  • Examples of the feature amount include total value, average value, maximum / minimum value, median value, mode value, variance, variation coefficient, change value (difference), histogram, matrix value, and the like.
  • the processing unit of the feature amount includes a cut unit, a cut pair unit, a difference in the cut pair, a corresponding interval between cuts, and the like.
  • the evaluation criteria for the feature amount include descending / ascending order of the feature amount, fluctuation from the reference value, difference between successive feature amounts, inner product / outer product of matrix values, and the like.
  • the cut pair generation conditions are, for example, the cut feature is “number of frames”, the feature amount is “total value”, the processing unit is “cut pair unit”, and the evaluation criterion is “ascending order of feature amount”. It is formed by appropriately combining features, feature amounts, processing units, and evaluation criteria.
  • the cut features, feature amounts, processing units, and evaluation criteria described above are merely examples, and do not necessarily mean that all combinations are possible. In the following, cut pair generation processing will be described by taking several generation conditions as examples.
  • FIG. 13 shows an example in which a cut pair is generated based on the number of frames of the cut pair.
  • the cut pairs 1 to 7 are divided into pair groups 1 to 3 based on the number of frames of the cut pairs 1 to 7 (see the pair group section).
  • the cut pairs 1 to 7 are divided so that the total number of frames of the cut pairs included in each pair group is substantially equal.
  • the cut pairs 1 to 7 are divided so that the total number of frames of the cut pairs included in the pair groups 1, 2, and 3 is 120, 80, and 100 (see the section on totals).
  • the cut pair having the maximum number of frames is selected from the cut pairs included in each pair group.
  • the cut pairs 3, 4, and 7 are selected for the pair groups 1, 2, and 3 (see the section on the number of pair frames). Therefore, in order to generate the cut composition image CI, three cut pairs including the cut pairs 3, 4, and 7 are generated.
  • the cut pairs 1 to 7 may be classified based on the number of cut pairs.
  • the cut pairs 1 to 7 are divided into, for example, cut pairs 1 and 2, cut pairs 3 and 4, and cut pairs 5 to 7 so that the number of cut pairs included in each pair group is substantially equal. Also good.
  • a cut pair with the maximum number of frames instead of the cut pair with the maximum number of frames, a cut pair with the minimum number of frames, a cut pair with a median value, or the like may be selected.
  • FIG. 14 shows an example in which a cut pair is generated based on the number of cut frames.
  • the cut pairs 1 to 7 are pair groups 1 to 3. It is divided into.
  • two main cuts having the second highest frame number are selected from all main cuts.
  • main cuts 5 and 9 having 20 and 25 frames are selected (refer to the section on the number of frames per group).
  • the cut pairs 1 to 7 are divided into pair groups 1 to 3 with the selected main cut position as a delimiter.
  • the cut pairs 1 to 3, the cut pairs 4, 5, and the cut pairs 6 and 7 are divided into pair groups 1, 2, and 3, respectively, with the positions of the main cuts 5 and 9 as a delimiter. (See Pair Groups section).
  • the main cut having the maximum number of frames is selected from the main cuts belonging to the cut group 1.
  • the main cuts 5, 9, and 11 are selected for the pair groups 1, 2, and 3 (see the section on the number of frames per group).
  • the sub cut having the maximum number of frames is selected from the sub cuts (cuts 2, 4, 6, 8, 10, 12, 14) belonging to the cut group 2.
  • the sub-cuts 2, 10, and 14 are selected for each of the pair groups 1, 2, and 3 (see the section on the number of frames in group 2). Therefore, in order to generate the cut composition image CI, a cut pair composed of cuts 2 and 5, a cut pair composed of cuts 9 and 10, and a cut pair composed of cuts 11 and 14 are generated.
  • the sub-cut 6 may be selected so that is in the normal order (cut ID of the main cut ⁇ cut ID of the sub-cut).
  • the main cut is selected based on the number of frames, and then the sub cut belonging to the same cut pair as the selected main cut is selected. May be. In this case, for example, when the main cuts 5, 9, and 11 are selected, the sub cuts 6, 10, and 12 are automatically selected.
  • the cut pairs 1 to 7 may be classified based on the number of sub-cut frames, or the cut pairs 1 to 7 may be classified based on the number of frames of the cut pair. Further, instead of the two main cuts having the second highest number of frames, the positions of the two main cuts having the second lowest number of frames may be used as a delimiter. Further, instead of selecting the main cut and the sub cut having the maximum number of frames for each pair group, the main cut and the sub cut belonging to the cut pair having the maximum number of frames may be selected.
  • FIG. 15 shows an example in which cut pairs are generated based on volume fluctuations between cuts.
  • the cut pairs are divided into pair groups 1 to 3 based on the number of frames of the cut pairs 1 to 7.
  • the main cut with the largest volume fluctuation is selected from the main cuts (cuts 1, 3, 5, 7, 9, 11, 13) belonging to the cut group 1.
  • the volume fluctuation is calculated as a ratio of the volume of each main cut to the average volume in the main cut included in each pair group.
  • the main cut 3 volume fluctuation ⁇ 6.7
  • main cut 7 5.0
  • main cut 11 -5.0
  • the sub cut with the largest volume fluctuation is selected from the sub cuts (cuts 2, 4, 6, 8, 10, 12, 14) belonging to the cut group 2.
  • the volume variation is calculated as a ratio of the volume of each sub cut to the average volume of the sub cuts included in each pair group.
  • the sub cut 6 Volume variation -6.7
  • sub-cut 8 sub-cut 8
  • sub-cut 12 2.5
  • a sub cut with a small cut ID is selected for convenience. Therefore, in order to generate a cut structure image CI, cut pair consisting of cut 3,6, cut pair consisting of cut 7,8, cut pair consisting of the cut 11 and 12 are generated.
  • the cut pairs 1 to 7 may be divided into pair groups by using the cut positions as a delimiter.
  • the volume fluctuation is calculated as the ratio of the volume of each cut to the average volume of all the cuts included in the cut pairs 1 to 7.
  • a cut with the largest volume fluctuation may be selected from all the cuts included in each pair group without distinguishing the main cut and the sub cut. For example, for pair group 1, after selecting cut 3 with the largest volume fluctuation from cuts 1 to 6 (volume fluctuation from average volume 18.3-6.7), the same cut as the selected cut 3 Cuts 4 belonging to pair 2 may be selected.
  • the main cut and the sub-cut belonging to the cut pair having the maximum volume fluctuation may be selected.
  • the volume fluctuation is calculated as a ratio of the volume of each cut pair to the average volume of all cut pairs included in each pair group.
  • FIG. 16 shows an example of generating a cut pair based on the number of frames of the cut pair. From the cut pairs 1 to 7, three cut pairs with the top three frames are selected. Then, the cuts included in the selected cut pair are selected. In the above example, the cut 5-8,13,14 corresponding to the cut pair 3, 4 and 7 of the pair frame number 60,60,60 are sorted (see section the number of pairs of frames). Therefore, in order to generate the cut composition image CI, three cut pairs including the cut pairs 3, 4, and 7 are generated.
  • three cut pairs with the highest number of frames may be selected, and one cut pair with the average number of frames and the number of frames You may select the two cut pairs that are the top two.
  • FIG. 17 shows an example in which a cut pair is generated based on the number of cut frames.
  • the three cuts with the top three frames are selected from all the cuts included in the cut pairs 1 to 7.
  • cuts belonging to the same cut pair as the selected cut are selected.
  • the corresponding cuts 1, 6, and 10 are selected. Therefore, in order to generate the cut composition image CI, three cut pairs including the cut pairs 1, 3, and 5 are generated.
  • three cuts with the top three frames may be selected from either the main cut or the sub cut.
  • one cut with an average number of frames may be selected from either the main cut or the sub cut, and two cuts with the second highest number of frames may be selected from the other.
  • FIG. 18 shows an example in which cut pairs are generated based on volume fluctuations between cuts.
  • three cuts having the highest volume fluctuation are selected.
  • the volume fluctuation is calculated as a ratio of the volume of each cut to the average volume in the cuts included in the cut pairs 1 to 7.
  • cuts belonging to the same cut pair as the selected cut are selected.
  • the corresponding cuts 4, 5, and 12 are selected (see the section on group 1, volume fluctuation). Therefore, in order to generate the cut composition image CI, three cut pairs including the cut pairs 2, 3, and 6 are generated.
  • three cuts whose volume fluctuation is in the top three may be selected from either the main cut or the sub cut.
  • the volume fluctuation is calculated as the ratio of the volume of each cut to the average volume of either the main cut or the sub-cut included in the cut pairs 1 to 7.
  • FIG. 19 shows an example in which a cut pair is generated based on variation in screen brightness between cuts.
  • a histogram representing the normalized screen luminance based on image processing is calculated.
  • an average histogram of seven cuts is calculated for each cut group. In the histogram, the frequency for each division when the luminance of the pixels included in the representative image is divided at a predetermined luminance interval is shown.
  • FIG. 19 shows the normalized histograms of the representative images I1 to I14 and the average histogram for each cut group, as well as the representative images I1 to I14 of the cuts 1 to 14.
  • the three cuts with the top three variations with respect to the average histogram are selected.
  • the fluctuation of the histogram is calculated as a difference between the normalized histogram of each cut and the average histogram of the cut group to which each cut belongs.
  • the cuts belonging to the same cut pair as the selected cut are selected.
  • the fluctuations of the cuts 1, 11, and 14 are the top three, and three cut pairs including the cut pairs 1, 6, and 7 are generated in order to generate the cut composition image CI.
  • FIG. 20 shows the result of calculating the similarity of the feature amount between the cuts 1 to 14.
  • cut 1-14 cut group 1 (cut 1,3,5,7,9,11,13), cut group 2 (cut 2, 4, 12 and 14) and cut pairs 1-7.
  • Figure 21 includes a first similarity matrix Ms1 indicating the similarity between the cut 1-2, there is shown a second similarity matrix Ms2 indicating the similarity between the cut 3-4.
  • the first and second similarity matrices Ms1 and Ms2 are matrices extracted from the calculation results shown in FIG. Then, the similarity between the cut pair 1 (cuts 1 and 2) and the cut pair 2 (cuts 3 and 4) can be calculated from the inner product of the first and second similarity matrices Ms1 and Ms2.
  • the larger the inner product of the first and second similarity matrices Ms1 and Ms2 the more similar the cut pairs are.
  • the first similarity matrix Ms1 is vectorized as (1.0, 0.2, 0.3, 1.0), and the second similarity matrix Ms2 is (0. 9, 0.1, 0.2, 0.8). Therefore, the inner product of the first and second similarity matrices Ms1 and Ms2 is calculated as 1.0 ⁇ 0.9 + 0.2 ⁇ 0.1 + 0.3 ⁇ 0.2 + 1.0 ⁇ 0.8 ⁇ 1.8. The In the same way, the similarity between the cut pairs 1 to 7 excluding the cut pair 1-2 is calculated.
  • FIG. 22 shows the sum of the similarities of the cut pairs 1 to 7 together with the similarities between the cut pairs 1 to 7.
  • the larger the sum of the similarities the higher the affinity of the cut pair, that is, the higher the probability that the cut pair is representative of the cut pairs 1 to 7.
  • the lowest cut pair 7 may be selected cut pair criterion that the degree of similarity is low in the second cut pair 3. Also, three cut pairs may be selected based on the criteria of a cut pair having the maximum sum of similarities, a cut pair having the lowest sum, and a cut pair closest to the average value.
  • Figure 23 includes a first similarity matrix Ms1 indicating the similarity between the cut 1-2, there is shown a second similarity matrix Ms2 indicating the similarity between the cut 3-4.
  • the first and second similarity matrices Ms1 and Ms2 are matrices extracted from the calculation results shown in FIG.
  • a cut pair can be selected based on the scalar value of the similarity matrix Ms indicating the similarity between the cuts 1 to 14.
  • the larger the scalar value of the similarity matrix Ms the higher the probability of being a cut pair representing the cut pairs 1 to 7.
  • the scalar value of the similarity matrix Ms is calculated between the cut pairs 1-7.
  • three cut pairs are selected by replacing the sum of the similarities with a scalar value and processing. Then, the cuts included in the selected cut pair are selected.
  • the meta information generation unit 21 When the cut pair generation process is completed, as shown in FIG. 3, the meta information generation unit 21 generates meta information MI for each cut (step S21). First, the meta information generation unit 21 extracts image and audio features included in each cut from the moving image data MP based on the moving image data MP and the detection result of the cut transition.
  • the cut includes speech (such as speech and sound effects)
  • the speech included in the cut is extracted, and character / image information corresponding to the extracted speech is generated through speech recognition processing or the like. Good.
  • character / image information indicating a silent cut may be generated.
  • the silence cut may be classified into a silence cut that does not include speech and a silence cut that does not include speech and sound effects.
  • Character / image information indicating the average value / variation value of the volume of the voice included in the cut, the ratio between the silent section and the voiced section, and the tone / rhythm or fluctuation of the voice may be generated.
  • the number of frames included in the cut or the time required to reproduce the cut may be calculated, and character / image information indicating the calculated value may be generated.
  • Character / image information indicating the average value / variation value of the brightness of the image included in the cut, the content of the image, or a change may be generated.
  • the cut composition image generation unit 23 generates a cut composition image CI based on the result of the cut pair generation process (step S23).
  • the representative image I is extracted from a series of images belonging to the selected cut according to a predetermined standard. Note that the representative image I of each cut may be extracted in advance when a cut transition is detected.
  • a cut composition image CI is generated in which representative images I of each cut are arranged according to the order of cut transitions while clearly indicating cut pairs.
  • the meta information MI of each cut is generated, it is displayed together with the representative image I of each cut.
  • FIG. 24 shows an example of the cut composition image CI generated from the result of the cut pair generation process shown in FIG.
  • the representative images I5 and I6 of the cuts 5 and 6 are arranged side by side, and the representative images I7 and I8 of the cuts 7 and 8 are below the representative images I5 and I6 of the cuts 5 and 6.
  • the representative images I13 and I14 of the cuts 13 and 14 are arranged side by side under the representative images I7 and I8 of the cuts 7 and 8, respectively.
  • Such a cut composition image CI makes it easy to grasp the cut composition.
  • the configuration of the cut configuration image CI is not limited to the configuration shown in FIG.
  • FIG. 25 shows a modification of the cut composition image CI.
  • the cut meta information MI is displayed so as to overlap the cut representative image I.
  • the cut meta information MI is information indicating the characteristics of an image or sound included in the cut.
  • the meta information MI indicating the voice feature is, for example, information indicating the contents of the voice (serif, sound effect, etc.) included in each cut, information indicating that the voice is not included in each cut (silent cut), etc. It is.
  • the meta information MI indicating the image features is, for example, information indicating the number of frames included in each cut, information indicating the time required to reproduce each cut, and the like.
  • the concealment rate by the meta information MI for the representative images I1, I7, and I11 of the cuts 1, 7, and 11, that is, the display occupancy rate of the meta information MI on the representative image I is calculated.
  • the concealment rate is relatively high in the representative image I7 of the cut 7, and the concealment rate is relatively low in the representative image I11 of the cut 11.
  • the meta information MI9 of the cut 9 on the representative image I7 of the cut 7 is moved onto the representative image I11 of the cut 11 based on the concealment rate by the meta information MI. ing.
  • the concealment rate is lower than that in the state A, and the visibility of the representative image I7 can be ensured.
  • a predetermined number of cut pairs are generated by combining at least a part of a plurality of cuts so as to satisfy a predetermined condition, and the generated cut pairs are generated.
  • the component images CI may be generated with different optimal display numbers Nopt according to the display conditions.
  • the optimal display numbers Nopt are the same, the representative images I are arranged with different numbers of rows and columns. It may be generated as an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】動画像の構成を容易に把握できる構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供する。 【解決手段】複数のカットを含む動画像ＭＰからカット間の遷移を検出し、複数のカットを相異なる特徴量Ｓを有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像中でのカット遷移の前後関係を満たすように、複数のカットペアから複数のカットペアよりも少ない所定数Ｎｏｐｔのカットペアを生成し、生成されたカットペアからなるカット構成画像ＣＩを生成する。

Description

動画像処理装置、動画像処理方法およびプログラム
　本開示は、動画像処理装置、動画像処理方法およびプログラムに関する。
　映像（または動画像）は、一般に多数のカットから構成されている。映像表現では、制作者の意図に応じて、一連の相異なるカットを繰返す（カットの切返しとも称する。）等、カット構成に工夫を凝らす場合がある。ところで、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の対象がどのように捉えられているか、換言すれば映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。
　このため、動画像から一連の相異なるカットとして繰返されるカットペアを特定し、カットペア間の境界を明示しつつ各カットの代表画像をカット遷移の順序に従って並べたカット構成画像を生成することが提案される。
　しかし、カットの切返し頻度が高くなりカットペアの数が多くなると、カット構成画像が表示される表示領域に対してカット構成画像が大きくなってしまう場合がある。そして、カット構成の一覧性を確保するためにカット構成画像を一度に表示しようとすると、代表画像を高い率で縮小して表示することになり、カット構成画像の視認性が低下してしまう場合がある。また、カット構成画像の視認性を確保するためにカット構成画像を部分的に表示しようとすると、カット構成画像を分割して表示することになり、カット構成の一覧性が低下してしまう場合がある。よって、いずれの場合も、ユーザは、カット構成画像を通じて動画像のカット構成を容易に把握することができなくなる。
　そこで、本開示は、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。
　本開示のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定するカットペア特定部と、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像中でのカット遷移の前後関係を満たすように、複数のカットペアから複数のカットペアよりも少ない所定数のカットペアを生成するカットペア生成部と、生成されたカットペアからなるカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。
　上記カットペア生成部は、複数のカットペアを所定数のペアグループに区分した上で、各ペアグループについて、各ペアグループに含まれるカットのうち少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像中でのカット遷移の前後関係を満たすように、各ペアグループに含まれるカットペアから１のカットペアを生成してもよい。
　上記カットペア生成部は、カットの特徴量に基づき、複数のカットペアを所定数のペアグループに区分してもよい。
　上記カットペア生成部は、カットペアの特徴量に基づき、複数のカットペアを所定数のペアグループに区分してもよい。
　上記カットペア生成部は、カットの特徴量に基づき、複数のカットを組合せて１のカットペアを生成してもよい。
　上記カットペア生成部は、カットペアの特徴量に基づき、複数のカットを組合せて１のカットペアを生成してもよい。
　上記カットペア生成部は、カットグループ毎にカットの特徴量に基づきカットを選別し、選別された複数のカットを組合せて１のカットペアを生成してもよい。
　上記カットペア生成部は、第１のカットグループについてカットの特徴量に基づきカットを選別し、選別されたカットと同一のカットペアに属する複数のカットを組合せて１のカットペアを生成してもよい。
　上記カットペア間の類似度を示す類似度行列の内積に基づきカットペアを生成してもよい。
　上記類似度行列の内積の総和が最大となるカットペアを、複数のカットペアを代表する代表カットペアとして生成してもよい。
　上記代表カットペアとともに、代表カットペアとの類似度が低いカットペアを生成してもよい。
　上記カットペア間の類似度を示す類似度行列のスカラー値に基づきカットペアを生成してもよい。
　上記類似度行列のスカラー値が最大となるカットペアを、複数のカットペアを代表する代表カットペアとして生成してもよい。
　上記代表カットペアとともに、代表カットペアとの類似度が低いカットペアを生成してもよい。
　上記所定数は、カット構成画像の表示条件に応じて設定されてもよい。
　本開示のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像中で繰返される複数のカットペアを特定し、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像中でのカット遷移の前後関係を満たすように、複数のカットペアから複数のカットペアよりも少ない所定数のカットペアを生成し、生成されたカットペアからなるカット構成画像を生成することを含む動画像処理方法が提供される。
　また、本開示の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
　以上説明したように本開示によれば、動画像のカット構成を容易に把握できるカット構成画像を生成可能な、動画像処理装置、動画像処理方法およびプログラムを提供することができる。
本開示の実施形態に係る動画像処理方法の手順を示すフロー図である。 動画像処理装置の構成を示すブロック図である。 動画像処理装置の全体的な動作手順を示すフロー図である。 カット構成の一例を示す図である。 カットペアの特定手順を示すフロー図である。 カットペアの特定結果の一例を示す図である。 カット構成配列の一例を示す図である。 カット構成の表示最適化手順を示すフロー図である。 カット構成の表示最適化手順を示す図（１／３）である。 カット構成の表示最適化手順を示す図（２／３）である。 カット構成の表示最適化手順を示す図（３／３）である。 カットペアの生成手順を示すフロー図である。 カットペアの２つの生成手順を示す図である。 カットペアの生成条件の一例を示す図である。 第１の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。 第１の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。 第１の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。 第２の生成手順でカットペアのフレーム数に基づきカットペアを生成する手順の一例を示す図である。 第２の生成手順でカットのフレーム数に基づきカットペアを生成する手順の一例を示す図である。 第２の生成手順でカット間の音量変動に基づきカットペアを生成する手順の一例を示す図である。 第２の生成手順でカット間の画像輝度ヒストグラムに基づきカットペアを生成する手順の一例を示す図である。 カット間での特徴量の類似度の算出結果の一例を示す図である。 類似度行列の内積に基づくカットペアの生成手順の一例を示す図（１／２）である。 類似度行列の内積に基づくカットペアの生成手順の一例を示す図（２／２）である。 類似度行列のスカラー値に基づくカットペアの生成手順の一例を示す図である。 カット構成画像の一例を示す図である。 隠蔽率に基づくカット構成画像の修正を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　［１．動画像処理方法の概要］
　まず、図１を参照して、本開示の実施形態に係る動画像処理方法の概要について説明する。図１には、本開示の実施形態に係る動画像処理方法の手順が示されている。
　図１に示すように、本開示の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ１）。つぎに、複数のカットが相異なる特徴量Ｓ（カットグループの特徴量の総称）を有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ３）。
　そして、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように、複数のカットペアから所定数Ｎのカットペアが生成される（ステップＳ５）。なお、カットペアの数Ｎは、カット構成画像ＣＩ（カット構成画像の総称）の表示条件（表示範囲、表示サイズ等）に応じて予め設定される。さらに、生成されたカットペアからなるカット構成画像ＣＩが生成される（ステップＳ７）。
　これにより、複数のカットの少なくとも一部を所定の条件を満たすように組合せて所定数Ｎのカットペアを生成し、生成されたカットペアからなるカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。そして、ユーザは、このように生成されたカット構成画像ＣＩを通じて、動画像ＭＰのカット構成を容易に把握することができる。
　［２．動画像処理装置１］
　つぎに、図２を参照して、本開示の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７、データ記憶部２９を含んで構成される。
　データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カットペア特定部１５、カットペア生成部１９、メタ情報生成部２１、およびカット構成画像生成部２３に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２９から取得されてもよく、外部装置（不図示）から取得されてもよい。
　カット遷移検出部１３は、動画像データＭＰに基づき動画像ＭＰ中のカット遷移を検出し、検出結果をカットペア特定部１５、カット構成情報出力部２７に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出時に求められた特徴量は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
　カットペア特定部１５は、詳細は後述するが、各カットの特徴量Ｓ´に基づき、複数のカットをカットグループに区分し、カットペアを特定する。カットペアの特定結果は、カット遷移の検出結果とともに、表示最適化部１７、カットペア生成部１９、カット構成情報出力部２７に供給される。カットの特徴量Ｓ´としては、カットに含まれる画像の色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等あるいはこれらの組合せを用いることができる。なお、カットペアの特定時に求められた特徴量Ｓ´は、データ記憶部２９等に格納され、他の処理に利用されてもよい。
　カットグループとは、特徴量Ｓ´が互いに類似するカットの組合せを意味する。カットペアとは、カット構成中で繰返される一連の相異なるカットの組合せを意味し、時間的に連続する２以上のカットからなる。カットペア特定部１５は、カットペアの特定結果に基づき、カットグループやカットペアを表す属性情報（後述するグループＩＤ、ペアＩＤ等）を各カットに付与する。属性情報は、表示最適化部１７およびカットペア生成部１９の他に、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
　表示最適化部１７は、詳細は後述するが、カット構成画像ＣＩの表示条件（表示範囲、表示サイズ等）に応じて、カット構成画像ＣＩの表示を最適化する。具体的には、カット構成の一覧性とともにカット構成画像ＣＩの視認性を確保するために、カット構成画像ＣＩとして表示されるカットペアの数Ｎが最適表示数Ｎｏｐｔに最適化される。最適化の結果は、カットペア生成部１９に供給される。
　カットペア生成部１９は、詳細は後述するが、カットペアの特定結果および表示の最適化結果に応じて、カット構成画像ＣＩとして表示されるカットペアを生成する。具体的には、カットペアの生成条件に従って、カットの特徴量Ｓ´に基づき、最適カットペア数Ｎｏｐｔを満たすようにカットペアが生成される。カットペア生成の結果は、カット構成画像生成部２３に供給されるが、カット構成情報出力部２７、データ記憶部２９や外部装置等に供給されてもよい。
　メタ情報生成部２１は、各カットに含まれる音声や画像の特徴を示すメタ情報ＭＩ（メタ情報の総称）を生成する。メタ情報生成部２１では、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから音声や画像の特徴が抽出される。そして、各カットの音声や画像の特徴を示すメタ情報ＭＩが生成され、カット構成画像生成部２３に供給される。
　カット構成画像生成部２３は、動画像データＭＰおよびカットペア生成の結果に基づき、カット構成画像ＣＩを生成する。カット構成画像ＣＩとは、カットペア間の境界を明示するとともに、生成されたカットペアに含まれるカットの代表画像Ｉをカット遷移の順序に従って並べた画像である。カット構成画像ＣＩの生成では、生成されたカットペアのカットに含まれる画像から所定の基準に従って代表画像Ｉが抽出される。カット構成画像ＣＩには、メタ情報生成部２１から供給されるメタ情報ＭＩが含まれてもよい。代表画像Ｉとは、各カットを代表する画像であり、例えば、カットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、カット構成画像出力部２５に供給される。
　カット構成画像出力部２５は、ユーザが動画像ＭＰのカット構成を把握できるように、カット構成画像生成部２３から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
　カット構成情報出力部２７は、ユーザがカット構成の把握に利用できるように、カット遷移の検出結果、カットの区分結果やカットペアの特定結果をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。
　カット構成情報は、例えば、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとカットペアをなすカットを検索したり、あるカットペアを基準カットペアとして、基準カットペアと同じ構成のカットペアを検索したりすることができる。また、カットペアを多く含む動画像ＭＰやカット切返しを多く含む動画像ＭＰを検索することもできる。
　データ記憶部２９は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２９には、カット構成情報が動画像データＭＰに関連付けて記憶されている。なお、データ記憶部２９には、カット構成画像ＣＩが記憶されてもよい。また、図２では、データ記憶部２９と他の構成要素との接続関係の表示が一部省略されている。
　ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、表示最適化部１７、カットペア生成部１９、メタ情報生成部２１、カット構成画像生成部２３、カット構成画像出力部２５、カット構成情報出力部２７は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２９は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。
　［３．カット構成配列Ｍ０の生成手順］
　つぎに、図３から図７を参照して、カット構成配列Ｍ０の生成手順について説明する。図３には、動画像処理装置１の全体的な動作手順が示されている。
　図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカットペア特定部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量の類似度に基づき検出される。各カットには、カット遷移の順序を示す連番がカットＩＤとして付与される。
　図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、カット１～１５の代表画像Ｉ１～Ｉ１５を用いてカット構成が示されている。図４に示すように、カット１、３、６、８、１１、１３が互いに類似し、カット２、４、７、９、１２、１４が互いに類似し、カット５、１０、１５が互いに類似している。
　つぎに、カットペア特定部１５では、各カットをカットグループに区分し、カットペアを特定するカットペア特定処理が行われる。図５には、カットペア特定処理の手順が示されている。図５に示すように、カットペア特定処理では、まず、初期化処理が行われる（ステップＳ３１）。初期化処理では、グループ数ｍおよびペアＩＤが初期化される（ｍ＝２、ペアＩＤ＝１）。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与され、カット１、２にペアＩＤ＝１が付与される。
　ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤおよびペアＩＤは、各カットが属するカットグループおよびカットペアを示すために、各カットに付与される。
　つぎに、カット１の特徴量Ｓ´が算出され、カットグループ１の特徴量Ｓ１としてデータ記憶部２９等に格納される（ステップＳ３３）。同様に、カット２の特徴量Ｓ´が算出され、カットグループ２の特徴量Ｓ２としてデータ記憶部２９等に格納される（ステップＳ３５）。カットグループの特徴量Ｓ（カットグループの特徴量の総称）は、色ヒストグラムや顔画像検出、画像間の相関、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。
　つぎに、処理対象となる後続カットの存在が確認される（ステップＳ３７）。後続カットが存在すれば（ステップＳ３７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ３９）、後続カットの特徴量Ｓ´とカットグループ１～ｍの特徴量Ｓ１～Ｓｍの間で類似が判定される（ステップＳ４１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、同一カットペアに属する場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。
　そして、後続カットの特徴量Ｓ´とカットグループ１～ｍのいずれかの間で特徴量Ｓ１～Ｓｍの間で類似度が所定の閾値以上であると判定された場合（ステップＳ４１で「Ｙｅｓ」）、後続カットには、最も類似度の高いカットグループｘ（１≦ｘ≦ｍ）のグループＩＤが付与される（ステップＳ４３）。
　また、後続カットのグループＩＤが直前カットのグループＩＤと比較され（ステップＳ４５）、前者の方が小さい場合にペアＩＤが１インクリメントされる（ステップＳ４７）。この場合、直前カットと後続カットが相異なるカットペアに属し、両カットの間にカットペア間の境界（カットの切返し点）が存在することになる。後続カットには、従前のペアＩＤまたはインクリメントされたペアＩＤが付与される（ステップＳ４９）。後続カットの特徴量Ｓ´は、カットグループｘの特徴量Ｓｘの一部として格納されて利用されてもよく、棄却されてもよい（ステップＳ５１）。
　一方、後続カットの特徴量Ｓ´とカットグループ１～ｍの特徴量Ｓ１～Ｓｍの全ての間で類似度が所定の閾値未満であると判定された場合（ステップＳ４１で「Ｎｏ」）、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ５３）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ５５）。また、後続カットには、従前のペアＩＤが付与される（ステップＳ５７）。後続カットの特徴量Ｓ´は、新たなカットグループｍの特徴量Ｓｍとして格納されて利用される（ステップＳ５９）。
　ステップＳ３７～Ｓ５９の処理は、後続カットが存在しなくなるまで（ステップＳ３７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カットペア特定処理が終了し、図３に示すように、引き続きステップＳ１７の処理が行われる。
　図６には、図４に示したカット構成に対するカットペアの特定結果が示されている。図６に示すように、各カットの特徴量Ｓ´の類似度に基づき、カット１、３、６、８、１１、１３にグループＩＤ＝１が付与され、カット２、４、７、９、１２、１４にグループＩＤ＝２が付与され、カット５、１０、１５にグループＩＤ＝３が付与されている。また、カット遷移の順序に基づき、カット１～１５にペアＩＤ＝１～６が付与され、カット１、２、カット３～５、カット６、７、カット８～１０、カット１１、１２、カット１３～１５が一連の相異なるカットとして繰返されるカットペア１～６として各々に特定されている。
　カットペアの特定が終了すると、表示最適化部１７では、カットペアの特定結果に基づき、カット構成配列Ｍ０が最適化される（ステップＳ１７）。表示最適化部１７では、まず、カット構成配列Ｍ０が生成される。カット構成配列Ｍ０とは、動画像ＭＰ中でのカットペアの出現順序および各カットペア中でのカットの出現順序に基づき、各カットを行列状に配列するための情報である。
　図７には、図６に示したカットペアの特定結果から生成されたカット構成配列Ｍ０が示されている。図７では、カット構成配列Ｍ０中にカットＩＤが示されている。図７に示すカット構成配列Ｍ０では、カット１、２が横並びに配列され、カット１、２の下にカット３～５が横並びに配列され、同様に、カット６、７、カット８～１０、カット１１、１２、カット１３～１５が配列されている。
　つまり、カット１～１５は、動画像ＭＰ中でのカットペアの出現順序（ペアＩＤ）を第１方向（縦方向）、各カットペア中でのカットの出現順序（グループＩＤ）を第２方向（横方向）とする行列状に並べて配列されている。なお、第１方向と第２方向の組合せは、縦方向と横方向の組合せに代えて、横方向と縦方向の組合せでもよい。
　［４．カット構成配列Ｍ０の最適化手順］
　つぎに、図８および図９Ａ～９Ｃを参照して、カット構成配列Ｍ０の最適化手順について説明する。図８には、カット構成配列Ｍ０の最適化手順が示されている。
　以下では、所定の表示領域Ａｄに対して、図７に示したカット構成配列Ｍ０を最適化する場合について説明する。ここで、表示領域Ａｄは、第１方向の表示高（画素数）Ｙ、第２方向の表示幅（画素数）Ｘ、表示範囲サイズＡ（＝Ｘ×Ｙ）である場合を想定する。各カットの代表画像Ｉは、第１方向の原寸高（画素数）ｙ０、第２方向の原寸幅（画素数）ｘ０、代表画像サイズａ０（＝ｘ０×ｙ０）、アスペクト比Ｒａ＝ｘ０／ｙ０である場合を想定する。
　図８に示すように、まず、処理カウンタｉが初期化（ｉ＝１）される（ステップＳ６１）。つぎに、表示領域Ａｄの表示幅Ｘから代表画像Ｉの最大表示幅ｘｍａｘが算出される（ステップＳ６３）。最大表示幅ｘｍａｘは、表示領域Ａｄの表示幅Ｘをカット構成のグループ数ｍで除して算出される（ｘｍａｘ＝Ｘ／ｍ）。なお、代表画像Ｉの最大表示幅ｘｍａｘが代表画像Ｉの原寸幅ｘ０より大きい場合には、最大表示幅ｘｍａｘが原寸幅ｘ０に設定されてもよい。
　つぎに、最大表示幅ｘｍａｘで代表画像Ｉを表示する場合のカットペアの表示数Ｎ１が算出される（ステップＳ６５）。ここで、表示数Ｎ１は、表示領域Ａｄの表示高Ｙを代表画像Ｉの最大表示高ｙｍａｘで除して算出される（Ｎ１＝Ｙ／ｙｍａｘ）。なお、最大表示高ｙｍａｘは、最大表示幅ｘｍａｘをアスペクト比Ｒａで除して算出される（ｙｍａｘ＝ｘｍａｘ／Ｒａ）。また、表示数Ｎ１は、小数点以下を切り捨てた値として算出される。
　つぎに、カットペアの表示数Ｎ１に基づきカット構成配列Ｍ０から第１の部分配列Ｍ１が生成される（ステップＳ６７）。ここで、部分配列とは、カット構成配列Ｍ０から部分的に抽出された配列である。第１の部分配列Ｍ１は、カットペア１～Ｎ１中の全てのカットを含む配列として生成され、配列に含まれるカットの総数が第１の部分配列Ｍ１中のカット総数ｎ１となる。
　つぎに、表示領域Ａｄに対する第１のカット構成画像ＣＩの表示占有率Ｒｏ１が算出される（ステップＳ６９）。ここで、第１のカット構成画像ＣＩの表示占有率Ｒｏ１は、第１の部分配列Ｍ１中のカット総数ｎ１に代表画像サイズ（ａ１＝ｘｍａｘ×ｙｍａｘ）を乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏ１＝ａ１×ｎ１／Ａ）。
　つぎに、処理カウンタｉが１インクリメントされ（ステップＳ７１）、表示数Ｎｉが１インクリメントされる（ステップＳ７３）。つぎに、カットペアの表示数Ｎｉに基づきカット構成配列Ｍ０から第ｉの部分配列Ｍｉが生成される（ステップＳ７５）。第ｉの部分配列Ｍｉは、カットペア１～Ｎｉ中の全てのカットを含む配列として生成される。
　つぎに、表示数Ｎｉで代表画像Ｉを表示する場合の代表画像サイズａｉが算出される（ステップＳ７７）。ここで、代表画像サイズａｉは、表示数Ｎｉで代表画像Ｉを表示する場合の表示高ｙｉと表示幅ｘｉを乗じて算出される（ａｉ＝ｘｉ×ｙｉ）。表示高ｙｉは、表示領域Ａｄの表示高Ｙを表示数Ｎｉで除して算出され（ｙｉ＝Ｙ／Ｎｉ）、表示幅ｘｉは、表示高ｙｉにアスペクト比Ｒａを乗じて算出される（ｘｉ＝ｙｉ×Ｒａ）。
　つぎに、表示領域Ａｄに対する第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉが算出される（ステップＳ７９）。ここで、第ｉのカット構成画像ＣＩの表示占有率Ｒｏｉは、第ｉの部分配列Ｍｉ中のカット総数ｎｉに代表画像サイズａｉを乗じた値を、表示範囲サイズＡで除して算出される（Ｒｏｉ＝ａｉ×ｎｉ／Ａ）。
　つぎに、算出された表示占有率Ｒｏｉが直前の処理（処理カウンタｉ－１の処理）で算出された表示占有率Ｒｏｉ－１よりも小さいかが判定される（ステップＳ８１）。そして、判定結果が肯定的であれば（ステップＳ８１で「Ｙｅｓ」）、表示数Ｎｉ－１が最適表示数Ｎｏｐｔとなる（ステップＳ８３）。結果として、第ｉ－１の部分配列Ｍｉ－１が最適化されたカット構成配列として決定される。
　一方、判定結果が否定的であれば（ステップＳ８１で「Ｎｏ」）、処理がステップＳ７１に復帰する。そして、次の処理カウンタｉ＋１に相当する表示数Ｎｉ＋１が設定され、ステップＳ８１の判定結果が肯定的となるまでステップＳ７１～Ｓ８１の処理が繰返される。
　ここで、上記手順によれば、表示数Ｎｉが大きくなるほど、代表画像Ｉの表示サイズａｉが小さくなる。このため、代表画像Ｉの最小表示高ｙｍｉｎを予め設定しておき、表示数Ｎｉから算出される代表画像Ｉの表示高ｙｉが最小表示高ｙｍｉｎ未満となるかが判定されてもよい。そして、判定結果が肯定的であれば、最適化処理を打ち切り、表示占有率Ｒｏｉが最大となる第１の部分配列Ｍ１の表示数Ｎ１を最適表示数Ｎｏｐｔとしてもよい。
　図９Ａ～９Ｃには、図４に示したカット構成に対する最適化処理の結果が示されている。図９Ａに示すように、第１の部分配列Ｍ１は、表示数Ｎ１＝４であり、カットペア１～４に含まれるカット１～１０からなる。この場合、カット構成のグループ数がｍ＝３であるので、カット構成画像ＣＩとしては、図９Ａに示すように、表示領域Ａｄの表示幅Ｘ一杯にカットグループ１～３の代表画像Ｉ１～Ｉ１０が表示されることになる。そして、第１の部分配列Ｍ１の表示占有率がＲｏ１＝０．７４と算出されている。
　図９Ｂに示すように、第２の部分配列Ｍ２は、表示数Ｎ２＝５であり、カットペア１～５に含まれるカット１～１２からなる。この場合、カット構成画像ＣＩとしては、図９Ｂに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１～５の代表画像Ｉ１～Ｉ１２が表示されることになる。そして、第２の部分配列Ｍ２の表示占有率がＲｏ２＝０．７６と算出されている。ここで、Ｒｏ１（＝０．７４）＜Ｒｏ２（＝０．７６）であるので、最適化処理が継続される。
　図９Ｃに示すように、第３の部分配列Ｍ３は、表示数Ｎ３＝６であり、カットペア１～６に含まれるカット１～１５からなる。この場合、カット構成画像ＣＩとしては、図９Ｃに示すように、表示領域Ａｄの表示高Ｙ一杯にカットペア１～６の代表画像Ｉ１～Ｉ１５が表示されることになる。そして、第３の部分配列Ｍ３の表示占有率がＲｏ３＝０．６７と算出されている。ここで、Ｒｏ３（＝０．６７）＜Ｒｏ２（＝０．７６）であるので、第２の部分配列Ｍ２が最適化されたカット構成配列となる。よって、最適表示数Ｎｏｐｔは、表示数Ｎ２＝５となる。
　なお、図９Ａ、９Ｂでは、カット構成配列Ｍ０中の全てのカットペア１～６が表示されていないので、表示領域Ａｄの下方には、表示されていないカットペアの存在を暗示するマークＭが表示されている。
　以上説明したように、本実施形態に係る動画像処理方法によれば、表示領域Ａｄに対する表示占有率Ｒｏを最大化するようにカットペアの数Ｎを調整し、調整されたカットペアの数Ｎを満たすカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
　ここで、図９Ａ～９Ｃを参照して説明したように、最適化された配列は、表示条件の制約により必ずしも動画像ＭＰ中の全てのカット構成を含んでいない場合がある。よって、最適化された配列に従ってカット構成画像ＣＩを生成すると、動画像ＭＰのカット構成を適切に表すことができなくなってしまう場合がある。このため、以下で説明するように、最適化された配列（最適表示数Ｎｏｐｔ）を満たすようにカット構成配列Ｍ０からカットを選別してカットペアを生成した上で、カット構成画像ＣＩが生成される。
　表示最適化処理が終了すると、図３に示すように、カットペア生成部１９により、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ１９）。カットペアは、複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように生成される。
　［５．カットペアの生成手順］
　つぎに、図１０から図２５を参照して、カットペアの生成手順について説明する。図１０には、カットペアの生成手順が示されている。
　カットペアの生成では、カット遷移の検出およびカットペアの特定が予め行われる。前述したように、カット遷移の検出では、複数のカットを含む動画像ＭＰからカット間の遷移が検出される（ステップＳ９１）。また、カットペアの特定では、複数のカットが相異なる特徴量Ｓを有する複数のカットグループに区分され、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、動画像ＭＰ中で繰返される複数のカットペアが特定される（ステップＳ９３）。
　カットペアの生成では、カットペアは、カット構成配列Ｍ０中のカットペアをペアグループに区分した上で、各ペアグループから生成（第１の生成手順）されてもよく、カットペアをペアグループに区分せずに、カット構成配列Ｍ０から直接生成（第２の生成手順）されてもよい。このため、カットペアの生成では、まず、第１の生成手順を選択するかが判定される（ステップＳ９５）。
　そして、判定結果が肯定的である場合（ステップＳ９５で「Ｙｅｓ」）、まず、カットまたはカットペアの特徴量に基づき、カット構成配列Ｍ０中のカットペアが最適表示数Ｎｏｐｔのペアグループに区分される（ステップＳ９７）。つぎに、各ペアグループについて、各ペアグループに含まれるカットのうち少なくとも一部を組合せて、各ペアグループに含まれるカットペアから１のカットペアが生成される（ステップＳ９８）。ここで、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画中でのカット遷移の前後関係を満たすように組合される。
　一方、判定結果が否定的である場合（ステップＳ９５で「Ｎｏ」）、ペアグループを考慮せずに、複数のカットの少なくとも一部を組合せて、複数のカットペアから最適表示数Ｎｏｐｔのカットペアが生成される（ステップＳ９９）。ここでも、カットは、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに動画像ＭＰ中でのカット遷移の前後関係を満たすように組合される。
　以下では、図１１から図２５を参照して、カットペア１～７から最適表示数Ｎｏｐｔ＝３を満たすように、カットペアを生成する場合について説明する。なお、以下では、図４～図９で用いた動画像データＭＰとは異なる動画像データＭＰを用いて説明する。
　図１１には、２つの生成手順によるカット構成画像ＣＩの生成例が示されている。第１の生成手順では、まず、カット構成配列Ｍ０中のカットペア１～７がペアグループ１（カットペア１～３）、ペアグループ２（カットペア４、５）、およびペアグループ３（カットペア６、７）に区分されている。つぎに、ペアグループ１からカット３、４が選別され、ペアグループ２からカット８、９が選別され、ペアグループ３からカット１１、１４が選別されている。なお、図中では、選別されたカットにハッチングが施されている。一方、第２の生成手順では、カットペア１～７をペアグループに区分せずに、カット３、４、８、９、１１、１４がカット構成配列Ｍ０から直接選別されている。
　図１２には、カットペアの生成条件の一例が示されている。カットペアは、図１２に示すカットペアの生成条件に従ってカット構成配列Ｍ０から生成される。ここで、カットの特徴としては、カットの画像のフレーム数、カットの音声の音量、カットの画像の輝度・色、カットの画像中の動き量等が挙げられる。特徴量としては、合計値、平均値、最大・最小値、中央値、最頻値、分散、変動係数、変化値（差分）、ヒストグラム、行列値等が挙げられる。特徴量の処理単位としては、カット単位、カットペア単位、カットペア中の差分、対応するカット間等が挙げられる。特徴量の評価基準としては、特徴量の降順・昇順、基準値からの変動、連続する特徴量間の差分、行列値の内積・外積等が挙げられる。
　カットペアの生成条件は、例えば、カットの特徴を「フレーム数」、特徴量を「合計値」、処理単位を「カットペア単位」、評価基準を「特徴量の昇順」というように、カットの特徴、特徴量、処理単位および評価基準を適当に組合せて形成される。なお、上記したカットの特徴、特徴量、処理単位および評価基準は、一例にすぎず、必ずしも全ての組合せが可能であることを意味するものではない。以下では、いくつかの生成条件を例としてカットペアの生成処理について説明する。
　まず、第１の生成手順に従って、カットペア１～７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
　図１３には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１～７のフレーム数に基づきカットペア１～７がペアグループ１～３に区分される（ペアグループの項参照）。カットペア１～７は、各ペアグループに含まれるカットペアのフレーム総数がほぼ等しくなるように区分される。上記例では、ペアグループ１、２、３に含まれるカットペアのフレーム総数が１２０、８０、１００となるように、カットペア１～７が区分されている（累計の項参照）。つぎに、ペアグループ１～３について、各ペアグループに含まれるカットペアからフレーム数が最大のカットペアが選別される。上記例では、ペアグループ１、２、３について、カットペア３、４、７が各々に選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
　なお、フレーム数に代えて、カットペア数に基づきカットペア１～７を区分してもよい。この場合、カットペア１～７は、各ペアグループに含まれるカットペアの数がほぼ等しくなるように、例えば、カットペア１、２とカットペア３、４とカットペア５～７に区分されてもよい。また、フレーム数が最大のカットペアに代えて、フレーム数が最小のカットペアや中央値のカットペア等を選別してもよい。
　図１４には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１～７に含まれ、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）のフレーム数に基づきカットペア１～７がペアグループ１～３に区分される。
　具体的に、ペアグループの区分では、全ての主カットからフレーム数が上位２位となる２つの主カットが選択される。上記例では、フレーム数２０、２５の主カット５、９が選択されている（グループ１フレーム数の項参照）。そして、選択された主カットの位置を区切りとして、カットペア１～７がペアグループ１～３に区分される。この場合、上記例では、主カット５、９の位置を区切りとして、カットペア１～３、カットペア４、５、カットペア６、７がペアグループ１、２、３に各々に区分されている（ペアグループの項参照）。
　つぎに、ペアグループ１～３の各々について、カットグループ１に属する主カットからフレーム数が最大の主カットが選別される。上記例では、ペアグループ１、２、３について、主カット５、９、１１が各々に選別されている（グループ１フレーム数の項参照）。
　つぎに、ペアグループ１～３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）からフレーム数が最大の副カットが選別される。上記例では、ペアグループ１、２、３について、副カット２、１０、１４が各々に選別されている（グループ２フレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カット２、５からなるカットペア、カット９、１０からなるカットペア、カット１１、１４からなるカットペアが生成される。
　この場合、主カット５と副カット２の間でカット遷移の順序が逆順（主カットのカットＩＤ＞副カットのカットＩＤ）となっているので、主カットと副カットの間でカット遷移の順序が正順（主カットのカットＩＤ＜副カットのカットＩＤ）となるように、副カット２に代えて、副カット６が選別されてもよい。
　なお、主カットと副カットを各々のフレーム数に基づき別々に選別する代わりに、主カットをフレーム数に基づき選別した上で、選別された主カットと同一のカットペアに属する副カットを選別してもよい。この場合、例えば、主カット５、９、１１を選別すると、副カット６、１０、１２が自動的に選別される。
　また、主カットのフレーム数に代えて、副カットのフレーム数に基づきカットペア１～７を区分してもよく、カットペアのフレーム数に基づきカットペア１～７を区分してもよい。また、フレーム数が上位２位となる２つの主カットに代えて、フレーム数が下位２位となる２つの主カットの位置を区切りとしてもよい。また、各ペアグループについてフレーム数が最大の主カットおよび副カットを選別する代わりに、フレーム数が最大となるカットペアに属する主カットおよび副カットを選別してもよい。
　図１５には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、図１３に示した例と同様に、カットペア１～７のフレーム数に基づきカットペアがペアグループ１～３に区分される。
　つぎに、ペアグループ１～３の各々について、カットグループ１に属する主カット（カット１、３、５、７、９、１１、１３）から音量変動が最大の主カットが選別される。ここで、音量変動は、各ペアグループに含まれる主カットにおける平均音量に対する各主カットの音量の比率として算出される。上記例では、ペアグループ１、２、３に含まれる主カットの平均音量１８．３、１５．０、２０．０に対して、音量変動の絶対値が最大となる主カット３（音量変動－６．７）、主カット７（同５．０）、主カット１１（同－５．０）が選別されている（グループ１音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい主カットが選別されている。
　同様に、ペアグループ１～３の各々について、カットグループ２に属する副カット（カット２、４、６、８、１０、１２、１４）から音量変動が最大の副カットが選別される。ここで、音量変動は、各ペアグループに含まれる副カットにおける平均音量に対する各副カットの音量の比率として算出される。この場合、上記例では、ペアグループ１、２、３に含まれる副カットの平均音量１８．３、１５．０、１２．５に対して、音量変動の絶対値が最大となる副カット６（音量変動－６．７）、副カット８（同－５．０）、副カット１２（同２．５）が選別されている（グループ２音量変動の項参照）。なお、同一ペアグループ内で絶対値の最大値が２以上存在する場合には、便宜的にカットＩＤが小さい副カットが選別されている。よって、カット構成画像ＣＩを生成するために、カット３、６からなるカットペア、カット７、８からなるカットペア、カット１１、１２からなるカットペアが生成される。
　なお、カットペアのフレーム数に基づきカットペアをペアグループに区分する代わりに、図１４に示した例のように、全てのカットから音量変動が上位２位となる２つのカットを選択し、選択したカットの位置を区切りとして、カットペア１～７をペアグループに区分してもよい。ここで、音量変動は、カットペア１～７に含まれる全てのカットにおける平均音量に対する各カットの音量の比率として算出される。
　また、ペアグループ１～３の各々について、主カットと副カットを区別せずに、各ペアグループに含まれる全てのカットから音量変動が最大のカットを選別してもよい。例えば、ペアグループ１については、カット１～６から音量変動が最大のカット３（平均音量１８．３からの音量変動－６．７）を選別した上で、選別されたカット３と同一のカットペア２に属するカット４を選別してもよい。
　また、各ペアグループについて音量変動が最大となる主カットおよび副カットを各々に選別する代わりに、音量変動が最大となるカットペアに属する主カットおよび副カットを選別してもよい。ここで、音量変動は、各ペアグループに含まれる全てのカットペアにおける平均音量に対する各カットペアの音量の比率として算出される。
　つぎに、第２の生成手順に従って、カットペア１～７から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。なお、以下で挙げる処理条件およびカット構成は、カットペアの生成処理を説明するための一例である。
　図１６には、カットペアのフレーム数に基づきカットペアを生成する例が示されている。カットペア１～７からフレーム数が上位３位となる３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。上記例では、ペアフレーム数６０、６０、６０のカットペア３、４、７に対応するカット５～８、１３、１４が選別されている（ペアフレーム数の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア３、４、７からなる３つのカットペアが生成される。
　なお、フレーム数が上位３位となる３つのカットペアに代えて、フレーム数が平均的な３つのカットペアを選択してもよく、フレーム数が平均的な１つのカットペアと、フレーム数が上位２位となる２つのカットペアを選択してもよい。
　図１７には、カットのフレーム数に基づきカットペアを生成する例が示されている。まず、カットペア１～７に含まれる全てのカットからフレーム数が上位３位となる３つのカットが選別される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、フレーム数２５、２０、２５のカット２、５、９が選別された後、対応するカット１、６、１０が選別されている。よって、カット構成画像ＣＩを生成するために、カットペア１、３、５からなる３つのカットペアが生成される。
　なお、全てのカットに代えて、主カットまたは副カットのいずれか一方からフレーム数が上位３位となる３つのカットを選別してもよい。また、主カットまたは副カットのいずれか一方からフレーム数が平均的な１つのカットを選別し、他方からフレーム数が上位２位となる２つのカットを選別してもよい。
　図１８には、カット間の音量変動に基づきカットペアを生成する例が示されている。まず、カットペア１～７に含まれる全てのカットから音量変動が上位３位となる３つのカットが選別される。ここで、音量変動は、カットペア１～７に含まれるカットにおける平均音量に対する各カットの音量の比率として算出される。つぎに、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、いずれも音量変動－８．２のカット３、６、１１が選別された後、対応するカット４、５、１２が選別されている（グループ１、２音量変動の項参照）。よって、カット構成画像ＣＩを生成するために、カットペア２、３、６からなる３つのカットペアが生成される。
　なお、全てのカットに代えて、主カットまたは副カットのいずれか一方から音量変動が上位３位となる３つのカットを選別してもよい。ここで、音量変動は、カットペア１～７に含まれる主カットまたは副カットのいずれか一方における平均音量に対する各カットの音量の比率として算出される。
　図１９には、カット間での画面輝度の変動に基づきカットペアを生成する例が示されている。まず、各カット１～１４の代表画像について、画像処理に基づき画面輝度を正規化して表すヒストグラムが算出される。つぎに、カットグループ毎に７つのカットの平均ヒストグラムが算出される。ヒストグラムでは、代表画像に含まれる画素の輝度を所定の輝度間隔で区分した場合における区分毎の頻度が表されている。図１９には、カット１～１４の代表画像Ｉ１～Ｉ１４とともに、各代表画像Ｉ１～Ｉ１４の正規化ヒストグラムおよびカットグループ毎の平均ヒストグラムが示されている。
　つぎに、平均ヒストグラムに対する変動が上位３位となる３つのカットが選別される。ここでは、ヒストグラムの変動は、各カットの正規化ヒストグラムと、各カットが属するカットグループの平均ヒストグラムとの差分として算出される。そして、選別されたカットと同一のカットペアに属するカットが選別される。上記例では、カット１、１１、１４の変動が上位３位となり、カット構成画像ＣＩを生成するために、カットペア１、６、７からなる３つのカットペアが生成される。
　つぎに、カット間での特徴量の類似度に基づきカットペアを生成する場合について説明する。以下では、カットペア１～７をなすカット１～１４から最適表示数Ｎｏｐｔ＝３を満たすようにカットペアを生成する場合について説明する。
　図２０には、カット１～１４間で特徴量の類似度を算出した結果が示されている。図２０に示す算出結果では、カット１～１４は、カットグループ１（カット１、３、５、７、９、１１、１３）と、カットグループ２（カット２、４、６、８、１０、１２、１４）に区分されるとともに、カットペア１～７に区分されている。
　図２０では、カット１、２の特徴量に相当するカットグループ１、２の特徴量Ｓ１、Ｓ２を基準として、カット１～１４間の特徴量の類似度が０～１の値として示されている。ここで、特徴量の類似度が１に近いほどカット間で特徴量が類似していることを意味している。例えば、同一のカットグループに属するカット１－３間では、特徴量の類似度が０．９と高く、異なるカットグループに属するカット１－４間では、特徴量の類似度が０．１と低くなっている。
　図２１には、カット１－２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３－４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積により、カットペア１（カット１、２）とカットペア２（カット３、４）の間の類似度を算出することができる。ここで、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積が大きいほどカットペア間が類似していることを意味している。
　図２１に示すように、第１の類似度行列Ｍｓ１は、（１．０、０．２、０．３、１．０）とベクトル化され、第２の類似度行列Ｍｓ２は、（０．９、０．１、０．２、０．８）とベクトル化される。よって、第１と第２の類似度行列Ｍｓ１、Ｍｓ２の内積は、１．０×０．９＋０．２×０．１＋０．３×０．２＋１．０×０．８≒１．８と算出される。同様の方法で、カットペア１－２間を除くカットペア１～７間の類似度が算出される。
　これにより、図２２に示すように、カットペア１～７間の類似度が算出される。図２２には、カットペア１～７間の類似度と併せて、カットペア１～７について、類似度の総和が各々に示されている。ここで、類似度の総和が大きいほどカットペアの親和度が高いこと、つまり、カットペア１～７を代表するカットペアである蓋然性が高いことを意味している。
　類似度行列Ｍｓ（類似度行列の総称）の内積に基づきカットペアを生成する場合、第１に、類似度の総和が最大（９．１）となるカットペア３が選択される。第２に、カットペア３との類似度が最低（１．１）となるカットペア７が選択される。第３に、カットペア７との類似度が最低（０．９）となるカットペア１が選択される。よって、カット構成画像ＣＩを生成するために、カットペア１、３、７からなる３つのカットペアが生成される。
　なお、カットペア７との類似度が最低であるという基準に代えて、カットペア３との類似度が２番目に低いという基準でカットペアが選択されてもよい。また、類似度の総和が最大となるカットペア、最低となるカットペア、平均値に直近のカットペアという基準で３つのカットペアが選択されてもよい。
　これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
　図２３には、カット１－２間の類似度を示す第１の類似度行列Ｍｓ１と、カット３－４間の類似度を示す第２の類似度行列Ｍｓ２が示されている。第１および第２の類似度行列Ｍｓ１、Ｍｓ２は、図２０に示した算出結果から抽出された行列である。そして、カット１～１４間の類似度を示す類似度行列Ｍｓのスカラー値により、カットペアを選択することができる。ここで、類似度行列Ｍｓのスカラー値が大きいほど、カットペア１～７を代表するカットペアである蓋然性が高いことを意味している。
　例えば、第１の類似度行列Ｍｓ１のスカラー値は、１．０＋０．２＋０．３＋１．０＝２．５と算出され、第２の類似度行列Ｍｓ２のスカラー値は、０．９＋０．１＋０．２＋０．８＝２．０と算出される。よって、カットペア１（カット１、２）とカットペア２（カット３、４）との間では、カットペア１の方が全てのカットペアを代表する代表的なカットペアである蓋然性が高いことになる。
　類似度行列Ｍｓのスカラー値に基づきカットペアを生成する場合、まず、カットペア１～７間で類似度行列Ｍｓのスカラー値が算出される。つぎに、図２２に示した場合において、類似度の総和をスカラー値に置き換えて処理することで、３つのカットペアが選択される。そして、選択されたカットペアに含まれるカットが選別される。
　これにより、全てのカットペアを代表する代表的なカットペアと、代表的なカットペアとは類似しない他のカットペアを生成することができる。
　カットペア生成処理が終了すると、図３に示すように、メタ情報生成部２１により各カットのメタ情報ＭＩが生成される（ステップＳ２１）。メタ情報生成部２１では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから各カットに含まれる画像や音声の特徴が抽出される。
　例えば、カットに音声（セリフ、音響効果等）が含まれている場合、カットに含まれる音声が抽出され、音声認識処理等を通じて、抽出された音声に対応する文字・画像情報が生成されてもよい。カットに音声が含まれていない場合、無音カットであることを示す文字・画像情報が生成されてもよい。なお、無音カットは、セリフが含まれていない無音カットと、セリフも音響効果も含まれていない無音カットに区別されてもよい。カットに含まれる音声の音量の平均値・変動値、無音区間と有音区間の比率、音声の音調・リズムまたは変動を示す文字・画像情報が生成されてもよい。
　また、カットに含まれるフレームの数またはカットの再生に要する時間が算出されて、算出値を示す文字・画像情報が生成されてもよい。カットに含まれる画像の明るさの平均値・変動値、画像の内容等または変化を示す文字・画像情報が生成されてもよい。
　カット構成画像生成部２３では、カットペア生成処理の結果に基づき、カット構成画像ＣＩが生成される（ステップＳ２３）。カット構成画像生成部２３では、まず、動画像データＭＰおよびカットペア生成処理の結果に基づき、選別されたカットに属する一連の画像から所定の基準に従って代表画像Ｉが抽出される。なお、各カットの代表画像Ｉは、カット遷移の検出時に予め抽出されていてもよい。つぎに、カットペアを明示しつつ各カットの代表画像Ｉをカット遷移の順序に従って並べたカット構成画像ＣＩが生成される。ここで、各カットのメタ情報ＭＩが生成されている場合には、各カットの代表画像Ｉとともに表示されることになる。
　図２４には、図１３に示したカットペア生成処理の結果から生成されたカット構成画像ＣＩの一例が示されている。図２４に示すカット構成画像ＣＩでは、カット５、６の代表画像Ｉ５、Ｉ６が横並びに配置され、カット５、６の代表画像Ｉ５、Ｉ６の下にカット７、８の代表画像Ｉ７、Ｉ８が横並びに配置され、カット７、８の代表画像Ｉ７、Ｉ８の下にカット１３、１４の代表画像Ｉ１３、Ｉ１４が横並びに配置されている。このようなカット構成画像ＣＩによりカット構成の把握が容易となる。なお、カット構成画像ＣＩの構成は、図２４に示した構成に限定されるものではない。
　図２５には、カット構成画像ＣＩの変形例が示されている。図２５に示すカット構成画像ＣＩでは、カットの代表画像Ｉに重ねてカットのメタ情報ＭＩが表示されている。カットのメタ情報ＭＩとは、カットに含まれる画像や音声の特徴を示す情報である。
　音声特徴を示すメタ情報ＭＩは、例えば、各カットに含まれる音声（セリフ、音響効果等）の内容を示す情報、各カットに音声が含まれないこと（無音カットであること）を示す情報等である。画像特徴を示すメタ情報ＭＩは、例えば、各カットに含まれるフレームの数を示す情報、各カットの再生に要する時間を示す情報等である。
　ここで、図２５の状態Ａに示すカット構成画像ＣＩでは、例えば、カット１の代表画像Ｉ１、カット７の代表画像Ｉ７、カット１１の代表画像Ｉ１１に対して、カット１、３のメタ情報ＭＩ１、ＭＩ３、カット５、７、９のメタ情報ＭＩ５、ＭＩ７、ＭＩ９、カット１１のメタ情報ＭＩ１１が各々に重ねて表示されている。これにより、３つのカットのメタ情報ＭＩ５、ＭＩ７、ＭＩ９を重ねて表示されたカット７の代表画像Ｉ７では、代表画像Ｉ７の視認性が低下している。
　このため、カット１、７、１１の代表画像Ｉ１、Ｉ７、Ｉ１１についてメタ情報ＭＩによる隠蔽率、つまり代表画像Ｉ上でのメタ情報ＭＩの表示占有率が算出される。この場合、カット７の代表画像Ｉ７では隠蔽率が相対的に高く、カット１１の代表画像Ｉ１１では隠蔽率が相対的に低くなっている。
　よって、図２５の状態Ｂに示すカット構成画像ＣＩ´では、メタ情報ＭＩによる隠蔽率に基づき、カット７の代表画像Ｉ７上のカット９のメタ情報ＭＩ９がカット１１の代表画像Ｉ１１上に移動されている。これにより、カット７の代表画像Ｉ７では、状態Ａの場合と比べて隠蔽率が低くなり、代表画像Ｉ７の視認性を確保することができる。
　以上説明したように、本実施形態に係る動画像処理方法によれば、複数のカットの少なくとも一部を所定の条件を満たすように組合せて所定数のカットペアを生成し、生成されたカットペアからなるカット構成画像ＣＩを生成することで、カット構成の一覧性およびカット構成画像ＣＩの視認性を確保可能なカット構成画像ＣＩを生成することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、構成画像ＣＩが最適表示数Ｎｏｐｔ＝３のカットペアを３行に並べた画像として説明されている。しかし、構成画像ＣＩは、その表示条件に応じて、異なる最適表示数Ｎｏｐｔで生成されてもよく、また最適表示数Ｎｏｐｔが同一の場合でも、異なる行数・列数で代表画像Ｉを並べた画像として生成されてもよい。
　　１　　動画像処理装置
　　１１　　データ取得部
　　１３　　カット遷移検出部
　　１５　　カットペア特定部
　　１７　　表示最適化部
　　１９　　カットペア生成部
　　２１　　メタ情報生成部
　　２３　　カット構成画像生成部
　　２５　　カット構成画像出力部
　　２７　　カット構成情報出力部
　　２９　　データ記憶部
　　ＭＰ　　動画像（データ）
　　Ｉ　　代表画像
　　Ｎｏｐｔ　　最適表示数
　　ＣＩ　　カット構成画像
　　Ａｄ　　表示領域
　　Ｒｏ　　表示占有率
 

Claims (17)

  1. 　複数のカットを含む動画像から前記カット間の遷移を検出するカット遷移検出部と、
    　前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される複数の前記カットペアを特定するカットペア特定部と、
    　前記複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに前記動画像中でのカット遷移の前後関係を満たすように、前記複数のカットペアから前記複数のカットペアよりも少ない所定数のカットペアを生成するカットペア生成部と、
    　前記生成されたカットペアからなるカット構成画像を生成するカット構成画像生成部と
    　を備える動画像処理装置。
  2. 　前記カットペア生成部は、前記複数のカットペアを前記所定数のペアグループに区分した上で、前記各ペアグループについて、前記各ペアグループに含まれるカットのうち少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに前記動画像中でのカット遷移の前後関係を満たすように、前記各ペアグループに含まれるカットペアから１のカットペアを生成する、請求項１に記載の動画像処理装置。
  3. 　前記カットペア生成部は、カットの特徴量に基づき、前記複数のカットペアを前記所定数のペアグループに区分する、請求項２に記載の動画像処理装置。
  4. 　前記カットペア生成部は、カットペアの特徴量に基づき、前記複数のカットペアを前記所定数のペアグループに区分する、請求項２に記載の動画像処理装置。
  5. 　前記カットペア生成部は、カットの特徴量に基づき、前記複数のカットを組合せて１のカットペアを生成する、請求項１に記載の動画像処理装置。
  6. 　前記カットペア生成部は、カットペアの特徴量に基づき、前記複数のカットを組合せて１のカットペアを生成する、請求項１に記載の動画像処理装置。
  7. 　前記カットペア生成部は、カットグループ毎にカットの特徴量に基づきカットを選別し、前記選別された複数のカットを組合せて１のカットペアを生成する、請求項１に記載の動画像処理装置。
  8. 　前記カットペア生成部は、第１のカットグループについてカットの特徴量に基づきカットを選別し、前記選別されたカットと同一のカットペアに属する複数のカットを組合せて１のカットペアを生成する、請求項１に記載の動画像処理装置。
  9. 　カットペア間の類似度を示す類似度行列の内積に基づきカットペアを生成する、請求項１に記載の動画像処理装置。
  10. 　前記類似度行列の内積の総和が最大となるカットペアを、前記複数のカットペアを代表する代表カットペアとして生成する、請求項９に記載の動画像処理装置。
  11. 　前記代表カットペアとともに、前記代表カットペアとの類似度が低いカットペアを生成する、請求項１０に記載の動画像処理装置。
  12. 　カットペア間の類似度を示す類似度行列のスカラー値に基づきカットペアを生成する、請求項１に記載の動画像処理装置。
  13. 　前記類似度行列のスカラー値が最大となるカットペアを、前記複数のカットペアを代表する代表カットペアとして生成する、請求項１２に記載の動画像処理装置。
  14. 　前記代表カットペアとともに、前記代表カットペアとの類似度が低いカットペアを生成する、請求項１３に記載の動画像処理装置。
  15. 　前記所定数は、前記カット構成画像の表示条件に応じて設定される、請求項１に記載の動画像処理装置。
  16. 　複数のカットを含む動画像から前記カット間の遷移を検出し、
    　前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される前記複数のカットペアを特定し、
    　前記複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに前記動画像中でのカット遷移の前後関係を満たすように、前記複数のカットペアから前記複数のカットペアよりも少ない所定数のカットペアを生成し、
    　前記生成されたカットペアからなるカット構成画像を生成すること
    　を含む動画像処理方法。
  17. 　複数のカットを含む動画像から前記カット間の遷移を検出し、
    　前記複数のカットを相異なる特徴量を有する複数のカットグループに区分し、相異なるカットグループに属する２以上の連続するカットからなるカットペアであり、前記動画像中で繰返される前記複数のカットペアを特定し、
    　前記複数のカットの少なくとも一部を組合せて、各カットペアをなす２以上のカットが相異なるカットグループに属するとともに前記動画像中でのカット遷移の前後関係を満たすように、前記複数のカットペアから前記複数のカットペアよりも少ない所定数のカットペアを生成し、
    　前記生成されたカットペアからなるカット構成画像を生成すること
    　を含む動画像処理方法をコンピュータに実行させるためのプログラム。
     
PCT/JP2011/069395 2010-09-06 2011-08-29 動画像処理装置、動画像処理方法およびプログラム Ceased WO2012032953A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/819,931 US20130156406A1 (en) 2010-09-06 2011-08-29 Moving picture processing device, moving picture processing method and program
BR112013004781A BR112013004781A2 (pt) 2010-09-06 2011-08-29 dispositivo de processamento de imagem em movimento, método de processamento de imagem em movimento, e, programa
CN2011800415625A CN103081460A (zh) 2010-09-06 2011-08-29 运动图像处理装置以及运动图像处理方法和程序
RU2013109056/08A RU2013109056A (ru) 2010-09-06 2011-08-29 Устройство обработки движущегося изображения, способ обработки движущегося изображения и программа
EP11823429.3A EP2615829A1 (en) 2010-09-06 2011-08-29 Moving picture processing device, and moving picture processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-198984 2010-09-06
JP2010198984A JP2012060238A (ja) 2010-09-06 2010-09-06 動画像処理装置、動画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2012032953A1 true WO2012032953A1 (ja) 2012-03-15

Family

ID=45810555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069395 Ceased WO2012032953A1 (ja) 2010-09-06 2011-08-29 動画像処理装置、動画像処理方法およびプログラム

Country Status (7)

Country Link
US (1) US20130156406A1 (ja)
EP (1) EP2615829A1 (ja)
JP (1) JP2012060238A (ja)
CN (1) CN103081460A (ja)
BR (1) BR112013004781A2 (ja)
RU (1) RU2013109056A (ja)
WO (1) WO2012032953A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2966838B1 (en) * 2013-03-06 2019-09-18 Nec Corporation Electronic device, image data output processing method and program
JP6063971B2 (ja) * 2015-01-29 2017-01-18 京セラドキュメントソリューションズ株式会社 画像処理装置
CN107566756B (zh) * 2017-08-03 2020-03-24 广东小天才科技有限公司 一种视频转场的处理方法及终端设备
TWI622291B (zh) * 2017-08-03 2018-04-21 鴻海精密工業股份有限公司 電子設備及視訊框排列方法
WO2021240652A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
CN111918146B (zh) * 2020-07-28 2021-06-01 广州筷子信息科技有限公司 一种视频合成方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176538A (ja) * 2007-01-18 2008-07-31 Toshiba Corp 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
WO2008143345A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928233B1 (en) * 1999-01-29 2005-08-09 Sony Corporation Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
EP1073272B1 (en) * 1999-02-15 2011-09-07 Sony Corporation Signal processing method and video/audio processing device
JP2004336507A (ja) * 2003-05-09 2004-11-25 Sony Corp 映像処理装置および方法、記録媒体、並びにプログラム
US7680182B2 (en) * 2004-08-17 2010-03-16 Panasonic Corporation Image encoding device, and image decoding device
JP4172031B2 (ja) * 2004-10-15 2008-10-29 日本ビクター株式会社 記録再生装置
US7783106B2 (en) * 2004-11-12 2010-08-24 Fuji Xerox Co., Ltd. Video segmentation combining similarity analysis and classification
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176538A (ja) * 2007-01-18 2008-07-31 Toshiba Corp 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
WO2008143345A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Also Published As

Publication number Publication date
US20130156406A1 (en) 2013-06-20
JP2012060238A (ja) 2012-03-22
RU2013109056A (ru) 2014-09-10
EP2615829A1 (en) 2013-07-17
CN103081460A (zh) 2013-05-01
BR112013004781A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
US8558952B2 (en) Image-sound segment corresponding apparatus, method and program
WO2012032953A1 (ja) 動画像処理装置、動画像処理方法およびプログラム
US9213747B2 (en) Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
JP6277818B2 (ja) 機械学習装置、機械学習方法、及びプログラム
US9892652B2 (en) Scoring device and scoring method
US20110050723A1 (en) Image processing apparatus and method, and program
CN101727476A (zh) 信息处理装置、程序和信息处理方法
JP2011215963A (ja) 電子機器、画像処理方法及びプログラム
US11445148B1 (en) Video teleconference curated user profile picture
CN104574453A (zh) 用图像表达音乐的软件
CN107464572A (zh) 多模式交互音乐感知系统及其控制方法
US20150189166A1 (en) Method, device and system for improving the quality of photographs
CN106611603A (zh) 一种音频处理方法及装置
CN104041063A (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
CN101331522B (zh) 图册创建设备
CN117692677A (zh) 一种基于虚拟形象的视频处理方法
CN115605913A (zh) 图像处理装置、图像处理方法、学习装置、生成方法以及程序
CN116684528A (zh) 一种视频彩铃不同视角的推荐方法
JP2012039523A (ja) 動画像処理装置、動画像処理方法およびプログラム
JP2018206292A (ja) 要約映像生成装置及びプログラム
CN106649703B (zh) 音频数据可视化方法及装置
JP2012039522A (ja) 動画像処理装置、動画像処理方法およびプログラム
JP2012060237A (ja) 動画像処理装置、動画像処理方法およびプログラム
CN112507931A (zh) 一种基于深度学习的信息图表序列检测方法及系统
JP4067326B2 (ja) 動画像内容表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180041562.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11823429

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011823429

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13819931

Country of ref document: US

Ref document number: 2013109056

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013004781

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013004781

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130227