JP5552769B2 - 画像編集装置、画像編集方法及びプログラム - Google Patents

Description

本発明は、画像編集装置、画像編集方法及びプログラムに関する。

ビデオカメラなどの撮像装置で撮像及び記録された動画は、撮像に失敗したシーンや、不要なシーンを含んでいるので、動画を編集して見栄えを良くする必要がある。このため、パーソナルコンピュータ（ＰＣ）等の編集装置において動画を編集するための各種の編集アプリケーションソフトウェアが開発されている。

しかし、動画編集に不慣れなユーザにとっては、編集環境や編集スキルの障壁が存在するため、上記編集アプリケーションが十分に普及しているとは言い難い。例えば、編集環境の障壁としては、ＰＣとそれに適した編集アプリケーションの選定が困難であること、ハイスペックのＰＣが要求されること、アプリケーション操作の会得が面倒であること、などが挙げられる。また、編集スキルの障壁としては、動画中のシーンの区切り位置の選定や、シーンの選択及び削除、複数のシーンの連結、シーン間の画像切り替え効果（エフェクト）の指定等の作業が困難であること等が挙げられる。

そこで、動画を自動的に編集するための各種のＰＣアプリケーションが開発されている。このうち、完全自動編集タイプのアプリケーションでは、ユーザは、編集対象の動画と所望のテンプレートを指定するだけで、動画の編集結果を得ることができる。例えば、特許文献１には、ビデオから抽出したサブショットの重要度を計算し、重要度に応じてビデオ要約を生成する自動編集方法が開示されている。

ところが、上記完全自動編集タイプのアプリケーションでは、ユーザは、自動編集された動画を調整することが不可能であり、所望の作品を得られない場合があった。このため、自動編集した動画を調整可能なアプリケーションも開発されている。例えば、非特許文献１には、アプリケーションにより自動編集された動画に対して、ユーザ操作により、新たなシーンを追加・削除したり、シーンの順番を並び替えたりすることが可能な自動編集アプリケーションが開示されている。

特開２００４−１５９３３１号公報

‘ＶＡＩＯで簡単！すてきなムービーを作ってみよう！’、［online］、ソニー株式会社、［平成２１年７月１６日検索］、インターネット＜URL：http://vcl.vaio.sony.co.jp/support/special/appl/dvd_howto05-4.html＞

しかし、上記自動編集後に調整可能な編集アプリケーションにおいては、自動編集後にユーザが多数のシーンの要否を自ら確認して、個々のシーンを入れ替え・追加するためのユーザ操作を行う必要があり、操作体系に改善の余地があった。また、自動編集後の調整時に、あるシーンの次に繋げると良い複数の推薦シーンを、ユーザに提示することもできなかった。

そこで、本発明は、上記事情に鑑みてなされたものであり、自動編集された画像作品の調整時に、あるシーンの次に繋げると良い複数の推薦シーンをユーザに提示できるとともに、よりシンプルな操作体系で、ユーザが好みの画像作品を容易に作成することを可能にするものである。

上記課題を解決するために、本発明のある観点によれば、画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択する候補シーン選択部と、前記候補シーン選択部により選択された前記ｎ番目のシーンの前記複数の候補シーンを表示するためのシーン選択エリアと、前記候補シーン選択部により選択された前記ｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させる表示制御部と、を備える、画像編集装置が提供される。

前記候補シーン選択部は、前記画像素材の前記各シーンの特徴量、及び、当該各シーンの特徴量と前記ｎ−１番目のシーンの特徴量との関連性に基づいて、前記ｎ番目のシーンの候補としての当該各シーンの推薦度をそれぞれ求め、前記推薦度に基づいて、前記画像素材の前記複数のシーンの中から、前記ｎ番目のシーンの前記複数の候補シーンを選択するようにしてもよい。

前記候補シーン選択部は、前記画像素材の前記各シーンの特徴量、及び、前記ユーザの過去の選択結果を表す情報に基づいて、前記画像素材の前記複数のシーンの中から、前記ｎ番目のシーンの前記複数の候補シーンを選択するようにしてもよい。

前記候補シーン選択部は、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択し、前記編集画面は、前記候補シーン選択部により選択された前記ｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアをさらに含むようにしてもよい。

前記候補シーン選択部は、前記画像素材の前記各シーンの特徴量、及び、当該各シーンの特徴量と前記ｎ−１番目のシーンの特徴量との関連性に基づいて、前記ｎ番目のシーンの候補としての当該各シーンの推薦度を求める処理を、ｎ＝１〜ｍについて繰り返し実行することによって、前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度をそれぞれ求め、前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度に基づいて、前記画像素材の前記複数のシーンの中から、前記画像素材の編集結果の１〜ｍ番目のシーンの候補となる候補シーンを選択し、前記編集画面は、前記候補シーン選択部により選択された前記１〜ｍ番目の候補シーンのサムネイル画像をフィルムロール方式で表示するためのフィルムロールエリアをさらに含むようにしてもよい。

前記シーン選択エリアにおける前記ｎ番目のシーンの候補シーンの選択が変更されたとき、前記候補シーン選択部は、前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度に基づいて、当該選択変更された前記ｎ番目のシーンの前記候補シーンの後に配列されるｎ＋１〜ｍ番目の候補シーンを、前記画像素材の前記複数のシーンの中からそれぞれ再選択し、前記表示制御部は、前記フィルムロールエリアに表示されるｎ＋１〜ｍ番目の候補シーンのサムネイル画像を、前記再選択されたｎ＋１〜ｍ番目の候補シーンのサムネイル画像に変更するようにしてもよい。

前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンと前記ｎ−１番目及び／又はｎ＋１番目のシーンの候補シーンとの間の画像切替効果の候補を選択する切替効果選択部をさらに備え、前記編集画面は、前記切替効果選択部により選択された前記画像切替効果の候補を表示するための選択メニューをさらに含み、前記編集結果作成部は、前記編集画面の前記選択メニューに表示された前記画像切替効果の候補の中からユーザにより選択された１つの画像切替効果を、前記ｎ番目のシーンと前記ｎ−１番目及び／又はｎ＋１番目のシーンとの間の画像切替効果として決定するようにしてもよい。

前記表示制御部は、前記ｎ番目のシーンの前記各候補シーンの特徴量を表す情報を、前記シーン選択エリアに表示された当該各候補シーンにそれぞれ関連づけて表示するようにしてもよい。

前記画像素材は、撮像装置により撮像された動画及び／又は静止画を含むようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択するステップと、前記選択されたｎ番目のシーンの複数の候補シーンを表示するためのシーン選択エリアと、前記選択されたｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させるステップと、を含む、画像編集方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択するステップと、前記選択されたｎ番目のシーンの複数の候補シーンを表示するためのシーン選択エリアと、前記選択されたｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させるステップと、をコンピュータに実行させるための、プログラムが提供される。

上記構成によれば、画像素材を解析することによって、前記画像素材の特徴量が求められ、前記画像素材の特徴量に基づいて、前記画像素材が複数のシーンに区分され、前記画像素材の前記各シーンの特徴量に基づいて、前記画像素材の前記複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンが選択され、前記選択されたｎ番目のシーンの複数の候補シーンを表示するためのシーン選択エリアと、前記シーン選択エリアに表示された前記複数の候補シーンの中から選択された１つの候補シーンと前記編集結果のｎ−１番目及び／又はｎ＋１番目のシーンの候補シーンとの連結部分を表示するためのプレビューエリアと、を含む編集画面が表示部に表示され、前記シーン選択エリアに表示される前記複数の候補シーンの中からユーザにより順次選択された、前記編集結果の１〜ｍ番目（ｍは２以上の整数）のシーンの候補シーンを組み合わせることで、前記編集結果が作成される。従って、ユーザが、編集画面上に提示された複数の候補シーンの中から所望のシーンを順次選択していくだけで、好みの画像作品を容易に作成することができる。

以上説明したように本発明によれば、自動編集された画像作品の調整時に、あるシーンの次に繋げると良い複数の推薦シーンをユーザに提示できるとともに、よりシンプルな操作体系で、ユーザが好みの画像作品を容易に作成できる。

本発明の第１の実施形態に係る編集画面の表示例を示す図である。 同実施形態に係る画像編集装置のハードウェア構成を示すブロック図である。 同実施形態に係る画像編集装置の機能構成を示すブロック図である。 同実施形態に係る画像素材の特徴量の例を示す図である。 同実施形態に係る画像編集装置を用いた画像編集方法を示すフローチャートである。 同実施形態に係る編集素材群の解析処理例を示す概念図である。 同実施形態に係る候補シーンの選択処理例を示す概念図である。 同実施形態に係る編集モードに応じた編集画面の表示例を示す図である。 同実施形態に係る編集モードに応じた編集画面の表示例を示す図である。 同実施形態に係る編集モードに応じた編集画面の表示例を示す図である。 同実施形態に係る選択メニューが表示された編集画面の表示例を示す図である。 同実施形態に係るキャプションが表示された編集画面の表示例を示す図である。 本発明の変更例に係る画像編集装置を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．編集方法の概要
２．編集画面の表示例
３．画像編集装置のハードウェア構成
４．画像編集装置の機能構成
５．画像編集方法
６．応用例
７．まとめ

［１．編集方法の概要］
まず、本発明の第１の実施形態に係る画像編集装置による画像編集方法の概要について説明する。

本実施形態に係る画像編集装置は、画像素材の特徴量に基づいて画像素材を自動的に編集する自動編集機能と、当該自動編集により作成された編集作品をユーザ入力に従って調整して、編集作品を完成する手動調整機能とを有する。

ここで、画像素材は、動画又は静止画からなる画像データである。例えば、画像素材は、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置によって撮像及び記録された画像データであるが、それ以外にも、ＣＧ（コンピュータグラフィックス）又はイラスト等のように、画像処理により生成された画像データであってもよい。また、編集作品は、画像素材の編集結果、即ち、１又は２以上の画像素材を編集することによって得られる画像データである。なお、本明細書において、画像は、動画及び静止画を含むものとする。また、シーンは、動画の一部又は全部の区間である。シーンは、動画を編集するときの編集単位となる。

自動編集機能では、画像編集装置は、画像素材を解析して、画像素材の特徴量を求め、その特徴量に基づいて、画像素材のうちの動画を複数のシーンに区分する。そして、画像編集装置は、これら複数のシーンの特徴量に基づいて、複数のシーンから適切なシーンを抽出し、これらの抽出シーンを適切な順序で配列して、編集作品を自動的に作成する。かかる自動編集機能により、画像素材の特徴に応じて、適切な編集作品を自動的に生成することができ、ユーザの利便性を図れる。

手動調整機能では、画像編集装置は、自動編集機能により生成された編集作品の編集画面を表示し、当該編集画面に対するユーザ操作に従って、自動編集された編集作品に対してシーンを追加・削除したり、シーンの配列順を入れ替えたりする。かかる手動調整機能により、自動編集された編集作品を、ユーザの好みにあった編集作品（編集結果）に容易に修正することができ、編集作品の品質を向上できる。

以上のように、本実施形態に係る画像編集装置は、画像素材を編集してユーザ所望の編集作品を作成するために、自動編集機能と手動調整機能を併用する。手動調整時には、画像編集装置は、編集画面において、あるシーンの次に繋げると良いシーンの候補（候補シーン）を複数提示する。これにより、ユーザは、編集画面上に提示された複数の候補シーンの中から、好みのシーンを先頭から順に選択していくだけで、ユーザ所望の編集作品を作成できる。このように、本実施形態に係る画像編集装置は、操作体系が非常にシンプルであり、ユーザが好みの編集作品を容易に作成できるようなユーザインターフェース（編集画面）を提供することを特徴としている。

［２．編集画面の表示例］
次に、図１を参照して、本実施形態に係る画像編集装置による編集画面１の概要について説明する。図１は、本実施形態に係る画像編集装置による編集画面１の表示例を示す図である。

図１に示すように、編集画面１は、画像編集装置により自動編集された編集作品をユーザが手動で調整するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面である。編集画面１は、画像編集装置にインストールされたアプリケーションソフトウェアにより、画像編集装置の表示装置（図示せず。）に表示される。ユーザは、編集画面１を見ることで、自動編集された編集作品の概要を確認できるとともに、当該編集作品を構成する複数のシーンの追加・削除・入れ替え等の手動編集を行うことができる。

上記のように、画像編集装置は、１又は２以上の画像素材の特徴量に基づいて、これら画像素材のうちの動画を複数のシーンに分割し、当該複数のシーンのうち適切なシーンを適切な配列順で組み合わせて、編集作品を自動編集する。このように自動編集された編集作品は、画像素材から抽出された複数のシーンの画像の組み合わせで構成されている。ユーザは、編集画面１を見ながら所定の操作を行うことで、自動編集された編集作品から不要なシーンを削除したり、新たなシーンを追加したり、そのシーンの配列順を変更することで、当該編集作品を好みの作品に調整（再編集）できる。編集画面１は、かかる手動編集をユーザが簡単な操作体系で実行できるようなＧＵＩとなっている。

以下に、編集画面１の構成について詳述する。なお、以下では、自動編集により生成された編集作品がｍ個（ｍは２以上の任意の整数）のシーンから構成されており、ユーザが編集画面１上で、編集作品を構成するｍ個のシーンを、先頭から順に１つずつ選択していく例について説明する。編集作品は、画像素材を自動編集及び手動編集することで得られる最終的な編集結果である。

図１に示すように、編集画面１は、１画面上に、シーン選択エリア２と、次シーン表示エリア３と、プレビューエリア４と、フィルムロールエリア５と、を含む。以下に、編集画面１の各エリアについて詳述する。

まず、シーン選択エリア２について説明する。シーン選択エリア２は、編集作品の先頭からｎ番目のシーンの候補となる複数の候補シーン２０Ａ〜Ｃの画像を表示し、当該複数の候補シーン２０Ａ〜Ｃの中からユーザが手動で１つの候補シーンを選択するためのエリアである。図示の例では、編集画面１の略中央部分にシーン選択エリア２が配置され、このシーン選択エリア２に３個の候補シーン２０Ａ、２０Ｂ、２０Ｃの画像が上下方向に配列されている。なお、シーン選択エリア２に提示される候補シーン２０の個数は、図１のような３個の例に限定されず、任意の複数個（例えば、２個又は４個以上）の候補シーン２０を提示してもよい。また、候補シーン２０の画像は、その候補シーン２０の少なくとも一部の再生画像であれば、動画であっても静止画であってもよい。例えば、カーソル２１により現在選択中の候補シーン２０Ｂのみを動画とし、その他の候補シーン２０Ａ、２０Ｃを静止画としてもよい。

画像編集装置は、画像素材の各シーンの特徴量に基づいて、編集作品のｎ番目のシーンの候補として、前のシーン（ｎ−１番目のシーン）に繋げると良い所定数の候補シーン２０を自動的に選択する。このとき、画像編集装置は、上記画像素材の各シーンの特徴量と、当該各シーンの特徴量とｎ−１番目のシーンの特徴量との関連性とに基づいて、ｎ番目のシーンの各候補シーン２０の推薦度を求め、その推薦度が高いものから順に、所定数（例えば３個）の候補シーン２０を自動的に選択する。このように自動選択された複数の候補シーン２０の画像が、推薦度順にシーン選択エリア２に表示される。図示の例では、上下方向の中央に表示される候補シーン２０Ｂが最も推薦度が高く、次いで、上側の候補シーン２０Ａ、下側の候補シーン２０Ｃの推薦度が高い。

このように、編集画面１のシーン選択エリア２には、前のシーン（ｎ−１番目のシーン）に繋げると良いお薦めの候補シーン２０が複数提示される。これにより、ユーザは、推薦された所定数の候補シーン２０Ａ〜Ｃだけを見て、編集作品のｎ番目のシーンとして、好みの候補シーン２０Ｂを容易に選択できる。

シーン選択エリア２に表示されるカーソル２１は、候補シーン２０Ａ〜Ｃの中から１つの候補シーンを選択するためのツールである。カーソル２１で指定されている候補シーン２０Ｂは、シーン選択エリア２にて現在選択されている候補シーン２０Ｂを表す。ユーザは、上ボタン２２Ａ又は下ボタン２２Ｂを押下してカーソル２１を上下させることによって、シーン選択エリア２に提示された候補シーン２０Ａ、２０Ｂ、２０Ｃの中から、好みの候補シーン２０Ｂを選択する。

なお、カーソル２１の左右ボタン２３Ａ、２３Ｂを押下することで、選択中の候補シーン２０（ｎ番目のシーン）とその前後に連結されるシーン（ｎ−１番目、ｎ＋１番目のシーン）との画像切替効果（エフェクト）を設定できる。この画像切替効果の設定の詳細は後述する。

また、シーン選択エリア２の各候補シーン２０の近傍には、その候補シーン２０の特徴量を表す情報として、アイコン２４が表示される。ここで、候補シーン２０の特徴量を表す情報は、その候補シーン２０が推薦される理由を表す情報となる。アイコン２４は、各候補シーン２０の特徴に応じた絵が描かれている。

例えば、アイコン２４Ａは、候補シーン２０Ａが「多人数」のシーンであることを表し、アイコン２４Ｂは、候補シーン２０Ａが「話し声」を含むシーンであることを表す。また、アイコン２４Ｃは、候補シーン２０Ｂ、２０Ｃが「少人数」のシーンであることを表し、アイコン２４Ｄは、候補シーン２０Ｂが「笑い声」を含むシーンであることを表す。また、アイコン２４Ｅは、候補シーン２０Ｃが「ぼけた画像」を含むシーンであることを表し、アイコン２４Ｆは、候補シーン２０Ｃが「笑顔」を含むシーンであることを表す。

このように、シーン選択エリア２には、候補シーン２０の特徴（推薦理由）を表すアイコン２４が、候補シーン２０に関連づけて表示される。これにより、ユーザは、候補シーン２０の画像のみならずアイコン２４も参考にして、その候補シーン２０の特徴と推薦理由を容易に把握できる。

以上のように、シーン選択エリア２では、編集作品のｎ番目のシーンとしてお薦めの複数の候補シーン２０Ａ〜Ｃが提示され、この候補シーン２０Ａ〜Ｃの中からユーザの好みの候補シーン２０が選択される。この選択操作としては、例えば、ユーザが、カーソル２１を所望の候補シーン２０Ｂに合わせて、不図示の決定ボタンを押下するようにしてもよい。なお、図示の例では、編集作品の先頭から３番目のシーンを選択している状態を示している（ｎ＝３）。当該３番目のシーン（例えば候補シーン２０Ｂ）の選択が完了した後には、シーン選択エリア２には、４番目のシーンの候補（例えば候補シーン３０Ｄ、３０Ｅ、３０Ｆ）の画像が、選択可能に表示される。

次に、次シーン表示エリア３について説明する。次シーン表示エリア３は、編集作品の先頭からｎ＋１番目のシーンの候補として、編集作品のｎ＋１番目のシーンの複数の候補シーン３０Ａ〜Ｉを、ｎ番目のシーンの候補シーン２０ごとに表示するためのエリアである。図示の例では、編集画面１の右側に次シーン表示エリア３が配置され、この次シーン表示エリア３に、３組合計９個の候補シーン３０Ａ〜Ｃ、３０Ｄ〜Ｆ、３０Ｇ〜Ｉの画像が上下方向に配列されている。なお、候補シーン３０の画像は、その候補シーン３０の少なくとも一部の再生画像であれば、動画であっても静止画であってもよい。ただし、編集画面１の見やすさを考慮すると、候補シーン３０の画像は静止画であることが好ましい。

次シーン表示エリア３では、候補シーン３０Ａ〜Ｉは、シーン選択エリア２に表示されたｎ番目のシーンの候補シーン２０Ａ〜Ｃにそれぞれ関連づけて表示される。図示の例では、候補シーン２０Ａ、２０Ｂ、２０Ｃにそれぞれ、複数個（例えば３個）の候補シーン３０Ａ〜Ｃ、３０Ｄ〜Ｆ、３０Ｇ〜Ｉが関連づけられている。候補シーン３０Ａ〜Ｃは、候補シーン２０Ａの次に繋げると良いシーンの候補であり、候補シーン３０Ｄ〜Ｆは、候補シーン２０Ｂの次に繋げると良いシーンの候補であり、候補シーン３０Ｇ〜Ｉは、候補シーン２０Ｃの次に繋げると良いシーンの候補である。なお、次シーン表示エリア３に候補シーン２０ごとに提示される候補シーン３０の個数は、図１の３個の例に限定されず、任意の個数（例えば、１、２個又は４個以上）の候補シーン３０を提示してもよい。

画像編集装置は、画像素材の特徴量に基づいて、編集作品のｎ＋１番目のシーンの候補として、前のシーン（ｎ番目のシーン）に繋げると良い候補シーン３０（ｎ＋１番目のシーン）を、ｎ番目のシーンの候補シーン２０Ａ、２０Ｂ、２０Ｃごとに自動的に選択する。このとき、画像編集装置は、上記ｎ番目の候補シーン２０の場合と同様に、画像素材の各シーンの特徴量と、当該特徴量とｎ番目の候補シーン２０の特徴量との関連性に基づいて、ｎ＋１番目のシーンの各候補シーン３０の推薦度を求め、推薦度が高いものから順に、所定数（例えば３個）の候補シーン３０を自動的に選択する。そして、画像編集装置は、候補シーン２０Ａ、２０Ｂ、２０Ｃごとに選択した候補シーン３０を、次シーン表示エリア３に表示する。

図示の例では、候補シーン２０Ｂ（ｎ番目のシーン）の次のシーン（ｎ＋１番目のシーン）の候補として、３個の候補シーン３０Ｄ、３０Ｅ、３０Ｆがお薦めであり、このうち、中央に配置された候補シーン３０Ｅの推薦度が最も高い。つまり、図示の例において、シーン選択エリア２において編集作品のｎ番目のシーンを選択している段階では、最も推薦度が高いｎ番目とｎ＋１番目の候補シーンは、候補シーン２０Ｂと候補シーン３０Ｅであることが分かる。

以上のように、編集画面１の次シーン表示エリア３には、前のシーン（ｎ番目のシーン）の候補シーン２０Ａ〜Ｃごとに、当該前の候補シーン２０Ａ〜Ｃに繋げると良いお薦めの候補シーン３０Ａ〜Ｉが提示される。これにより、ユーザは、上位の候補シーン２０Ａ〜Ｃごとに提示された下位の候補シーン３０Ａ〜Ｉも参考にして、編集作品のシーン間の連携を考慮しながら、シーン選択エリア２にて好みの候補シーン２０Ａ〜Ｃを選択できる。

なお、図１の編集画面１の例では、選択中のｎ番目の候補シーン２０とその次のｎ＋１番目の候補シーン３０を２階層のツリー構造で提示しているが、かかる例に限定されず、例えば、３階層以上のツリー構造で候補シーンを提示してもよい。

次に、プレビューエリア４について説明する。プレビューエリア４は、シーン選択エリア２で選択中の候補シーン（編集作品のｎ番目のシーン）とその前後の候補シーン（少なくともｎ−１、ｎ＋１番目のシーンを含む。）との連結部分をプレビューするためのエリアである。詳細には、プレビューエリア４は、シーン選択エリア２において選択中の候補シーン２０Ｂ（ｎ番目のシーン）と、その前の候補シーン（ｎ−１番目、ｎ−２番目、・・・）の候補シーン（図示せず。）及びその後の候補シーン（ｎ＋１番目、ｎ＋２番目、・・・）の候補シーン３０Ｅとの連結部分の再生動画４１を表示する。

ここで、シーン選択エリア２で選択中の候補シーン２０Ｂとは、シーン選択エリア２に表示されている複数の候補シーン２０Ａ〜Ｃのうち、ユーザにより現在選択されている候補シーン（即ち、カーソル２１で指定されている候補シーン）である。また、選択中の候補シーン２０Ｂ（ｎ番目のシーン）の前の候補シーンとは、編集作品において当該ｎ番目の候補シーンの前に配置された１又は２以上の候補シーンであり、少なくともｎ−１番目の候補シーン（図示せず。）を含む。ｎ−１番目の時間長が所定時間より短い場合には、当該前の候補シーンは、さらにｎ−２番目、ｎ−３番目、・・・の候補シーンを含んでもよい。これにより、ｎ番目の候補シーンの前の所定時間のシーンの動画がプレビューエリア４に表示されるようになる。また、選択中の候補シーン２０Ｂ（ｎ番目のシーン）の後の候補シーンとは、当該ｎ番目の候補シーンの後に配置された１又は２以上の候補シーンであり、少なくともｎ＋１番目のシーンの候補シーン３０Ａ〜３０Ｉのいずれかを含む。ｎ＋１番目の時間長が所定時間より短い場合には、当該後の候補シーンは、さらにｎ＋２番目、ｎ＋３番目・・・の候補シーンを含んでもよい。これにより、ｎ番目の候補シーンの後の所定時間のシーンの動画もプレビューエリア４に表示されるようになる。図示の例では、当該後の候補シーンは、ｎ＋１番目の候補シーン３０Ａ〜３０Ｉのうち、候補シーン２０Ｂの次のシーンとして最も推薦度が高い候補シーン３０Ｅである。シーン選択エリア２でｎ番目のシーンを選択している段階では、その前のｎ−１番目のシーンは確定しているが、その後のｎ＋１番目のシーンは未確定である。ｎ番目のシーンの選択後に、次シーン表示エリア３の候補シーン３０Ａ〜Ｉの中から、ｎ＋１番目のシーンが選択される。

また、上記の連結部分とは、選択中の候補シーン２０Ｂ（ｎ番目）と、その前の候補シーン（ｎ−１番目、ｎ−２番目等）と、その後の候補シーン（ｎ＋１番目、ｎ＋２番目等）の全てであってもよいし、或いは、これら候補シーンの一部（例えば、これら候補シーンが相互に接合される箇所の周辺部分のみ）を含む一部であってもよい。なお、プレビューエリア４で表示されるシーンは、選択中の候補シーン２０Ｂとその前の候補シーンだけであってもよいし、選択中の候補シーン２０Ｂとその後の候補シーンだけであってもよい。また、編集作品の最初のシーン（ｎ＝１）の選択中には、１番目の候補シーンと２番目の候補シーンのみがプレビューエリア４に表示される。逆に、また、編集作品の最後の候補シーン（ｎ＝ｍ）の選択中には、ｎ−１番目の候補シーンとｍ番目の候補シーンのみがプレビューエリア４に表示される。

以上のようなプレビューエリア４では、シーン選択エリア２で選択中の候補シーン２０Ｂとその前後の候補シーンのとの連結部分を高速（例えば１０倍速）で再生した再生動画４１が繰り返し表示（高速プレビュー）される。また、シーン選択エリア２において、選択中の候補シーン２０Ｂを候補シーン２０Ａに変更したときには、プレビューエリア４において、その変更後の候補シーン２０Ａと、その前後の候補シーン３０Ｂが高速プレビューされる。

かかるプレビューエリア４により、現在選択中のシーンとその前後の所定範囲（例えば数分）の画像を高速再生した再生動画４１を表示して、ユーザが注目しているシーンとその前後のシーンとの関係（連結具合）を提示できる。よって、ユーザは、選択中のシーンとその前後のシーンとの間の連結具合を再生動画４１で繰り返し確認できるので、編集中の編集作品のシーン間の連結状態や、全体構成の良否を迅速かつ適切に確認できる。このように、ユーザが選択中のシーンの前後関係を即座に把握する目的からは、プレビューエリア４で再生動画４１を高速プレビューすることが最適である。しかし、プレビューエリア４の再生速度は、ユーザが再生動画４１を把握するために問題が生じない範囲であれば、任意の再生速度であってもよい。例えば、再生画像の全体が短い場合には、プレビューエリア４の再生速度は、通常の速度での再生、あるいはスローモーションであっても構わない。かかる観点から、画像編集装置は、プレビューエリア４に表示する動画を自動的に最適な再生速度で再生するが、ユーザが所望の再生速度を選択することも可能である。また、プレビューエリア４の再生速度は、一定の再生速度に限られず、可変速であってもよい。例えば、画像編集装置は、再生動画４１のうちつまらないシーンを早送り再生するようにしてもよい。

次に、フィルムロールエリア５について説明する。フィルムロールエリア５は、自動編集された編集作品を構成する１〜ｍ番目のシーンのサムネイル画像５０Ａ〜Ｅをフィルムロール方式で表示するためのエリアである。フィルムロール方式とは、動画の各区間のサムネイル画像（静止画）を時系列順に並べて表示する方式である。このフィルムロールエリア５には、自動編集による推薦度が最も高い編集作品を構成するｍ個のシーンのサムネイル画像５０Ａ〜Ｅが時系列順に表示される。ここで、ｍは編集作品を構成するシーン総数を表し、ｎ≦ｍである。

図１の例では、編集作品は５つのシーン（ｍ＝５）で構成されている。左端のサムネイル画像５０Ａは、編集作品の先頭のシーン（ｎ＝１）のサムネイル画像であり、右端のサムネイル画像５０Ｅは、編集作品の末尾のシーン（ｎ＝ｍ）のサムネイル画像である。また、フィルムロールエリア５の左から３番目のサムネイル画像５０Ｃには、カーソル５１が付加されている。このカーソル５１は、シーン選択エリア２において選択中のｎ番目のシーン（先頭から３番目のシーン）の位置を表す。

また、ユーザが、シーン選択エリア２のカーソル２１を動かして、候補シーン２０の選択を変更すると、当該候補シーン２０の選択変更に応じて、フィルムロールエリア５の未来方向の候補シーンのサムネイル画像５０も動的に変更する。つまり、シーン選択エリア２で選択（カーソル２１で指定）されているｎ番目の候補シーン２０が２０Ｂから２０Ａに変更されると、ｎ＋１番目以降のシーン（ｎ＋１〜ｍ番目のシーン）のお薦めの候補シーンも変動する。従って、シーン選択エリア２にて候補シーン２０の選択変更があった場合には、フィルムロールエリア５に表示されるサムネイル画像５０Ａ〜Ｅのうち、ｎ番目以降のシーン（ｎ〜ｍ番目のシーン）のサムネイル画像５０Ｃ〜Ｅが動的に変更される。この場合、サムネイル画像５０Ｃ〜Ｅは、選択変更されたｎ番目の候補シーン２０Ａのサムネイル画像と、当該候補シーン２０Ａに対応するｎ＋１番目以降のシーンの候補シーン３０Ｂ、・・・のサムネイル画像に、動的に変更される。

上記のようなフィルムロールエリア５により、編集中の編集作品の全体像や、当該編集作品の各シーンの概略をユーザに分かり易く提示できる。また、シーン選択エリア２における候補シーン２０の選択変更に応じて、フィルムロールエリア５の当該候補シーン以降のサムネイル画像５０も動的に変更する。従って、ユーザは、フィルムロールエリア５に表示される編集作品の全体像を参考しながら、シーン選択エリア２で、好みの候補シーン２０を選択できる。

以上、図１を参照して、本実施形態に係る編集画面１について説明した。本実施形態に係る編集画面１によれば、編集作品の各シーンのお薦め画像として、前のシーンに繋げると良い複数の候補シーン２０が、シーン選択エリア２に自動的に提示される。従って、ユーザは、編集作品の先頭のシーンから順に、シーン選択エリア２に提示された複数の候補シーン２０の中から所望のシーンを順次選択していくだけで、動画又は静止画を含む画像素材を編集できる。よって、非常にシンプルな操作体系で、ユーザが好みの画像作品を容易に作成することができる。

さらに、編集画面１上には、シーン選択エリア２だけではなく、次シーン表示エリア３や、プレビューエリア４、フィルムロールエリア５も表示される。従って、ユーザは、これらエリアの画像も参考にしながら、好みの編集作品を適切かつ効率的に作成できる。

特に、フィルムロールエリア５には、自動編集による最もお薦めの編集結果のサムネイル画像５０が並んでいる。また、編集画面１の中央の水平ライン上に並んでいる画像（図１の候補シーン２０Ｂ、候補シーン３０Ｅ）も、自動編集による最もお薦めの編集結果を反映している。このように、編集画面１に最もお薦めの編集結果を提示することで、ユーザは、その編集結果で満足できれば、シーンの選択すら必要がない。また、ユーザが編集結果のラインを選べば、フィルムロールエリア５や次シーン表示エリア３において、その下位の候補シーンも動的に変わる。従って、ユーザは、編集画面１上で、現在選択中のシーンと、その前後のシーンとの関連性を容易に把握できるので、明確な判断指標を抱きながら、適切な候補シーンを選択できる。

［３．画像編集装置のハードウェア構成］
次に、図２を参照して、本実施形態に係る画像編集装置１００のハードウェア構成について説明する。図２は、本実施形態に係る画像編集装置１００のハードウェア構成を示すブロック図である。

図２に示すように、画像編集装置１００は、例えば、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ホストバス２０４と、ブリッジ２０５と、外部バス２０６と、インタフェース２０７とを備える。さらに、画像編集装置１００は、入力装置２０８と、表示装置２０９と、ストレージ装置（ＨＤＤ）２１０と、ドライブ２１１と、接続ポート２１２と、通信装置２１３とを備える。このように画像編集装置１００は、例えば、汎用のコンピュータ機器（例えばＰＣ）を用いて構成できる。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って動作し、画像編集装置１００内の各部を制御する。このＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラム、或いは、ストレージ装置２１０からＲＡＭ２０３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ２０１からストレージ装置２１０へのアクセスを軽減するためのバッファーとしても機能する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。

入力装置２０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー等の操作手段と、入力信号を生成してＣＰＵ２０１に出力する入力制御回路などから構成されている。表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等で構成される。また、スピーカ等の音声出力装置（図示せず。）も設けられる。

ストレージ装置２１０は、各種のデータを格納するための記憶装置であり、例えば、ＨＤＤなどの外付け型若しくは内蔵型のディスクドライブで構成される。このストレージ装置２１０は、記録媒体であるハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ドライブ２１１は、記録媒体に対してデータを読み書きする駆動装置であり、画像編集装置１００に内蔵、或いは外付けされる。このドライブ２１１は、画像編集装置１００にローディングされた磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に対して、各種データを書き込み／読み出しする。

接続ポート２１２は、外部周辺機器を接続するためのポートであり、例えば、ＵＳＢ、ＩＥＥＥ１３９４等の接続端子を有する。接続ポート２１２は、インタフェース２０７、および外部バス２０６、ブリッジ２０５、ホストバス２０４等を介してＣＰＵ２０１等に接続されている。通信装置２１３は、例えば、ネットワーク２１４に接続するための通信デバイス等で構成された通信インタフェースである。この通信装置２１３は、ネットワーク通信機能を備えた外部装置との間で、ネットワーク２１４を介して、各種データを送受信する。

例えば、画像編集装置１００は、ネットワーク通信機能を備えた撮像装置、その他の機器から、画像素材（動画又は静止画）を、ネットワーク２１４を介して取得することができる。また、画像編集装置１００は、撮像装置１０により画像素材が記録された記録媒体を介して、当該画像素材を取得することもできる。

［４．画像編集装置の機能構成］
次に、図３を参照して、本実施形態に係る画像編集装置１００の機能構成について説明する。図３は、本実施形態に係る画像編集装置１００の機能構成を示すブロック図である。

図３に示すように、画像編集装置１００は、素材準備部１１０と、解析部１２０と、シーン区分部１３０と、候補シーン選択部１４０と、切替効果選択部１５０と、表示制御部１７０と、表示部１７２と、編集結果作成部１８０と、入力部１８２とを備える。さらに、画像編集装置１００は、記憶部（図示せず。）を備え、記憶部は、素材群データベース３００と、解析結果データベース３１０と、ユーザ嗜好データベース３２０と、編集結果データベース３３０を保存する。上記構成要素のうち、素材準備部１１０、解析部１２０、シーン区分部１３０、候補シーン選択部１４０、切替効果選択部１５０、表示制御部１７０及び編集結果作成部１８０は、例えば、画像編集装置１００にインストールされたアプリケーションソフトウェアにより実現される。即ち、例えば図２に示したＣＰＵ２０１は、ＲＯＭ２０２等に格納されたプログラムに従って動作することによって、これら各部の機能を実行する。なお、該プログラムは、記録媒体又はネットワークを介して画像編集装置１００に提供される。

素材準備部１１０は、画像編集装置１００による編集対象となる動画、静止画、音声などの編集素材を準備する。編集素材は、動画又は静止画からなる画像素材以外の、音声データ、テキストデータ等の素材を含む。素材準備部１１０は、取得部１１２と、修正部１１４と、生成部１１６とを有する。

取得部１１２は、外部装置から編集素材を取得する。例えば、取得部１１２は、画像素材を撮像した撮像装置から、ネットワークを介して画像素材を受信する。或いは、取得部１１２は、撮像装置により画像素材が記録されたリムーバブル記録媒体（例えば、光ディスク、メモリカード等）から、当該画像素材を読み出す。

修正部１１４は、低品質の編集素材を修正することで、編集素材の品質を向上させた素材（修正素材）を生成する。生成部１１６は、編集素材を加工することで、新たな素材（生成素材）を生成する。この修正素材や生成素材については後述する。

解析部１２０は、素材群データベース３００に保存されている編集素材を解析することによって、編集素材の特徴量（画像素材の特徴量を含む。）を求め、当該特徴量を解析結果データベース３１０に保存する。例えば、解析部１２０は、画像素材に含まれる動画、静止画又は音声のデータを解析したり、画像素材に付加されている情報（カメラ設定値、撮像時間、データ量など）を分析したりすることによって、当該画像素材の特徴量を検出する。画像素材の特徴量は、画像素材の特徴を表す情報であり、例えば、画像素材の特徴を表す各種のパラメータを数値化した情報である。このような画像素材の特徴量は、画像素材のうちの動画を複数のシーンに区分したり、自動編集により最適な候補シーンを選択したりするための基準となる。

図４は、本実施形態に係る画像素材の特徴量の例を示す。図４の特徴量は、ビデオカメラにより１回の撮像動作で撮像された動画を解析して得られたものである。

図４に示すように、画像素材の特徴量は、例えば、カメラの動作（ズーム、パン、チルト、手振れなど）に関する特徴量や、動画中に写っている被写体に関する特徴量、撮像に失敗した画像に関する特徴量、音声に関する特徴量などがある。

動画中に写っている被写体に関する特徴量は、動画中の被写体の有無や、被写体の動作、被写体（人物）の部位（例えば顔、体）の有無、被写体の表情（笑顔）などを表す。被写体の顔や笑顔は、公知の顔検出技術、スマイル検出技術を用いて検出できる。また、被写体の有無や動作は、Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ技術をベースとした、注目被写体の検出及び追跡技術により検出できる。これにより、注目被写体が動いていないハイライトシーンを検出できる

また、失敗画像に関する特徴量は、画像のピントのボケや、手振れ等により、撮像に失敗して画質が悪いことを表す。失敗画像は、Ｗａｖｅｌｕｒ技術をベースとした、画像のブレ／ボケを用いた失敗シーンの検出技術により検出できる。また、音声に関する特徴量は、動画の撮像中に録音された音声（話し声や、環境音、音楽等のＢＧＭ）の有無やテンポを表す。

図４に示したように、画像素材を解析することによって、その画像素材の複数種類の特徴量を求め、これら特徴量の時間軸上の変化が得られる。かかる特徴量の経時変化は、動画のシーンの変遷を表している。従って、かかる複数種類の特徴量に基づいて、１つの動画を複数のシーンに区分することができる。

そこで、図３に示すシーン区分部１３０は、解析結果データベース３１０に保存されている画像素材の特徴量に基づいて、画像素材を複数のシーンに区分する。シーン区分部１３０は、上記複数種類の特徴量を、編集用途に応じて組み合わせて総合的に判断することで、１つの動画を構成する複数のシーンの区切り位置を検出し、その動画を複数のシーンに区分する。さらに、シーン区分部１３０は、動画を区分した各シーンの特徴量に基づいて、当該各シーンの良否を評価する。

図４の例では、１つの動画が５つのシーンＡ〜Ｅに区分されている。シーンＡは、被写体が写ってはいないが、失敗画像もなく、手振れもないので、安定した良いシーンである（Ｇｏｏｄシーン）。ところが、シーンＢは、カメラで被写体をサーチしている途中のシーンであり、カメラを動かしたことによる手振れがあり、被写体も動いているため、被写体の顔は正しく撮像されておらず、一部が失敗画像として判定されている（Ｂａｄシーン）。また、シーンＣは、カメラの動作によるブレも無く、被写体の笑顔が写っており、かつ、被写体の話し声も録音された最良のシーンである（Ｂｅｓｔシーン）。さらに、シーンＤは、被写体が動いており、話し声もないため、シーンＣよりは劣るが、それ以外の観点では良いシーンである（Ｇｏｏｄシーン）。一方、シーンＥは、手振れが非常に激しく、被写体も写っていない最悪のシーンである（Ｗｏｒｓｔシーン）。

候補シーン選択部１４０は、上記画像素材の特徴量に基づいて、シーン区分部１３０により区分された複数のシーンの中から、編集作品のｎ番目のシーンの候補となる複数の候補シーンを選択する。候補シーンは、上述した編集画面１のシーン選択エリア２で提示されるｎ番目のシーンの候補シーン２０であり、その前のｎ−１番目のシーンの次に繋げると良いお薦めのシーンである。候補シーン選択部１４０は、解析結果データベース３１０に保存されている特徴量と、後述のユーザ嗜好データベース３２０に保存されているユーザ嗜好情報とを用いて、上記画像素材の複数のシーンの中から、ｎ番目のシーンの候補として、所定数の候補シーンを選択する。候補シーン選択部１４０は、編集画面１に対するユーザ操作に従って、編集作品の１〜ｍ番目のシーンの候補となる複数の候補シーンを、１番目のシーンから順次選択する。

この候補シーンの選択方法の一例として、特徴量から算出した推薦度に基づいて、ｎ番目のシーンの候補シーンを選択する方法について説明する。シーン選択エリア２用のｎ番目の候補シーンを選択する方法としては、例えば、シーンごとの推薦度を用いる方法と、自動編集結果全体の推薦度を用いる方法が考えられる。

まず、シーンごとの推薦度を用いる方法について説明する。候補シーン選択部１４０は、画像素材の各シーンの特徴量、及び、当該各シーンの特徴量とｎ−１番目のシーンの特徴量との関連性に基づいて、ｎ番目のシーンの候補としての当該各シーンの推薦度をそれぞれ求める。そして、候補シーン選択部１４０は、画像素材の複数のシーンの中から、推薦度が高い所定個数のシーンを、前記前記ｎ番目のシーンの候補シーンとして選択する。この推薦度は、前のシーン（ｎ−１番目のシーン）に繋げると良い候補シーンの推薦度合いを表すパラメータであり、シーンの重要度、や、前シーンとの特徴量の関連性から算出される。この推薦度の算出手法の詳細は後述する。

このようにして、各シーンの推薦度を数値化して求め、推薦度を比較することで、ｎ−１番目のシーンの次に繋げると良いｎ番目のシーンの候補シーンを好適に選択できる。

次に自動編集結果全体の推薦度を用いる方法について説明する。この方法では、複数パターンの自動編集結果を作成し、各自動編集結果の推薦度を求めて、ｎ番目のシーンの候補シーンを選択する。

詳細には、まず、候補シーン選択部１４０は、画像素材を区分した複数のシーンのうち、少なくとも一部のシーンを任意の配列順で組み合わせることにより、複数パターンの自動編集結果を生成する。例えば、シーンＡ、Ｂ、Ｃが存在する場合、１５パターンの自動編集結果が生成される（Ａ、Ｂ、Ｃ、Ａ＋Ｂ、Ｂ＋Ａ、Ａ＋Ｃ、Ｃ＋Ａ、Ｂ＋Ｃ、Ｃ＋Ｂ、Ａ＋Ｂ＋Ｃ、Ａ＋Ｃ＋Ｂ、Ｂ＋Ａ＋Ｃ、Ｂ＋Ｃ＋Ａ、Ｃ＋Ａ＋Ｂ、Ｃ＋Ｂ＋Ａ）。自動編集結果とは、画像編集装置１００の自動編集機能により自動的に生成される編集作品である。なお、自動編集結果は、複数のシーンを時系列順に配列したものであってもよいし、時系列にかかわらずにランダムにシャッフルしたものであってもよい。

次いで、候補シーン選択部１４０は、画像素材を区分した各シーンの特徴量と、当該各シーンの特徴量と前のシーンの特徴量との関連性に基づいて、上記複数パターンの自動編集結果の推薦度をそれぞれ求める。ここでの推薦度は、自動編集結果の推薦度合いを表すパラメータであり、各シーンの特徴量や、前後のシーンの特徴量の関連性に応じて、増減する。例えば、同じ５つのシーンＡ〜Ｅを組み合わせて自動編集結果を作成する場合であっても、シーンの配列順によって自動編集結果の推薦度は異なる。上記の複数パターンの自動編集結果のうち、推薦度が最も高い自動編集結果が、初期の編集画面１に最もお薦めの自動編集結果として提示される。

その後、候補シーン選択部１４０は、上記の各自動編集結果の推薦度に基づいて、画像素材の複数のシーンの中から、ｎ番目のシーンの候補シーンを複数選択する。例えば、候補シーン選択部１４０は、複数パターンの自動編集結果の中から、推薦度が高い順に所定数の自動編集結果を抽出し、当該所定数の自動編集結果のｎ番目のシーンをそれぞれ選択し、候補シーンとする。このようにして、推薦度に応じて候補シーンを選択することで、編集結果全体のシーンの特徴やシーン間の繋がりを考慮して、適切な候補シーンを提示できる。

また、候補シーン選択部１４０は、上記各シーンの特徴量のみならず、ユーザ嗜好データベース３２０に保存されているユーザ嗜好情報（ユーザの過去の選択結果を表す情報）にも基づいて、候補シーンを選択してもよい。ユーザ嗜好情報は、ユーザによる候補シーンの過去の選択結果に基づいて更新される。後述の編集結果作成部１８０は、編集画面１において、ユーザにより候補シーンが選択される度に、その選択結果を元に、ユーザの嗜好ユーザ嗜好情報を更新する。候補シーン選択部１４０は、ユーザ嗜好情報に応じて、候補シーンを選択するための特徴量や推薦度の重み付けを変更する。例えば、ユーザが、笑顔のシーンを頻繁に選択する場合には、笑顔を表す特徴量の重み付けを大きくして、上記推薦度を計算する。このように、ユーザによって候補シーンが選択される度に、ユーザの嗜好をリアルタイムに学習することで、それ以降の候補シーンの選択に即時反映できる。

さらに、候補シーン選択部１４０は、各シーンの特徴量やその関連性に基づいて、上記選択したｎ番目のシーンの候補シーンごとに、ｎ＋１番目のシーンの候補となる複数の候補シーンを選択する。このｎ＋１番目のシーンの複数の候補シーンは、編集画面１の次シーン表示エリア３に表示される。このｎ＋１番目のシーンの候補シーンの選択プロセスは、上記ｎ番目のシーンの候補シーンと同様である。

上記のようにして、候補シーン選択部１４０は、編集作品の１、２、・・・、ｍ番目のシーンの候補シーンを順次選択する。編集画面１のシーン選択エリア２においてユーザによりｎ番目のシーンが確定されると、候補シーン選択部１４０は、ｎ＋１番目のシーンの候補として、当該ｎ番目のシーンの次に繋げると良い候補シーンを選択する。

また、候補シーン選択部１４０は、前記画像素材の前記各シーンの特徴量に基づいて、編集画面１のフィルムロールエリア５に表示される１〜ｍ番目の候補シーンを選択する。この１〜ｍ番目の候補シーンは、自動編集機能による最もお薦めの自動編集結果である。フィルムロールエリア５用の１〜ｍ番目の候補シーンを選択する方法としては、例えば、上記と同様に、シーンごとの推薦度を用いる方法と、自動編集結果全体の推薦度を用いる方法が考えられる。

まず、シーンごとの推薦度を用いる方法について説明する。候補シーン選択部１４０は、上記と同様にしてｎ番目のシーンの候補としての当該各シーンの推薦度を求める処理を、編集結果の１〜ｍ番目のシーンについて繰り返し実行する。これによって、１〜ｍ番目のシーンの候補としての各シーンの推薦度がそれぞれ求められる。そして、候補シーン選択部１４０は、画像素材の複数のシーンの中から、１〜ｍ番目のシーンの候補として推薦度が最も高いシーンを、１〜ｍ番目のシーンの候補シーンとしてそれぞれ選択する。このようにして選択された１〜ｍ番目の候補シーンを組み合わせることで、最もお薦めの自動編集結果を作成して、そのサムネイル画像５０をフィルムロールエリア５に表示できる。

次に、自動編集結果全体の推薦度を用いる方法について説明する。候補シーン選択部１４０は、上記と同様に自動編集処理を行って、複数パターンの自動編集結果を生成し、当該各自動編集結果の推薦度を求める。そして、候補シーン選択部１４０は、画像素材の複数のシーンの中から、推薦度が最も高い自動編集結果を構成する１〜ｍ番目の候補シーンをそれぞれ選択する。かかる１〜ｍ番目の候補シーンのサムネイル画像５０が、編集画面１のフィルムロールエリアに表示される。

また、編集画面１のシーン選択エリア２においてｎ番目のシーンの候補シーン２０の選択が変更（カーソル２１が移動）されたときには、候補シーン選択部１４０は、上記推薦度に基づいて、当該選択変更されたｎ番目のシーンの候補シーン２０の後に配列されるｎ＋１〜ｍ番目の候補シーンを、それぞれ再選択する。詳細には、候補シーン選択部１４０は、変更後のｎ番目の候補シーン２０の次に繋げるｎ＋１番目のシーンの候補として、推薦度が最も高い候補シーンを選択し、さらにその次に繋げるｎ＋２番目のシーンの候補として、推薦度が最も高い候補シーンを選択する。かかる処理を繰り返すことで、該選択変更されたｎ番目のシーンの候補シーン２０に対応するｎ＋１〜ｍ番目の候補シーンがそれぞれ再選択される。これにより、シーン選択エリア２における候補シーン２０の選択変更に応じて、フィルムロールエリア５のサムネイル画像５０の表示を動的に変更することができる。

以上のように、候補シーン選択部１４０は、画像素材の自動編集機能を有している。この際、候補シーン選択部１４０は、画像素材の各シーンの特徴量に基づいて、編集結果の各シーンの候補として、複数の候補シーンをそれぞれ選択する。候補シーン選択部１４０により選択された候補シーンは、編集画面１のシーン選択エリア２、次シーン表示エリア３、プレビューエリア４及びフィルムロールエリア５に適宜表示される。

切替効果選択部１５０は、上記候補シーン選択部により選択された候補シーンの特徴量に基づいて、予め設定された複数の画像切替効果の中から、当該候補シーン間の画像切替効果の候補を選択する。画像切替効果は、エフェクトとも称され、２つの動画間の連結部分に施される画像効果であり、例えば、「Ｃｕｔ」、「ＦａｄｅＩｎ（Ｂ）」「Ｓｔｉｌｌ」、「Ｗｉｐｅ」、「Ｄｉｓｓｏｌｖｅ」、「Ｉｎｓｅｒｔｉｏｎ（Ｗ）」などがある。切替効果選択部１５０により、候補シーンの特徴に応じて候補シーン間の適切な画像切替効果の候補を選択することによって、後述の編集画面１で当該画像切替効果の候補を、選択メニュー２７（図１１参照。）に表示できる。これにより、ユーザが、編集画面１の選択メニュー２７で、適切な画像切替効果の候補の中から、所望の画像切替効果を選択できるようになる。

編集画面生成部１６０は、上記候補シーン選択部１４０により選択された候補シーンの画像データを素材群データベース３００から読み出して、図１に示したような編集画面１を生成する。

表示制御部１７０は、表示部１７２を制御して、編集画面生成部１６０により生成された編集画面１を、表示部１７２に表示させる。表示部１７２は、ＬＣＤ等のモニタ装置であり、表示制御部１７０の制御に従って編集画面１を表示する。

編集結果作成部１８０は、入力部１８２に対するユーザ操作に基づいて、上記候補シーン選択部１４０により自動編集され編集結果を調整して、最終的な編集結果（編集作品）を作成する。つまり、編集結果作成部１８０は、編集画面１のシーン選択エリア２に表示された複数の候補シーンの中から、ユーザにより順次選択された１〜ｍ番目のシーンの候補シーンを組み合わせることで、最終的な編集結果（編集作品）を作成する。

図１に示したように、編集画面１のシーン選択エリア２には、編集結果のｎ番目のシーンの候補シーン２０が表示される。ユーザが、シーン選択エリア２内の候補シーンの中から、所望のシーンを選択すると、次いで、シーン選択エリア２には、ｎ＋１番目のシーンの候補シーンが表示される。かかるユーザ選択を繰り返すことで、編集結果を構成するｍ個のシーン（１、２、・・・、ｍ番目のシーン）が先頭から順に確定する。

編集結果作成部１８０は、上記のようにしてユーザ選択されたｍ個のシーンを選択順に連結して、画像素材を編集した編集結果（編集作品）を作成し、当該編集結果に関する情報を編集結果データベース３３０に保存する。保存される編集結果に関する情報は、編集結果の画像データ自体であってもよいし、編集結果を構成する複数のシーンの識別情報であってもよい。

また、編集結果作成部１８０は、編集画面１の選択メニュー２７（図１１参照。）に表示された画像切替効果の複数の候補の中から、ユーザにより選択された１つの画像切替効果を、シーン間の画像切替効果として決定する。選択メニュー２７内の画像切替効果の複数の候補は、上記切替効果選択部により選択された、当該シーン間に適した画像切替効果である。かかる画像切替効果も、上記候補シーンと同様な手順で、編集結果の先頭のシーン間から順に順次決定される。編集結果作成部１８０は、このように決定したシーン間の画像切替効果に関する情報を、編集結果データベース３３０に保存する。

なお、入力部１８２は、編集画面１を表示する表示部１７２に重ねて配設されるタッチパネルであってもよいし、或いは、マウス又はキーボード等であってもよい。入力部１８２がタッチパネルである場合、ユーザは、編集画面１にタップすることで、所望の候補シーンや画像切替効果を選択する。また、入力部１８２がマウスである場合、ユーザは、編集画面１上に表示されるマウスポインタを移動させて、所望の候補シーンや画像切替効果を選択する。

［５．画像編集方法］
次に、図５を参照して、本実施形態に係る画像編集装置１００を用いた画像編集方法について説明する。図５は、本実施形態に係る画像編集装置１００を用いた画像編集方法を示すフローチャートである。

図５に示すように、まず、画像編集装置１００は、動画、静止画、音声等の編集素材群を装置内に取り込む（Ｓ１００）。画像編集装置１００は、外部装置からネットワーク２１４又はリムーバブル記録媒体を介して編集素材を取得し、素材群ＤＢ３００に保存する。

次いで、画像編集装置１００は、編集素材群を解析して、その解析結果を解析結果ＤＢ３１０に保存する（Ｓ１１０）。ここで、図６を参照して、編集素材群の解析処理（Ｓ１１０）について詳述する。図６は、本実施形態に係る編集素材群の解析処理例を示す概念図である。

図６に示すように、まず、画像編集装置１００は、編集素材群ＤＢ３０２に保存されている編集素材の動画、静止画、音声等を解析し、その解析結果を、編集素材群の解析結果ＤＢ３１２に保存する（Ｓ１１１）。この編集素材群の解析結果は、図４で示した画像素材の特徴量を含む。

次いで、画像編集装置１００は、編集素材群の解析結果（特徴量）に基づいて、修正可能な編集素材を判断し、当該画像素材を修正して、修正素材を生成する（Ｓ１１２）。この素材修正処理は、例えば、手ぶれ補正処理（動画）、ボケ補正処理（静止画）、環境ノイズ除去処理（音声）などを含む。この素材修正処理により生成された修正素材は、修正素材群ＤＢ３０４に保存される。

さらに、画像編集装置１００は、修正素材群ＤＢ３０４に保存されている修正素材の動画、静止画、音声等を解析し、その解析結果を、修正素材群の解析結果ＤＢ３１４に保存する（Ｓ１１４）。この修正素材群の解析結果も、図４で示した画像素材の特徴量を含む。

一方、画像編集装置１００は、解析結果ＤＢ３１２に保存されている編集素材群の解析結果（特徴量）と、ユーザ嗜好ＤＢ３２０に保存されているユーザ嗜好情報に基づいて、編集素材から、編集に適したより良い編集素材（以下、生成素材）を新たに生成する（Ｓ１１６）。この素材生成処理は、例えば、被写体追跡及びクロッピング処理（動画）、スローモーション化（動画）、静止画の切り出し処理（動画）、高精細化処理（静止画）、イラスト化処理（静止画）、ボーカル音声の強調処理（音声）などを含む。この素材生成処理により生成された生成素材は、生成素材群ＤＢ３０６に保存される。

さらに、画像編集装置１００は、生成素材群ＤＢ３０６に保存されている生成素材の動画、静止画、音声等を解析し、その解析結果を、生成素材群の解析結果ＤＢ３１６に保存する（Ｓ１１８）。この生成素材群の解析結果も、図４で示した画像素材の特徴量を含む。

以上のように素材を準備することで、編集素材を修正した修正素材や、編集素材から新規生成した生成素材についても編集対象の画像素材とすることができる。さらに、編集素材の生データのみならず、修正素材や生成素材をも解析して、その解析結果から、これら素材の特徴量も求める。これにより、修正素材や生成素材を候補シーンに加えることができるので、より高品質でユーザの好みにあった編集結果を作成できるようになる。

図５に戻り、説明を続ける。上記ステップＳ１１０の後に、画像編集装置１００は、ユーザ入力に基づいて、画像編集装置１００の素材群ＤＢ３００に保存されている編集素材の中から、編集対象の画像素材を選択するとともに、編集モードを選択する（Ｓ１２０）。編集モードは、編集画面１を利用した自動編集の方式であり、例えば、「ストーリー基準モード」、「音楽基準モード」、「シーンドロップモード」などを含む。ストーリー基準モードは、動画のシーンをストーリー化して見やすく整理するための編集モードである。音楽基準モードは、音楽等のＢＧＭに合わせてシーンを選択するための編集モードである。シーンドロップモードは、動画の複数のシーンの中から削除シーンを決定していくための編集モードである。ユーザは、編集対象の画像素材や編集モードを設定することで、所望の編集方式でその画像素材を自動編集できる。なお、編集モードを予め設定しておくことで、本ステップＳ１０４を省略可能である。

その後、ユーザが、例えば自動編集ボタンを押下して、画像編集装置１００に自動編集の実行を指示すると（Ｓ１３０）、画像編集装置１００は、画像素材を自動編集して、候補シーンを選択する（Ｓ１４０）。ここで、図７を参照して、候補シーンの選択処理（Ｓ１４０）について詳述する。図７は、本実施形態に係る候補シーンの選択処理例を示す概念図である。

図７に示すように、画像編集装置１００は、各種の素材群の解析結果ＤＢ３１２、３１４、３１６と、ユーザ嗜好ＤＢ３２０を用いて、各種の素材群を自動編集して、編集結果を構成する各シーンの候補シーンや、シーン間の画像切替効果の候補を選択する。各種の素材群の解析結果は、上述した編集素材群、修正素材群及び生成素材群の解析結果を含む。解析結果ＤＢ３１２、３１４、３１６は、図３の素材群ＤＢ３００に含まれる。

まず、画像編集装置１００は、Ｓ１２０で選択された編集対象の画像素材のうちの動画を、複数のシーンに区分する（Ｓ１４２）。詳細には、画像編集装置１００は、上記解析結果に含まれる各種の特徴量の数値と、当該特徴量の時間軸上の変化に基づき、当該動画に含まれるシーンの区切り位置を決定し、当該動画を複数のシーンに区分する。この特徴量は、例えば、図４に示したカメラの動作（ズーム、パン、チルトなど）、動画中の被写体の有無、被写体の動作、被写体（人物）の部位（例えば顔、体）の有無、被写体の表情（笑顔）や台詞、音声（音楽、環境音、話し声等）の有無やテンポ、手振れやピンボケ等による失敗画像の有無などである。

次いで、画像編集装置１００は、Ｓ１４２で得られた動画の各シーン、静止画等の画像素材の特徴量に基づいて、当該画像素材の推薦度を求める（Ｓ１４４）。詳細には、まず、画像編集装置１００は、複数種類の特徴量の中から、Ｓ１２０で選択された編集モードに適した複数の特徴量を選択し、選択した特徴量に、ユーザ嗜好ＤＢ３２０のユーザ嗜好情報に応じた重み付けを加算する。この結果得られた特徴量は、動画の各シーンの推薦度を計算する基準となる。次いで、画像編集装置１００は、解析結果ＤＢ３１０内の解析結果に含まれる画像素材の各シーンの特徴量と、当該各シーン間の特徴量の関連性に基づき、各画像素材の推薦度を数値化する。

この推薦度の数値化の具体例について説明する。動画を区分した各シーンの推薦度は、当該各シーンの特徴量から求められる。例えば、動画に写っている人物の顔を検出及び同定し、その人物の登場時間や画像内の配置などに基づいて、各人の重要度を判定し、重要度の高い人物が長時間写っているシーンの推薦度を加点してもよい。また、撮像状況を理解できるシーンや撮像環境全体を俯瞰できるシーン（例えば、看板が写っているシーン、遠景等のシーン）の推薦度を加点してもよい。

また、推薦度は、画像素材の各シーンの配列順序（シーン間の特徴量の関連性）からも求められる。例えば、同様の特徴を有する複数のシーンが連続して配列される場合は、冗長として、推薦度を減点してもよい。また、編集モードが「ストーリー基準モード」であるときに、撮影時刻が遡るようにシーンが配列される場合には、推薦度を減点してもよい。

次いで、画像編集装置１００は、Ｓ１４４で求めた各シーンの推薦度に基づいて、現在選択中のシーンの候補として、複数の候補シーンを選択する（Ｓ１４６）。例えば、編集結果のｎ番目のシーンを選択するときには、動画の複数のシーンや静止画の中から、ｎ番目のシーンとしての推薦度が高い順に、所定数（例えば３個）の候補シーンを選択する。この候補シーンは、決定済みのｎ−１番目のシーンの次のシーンとして適したシーンである。

さらに、画像編集装置１００は、上記各画像素材の特徴量に基づいて、各シーン間の画像切替効果として、特徴量にあった適切な画像切替効果の候補を選択する（Ｓ１４８）。例えば、前後のシーン間に時間的な隔たりがある場合には、当該両シーン間に黒画像が挟み込まれて、両シーンがフェードイン・フェードアウトする画像切替効果「ＦａｄｅＩｎ（Ｂ）」が選択される。また、シーン間の特徴量の差分が大きい場合には、両シーンがオーバーラップする画像切替効果が選択される。このように画像編集装置１００が各シーン間の画像切替効果の候補を選択することで、ユーザは、その候補の中から所望の画像切替効果を決定できる。なお、画像編集装置１００が各シーン間の最適な画像切替効果を自動的に決定してもよい。

以上のような候補シーンの選択処理Ｓ１４０により、画像素材の特徴量に基づいて、複数の画像素材（動画のシーン、静止画）の中から、前のシーンに繋げると良い複数の候補シーンが自動的に抽出され、また、シーン間の画像切替効果の候補も選択される。

図５に戻り、Ｓ１４０の後の処理について説明する。画像編集装置１００は、Ｓ１４０で選択された複数の候補シーンをユーザに提示するための編集画面１（図１参照。）を表示する（Ｓ１５０）。図１に示したように、編集画面１のシーン選択エリア２には、選択中のｎ番のシーンの候補として適切な複数の候補シーン２０Ａ〜Ｃが表示される。また、次シーン表示エリア３には、ｎ＋１番目のシーンの複数の候補シーン３０Ａ〜Ｃ、３０Ｄ〜Ｆ、３０Ｇ〜Ｉが、各々の候補シーン２０Ａ〜Ｃごとに表示される。さらに、プレビューエリア４には、選択中のシーンとその前後のシーンの連結具合を確認するための高速再生動画４１が表示される。そして、フィルムロールエリア５には、自動編集による最もお薦めの編集結果の全体像を表すサムネイル画像５０Ａ〜Ｅが表示される。

ユーザは、この編集画面１を見て、候補シーンの内容やその前後関係を把握し、シーン選択エリア２に提示された複数の候補シーン２０Ａ〜Ｃの中から、好みのシーンを選択する（Ｓ１６０）。ユーザは、カーソル２１に隣接した上下ボタン２２Ａ、２２Ｂを押下することによって、カーソル２１を上下させて、好みの候補シーン２０にカーソル２１を合わせ、決定ボタン（図示せず。）を押下することで、所望のシーンを選択する。かかるユーザ選択により、編集結果のｎ番目のシーンが確定する。

次いで、画像編集装置１００は、Ｓ１６０でのユーザの選択結果に基づいて、ユーザ嗜好ＤＢ３２０を更新する（Ｓ１７０）。これにより、ユーザの過去の選択結果の履歴をユーザ嗜好ＤＢ３２０に保存できる。画像編集装置１００は、Ｓ１６０でユーザが選択した候補シーンの特徴量に応じて、ユーザ嗜好ＤＢ３２０内のユーザ嗜好情報を更新する。例えば、ユーザが笑顔のシーンを選択した場合には、上記Ｓ１４０で推薦度を計算するときに笑顔に関する特徴量の重み付けが大きくなるように、ユーザ嗜好情報を更新する。これにより、次にＳ１４０で候補シーンを選択する時から、過去のユーザの選択結果を反映させることができる。

次いで、画像編集装置１００は、編集結果の全てのシーン（１〜ｍ番目のシーン）がユーザにより選択されたか否かを判定する（Ｓ１８０）。全てのシーンが選択されていない場合には、ｎを１つカウントした上で（Ｓ１８２）、Ｓ１４０に戻る。そして、画像編集装置１００は、上記と同様にして、次のシーン（ｎ＋１番目のシーン）の複数の候補シーンを選択して（Ｓ１４０）、編集画面１上に当該候補シーンを提示し（Ｓ１５０）、ユーザにより編集画面１上で選択された候補シーンをｎ＋１番目のシーンとして決定する（Ｓ１６０）。このような候補シーンの選択処理を順次繰り返すことで、編集結果の先頭シーンから順に、全てのシーン（１〜ｍ番目のシーン）が決定する。

そして、画像編集装置１００は、上記のようにしてユーザにより順次選択された１〜ｍ番目のシーンの画像を組み合わせて、最終的な編集結果（編集作品）を作成し、編集結果ＤＢ３３０に保存する（Ｓ１９０）。

［６．応用例］
次に、本実施形態に係る編集画面１を用いた画像編集方法の応用例について説明する。

（１）編集モードに応じた編集
まず、図８〜図１０を参照して、本実施形態に係る編集モードに応じた画像編集方法について説明する。

本実施形態に係る画像編集装置１００は、ユーザの用途に応じて各種の編集モードを提供できる。上述したように、編集モードとしては、例えば、動画のシーンをストーリー化して見やすく整理するための「ストーリー基準モード（Ｓｔｏｒｙ Ｂａｓｅｄ）」、音楽等のＢＧＭに合わせてシーンを選択するための「音楽基準モード（Ｍｕｓｉｃ Ｄｒｉｖｅｎ）」、動画中から不要なシーンを削除していくための「シーンドロップモード（Ｓｃｅｎｅ Ｄｒｏｐ）」などがある。ユーザは、用途に応じて所望の編集モードを設定することで、所望の編集結果を容易に得ることができる。

図８は、ストーリー基準モードで編集するときの編集画面１の表示例である。このストーリー基準モードでは、１又は２以上の画像素材の中から、不要なシーンを削除し、必要なシーンを時系列順に繋げて、ストーリー性を有する編集結果が得られる。不要なシーンとは、手振れやピントのボケが生じた失敗シーンや、所望の被写体が写っていないシーン、盛り上がっていないシーン、冗長なシーン、などである。必要なシーンとは、所望の被写体が写っているシーン、人物の笑顔が写っているシーン、盛り上がっているシーン、会話が入っているシーン、ハイライトシーン、ダイジェストシーンなどである。ストーリー基準モードでは、編集画面１のシーン選択エリア２に、上記必要なシーンからなる候補シーンが、基本的には時系列順に提示される。従って、ユーザは、編集画面１上で、提示された候補シーンを順次選択してことで、ストーリー性を持った所望の編集結果を容易に得ることができる。

図９は、音楽基準モードで編集するときの編集画面１の表示例である。この音楽基準モードでは、ＢＧＭとして流れる音楽に合わせたシーンを繋げた編集結果が得られる。公知の１２音解析技術により、音楽の中の所定区間（例えば、サビ、Ａメロディー、Ｂメロディー等）を特定できるので、音楽基準モードでは、音楽の区間に画像のシーンを対応付けて表示できる。例えば、音楽のサビの区間にはハイライトシーンを対応付け、Ａメロディーの区間には穏やかなシーンを対応付けてもよい。図９の編集画面１では、現在選択中のシーンが、音楽のどの区間に対応しているかをユーザに提示するために、音楽の区間を表すアイコン２５、３５が表示されている。アイコン２５は、シーン選択エリア２で選択中のｎ番目のシーンが音楽のＡメロディーの区間に対応していることを表し、アイコン３５は、次シーン表示エリア３で表示中のｎ＋１番目のシーンが音楽のサビの区間に対応していることを表す。これにより、ユーザは、編集画面１上で、音楽のサビ等にあった候補シーン２０を選択できる。

図１０は、シーンドロップモードで編集するときの編集画面１の表示例である。このシーンドロップモードでは、編集画面１のシーン選択エリア２に表示される削除アイコン２６を用いて、不要なシーンを削除することで、必要なシーンからなる編集結果を得ることができる。図１０に示すように、編集画面１のシーン選択エリア２に表示された候補シーン０上に、それぞれ削除アイコン２６Ａ〜Ｃが表示される。ユーザは、編集画面１上で当該削除アイコン２６Ａを選択することで、その削除アイコン２６Ａに対応する候補シーン２０Ａを削除できる。ｎ番目のシーンの選択時に、いずれの削除アイコン２６も選択せずに、ユーザにより１つの候補シーン２０が選択された場合、いずれの候補シーン２０Ａ〜Ｃも削除されることなく、次のｎ＋１番目のシーンの選択に移行する。

上記のように、編集画面１のプレビューエリア４では、選択中のシーンの前後のシーンの高速再生動画４１が表示されている。従って、編集画面１上で削除アイコン２６を用いて不要なシーンを削除することで、プレビューエリア４の表示態様が変わるので、ユーザは、そのシーンを削除した影響を編集画面１で確認できる。従来では、画像素材を削除したことによって編集結果全体にどのような影響があるかをユーザに即座に提示するＧＵＩは存在していなかった。しかし、本実施形態に係る編集画面１は、当該ＧＵＩを提供でき、従来の問題を解決できる。

（２）画像切替効果の選択
次に、図１１を参照して、本実施形態に係る編集画面１における画像切替効果の選択方法について説明する。

図１１に示すように、編集画面１のシーン選択エリア２の左ボタン２３Ａ（又は右ボタン２３Ｂ）を押下すると、画像切替効果（エフェクト）を選択するための選択メニュー２７が表示される。選択メニュー２７は、選択中のｎ番目の候補シーン２０Ｂと、その前又は後（ｎ−１番目又はｎ＋１番目）の候補シーンとの間の画像切替効果の候補を、推薦度順に表示する。図１１の例では、選択メニュー２７内に６個の画像切替効果の候補が推薦度順に上から提示されており、「Ｃｕｔ」が最もお薦めの画像切替効果であることが分かる。これらの画像切替効果の候補は、上記候補シーンの特徴量に基づいて自動選択されたものであり、両シーンの内容や特性に応じた適切な画像切替効果である。

ユーザは、選択メニュー２７内のカーソル２８を移動させて、シーン内容等に応じた適切な画像切替効果の候補の中から、好みの画像切替効果を選択できる。また、選択メニュー２７内の画像切替効果は推薦度の順に提示されているので、ユーザが画像切替効果を選択するときの利便性が高い。画像編集装置１００は、ユーザにより選択された１つの画像切替効果を、当該シーン間の画像切替効果として決定し、編集結果ＤＢ３３０に保存する。

（３）キャプションの挿入
次に、図１２を参照して、本実施形態に係る編集画面１を用いたキャプションの挿入方法について説明する。

図１２に示すように、編集画面１のシーン選択エリア２では、選択されている候補シーン２０に対して、キャプション２９（テキスト情報）を付加することができる。このように、本実施形態に係る編集画面１では、編集結果を構成する１〜ｍ番目のシーンに対してキャプション２９を容易に挿入できるので、編集作業を効率化できる。

［７．まとめ］
以上、本実施形態に係る画像編集装置１００とそれを用い画像編集方法について詳述した。本実施形態によれば、編集画面１のシーン選択エリア２に、前のシーンの次に繋ぐと良いお薦めの候補シーン２０を複数提示する。これにより、ユーザは、編集画面１上に提示された複数の候補シーン２０の中から所望のシーンを順次選択していくだけで、好みの画像作品を容易に作成することができる。よって、自動編集された画像作品の調整時に、あるシーンの次に繋げると良い複数の推薦シーンをユーザに提示できるとともに、よりシンプルな操作体系で、ユーザが好みの画像作品を容易に作成できる。

詳細には、本実施形態に係る編集画面１を用いた画像編集方法は、動画の自動編集後に手動で編集内容を調整する際に、非常にシンプルな操作体系を提供できる。つまり、ユーザは、編集画面１に提示された複数の候補シーンを、先頭のシーンから順に選択していくだけで、容易に動画を編集して、好みの画像作品を作成できる。このとき、ユーザは、シーン選択エリア２に提示された複数の候補シーン２０を選択変更することで、何度でも試行錯誤しながら、好みの内容を推敲できる。

また、画像編集装置１００は、上記手動編集に先立ち、画像素材の解析結果に基づいて各画像素材の推薦度を求めて、最適な自動編集結果を作成しているので、編集画面１上に、最もお薦めの自動編集結果を表示できる。例えば、編集画面１の中央の水平ライン上に並んでいる画像（図１の候補シーン２０Ｂ、候補シーン３０Ｅ）や、フィルムロールエリア５のサムネイル画像５０Ａ〜Ｅが、自動編集による最もお薦めの自動編集結果である。このように、編集画面１に最もお薦めの編集結果を提示することで、ユーザは、その編集結果で満足できれば、シーンの選択すら必要がない。

また、編集画面１には、シーン選択エリア２で現在選択中の候補シーン（ｎ番目）だけでなく、その次の候補シーン（ｎ＋１番目）も次シーン表示エリア３に提示される。従って、ユーザは、両シーンを同時に確認可能である。加えて、プレビューエリア４には、選択中の候補シーンとその前後の候補シーンの再生動画４１が常に高速プレビュー表示されている。従って、ユーザは、選択中の候補シーンと前後のシーンとの繋がり具合を瞬時に確認できる。また、シーン選択エリア２には、候補シーン２０の推薦理由が分かるような情報（アイコン２３）も合わせて提示されるので、当該情報はユーザによる候補シーン２０の選択に役立つ。

さらに、ユーザがシーン選択エリア２で候補シーン２０やシーン間の画像切替効果を選択する度に、画像編集装置１００は、その選択結果を用いてユーザ嗜好ＤＢ３２０を更新する。これにより、ユーザの嗜好をリアルタイムに学習して、それ以降の候補シーンの選択に即時に反映することができる。

また、複数の画像素材を混成した画像素材として動画、静止画の双方を混成した編集結果を生成することもできる。さらに、ユーザは、編集画面１上で、編集結果にキャプション（テキスト情報）を容易に挿入することもできる。また、ユーザは、編集画面１で、編集結果（編集作品）に使用した複数の候補シーンのみならず、不使用のシーンも確認することも可能である。

また、本実施形態に係る画像編集方法は、生成元の異なる複数の動画、静止画等を含む多様な画像素材を組み合わせて編集する際に便利である。本実施形態に係る画像編集方法が適用されるユースケースとしては以下のものが例示できる。

例えば、ある家族が、小学生の末っ子の運動会に家族総出で応援しに行き、各人が撮影機器を分担しあって運動会の様子を撮像したケースを想定する。このとき、父親はデジタルビデオカメラ、母親はコンパクトデジタルカメラ、兄は、一眼レフのデジタルカメラ、姉は、携帯電話の内蔵カメラを用いたとする。そして、運動会での末っ子の活躍ぶりを記念に残すために、これらの撮像機器で撮像された画像素材をまとめて、１本のショートムービー（動画）に編集することとなった。忙しい父親に代わって、パーソナルコンピュータに不慣れな母親が編集作業を行うことになったため、母親は、誰にでも簡単に操作できる自動編集ソフトウェアを使うことにした。

このようなユースケースであっても、母親は、本実施形態に係る自動編集機能付きのソフトウェアがインストールされた下画像編集装置１００を用いて、多様な画像素材をまとめた１つの編集作品（ショートムービー）を容易に作成できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像編集装置をパーソナルコンピュータに適用した例を説明したが、本発明はかかる例に限定されない。本発明の画像編集装置は、編集アプリケーションソフトウェアをインストールすることで、編集画面１を表示可能な機器であれば、例えば、図１３に示すように、ビデオカメラ１００Ａ、携帯型ゲーム機１００Ｂ、ゲーム機１００Ｃとテレビジョン受像器Ｄの組合せ、携帯電話１００Ｅなどに適用してもよい。

１ 編集画面
２ シーン選択エリア
３ 次シーン表示エリア
４ プレビューエリア
５ フィルムロールエリア
２０ 候補シーン
２１ カーソル
２２Ａ 上ボタン
２２Ｂ 下ボタン
２３Ａ 左ボタン
２３Ｂ 右ボタン
２４、２５ アイコン
２６ 削除アイコン
２７ 選択メニュー
２８ カーソル
２９ キャプション
３０ 候補シーン
４１ 再生動画
５０ サムネイル画像
１００ 画像編集装置
１１０ 素材準備部
１２０ 解析部
１３０ シーン区分部
１４０ 候補シーン選択部
１５０ 切替効果選択部
１６０ 編集画面生成部
１７０ 表示制御部
１７２ 表示部
１８０ 編集結果作成部
１８２ 入力部
３００ 素材群データベース
３１０ 解析結果データベース
３２０ ユーザ嗜好データベース
３３０ 編集結果データベース

Claims (13)

1. 画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択する候補シーン選択部と、
   前記候補シーン選択部により選択された前記ｎ番目のシーンの前記複数の候補シーンを表示するためのシーン選択エリアと、前記候補シーン選択部により選択された前記ｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させる表示制御部と、
   を備える、画像編集装置。
2. 前記編集画面は、前記次シーン表示エリアに表示された前記ｎ＋１番目のシーンの前記複数の候補シーンと、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンを、ツリー構造で表示するための表示エリアをさらに含む、請求項１に記載の画像編集装置。
3. 前記編集画面は、前記シーン選択エリアに表示された前記複数の候補シーンの中から選択された１つの候補シーンと前記編集結果のｎ−１番目及び／又はｎ＋１番目のシーンの候補シーンとの連結部分を表示するためのプレビューエリアをさらに含む、請求項１に記載の画像編集装置。
4. 前記シーン選択エリアに表示される前記複数の候補シーンの中からユーザにより順次選択された、前記編集結果の１〜ｍ番目（ｍは２以上の整数）のシーンの候補シーンを組み合わせることで、前記編集結果を作成する編集結果作成部をさらに備える、請求項１に記載の画像編集装置。
   
5. 前記候補シーン選択部は、
   前記画像素材の前記各シーンの特徴量、及び、当該各シーンの特徴量とｎ−１番目のシーンの特徴量との関連性に基づいて、前記ｎ番目のシーンの候補としての当該各シーンの推薦度をそれぞれ求め、
   前記推薦度に基づいて、前記画像素材の前記複数のシーンの中から、前記ｎ番目のシーンの前記複数の候補シーンを選択する、請求項１に記載の画像編集装置。
6. 前記候補シーン選択部は、前記画像素材の前記各シーンの特徴量、及び、ユーザの過去の選択結果を表す情報に基づいて、前記画像素材の前記複数のシーンの中から、前記ｎ番目のシーンの前記複数の候補シーンを選択する、請求項１に記載の画像編集装置。
7. 前記候補シーン選択部は、
   前記画像素材の前記各シーンの特徴量、及び、当該各シーンの特徴量と前記ｎ−１番目のシーンの特徴量との関連性に基づいて、前記ｎ番目のシーンの候補としての当該各シーンの推薦度を求める処理を、ｎ＝１〜ｍ（ｍは２以上の整数）について繰り返し実行することによって、前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度をそれぞれ求め、
   前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度に基づいて、前記画像素材の前記複数のシーンの中から、前記画像素材の編集結果の１〜ｍ番目のシーンの候補となる候補シーンを選択し、
   前記編集画面は、前記候補シーン選択部により選択された前記１〜ｍ番目の候補シーンのサムネイル画像をフィルムロール方式で表示するためのフィルムロールエリアをさらに含む、請求項１に記載の画像編集装置。
8. 前記シーン選択エリアにおける前記ｎ番目のシーンの候補シーンの選択が変更されたとき、
   前記候補シーン選択部は、前記１〜ｍ番目のシーンの候補としての前記各シーンの推薦度に基づいて、当該選択変更された前記ｎ番目のシーンの前記候補シーンの後に配列されるｎ＋１〜ｍ番目の候補シーンを、前記画像素材の前記複数のシーンの中からそれぞれ再選択し、
   前記表示制御部は、前記フィルムロールエリアに表示されるｎ＋１〜ｍ番目の候補シーンのサムネイル画像を、前記再選択されたｎ＋１〜ｍ番目の候補シーンのサムネイル画像に変更する、請求項７に記載の画像編集装置。
9. 前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンと前記ｎ−１番目及び／又はｎ＋１番目のシーンの候補シーンとの間の画像切替効果の候補を選択する切替効果選択部をさらに備え、
   前記編集画面は、前記切替効果選択部により選択された前記画像切替効果の候補を表示するための選択メニューをさらに含み、
   前記編集結果作成部は、前記編集画面の前記選択メニューに表示された前記画像切替効果の候補の中からユーザにより選択された１つの画像切替効果を、前記ｎ番目のシーンと前記ｎ−１番目及び／又はｎ＋１番目のシーンとの間の画像切替効果として決定する、請求項４に記載の画像編集装置。
10. 前記表示制御部は、前記ｎ番目のシーンの前記各候補シーンの特徴量を表す情報を、前記シーン選択エリアに表示された当該各候補シーンにそれぞれ関連づけて表示する、請求項１に記載の画像編集装置。
11. 前記画像素材は、撮像装置により撮像された動画及び／又は静止画を含む、請求項１に記載の画像編集装置。
12. 画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択するステップと、
    前記選択されたｎ番目のシーンの複数の候補シーンを表示するためのシーン選択エリアと、前記選択されたｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させるステップと、
    を含む、画像編集方法。
13. 画像素材の各シーンの特徴量に基づいて、前記画像素材の複数のシーンの中から、前記画像素材の編集結果のｎ番目（ｎは１以上、ｍ以下の整数）のシーンの候補となる複数の候補シーンを選択し、前記画像素材の前記各シーンの特徴量に基づいて、前記ｎ番目のシーンの候補シーンごとに、前記画像素材の前記複数のシーンの中から、前記編集結果のｎ＋１番目のシーンの候補となる複数の候補シーンを選択するステップと、
    前記選択されたｎ番目のシーンの複数の候補シーンを表示するためのシーン選択エリアと、前記選択されたｎ＋１番目のシーンの前記複数の候補シーンを、前記シーン選択エリアに表示された前記ｎ番目のシーンの前記複数の候補シーンにそれぞれ関連づけて表示するための次シーン表示エリアと、を含む編集画面を表示部に表示させるステップと、
    をコンピュータに実行させるための、プログラム。
    

Images