JP6214365B2 - 画像再生装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像再生装置、その制御方法、および制御プログラムに関し、特に、タッチパネルなどを用いて画面上の被写体を選択して、動画再生を行う画像再生装置に関する。

近年、パーソナルコンピュータ（ＰＣ）、携帯電話機などのモバイル機器、ゲーム機器、又はデジタルカメラなどの電子機器において、動画像を再生可能なものがある。動画像を再生する際、例えば、ＰＣではマウスを用いて、モバイル機器ではボタン又はタッチパネルなどを用いて、画面に表示されたボタン又はシークバーを移動させて動画像の所望シーンに早送り又は巻き戻しが行われている。

一方、直観的に動画像を再生する手法として、例えば、シークバーを移動させる代わりに、ユーザーが画面に表示された被写体を直接つかんで（つまり、ドラッグして）移動させることによって、動画像の早送り又は巻き戻しを行うようにしたものがある。この際、再生画像から被写体の軌跡を取得して、当該軌跡を示す軌跡線を画面に描画することによって、動画像再生の際のユーザーの操作性を向上させるようにした画像再生装置がある。

さらに、画面に表示された被写体を操作することによって、当該被写体に関連するデータを画面に表示するか又は当該被写体に関連する場面（シーン）に移行するようにした画像再生装置がある（特許文献１参照）。

特開平９−１１４４２７号公報

ところで、被写体を撮影する際において当該被写体を追従するために、デジタルカメラをパンニングしつつ撮影を行った結果得られた動画像シーンを再生する場合には、パンニングのため画面に表示された画像における被写体の位置が変化しない。つまり、画面上において被写体の軌跡は常に一定の位置となってしまい、この結果、被写体軌跡線を用いてユーザー所望の動画像シーンを選択して再生を行うことが困難となってしまう。

さらに、動画像再生の際に被写体が画面上を移動している場合であっても、例えば、被写体以外の領域（例えば、背景）が移動している際には、被写体をドラッグして移動させると、再生画像の更新に伴って被写体軌跡線も更新されてしまうことになる。このため、被写体に関してユーザーが所望の動画像シーンを選択することが困難となってしまう。

従って、本発明の目的は、パンニングしつつ撮影された動画像を再生する際においても、操作性および視認性を向上させて、ユーザー所望のシーンを容易に選択することができる画像再生装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像再生装置は、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置であって、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出手段と、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定手段と、前記移動判定手段によって前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画手段と、前記移動判定手段によって前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画手段と、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御手段と、を有することを特徴とする。

本発明による制御方法は、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置の制御方法であって、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画ステップと、前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画ステップと、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置で用いられる制御プログラムであって、前記画像再生装置が備えるコンピュータに、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画ステップと、前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画ステップと、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、を実行させることを特徴とする。

本発明によれば、被写体位置情報に基づいて描画された軌跡線又は領域位置情報に応じて描画された軌跡線で指定された被写体の位置に対応する画像を表示部に再生表示するようにしたので、パンニングしつつ撮影された動画像を再生する際においても、操作性および視認性を向上させて、ユーザー所望のシーン（画像）を容易に選択することができる。

本発明の第１の実施形態による画像再生装置の一例についてそのハードウェア構成を示すブロック図である。 被写体を追従するためにカメラをパンニングしつつ撮影を行った結果得られた動画像シーンの一例を示す図である。 図２に示す動画像シーンの１つのＳｃｅｎｅにおいてＣＰＵが背景相対軌跡描画処理を行った際の再生画面の一例を示す図である。 図１に示す画像再生装置で行われる動画像シーンの送り再生の一例を説明するための図である。 図１に示すカメラで行われる軌跡描画処理を説明するためのフローチャートである。 図１に示す画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。 本発明の第２の実施形態による画像再生装置で行われる動画像シーン送り再生を示す図である。 本発明の第２の実施形態による画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。

以下、本発明の実施の形態による画像再生装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像再生装置の一例についてそのハードウェア構成を示すブロック図である。

図示の画像再生装置１００は、例えば、デジタルカメラなどの撮像装置であり、動画像などの複数の画像を連続的に再生表示する。そして、当該画像再生装置１００には着脱可能にメモリカードなどの記録媒体２００が装着される。この記録媒体２００には、例えば、撮影の結果得られた動画像データなどの画像データが所謂画像符号化データとして記録されている。

画像再生装置１００は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１を有しており、当該ＤＲＡＭ１０１はメインメモリとして用いられる。そして、ＤＲＡＭ１０１には、撮影の結果得られた画像データおよび記録媒体２００から読み込まれた画像符号化データなどが一時的に保存される。

被写体検出部１０３は、ＤＲＡＭ１０１に一時的に保存された画像データにおいて被写体領域（以下単に被写体ともいう）を検出する。

被写体認証部１０４は、被写体検出部１０３で検出された被写体領域における特徴量を第１の被写体特徴情報として抽出する。そして、被写体認証部１０４は、予め登録された登録被写体特徴情報（第２の被写体特徴情報ともいう）と第１の被写体特徴情報とを比較して、その類似度を求める。続いて、被写体認証部１０４は当該類似度が予め設定された類似度閾値以上であると、第１の被写体を第２の被写体であると認証する。

タッチパネル１０５には、液晶パネルなどの表示装置（表示部）と透明な平板状の位置入力センサーとが組み合わされている。表示装置の画面上の表示をユーザーが接触（タッチ）すると、タッチパネル１０５は当該タッチ位置を示す位置情報を出力する。

デコーダ１０６は、例えば、ＤＲＡＭ１０１に保持されたＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの画像符号化データを復号して、復号後の画像データをＤＲＡＭ１０１に出力する。メディアインターフェース（Ｍｅｄｉａ Ｉ／Ｆ）１０７は、画像再生装置１００に装着された記録媒体２００から画像符号化データをＤＲＡＭ１０１に読み込む。

ＣＰＵ１０９は、画像再生装置１００全体の制御を司る。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１１には、ＣＰＵ１０９で動作するログラムが格納されている。また、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２は、ＣＰＵ１０９のワークメモリとして用いられる。

動きベクトル検出部１１３は、ＤＲＡＭ１０１に一時的に保存された複数枚の画像データにおいて画面で指定された指定領域（所定の領域）の動きを示す動きベクトルを検出する。なお、指定領域は複数指定することができる。

前述のＲＯＭ１１１には、例えば、次のプログラムが格納されており、ＣＰＵ１０９は当該プログラムに応じた次の処理を実行する。

ＣＰＵ１０９は、タッチパネル１０５から得られた位置情報と被写体検出部１０３によって検出された被写体領域の位置（被写体位置情報）とが一致すると、被写体が選択されたと判別する被写体選択判別処理を行う。

ＣＰＵ１０９は、通常の動画像再生の際、被写体検出部１０３を用いてデコーダ１０６によって復号化された画像データにおいて被写体位置（つまり、被写体領域）を検出して、被写体の軌跡を示す被写体軌跡情報を生成する被写体軌跡情報生成処理を行う。さらに、ＣＰＵ１０９は、当該被写体軌跡情報に応じて、ＤＲＡＭ１０１に存在する表示再生画像データに被写体の軌跡を示す被写体軌跡線を描画する軌跡描画処理を行う。

また、ＣＰＵ１０９は、タッチパネル１０５において被写体を選択した状態で指などを移動することによって得られる座標情報が軌跡描画処理によって描画された被写体軌跡線上にあるか又は所定の近接範囲にあるか否かを判定する軌跡座標判定処理を行う。加えて、ＣＰＵ１０９は、再生中の動画像シーンにおいて被写体軌跡情報に応じて被写体の移動量を求めて、被写体の位置が移動しているか否かを判別する被写体移動判別処理を行う。

さらに、ＣＰＵ１０９は、被写体を除く所定の領域（例えば、背景）の動きベクトルを算出して、当該動きベクトルに基づいて画面全体の移動情報（画面背景移動情報、つまり、領域位置情報）を生成する背景移動情報生成処理を行う。そして、ＣＰＵ１０９は、被写体軌跡情報と画面背景移動情報とに応じて画面の背景に対する被写体の相対的な軌跡を示す背景相対軌跡情報を生成する背景相対軌跡情報生成処理を行う。

また、ＣＰＵ１０９は、タッチパネル１０５において被写体を選択した状態で指などを移動することによって得られる座標情報と背景相対軌跡情報とが一致又は所定の近接範囲にあるか否かを判定する背景相対軌跡座標判定処理を行う。

なお、図示のように、画像再生装置１００には、ＤＲＡＭ１０１にアクセスするためのデータバス１０２が備えられるとともに、ＣＰＵ１０９が被写体検出部１０３〜Ｍｅｄｉａ Ｉ／Ｆ１０７に制御指示を行うための制御バス１０８が備えられている。さらに、画像再生装置１００にはＣＰＵ１０９とＲＯＭ１１１およびＲＡＭ１１２とを接続するプログラムバス１１０が備えられている。

図２は、被写体を追従するためにカメラをパンニングしつつ撮影を行った結果得られた動画像シーンの一例を示す図である。

図２において、自動車である被写体２０１は、図中右方向に進んでおり、ここでは、被写体２０１が常に撮影画面の中央に位置するように、カメラをパンニングしつつ撮影が行われたものとする。ここで、動画像シーンはＳｃｅｎｅ１からＳｃｅｎｅ８まであり、Ｓｃｅｎｅ１からＳｃｅｎｅ８の順に時刻が経過しているものとする。つまり、Ｓｃｅｎｅ１が最も古く、Ｓｃｅｎｅ８が最も新しいものとする。

Ｓｃｅｎｅ１からＳｃｅｎｅ８においては、被写体２０１が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影が行われているので、被写体２０１を除く所定の領域（例えば、背景）２０２は恰も移動している状態となる。

図３は、図２に示す動画像シーンのＳｃｅｎｅ５においてＣＰＵ１０９が背景相対軌跡描画処理を行った際の再生画面の一例を示す図である。なお、ここでは、記録媒体２００から上記の動画像シーンを示す画像符号化データがＤＲＡＭ１０１に読み込まれて再生されるものとする。

まず、ＣＰＵ１０９は、デコーダ１０６によってＳｃｅｎｅ５の前後それぞれ３フレーム分のデコード処理を行った後、上記の被写体移動判別処理によってＳｃｅｎｅ２〜Ｓｃｅｎｅ７における被写体２０１の移動量を求める。そして、ＣＰＵ１０９は被写体２０１の移動量に応じて、被写体の位置が移動しているか否かを判別する。

ここでは、被写体２０１は撮影画面の中央に位置するように、カメラをパンニングしつつ撮影されているので、ＣＰＵ１０９は被写体２０１の位置は移動していないと判別することになる。

次に、ＣＰＵ１０９は、背景移動情報生成処理によって被写体２０１を除く画面全体の背景２０２の移動情報を求める。ここでは、被写体２０１は撮影画面の中央に位置するように、カメラをパンニングして撮影を行っているので、前述のように、背景２０２は恰も図中左方向に移動することになる。

続いて、ＣＰＵ１０９は、現在の再生表示シーンであるＳｃｅｎｅ５の背景２０２に対してＳｃｅｎｅ２〜Ｓｃｅｎｅ７の被写体２０１の軌跡を、上記の背景相対軌跡描画処理によって描画して、図３に示す被写体軌跡線３０１を画面上に表示する。

図示の例では、被写体軌跡線３０１には、Ｓｃｅｎｅ５においてＳｃｅｎｅ２からＳｃｅｎｅ７における被写体２０１の位置を示すプロット点３０２から３０７が表示される。これら被写体軌跡線３０１およびプロット点３０２から３０７によって、ユーザーは被写体２０１の移動軌跡を容易に把握できるばかりでなく、各Ｓｃｅｎｅにおける被写体２０１の位置を確認することができる。

図４は、図１に示す画像再生装置で行われる動画像シーンの送り再生の一例を説明するための図である。なお、ここでは、図３に示す表示画面において再生表示中のＳｃｅｎｅ５からＳｃｅｎｅ７に送り再生（つまり、シーンジャンプ）を行う場合について説明する。

表示部にＳｃｅｎｅ５が画面表示されている状態で、ユーザーは被写体２０１をタッチパネル１０５上で、指５０１などによって選択（ドラッグ）する。そして、被写体２０１を選択した状態で、被写体２０１を被写体軌跡線３０１の外に移動させる。この際には、ＣＰＵ１０９は動画像の再生シーンを更新することなく、表示画面にはＳｃｅｎｅ５を表示する。そして、ＣＰＵ１０９はユーザーが被写体２０１を選択していることを示すため、選択された被写体２０１の画像を半透過アイコン５０２として表示画面上に合成描画する。

続いて、ユーザーは被写体２０１を選択した状態で、被写体軌跡線３０１上においてＳｃｅｎｅ７を示す位置まで被写体２０１（つまり、ここでは、半透明アイコン５０２）を移動させる。半透明アイコン５０２が被写体軌跡線３０１上のＳｃｅｎｅ７における被写体位置（つまり、プロット点３０７）を移動すると、ＣＰＵ１０９は被写体軌跡線３０１上の被写体２０１の位置に対応するＳｃｅｎｅ７を画面に再生表示する。

このようにして、図３に示す画面において、ユーザーが被写体２０１を選択して、被写体２０１を示す半透明アイコン５０２を被写体軌跡線３０１の外を移動させると、ＣＰＵ１０９は動画像シーンの再生表示の更新を一旦停止する。つまり、ＣＰＵ１０９は動画像シーンの再生表示を現状の状態で継続することになる。そして、半透明アイコン５０２を被写体軌跡線３０１上の所望のシーンであるＳｃｅｎｅ７を示す被写体２０１の位置（つまり、プロット点３０７）に移動させると、ＣＰＵ１０９は半透明アイコン５０２の移動位置に対応する被写体２０１が存在するＳｃｅｎｅ７を画面表示する。

図５は、図１に示すカメラで行われる軌跡描画処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、ＣＰＵ１０９の制御下で行われる。また、ここでは、記録媒体２００から上記の動画像シーンを示す画像符号化データがＤＲＡＭ１０１に読み込まれて再生されるものとする。

ユーザー指示に応じて軌跡描画処理を開始すると、まず、ＣＰＵ１０９は、現在画面に再生表示中の動画像シーンに対してその前後それぞれ複数のフレームをデコーダ１０６によってデコードしてＤＲＡＭ１０１に一時的に保存するデコードする。そして、ＣＰＵ１０９は、ＤＲＡＭ１０１に保存されたデコード後の複数のフレーム（つまり、画像）について被写体軌跡情報生成処理を行って被写体軌跡情報を生成する（ステップＳ５０１）。

続いて、ＣＰＵ１０９は、被写体移動判別処理によって被写体軌跡情報に基づいて被写体の位置が移動しているか否かを判別する（ステップＳ５０２）。ここでは、ＣＰＵ１０９は被写体の移動距離が所定の範囲内であると被写体の位置が移動していないと判別する。

被写体の位置が移動していると判別すると（ステップＳ５０２において、ＹＥＳ）、ＣＰＵ１０９は被写体軌跡情報を用いて軌跡描画処理によって被写体の軌跡（被写体軌跡線）を再生表示中の画面（つまり、シーン）に描画する（ステップＳ５０３）。そして、ＣＰＵ１０９は軌跡描画処理を終了する。

一方、被写体の位置が移動していないと判別すると（ステップＳ５０２において、ＮＯ）、ＣＰＵ１０９は、背景移動情報生成処理によって被写体２０１を除く画面全体（例えば、背景などの所定の領域）の動きベクトルを算出して、当該動きベクトルに基づいて画面移動情報（つまり、背景移動情報）を生成する（ステップＳ５０４）。

次に、ＣＰＵ１０９は、被写体軌跡情報および背景移動情報を用いて背景相対軌跡情報生成処理によって現在再生表示中のシーンにおける背景に対する被写体軌跡情報を生成する（ステップＳ５０５）。

続いて、ＣＰＵ１０５は軌跡描画処理によって、背景相対軌跡情報に基づいて被写体の位置を示す軌跡（つまり、被写体軌跡線）を現在再生表示中の画面に描画する（ステップＳ５０６）。そして、ＣＰＵ１０９は軌跡描画処理を終了する。ステップＳ５０６の処理によって、例えば、図３で説明したように、画面上に動画像シーン毎の被写体の位置を示す被写体軌跡線３０１が描画されることになる。

図６は、図１に示す画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、ＣＰＵ１０９の制御下で行われる。そして、ここでは、画面上に動画像シーンにおける１つのシーンが表示されているものとし、当該画面には前述の被写体軌跡線が描画されているものとする。

動画像シーン送り再生を開始すると、ＣＰＵ１０９は、被写体選択判別処理によって、画面に表示中の動画像シーンにおいてタッチパネル１０５上のタッチ操作で被写体が選択（ドラッグ）されているか否かを判別する（ステップＳ６０１）。被写体が選択されていないと（ステップＳ６０１において、ＮＯ）、ＣＰＵ１０９は動画像シーン送り再生を終了する。つまり、ＣＰＵ１０９は通常の再生を行うことになる。

一方、被写体が選択されていると（ステップＳ６０１において、ＹＥＳ）、ＣＰＵ１０９はタッチパネル１０５におけるタッチ位置（検出位置）をタッチパネル１０５から取得する（ステップＳ６０２）。そして、ＣＰＵ１０９は軌跡座標判別処理によってタッチパネル１０５上の検出位置が画面に表示されている被写体軌跡線上に位置するか否かを判別する（ステップＳ６０３）。

検出位置が被写体軌跡線上に位置すると（ステップＳ６０３において、ＹＥＳ）、ＣＰＵ１０９は被写体軌跡線上の位置に対応する被写体が存在する動画像シーン（つまり、フレーム）をデコーダ１０６によってデコードし画面表示して再生表示画像を更新する（ステップＳ６０４）。

続いて、ＣＰＵ１０９は、更新後の再生表示画像に応じて当該再生表示画像に対応する被写体軌跡線を画面に描画して被写体軌跡線を更新する（ステップＳ６０５）。この際、ＣＰＵ１０９は、例えば、図３で説明したようにして、被写体軌跡線を描画することになる。そして、ＣＰＵ１０９はステップＳ６０１の処理に戻る。

検出位置が被写体軌跡線上に位置しないと（ステップＳ６０３において、ＮＯ）、ＣＰＵ１０９は動画像の再生表示の更新を一旦停止する（ステップＳ６０６）。そして、ＣＰＵ１０９はステップＳ６０１の処理に戻る。

このように、本発明の第１の実施形態では、動画像シーンを表示する画面において、タッチパネル上の操作によって被写体が被写体軌跡線外に移動されると、ＣＰＵ１０９は動画像の再生を一旦停止する。そして、被写体が再度被写体軌跡線上に位置すると、ＣＰＵ１０９は被写体が位置づけられた被写体軌跡線上の位置に対応する動画像シーンを再生する。これによって、被写体が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影した結果得られた動画像シーンにおいても、被写体の移動軌跡を容易に視認して、ユーサーは所望のシーンに再生送りを直観的に行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像再生装置の一例について説明する。なお、第２の実施形態による画像再生装置のハードウェア構成は、図１に示す画像再生装置と同様であるので、ここでは説明を省略する。

図７は、本発明の第２の実施形態による画像再生装置で行われる動画像シーン送り再生を示す図である。なお、ここでは、図３に示す表示画面において再生表示中のＳｃｅｎｅ５からＳｃｅｎｅ７に送り再生（つまり、シーンジャンプ）を行う場合について説明する。

Ｓｃｅｎｅ５が画面表示されている状態で、ユーザーは被写体２０１をタッチパネル１０５上で、指５０１などによって選択（ドラッグ）する。この際には、ＣＰＵ１０９は動画像の再生シーンを更新することなく、表示画面にはＳｃｅｎｅ５を表示する。そして、ＣＰＵ１０９はユーザーが被写体２０１を選択していることを示すため、選択された被写体２０１の画像を半透過アイコン５０２として表示画面上に合成描画する。

ユーザーは被写体２０１（つまり、ここでは、半透明アイコン５０２）を選択した状態でジャンプしたい動画像シーン（ここでは、Ｓｃｅｎｅ７）を示す被写体軌跡線３０１上の位置（つまり、プロット点３０７）に半透明アイコン５０２を移動させる。そして、ユーザーはＳｃｅｎｅ７を示す被写体軌跡線３０１上の位置（プロット点３０７）で半透明アイコンを解除（ドロップ）する。

半透明アイコン５０２がＳｃｅｎｅ７を示す被写体軌跡線３０１上の位置（プロット点３０７）にドロップされると、ＣＰＵ１０９は、ドロップされた被写体軌跡線上の位置に対応するＳｃｅｎｅ７を画面に再生表示する。

このようにして、ユーザーが被写体２０１を選択して、被写体２０１を示す半透明アイコン５０２を被写体軌跡線３０１上の所望の動画像シーン（例えば、Ｓｃｅｎｅ７）を示す位置に移動させると、ＣＰＵ１０９は半透明アイコン５０２が移動した位置に対応する被写体２０１が存在するＳｃｅｎｅ７を画面表示する。

図８は、本発明の第２の実施形態による画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、ＣＰＵ１０９の制御下で行われる。そして、ここでは、画面上に動画像シーンにおける１つのシーンが表示されているものとし、当該画面には前述の被写体軌跡線が描画されているものとする。

動画像シーン送り再生を開始すると、ＣＰＵ１０９は、被写体選択判別処理によって、画面に表示中の動画像シーンにおいてタッチパネル１０５上のタッチ操作で被写体が選択（ドラッグ）されているか否かを判別する（ステップＳ８０１）。被写体が選択されていると（ステップＳ８０１において、ＹＥＳ）、つまり、被写体の選択が解除されていないと、ＣＰＵ１０９は動画像シーンの再生更新を停止する（ステップＳ８０２）。そして、ＣＰＵ１０９はステップＳ８０１の処理に戻る。

一方、被写体が選択されていないと（ステップＳ８０１において、ＮＯ）、つまり、被写体の選択が解除されると、ＣＰＵ１０９は、タッチパネル１０５におけるタッチ位置（検出位置）をタッチパネル１０５から取得する（ステップＳ８０３）。そして、ＣＰＵ１０９は、軌跡座標判別処理によってタッチパネル１０５上の検出位置が画面に表示されている被写体軌跡線３０１上に位置するか否かを判別する（ステップＳ８０４）。

検出位置が被写体軌跡線３０１上に位置すると（ステップＳ８０４において、ＹＥＳ）、ＣＰＵ１０９は被写体軌跡線３０１上の位置に対応する被写体が存在する動画像シーン（つまり、フレーム）をデコーダ１０６によってデコードし画面表示して再生表示画像を更新する（ステップＳ８０５）。

続いて、ＣＰＵ１０９は、更新後の再生表示画像に応じて当該再生表示画像に対応する被写体軌跡線を画面に描画して被写体軌跡線を更新する（ステップＳ８０６）。この際、ＣＰＵ１０９は、例えば、図３で説明したようにして被写体軌跡線を描画することになる。そして、ＣＰＵ１０９は、現在画面表示されている動画像シーンから動画像再生を再開し（ステップＳ８０７）、動画像シーン送り再生を終了する。

検出位置が被写体軌跡線３０１上に位置しないと（ステップＳ８０４において、ＮＯ）、ＣＰＵ１０９は、ステップＳ８０７の処理に進んで、再生停止を解除して現在画面表示されている動画像シーンから動画像再生を行う。

このように、本発明の第２の実施形態では、動画像シーンを表示する画面において、タッチパネル上の操作によって被写体が選択されると、ＣＰＵ１０９は動画像シーンの再生を一旦停止する。そして、被写体が被写体軌跡線上の任意の位置でその選択が解除されると、ＣＰＵ１０９は被写体の選択が解除された位置に対応する動画像シーンから再生を開始する。これによって、被写体が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影した結果得られた動画像シーンにおいても、被写体の軌跡を容易に視認して、ユーサーは所望のシーンに再生送りを直観的に行うことができる。

上述の説明から明らかなように、図１に示す例においては、被写体位置検出部１０３、動きベクトル検出部１１３、およびＣＰＵ１０９が被写体検出手段として機能し、ＣＰＵ１０９が移動判定手段、第１の描画手段、第２の描画手段、および表示制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも被写体検出ステップ、移動判定ステップ、第１の描画ステップ、第２の描画ステップ、および表示制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０３ 被写体検出部
１０４ 被写体認証部
１０５ タッチパネル
１０６ デコーダ
１０７ メディアインターフェース
１０９ ＣＰＵ
１１１ ＲＯＭ
１１２ ＲＡＭ
１１３ 動きベクトル検出部
２００ 記録媒体

Claims (10)

1. 所定の被写体が存在する複数の画像を連続的に再生する画像再生装置であって、
   前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出手段と、
   前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定手段と、
   前記移動判定手段によって前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画手段と、
   前記移動判定手段によって前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画手段と、
   前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御手段と、
   を有することを特徴とする画像再生装置。
2. 前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、当該選択された前記被写体の位置が前記軌跡線の上に位置していると、前記被写体の前記軌跡線の位置に応じた画像を表示部に再生表示することを特徴とする請求項１に記載の画像再生装置。
3. 前記表示制御手段は、前記被写体の前記軌跡線の位置に応じた画像を前記表示部に再生表示した際、当該再生表示された画像に応じて前記被写体の位置を示す軌跡線を更新することを特徴とする請求項２に記載の画像再生装置。
4. 前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、当該選択された前記被写体の位置が前記軌跡線の上に位置していないと、前記画像の再生を一旦停止して前記表示部に表示中の画像の表示を継続することを特徴とする請求項２又は３に記載の画像再生装置。
5. 前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、前記画像の再生を一旦停止して前記表示部に表示中の画像の表示を継続し、前記被写体が選択された後に当該選択が解除された場合に、当該選択が解除された前記被写体の位置が前記軌跡線の上に位置していると、前記被写体の前記軌跡線の位置に応じた画像を表示部に再生表示することを特徴とする請求項１に記載の画像再生装置。
6. 前記表示制御手段は、前記被写体の前記軌跡線の位置に応じた画像を前記表示部に再生表示した際、当該再生表示された画像に応じて前記被写体の位置を示す軌跡線を更新することを特徴とする請求項５に記載の画像再生装置。
7. 前記表示制御手段は、前記軌跡線を更新した後、前記再生表示された画像から連続的に再生を再開することを特徴とする請求項６に記載の画像再生装置。
8. 前記表示制御手段は、前記被写体が選択された後に当該選択が解除された場合に、当該選択が解除された前記被写体の位置が前記軌跡線の上に位置していないと、再生を停止した画像から連続的に再生を再開することを特徴とする請求項５〜７のいずれか１項に記載の画像再生装置。
9. 所定の被写体が存在する複数の画像を連続的に再生する画像再生装置の制御方法であって、
   前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、
   前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、
   前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画ステップと、
   前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画ステップと、
   前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、
   を有することを特徴とする制御方法。
10. 所定の被写体が存在する複数の画像を連続的に再生する画像再生装置で用いられる制御プログラムであって、
    前記画像再生装置が備えるコンピュータに、
    前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、
    前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、
    前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第１の描画ステップと、
    前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第２の描画ステップと、
    前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、
    を実行させることを特徴とする制御プログラム。

Images