WO2005043901A1

WO2005043901A1 - レジューム再生システム

Info

Publication number: WO2005043901A1
Application number: PCT/JP2004/015237
Authority: WO
Inventors: Susumu Hasegawa; Jiroh Nakabayashi; Nobuo Kusumoto; Nobuyuki Ema
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-11-04
Filing date: 2004-10-15
Publication date: 2005-05-12
Anticipated expiration: 2006-05-04
Also published as: EP1689178A1; US20070263982A1; JP4362480B2; JPWO2005043901A1; CN1902926A; JP2010022003A; EP1689178A4; CN100488246C

Description

明細書

レジューム再生システム

技術分野

[0001] 本発明は、任意の形式の動画ファイルの再生を行う機器単独または機器間での、再生中断位置力の再生再開および操作者が指定した任意の位置力の再生再開 (レジューム再生)方式に関し、特に端末を用いた場合の再生再開方式に関する。背景技術

[0002] 従来から、動画ファイルを任意の途中位置力再生する手法にっ、ての提案がなされている。例えば、動画像符号化データと、その動画像符号化データのいくつかのフレームについて、フレーム情報を予め設定しておくことにより、任意のフレームからの途中再生を行う方法が開示されている (例えば、特許文献 1参照)。動画像符号ィ匕データをデータ Aとし、フレーム情報をデータ Bとして、途中フレームからの再生を説明する。フレーム情報には、動画像符号化データの途中フレームを再生するときに必要となる参照画像データと、途中フレームの符号化データと力データ Aのどの位置に格納されて、るかを示すアドレスが記述されて、る。

[0003] フレーム情報は、動画像符号化データを構成する全フレームのうちの、いくつかのフレームについて設定される。そして、フレーム情報が設定されているフレームは任意に選択可能であり、任意に選択されているフレームについてランダムアクセスが可能になる。従って、結果的に任意のフレームをランダムアクセスできることになる。このようなフレーム情報の構成例を図 8に示す。図 8に示すフレーム構成は、第 Iフレームの復号用参照画像データと第 Iフレームの動画像符号ィ匕データ格納アドレスというようにフレーム毎のデータとアドレスとが対応付けされて格納されて、る。

[0004] また、フレーム情報を別の構成とすることも可能である。別の構成例について図 9に示す。図 9に示す構成例においては、フレーム情報は、参照画像データと、途中フレームの符号化データと、その途中フレームに続く各フレームの符号ィ匕データと、により構成される。あるフレーム情報に含まれる符号ィ匕データは、次のフレーム情報における最初の符号ィ匕データのフレーム直前のフレームのものである。この場合も、フレーム情報は動画像を構成する全フレームのうちのいくつかのフレームに設定される。そして、フレーム情報が設定されるフレームは、任意に選択可能である。従って、任意に選択されるフレームについて、ランダムアクセスが可能になる。尚、フレーム情報全体には、動画像を構成する全フレームが含まれることになる。

特許文献 1：特開平 7-203358号公報

発明の開示

発明が解決しょうとする課題

[0005] 上記特許文献 1に開示された方法では、予め動画像符号ィ匕データの全フレームを含むフレーム情報を設定しておくことが必要であり、その内容は、複数の参照画像データと、それに続く符号化データのアドレス又は符号化データそのものと、が含まれている。すなわち、特許文献 1におけるフレーム情報とは、動画像符号化データの任意の部分を抜き出してファイルィ匕したものと言うことができる。このような方法では、フレーム情報を予め設定する工数と、フレーム情報を格納しておく記憶領域と、が必要となる。

[0006] ところで、動画像符号ィ匕データ内のフレーム数が多くなるほど、すなわち再生時間が長くなるほどフレーム情報は増加し、大量の記憶領域を必要となる。また、上記の方法では、動画像符号ィ匕データの任意位置力の途中再生の度に操作者が途中フレームを指定する必要がある。

[0007] 本発明は、動画像符号化データを再生途中で停止した場合に、同じの動画像符号化データを次回再生する際に、前回停止位置力のスムーズな再生を行う技術を提供することを目的とする。

課題を解決するための手段

[0008] 本発明に係るレジューム再生技術は、動画ファイルを再生途中で停止するか、または任意に指定した位置を記憶しておくことにより、同一の動画ファイルを次回再生する際に、自動的に前回停止位置力の再生を行う再生再開機能を有する。再生再開機能を、以降、「レジューム再生機能」と称する。

[0009] すなわち、本発明は、動画ファイルの再生を行う端末において、操作者が再生操作を行う GUI部と、画像、音声、テロップ等の異なる種別のデータ力なる動画ファイルと、再生動作に関する制御情報を記述した再生情報ファイルと、再生停止時点の任意フレーム数分の再生処理参照ファイルを記憶する記憶部と、動画ファイルの再生処理を行う動画ファイル処理部と、再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、動画ファイル処理部と再生情報ファイル処理部の制御を行う動作管理部と、をもつ。

[0010] これにより、操作者が再生を中断した位置、または任意に指定した位置力再生再開を行うレジューム再生を可能とし、また動画ファイルの任意位置からの途中再生の為の付随的な設定ファイルの作成を不要とする。

発明の効果

[0011] 本発明のレジューム再生システムでは、任意の動画ファイルの再生中断位置および、任意の位置からの再生再開が可能となる。また、レジューム再生に必要な再生制御情報、再生処理参照データをファイルィ匕しているため、再生再開機能は、レジュ一ム再生システムを搭載した端末単独および、異なる端末間で実行することが可能である。従って、操作がより簡単になり、また操作に関する自由度が向上するという利点がある。

図面の簡単な説明

[0012] [図 1]本発明の一実施の形態によるレジューム再生システムの構成例を示す図である

[図 2A]図 2Bとともに、本発明の一実施の形態によるレジューム再生システムにおいて、操作者が初めて動画ファイルを再生し、再生情報ファイルが作成されるまでの処理の流れを示すフローチャート図である。

[図 2B]本発明の一実施の形態によるレジューム再生システムにおいて、操作者が初めて動画ファイルを再生し、再生情報ファイルが作成されるまでの処理の流れを示すフローチャート図であり、図 2Aに続く図である。

[図 3A]図 3B、図 3Cとともに、本発明の一実施の形態によるレジューム再生システムにお!/、て、動画ファイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図である。

[図 3B]本発明の一実施の形態によるレジューム再生システムにおいて、動画ファイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図であり、図 3Aに続く図である。

[図 3C]本発明の一実施の形態によるレジューム再生システムにおいて、動画フアイルと再生情報ファイルとからレジューム再生を行う動作の流れを示すフローチャート図であり、図 3Bに続く図である。

[図 4]本発明の一実施の形態によるレジューム再生システムにおける動画ファイルの基本構成例を示す図である。

[図 5]本発明の一実施の形態による動画ファイル処理部の構成例を示す図である。

[図 6]本発明の一実施の形態によるレジューム再生システムにおける再生処理参照ファイルの構成例を示す図である。

[図 7]本発明の一実施の形態によるレジューム再生システムにおける再生情報フアイルの構成例を示す図である。

[図 8]—般的なフレーム情報の構成例を示す図であり、第 Iフレームの復号用参照画像データと第 Iフレームの動画像符号化データ格納アドレスと、うようにフレーム毎のデータとアドレスとが対応付けされて格納されている構成を示す図である。

[図 9]図 8とは異なるフレーム情報例を示す図であり、フレーム情報は、参照画像データと、途中フレームの符号化データと、その途中フレームに続く各フレームの符号ィ匕データと、により構成される様子を示す図である。

発明を実施するための最良の形態

以下、本発明の実施の形態によるレジューム再生システムについて図面を参照しつつ説明を行う。図 1は、本実施の形態によるレジューム再生機能に関するシステム構成（以下、「レジューム再生システム」と称する。）を示すブロック図である。図 1に示すように、本実施の形態によるレジューム再生システムは、任意の形式の動画データの再生を行う端末において、操作者が編集操作を行うための GUI部 (入力操作部） 11 と、レジューム再生動作に関する処理の制御を行う動作管理部 12と、動画ファイルの再生に関る処理の制御を行う動画ファイル処理部 13と、レジューム再生を実行するための制御情報を処理する再生情報ファイル処理部 15と、記憶部 17A、記憶部 17Bと、を含んで構成される。動画ファイル処理部 13は、動画ファイルに含まれる、異なる種別のデータを種別毎に再生する処理および記録する処理を行うデータ処理部 14を有している。

[0014] 再生情報ファイル処理部 15は、再生情報の解析を行う解析部 16を備えて、る。記憶部 17Aは、レジューム再生システムを搭載した端末の内部にあり、動画ファイル 18A と、再生情報ファイル 19Aと、再生処理参照ファイル 20Aと、をそれぞれ記憶する記憶領域を有する。記憶部 17Bは、外部のネットワーク上にあり、記憶部 17Aと同様に、動画ファイル 18Bと、再生情報ファイル 19Bと、再生処理参照ファイル 20Bと、をそれぞれ記憶する記憶領域を有する。

[0015] ここで、図 1に示すレジューム再生システムにおいて、操作者が動画ファイルのレジユーム再生を行う際の処理の流れについて図 2A、図 2B及び図 3A、図 3B、図 3Cに示すフローチャート図を参照しつつ説明を行う。

[0016] 図 2A、図 2Bは、操作者が初めて動画ファイルを再生し、再生情報ファイルの作成が行われるまでの流れを示すフローチャート図である。適宜図 1も参照して説明を行う。図 1及び図 2A、 2Bを参照しつつ処理の流れを説明する、まず、ステップ S201において、操作者からの操作イベントにより、 GUI部 11が、再生すべき動画ファイル名を取得する。

[0017] ステップ S202において、動作管理部 12は、 GUI部 11から取得した動画ファイル名を動画ファイル処理部 13に通知する。動画ファイル処理部 13は、ステップ S203において記憶部 17Aまたは記憶部 17Bから該当する動画ファイル (動画ファイル)を読み込む。端末内部の記憶部 17Aと、外部ネットワーク上の記憶部 17Bとの使い分けは、通常フアイル名指定の際のパス名を判別することにより行う。

[0018] 例えば、本実施の形態の例においては、端末内部の記憶部 17Aの場合は、ドライブ名 +動画ファイル名の組み合わせ力なり、外部ネットワーク上の記憶部 17Bの場合は、 URL +動画ファイル名の組み合わせを提示する。例えば、 c:¥resume¥douga_file. 拡張子の場合は記憶部 17Aを意味し、 http：〃 www.resume.com/douga_file.拡張子の場合は記憶部 17Bを意味する。本実施の形態においては、記憶部 17A内のファイルが指定されたとして説明する。

[0019] 次に、動画ファイルについて説明する。動画ファイルは通常、画像データ、音声データ、テロップデータ等複数の異なる種別のデータ力も成る。ファイルの容量を小さくする為に、画像データ、音声データには符号化処理を施し、データを圧縮して保持する場合が多い。この場合、データを再生する為には、復号化処理を行う必要がある

。符号化の方式としては、 1つの基本フレームデータおよび、その差分フレームデータを生成する方法と、 1つ 1つのフレームでデータを完結させる方法がある。

[0020] 前者はフレーム間予測を用いた画像の符号ィ匕方式および復号ィ匕方式として公知の手法であり、画像では MPEG4,H.263等の方式があり、音声では AMRという方式が有名である。 1つ 1つのフレームが完結している方式は、モーション JPEGという方式があり、 1つ 1つのフレームを JEPGという符号化方式を用いている。 1つ 1つのフレームが基本フレームであると考えることが可能である。

[0021] 動画ファイルにはアニメーションも存在する。ベクトルアニメーションと呼ばれる手法では、 1つの基本フレームデータと差分フレームデータの関係があり、差分フレームデータには、基本フレームデータで設定されて!、る座標値毎の差分値が記録される。本実施の形態では、動画ファイルの形式として普及している手法を用いて説明する。すなわち、画像データ、音声データはフレーム間予測を用いて符号ィ匕されており、画像データ、音声データ、さらにテキストデータ (テロップ)等、異なる種別のデータが多重化されているファイル形式である場合を前提とする。以降、動画ファイルは、前記多重化ファイルであることとして、説明を続ける。

[0022] 動画ファイルの処理を行う場合、データ処理部 14の詳細な構成を図 5に示す。データ処理部 14は、分離部 141、画像処理部 142、音声処理部 143、テロップ処理部 144からなる。分離部 141は、ステップ S204において、動画ファイル 18Aに含まれる画像データと、音声データと、テロップデータと、を分離する。

[0023] ここで、図 4を参照しつつ、上記動画ファイル 18Aの基本構成例について説明を行う。図 4に示すように、動画ファイルは、ヘッダ部 41とデータ部 42とに大別される。ヘッダ部 41は、ファイル内に含まれる画像符号化形式、音声符号化形式等の符号化形式種別と、データ部内において、最小管理単位に分割して格納されている画像データ、音声データ、テロップデータのそれぞれの管理単位の位置を示すアドレス等が含まれている。データ部 42には、画像データ、音声データ、テロップデータのそれぞれの最小管理単位が複数格納されている。ここで、データの最小管理単位とは、画像、音声のストリームデータ、および、一連の文字列を分割したものであり、例えば、画像では 1フレーム = 1最小管理単位 VI、 V2、 · ··、音声では任意の複数フレーム = 1最小管理単位 Al、 A2、 · ··、テロップでは同一のテロップ属性を持つ任意の複数文字 = 1 最小管理単位 Tl、 Τ2、 · ··、となるように定義されている。

[0024] 分離部 141における分離処理とは、ヘッダ部 41の最小管理単位のアドレスを検索し、画像、音声。テロップ毎に最小管理単位のデータを取り出し、一連の画像および音声のストリームデータ、テロップ全文字を、ワークメモリ上に再構築する処理を指す。

[0025] 次に、画像のストリームデータの内容について説明する。ストリームデータは、フレーム単位のデータが連続した一連のデータであり、基本フレームデータすなわち Iフレームと、差分フレームデータすなわち Ρフレームとからなる。

[0026] Iフレームは、 1フレームの復号化に必要な情報の全てのデータを含むフレームであり、 Ρフレームは、直前のフレームからの差分データのみを有するフレームである。すなわち、例えば画像データを復号ィ匕する際には、最初に、 Iフレームを用いて 1フレーム分の復号化処理を行い、引き続き、 1フレーム分の復号化処理済みデータと、差分のみの Ρフレームとに基づいて、次の 1フレーム分の復号化処理を行う。

[0027] 次に、ステップ S205において、動画ファイル処理部 13は、画像処理部 142と音声処理部 143とテロップ処理部 144とにそれぞれ対応するデータを転送し、動画ファイル 18Aの復号化処理を行う。ステップ S206において、動画ファイル処理部 13は、動画フアイル 18A内に予め設定された再生すべき時間と、復号化処理の経過時間とがー致する力否かを判定することにより、再生時間が満了したか否かを判定する。 YESの場合、ステップ S217に進み、復号ィ匕処理を停止し動画ファイル 18Aの再生を終了する。

NOの場合、ステップ S207に進む。

[0028] ステップ S207において、動作管理部 12は、操作者からのイベントにより再生停止ィベント、または再生情報ファイル生成指示イベントが発生した力否かを判定する。再生停止イベントまたは、再生情報ファイル生成指示イベントが発生して、る場合 (YES の場合）はステップ S208へ進み、レジューム再生を行うための関連ファイルの作成に移行する。再生停止イベントが発生していない場合 (NOの場合）は、ステップ S204へ戻り、動画ファイル 18Aの分離処理を継続する。

[0029] ステップ S208において、動作管理部 12は操作者からのイベントによりレジューム再生モードが指定されている力否かを判別する。 YESの場合、ステップ S209へ進みレジユーム再生を行うための関連ファイルの作成を継続する。 NOの場合、ステップ S218 へ進み復号ィ匕処理を停止し動画ファイル 18Aの再生を終了する（エンド)。

[0030] ステップ S209において、画像処理部 142は、再生停止イベントまたは、再生情報ファィル生成指示イベント発生後、動画ファイル力少なくとも 1フレーム分のデータを含む任意数分のフレームデータを取り出す。次いで、複数のフレームデータのうち少なくとも 1フレーム分のデータを復号化処理し、引き続き再符号化処理を行う。次いで、再符号化処理により生成した基本フレームと、先に動画ファイルから取り出した残りのフレームデータを結合し、再生処理参照用データとして端末内のワークメモリに一時的に保存する。勿論、動画ファイル力取り出した任意数のフレームデータ全てを再符号化しても良い。

[0031] 動画ファイル処理部 13は、ステップ S210において、全ての復号化処理を停止する。

次いで、ステップ S211において、動画ファイル処理部 13は、復号化処理を実行した経過時間すなわち再生経過時間と、復号ィ匕処理中に実行した最後の Iフレームの復号化処理時間すなわち Iフレーム処理時間を動作管理部 12へ通知する。

[0032] ステップ S212において、動作管理部 12は、再生経過時間と Iフレーム処理時間との差分を検出し、ステップ S213において、その差分の値が予め設定された閾値以下である力否かを判定する。ここで、閾値とは、レジューム再生の効果がある力否かを判定することができる値である。ステップ S213における判定結果が閾値以下である場合には、ステップ S215に進み、閾値以上である場合はステップ S214に進み、ステップ S214において、動画処理部 142は、前記ワークメモリに保存した再生処理参照用データを再生処理参照ファイルとして、記憶部 17Aに記憶する。

[0033] 再生処理参照ファイルの構成について、図 6を参照しつつ説明する。図 6に示すように、再生処理参照ファイルは、大きくヘッダ部 61とデータ部 65に分かれており、へッダ部 61には、任意のファイルがレジューム再生に適応するものであるか否かを示す処理判定コード 62と、対応する動画ファイル名 63と、ファイル内に格納した全てのフレームデータの数を示すフレーム数 64と、再生処理参照用データ 66とを含む。

[0034] 後述するレジューム再生動作では、画像の再生開始位置を画像ストリームデータ内の Iフレームに合わせるか否かの判定を行う。しかしながら、再生開始位置を Iフレームに合わせて再生を行う場合、 Iフレームが先頭にしか存在しない動画ファイルや、 Iフレームの間隔が大きい動画ファイルでは、操作者が再生を停止した位置と、実際にレジユーム再生を開始する位置との間の誤差が大きくなる。具体的には、再生経過時間と Iフレーム処理時間との差分が誤差となる。

[0035] 前述の閾値は、操作者が再生を停止した位置と、実際にレジューム再生を行う開始位置との許容誤差を示すものであり、誤差が閾値以下である場合、画像ストリームデータ内の Iフレーム力ものレジューム再生を行い、誤差が閾値よりも大きい場合、再符号化処理により作成した 1フレーム分のデータ、すなわち新規に作成した Iフレームからのレジューム再生を行う。

[0036] これにより、操作者の意図した停止位置と実際の再生開始位置との間の誤差を最小限にすることができる。また、不要な符号ィ匕処理とレジューム再生用にのみ使用するファイル、すなわち再生処理参照ファイルの作成を行わずに済ませることができる。ステップ S213における差分値が閾値より大きい場合には、ステップ S214へ進み、動画フアイル処理部 13は再生処理参照ファイルを記憶部 17Aに記録する。差分値が閾値以下の場合は、ステップ S215へ進む。

[0037] 本レジューム再生システムにおいては、勿論、ステップ S211力もステップ S213までの通知および判定処理を行わず、必ず再生処理参照ファイルを記録してもよい。この場合、必ず再生処理参照ファイルのサイズ分だけ記憶部の領域を使用することになる力レジューム再生を開始する位置の精度は向上することになる。

[0038] ステップ S215において、動作管理部 12は再生した動画ファイル名と再生経過時間とを再生情報ファイル処理部 15へ通知する。次いで、ステップ S216において、再生情報処理部 15は、動画ファイル名と再生経過時間とに基づ!/、て再生情報ファイルを作成し、記憶部 17Aへ記録する。ここで、再生情報ファイルの構成例について図 7を参照しつつ説明する。図 7に示すように、再生情報ファイルは、任意のファイルがレジューム再生に適応するものであるか否かを示す処理判定コード 71と、対応する動画ファィル名 72と、動画ファイル 18Aの再生開始位置を示す再生開始時間 73とを含む。本レジューム再生システムにおける処理は、記憶部 17Aに再生情報ファイルを記録した後、全ての再生動作を終了する。

[0039] 次に、図 3A、図 3B、図 3Cに示すフローチャート図を参照しつつ、図 2A、図 2Bを参照して説明した処理により動画ファイル 18Aと再生情報ファイル 19Aとに基づいて行われるレジューム再生の処理手順について説明する。

[0040] ステップ S301にお!/、て、 GUI部は再生する動画ファイル名を取得する。続、て、動作管理部 12は、ステップ S302において、操作者力のイベントによりレジューム再生モードが指定されて、る力否かを判別する。レジューム再生モードが指定されて、る場合は、ステップ S304へ進む。レジューム再生モードが指定されていない場合は、ステツプ S303へ進み、動作管理部 12は再生する動画ファイル名を動画ファイル処理部 13へ通知する。動画ファイル処理部 13は該当する動画ファイルを読み込み、ファイルの先頭力も復号ィ匕処理を開始する。ステップ S304において、動作管理部 12は動画フアイル名を再生情報ファイル処理部 15へ通知する。ステップ S305において、再生情報ファイル処理部 15は、動画ファイル名に対応する再生情報ファイルを読み込む。

[0041] ここで、動画ファイル名に対応する再生情報ファイル名の一例を示す。動画フアイル名が、 SAMPLE.拡張子 Aという名称であった場合に、再生情報ファイル名は

SAMPLE.拡張子 Bとしておくことにより、 2つのファイルの対応付けが可能となる。拡張子 Aは動画ファイルであることを示し、拡張子 Bは再生情報ファイルであることを示す。

[0042] ステップ S306にお、て、解析部 16は再生情報ファイルに記述された処理判定コード力レジューム再生用として適合しており、かつ、再生情報ファイルに記述された動画ファイル名が動作管理部 12により通知された動画ファイル名と一致するか否かの判定を行う。動画ファイル名が一致する場合は、ステップ S307へ進む。動画ファイル名がー致しない場合は、ステップ S303に進み、動作管理部 12は再生する動画ファイル名を動画ファイル処理部 13へ通知する。動画ファイル処理部 13は該当する動画ファィルを読み込み、ファイルの先頭から復号化処理を開始する。

[0043] ステップ S307において、再生情報ファイル処理部 15は、再生情報ファイルに記述された再生開始時間を動作管理部 12へ通知する。ステップ S308において、動作管理部 12は再生する動画ファイル名と再生開始時間とを動画ファイル処理部 13へ通知する。動画ファイル処理部 13は、ステップ S309において、動画ファイル名に対応する再生処理参照ファイル 20Aが記憶部 17A内に存在する力否かを検索する。再生処理参照ファイル 20Aが記憶部 17A内に存在する場合は、ステップ S311に進む。再生処理参照フアイ 20Aが記憶部 17A内に存在しない場合は、ステップ S310に進み、動画ファィルを読み込んだ後に、再生開始時間の直前に位置する Iフレーム力復号ィ匕処理を開始する。

[0044] ステップ S311において、動画ファイル処理部 13は再生処理参照ファイルを読み込む。

[0045] ステップ S312において、画像処理部 142は再生処理参照ファイル内の処理判定コードがレジューム再生用として適合しており、かつ再生処理参照ファイルに記述された動画ファイル名が動作管理部 12により通知された動画ファイル名と一致するカゝ否かの判定を行う。

[0046] 動画ファイル名がー致する場合は、ステップ S313へ進む。動画ファイル名がー致しない場合はステップ S310に進み、動画ファイルを読み込んだ後に、再生開始時間の直前に位置する Iフレーム力復号ィ匕処理を開始する。

[0047] ステップ S313において、動画ファイル処理部 13は動画ファイルを読み込み、さらに再生処理参照ファイル内のフレームデータの復号化処理を行う。ステップ S314にて、再生開始時間の位置力 S313で復号ィ匕したフレーム数分だけ前方へ進んだ位置にある Pフレームから復号化処理を開始する。

[0048] ステップ S315において、動画ファイル処理部 13は分離部 141と画像処理部 142と音声処理部 143とテロップ処理部 144とを制御しつつ、動画ファイルの復号化を行う。ステツプ S316において、動画ファイル処理部 13は、動画ファイル内に予め設定された再生すべき時間と復号ィヒ処理の経過時間とがー致する力否かにより、再生時間が満了したカゝ否かを判定する。再生時間が満了した場合 (YESの場合）は、ステップ S317に進み、動画ファイル処理部 13は全ての復号化処理を停止し、動画ファイルに対応する再生情報ファイルと再生処理参照ファイルが存在する場合、それらのファイルを削除する。再生情報ファイルおよび再生処理参照ファイルを削除した後に、本レジュ一ム再生システムは全ての再生動作を終了する。

[0049] 再生時間が満了していない場合 (NOの場合）は、ステップ S318に進む。ステップ S318において、動作管理部 12は、操作者力のイベントにより再生停止イベントまたは、再生情報ファイル生成指示イベントが発生した力否かを判定する。再生停止ィべントまたは再生情報ファイル生成指示イベントが発生している場合 (YESの場合)、ステツプ S319へ進み、レジューム再生を行う為の関連ファイルの作成に移行する。再生停止イベントが発生していない場合 (NOの場合）、ステップ S315に戻り、動画ファイルの分離処理を継続する。

[0050] ステップ S319において、画像処理部 142は、再生中断イベントまたは、再生情報ファィル生成指示イベント発生後、動画ファイル力少なくとも 1フレーム分のデータを含む任意数分のフレームデータを取り出す。次いで、複数のフレームデータのうち少なくとも 1フレーム分のデータを復号化処理し、弓 Iき続き再符号化処理を行う。

[0051] 次、で、再符号化処理により生成した基本フレームと、先に動画ファイル力取り出した残りのフレームデータを結合し、再生処理参照用データとして端末内のワークメモリに一時的に保存する。勿論、動画ファイル力も取り出した任意数のフレームデータ全てを再符号ィ匕しても良い。

[0052] 動画ファイル処理部 13は、ステップ S320において、全ての復号化処理を停止する。

次いで、ステップ S321において、動画ファイル処理部 13は、復号化処理を実行した経過時間すなわち再生経過時間と、復号ィ匕処理中に実行した最後の Iフレームの復号化処理時間すなわち Iフレーム処理時間を動作管理部 12へ通知する。

[0053] ステップ S322において、動作管理部 12は、再生経過時間と Iフレーム処理時間との差分を検出し、ステップ S323において、その差分の値が予め設定された閾値以下である力否かを判定する。ここで、閾値とは、レジューム再生の効果がある力否かを判定することができる値である。ステップ S323における判定結果が閾値以下である場合には、ステップ S325に進み、閾値以上である場合はステップ S324に進み、ステップ S324において、動画処理部 142は、前記ワークメモリに保存した再生処理参照用データを再生処理参照ファイルとして、記憶部 17Aに記憶する。

[0054] ステップ S325にお、て、動作管理部 12は再生した動画ファイル名と再生経過時間とを再生情報ファイル処理部 15へ通知する。ステップ S326において、再生情報フアイル処理部 15は、動画ファイル名と再生経過時間とに基づいて、再生情報ファイルを既存の再生情報ファイルに上書きし、記憶部 17Aへ記録する。

[0055] レジューム再生システムは、再生情報ファイルを記録後、全ての再生動作を終了する。

[0056] 前述のフローチャート図では、フレーム間予測を用いて符号ィ匕した画像データ、音声データと、テキストデータ (テロップ)等、異なる種別のデータを多重化した形式の動画ファイルについて説明した。ここで、他のファイル形式の場合について説明する。 1つ 1つの画像フレームが完結している形式の動画ファイルでは、各フレームが基本フレームとなる為、再生処理参照ファイルの生成処理は不要となる。レジューム再生システムにおいては、任意のフレームの再生再開位置を指定する再生情報フアイルの生成のみ行えば良い。

[0057] ベクトルアニメーション形式の動画ファイルでは、フレーム間予測形式の動画フアイルと同様に、基本フレームデータと差分フレームデータの関係がある為、再生再開位置は、基本フレームの位置、または再生処理参照フレームの位置に依存する。

[0058] 再生処理参照フレームは、差分フレームデータの再生を行った際の各座標の差分値を蓄積しておき、再生情報ファイル生成指示イベントが発生した時点で、直前に処理した基本フレームの各座標値に、蓄積した座標差分値を反映することにより生成する。そして生成した再生処理参照フレームを再生処理参照ファイルとして記憶する。

[0059] 前述の実施の形態においては、フレーム間予測を用いた画像データ力再生処理参照データを生成する為に、再符号化処理を行い、基本フレームを生成する手法を提示した。勿論、再生処理参照データを生成する手法は再符号化処理だけではない。

[0060] 復号化したフレームをそのまま YUV形式、 RGB形式の画像データとして再生処理参照データとしても良い。この場合、符号化処理を行わない為、再生処理参照データのファイルサイズは大きくなる力再生再開時の画質は品位が向上する。

[0061] 前述のフローチャート図では、レジューム再生システムを搭載した端末単独での動作を説明したが、記憶部 17A内の動画ファイル、再生情報ファイル、再生処理参照フアイルを、同様のレジューム再生システムを搭載した他の端末に転送することによつて、レジューム再生を実行することも可能である。

[0062] 以上において説明したように、本実施の形態によるレジューム再生システムを用いると、任意の再生中断位置力動画ファイルの再生を再開することが可能となる。また、レジューム再生に必要な再生制御情報と再生処理参照データとをファイルィヒしてヽるため、再生再開機能は、レジューム再生システムを搭載した端末単独で、或いは、他の異なる端末との間で実行することが可能である。

[0063] さらに、レジューム再生時において、操作者の意図する再生再開位置と実際の再生再開位置との許容誤差を閾値として設定しておき、再生処理参照ファイルの作成の判定に用いることにより、不要なファイルを作成することなぐ動画ファイルの任意の位置からの途中再生を行うことが可能となる。

産業上の利用可能性

[0064] 本発明は、種々の多重化データのレジューム再生に適用可能である。

Claims

請求の範囲

[1] 任意の形式の動画データ (静止画を連続的に記録したファイル、アニメ一 V

ィル等を含む。以下同じ。）の再生を行うシステム装置であって、

入力操作を行う入力操作部と、

動画データファイルと、前記動画ファイルの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、任意の単位フレーム数分の画像データからなる再生処理参照ファイルとを記憶する記憶部と、

前記動画ファイルの再生処理を行う動画ファイル処理部と、

前記再生情報ファイルの読み書きおよび解析を行う再生情報ファイル処理部と、前記動画ファイル処理部と前記再生情報ファイル処理部とを制御する動作管理部と

を有するレジューム再生システム。

[2] 前記記憶部は、レジューム再生システムを搭載する端末に内蔵又は外付け又は外部のネットワーク上で関連付けされていることを特徴とする請求項 1記載のレジューム再生システム。

[3] 前記動画ファイル処理部は、動画ファイルに含まれる異なる種別のデータを種別毎に再生する処理または記録する処理のうち少なくとも一方を行うデータ処理部を有することを特徴とする請求項 1又は 2記載のレジューム再生システム。

[4] 前記再生情報ファイル処理部は、

読み込んだファイルの構文を解析するファイル解析部と、

該ファイル解析部によるファイル解析の結果を前記動作管理部へ通知する通知手段と

を有することを特徴とする請求項 1から 3までのいずれ力 1項に記載のレジューム再生システム。

[5] 前記再生情報ファイルには、

処理すべきファイルであるか否かを示す処理判定コードと、再生すべき動画フアイルのファイル名と、再生すべき再生開始時間と、が記載されていることを特徴とする請求項 1から 4までの!/、ずれ力 1項に記載のレジューム再生システム。

[6] 前記動画ファイル処理部は、前記動画ファイルの再生処理中の再生経過時間と、動画

ファイルに含まれる基本フレームであって 1フレーム分の画像を再生するのに必要な全ての情報をもった参照画像生成用フレームの再生処理を行った基本フレーム処理時間と、を前記動作管理部へ通知する手段を有することを特徴とする請求項 1から 5 までのいずれ力 1項に記載のレジューム再生システム。

[7] 前記データ処理部は、再生情報ファイルを作成するタイミングを指示するイベント発生時点の次の任意数のフレームを動画ファイルから取り出す手段と、

基本フレームを生成する手段と、

前記基本フレームと直前フレームとの差分のみを含む差分フレームとを結合して 1 つの再生処理参照ファイルを生成する手段と

を有することを特徴とする請求項 2から 6までのいずれ力 1項に記載のレジューム再生システム。

[8] 前記再生処理参照ファイルは、処理すべきファイルであるか否かを示す処理判定コードと、再生すべき動画ファイルのファイル名と、基本フレームと差分フレームとのうち少なくとも基本フレームを含むことを特徴とする請求項 2から 7までのいずれか 1項に記載のレジューム再生システム。

[9] 前記動作管理部は、再生開始時間と基本フレーム処理時間との差分を検出し、検出した差分値が任意の閾値以内であるか否かを判定する判定手段を有することを特徴とする請求項 1から 8までのいずれ力 1項に記載のレジューム再生システム。

[10] 前記動画ファイル処理部は、前記動画ファイル内の任意の基本フレーム力再生処理を開始するか、或いは、再生処理参照ファイル内のフレームデータの再生を行つた後、引き続き差分フレームの再生処理を行うか否かを選択可能であることを特徴とする請求項 1から 9までのいずれ力 1項に記載のレジューム再生システム。

[11] 前記入力操作部は、操作者がレジューム再生を行うか否かを設定するモード値と、再生する動画ファイル名と、再生イベントと停止イベントとのうちの少なくともいずれか一方と、動画ファイル再生中の任意の位置で再生情報ファイルを作成するタイミングを指示するイベントと、を取得するインターフェースを有することを特徴とする請求項 1 力 10までの!/、ずれ力 1項に記載のレジューム再生システム。

[12] 任意の形式の動画データの再生を行う装置であって、

レジューム状態への移行命令を受けた場合に、その次の任意の数のフレームを基本フレーム化する処理を行うことを特徴とするレジューム再生システム。

[13] 操作者力の操作イベントにより、再生すべき動画ファイル名を取得するステップと該動画ファイル名に該当する動画ファイルを取得し、該動画ファイルが異なる種別のデータを多重化したファイルフォーマットであった場合、各種別毎のデータに分離するステップと、

1フレームの再生に必要な情報の全てのデータを含む基本フレームに関する再生処理と、直前のフレームからの差分データのみを有する差分フレームの再生処理を行うステップと、

基本フレームを含むフアイ操作者力ゝらの操作イベントにより再生停止命令または再生情報ファイルの生成命令が発せられたカゝ否かを判定し、再生停止イベントまたは、再生情報ファイル生成命令が発生している場合に、レジューム再生を行うための関連ファイルを作成し、再生処理を行った任意フレーム数分のデータから基本フレームを生成するステップとを有するレジューム再生方法。

[14] さらに、復号化処理を実行した再生経過時間と、前記新規 Iフレームの復号化処理時間をとの差分を検出するステップと、前記差分値が予め設定された閾値以下である力否かを判定するステップと、レジューム再生の効果がある力否かを判定する基準値である閾値以上である場合は再符号ィ匕データを記憶するステップと、

を有することを特徴とする請求項 13に記載のレジューム再生方法。

[15] さらに、多重化データの再生開始位置を元力も存在する Iフレームに合わせるか前記新規 Iフレームに合わせる力否かの判定を行うステップと

を有することを特徴とする請求項 13又は 14に記載のレジューム再生方法。

[16] 操作イベントによりレジューム再生モードが指定されているか否かを判別するステップと、

レジューム再生モードが指定されて、る場合に、 Iフレームを含むデータのファイル名に対応する再生情報ファイルを読み込むステップと、

再生情報ファイルに記述された再生ファイル名と再生開始時間とに基づ、て、前記動画ファイル名に対応する再生処理参照ファイルを検索し、再生処理参照ファイルが存在する場合は、前記再生処理参照ファイルを読み込み、再生処理参照ファイルを復号化し、再生開始時間の位置にある Pフレーム力復号ィ匕処理を開始し、再生処理参照ファイルが存在しない場合は、再生開始時間の直前に位置する Iフレーム力復号ィ匕処理を開始するステップと

を有するレジューム再生方法。

[17] 請求項 13から 16までのいずれ力 1項に記載のステップをコンピュータに実行させるためのプログラム。

[18] 前記動画ファイルは、画像データと、音声データと、テロップデータと、を有することを特徴とする請求項 1から 17までのいずれかに記載のシステム、方法又はプログラム。

[19] 異なる種別のデータが多重化された多重化データの再生を行う装置であって、多重化データファイルと、前記多重化データの再生位置を含む再生処理に関する制御情報を記述した再生情報ファイルと、単位フレーム分の再符号ィ匕データ力なる再生処理参照ファイルと、を記憶する記憶部と、

前記多重化ファイルの再生処理を行う多重化ファイル処理部と、

前記再生情報ファイルの解析処理を行う再生情報ファイル処理部と

を有するレジューム再生システム。