WO1998046018A1 - Device and method for displaying pictures - Google Patents

Description

明 細 書 - 画像表示装置及び方法 技術分野

本発明は画像表示装置及び方法に関し、 例えば一連の動画像データに基づく画 像を表示する画像表示装置及び方法に適用して好適なものである。 背景技術

従来、 いわゆるシネフィルムに記録された映像のように可視画像として記録媒 体に記録されている素材の概要確認や所望シーンの選出は、 単にその記録媒体に 記録されている可視画像を目視することにより行うことができる。

一方、 動画像データのようにビデオテープやディスク等の記録媒体に不可視の 状態で記録されている素材の概要確認や所望シーンの選出は、 動画像データに基 づく動画像を時間の流れに沿って順次、 又は所定フレーム毎の静止画を間欠的に モニタ表示させることにより行うことができる。

しかしながら、 記録媒体に不可視の状態で記録されている素材の概要確認や所 望シーンの選出を上述のようにして行う場合、 各時点でみると作業者は 1枚の 2 次元画像を目視し、 またはある時点における 2次元的な静止画を目視しているに 過ぎない。

このため素材の概要を確認する場合においても時間の短縮化には限界があり、 また所望シーンを選出する場合においても、 ビデオテープレコーダ等の再生装置 に対する再生や、 早送り又は巻戻し等の時間軸方向の操作なしでは必要なシーン の場所を特定することが困難であった。

また近年では動画像データの記録媒体として例えばハードディスク等のマルチ アクセス性の高いノンリニアメディアが用いられており、 記録媒体としてこのよ うなものを用いた場合には再生装置 （ハードディスク装置等） に対して複数のァ クセスボイントから並列的に複数動画像又は同一動画像への同時早送りゃ卷戻し、 要所要所での 1フレーム画像の再生などの操作が頻繁に行われる可能性がある。 従って例えば編集システムを構築するにあたって動画像データの記録媒体とし てノンリニアメディアを用いる場合には、 再生装置としてデータアクセス性、 デ ータ転送レート及びデータ伝送速度等に高い機能が要求され、 結果として低価格 なシステムの構築が困難な問題があった。 発明の開示

本発明は以上の点を考慮してなされたもので、 動画像の概要確認及び所望シー ンの選出を短時間でかつ容易に行い得る画像表示装置及び画像表示方法を提案し ようとするものである。

かかる課題を解決するため本発明においては、 画像表示装置に、 2次元表示さ れる一連の動画像データをサンプリグ位置を一の方向に順次移動させながら他の 方向に 1次元的にサンプリングして得られるデータに基づいて静止画像の画像デ ータを作成する作成手段と、 動画像データに基づく一連の動画像中の特定のフレ ーム画像を検出する検出手段と、 特定のフレーム画像を、 静止画像と共に時間軸 を一致させて表示する表示手段とを設けるようにした。

この結果オペレータは、 表示された特定のフレーム画像及び静止画像に基づい て動画像データに基づく動画像の全体的な流れを直ちに認識することができる。 また本発明においては、 画像表示方法において、 2次元表示される一連の動画 像データをサンプリグ位置を一の方向に順次移動させながら他の方向に 1次元的 にサンプリングして得られるデータに基づいて静止画像の画像データを作成する と共に、 動画像データに基づく一連の動画像中の特定のフレーム画像を検出する 第 1のステップと、 当該検出した特定のフレーム画像を、 作成手段により作成さ れた画像データに基づく静止画像と共に時間軸を一致させて表示する第 2のステ ップとを設けるようにした。

この結果オペレ一タは、 表示された特定のフレーム画像及び静止画像に基づい て動画像データに基づく動画像の全体的な流れを直ちに認識することができる。 本発明によれば、 画面表示装置に、 2次元表示される一連の動画像データを サンプリグ位置を一の方向に順次移動させながら他の方向に 1次元的にサンプリ ングして得られるデータに基づいて静止画像の画像データを作成する作成手段と、 動画像データに基づく一連の動画像中の特定のフレーム画像を検出する検出手段 と、 検出手段により検出された特定のフレーム画像を、 作成手段により作成され た画像データに基づく静止画像と共に時間軸を一致させて表示する表示手段とを 設けるようにしたことにより、 オペレータが表示された特定のフレーム画像及び 静止画像に基づいて動画像データに基づく動画像の全体的な流れを直ちに認識し 得るようにすることができ、 かくして動画像の概要確認及び所望シーンの選出を 短時間でかつ容易に行い得る画像表示装置を実現できる。

また本発明によれば、 2次元表示される一連の動画像データをサンプリグ位置 を一の方向に順次移動させながら他の方向に 1次元的にサンプリングして得られ るデータに基づいて静止画像の画像データを作成すると共に、 動画像データに基 づく一連の動画像中の特定のフレーム画像を検出する第 1のステップと、 第 1の ステップにおいて検出した特定のフレーム画像を、 作成手段により作成された画 像データに基づく静止画像と共に時間軸を一致させて表示する第 2のステップと を設けるようにしたことにより、 オペレータが表示された特定のフレーム画像及 び静止画像に基づいて動画像データに基づく動画像の全体的な流れを直ちに認識 し得るようにすることができ、 かくして動画像の概要確認及び所望シーンの選出 を短時間でかつ容易に行い得る画像表示方法を実現できる。 図面の簡単な説明

図 1は、 ビデオブラゥザの説明に供する概念図である。

図 2は、 本実施の形態による画像表示装置の構成を示すブロック図である。 図 3は、 編集初期画面を示す略線図である。 .

図 4は、 編集画面を示す略線図である。 図 5は、 編集画面を示す略線図である。 - 図 6は、 信号取込みモード処理手順を示すフロ一チヤ一トである。

図 7は、 表示モード処理手順を示すフローチャートである。

図 8は、 フレームビデオインデックス表示処理手順を示すフローチヤ一トであ る。

図 9は、 他の実施の形態を示す略線図である。

図 1 0は、 他の実施の形態を示す略線図である。

図 1 1は、 他の実施の形態を示す略線図である。 発明を実施するための最良の形態

以下図面について、 本発明の実施の一形態を詳述する。

(1) ビデオブラウザ

図 1に示すように、 動画像データに基づく一連の動画像は、 各時点のフレーム 画像を時間軸方向に順次並べたものと考えることができる。 実際上 NTS C (Na t i o n a l T e l e v i s i o n S y s t em C omm i t- t e e) 方式ではビデオ信号のフレーム周波数が 30 [H z] であり、 従って動 画像は 1秒間に 30枚のフレーム画像から構成される。

このような動画像を構成するビデオ映像群 1に対し、 n枚のフレーム画像 2ご とに垂直方向のスリット （以下これを垂直スリットと呼ぶ） 3を順次一方向に移 動させながら抽出し、 これら抽出した垂直スリツト 3を他方向に順次並べて静止 画像 （以下、 これをビデオブラウザと呼ぶ） 4を形成する場合について考える。 なお垂直スリット 3の抽出位置は、 画面の左端部から右方向に移動し、 画面の右 端部に達したときには再び画面の左端部から右方向に移動させるものとする。 ここで例えば n = l、 フレーム画像 2の水平方向を Xドットとし、 垂直スリツ ト 3のスリット幅を ΔΧドットとすると、 次式

_ X

上— …… ） で与えられる f 枚のフレーム画像毎にスリツト位 が画面の右端部から左端部に 移動し、 かっこのとき得られた各垂直スリット 3によって水平方向が Xドットの

1画面分のビデオブラウザ 4が形成される。 そしてこのビデオブラウザ 4は、 f 枚分のフレーム画像 2に基づく動画像の内容を圧縮した静止画として認識するこ とができる。

従って素材の最初から最後までに渡ってこのようなビデオブラゥザ 4を作成す ることによって、 当該ビデオブラゥザ 4に基づいて素材の全体的な流れを短時間 にかつ精度良く認識することができる。

(2) 画像表示装置の構成

ここで図 2は、 本発明を適用した画像表示装置 1 0を示し、 キーボード 1 1及 びマウス 1 2が入出力回路 1 3及びシステムバス 1 4を順次介してホストコンピ ュ一タ 1 5と接続されている。 これによりオペレータがこれらキーボード 1 1及 びャウス 1 2を介してホストコンピュータ 1 5に各種コマンドを与える得るよう になされている。

ホストコンピュータ 1 5においては、 ビデオ信号の取込みモ一ド時、 ォペレ一 タから与えられるコマンドに基づいてスィッチ回路 1 6を制御することにより、 当該スィッチ回路 1 6に接続された複数の電送回線 1 7A〜1 7 N及び複数のビ デォテープレコーダ 1 8A〜1 8 Nのなかから 1つのビデオ信号源を選択させ、 当該ビデオ信号源から供給されるビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2Nを アナログ ·ディジタル変換回路 1 9に送出させる。

アナ口グ ·ディジタル変換回路 1 9は、 供給されるビデオ信号 S 1 A〜S 1 N 、 S 2A〜S 2 Nを順次ディジタル変換し、 かくして得られた動画像データ D 1 を順次フレーム単位で第 1の V R AM (V i d e o R a n d om Acc e s s Memo r y) 20の記憶領域 （実際の表示画面と対応して形成され ている） に格納する。

そしてこの第 1の VRAM20に格納されたフレーム単位の動画像デ一タ D 1 は、 システムバス 1 4を介してイメージプロセッサ 2 1により順次読み出され、 当該イメージプロセッサ 21の動画像データ圧縮部 21 Aにより例えば J PEG I, J o i n t P h o t o g r a p h i c E x p e r t s G r o u p) 等の 所定の規格で圧縮符号化される。

さらにこの圧縮符号化された動画像データ D 1は、 システムバス 1 4を介して 例えば RA I D (R e d u π a a u t A r a y o f I n e x p e n— s i v e D i s k s) 等でなる外部記憶装置 22に与えられ、 ホストコンピュ ータ 1 5の制御のもとに新たなタイムコードが付加されると共にフアイル化され て当該外部記憶装置 22に格納される。

このときイメージプロセッサ 2 1のシーン画像データ抽出部 2 1 Bは、 圧縮処 理により得られた各フレーム間の画像相関情報及ぴ輝度相関情報に基づいて、 シ —ンチェンジの最初のフレーム画像及び力メラのフラッシュがたかれた瞬間のフ レーム画像 （以下、 これらのフレーム画像をまとめてシーン画像と呼ぶ） を検出 し、 検出結果をシステムバス 14を介してホストコンピュータ 1 5に送出する。 またホストコンピュータ 1 5は、 イメージプロセッサ 21のシーン画像データ 抽出部 2 1 Bにより検出された各シーン画像のタイムコードを順次その動画像デ —タ D 1のファイル （以下、 これを動画像データファイルと呼ぶ） を管理するデ ータベースの 1つの要素として外部記憶装置 22に格納する。

さらにこのときイメージプロセッサ 21のスリツトデータ読取り部 2 1 Cは、 入カスリット移動部 2 1 Dの制御のもとに、 第 1の VRAM20に順次書き込ま れた 1フレーム分の動画像データ D 1から抽出位置を順次一方向に移動させなが ら上述した垂直スリッ ト 3 (図 1) のデータ （以下、 これをスリッ トデータと呼 ぶ） をサンプリングして抽出する。

そしてこの抽出されたスリットデータは、 イメージプロセッサ 2 1の出カスリ ット移動部 21 Eの制御のもとにスリツトデータ書込み部 2 1 Fにより書き込み 位置を順次一方向に移動させながら第 2の VRAM 23の記憶領域 （実際の表示 画面と対応して形成されている） に順次書き込まれる。

そして第 2の VRAM23に 1画面分のスリツトデータが書き込まれる毎に、 これがホス トコンピュータ 1 5の制御のもとに読み出され、 システムバス 1 4を 介して外部記憶装置 2 2に与えられてデータべ一スの 1つの要素として当該外部 記憶装置 2 2内に格納される。

このようにしてこの画像表示装置 1 0では、 スィッチ回路 1 6に複数のビデオ 信号源から供給されるビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nのなかから指 定された 1つのビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nに基づく動画像の圧 縮符号化データと、 所定のシーン画像のタイムコード及びビデオブラゥザの画像 データ等の各種データからなるデータベースとを生成して、 これらを外部記憶装 置 2 2に記憶保持させ得るようになされている。

一方ホス トコンピュータ 1 5は、 表示モード時、 外部記憶装置 2 2に予め格納 されている画像データを読み出し、 これをイメージプロセッサ 2 1に与える。 イメージプロセッサ 2 1は、 外部記憶装置 2 2から与えられる画像データに基 づいて、 所定画面をモニタ表示させるための画像データ （以下、 これを表示画像 データと呼ぶ） を生成し、 これを第 3の V R AM 2 4に格納する。

このとき第 3の V R AM 2 4に格納された表示画像データは、 所定周期で順次 読み出され、 ディジタルアナログ変換回路 2 5においてアナログ変換された後、 モニタ 2 6に送出される。 この結果初期状態においては、 モニタ 2 6に図 3のよ うな編集初期画面 3 0が表示される。

そしてこの状態においてキーボ一ド 1 1を介して編集対象の動画像デ一タファ ィルのファイル名が入力されると、 対応するビデオブラゥザの画像データ及びシ ーン画像の画像データが外部記憶装置 2 2から読み出され、 これがシステムバス 1 4を介してイメージプロセッサ 2 1に与えられる。

このときイメージプロセッサ 2 1は、 縮小画面データ形成部 2 1 Gにおいて、 供給されるビデオブラウザの画像データを間引きすることにより縮小されたビデ ォブラウザの画像デ一タを生成すると共に、 供給される各シーン画像の画像デー タを復号及ぴ間引きすることにより縮小された各シーン画像の画像デ―タを生成 する。 そしてイメージプロセッサ 2 1は、 これら生成した画像データに基づいて 表示画像データを生成し、 これを第 3の V R AM 2 .4に書き込む。

この結果モニタ 2 6に編集初期画面 3 0の所定位置に図 4のようにビデオイン デックスウインド 3 1が表示されてなる編集画面 3 2が表示される。

この編集画面 3 2では、 ビデオインデックスゥンド 3 1内に、 指定された動画 像データファイルに対応するビデオブラゥザ 3 3が複数段に並べて表示されると 共に、 各ビデオブラウザ 3 3間にスケール 3 4及び対応するタイムコード 3 5が 表示され、 かつビデオブラウザ 3 3及びタイムスケール 3 4間の対応する位置に 縮小されたシーン画像 3 6が表示される。

また編集画面 3 2上には、 イメージプロセッサ 2 1の制御のもとに、 マウス 1 2の操作に応動して編集画面 3 2内を移動するカーソル （図示せず） が表示され る。

そしてこの編集画面 3 2では、 カーソルをビデオブラウザ 3 3の任意の位置又 は任意のシーン画像 3 6上に合わせてマウス 1 2をクリックすることにより、 対 応するタイムコ一ドのフレーム画像又はシーン画像を動画像表示領域 3 7に表示 させることができる。 またこのときタイムコード表示領域 3 8内にそのフレーム 画像のタイムコードが表示されると共に、 トータルデュレ一シヨン表示領域 3 9 内にその動画像データファイル全体の長さが表示される。

この状態において、 力一ソノレをいずれかのリモコンボタン 4 0 A〜4 0 E上に 合わせてマウス 1 2をクリックすることにより、 対応する動作 （巻戻し、 リバ一 ス再生、 停止、 通常再生又は早送り） を外部記憶装置 2 2に実行させることがで きる。 なおリバース再生時及び通常再生時には、 再生された動画像が動画像表示 部 3 7内に表示される。

さらに動画像表示領域 3 7内にフレーム画像が表示された状態において、 カー ソルをマークイン画像表示領域 4 1上又はマークアウト表示領域 4 2上に移動さ せてマウス 1 2をクリックすることにより編集時におけるマ一クイン点又はマ一 クァゥト点を指定することができる。 このときマークイン画像表示領域 4 0又は マ一クァゥト表示領域 4 1には、 指定されたフレーム画像 （すなわち動画像領域 3 7に表示されていたフレーム画像） が表示され、 そのフレーム画像のタイムコ 一ドがマークイン画像タイムコード表示領域 4 3又はマークァゥ ト画像タイムコ 一ド表示領域 4 4内に表示される。

なおこのようにして指定されたマ一クイン点又はマークァゥ ト点のタイムコ一 ド情報は、 外部記憶装置 2 2に与えられて記憶保持される。 そしてこのタイムコ ード情報が必要に応じて後段の編集装置 （図示せず） に与えられることにより、 当該タイムコ一ド情報に基づいて編集が行われる。

さらにこの編集画面 3 2では、 ビデオインデックスウィンド 3 1内の左上に表 示されたシーン画像表示変更指定ボタン 4 5 A、 4 5 B上にカーソルを合わせて マウス 1 2をクリックすることにより、 表示するシーン画像 3 6として、 シーン チェンジの最初のフレーム画像 （ 「S c e n e」 ） 又は前後のフレーム画像に比 ベて輝度レベルが著しく変化するフレーム画像 （ 「F 1 a s h」 ） に変更するこ とができる。

またマウス操作によりスクロールバー 4 6を操作することにより、 ビデオブラ ゥザ 3 3及びシーン画像 3 6等をスクロールさせてそのとき表示されていない部 分のビデオブラゥザ 3 3及びシーン画像 3 6をビデオインデックスウィンド 3 1 内に表示させることができ、 またカーソルをウィンドクローズボタン 4 7上に合 わせてマウス 1 2をクリックすることにより、 ビデオインデックスウィンド 3 1 を閉じさせることができる。

一方この編集画面 3 2では、 カーソルをビデオブラウザ 3 6の任意の位置又は 任意のシーン画像 3 5上に合わせてマウス 1 2をダブルクリックすることにより 、 図 5のように編集画面 3 0内にフレーム画像インデックスウィンド 5 0を表示 させることができる。

この場合フレーム画像インデックスウィンド 5 0内には、 ビデオブラウザ 3 6 のダブルクリックされた位置に対応するフレーム画像又はダブルクリックされた シーン画像 3 6を中心として前後複数フレーム分のフレーム画像 5 1がそれぞれ タイムコード 5 2と共に表示される。 このときフレーム画像ィンデックスウインド 5 0-の左上部に表示された表示間 隔フレーム数指定ボタン 5 3 A〜5 3 Bのいずれかを選択してクリックすること により、 表示されるフレーム画像の間隔を 1フレーム （ 「l F r a m e」 ） 、 5 フレーム （ 「5 F r a m e」 ） 、 10フレーム （ 「10 F r a m e」 ） のいずれか に変更することができる。

さらにこれらフレーム画像ィンデックスウインド 5 1内に表示されたフレーム 画像 5 1のいずれかにカーソルを合わせてマウス 1 2をクリックすることにより 当該クリックしたフレーム画像 5 1を動画像表示領域 3 7に表示させることがで さる。

またこのフレーム画像インデックスウィンド 5 0では、 マウス操作によりスク 口一ルバ一 5 4を操作することにより当該フレーム画像ィンデックスウインド 5 0内に表示されるフレーム画像 5 1をスクロールさせてさらに周囲のフレーム画 像 5 1を表示させることができ、 さらにウィンドクローズボタン 5 5をクリック することにより当該フレーム画像ィンデックスウィンド 5 0を閉じさせることが できる。

従ってフレーム画像ィンデックスウィンド 5 0内の所望するフレーム画像 5 1 上にカーソルを合わせてマウス 1 2をクリックすることにより動画像表示領域 3 7に当該フレーム画像 5 1を表示させた後、 クローズボタン 5 5をクリックして フレーム画像インデックスウィンド 5 0を閉じさせ、 この後マ一クイン画像表示 領域 4 1又はマークァゥト表示領域 4 2をクリックすることによって、 フレーム 画像ィンデッタスウインド 5 0を利用して編集時のマ一クイン点及びマークァゥ ト点を指定することができる。

このようにしてこの画像表示装置 1 0においては、 表示モード時、 指定された 動画像データファイルに対応するビデオブラウザ 3 3及び各シーン画像 3 6をモ ニタ表示すると共に、 これらビデオブラウザ 3 3及び各シーン画像 3 6に基づい て所望するマークイン点及びマークァゥト点を順次指定することができるように なされている。 ( 3 ) ホス トコンピュータの各種処理 - ここで上述のような取込みモード時及び表示モード時における動作は、 全てホ ス トコンピュータ 1 5 (図 2 ) の制御のもとに行われる。

実際上ホストコンピュータ 1 5は、 ビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nの取込みモード時、 図 6に示す信号取込み処理手順 R T 1に従って、 まずステ ップ S P 1においてこの信号取込み処理手順 R T 1を開始すると、 続くステップ S P 2において信号を取り込むべきビデオ信号源が指定されるのを待ち受ける。 やがてホストコンピュータ 1 5は、 このステップ S P 2において肯定結果を得 ると、 ステップ S P 3に進んでそのビデオ信号源から与えられるビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nに基づき形成される動画像データファイルのフアイ ル名が入力されたか否かを判断する。

そしてホストコンピュータ 1 5は、 やがてこのステップ S P 3において肯定結 果を得ると、 ステップ S P 4に進んで入力されたファイル名を外部記憶装置 2 2 に登録する。

次いでホストコンピュータ 1 5は、 ステップ S P 5に進んでスィツチ回路 1 6 を制御することにより指定されたビデオ信号源を選択させ、 かく して当該ビデオ 信号源から供給されるビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nに基づく動画 像データ D 1を 1フレーム分ずつ順次第 1の V R AM 2 0に書き込ませる。 次いでホストコンピュータ 1 5は、 ステップ S P 6に進んでィメ一ジプロセッ サ 2 1を制御することにより、 第 1の V R AM 2 0に順次書き込まれる 1フレ一 ム分の動画像データ D 1を順次圧縮符号化させると共に、 順次シーン画像を検出 させ、 かつ順次サンプリング位置を一方向に移動させながら垂直スリツト 3のス リットデータを抽出させてこれを第 2の V R AM 2 3に書き込ませる。

またホストコンピュータ 1 5は、 このとき外部記憶装置 2 2を制御することに より、 イメージプロセッサ 2 1からシステムバス 1 4を介して供給されるこれら 圧縮符号化された動画像データ D 1を新たなタイムコードを付加し、 ファイル化 して記憶させ、 かつイメージプロセッサ 2 1により検出されたシーン画像のタイ ムコードをデータベースとして当該外部記憶装置 2- 2に記憶させる。

さらにホストコンピュータ 1 5は、 第 2の V R AM 2 3に 1画面分のスリット データが書き込まれると、 これを読み出させて外部記憶装置 2 2に送出させる一 方、 これと同時に外部記憶装置 2 2を制御することによりこれを記憶保持させる そしてホストコンピュータ 1 5は、 この後指定されたビデオ信号源からのビデ ォ信号3 1入〜3 1 1^、 S 2 A〜S 2 Nの供給が終了すると、 スィッチ回路 1 6 を制御して当該ビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nの取り込みを停止さ せると共に、 イメージプロセッサ 2 1を制御して圧縮処理やビデオブラウザの作 成処理等の各種処理を停止させ、 この後ステップ S P 7に進んでこの信号取込み モード処理手順 R T 1を終了する。

一方ホス トコンピュータ 1 5は、 表示モードが選択されると、 図 7に示す表示 モード処理手順 R T 2編集処理手順をステップ S P 1 0において開始し、 続くス テツプ S P 1 1において外部記憶装置 2 2に対応する画像データを読み出させる と共に、 当該画像データに基づいてイメージプロセッサ 2 1に表示画像データを 生成させて第 3の V R AM 2 4に書き込ませることにより、 モニタ 2 6に編集初 期画面 3 0 (図 3 ) を表示させる。

次いでホストコンピュータ 1 5は、 ステップ S P 1 2に進んで表示対象の動画 像データファイルのファイル名が入力されるのを待ち受け、 この後当該ファイル 名が入力されるとステップ S P 1 3に進んで外部記憶装置 2 2を制御することに より、 対応する動画像データファイルを検索する。

そしてホストコンピュ一タ 1 5は、 対応する動画像データファイルを検出する と、 ステップ S P 1 4に進んで外部記憶装置 2 2に対応するビデオブラウザの画 像データと、 シーン画像の画像データとを読み出させると共に、 これら画像デー タに基づいてイメージプロセッサ 2 1に所定の表示画像データを生成させ、 これ を第 3の V R AM 2 4に書き込ませることにより、 モニタ 2 6に編集初期画面 3 0の後段部にビデオインデックスウィンド 3 1が表示されてなる図 4の編集画面 3 2を表示させる。

この状態においてホストコンピュータ 1 5は、 例えばカーソルがビデオブラウ ザ 3 3上の任意の位置又は任意のシーン画像 3 6上に合わせられてマウス 1 2が シングルクリックされたことをステップ S P 1 5において確認すると、 ステップ S P 1 6に進んで外部記憶装置 2 2にビデオブラウザ 3 3のクリックされた位置 のフレーム画像の画像データ又はクリックされたシーン画像 3 6の画像データを 読み出させると共に、 これら画像データに基づいてイメージプロセッサ 2 1に表 示画像データを生成させ、 これを第 3の V R AM 2 4に書き込ませることにより 、 編集画面 3 2の動画像表示領域 3 7にビデオブラウザ 3 3のクリックされた位 置のフレーム画像又はクリックされたシーン画像 3 6を表示させる。

そしてホストコンピュータ 1 5は、 この状態においてカーソルがいずれかのリ モコンボタン 4 0 A〜4 0 E上に合わせられてマウス 1 2がクリックされたこと をステップ S P 1 7において確認すると、 ステップ S P 1 8に進んで外部記憶装 置 2 2を制御することにより対応する動作を実行させると共に、 このとき指定さ れた動作がリバ一ス再生や通常再生である場合には、 このとき外部記憶装置 2 2 から出力される画像データに基づいてイメージプロセッサ 2 1に表示画像データ を生成させ、 これを第 3の V R AM 2 4に書き込ませることにより、 再生された 動画像データ D 1に基づく動画像を編集画面 3 2の動画像表示領域 3 7に表示さ せる。

さらにホス トコンピュータ 1 5は、 編集画面 3 2の動画像表示領域 3 7にフレ ーム画像が表示された状態においてカーソルがマークイン画像表示領域 4 1又は マークァゥト表示領域 4 2上に合わせられてマウス 1 2がクリックされたことを ステップ S P 1 9において確認すると、 ステップ S P 2 0に進んで外部記憶装置 2 2にこのとき動画像表示領域 3 7に表示されているフレーム画像の画像データ 及ぴタイムコードを読み出させると共に、 当該画像データ及びタイムコード情報 に基づく表示画像データを生成させ、 これを第 3の V R AM 2 4に書き込ませる ことにより、 このとき動画像表示領域 3 7に表示されているフレーム画像をマ一 クイン画像表示領域 4 1又はマークァゥト画像表示領域 4 2に表示させると共に 、 マークインタイムコード表示領域 4 3内又はマークァゥトタイムコード表示領 域 4 4内にそのフレーム画像のタイムコードを表示させる。

さらにホストコンピュータ 1 5は、 マウス操作によりスクロールバ一 4 6が操 作されたことをステップ S P 2 1において確認すると、 ステップ S P 2 2に進ん で外部記憶装置 2 2に対応するビデオブラゥザの画像データ及び各シーン画像の 画像データを読み出させると共に、 これら画像データに基づいてイメージプロセ ッサ 2 1に所定の表示画像データを生成させてこれを第 3の V R AM 2 4に書き 込ませることにより、 編集画面 3 0のビデオインデックスウィンド 3 1のビデオ ブラウザ 3 3及び各シーン画像 3 6等をスクロール表示させる。

さらにホストコンピュータ 1 5は、 カーソルがウインドクローズスィツチ 4 7 上に合わせられてマウス 1 2がタリックしたことをステップ S P 2 3において確 認すると、 ステップ S P 2 4に進んで外部記憶装置 2 2に対応する画像データを 読み出させ、 これに基づく表示画像データをイメージプロセッサ 2 1に生成させ て第 3の V R AM 2 4に格納させることにより、 ビデオインデックスウィンド 3 1が閉じてなる編集画面 3 2 (すなわち編集初期画面 3 0 ) をモニタ表示させる と共に、 このときマ一クイン点及びマークァゥト点が指定されていた場合には、 当該指定されたマ一クイン点及びマークァゥト点のタイムコードを外部記憶装置 2 2に与えて記憶保持させる。

これに対してホストコンピュータ 1 5は、 ビデオインデックスウィンド 3 1が 表示された状態において、 カーソルがビデオブラウザ 3 3内の任意の位置又は任 意のシーン画像 3 6上に合わせられてマウス 1 2がダブルクリックされたことを ステップ S P 2 5において確認すると、 ステップ S P 2 6に進んで図 8に示すフ レームビデオインデックス表示処理手順 R T 3を実行する。

実際上ホストコンピュータ 1 5は、 このフレームビデオインデックス表示処理 手順 R T 3をステップ S P 3 0において開始すると、 続くステップ S P 3 1にお いてビデオブラゥザ 3 3内のダブルクリックされた位置に応じたフレーム画像又 はシーン画像 3 6を中心とする前後複数フレーム分の画像データを外部記憶装置 2 2に読み出させると共に、 当該画像データに基づく表示画像データをィメ一ジ プロセッサ 2 1に生成させて第 3の V R AM 2 4に書き込ませることにより、 編 集画面 3 2内にフレームビデオインデックスウィンド 5 0 (図 5 ) を表示させる この状態においてホス トコンピュータ 1 5は、 力一ソルがフレームビデオイン デックスウィンド 5 0内のいずれかのフレーム画像 5 1上に合わせられてマウス 1 2がクリックされたことをステップ S P 3 2において確認すると、 ステップ S P 3 3に進んで上述した編集画面表示処理手順 R T 2のステップ S P 1 6と同様 の処理を実行することにより、 編集画面 3 2の動画像表示領域 3 7にクリックさ れたフレーム画像を表示させる。

またホス トコンピュータ 1 5は、 マウス操作によりフレームビデオインデック スウィンド 5 0内のスクロールバー 5 4が操作されたことをステップ S P 3 4に おいて確認すると、 ステップ S P 3 5に進んで外部記憶装置 2 2に対応するフレ ーム画像の画像データを順次読み出させると共に、 当該画像データに基づく表示 画像データをイメージプロセッサ 2 1に順次生成させてこれを第 3の V R AM 2 4に順次書き込ませることにより、 フレームビデオインデックスウィンド 5 0内 に表示されるフレーム画像 5 1をスクロール表示させる。

さらにホストコンピュータ 1 5は、 カーソルがいずれかの表示間隔フレーム数 指定ボタン 5 3 A〜5 3 C上に合わせられてマウス 1 2がクリックされたことを ステップ S P 3 6において確認すると、 ステップ S P 3 7に進んで外部記憶装置 2 2に指定された間隔でフレーム画像 5 1の画像データを読み出させると共に、 これら画像データに基づく表示画像データをイメージプロセッサ 2 1に生成させ て第 3の V R AM 2 4に格納させることにより、 フレームビデオインデックスゥ インド 5 0内に表示されるフレーム画像 5 1の間隔を指定された間隔に変更させ る。

さらにホストコンピュータ 1 5は、 力一ソルがフレームビデオインデックスゥ インド 5 0内のウインドクローズボタン 5 5上に合わせられてマウス 1 2がクリ ックされたことをステップ S P 3 8に確認すると、 ステップ S P 3 9に進んで対 応する画像データを外部記憶装置 2 2に読み出させると共に、 当該画像データに 基づく表示画像デ一タをイメージプロセッサ 2 1に生成させて第 3の V R AM 2 4に書き込ませることにより、 フレームビデオインデックスウィンド 5 0が閉じ た編集画面 3 2 (図 4 ) をモニタ表示させる。 そしてホストコンピュータ 1 5は 、 この後ステップ S P 4 0に進んでこのフレームビデオインデックス表示処理手 順 R T 3を終了し、 この後表示モード処理手順 R T 2に戻るようになされている

( 4 ) 画像表示装置の動作及び効果

以上の構成において、 この画像表示装置 1 0では、 ビデオ信号 S 1 A〜S 1 N 、 S 2 A〜S 2 Nの取込みモード時、 指定されたビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nを取り込み、 これを順次ディジタル変換した後、 かく して得られた 動画像データ D 1を圧縮符号化した後、 タイムコードを付加し、 ファイル化して 外部記憶装置 2 2に格納する。

この際この画像表示装置 1 0では、 圧縮符号化処理により得られる隣接するフ レーム間の画像相関情報及び輝度相関情報等に基づいて所定のシーン画像を検出 し、 検出したシーン画像の位置情報をその動画像データファイルを管理するデ一 タベースとして外部記憶装置 2 2に格納する。 またこの表示画像装置 1 0では、 この際動画像データについてサンプリング位置を順次移動させながらスリットデ ータを抽出し、 当該スリットデータに基づいて得られるビデオブラウザの画像デ —タをデータベースに格納する。

そしてこの画像表示装置 1 0においては、 この後表示モードが選択されると、 これら外部記憶装置 2 2に格納した動画像データフアイル及びそのデ一タベース に基づいて、 図 4のようなビデオブラウザ 3 3及びシーン画像 3 6が同時に表示 されてなる編集画面 3 2をモニタ 2 6に表示する。

従ってこの画像表示装置 1 0では、 表示モード時、 動画像から一次元的にサン プリングして得られたスリットデータに対応する一次元的な画像をつなぎ合わせ た静止画でなるビデオブラウザ 3 3と、 その時間軸方向に対応して要所要所のシ ーン画像 3 6とが同時に表示されるため、 これらビデオブラウザ 3 3及び各シー ン画像 3 6によって素材の全体的な流れと、 各シーン画像 3 6を基準とした過去 及び未来の時間軸方向の場面状況とを容易に把握することができる。 従ってこの 画像表示装置 1 0では、 その分動画像中の所望シーンを特定する作業の作業時間 を短縮化させることができ、 また外部記憶装置 2 2に対するアクセス回数を低減 させることができる。

さらにこの画像表示装置 1 0では、 外部記憶装置 2 2に対するアクセス回数を 低減させ得る分、 当該外部記憶装置 2 2にデータアクセス性、 データ転送レート 及びデータ転送速度等に高い機能を必要とせず、 その分例えば編集システムを構 築する場合においても安価にシステムを構築し得る利点がある。

以上の構成によれば、 ビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nの取込みモ ード時に特定のシーン画像の位置を検出すると共に、 当該ビデオ信号 S 1 A〜S 1 N、 S 2 A〜S 2 Nに基づくビデオブラウザの画像データ生成しておき、 表示 モード時にビデオブラゥザ及びシーン画像を時間軸上において位置を一致させて 同時にモニタ表示するようにしたことにより、 素材の全体的な流れと、 各シーン 画像 3 6を基準とした過去及び未来の時間軸方向の場面状況とを容易に把握する ことができ、 かくして動画像の概要確認及び所望シーンの選出を短時間でかつ容 易に行い得る画像表示装置を実現できる。

( 5 ) 他の実施の形態

なお上述の実施の形態においては、 2次元表示される一連の動画像データから スリツトデータをサンプリングする際、 画面の右端から左端に向けてサンプリン グ位置を順次移動させるようにした場合について述べたが、 本発明はこれに限ら ず、 画面の左端から右端に向けてサンプリング位置を順次移動させたり、 又は画 面の一隅部から対角線上の他隅部に向けてサンプリング位置を順次移動させるよ うにしても良く、 サンプリング位置の移動方向としてはこの他種々の方向を適用 できる。

また上述の実施の形態においては、 イメージプロセッサ 2 1が検出する特定の フレーム画像としてシーンチェンジの最初のフレーム画像及び前後のフレーム画 像に比べて輝度レベルが著しく変化するフレーム画像を適用するようにした場合 について述べたが、 本発明はこれに限らず、 イメージプロセッサ 2 1がこれ以外 の特定のフレーム画像を抽出し得るようにしても良い。

さらに上述の実施の形態においては、 2次元表示される一連の動画像データを サンプリグ位置を一の方向に順次移動させながら他の方向に 1次元的にサンプリ ングして得られるデータに基づいてビデオプラゥザの画像データを作成する作成 手段と、 動画像データに基づく一連の動画像中の特定のフレーム画像を検出する 検出手段とを 1つのイメージプロセッサ 2 1で併用し、 これらをソフトウエア的 に処理するようにした場合について述べたが、 本発明はこれに限らず、 これら作 成手段及び検出手段を別体に構成し、 ハードウエア的に処理するようにしても良 レ、。

さらに上述の実施の形態においては、 イメージプロセッサ 2 1のシーン画像デ ータ抽出部 2 1 Bにより検出された特定のフレーム画像 （シーンチェンジの最初 のフレーム画像及び前後のフレーム画像に比べて輝度レベルが著しく変化するフ レーム画像） を、 ビデオブラウザ 3 3と共に当該ビデオブラウザ 3 3と時間軸を 一致させて表示する表示手段を、 ホストコンピュータ 1 5、 イメージプロセッサ

2 1の動画像縮小画面データ形成部 2 1 G、 第 3の V R AM 2 4、 ディジタルァ ナログ変換回路 2 5及びモニタ 2 6により構成するようにした場合について述べ たが、 本発明はこれに限らず、 この他種々の構成を適用できる。

さらに上述の実施の形態においては、 モニタ 2 6に表示されたビデオブラゥザ

3 3のうちの所望ポイント又は所望のシーン画像 3 6を指定するポイント指定手 段を、 マウス 1 2と、 当該マウス 1 2の操作に応動して移動するカーソルを編集 画面 3 2上に表示するイメージプロセッサ 2 1により構成するようにした場合に ついて述べたが、 本発明はこれに限らず、 この他種々の構成を適用できる。 産業上の利用可能性

本発明による画像表示装置及び方法は、 ハードディスク等のように任意の記録 ェリァから画像データを再生できるノンリニァメディアを用いた編集装置におい て、 動画像や、 静止画像を編集する場合に利用できる。

Claims

請 求 の 範 囲

1 . 2次元表示される一連の動画像データをサンプリグ位置を一の方向に順次 移動させながら他の方向に 1次元的にサンプリングして得られるデータに基づい て静止画像の画像データを作成する作成手段と、

上記動画像データに基づく一連の動画像中の特定のフレーム画像を検出する検 出手段と、

上記検出手段により検出された上記特定のフレーム画像を、 上記作成手段によ り作成された上記画像データに基づく上記静止画像と共に時間軸を一致させて表 示する表示手段と

を具えることを特徴とする画像表示装置。

2 . 上記特定のフレーム画像は、 シーンチェンジの最初のフレーム画像でなる ことを特徴とする請求の範囲第 1項に記載の画像表示装置。

3 . 上記特定のフレーム画像は、 フラッシュがたかれた瞬間のフレーム画像で なる

ことを特徴とする請求の範囲第 1項に記載の画像表示装置。

4 . 上記表示手段は、 上記特定のフレーム画像及び上記静止画像と共に当該静 止画像と時間軸を一致させてタイムコードを表示する

ことを特徴とする請求の範囲第 1項に記載の画像表示装置。

5 . 上記表示手段により表示された上記静止画像のうちの所望ボイント又は所 望の上記特定のフレーム画像を指定するポイント指定手段

を具え、 上記表示手段は、 上記ポイント指定手段により指定された上記静止画 像の上記所望ボイント又は所望の上記特定のフレーム画像の前後所定フレーム分 のフレーム画像を上記動画像データに基づいて表示する

ことを特徴とする請求の範囲第 1項に記載の画像表示装置。

6 . 2次元表示される一連の動画像データをサンプリグ位置を一の方向に順次 移動させながら他の方向に 1次元的にサンプリングして得られるデータに基づい て静止画像の画像データを作成すると共に、 上記動画像データに基づく一連の動 画像中の特定のフレーム画像を検出する第 1のステップと、

上記第 1のステップにおいて検出した上記特定のフレーム画像を、 上記作成手 段により作成された上記画像データに基づく上記静止画像と共に時間軸を一致さ せて表示する第 2のステップと

を具えることを特徴とする画像表示方法。

7 . 上記特定のフレーム画像は、 シーンチェンジの最初のフレーム画像でなる ことを特徴とする請求の範囲第 6項に記載の画像表示方法。

8 . 上記特定のフレーム画像は、 フラッシュがたかれた瞬間のフレーム画像で なる ことを特徴とする請求の範囲第 6項に記載の画像表示方法。

9 . 上記表示手段は、 上記特定のフレーム画像及び上記静止画像と共に当該静 止画像と時間軸を一致させてタイムコードを表示する

ことを特徴とする請求の範囲第 6項に記載の画像表示方法。

1 0 . 表示した上記静止画像のうちの所望ポイント又は所望の上記特定のフレ ーム画像が指定されたときに、 当該指定された上記静止画像の上記所望ボイント 又は所望の上記特定のフレーム画像の前後所定フレーム分のフレーム画像を上記 動画像データに基づいて表示する

ことを特徴とする請求の範囲第 6項に記載の画像表示方法。