WO2006009120A1

WO2006009120A1 - 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体

Info

Publication number: WO2006009120A1
Application number: PCT/JP2005/013178
Authority: WO
Inventors: Akira Mishima; Eisaburo Itakura
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-07-16
Filing date: 2005-07-15
Publication date: 2006-01-26
Anticipated expiration: 2007-01-16
Also published as: KR20070042119A; US20080317431A1; KR101226748B1; CN1981520A; EP1775946A4; EP1775946A1; US8515195B2; CN1981520B; JP2006033507A

Abstract

　画像データの圧縮に階層符号化を用い、階層符号化の特徴を生かした高効率で木理の細かい遠隔編集作業を行えるようにすること。　主編集機（図２）は、画像を形成する階層符号化データのうち、ネットワーク利用帯域や遠隔編集機の能力に応じた階層符号化データを遠隔編集機に送信し、遠隔編集機では、編集者がこれを用いて編集作業を行う。編集作業の結果作成された編集情報は、遠隔編集機から主編集機に送信され、主編集機は、これを用いて差分の階層符号化データを遠隔編集機に送信する。遠隔編集機は、既に受信している階層符号化データと、主編集機から送信されてきた差分の階層符号化データを用いて編集画像データを生成する。階層符号化データは、階層符号化することにより、解像度や画質といった画像品質を規定する要素に対して細かく階層化することが可能である。

Description

遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体

技術分野

[0001] 本発明は、遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体に関し、より詳細には、主編集機が、素材となる画像データを階層符号化して遠隔編集機に提供することにより、画像データの編集処理を効率よく行うものに関する。

背景技術

[0002] [遠隔編集の従来技術]

画像データ、特に動画像データは、テレビ放送で放映されたり、ネットワークを介して配信されたり、あるいは DVD (Digital Versatile Disc)などの記憶媒体に記憶して販売されたりなど、広く利用されている。

[0003] これらの画像データは、ビデオ撮影などで生成された画像データを編集することにより生成される。

画像データの編集作業には、素材となる画像データ（以下、素材画像データ)を有する編集局にてローカルに行う場合と、ネットワーク経由で素材画像データを送信し、遠隔編集にて行う場合がある。

[0004] 編集作業をローカルにて行う場合は、素材画像データを記憶する VTR装置と、この素材画像データを編集する編集装置を伝送遅延が生じな!/ヽ程度の短!ヽケーブルで接続して編集処理を行う。

このような技術としては、特開平 10— 75413号公報の「データ伝送システム」がある

[0005] この技術では、編集装置から VTR装置にタイムコード (time code)を要求する命令（コマンド)を送信し、これに対して VTR装置が編集装置にタイムコードを返すことにより、タイムコードに基づく正確な編集処理を行う。

そして、単数又は複数の画像データ力もタイムコードを用いて任意にシーン（時間範囲）を選択し、選択したシーンに含まれる画像データを互いに接続して 1本の編集画像データを作成する。

[0006] このように、シーンの接続点となるポイントは編集点と呼ばれる。編集点は、通常、画像データ全体における編集点の時間的位置を示すタイムコードによって指定される。

[0007] 一方、編集作業を遠隔編集にて行う場合は、ネットワークの通信可能容量が素材画像データの容量に比べて一般に小さ、ため、素材画像データを圧縮して遠隔編集機に送信するのが通例である。

そのため、 HD画像 (高精細画質)で撮影を行っても、遠隔編集機では、 SD画像（標準画質)のような画像解像度にトランスコードして編集を行って、る。

[0008] この場合のシステム構成の一例を図 36に示す。主編集機 501は、素材画像データを保持している。

端末 502は、素材画像データの解像度 (空間解像度)を変換したり、画質を落すなどしてビットレートを減らす符号ィ匕を行、、続、てネットワークパケットにマッピングしてネットワーク 503に送出する。

[0009] ネットワーク 503に送出された画像データは、端末 504にて受信'復号された後、遠隔編集機 505に入力される。

編集者は、この画像データを用いながら遠隔編集機 505で編集作業を行い、編集情報 (編集リスト)を生成する。

編集情報は、遠隔編集機 505から主編集機 501に送信され、主編集機 501は、この編集情報に従って素材画像データから編集画像データを生成する。

このような遠隔編集システムについても、上記の特許文献 1で言及されている。

[0010] [画像階層化技術の従来技術]

画像データ、特に動画像データはデータ容量が大きいため、通常何らかの方式で圧縮処理した後、保存や送受信などに使用する。

画像圧縮処理の手法の 1つに MPEG (Moving Pictures Experts Group)圧縮技術がある。

[0011] 近年、 MPEG圧縮により生成される MPEGストリームを IP (Internet Protocol)に従つた IPパケットに格納してインターネット上を流通させるための技術開発が盛んに行われている。

インターネット上に送出された MPEGストリームは、 PC (Personal computer)や PD A (Personal Digital Assistant)、携帯電話などの各種通信端末で受信されて再生される。

[0012] ところで、ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議、テレビ電話などのリアルタイム通信においては、異なる能力を持つ通信端末を対象に画像データの送受信を行うことを想定する必要がある。

即ち、ある情報送信ソースからの送信データは、携帯電話などのような解像度の低いディスプレイと処理能力の低い CPU (Central Processing Unit)を有する通信端末によって受信されて再生される場合もあるし、また、デスクトップ型 PC、セットトップボッタス、ゲーム機などのように高解像度のモニターと高い処理能力の CPUを有する通信端末によって受信されて再生される場合もある。

[0013] このように、処理能力の異なる様々な通信端末をデータの送信先として、各通信端末の処理能力などに応じた画像データの送受信処理、及び画像の表示処理を効率的に行う手法の 1つとして、送受信する画像データの符号化を階層化させて実行する方法、即ち、階層符号ィ匕を利用した通信システムが考えられている。

[0014] 階層符号ィ匕による画像データの送信は、例えば、高解像度のディスプレイを有する通信端末にぉヽてのみ処理する符号化データと、高解像度のディスプレイを有する通信端末及び低解像度のディスプレイを有する通信端末の双方において共通に処理する符号化データとを、それぞれ区別可能な態様でパケットィ匕して行われる。そして、受信側においては、自己の能力に応じた符号化データを選別して処理する。

[0015] 階層符号ィ匕が可能な圧縮'伸張方式としては、例えば、 MPEG4と、 JPEG (Joint P hotographic Experts Group) 2000によるビデオストリームをあげることができる。

MPEG4では、 FineGranuality Scalability技術を規格に取り込みプロファイル化されており、この階層符号化技術により、スケーラブルに、かつ、低いビットレートから高いビットレートまで配信することが可能である。 [0016] また、ウェーブレット（Wavelet)変換をベースとする JPEG2000は、ゥエーブレット変換の特徴を生かし、解像度をベースにして階層的にパケットィ匕することや、あるいは画質をベースにして階層的にパケットィ匕することが可能である。

ま^ JPEG2000は静止画だけでなく動画を扱える MotiorJPEG2000 (Part 3) 規格により、階層化したデータをファイルフォーマットで保存することが可能である。

[0017] 従来のデータ配信システムにお、ては、送信側にお!、て、データ受信端末の能力に応じた異なるフォーマットのデータを生成したり、伝送レートに応じた異なるデータを用意する必要があった力上述の階層符号化処理の適用により、 1つのファイルデ一タカも異なる能力の端末へ同時にデータ配信を実行することが可能となる。

[0018] 配信するデータが、例えば画像データである場合、リアルタイム性が要求されるためインターネット上での通信の際には UDP (USER Datagram Protocol)が多く用いられる。更に、 UDP上のレイヤにおいては RTP (Real— time Transport Protocol)を用い、アプリケーションごと、即ち符号ィ匕方式ごとに定義されたフォーマットを用いる。このような階層化したデータを扱う技術には、特開 2003— 152544公報の「データ通信システム」がある。

[0019] この技術は、階層符号ィ匕した画像データのパケットの再送に関する技術である。より詳細に述べると次のようになる。

例えば、階層符号化を適用したデータ配信として、 DCT (Discrete Cosine Transfer m)ベースの技術を用いたものがある。

これは配信情報となる画像データなどを DCT処理し、 DCT処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。

[0020] UDPでは TCP (Transmission Control Protocol) ZIPと異なり、パケットロスが生じてもパケットの再送がなされないため、 UDPを用いる場合、ネットワークの輻輳などを原因としたパケットロスが起こりうる。

上記の特許文献 2は、パケットロスに対する再送制御を可能としたウェーブレット変換技術をベースとするスケーラブル配信技術を提案するものである。

発明の開示 [0021] (発明が解決しょうとする課題）

従来の、遠隔編集システムでは、画像データの圧縮方式に階層符号化が用いられていなかった。

そのため、遠隔編集機の能力やネットワークにおいて利用可能な回線速度は多岐に渡るのに対し、画像データの圧縮率が低ぐ伝送に際して多くの帯域を必要としていた。

[0022] また、放送用画像データの編集を行うに当たっては、それぞれの状況にお!ヽて利用可能な帯域を最大限使、、高い品質の映像で編集した、と、う要求がある。

そこで、高い品質をなるベく保ちながら遠隔編集機の能力などに合わせて情報量を減らすために、画像データの解像度を変換する処理や、 DCT領域におけるトランスコード処理が必要となり、これら処理の高速ィ匕を目的として、マルチプロセッサ、あるいは、専用のトランスコードハードウェアなどが必要になるという問題があった。

[0023] そこで、本発明の目的は、画像データの圧縮に階層符号ィ匕を用い、階層符号化の特徴を生力した高効率で木理の細力、遠隔編集作業を行えるようにすることである。

[0024] (課題を解決するための手段）

本発明は、前記目的を達成するために、主編集装置に記憶した画像を形成する階層符号化データの編集作業を、ネットワークを介して遠隔編集装置で行う遠隔編集システムであって、前記主編集装置は、前記階層符号ィ匕データのうち、所定の階層レベルに属するものを前記遠隔編集装置に送信し、前記遠隔編集装置は、前記送信された階層符号化データを用いた編集作業を受け付けて、編集により編集画像データの生成に必要となった階層符号化データを前記主編集装置に要求し、前記要求に応じて前記主編集装置カゝら送信されてきた階層符号ィ匕データを用いて編集画像データを生成することを特徴とする遠隔編集システムを提供する (第 1の構成)。また、本発明は、画像を形成する階層符号ィ匕データを記憶したデータ記憶手段と、前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号ィ匕データを遠隔編集装置に送信するデータ送信手段と、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号ィ匕データの送信要求を受け付ける要求データ受付手段と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信手段と、を具備したことを特徴とする主編集装置を提供する (第 2の構成)。

第 2の構成において、前記要求データ受付手段で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信手段は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号ィ匕データを送信するように構成することもできる (第 3の構成)。

第 2の構成において、前記データ送信手段は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号ィ匕データを送信するように構成することもできる (第 4の構成)。

第 2の構成において、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信手段を具備するように構成することもできる (第 5の構成)。また、本発明は、主編集装置から画像を形成する階層符号化データを受信するデータ受信手段と、前記受信した階層符号化データを用いて画像を再生する再生手段と、前記再生した画像を用いて編集作業を受け付ける編集手段と、編集手段による編集により編集画像データの生成に必要な階層符号ィ匕データを前記主編集装置に要求するデータ要求手段と、前記要求に応じて前記主編集装置から送信されてきた階層符号ィ匕データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成手段と、を具備したことを特徴とする遠隔編集装置を提供する (第 6の構成)。

第 6の構成において、前記編集手段は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求手段は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる (第 7の構成)。

第 6の構成において、前記階層化要素の階層レベルの選択を受け付ける階層レべル選択手段を具備し、前記再生手段は、前記選択された階層レベルに対応する前記階層符号ィ匕データを用いて画像を再生するように構成することもできる (第 8の構成)。

第 6の構成において、前記主編集装置から、前記主編集装置で記憶している階層符号ィヒデータの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示手段を具備するように構成することもできる (第 9の構成)。

第 7の構成において、前記再生手段で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示手段を具備するように構成することもできる (第 10の構成)。

また、本発明は、データ記憶手段と、データ送信手段と、要求データ受付手段と、要求データ送信手段と、を備えたコンピュータにおいて、前記データ記憶手段によつて、画像を形成する階層符号ィ匕データを記憶したデータ記憶ステップと、前記データ送信手段によって、前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号化データを遠隔編集装置に送信するデータ送信ステップと、前記要求データ受付手段によって、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号ィヒデータの送信要求を受け付ける要求データ受付ステップと、前記要求データ送信手段によって、前記要求された階層符号ィ匕データを前記遠隔編集装置に送信する要求データ送信ステップと、から構成されたことを特徴とする編集方法を提供する (第 11の構成)。

第 11の構成において、前記要求データ受付ステップで受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信ステップでは、前記記憶した階層符号ィ匕データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号化データを送信するように構成することもできる (第 12の構成)。

第 11の構成において、前記データ送信ステップでは、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号ィ匕データを送信するように構成することもできる（第 13の構成)。

第 11の構成において、前記コンピュータは、階層レベル構成送信手段を備え、前記階層レベル構成送信手段によって、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信ステップを含むように構成することもできる（第

14の構成)。

また、本発明は、受信するデータ受信手段と、再生手段と、編集手段と、データ要求手段と、編集画像データ生成手段と、を備えたコンピュータにおいて、前記データ受信手段で、主編集装置から画像を形成する階層符号化データを受信するデータ受信ステップと、前記再生手段で、前記受信した階層符号化データを用いて画像を再生する再生ステップと、前記編集手段で、前記再生した画像を用いて編集作業を受け付ける編集ステップと、前記データ要求手段で、編集手段による編集により編集画像データの生成に必要な階層符号化データを前記主編集装置に要求するデータ要求ステップと、前記編集画像データ生成手段で、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成ステップと、から構成されたことを特徴とする編集方法を提供する (第 15の構成)。

第 15の構成において、前記編集ステップでは、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求ステップでは、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる (第 16の構成)。

第 15の構成において、前記コンピュータは、階層レベル選択手段を備え、前記階層レベル選択手段によって、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択ステップを含み、前記再生ステップでは、前記選択された階層レベルに対応する前記階層符号ィ匕データを用いて画像を再生するように構成することもできる (第 17の構成)。

第 15の構成において、前記コンピュータは、階層レベル提示手段を備え、前記階層レベル提示手段によって、前記主編集装置から、前記主編集装置で記憶している階層符号ィヒデータの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示ステップを含むように構成することもできる (第 18の構成)。

第 16の構成において、前記コンピュータは、警告表示手段を備え、前記警告表示手段によって、前記再生ステップで再生されてヽる画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示ステップを含むように構成することもできる (第 19の構成)。

また、本発明は、画像を形成する階層符号ィ匕データを記憶したデータ記憶機能と、前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号ィ匕データを遠隔編集装置に送信するデータ送信機能と、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号ィ匕データの送信要求を受け付ける要求データ受付機能と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信機能と、をコンピュータで実現する編集プログラムを提供する (第 20の構成)。

第 20の構成において、前記要求データ受付機能で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信機能は、前記記憶した階層符号化データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号ィ匕データを送信するように構成することもできる (第 21の構成)。

第 20の構成において、前記データ送信機能は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号ィ匕データを送信するように構成することもできる (第 22の構成)。

第 20の構成において、前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号化データの階層レベル構成と、を送信する階層レベル構成送信機能をコンピュータで実現するように構成することもできる (第 23の構成)。

また、本発明は、主編集装置から画像を形成する階層符号化データを受信するデータ受信機能と、前記受信した階層符号ィヒデータを用いて画像を再生する再生機能と、前記再生した画像を用いて編集作業を受け付ける編集機能と、編集機能による編集により編集画像データの生成に必要な階層符号ィ匕データを前記主編集装置に要求するデータ要求機能と、前記要求に応じて前記主編集装置から送信されてきた階層符号ィ匕データを受信し、前記受信した階層符号化データを用いて編集画像データを生成する編集画像データ生成機能と、をコンピュータで実現する編集プログラムを提供する (第 24の構成)。

第 24の構成において、前記編集機能は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求機能は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信するように構成することもできる (第 25の構成)。

第 24の構成において、前記階層化要素の階層レベルの選択を受け付ける階層レベル選択機能をコンピュータで実現し、前記再生機能は、前記選択された階層レべルに対応する前記階層符号ィ匕データを用いて画像を再生するように構成することもできる (第 26の構成)。

第 24の構成において、前記主編集装置から、前記主編集装置で記憶している階層符号ィヒデータの階層レベル構成と、前記受信した階層符号化データの階層レべル構成と、を受信して提示する階層レベル提示機能をコンピュータで実現するように構成することもできる (第 27の構成)。

第 25の構成において、前記再生機能で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示機能をコンビユータで実現するように構成することもできる（第 28の構成)。

また、本発明は、第 20の構成力ゝら第 28の構成までの内の何れか 1の構成に記載の編集プログラムを記憶したコンピュータが読み取り可能な記憶媒体を提供する。図面の簡単な説明

[図 1]図 1は、遠隔編集システムの構成の一例を示した図である。

[図 2]図 2は、主編集機の構成を示すためのブロック図である。

[図 3]図 3は、画像をタイルに分割したところを示した図である。

[図 4]図 4は、階層ィヒ器の構成を示した図である。 [図 5]図 5は、 2次元画像を帯域分割した結果得られる帯域成分を図示した図である。

[図 6]図 6は、解像度による階層レベル分けについて説明するための図である。

[図 7]図 7は、符号ストリームのデータ構成を示した図である。

[図 8]図 8は、解像度プログレッシブ順序に従った階層符号ィ匕データについて説明するための図である。

[図 9]図 9は、画質プログレッシブ順序に従った階層符号ィ匕データについて説明するための図である。

[図 10]図 10は、プログレッシブ順序とコンテンツの階層化レベルを SDPの拡張部に記述した例である。

[図 11]図 11は、遠隔編集機のブロック図を示した図である。

[図 12]図 12は、復号器のブロック図を示した図である。

[図 13]図 13は、シーン編集画面の一例を示した図である。

[図 14]図 14は、複製モードでの修正画面の一例を示した図である。

[図 15]図 15は、移動モードでの修正画面の一例を示した図である。

[図 16]図 16は、削除モードでの修正画面の一例を示した図である。

[図 17]図 17は、タイムコードリストの論理的な構成の一例を示した図である。

[図 18]図 18は、シーン編集処理の手順を示したフローチャートである。

[図 19]図 19は、修正を行う場合のシーン編集処理の手順を示したフローチャートである。

[図 20]図 20は、他の例に係るシーン編集処理の手順を示したフローチャートである。

[図 21]図 21は、他の例に係る修正を行う場合のシーン編集処理の手順を示したフロ一チャートである。

[図 22]図 22は、画像品質編集画面の一例を示した図である。

[図 23]図 23は、画像品質編集画面で画質レベルを変化させる場合を示した図である

[図 24]図 24は、画像品質編集画面で解像度レベルを変化させる場合を示した図である。

[図 25]図 25は、追加の階層符号ィ匕データを要求するカゝ否かの確認を行う場合を説明するための図である。

[図 26]図 26は、 ROIの指定例を示した図である。

[図 27]図 27は、画像品質編集手順について説明するためのフローチャートである。

[図 28]図 28は、編集情報の論理的な構成の一例を示した図である。

[図 29]図 29は、タイルごとに画質レベルを設定する場合を説明するための図である。

[図 30]図 30は、携帯端末で構成した遠隔編集機の操作部を図示したものである。

[図 31]図 31は、携帯端末で ROIを指定する場合を説明するための図である。

[図 32]図 32は、遠隔編集システムで行われる編集シーケンスについて説明するための図である。

[図 33]図 33は、主編集機と遠隔編集機での画像データの記憶状態を示した概念図である。

[図 34]図 34は、主編集機のハードウェア的な構成の一例を示した図である。

[図 35]図 35は、本実施の形態の拡張例を説明するための図である。

[図 36]図 36は、従来の遠隔編集システムの構成例を示した図である。

発明を実施するための最良の形態

[0026] (実施の形態の概要）

主編集機は、階層符号化した画像データのうち、ネットワーク利用帯域や遠隔編集機の能力に応じた階層符号ィ匕データを遠隔編集機に送信し、遠隔編集機では、編集者がこれを用いて編集作業を行う。編集作業の結果作成された編集情報に基づいて、遠隔編集機で編集画像データを生成する。編集画像データを生成するのにより高階層の階層符号ィ匕データが必要な場合、遠隔編集機は、必要な階層符号化デ一タを主編集機から取り寄せて、これと既に取得済みの階層符号化データを用いて編集画像データを生成する。

[0027] 画像データは、階層符号ィ匕することにより、解像度や画質といった画像品質を規定する要素に対して細力べ階層化することが可能である。

画像データを階層符号ィ匕した階層符号ィ匕データは、下位の階層符号化データに上位の階層符号ィ匕データを加えていくことにより画像品質を向上させることができる。主編集機は素材画像データのうち、遠隔編集機に応じた階層レベルの階層符号ィ匕データを送信し、トランスコードなどの処理は必要な!/、。

[0028] 遠隔編集機は、受信した階層符号ィ匕データから画像データを復号 (デコード)し、受信した階層レベル内で、解像度や画質をスケーラブルに変更して再生することができ、編集者は、再生画像を見ながら所望の階層レベルを決定することができる。更に画像品質を高めて画像を再生したい場合は、差分の階層符号ィ匕データを主編集機に要求すれば良い。

[0029] 遠隔編集機では、まず、編集者が受信した階層符号ィ匕データで画像を再生しながら編集画像データで利用するシーンを指定する。そして、次に、編集者が各シーンに対して解像度や画質といった各階層化要素の階層レベルを指定していく。この際に、主編集機から受信してヽな、階層レベルに属する解像度や画質を指定することもできる。

編集作業の結果、遠隔編集機では、シーンを特定するタイムコードや、各シーンでの階層レベルを指定した編集情報が作成される。

[0030] そして、遠隔編集機は、編集情報で特定されたシーンを指定された画像品質で構成し、編集画像データを生成するが、遠隔編集機が既に受信している階層符号化データで編集画像データを生成できる場合は、既に受信済みの階層符号ィ匕データを用いて編集画像データを生成する。そして、不足する階層符号ィ匕データがある場合は、これを主編集機に要求し、これに応じて主編集機が送信してきた階層符号化データを先に受信済みの階層符号ィ匕データと共に用いて編集画像データ (最終製品の場合は最終画像データ）を生成する。

[0031] このようにして、本実施の形態では、トランスコードなどの処理をせずに、遠隔編集機に対応した階層符号化データを遠隔編集機に送信すれば良ぐまた、遠隔編集機も素材画像データの全てを受信せずとも編集画像データを構成するための階層レべルを指定することができる。

[0032] (実施の形態の詳細）

[システム概要及びデータ送受信構成例]

本実施の形態では、階層符号ィ匕技術の一例としてウェーブレット変換を用いる。更に、ウェーブレット変換を用いた階層符号ィ匕方式には各種の規格が存在するが、ここでは、一例として動画の圧縮フォーマットである JPEG2000ビデオストリームを用いて動画像データを階層符号化する場合を例に採る。

[0033] JPEG2000ビデオストリームは、動画を表示するためのフレームを、フレーム間相関のないイントラフレームの連続として構成するため、ネットワーク上においてパケットロスが生じても、ロスパケットに基づくエラーが他のフレームに伝播しないという利点があるほか、ウェーブレット変換の特性によりブロックノイズやモスキートノイズが発生しないため、視覚上の画質（SNR: Signal TO Noise Ratio)の低下が抑制されるという禾 IJ点ちある。

[0034] より詳細には、 JPEG2000ビデオストリームは各フレームの画像データを、色空間、輝度と、つたコンポーネント (c)へ分割し、後述する領域を重複のな、タイル (tile)という部分に分割する。

更に、上記のように分割した画像データを後述するウェーブレット変換でウェーブレット分割して解像度レベル (r)に分割し、更に画質 (1)の寄与度合いに従って分割する。

そして、各タイルに対して、コンポーネント、解像度、画質といった画像品質を規定する要素がそれぞれ階層レベル化されており、これらが階層化要素を構成している。なお、詳細は省くが、階層符号ィ匕データ (階層符号ィ匕した画像データ)は、更にプレシンクトと、う小領域に分けられる。

あるフレームの画像に関して、 1つのコンポーネントの、 1つのタイルの、 1つの解像度レベルの、 1つの画質レベル（レイヤ）から得られるデータが階層符号化データの 1 単位となりパケットと呼ばれて、る。

[0035] このような階層符号ィ匕技術を用いた遠隔編集システムの構成の一例を図 1に示す。

遠隔編集システム 1は、編集情報を用いて素材画像データから編集画像データを生成する主編集機 2、編集者が編集作業を行！ヽ編集情報を生成する遠隔編集機 3、及びこれらを接続するネットワーク 4など力も構成されている。

図 1では、遠隔編集機 3を 1台のみ図示してあるが、据え置き型や携帯型など各種の能力のものが複数存在することができる。

本図において使用するネットワークプロトコルとしては、 IP (Internet Protocol)を用 V、て接続されたネットワークを想定して！/、る。

[0036] 主編集機 2は、素材画像データ (編集の対象となるオリジナルの画像データ）を保持している。素材画像データは、階層符号化処理を施されており、階層符号化データにより構成されている。

主編集機 2は、遠隔編集機 3から、ネットワークに接続可能な速度情報、接続可能な速度範囲で受信する階層符号化データの復号可能性、受信端末が表示可能な解像度や CPU能力に応じたビットレートなどの QoS (Quality Of Service)情報を受けるなどして遠隔編集機 3のネットワーク 4の利用可能帯域や能力を判断する。

[0037] そして、この判断を基に、素材画像データのうち、どの階層レベルまでの階層符号化データを送信するかを決定し、必要な階層符号ィ匕データをパケットィ匕して遠隔編集機 3に送信する。

主編集機 2は、階層符号ィ匕データを送出した後、例えば、編集の過程で必要とされたり、最終画像データの生成に必要とされる階層符号化データの対送信要求を遠隔編集機 3から受けた場合に、これを遠隔編集機 3に送信する。

[0038] ネットワーク 4は、 IPパケットに設定されたアドレス情報に基づいて送信先へパケットを運ぶ伝送路である。

データ送信態様は様々であり、例えばダイアルアップサービスを提供するサービスプロバイダネットワークや、 ADSL (Asymmetric Digital Subscriber Line)を使ったサ一ビスプロノくイダネットワークなどを経由して遠隔編集機 3へパケットが送信される。あるいは無線ネットワークにより図示しない基地局を経由して移動体端末などで構成された遠隔編集機 3にパケットが送信される。

[0039] 遠隔編集機 3は、階層符号ィ匕データを受信してこれを復号し、再生すると共に、編集者力の編集処理を受け付けて編集情報を生成する。更に、編集情報に従って、編集画像データを生成する。

本実施の形態では、端末に適したデータを送信するュ-キャスト方式で階層符号化データが送信されるものとし、遠隔編集機 3は主編集機 2から自分宛てのアドレスのパケットを全て受信する。

なお、階層符号ィ匕データの送信にマルチキャスト方式を採用する場合は、遠隔編集機 3が必要としない階層のパケットも送信されてくるため、遠隔編集機 3は必要とする階層レベル以下の階層のパケットを選択して受信する。

[0040] 遠隔編集機 3は、階層符号化データを復号して画像を再生し、編集者は、再生画像を見ながらシーンの指定、解像度、画質の階層レベルの決定といった編集作業を行う。

このように、遠隔編集機 3では、素材画像データを構成する全ての階層符号化データを受信しなくても、一部の階層符号ィ匕データ力再生されるサムネイル画像により編集作業を行うことができる。

遠隔編集機 3で再生される画像の画像品質は、主編集機 2から送信されてきた階層レベルに応じたものとなるが、編集者は、素材画像データの画像品質を上限として、更に上の階層レベルを主編集機 2に要求することができる。

ここで、画像品質とは、例えば、解像度、画質、輝度、色差といった、画像の品質を規定する要素をいう。

[0041] 遠隔編集機 3は、この要求に応じて主編集機 2送信してきた追加の階層符号ィ匕データを受信し、これを先に受信してあった階層符号ィ匕データに追加することによって、更に高い画像品質の画像を再生することができる。

[0042] そして、遠隔編集機 3は、編集作業により編集情報が作成されると、これに従って編集画像データを生成する。

編集情報で規定される画像品質の編集画像データを既に受信済みの階層符号ィ匕データ力も生成できる場合は、これを用いて編集画像データを生成し、既に受信済みの階層符号ィ匕データよりも、更に高い階層レベルの階層符号ィ匕データが必要な場合は、これを主編集機 2から取得して編集画像データを生成する。

[0043] [主編集機の構成及び処理]

次に、主編集機 2の構成及び処理について説明する。

図 2に主編集機 2のブロック図を示す。図 2では、階層ィ匕器 8が主編集機 2の外部に構成されて、るが、これは階層ィ匕器 8の内部に構成しても良!、。

図 2に示す例では、ビデオカメラ 7で撮影された画像データを階層ィ匕器 8で階層符号ィ匕して画像データ記憶装置 9に記憶させる力これに限らず、 DVD、 CD (Compac t Disc)、ハードディスク等、各種記憶媒体に記憶されている画像データを階層符号化して画像データ記憶装置 9に記憶させても良ヽ。

また、ネットワーク 4経由で取得した画像データを階層符号ィ匕して画像データ記憶装置 9に記憶させても良い。

[0044] 階層ィ匕器 8は、階層符号ィ匕前の画像データをウェーブレット変換を用いて階層符号化する。この際に、階層ィ匕器 8は、予め設定されたプログレッシブ順序でのプログレッシブ符号化処理を実行する。

プログレッシブ符号化とは、インターネットの画像配信等にぉヽて多用される符号化処理であり、データ受信端末側で画像品質の低い画像を先に表示し、順次、画像品質の高い画像を表示することを可能とするものである。

[0045] 例えば、プログレッシブ順序は、（c、 r、 1、 p)の要素数 4種の順列組み合わせで示されるが、代表的なものとして、段階的に解像度が高くなる RLCPプログレッシブ順序と、段階的に画質が良くなる LRCPプログレッシブ順序がある。

RLCPプログレッシブ順序では、解像度の低!ヽ画像に対応する低周波画像データの階層符号ィ匕データ力はじまり、より精細な画像の表示に必要な高周波成分の階層符号ィ匕データが続くような階層符号ィ匕データの並びとなって、る。パケット順序どおりの復号ィ匕により、徐々に解像度が向上する。

そして、遠隔編集機 3では、低周波画像データの階層符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗!ヽ概略画像を表示することが可能となり、その後、高周波領域の階層符号ィ匕データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。

[0046] 同様にして、 LRCPプログレッシブ順序では、低画質のデータパケットから高画質のデータパケット順に階層符号ィ匕データが並んでおり、パケット順序通りの復号化により、徐々に画質が向上する。

このほかに、カラー成分 (RGBや YCbCr)によるプログレッシブ順序などもある。この場合は、カラー成分 (RGBや YCbCr)ごとの符号化を実行する。

階層符号ィ匕前の画像データは、何れかのプログレッシブ順序に応じて階層符号ィ匕されて画像データ記憶装置 9に記憶される。 [0047] 次にウェーブレット変換について説明する。

ウェーブレット変換では、フレームの画像をタイルと呼ばれる重なりを持たな、矩形領域ごとに分割し、タイルごとに変換処理を行う。

図 3は、画像をタイル T0〜T8の 9つのタイルに分割したところを示している。各タイルは、互いに独立して符号化され符号ィ匕処理の基本的な単位となる。

[0048] ウェーブレット変換を実行する階層ィ匕器 8の構成例を図 4に示す。これは、幾つかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに渡って行った例である。

図 4の場合は、階層レベル数が 3 (階層レベル 1〜階層レベル 3、図中は単にレべルと記してある)であり、画像信号を低域と高域に分割し、かつ低域成分のみを階層的に分割する構成を例示している。また図 4では、便宜上 1次元の信号 (例えば画像の水平成分）についてのウェーブレット変換を例示している力これを 2次元に拡張することで 2次元画像信号に対応することができる。

[0049] 次に階層ィ匕器 8の動作について説明する。図 4に示すウェーブレット変換部への入力画像信号 250は、まずローパスフィルタ 211 (伝達関数 HO (ζ) )とハイパスフィルタ 212 (伝達関数 HI (z) )とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンブラ 213、 214によって、解像度がそれぞれ 2分の 1倍に間引かれる（階層レベル 1)。

このときの出力が L成分 251と H成分 256の 2つである。ここで、上記 Lは低域（Low )、Hは高域 (High)を示す。

この図 4のローパスフィルタ 211、ハイパスフィルタ 212、及び 2個のダウンサンプラ 2 13、 214によって階層レベル 1の回路部 210が構成されている。

[0050] ダウンサンブラ 213、 214によりそれぞれ間引かれた信号の低域成分、即ちダウンサンプラ 213からの信号のみが、更に、階層レベル 2の回路部 220のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンブラ〖こよって、解像度をそれぞれ 2分の 1倍に間引かれる（階層レベル 2)。

これらの階層レベル 2のローパスフィルタ、ハイパスフィルタ及びダウンサンブラから成る回路部 220としては、上記階層レベル 1のローパスフィルタ 211、ハイパスフィルタ 212及びダウンサンブラ 213、 214から成る回路部 210と同様な構成が用いられる

[0051] このような処理を所定の階層レベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。

階層レベル 2で生成された帯域成分は、 LL成分 252と LH成分 255である。図 4は階層レベル 3まで帯域分割する例が示されており、階層レベル 2の回路部 220のローパスフィルタ側のダウンサンブラ力もの出力が、上記回路部 210と同様な構成の階層レベル 3の回路部 230に供給されている。

このように階層レベル 3まで帯域分割した結果、 LLL成分 253、 LLH成分 254、 L

H成分 255、 H成分 256が生成される。

[0052] 図 5は、階層レベル 3まで 2次元画像を帯域分割した結果得られる帯域成分を図示したものである。

この図 5に示す L及び Hの表記法は、 1次元信号を扱った図 4での L及び Hの表記法とは異なる。

即ち図 5では、まず階層レベル 1の帯域分割（水平'垂直方向）により 4つの成分 LL 、 LH、 HL、 HHに分かれる。ここで LLは水平'垂直成分が共に Lであること、 LHは水平成分が Hで垂直成分力であることを意味して、る。

次〖こ、 LL成分は再度帯分害 IJされて、 LLLL、 LLHL、 LLLH、 LLHH力生成される。更〖こ、成分は再度帯域分害 ijされて、 LLLLLL, LLLLHL, LLLLLH, LLLLHH力生成される。

[0053] ウェーブレット変換データの解像度による階層レベル分けについて、図 6を参照して更に説明する。図 6に示す構成は、図 5のデータ構成に対応するものである。図 6 は、図 5を参照して説明したように、ウェーブレット変換で分割処理を 3回行った例を示している。

[0054] 最も重要度の高!、階層レベルは、ディスプレイに粗!ヽ概略画像を表示するために必要となるデータであり、これは低域（3LL)データを含む符号ィ匕領域、即ち 1Z8のサイズのデータ領域 701〜 704に相当する。

次の重要度の階層レベルは、次の低域の 1Z4のサイズのデータ領域となり、データ領域 701〜707までで構成され、次の重要度の階層レベルは、次の低域の 1Z2 のサイズのデータ領域となり、データ領域 701〜710までで構成される。

[0055] 画像データ記憶装置 9は、階層化器 8で階層化符号化された画像データの記憶装置であり、画像データ記憶装置 9には、予め設定されたプログレッシブ順序、即ち解像度によるプログレッシブ力、あるいは画質によるプログレッシブ力に応じて階層符号化されたデータが記憶されてヽる。

[0056] 次に、符号化器 10について説明する。符号化器 10は、画像データ記憶装置 9〖こ記憶されて、る階層符号ィ匕データ力も符号ストリームを生成し、ノッファ 11に出力する。

図 7に符号化器 10から出力される符号ストリームのデータ構成を示す。符号ストリーム 51は、符号ストリームの始まりを示す SOC (Start of Code stream)マ一力 52で始まり、 SOCマーカ 52に続いて符号ィ匕パラメータや量子化のパラメータ、プログレッシブ順序などが記述されたメインヘッダマーカセグメント 53が配置される。 SOCマーカ 52とメインヘッダマーカセグメント 53がメインヘッダ（Main Header : M H)を構成しており、メインヘッダの情報は符号ストリーム全体を復号する際に必須である。

[0057] メインヘッダの後にはタイルの情報を含むタイルヘッダ（Tile Header： TH)と、そのタィルのデータであるビットストリームが続く。例えば、ビットストリーム 55は、タイル TO のビットストリームにより構成されている。

このビットストリームは、上記の 1、 r、 c、 pの階層構造を持っており、また、タイルへッダにはそのタイルのプログレッシブ順序が記入されることがある。

そして、最後に、 EOC (End of Codestream)マーカ 57が符号ストリームの終了を示す。

[0058] 図 2に戻り、ノッファ 11は、符号ストリームをパケットィ匕するために一時的に記憶する。

パケタイザ 12は、ノッファ 11内の階層符号ィ匕データを解析して、データ内容に応じて区切りを決定し、パケットィ匕する。

パケタイザ 12は、ノッファ 11内の格納データのメインヘッダを参照して、階層符号化データのプログレッシブ順序情報やレイヤ数、カラー成分に関する情報を取得する。

[0059] パケタイザ 12は、このフィールド情報を読み取ることによりどういう階層により構成されているかを解析する。

パケタイザ 12は、解析した情報に基づいて階層別に階層符号ィ匕データを区分して、区分データに基づいてパケット生成処理を実行する。その際に、パケタイザ 12は、符号ストリームをパケットィ匕する際に、後述の伝送品質制御部 16からの要求に応じたパケット化を行う。

[0060] 次に、 JPEG2000において定義されているプログレッシブ順序に基づく階層構成及び階層構成に対応するパケット構成例として 2つの例を示す。

図 8は、解像度プログレッシブ順序に従った階層符号ィ匕データについて、階層化された階層符号ィ匕データを階層ごとにパケットを対応させた例を概念的に示した図である。

1フレームの画像はパケット 31 (階層レベル（又はレイヤ） 0)、 32 (階層レベル 1)、 3 3 (階層レベル 2)、 34 (階層レベル 3)で構成される。

パケット 31に格納された階層符号ィ匕データを復号すると解像度 1Z8の画像 35が得られる。

パケット 31は最も優先度の高い階層符号ィ匕データを格納したパケットであり、復号を実行するデータ受信端末のディスプレイに、最初に粗ヽ画像を表示するために必要となる階層符号ィ匕データである。

[0061] 次に、パケット 31とパケット 32に格納された階層符号ィ匕データを復号すると解像度

1Z4の画像 36が得られる。更に、パケット 31〜33に格納された階層符号ィ匕データを復号すると解像度 1Z2の画像 37が得られ、パケット 31〜34に格納された階層符号化データを復号すると元の解像度の画像 38が得られる。

[0062] 図 8に示す 4つのパケット 31〜34の優先度順は、パケット 31、ノケット 32、パケット

33、パケット 34の順である。

図 8に示すように、プログレッシブ順序として異なる解像度を設定したプログレッシブ符号化処理により階層符号化データを生成した場合、パケット生成手段としてのパケタイザ 12は、生成パケットに格納する画像信号の階層符号ィ匕データの各解像度に対応する階層に応じた優先度情報を生成パケットの付加情報として設定する処理を実行する。

[0063] 図 9は、画質 (SNR)プログレッシブ順序に従った階層符号ィ匕データについて、階層化された階層符号ィ匕データを階層ごとにパケットを対応させた例を概念的に示した図である。

1フレームの画像はパケット 41 (階層レベル（又はレイヤ） 0)、 42 (階層レベル 1)、 4 3 (階層レベル 2)、 44 (階層レベル 3)で構成される。パケット 41に格納された階層符号化データを復号すると画質の低い元の画像と同じ解像度の画像 45が得られ、パケット 41とパケット 42に格納された階層符号ィ匕データを復号すると、パケット 41に格納された階層符号ィ匕データの復号結果よりも良い画質の画像 46が得られる。

次に、パケット 41〜43に格納された階層符号ィ匕データを復号すると更にノイズの少ない高画質の画像 47が得られ、パケット 41〜44に格納された階層符号ィ匕データを復号すると最も高い画質の画像が得られる。

[0064] 図 9に示す 4つのパケット 41〜44の優先度順は、ノケット 41、ノケット 42、パケット 43、パケット 44の順である。

図 9に示すように、プログレッシブ順序として異なる画質を設定したプログレッシブ符号ィ匕処理により階層符号ィ匕データを生成した場合は、パケット生成手段としてのパケタイザ 12は、生成パケットに格納する画像信号の階層符号ィ匕データの各画質に対応する階層に応じた優先度情報を生成パケットの付加情報として設定する。

[0065] 以上、解像度と画質についてのプログレッシブ符号ィ匕処理について説明した力このほかに色成分プログレッシブ順序に従った階層符号ィ匕データを構成することもできる。

例えば、 Yパケットに格納された階層符号ィ匕データを復号すると白黒画像が得られ、 Yパケットと Uパケットに格納された階層符号ィ匕データを復号すると、 U成分を含むカラー画像が得られる。更に、 Yパケット、 Uパケット、 Vパケットに格納された階層符号化データを復号すると、 V成分を含むカラー画像が得られる。

この場合の優先度順は、 Yパケット、 Uパケット、 Vパケットの順である。 [0066] 伝送品質制御部 16は、遠隔編集機 3の要求あるいはネットワーク状況などに応じた伝送品質 (この伝送品質を q'とする）に関する情報 (QoS)をパケタイザ 12に提供する。

伝送品質 q'には、例えば、画像データのプログレッシブ順序や必要とする階層化要素ごとの階層レベルを指定する情報など力も成り、パケタイザ 12は、この伝送品質を満たすように符号ストリームをパケットィ匕する。

[0067] また、伝送品質制御部 16は、階層符号化データの追加要求をネットワークインターフェース 15を介して取得し、これをパケタイザ 12に伝える。この場合、パケタイザ 12 は追加要求された階層符号ィ匕データをパケット化する。

このため、階層レベル 0〜階層レベル 2までの階層符号ィ匕データを送信したところ、階層レベル 3の階層符号ィ匕データの追加送信が遠隔編集機 3から要求されたため、階層レベル 3の階層符号ィ匕データをパケタイザ 12でパケットィ匕して送信するなどといつたことが可能となる。

[0068] ネットワークインターフェース 15は、パケタイザ 12がパケットィ匕した階層符号化データをネットワーク 4に送出するほか、遠隔編集機 3から階層符号ィ匕データの追加要求を受信したり、遠隔編集機 3から編集情報を受信する。

[0069] 編集制御部 17は、ネットワークインターフェース 15を介して遠隔編集機 3から編集情報を取得し、編集情報記録部 18に記録する。

そして、編集制御部 17は、編集情報記録部 18を参照し、編集情報で指定されている階層符号化データと、既に遠隔編集機 3に送信してある階層符号化データ (伝送品質制御部 16などで記憶してある）の差分を検出する。

そして、差分に該当する階層符号化データは、符号化器 10で符号化され、ノッファ 11を経てパケタイザ 12でパケタイズされてネットワークインターフェース 15から遠隔編集機 3に送信される。

[0070] なお、本実施の形態では、一例として、差分の階層符号化データを遠隔編集機 3に送信するように構成したが、各種の送信形態が可能である。

例えば、画像データ記憶装置 9で記憶して 1、る階層符号化データから編集情報で指定されている階層符号ィ匕データを抽出し、遠隔編集機 3に送信するように構成することもできる。この場合、遠隔編集機 3は、既に受信してある階層符号ィ匕データに関しては再度受信することになる。

また、このとき、例えば、プログレッシブ順序が変化したらパケット順を変化させ、メインヘッダやタイルパートヘッダのデータを変更するなどの処理が可能である。

[0071] 更に、遠隔編集機 3側で差分の階層符号ィ匕データを検出し、編集データの代わりに、遠隔編集機 3が主編集機 2に差分の階層符号ィ匕データを特定する差分情報を送信するよう〖こ構成することもできる。

この場合、主編集機 2は、差分情報で指定された階層符号化データを画像データ記憶装置 9から読み出して遠隔編集機 3に送信すれば良ぐこの場合、編集制御部 1 7と編集情報記録部 18は、必要なくなる。

ただし、主編集機 2側で、遠隔編集機 3側でどのような編集画像データが生成されたの力、確認した!/、場合は、編集情報を遠隔編集機 3から主編集機 2に編集情報を送信するように構成すればょヽ。

[0072] 図示しなヽが、主編集機 2に、更に編集情報を編集する機能 (編集情報再編集手段)を持たせることもできる。

この場合、主編集機 2に、遠隔編集機 3と同様の編集機能を持たせ、主編集機 2で素材画像データを再生したり、編集情報に従って画像を再生したりしながら、遠隔編集機 3で行った編集作業の修正を行う。

このように、主編集機 2に、素材画像データや編集画像データを再生してディスプレイに表示したり、シーンを再指定したり、画像品質を再指定したりできるように構成することにより、編集作業をより完全にすることができる。

[0073] ところで、編集画像データで実現可能な最高品質 (解像度'画質など）は、素材画像データが持つ解像度 ·画質などの品質に等、。

そのため、遠隔編集機 3で編集作業を行うためには、遠隔編集機 3に各要素指定値の上限値となる素材画像データの階層レベル情報を送信し、編集可能な階層レべルの範囲を通知する必要がある。

遠隔編集機 3では、編集画像データの指定値が素材画像データの階層レベルを超えないように、階層レベル指定操作を制御することになる。これによつて、編集可能な階層レベルの範囲内で、画質は高いが解像度は小さくする、画質は高いがコンポ一ネントを輝度コンポーネントのみとするなど、画像品質を規定する複数の階層化要素 (画像構成要素)ごとに階層レベルを独立に制御することができる。

[0074] 遠隔編集機 3に編集可能な階層レベル範囲を通知する方法は各種存在するが、例えば、 SDP (Session Description Protocol)を利用することができる。

[0075] SDPは、マルチメディアデータの送受信に一般的に利用されるプロトコルであり、拡張性を確保するために、自由に定義可能な拡張部分を有している。本実施の形態では、 SDPの拡張部分に新たに属性を定義し、これに素材画像データのプログレッシブ順序や、各階層化要素の最高階層レベルなど、素材画像データの画像品質に関する情報を記述して、編集対象である画像データの転送開始時に、初期化操作の一部として主編集機 2から遠隔編集機 3へ転送する。

[0076] 図 10は、 SDPの一例を示した図であり、行 59に素材画像データのプログレッシブ順序と各階層化要素の最高階層レベルを記述している。

行 59の RLCPは階層化要素のプログレッシブ順序が解像度一画質コンポーネント—位置であることを示し、それに続く 5、 4、 3、 1がそれぞれ解像度を示すウェーブレット分割回数 (解像度の階層レベル数）、レイヤ数 (画質の階層レベル数）、コンポ一ネント数（コンポーネントの階層レベル数）とタイル数を示して、る。

即ち、素材画像データは、ウェーブレット変換 5回を経て、変換係数力レイヤにビットプレーン化され、 YUVの 3コンポーネントで圧縮されている。

[0077] 以上に説明した主編集機 2におヽて、画像データ記憶装置 9は、画像を形成する階層符号化データを記憶するデータ記憶手段を構成する。

符号化器 10、ノッファ 11、パケタイザ 12、伝送品質制御部 16を用いることにより、遠隔編集機 3に対応した所定の階層符号化データを送信することができ、主編集機 2は、所定の階層レベルに属する階層符号ィ匕データを遠隔編集機 3に送信するデータ送信手段を備えている。

また、主編集機 2は、遠隔編集機 3から編集作業及び編集画像データ生成の過程で必要となった階層符号ィヒデータの送信要求を受け付ける要求データ受付手段と、要求された階層符号ィ匕データを遠隔編集機 3に送信する要求データ送信手段を備えている。

要求データ受付手段で受け付ける要求には、階層符号化データの各階層化要素についての階層レベルが指定されており、要求データ送信手段は、画像データ記憶装置 9に記憶されている階層符号ィ匕データのうち、これに対応するものを遠隔編集機 3に送信する。

更に、遠隔編集機 3は、受信した階層符号化データより、当該階層符号化データの階層レベル構成を知ることができ、また、主編集機 2は、 SDPで素材画像データの階層レベル構成を通知して、る（階層レベル構成送信手段)。

[0078] [遠隔編集機の構成、及び編集処理]

次に、遠隔編集機 3の構成及び編集処理について説明する。

遠隔編集機 3は、主編集機 2から送信されてきた階層符号ィ匕データを用いた編集処理、及び編集情報の生成、及び編集画像データの生成を行う。

[0079] 図 11に遠隔編集機 3のブロック図を示す。

ネットワークインターフェース 61は、主編集機 2から送信されてきたパケットを受信する。

デパケタイザ 62は、ネットワークインターフェース 61からパケットを取得してパケット内の階層符号ィ匕データを取り出す。

[0080] 復号器 63は、デパケタイザ 62が取り出した階層符号ィ匕データを一時記憶装置 66 に記憶しておき、編集者が指定した階層レベルの階層符号ィ匕データを一時記憶装置 66から読み出して復号し、表示装置 67で表示する。

これにより、編集者は、画像品質を変化させながら画像を見ることができる。また、デパケタイザ 62が取り出した階層符号ィ匕データを復号器 63が復号し、そのまま表示装置 67で表示するように構成することもできる。

更には、復号器 63は復号ィ匕した画像データを一時記憶装置 66に記憶し、表示装置 67がこれを再生するように構成することもできる。

そして、編集者がリアルタイムで編集し、編集者が指定したシーンの階層符号化データを一時記憶装置 66に記憶させることができる。

[0081] 図 12に、復号器 63のブロック図を示す。復号器 63は、先に図 5を参照して説明したウェーブレット変換処理の逆の動作を行うウェーブレット逆変換処理構成を持つ。

即ち、図 4で説明したウェーブレット変換部の出力である各帯域成分 253、 254、 2 55、 256は、図 12のウェーブレット逆変換部に入力されると、まず LLL成分 253及び LLH成分 254が、それぞれアップサンプラ 272、 273によって 2倍の解像度にアップサンプルされる。

[0082] 引き続いて低域成分はローパスフィルタ 274、高域成分はハイパスフィルタ 275によってフィルタリングされて、加算器において、両者の帯域成分は合成される。

ここまでの回路部 271により、前述の図 5の階層レベル 3 (図中では単にレベルと記してある）の回路部 230での変換の逆の処理としての逆変換が完了して、階層レベル 2の低域側の帯域成分である LL成分 257が得られる。

[0083] この処理を以後階層レベル 1まで繰り返すことで、最終的な逆変換後の復号画像 2 59が出力されることになる。

即ち、階層レベル 2の回路部 280及び階層レベル 1の回路部 290は、階層レベル 3 の回路部 271と同様な構成を有し、階層レベル 3の回路部 271の出力が階層レベル 2の回路部 280の低域側の入力として、また、階層レベル 2の回路部 280の出力が階層レベル 1の回路部 290の低域側の入力として、それぞれ送られる。以上が、通常のウェーブレット逆変換部の基本構成である。

[0084] 図 11に戻り、表示装置 67は、復号器 63がー時記憶装置 66から階層符号化データを取得して復号した画像を再生し、これをディスプレイなどの表示装置に表示する編集者は、表示装置 67によって再生された画像データを確認しながら編集作業を行うことができる。

[0085] シーン編集部 68は、編集者が表示装置 67で再生させた画像を参照しながらシーンの生成を行うためのインターフェースである。シーン生成は、編集点を指定することにより行う。

編集点は、シーンの開始位置であるイン点 (in点）と終了位置であるアウト点（out点 )の組から成る。画像データのうち、イン点とアウト点で区切られた時間範囲、即ちシーンが画像品質の編集範囲となる。これら編集点は、編集情報記録部 70にて記録される。

また、シーン編集部 68がー時記憶装置を備えて、編集点を記憶し、一括して編集情報記録部 70に転送するように構成することもできる。

[0086] 画像品質編集部 69は、各シーンに対して、編集者が解像度や画質などの画像品質を操作するインターフェースである。画像品質編集部 69は、指示された画像品質を編集情報記録部 70に編集情報として記録する。また、プログレッシブ順序を指定することちでさる。

画像品質編集部 69は、シーン編集部 68に含まれて、ても良、。

また、画像品質編集部 69は、編集情報伝送部 71に画像品質を指定する情報を直接渡すように構成しても良い。

[0087] 編集情報記録部 70は、一時記憶装置 66に記憶されている階層符号化データを参照しながらシーン編集部 68で指定された編集点とタイムコードとを関連づけて編集情報として記録する。

更に、編集情報記録部 70は、記録したシーンごとに、画像品質編集部 69での画像品質指定内容を対応付けて、これらの情報も編集情報に含める。

[0088] なお、編集情報記録部 70は、例えば、タイムコード記録用、画像品質記録用など複数あっても良い。

更に、編集情報記録部 70は、一時記憶装置 66に記憶されている階層符号化データではなぐこの階層符号ィ匕データを複製した階層符号ィ匕データを用いて編集情報を生成するように構成することもできる。

[0089] 力！]えて、編集情報記録部 70に着脱可能な記憶媒体を駆動する機能を設け、編集情報をリムーバブルメディア (着脱可能な記憶媒体）に記録するように構成することもできる。

この場合、編集情報を記憶した記憶媒体をオートバイ、鉄道、自動車、飛行機などの交通期間を利用した配送によって主編集機 2に届けるように構成することもできる。

[0090] 編集情報伝送部 71は、編集情報記録部 70で記録された編集情報をネットワークパケットィ匕するなどし、ネットワーク 4を介して主編集機 2に送信する。なお、編集情報伝送部 71は、ネットワークインターフェース 61やその他の図示しないネットワークインターフェースで構成することも可能である。

[0091] また、主編集機 2に編集情報を送信した後、差分の階層符号化データがある場合は、主編集機 2からこの階層符号ィ匕データが送信され、一時記憶装置 66に記憶される。

これによつて、一時記憶装置 66には、編集画像データを生成するために必要な階層符号ィ匕データが蓄積される。

[0092] 編集制御部 73は、編集情報に従って、一時記憶装置 66から階層符号化データを抽出し、編集画像データを生成する。

編集画像データの生成は、例えば、一時記憶装置 66に記憶された階層符号化データから指定されたシーンごとに、指定された解像度、画質を満たす階層レベルまで階層符号ィ匕データを読み出し、これを編集画像データ記憶装置 72に転送することにより行う。この際に、編集情報に従ってプログレッシブ順序を変更することもできる。

[0093] 編集画像データ記憶装置 72は、編集処理により生成された編集画像データを記憶する。

遠隔編集機 3が備える記憶装置が磁気記録ディスクなどの大容量記憶媒体の場合、同一の記憶装置で一時記憶装置 66と編集画像データ記憶装置 72を構成しても良い。この場合、編集画像データ記憶装置 72は、不要となり編集画像データは一時記憶装置 66に形成される。

あるいは、編集制御部 73が編集情報と画像品質の指示を満たす画像を残すように一時記憶装置 66から不必要な画像データを除去するように構成しても良い。

[0094] 更に、編集情報記録部 70や編集画像データ記憶装置 72は、複数存在しても良い。カロえて、編集情報記録部 70に記録されている編集情報や編集画像データ記憶装置 72に記憶されている編集画像データを第三者に提供するために複製する複製部や、外部に出力する出力部を備えても良い。

[0095] 次に、以上のように構成された遠隔編集機 3を用いた編集操作について説明する。

編集操作は、シーンの生成、及び指定したシーンの画像品質の指定など力構成される。まず、シーンの指定方法について説明する。シーンの生成は、編集点の指定のほ力更に指定したシーンの複製、移動、削除など力も構成されている。この操作により、編集点のタイムコードリストが生成される。

なお、タイムコードは例えば、フレームデータのヘッダのオプションに含めたり、ファィルフォーマットのオプションに含めたりなどして、対応する画像データと関連づけられて主編集機から遠隔編集機に送信されているものとする。

[0096] 図 13は、表示装置 67に表示されたシーン編集画面の一例を示しており、この画面はシーン編集部 68によって提供され、表示装置 67に表示される。

編集者はシーン編集部 68をキーボードやマウスなどの入力装置を用いて操作し、シーンを生成することができる。

シーン編集画面は、シーン表示部 75、サムネイル表示部 78、追加ボタン 82、修正ボタン 83、終了ボタン 84など力構成されている。

[0097] サムネイル表示部 78は、復号器 63で復号された画像のサムネイル 79、 79、 79、 …を図に向力つて左側力も右側に向けて時系列に沿って表示する。

ここに表示されるサムネイルは、例えば、画像データを構成するフレームを解像度の低、静止画像で表示したものである。

サムネイルがサムネイル表示部 78に一度に表示できな、場合は、マウス操作などで水平スクロールバーのスライドボタン 80を左右にスライドさせると、サムネイルをスクローノレすることができるようになって!/ヽる。

[0098] シーン表示部 75は、シーンのイン点とアウト点をシーン番号に対応させて表示するシーン表示部 75は、シーン番号表示欄 74、イン点表示欄 72a、アウト点表示欄 73 a、及び垂直スクロールバー 77などから構成されて!、る。

シーン番号表示欄 74は、シーン番号を表示する欄であって、 1、 2、 3、…といったようにシーン番号が画面上から下にかけて昇順に並んでいる。シーン番号は、編集画像データで使用されるシーンの順序を示しており、この順序で編集画像データが生成されること〖こなる。

[0099] イン点表示欄 72aは、シーン番号表示欄 74で表示されたシーンのイン点を指定する欄である。イン点表示欄 72aには、そのシーンの開始フレームのサムネイルとタイムコードが表示される。

イン点は、例えば、イン点に対応するサムネイルをサムネイル表示部 78からドラッグ •アンド ·ドロップすることにより設定することができる。

[0100] アウト点表示欄 73aは、シーン番号表示欄 74で表示されたシーンのアウト点を指定する欄である。アウト点表示欄 73aには、そのシーンの終了フレームのサムネイルとタィムコードが表示される。

アウト点は、例えば、アウト点に対応するサムネイルをサムネイル表示部 78からドラッグ ·アンド'ドロップすることにより設定することができる。

垂直スクロールバーのスクロールボタンをマウス操作などによりスライドさせると、シーン表示部 75に表示される内容をスクロールすることができる。

[0101] 追力！]ボタン 82は、シーン表示部 75に新たにシーンを追加するためのボタンであり、これをマウスでクリックするなどの操作を行うと、シーン表示部 75に新しい番号の欄が追加される。この新しい番号の欄では、イン点表示欄 72aとアウト点表示欄 73aが空欄となっており、この空欄にイン点とアウト点を指定することによりシーンを追加することがでさる。

また、編集者が追加のシーンの位置を指定するように構成することもできる。

[0102] 修正ボタン 83は、指定したシーンに対して複製、移動、削除などの修正を行うためのボタンである。

終了ボタン 84は、シーンの生成処理を終了するためのボタンである。

[0103] 図 14 (a)は、修正ボタン 83を選択した場合に表示される修正画面の一例を示している。

修正画面 90では、シーン表示部 75のほ力、複製ボタン 86、移動ボタン 88、削除ボタン 89などが表示される。これらはラジオボタンにより構成され、マウス操作などで何れカ 1つが選択可能となっている。

[0104] 図 14 (a)では、複製ボタン 86が選択されており、修正画面 90は複製モードとなっている。

複製モードでは、シーン表示部 75で複製したいシーンをクリックすると、そのシーンが複製されてシーン表示部 75に追加される。

例えば、図 14 (a)でシーン 4を選択すると、図 14 (b)で示したように、シーン 4と同じシーンがシーン 5として追加される。

[0105] 図 15 (a)では、移動ボタン 88が選択されており、修正画面 90は移動モードとなっている。

移動モードでは、シーン表示部 75で移動対象であるシーンを、移動先にドラッグ' アンド'ドロップすると、移動先に移動することができる。

例えば、図 15 (a)でシーン 3をシーン 5の位置にドラッグ 'アンド'ドロップすると図 15 (b)に示したように、シーン 3がシーン 5に移動し、シーン 4とシーン 5は、それぞれ 1つずつ番号が繰り上がる。

[0106] 図 16 (a)では、削除ボタンが選択されており、修正画面 90は削除モードとなっている。

削除モードでは、シーン表示部 75で削除対象であるシーンをクリックすると、そのシーンを削除することができる。

例えば、図 16 (a)でシーン 3をクリックすると、図 16 (b)に示したように、シーン 3が削除され、以降のシーン、即ちシーン 4とシーン 5のシーン番号が 1つずつ繰り上がる

[0107] 図 17は、シーン生成処理によって生成されたタイムコードリストの論理的な構成の一例を示した図である。

図に示したように、各シーンは、イン点とアウト点の組から構成されている。例えば、シーン 1のイン点は、 3分 00秒 ΌΟフレームであり、シーン 1のアウト点は、 3分 14秒、 29 フレームである。このように、タイムコードは 100分の 1秒単位で作成することができる

[0108] 図 18は、シーン編集処理 (カット処理）の手順を示したフローチャートである。

まず、遠隔編集機 3は、遠隔編集機 3を初期化し、シーン編集処理を開始する。そして、終了ボタン 84 (図 13)が選択された力否かを検出することにより、シーン編集処理の終了判定を行う（ステップ 5)。

終了と判定した場合 (ステップ 5 ; Y)、シーン編集処理を終了する。 [0109] 終了でないと判定した場合 (ステップ 5 ; N)、遠隔編集機 3は、タイムコードの追加と修正の何れが選択されてヽるかを判断する（ステップ 10)。

この判断は、シーン編集画面（図 13)の追加ボタン 82と修正ボタン 83の何れが選択されているかを判断することにより行う。

[0110] ステップ 10において追カ卩が選択されている場合、追カ卩の選択がキャンセルされたか否力判断し (シーン編集画面で図示しな、キャンセルボタンで追加の選択状態をキャンセルすることができる）（ステップ 15)、キャンセルされている場合は（ステップ 15

； Y)、ステップ 5に戻る。

[0111] キャンセルされていない場合は (ステップ 15 ; N)、編集者によるサムネイル表示部 7 8でのサムネイル選択を受け付け、イン点でのフレームをユーザに選択させる（ステツプ 20)。

そして、遠隔編集機 3は、選択されたフレームからイン点のタイムコードを取得し (ステツプ 25)、編集情報として編集情報記録部 70 (図 11)に記録する (ステップ 30)。

[0112] 次に、遠隔編集機 3は、同様にして編集者にアウト点のフレームを選択させる (ステップ 35)。そして、選択されたフレームからアウト点のタイムコードを取得して (ステップ 40)、編集情報記録部 70に記録する (ステップ 45)。そして、遠隔編集機 3は、処理をステップ 5に戻す。

なお、イン点とアウト点の選択順序は逆でも良い。

[0113] ステップ 10でタイムコードリストの修正が選択されていると判断した場合、遠隔編集機 3は、図 19で示したフローチャートに従って処理を行う。

そして、遠隔編集機 3は、編集者に修正範囲 (複製、移動、削除対象のシーン)を選択させる (ステップ 50)。

次に、遠隔編集機 3は、複製ボタン 86、移動ボタン 88、削除ボタン 89の何れが選択されてヽるか判断する (ステップ 55)。

[0114] 複製ボタン 86が選択されている場合、遠隔編集機 3は、選択されているシーンのィン点とアウト点力もなるタイムコードの組を複製し (ステップ 60)、タイムコードリストに追カロしてタイムコードリストを更新する (ステップ 75)。

移動ボタン 88が選択されている場合、遠隔編集機 3は、選択されているシーンのタィムコードの組を移動先として指定されて、る位置に移動して (ステップ 65)タイムコ一ドリストを更新する (ステップ 75)。

[0115] 削除ボタン 89が選択されている場合、選択されているシーンのタイムコードの組をタイムコードリストから削除して (ステップ 70)、これを更新する (ステップ 75)。

そして、遠隔編集機 3は、ステップ 75でタイムコードリストを更新すると、ステップ 10 の処理に戻る。

[0116] なお、以上の例では、イン点とアウト点の組を修正対象としたが、既に指定されているイン点とアウト点の組にぉ、て、何れか一方を修正対象とすることもできる。

また、直接又はフレーム指定を通じてとある 1点のタイムコードが指定されると、予め設定された条件に基づいて、この 1点の前後のある範囲の時刻分のデータを編集範囲とするようにイン点とアウト点の組が生成されるように構成しても良い。

[0117] 以上の例では、生成したタイムコードリストを編集情報記録部 70に記憶したが、タイムコードをパケタイズして主編集機に送信し、主編集機にてタイムコードリストを生成するよう〖こ構成することちでさる。

この場合に遠隔編集機 3が行う処理手順を図 20のフローチャートを用いて説明する。

なお、図 18のフローチャートと同じ処理には同じステップ番号を付し、説明を省略する。

[0118] 遠隔編集機 3は、図 18の例で遠隔編集機の記録部にタイムコードを伝送するのと同等のタイミングで、タイムコードをパケタイズして、編集情報伝送部 71を通じて主編集機 2に送信を行う（ステップ 28、 48)。

そして、シーン編集を終了する場合は、主編集機 2に編集終了を通知する (ステツプ 49)。

また、修正を行う場合は、図 21に示したように、主編集機 2に編集内容を伝送し、主編集機 2からの応答により、主編集機 2でタイムコードの記録が変更されたことを確認する (ステップ 80)。

[0119] なお、以上の編集操作では、画像データでシーンを指定したが、画像データをサムネイルで閲覧した結果、画像コンテンツの始めから終わりまでが必要と判断されシーン編集操作が発生しない場合もある。このときは画像コンテンツの開始位置と終了位置を自動的にタイムコードリストに記録するような設定を設けても良、。

[0120] 次に、編集情報記録部 18へのタイムコードリスト記録方式について説明する。

ここでは、 1つのタイムコードを記録する容量を bバイトとし、 N組の編集範囲（シーン )をイン点、アウト点の順に記録する場合を考える。

予め確保した記憶領域 N * 2 * bの開始番地を aO番とすれば、 k番目の編集対象範囲のイン点はアドレス a0 + 2 * b * (k—l)番地から、アウト点は a0+ (2 * (k—l) + 1) * b番地に記載される。

[0121] このとき、最大リスト長 Nmax分の記録空間 Nmax * 2 * bを確保しておき、編集点追加操作のたびに対応アドレスに値を書き込んでも良い。

あるいは、編集点の追加操作があつたときに、新規編集点のための 2bだけ領域を確保して、確保した部分にタイムコードを書き込んでも良い。

イン点、アウト点、次リスト参照先アドレスを含む構造体を生成して、タイムコード組追加のたびに新規構造体のための空間を確保しながら記録しても良、し、タイムコードを格納し、格納先のアドレス力なるリストを作成し、このリストから必要とされるタイムコードのアドレスを読み出してタイムコードそのものを参照しても良い。

[0122] 以上、タイムコードを用いた編集範囲指定例を示したが、タイムコードの代わりに、編集点のフレームのタイムコード情報にマッピング可能な別の情報を利用しても良い例えば、フレーム番号で構成されても良い。主編集機内で階層符号ィ匕されているフレームやタイルデータの格納アドレスを示すような相対的あるいは絶対的ポインタを利用しても良ヽ。 RTPパケットの RTPヘッダに付与される RTPタイムスタンプを利用しても良い。ここで、 RTPタイムスタンプは 90KHzの周波数で生成されるため、 RTP タイムスタンプは通常およそ 30fpsである画像データの生成時間間隔を再現するのに十分な時間分解能を持つ。

[0123] 以上のようにして、画像データで編集範囲であるシーンを指定した後、これらシーンに対して画像品質 (ここでは解像度、画質)の指定を行う。

本実施の形態では、階層符号の復号に用いる階層レベルを指定することで、画像データ全量を受信せずとも、編集画像データの画像品質を指定可能とする。

また、編集画像の品質を確認する際に画像データの一部の取り寄せが必要となつても、既に受信済みである階層符号ィ匕データとの差分データを受け取れば良い。

[0124] 編集画像品質で実現可能な最高品質は、素材となるオリジナルの画像データが持つ解像度 ·画質の品質に等し、。

そこで、遠隔編集機 3は、例えば、図 10に示した SDPを画像データの転送開始時に初期化操作の一部として主編集機 2から受信して、素材画像データの最高階層レベルなどの通知を受ける。そして、これらの情報を編集情報記録部 70に記憶する。

[0125] 画像品質編集部 69は、編集情報記録部 70に記憶された素材画像データの階層レベル値を参照し、編集画像データの階層レベル指定値が素材画像データの値を超えないように、画像品質指定操作を制御する。

このとき、画質は高いが解像度は小さくする、画質は高いがコンポーネントを輝度コンポーネントのみとするなど、階層を構成する階層化要素ごとに独立に制御することができる。

即ち、画像品質の編集は、主編集機 2から素材画像データの階層レベル情報を取得し、その範囲内で編集画像品質を決定することになる。

[0126] 図 22は、表示装置 67に表示された画像品質編集画面の一例を示しており、シーン編集を終了すると表示される。

画像品質編集画面は、画像品質の編集に用いられるユーザインターフェースを構成しており、画質、解像度といった階層化要素ごとに独立した階層レベル指定を可能としている。

[0127] 画像品質編集画面は、画像表示部 110、再生箇所表示部 111、再生ボタン 113、画質指定部 115、解像度指定部 118、シーン表示部 123など力構成されている。このように、画像品質編集画面は、画像表示部 110と階層化要素ごとに独立な指定部 (画質指定部 115、解像度指定部 118)を備え、これら指定部においては指定可能範囲からッマミ等で所望の指定値を指示することができる。

また、図の例では、画質、解像度が共に階層レベル 1〜階層レベル 7で指定可能であり、素材画像データは、 6回のウェーブレット変換後、画質を 7レイヤに分割して階層構造化されている。

なお、以下では説明を省略するが、コンポーネントに関しても階層レベルの指定が可能である。

[0128] 以下に、画像品質編集画面の各構成化要素について説明する。

シーン表示部 123は、シーン編集処理にて生成したシーンの一覧を表示し、画像品質編集の対象シーンをシーン編集処理の結果と対応付ける。

シーン表示部 123の表示内容は、シーン表示部 75 (図 13)と同様であり、各シーンのイン点とアウト点のフレームがサムネイルで表示されており、垂直スクロールバーでこれらをスクローノレすることができる。

[0129] シーン表示部 123では、例えば、マウス操作でクリックするなどして、画像品質を設定するシーンを選択できるようになって、る。図の例ではシーン 2が選択されて、る。このように、画像品質編集部 69は、シーンごとに成る画質や解像度の階層レベルを旨定することができる。

また、同一シーンを構成する一連の画像フレームの一部のみが高画質ィ匕ゃ高解像度化など異なる階層化要素レベルでの編集を指示されたならば、シーンの分割を行い、シーンやタイムコード範囲の情報を変更するように構成することもできる。

[0130] 画像表示部 110は、シーン表示部 123で選択されている画像データを再生して表示するエリアである。

画像表示部 110では、シーンを構成するフレームが連続的に表示され、編集者は、シーンを構成する画像データを動画像として見ることができる。

[0131] 再生ボタン 113は、シーン表示部 123で選択されている画像データの再生を制御するためのボタンである。

編集者は、マウス操作でこのボタンをクリックするなどして、画像の再生及び停止を選択することができる。

[0132] 再生箇所表示部 111は、画像表示部 110に表示されている画像のシーン内での位置を表示する。

再生位置は、再生位置指示部 112の位置によって示され、再生位置指示部 112は、画像の再生の進行に伴ってイン点（図に向かって再生箇所表示部 111の左端)からァゥト点（同右端）に向かって移動する。

また、編集者は、マウス操作などで再生位置指示部 112をスライドさせることにより、シーン内の任意の位置に再生位置を移動させることができる。

[0133] 画質指定部 115は、シーン表示部 123で選択されているシーンの画質の階層レべル (画質レベル)を指定するのに用いる。

選択可能な画質レベルは、主編集機 2から送信されてきた素材画像の階層化情報力決定される。

[0134] 画質指定部 115では、指定可能な画質の最大値と最小値を指定可能範囲とすることで、予め編集可能範囲を制限している。また、指定可能な値を、整数値のインデッタスとして示している。

図の例では、画質は階層レベル 1〜階層レベル 7まで階層化されており、編集者は画質ツマミ 116をマウス操作などで移動させ、これらの範囲から所望の値を選択することができる。

[0135] 画質レベルのインデックスには、 kl、 kl recv, kl orgなどの表記が併記されている klは、編集作業によって指定された画質のレイヤ数、 kl recvは、遠隔編集機 3が保持しているレイヤ数、 kl orgは、素材画像データの画質レイヤ数を表している。また、これらの値は、色、マークなどで表示しても良い。

[0136] 遠隔編集機 3は、 kl recvで指定された画質レベルまでの画像データを保持しているので、遠隔編集機 3は、階層レベル 1から kl recvの間では指定された画質にて画像を画像表示部 110に表示することができる。

そのため、編集者は、指定した画質を画像表示部 110にて確認することができる。

[0137] 指定画質が、 kl recvを超えた場合は、追加の階層符号化データを要求するプロンプトを行う。編集者が追加の階層符号ィ匕データを要求する場合は、主編集機 2〖こ追加データの伝送を要求し、これによつて受け取った追加の階層符号ィ匕データを先に受信していた階層符号ィ匕データと合わせて高解画質で表示する。

[0138] 解像度指定部 118は、シーン表示部 123で選択されているシーンの解像度のレべル (解像度レベル)を指定するのに用いる。画質と同様に、指定可能な解像度レベルの最大値と最小値を設定し、編集可能範囲を制限している。

選択可能な解像度レベルは、主編集機 2から送信されてきた素材画像の階層化情報カゝら決定される。解像度は、（ウェーブレット変換回数 + 1)種類の階層レベルが選択が可能であり、図の例では階層レベル 1〜階層レベル 7が選択可能である。

解像度は、解像度ッマミ 119をマウス操作などで移動させ、これらの値から選択することがでさる。

[0139] 解像度レベルのインデックスには、 kr、 kr recv, kr orgなどの表記が併記されている。

krは、編集用の指定解像度レベル、 kl recvは、遠隔編集機 3が保持している画像データの解像度レベル、 kr orgは素材画像データ解像度レベルである。

なお、これらの値は、色、マークなどで表示しても良い。

[0140] 遠隔編集機 3は、 kr recvで指定された解像度レベルまでの画像データを保持しているので、遠隔編集機 3は、階層レベル 1から kr recvの間では指定された画質にて画像を画像表示部 110に表示することができる。

そのため、編集者は、指定した解像度を画像表示部 110にて確認することができる

[0141] 指定解像度が、 kr recvを超えた場合は、追加の階層符号化データを要求するプロンブトを行う。編集者が追加の階層符号ィ匕データを要求する場合は、主編集機 2に追加データの伝送を要求し、これによつて受け取った追加の階層符号ィ匕データを先に受信していた階層符号ィ匕データと合わせて高解像度で表示する。

[0142] ここで、画質を高めるために主編集機 2に追加の階層符号ィ匕データを要求する場合について説明する。

図 23の各図は、解像度を階層レベル 3に固定したまま画質を階層レベル 3から階層レベル 6に変化させる場合を示している。

まず、最初は、図 23 (a)に示したように、画質レベルが 3に設定されており、画像表示部 110には、画質レベル 3に対応する画像が表示されている。

[0143] 次に、図 23 (b)に示したように、編集者が画質レベル 6を指定したとする。この場合、遠隔編集機 3が保持している画像データの画質レベルは、最高で階層レベル 5であるので、階層レベル 6の画質で画像を表示するために追加の階層符号ィ匕データを主編集機 2に要求する力否かを図に示したダイアログなどを用いて編集者に問い合わせる。

[0144] 編集者が追加の階層符号ィ匕データを要求した場合、遠隔編集機 3は、主編集機 2 に要求を送り、その要求に応えて主編集機 2が送付してきた追加の階層符号ィ匕デ一タを受信して、図 23 (c)に示したように、指定後の画質にて画像を画像表示部 110に表示する。

図 23 (c)では、 klが 6に設定され、画像表示部 110には画質レベル 6の画像が表示されている。

[0145] 次に、解像度を高めるために主編集機 2に追加の階層符号ィ匕データを要求する場合について説明する。

図 24の各図は、画質を階層レベル 6に固定したまま解像度を階層レベル 3から階層レベル 6に変化させる場合を示している。

まず、最初は、図 24 (a)に示したように、解像度レベルが 3に設定されており、画像表示部 110には、解像度レベル 3に対応する画像が表示されている。

[0146] 次に、図 24 (b)に示したように、編集者が解像度レベル 6を指定したとする。この場合、遠隔編集機 3が保持している画像データの解像度レベルは、最高で階層レベル

5であるので、階層レベル 6の解像度で画像を表示するために追加の階層符号ィ匕デ一タを主編集機 2に要求する力否かを図に示したダイアログなどを用いて編集者に問い合わせる。

[0147] 編集者が追加の階層符号ィ匕データを要求した場合、遠隔編集機 3は、主編集機 2 に要求を送り、その要求に応えて主編集機 2が送付してきた追加の階層符号ィ匕デ一タを受信して、図 24 (c)に示したように、指定後の解像度にて画像を画像表示部 110 に表示する。

図 24 (c)では、 krが 6に設定され、画像表示部 110には解像度レベル 6の画像が表示されている。

[0148] 次に、遠隔編集機 3が保持している階層レベルの解像度よりも大きい階層レベルの解像度を指定し、しかも主編集機 2に追加の階層符号ィ匕データを要求しなカゝつた場合について説明する。

例えば、図 25 (a)に示したように、 kr recvは階層レベル 5であるのに、図 25 (b)に示したように階層レベル 6を指定したとする。

すると、画像表示部 110で追加の階層符号ィ匕データを要求するカゝ否かの確認を編集者に行うが、ここで編集者は要求しな力つたとする。

すると、画像表示部 110には、図 25 (c)に示したように、指定された解像度が現在表示して!/ヽる解像度よりも高ヽことを通知され、表示可能な解像度で画像が表示される。

画質についても、遠隔編集機 3が保持している画質レベルより高い階層レベルを指定し、追加の階層符号ィ匕データを要求しない場合は、その旨の表示が画像表示部 1 10でなされる。

[0149] 次に、画像データで ROI (Region of Interest)を指定する場合につ!、て説明する。

ROIは、指定された領域に優先してビットレートを割り当てる技術そのもの、又は、その領域を指し、他の領域よりも画像品質を高く設定したものである。

また、逆に指定した一部領域の画像品質を他の領域よりも低く設定することも可能である。

本実施の形態では、タイル単位で ROIを設定することができる。

[0150] 図 26に ROIの指定例を示す。

画像表示部 110で、ペンオブジェクトで領域を囲うなどして画像中 ROIを指定すると、 ROIとなるタイルの位置では、画質に用いるレイヤの階層レベル数が他の箇所とは異なる値として編集情報記録部 70に記録する。

図の例では、 ROIチェックボックス 131を設け、このチェックボックスが選択されている間は、画質指定部 115にて ROIの画質を設定し、選択されていない間は ROI以外の部分の画質を設定できる。

図に示した例では、画像の中心に ROI130が指定されており、この領域が他の領域よりも高画質化されている。

また、画像処理などによって興味オブジェクトを検出し、興味オブジェクトが含まれる領域の画像品質を高めることも可能である。

[0151] 次に、図 27のフローチャートを用いて、画像品質編集手順について説明する。この処理は、階層化要素ごと (画質、解像度など）に行うが、以下では、これらの階層化要素のうちの 1つについて説明する。

まず、遠隔編集機 3は、 SDPの拡張部などに記述されるなどして主編集機 2から伝送された素材画像データの画像品質を参照しながら、設定上限 kmaxを設定し (ステップ 100)、更に下限値 kminを設定する (ステップ 105)。

ここでは、 kmax=kO、 kmin = 1に設定されている。

[0152] 次に、画像品質編集処理を終了する力判定し (ステップ 110)、終了する場合は (ステツプ 110 ; Y)、編集結果を編集情報として編集情報記録部 70に記録し、処理を終了する。

終了しない場合は (ステップ 110 ;N)、編集者が指定した階層化要素のレベル指定 kを受け付け、階層化要素の設定値を指示値 kに変更する (ステップ 115)。

[0153] 次に、主編集機 2は、 kが kmin力も kmaxまでの範囲にある力、即ち、素材画像データの画像品質の範囲にある力判断する (ステップ 120)。

kがこの範囲になかった場合は (ステップ 120 ; N)、 kが kminよりも小さい場合は kを kminに設定し (ステップ 140)、 kが kmaxよりも大きい場合は kを kmaxに設定する（ステップ 145)。

[0154] kが kminから kmaxまでの範囲にあった場合 (ステップ 120 ; Y)、又は、ステツプ 14

0、 145で kの値を設定した場合、編集情報としてこの kの値を編集情報記録部 70に記録する (ステップ 125)。

次に、遠隔編集機 3は、 kが現在遠隔編集機 3で保持している画像データの画像品質の範囲内力判断し (ステップ 130)、保持している画像データの画像品質の範囲内である場合は (ステップ 130 ;Y)、 kで指定された画像品質にて画像表示部 110に画像を表示する (ステップ 135)。

[0155] 一方、保持して、る画像データの画像品質の範囲内でなかった場合は (ステップ 1

30 ;N)、編集者に対して主編集機 2に差分の階層符号ィ匕データを要求するか問い合わせる（ステップ 150)。編集者が差分の階層符号ィ匕データを要求した場合 (ステップ 150 ;Y)、主編集機 2 に差分の階層符号ィ匕データを要求し (ステップ 155)、その結果、主編集機 2から送信されてきた階層符号ィ匕データを受信する (ステップ 160)。

[0156] 受信した階層符号ィ匕データは、デパケタイザ 62 (図 11)でデパケタイズされた後、復号器 63で復号されて、先に一時記憶装置 66に記憶してある階層符号化データに追加される。

そして、主編集機 2は、指定された画像品質にて画像データを表示する (ステップ 1 35)。

[0157] 一方、編集者が追加の階層符号ィ匕データを要求しな力つた場合は (ステップ 150 ;

Ν)、画像表示部 110で表示している画像が指定された画像品質とは異なることを編集者に通知し (ステップ 165)、現在保持している画像データを用いて指定された画像品質に一番近い画像品質にて画像表示部 110に画像を表示する (ステップ 170)

[0158] 以上のようにして、シーンの指定、及び指定したシーンでの画像品質の指定を行うことができる。

このようにして生成され、編集情報記録部 70に記憶された編集情報の論理的な構成の一例を図 28に示す。

図に示したように、編集情報は、シーン番号 141、イン点 142、アウト点 143、画質レベル 144、解像度レベル 145、 ROI画質 146、 ROIタイル番号 147などの項目力構成されている。

[0159] シーン番号 141は、シーン番号である。

イン点 142、アウト点 143は、各シーンのイン点とアウト点である。

画質レベル 144は、各シーンで指定された画質レベルである。

解像度レベル 145は、各シーンで指定された解像度レベルである。

ROI画質 146は、あるシーンで ROIが指定された場合の、 ROIで指定された画質である。

ROIタイル番号 147は、 ROIに指定されたタイルのタイル番号である。

[0160] また、図 29に示したようにタイルごとに画質レベルを設定するように構成し、これによって ROIを指定することもできる。

図の例では、タイル番号 5のタイルの画質レベルが 5に設定され、他のタイルは画質レベルが 3に設定されている。

[0161] 次に、遠隔編集機 3を携帯端末で構成した場合について説明する。遠隔編集機 3 を携帯端末で構成することにより、撮影現場での編集などを容易に行うことができる。図 30 (a)は、携帯端末で構成した遠隔編集機 3の操作部を図示したものである。遠隔編集機 3は、ディスプレイを備えており、このディスプレイ上に画像表示部 156、編集対象指定部 152、レベル指定部 154、サムネイル表示部 158が形成されている。

[0162] また、ディスプレイの外部に編集者が編集操作を行うための操作部 160が形成されている。

操作部 160は、図示したようにボタンや又はジョグダイヤルなどで構成することができ、操作部 160を操作することにより画像表示部 156に表示された項目間の移動ゃメニュー選択、メニュー項目移動などが可能となって、る。

[0163] サムネイル表示部 158は、生成したシーンの先頭フレームのサムネイルが表示される。シーンは、受信した画像データを画像表示部 156で表示し、操作部 160を操作してシーンをカットすることにより行う。

操作部 160を操作してサムネイル表示部 158でサムネイルを選択することにより、シーンを選択することができ、選択されたシーンが画像品質編集対象となる。

[0164] 編集対象指定部 152では、図 30 (b)に示したように、サムネイル表示部 158で選択されたシーンに対して、画質、解像度、 ROIの何れを編集するかを操作部 160を操作して選択することができるようになって!/、る。

そして、レベル指定部 154では、図 30 (c)に示したように、編集対象指定部 152に選択した項目の編集画像データで利用する階層レベルを選択できるようになって!/ヽる。

[0165] ROIを指定する場合は、図 31に示したように、編集対象指定部 152で ROIを選択し、操作部 160を操作して画像表示部 156上で ROI〖こ指定するタイルを選択する。 R OIを指定する場合は、タイルの境界が表示され、少なくとも 1つを指定することができる。指定した ROIの画質はレベル指定部 154で指定することができる。

以上に説明した遠隔編集機 3において、ネットワークインターフェース 61は、主編集機 2から送信されてきた階層符号ィ匕データを受信し、データ受信手段を構成して!/ヽるデパケタイザ 62、復号器 63、一時記憶装置 66、表示装置 67を用いて画像が再生され、これらは再生手段を構成している。

シーン編集部 68と画像品質編集部 69により、編集者からの編集作業を受け付け、これらは編集手段を構成してヽる。

シーン編集部 68、画像品質編集部 69、及び編集情報記録部 70により編集情報が生成され、これらは、編集情報生成手段を構成している。

更に、画像品質編集部 69は、解像度、画質など、画像の品質を規定する階層化要素ごとに階層レベルの指定を受け付け、編集情報記録部 70は、これらの指定値を編集情報に含める。

生成した編集情報は、編集情報伝送部 71から主編集機 2に送信され、これは編集画像データの生成に必要な階層符号ィヒデータを主編集機 2に要求するデータ要求手段を構成している。

そして、編集制御部 73は、主編集機 2から先に受信した階層符号ィ匕データと、追加送信された階層符号化データを用いて (先に受信した階層符号化データでは不足する場合)、編集画像データを生成する編集画像データ生成手段を構成している。また、画像品質編集部 69は、表示装置 67で画像を再生する際に、解像度レベル、画質レベルなど、階層化要素の階層レベルの選択を編集者カゝら受け付け（階層レべル選択手段)、一時記憶装置 66、復号器 63、表示装置 67は、選択された階層レべルにて画像を再生する。

更に、画像品質編集部 69は、編集者が画像品質を編集する際に、受信済みの階層レベル、素材画像データの階層レベル、現在指定している階層レベルなどを表示装置 67に表示し、階層レベル提示手段を構成している。

また、画像品質編集部 69は、編集者が再生されている画像の階層レベルと、画像品質編集部 69で指定した階層レベルが異なる場合は、図 25 (c)のように警告を表示する (警告表示手段)。

[0167] 次に、図 32を用いて遠隔編集システム 1で行われる編集シーケンスについて説明する。

まず、主編集機 2に素材画像データが階層化されて蓄積された状態で、主編集機 2は遠隔編集機に編集開始のシグナルを送る。

遠隔編集機 3は作業メモリの確保、サムネイル用データの保存メモリ確保、編集情報テーブルの初期化と!/、つた、初期化作業 Initializeを行う。

[0168] 初期化後、遠隔編集機 3は、サムネイル受信シグナル getData (Τ' in、 T' out)により、サムネイルデータを要求する。

主編集機 2では主編集機 2の素材画像データより所望の品質を満たすようサムネィルの作成に十分なデータを伝送する。

[0169] 前述の伝送品質制御部が指示する画像品質で T， inから T， outまでのデータの読み出しを指示し（readData (Τ' in、 T' out, q' ) )、調整されたデータ adjustedDa ta (Τ' in、 Τ' out)を画像データ部から読み出し、 sendadjustedDataにより遠隔編集機 3に伝送する。

[0170] ここで、素材画像データの読み出しは、編集機間をつなぐネットワーク 4の状態から算出された伝送レートや、主編集機 2側の伝送品質制御部 16におヽてサムネイル画像向けに指定された画像解像度や画質の画像品質に従って、読み出し量や伝送量を制御し遠隔編集機 3に配信される。

[0171] 遠隔編集機 3は、画像データを受信し、 seekFrame Oで画像表示部 110に表示されるサムネイルを見ながらフレームを探索し、決定した編集点を addEditlistTin (Tk in)、 addEditlistTout (Tk out)で編集情報に記述する。ここで kは、 1力も Nまでの整数である。

[0172] 以上の操作を繰り返して、編集画像データに使用されるシーン Tl、、、 Tk、、、 ΤΝ が定まる。

シーン Tkの画像品質の指定は、解像度、画質のような階層化要素について編集画像データに使用する階層レベルを指定する方式で行う（editQual (Tk' ) )。

画像品質の編集中は、 Framedata Oによって編集用データを読み出すことでサムネイルの画像品質を変えながら品質を決定する。

[0173] 編集中、詳細の検討に、サムネイル受信データで表示可能な画像品質を超えるデータが必要となれば reqData、 getData (図示せず）によって主編集機 2から差分の階層符号化データを受信する。

編集操作によって画像品質が決定されると、階層化要素の階層レベルが編集情報に書き込まれる（setQual (Tk，、 q，））。

[0174] 遠隔編集機 3における編集操作が終了すると、編集情報にしたがって編集画像データが遠隔編集機 3で生成される。

はじめに、編集リストに記載された編集範囲 Tkの編集点のタイムコード TkinTkout で示されるフレーム群 flTkについて、画像品質 q' Tkを完成するためのデータを遠隔編集機側に転送するよう、主編集機 2に要求が送られる（sendEditli st (flTk, q' (T k) ) ) _G

[0175] 主編集機 2ではこの情報と伝送品質制御部 16などに記録してぉ、た伝送済み階層符号化データの履歴 sendDatalnfo ()とを比較して、差分の階層符号化データ di ffData (flTk, q' (Tk) )を遠隔編集機 3に伝送する。

遠隔編集機 3側ではすでに所有している階層符号ィ匕データと、主編集機 2から受け取った画像品質差分データ (差分の階層符号ィ匕データ)を用いて編集画像データを完成させる。

ここでは主編集機 2側で送信済みの階層符号ィ匕データとの差分を計算したが、遠隔編集機 3において受信済みの階層符号ィ匕データと必要な階層符号ィ匕データの差分を計算して、差分の要求のみを主編集機 2に伝送しても良、。

[0176] 完成した編集画像データは、コンテンツの配信をうけるサービス端末力ゝらの要求に従い利用される。コンテンツ配信サービスとしては FTPを用いたファイル毎転送、 HT TPストリーミングゃ RTPストリーミングがあげられる。編集画像データ記憶装置 72そのものを物理的に取り外し運搬したり、取り外し可能な記憶媒体に複製して運搬しても良い。

[0177] 図 33は、主編集機 2と遠隔編集機 3での画像データの記憶状態を示した概念図である。フレーム列 202は、主編集機 2の画像データ記憶装置 9での素材画像データ記憶状態を表している。図に向力つて右側に時間軸を採っており、左端のフレームが素材画像データの開始位置にあるフレームで、右端のフレームが終了位置にあるフレームである。フレーム列 204、 206、 208も同様である。

[0178] 主編集機画像データのフレーム 201は、フレーム列 202を構成する各フレームの解像度による階層レベルを示しており、図 6に対応するものである。なお、 3LLなどの記載は省略してある。

図に示したように、フレーム列 202を構成する各フレームは、サイズ 1Z8 (解像度レベル 0)、サイズ 1,4 (解像度レベル 1)、サイズ 1,2 (解像度レベル 2)、サイズ 1,1 (解像度レベル 3)の階層符号ィ匕データを有して、る。

[0179] 次に、主編集機画像データのフレーム列 204は、遠隔編集機 3の一時記憶装置 66 で記憶してヽる階層符号化データの記憶状態を表して、る。

フレーム 203は、フレーム列 204を構成する各フレームの解像度による階層レベルを表している。

図に示したように、フレーム列 204を構成する各フレームは、サイズ 1Z8 (解像度レベル 0)の階層符号ィ匕データを有して、る。

[0180] これは、主編集機 2が素材画像データのうち、サイズ 1Z8の階層符号ィ匕データを遠隔編集機 3に送信するように画像品質の調整を行ったためである。

編集者は、遠隔編集機 3にてフレーム列 204を参照しながら編集作業を行う。

図は、フレーム列 204において編集により、 N個のシーン T1〜TN (ここでは N = 2) のイン点とアウト点がマーキングされて、る状態を示して、る。

[0181] 主編集機画像データのフレーム列 206は、主編集機 2の画像データ記憶装置 9で記憶されてヽる素材画像データを表しており、フレーム列 204での編集結果との対応関係を示している。

フレーム 205は、フレーム列 206の各フレームの解像度による階層レベルを示しており、フレーム 201と同じである。

フレーム列 206では、フレーム列 204の N個のシーン T1〜TNに対応させて、シーン T1〜TNがマーキングされて!/ヽる。 [0182] 主編集機画像データのフレーム列 208は、遠隔編集機 3の編集画像データ記憶装置 20で記憶されて、る編集画像データの記憶状態を示して!/、る。

フレーム 207は、フレーム列 208の各フレームの解像度による階層レベルを示しており、サイズ 1Z2(解像度レベル 2)の階層符号ィ匕データ力も構成されている。

このように、編集画像データはフレーム列 206のシーン T1〜TNからサイズ 1Z2の符号データを抽出して生成されて、る。

[0183] この抽出処理は、例えば、次のように行うことができる。

例えば、各フレームについて 3LLの領域のみ（1Z8サイズ)で編集画像データを生成する場合であれば、読み出し中のフレームで 3LLの領域を読み出し、読み出しポインタを次フレームの画像データ先頭領域に移動する。そして、このフレームで 3LL の領域を読み出したら、更に次のフレームに移動する。

このように、フレーム列で各フレーム力所望の階層符号ィ匕データを読み出す処理を、シーンの範囲内で繰り返すことにより編集画像データを生成することができる。

[0184] このように処理を行うことにより、画像データ記憶装置 9に記憶されている全ての階層符号化データ（3HL、 3HH、 2LH、 2HL、 2LL、 1LH、 1HL、 1HH)を遠隔編集機 3に送信する必要がなぐまた、編集画像データの生成に際して、画像データ記憶装置 9から全ての階層符号ィ匕データを読み出す必要がないため、伝送時間、処理時間を節約することができる。

[0185] 図 33では、シーンを特定すると共に解像度による階層レベルの調整を行ったが、画質レベルによる調整を行うこともできる。

なお、素材画像データを必要としない場合は、余剰な階層符号ィ匕データを画像データ記憶装置 9から消去しても良、し、ある、は消去後に記憶領域を再配置しても良い。

[0186] 図 34は、主編集機 2ハードウェア的な構成の一例を示した図である。

主編集機 2では、 CPU240、 ROM (Read Only Memory) 242、 RAM (Random Acc ess Memory) 241、入力装置 244、出力装置 246、ネットワーク接続装置 248、記憶装置 2500、記憶媒体駆動装置 2540などがバスライン 260で接続されて構成されている。 [0187] CPU240は、 ROM 242や RAM 241、及び記憶装置 2500などに記憶されているプログラムに従って各種の処理を実行する中央処理装置である。

CPU240は、主編集機側の編集プログラムを実行することにより、図 2に示した符号化器 10、ノッファ 11、パケタイザ 12、伝送品質制御部 16、編集制御部 17などの各構成要素を形成し、遠隔編集機能を発揮する。

[0188] ROM242は、主編集機 2を機能させる上で必要な基本的なプログラムやパラメータなどを記憶したリードオンリーメモリである。

RAM241は、データの書き込み及び消去が可能なランダムアクセスメモリであって

、例えば、 CPU240が階層符号ィ匕データの送信を行ったり、編集情報に基づいて編集画像データを生成する際に、ワーキングメモリを提供する。

[0189] 入力装置 244は、例えば、キーボード、マウス、ジョイスティック、などの入力デバィスから構成されており、主編集機側の作業者は、素材画像データやを再生したり、これらを再編集したりすることができる。

また、入力装置 244を操作することにより、素材画像データや主編集機 2全体の管理保守を行うことができる。

[0190] 出力装置 246は、ディスプレイ、スピーカ、プリンタなどの出力デバイス力も構成されており、主編集機側の作業者は、これらのデバイスで素材画像データやを再生表示したり、遠隔編集機 3から送信されてきた編集情報の内容を表示したりすることができる。

また、画像データが音声データを含んでいる場合は、その音声をスピーカから出力することができる。

[0191] 記憶装置 2500は、例えばノ、ードディスクドライブなどで構成された大容量の記憶デバイスであり、 CPU240によってデータの読み書きが可能となっている。

記憶装置 2500は、例えば、大容量のハードディスクで構成されている力このほか、光磁気ディスク、磁気ディスク、半導体記憶装置など、他の記憶媒体と、この記憶媒体を駆動する記憶媒体駆動装置を用いて構成することもできる。

記憶装置 2500には、各種プログラムを格納したプログラム格納部 2560と、各種データを記憶したデータ格納部 2580が形成されている。 [0192] プログラム格納部 2560には、例えば、遠隔編集機能を発揮するための編集プログラムやファイルの入出力処理などの基本的な機能を主編集機 2で実現するための O

S (Operating System)などが記憶されて、る。

データ格納部 2580には、画像データ記憶装置 9 (図 2)などが形成され、素材画像データなどが記憶されて、る。

[0193] 記憶媒体駆動装置 2540は、半導体メモリ、光磁気ディスク、磁気ディスクなどの着脱可能な記憶媒体を駆動して、データの読み書きを行う。

これによつて、素材画像データを記憶媒体力も読み込んだりすることができる。ネットワーク接続装置 248は、主編集機 2をネットワーク 4に接続するためのインターフェースであり、ネットワークインターフェース 15 (図 2)を構成している。

[0194] 以上、主編集機 2の構成について説明したが、遠隔編集機 3のハードウェア的な構成も基本的に主編集機 2と同様である。

遠隔編集機 3は、遠隔編集機側の編集機能を発揮する編集プログラムを有しており

、これを CPUで実行することにより、編集情報の作成や編集画像データの生成などの上述した各種の遠隔編集機能を発揮する。

[0195] 以上、本実施の形態を説明した力各種の変形が可能である。

例えば、編集画像データ記憶装置 72に記憶した編集画像データは、ネットワーク 4 を介してユーザ端末などに配信することもできる。

この場合、遠隔編集機 3に、編集画像データを配信するための配信サイトを設け、配信サイトにアクセスしてきたユーザ端末に編集画像データを送信する。

編集画像データをダウンロード配信しても良、し、ストリーミング配信しても良、。また、編集画像データをテレビ局の端末などに送信し、放送することも可能である。また、編集画像データを複製して記憶媒体などに記憶させ、ユーザに提供することちでさる。

[0196] 更に、本実施の形態では、遠隔編集機 3で一旦編集情報を蓄積し、これを主編集機 2に送信するように構成したが、遠隔編集機 3での編集作業中に主編集機 2に編集情報を逐次送信するように構成することもできる。

この場合、例えば、遠隔編集機 3は、編集情報をパケット化し、ネットワーク 4へのパケット出力によって主編集機 2に送信する。

そして、主編集機 2は、この編集情報に基づいて逐次素材画像データ力も差分の階層符号化データを抽出し、遠隔編集機 3に送信する。

あるいは、主編集機 2は、逐次送信されてくる編集情報を蓄積しておき、遠隔編集機 3からの編集終了の指示を受けて力差分の階層符号ィ匕データを送信するように構成することちできる。

[0197] 更に、遠隔編集システム 1を第 3の編集機を有するように拡張することも可能であるこの場合のシステム構成を図 35に示す。

この場合、主編集機 2から遠隔編集機 3に階層符号化データを送信し、遠隔編集機 3で編集情報を作成するのは先に説明した実施の形態と同じであるが、主編集機 2は、第 3の編集機 2aに素材画像データを送信し、遠隔編集機 3は、編集情報を第 3 の編集機 2aに送信する。

[0198] そして、第 3の編集機 2aは、編集情報を用いて素材画像データから編集画像データを生成する。

このように遠隔編集システムを構成した場合、遠隔編集機 3と第 3の編集機 2aの組み合わせが遠隔編集装置を構成する。

[0199] また、遠隔編集システム 1は、業務用に構成することを主眼に置いているが、個人ュ一ザが利用できるように構成することもできる。

例えば、サーバ機能を持つ自宅の PC (Personal computer)にてテレビ放送を受信する。 PCは、受信したデータを階層符号ィ匕しながら記憶すると共に、ネットワークを介して携帯端末に低画質の階層符号化データを送信する。

[0200] 一方ユーザは、携帯端末で送信されてくる階層符号ィ匕データを復号しながらリアルタイムでこれを閲覧する。そしてこれを閲覧しながら編集点を定め、放送終了後に編集情報を自宅の PCに送信する。

自宅の PCは、送信されてきた編集情報を用いて差分の階層符号ィ匕データを携帯端末に送信し、携帯端末で編集画像データを生成する。

[0201] また、放送コンテンツ作成のためにカメラで撮影するデータをカメラ内の記憶装置やカメラに接続した記録装置に階層符号ィ匕してローカルで記録すると同時に主編集機 2にストリーミングを行うこともできる。この場合、遠隔編集機 3で編集作業を行い、編集内容に基づいて遠隔編集機 3側の最終画像コンテンツとして放送コンテンツを作成する。

[0202] 更に、遠隔編集システム 1では、編集画像データ作成時に参照される編集情報の指定事項のうち、階層構造を持った構成化要素である画質と解像度について、階層レベルを指定し、指定された階層化レベルを用いて編集情報を生成したが、階層化要素ごとに階層レベルそのものを数値で指定するほか、解像度であれば「大」、「小」で指定し、画質であれば「良い」、「悪い」といった定性的な評価を軸に割り当て、階層レベル指示に用いても良い。

あるいは、解像度であれば「幅 640ピクセル高さ 320ピクセル」、「PSNR 47dB」など、階層化要素ごとに一般的に利用される尺度に変換してインデックスを表示することも可能である。

[0203] また、遠隔編集システム 1では、遠隔編集機 3で階層化要素のレベル指定による編集操作を行う場合について説明したが、同様の画像表示部とユーザインターフエ一スを、主編集機 2に備え、編集側が所望する編集基準を満たすようにサムネイル画像の品質を階層レベルの指定によって調節し、送出することも可能である。例えば、ドラマの撮影中に行う編集操作であれば、登場する人物の顔の位置をパターンマツチング等で自動認識し、この領域を ROI〖こ指定して、他領域よりも高画質で遠隔の編集機に送出することができる。

[0204] 本実施の形態は、 MPEG4 FGS^JPEG2000のような方式で階層符号化された画像データから編集用サムネイルを生成し伝送し、編集に利用する編集システムを提供するが、これによつて、編集情報を利用して遠隔編集機側に高画質な画像コンテンッが生成される。

これによつて、以下のような構成を提供することができる。

(1)主編集機と遠隔編集機カゝらなる遠隔編集システムで、前記主編集機は、階層符号化する手段により符号化されたデータを蓄積する手段と、前記蓄積された階層符号ィ匕データを階層ごとにパケット化する手段と、前記階層化されたパケットネットヮーク層にネットワーク'パケットィ匕する手段と、前記ネットワーク 'パケットを送出するためのパケット通信する手段を有し、前記遠隔編集機は、ネットワーク 'パケットを受信するためのパケット通信する手段と、受信したネットワーク 'パケットをデパケタイズし、データに組み立てる手段と、データを復号する手段と、復号されたデータを参照してデータを編集する手段を有し、前記データ編集手段においてデータの編集情報を生成し、生成した編集情報を主編集機に伝送する、遠隔編集システムで、更に前記主編集機は、前記遠隔編集機より送出された編集情報を受信する手段と、受信した編集情報を参照する手段と、編集情報の指示内容に従い、指示内容を階層符号データの階層構成要素のレベルにマッピングする手段と、所望されるレベルまで前記主編集機の階層符号データを読み出す手段と、前記読み出された階層符号データを前記符号ィ匕手段とパケタイズ手段と送出手段とを介して遠隔編集機に伝送し、前記遠隔編集機は伝送された階層符号データをデパケタイズし、最終画像コンテンツ記録装置に記録することで遠隔編集機に最終画像コンテンツを作成する、遠隔編集システム。

(2)前記最終画像コンテンツ蓄積手段に生成されたコンテンツを FTP (file transfer p rotocol)にて転送する遠隔編集システム。

(3)最終画像コンテンツの画像品質指定操作を指示する手段を主編集機に備える、遠隔編集システム。

(4)最終画像コンテンツの画像品質を指定する手段を遠隔編集機に備える、遠隔編集システム。

(5)最終画像コンテンツの画像品質を指定する手段を主編集機に備える、遠隔編集システム。

(6)指定された画像品質の実現に、 MPEG4の階層化技術を用いる遠隔編集システム。

(7)指定された画像品質の実現に、 JPEG2000の階層化技術を用いる遠隔編集システム。

(8)主編集機に、復号されたデータを表示するための表示装置を備える、遠隔編集システム。以上の構成により、画像データにウェーブレット変換の階層符号ィ匕を適用し、通信網に接続された遠隔編集機に画像データを伝送し、遠隔機では伝送された画像データを用いて画像コンテンツの編集を行なう遠隔編集システムを構築できる。伝送される編集用画像はネットワーク利用帯域に応じた画像品質に調整する。階層符号化の特質から、受信側端末能力が異なったり、ネットワーク通信状況が変化する場合でも、負荷の高い解像度や画質のトランスコードを必要としない。また、差分データの追加により高画質ィ匕が実現可能である。この伝送画像を利用して編集をおこない、最終画像コンテンツの生成時に参照するための、たとえば編集点タイムコードカゝら構成される編集情報を作成する。

産業上の利用の可能性

本発明によると、負荷の高い情報処理を行わずに、遠隔編集装置の能力、編集者の要望、あるいはネットワークの状況などに応じた遠隔編集を柔軟に行うことができる

Claims

請求の範囲

[1] 主編集装置に記憶した画像を形成する階層符号化データの編集作業を、ネットヮークを介して遠隔編集装置で行う遠隔編集システムであって、

前記主編集装置は、前記階層符号ィ匕データのうち、所定の階層レベルに属するものを前記遠隔編集装置に送信し、

前記遠隔編集装置は、前記送信された階層符号化データを用いた編集作業を受け付けて、編集により編集画像データの生成に必要となった階層符号ィ匕データを前記主編集装置に要求し、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを用いて編集画像データを生成することを特徴とする遠隔編集システム。

[2] 画像を形成する階層符号化データを記憶したデータ記憶手段と、

前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号ィ匕データを遠隔編集装置に送信するデータ送信手段と、

前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付手段と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信手段と、

を具備したことを特徴とする主編集装置。

[3] 前記要求データ受付手段で受け付ける要求では、画像の画像品質を規定する単数、又は複数の階層化要素の階層レベルが指定されており、前記要求データ送信手段は、前記記憶した階層符号ィ匕データのうち、前記指定された階層化要素ごとの階層レベルに対応する階層符号ィ匕データを送信することを特徴とする請求項 2に記載の主編集装置。

[4] 前記データ送信手段は、前記記憶した階層符号化データのうち、前記遠隔編集装置に対応した階層に属する階層符号ィ匕データを送信することを特徴とする請求項 2 に記載の主編集装置。

[5] 前記遠隔編集装置に、前記記憶した階層符号化データの階層レベル構成と、前記送信した階層符号ィ匕データの階層レベル構成と、を送信する階層レベル構成送信手段を具備したことを特徴とする請求項 2に記載の主編集装置。

[6] 主編集装置力画像を形成する階層符号ィ匕データを受信するデータ受信手段と、前記受信した階層符号化データを用いて画像を再生する再生手段と、前記再生した画像を用いて編集作業を受け付ける編集手段と、

編集手段による編集により編集画像データの生成に必要な階層符号ィ匕データを前記主編集装置に要求するデータ要求手段と、

前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し

、前記受信した階層符号ィ匕データを用いて編集画像データを生成する編集画像データ生成手段と、

を具備したことを特徴とする遠隔編集装置。

[7] 前記編集手段は、編集画像の画像品質を規定する複数の階層化要素ごとの階層レベルの指定を受け付け、前記データ要求手段は、前記指定した階層化要素ごとの階層レベルを前記主編集装置に送信することを特徴とする請求項 6に記載の遠隔編集装置。

[8] 前記階層化要素の階層レベルの選択を受け付ける階層レベル選択手段を具備し、前記再生手段は、前記選択された階層レベルに対応する前記階層符号化データを用いて画像を再生することを特徴とする請求項 6に記載の遠隔編集装置。

[9] 前記主編集装置から、前記主編集装置で記憶して!/ヽる階層符号化データの階層レベル構成と、前記受信した階層符号化データの階層レベル構成と、を受信して提示する階層レベル提示手段を具備したことを特徴とする請求項 6に記載の遠隔編集装置。

[10] 前記再生手段で再生されている画像の画像品質を規定する階層化要素の階層レベルと、前記指定した編集画像の画像品質を規定する階層化要素の階層レベルが異なる場合は、その旨を表示する警告表示手段を具備したことを特徴とする請求項 7 に記載の遠隔編集装置。

[11] 画像を形成する階層符号ィ匕データを記憶するデータ記憶ステップと、

前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号ィ匕データを遠隔編集装置に送信するデータ送信ステップと、前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号化データの送信要求を受け付ける要求データ受付ステップと、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信ステップと、

から構成されたことを特徴とする編集方法。

[12] 主編集装置カゝら画像を形成する階層符号ィ匕データを受信するデータ受信ステップと、

前記受信した階層符号ィ匕データを用いて画像を再生する再生ステップと、前記再生した画像を用いて編集作業を受け付ける編集ステップと、

前記データ要求手段で、編集手段による編集により編集画像データの生成に必要な階層符号ィヒデータを前記主編集装置に要求するデータ要求ステップと、

前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号ィ匕データを用いて編集画像データを生成する編集画像データ生成ステップと、

から構成されたことを特徴とする編集方法。

[13] 画像を形成する階層符号ィヒデータを記憶したデータ記憶機能と、

前記記憶した階層符号ィ匕データのうち、所定の階層レベルに属する階層符号ィ匕データを遠隔編集装置に送信するデータ送信機能と、

前記遠隔編集装置から、前記遠隔編集装置で編集画像データを生成するために必要な階層符号ィヒデータの送信要求を受け付ける要求データ受付機能と、前記要求された階層符号化データを前記遠隔編集装置に送信する要求データ送信機能と、

をコンピュータで実現する編集プログラム。

[14] 主編集装置から画像を形成する階層符号化データを受信するデータ受信機能と、前記受信した階層符号化データを用いて画像を再生する再生機能と、前記再生した画像を用いて編集作業を受け付ける編集機能と、

編集機能による編集により編集画像データの生成に必要な階層符号ィ匕データを前記主編集装置に要求するデータ要求機能と、前記要求に応じて前記主編集装置から送信されてきた階層符号化データを受信し、前記受信した階層符号ィ匕データを用いて編集画像データを生成する編集画像データ生成機能と、

をコンピュータで実現する編集プログラム。