JP2011223360A - 送信装置、受信装置、制御方法、及び通信システム - Google Patents

Abstract

【課題】高精度の同期を実現する。
【解決手段】タイムスタンプ生成部１２４ａは、送信の対象となるデータの再生タイミングを指定する映像制御レイヤ同期用タイムスタンプを符号化データに付加する。タイムスタンプ生成部１２７は、データが送信される回線に対して回線制御を行う際の制御タイミングを指定する回線制御レイヤ同期用タイムスタンプを、データ転送の制御情報に付加する。そして、映像制御レイヤ同期用タイムスタンプおよび回線制御レイヤ同期用タイムスタンプが付加されたパケットが送信される。本発明は、例えば、複数のスタジオと複数のサブを備えた放送システムに適用できる。
【選択図】図１９

Description

本発明は、送信装置、受信装置、制御方法、及び通信システムに関し、特に、高精度の同期を実現することができるようにした送信装置、受信装置、制御方法、及び通信システムに関する。

現在、インターネットやＬＡＮ（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。ネットワークを介して画像データを送受信する場合には、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である。

例えば、画像圧縮処理の最も知られた手法として、ＭＰＥＧ（Moving Pictures Experts Group）と呼ばれる圧縮技術がある。ＭＰＥＧ圧縮技術を用いる場合には、ＭＰＥＧ圧縮技術により生成されたＭＰＥＧストリームがＩＰ（Internet Protocol）に従ったＩＰパケットに格納され、ネットワーク経由で配信される。そして、ＭＰＥＧストリームは、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistants）、携帯電話などの通信端末を用いて受信され、各端末の画面上に表示される。

このような状況の中、画像データの配信を主目的とする例えばビデオオンデマンドやライブ映像の配信、あるいはビデオ会議、テレビ電話などのアプリケーションにおいては、ネットワークのジッタによって送信側のデータが全て受信側へ到達しない環境や、異なる能力を持つ端末に画像データが受信される環境があり、それらの環境を想定する必要がある。

例えば、１つの送信源から送信される画像データは、携帯電話などの解像度の低いディスプレイと処理能力の低いＣＰＵを有する受信端末によって受信され、表示される可能性がある。また、それと同時に、デスクトップＰＣのように高解像度のモニタと高性能のプロセッサを有する受信端末によって受信され、表示される可能性もある。

このように、ネットワーク接続環境によって、パケット受信状況が異なることを想定する場合には、例えば送受信するデータの符号化を階層的に実行する、階層符号化と呼ばれる技術が利用される。階層符号化された画像データにおいては、例えば高解像度のディスプレイを有する受信端末向けの符号化データ、及び低解像度のディスプレイを有する受信端末向けの符号化データが選別して保持され、受信側で画像サイズや画質を適宜変更することができる。

階層符号化が可能な圧縮・伸張方式としては、例えばＭＰＥＧ４とＪＰＥＧ２０００によるビデオストリームが挙げられる。ＭＰＥＧ４では、ＦＧＳ（Fine Granularity Scalability）技術が標準規格として取り込まれプロファイル化される予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。また、ウェーブレット（Wavelet）変換を基盤とするＪＰＥＧ２０００では、ウェーブレット変換の特徴を生かして空間解像度をベースにパケットを生成し、または画質をベースに階層的にパケットを生成することが可能である。また、ＪＰＥＧ２０００では、静止画だけではなく動画を扱えるＭｏｔｉｏｎ ＪＰＥＧ２０００（Ｐａｒｔ３）規格により、階層化したデータをファイルフォーマットで保存することが可能である。

さらに、階層符号化を適用したデータ通信の具体案として提案されているものとして、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を基盤とするものがある。これは通信対象の例えば画像データをＤＣＴ処理し、ＤＣＴ処理により高域と低域とを区別して階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ通信を実行する方法である。

このような階層符号化された画像データを配信する場合には、多くの場合リアルタイム性が要求されるが、現状ではリアルタイム性よりも大画面・高画質の表示が優先される傾向がある。

画像データの配信においてリアルタイム性を確保するためには、ＩＰベースの通信プロトコルとして、通常はＵＤＰ（User Datagram Protocol）が用いられる。さらに、ＵＤＰの上のレイヤにおいてはＲＴＰ（Real-time Transport Protocol）が用いられる。ＲＴＰパケットに格納されるデータフォーマットは、アプリケーションごと、即ち符号化方式ごとに定義された個々のフォーマットに従う。

また、通信ネットワークとしては、無線または有線によるＬＡＮ、光ファイバー通信、ｘＤＳＬ、電力線通信、またはＣｏ−ａｘといった通信方式が用いられる。これらの通信方式は年々高速化しているが、それを送信する画像コンテンツも高画質化している。

例えば、現在主流になっているＭＰＥＧ方式またはＪＰＥＧ２０００方式における代表的なシステムのコード遅延（符号化遅延＋復号遅延）は２ピクチャ以上であり、これでは画像データ配信における十分なリアルタイム性が確保されているとは言い難い。

そこで、近日、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックという。）ごとに画像を符号化することで遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックという。）が提案され始めている。ラインベース・コーデックの利点としては、低遅延のほか、画像圧縮の１単位で取り扱う情報が少ないことにより、高速処理やハードウェア規模の低減が可能といった利点がある。

ラインベース・コーデックを対象とする提案事例としては、次の例が挙げられる。下記特許文献１には、ラインベース・コーデックに基づく通信データについて、ラインブロックごとに適切に欠落データの補完処理を行う通信装置が記載されている。下記特許文献２には、ラインベース・コーデックを用いる場合の遅延の低減と処理の効率化を図った情報処理装置が記載されている。下記特許文献３には、ラインベース・ウェーブレット変換された画像データの低周波数成分を伝送することにより画質の劣化を抑える送信装置が記載されている。ラインベース・コーデックの利用により、高画質・低遅延伝送が行えるようになったため、今後、ライブ中継を行うカメラシステムへの適用が期待されている。ライブ中継を行うカメラシステムを対象とする提案事例としては、特許文献４に開示されているように、本願出願人は、デジタル変調器を用いて伝送効率を上げるシステムを提案している。

そこで、特許文献５に開示されているように、本願出願人は、ラインベース・コーデックを用いた通信において安定して同期を獲得する技術を開発している。

特開２００７−３１１９４８号公報 特開２００８−２８５４１号公報 特開２００８−４２２２２号公報 特許第３６１７０８７号 特開２００９−２７８５４５号公報

しかしながら、従来のライブ中継を行うカメラシステムを高画質でかつ、Ethernet（登録商標）やNGN（Next Generation Network）、無線といった汎用回線に対応させるとなると、遅延量の増大により、ライブ中継の核技術である画像の切り換え処理を高速に行うことは困難である。例えば、複数のカメラの位相合わせは放送システムの場合、高い精度が必要であり、高画質と高い精度の同期を実現するのは困難である。

さらに、ライブ中継を行うカメラシステムの複雑さへの対応である。現状、カメラにCCU（Camera Control Unit）一台を必要とし、複雑なシステム構成のカメラシステムにおいて、フレーム同期タイミングの異なるライブ中継制御局の増設は、接続やシステム同期の観点から困難である。ライブ中継を行うカメラシステムで必須なカメラへのＧｅｎＬｏｃｋに必要な精度の高い同期タイミングを、高画質・低遅延の要件を満たしながら対応していくことは困難である。

本発明は、このような状況に鑑みてなされたものであり、高精度の同期を実現することができるようにするものである。

本発明の第１の側面の送信装置は、送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加する再生時刻情報付加手段と、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加する制御時刻情報付加手段と、前記再生時刻情報および前記制御時刻情報が付加されたデータを送信する送信手段とを備える。

本発明の第１の側面の制御方法は、送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加し、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加し、前記再生時刻情報および前記制御時刻情報が付加されたデータを送信するステップを含む。

本発明の第１の側面においては、送信の対象となるデータの再生タイミングを指定する再生時刻情報がデータに付加され、データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報がデータ転送の制御情報に付加され、再生時刻情報および制御時刻情報が付加されたデータが送信される。

本発明の第２の側面の受信装置は、送信されてきたデータを受信する受信手段と、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行う同期処理手段と、前記データの再生タイミングを指定する再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う再生処理手段とを備える。

本発明の第２の側面の制御方法は、送信されてきたデータを受信し、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行い、前記データの再生タイミングを指定する再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行うステップを含む。

本発明の第２の側面においては、送信されてきたデータが受信され、データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報がデータから抽出されて、制御時刻情報に基づいた同期処理が行われる。そして、データの再生タイミングを指定する再生時刻情報がデータから抽出されて、再生時刻情報に基づいたタイミングで再生処理が行われる。

本発明の第３の側面の通信システムは、送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加する再生時刻情報付加手段と、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加する制御時刻情報付加手段と、前記再生時刻情報および前記制御時刻情報が付加されたデータを送信する送信手段と、送信されてきたデータを受信する受信手段と、前記制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行う同期処理手段と、前記再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う再生処理手段とを備える。

本発明の第３の側面の制御方法は、送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加し、前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加し、前記再生時刻情報および前記制御時刻情報が付加されたデータを送信し、送信されてきたデータを受信し、前記制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行い、前記再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行うステップを含む。

本発明の第３の側面においては、送信の対象となるデータの再生タイミングを指定する再生時刻情報がデータに付加され、データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報がデータ転送の制御情報に付加され、再生時刻情報および制御時刻情報が付加されたデータが送信される。一方、送信されてきたデータが受信され、制御時刻情報がデータから抽出されて、制御時刻情報に基づいた同期処理が行われる。そして、再生時刻情報がデータから抽出されて、再生時刻情報に基づいたタイミングで再生処理が行われる。

本発明の第１乃至第３の側面によれば、高精度の同期を実現することができる。

画像データを符号化する符号化装置の構成例を示す図である。 分析フィルタリングを４回繰り返すことにより分割された係数データの構成を示す図である。 ラインブロックを説明する図である。 本発明を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。 ＣＣＵとカメラとの間の画像データの送受信について説明する図である。 ＣＣＵの構成を示すブロック図である。 カメラにおける画像データの送信処理の流れを示したフローチャートである。 ＣＣＵにおける画像データの受信処理の流れを示したフローチャートである。 ＩＰパケットのフレームフォーマットについて説明する図である。 ＣＣＵ間の同期のずれについて説明する図である。 遅延制御装置２４の動作概要を説明する図である。 遅延制御装置２４の構成例を示すブロック図である。 本発明を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。 同期獲得後のシステムタイミングを示す図である。 通信システムにおける総遅延量について説明する図である。 遅延制御処理の流れを示したフローチャートである。 映像制御レイヤ同期の同期方法について説明する図である。 第１の構成例としてのＩＰパケットのフレームフォーマットについて説明する図である。 本発明を適用した撮像表示装置の構成例を示すブロック図である。 第２の構成例としてのＩＰパケットのフレームフォーマットについて説明する図である。 第３の構成例としてのＩＰパケットのフレームフォーマットについて説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

［符号化処理の説明］
まず、画像データの符号化処理について説明する。

図１は、画像データを符号化する符号化装置の構成例を示す図である。

図１に示される符号化装置１０は、入力された画像データを符号化して符号化データを生成し、出力する。図１に示されるように符号化装置１０は、ウェーブレット変換部１１、途中計算用バッファ部１２、係数並び替え用バッファ部１３、係数並び替え部１４、量子化部１５、およびエントロピ符号化部１６を有する。

符号化装置１０に入力された画像データは、ウェーブレット変換部１１を介して途中計算用バッファ部１２に一時的に溜め込まれる。

ウェーブレット変換部１１は、途中計算用バッファ部１２に溜め込まれた画像データに対してウェーブレット変換を施す。このウェーブレット変換の詳細については後述する。ウェーブレット変換部１１は、ウェーブレット変換により得られた係数データを係数並び替え用バッファ部１３に供給する。

係数並び替え部１４は、係数並び替え用バッファ部１３に書き込まれた係数データを所定の順序（例えば、ウェーブレット逆変換処理順）で読み出し、量子化部１５に供給する。

量子化部１５は、供給された係数データを、所定の方法で量子化し、得られた係数データ（量子化係数データ）をエントロピ符号化部１６に供給する。

エントロピ符号化部１６は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１６は、生成した符号化データを符号化装置１０の外部に出力する。

［サブバンド］
次に、ウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、生成した低域成分に対して再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。

１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。これにより、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４種類の成分に分割される。４種類の成分とは、すなわち、水平方向および垂直方向の両方について高域な成分（ＨＨ）、水平方向に高域で垂直方向に低域な成分（ＨＬ）、水平方向に低域で垂直方向に高域な成分（ＬＨ）、および、水平方向および垂直方向の両方について低域な成分（ＬＬ）である。各成分の集合を、それぞれサブバンドと称する。

ある階層において分析フィルタリングが行われて４つのサブバンドが生成された状態において、次の（１つ上位の）階層の分析フィルタリングは、その生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。

このように分析フィルタリングが再帰的に繰り返されることにより、空間周波数の低い帯域の係数データは、より小さな領域（低域成分）に追い込まれる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。

図２は、分析フィルタリングを４回繰り返すことにより、分割レベル４までの１３個のサブバンド（１ＬＨ，１ＨＬ，１ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，３ＬＨ，３ＨＬ，３ＨＨ，４ＬＬ，４ＬＨ，４ＨＬ，４ＨＨ）に分割された係数データの構成を示している。

［ラインブロック］
次に、ラインブロックについて説明する。図３は、ラインブロックを説明する図である。ウェーブレット変換における分析フィルタリングは、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データを１ラインずつ生成する。

したがって、例えば、分割レベル数が４の場合、図３の斜線部分で示されるように、最上位階層である分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、サブバンド３ＬＬの係数データが２ライン必要である。

サブバンド３ＬＬを２ライン得る、すなわち、分割レベル３の各サブバンドの係数データを２ラインずつ得るためには、サブバンド２ＬＬの係数データが４ライン必要である。

サブバンド２ＬＬを４ライン得る、すなわち、分割レベル２の各サブバンドの係数データを４ラインずつ得るためには、サブバンド１ＬＬの係数データが８ライン必要である。

サブバンド１ＬＬを８ライン得る、すなわち、分割レベル１の各サブバンドの係数データを８ラインずつ得るためには、ベースバンドの係数データが１６ライン必要である。

つまり、分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、１６ラインのベースバンドの画像データが必要になる。

この最低域成分のサブバンド（図３の例の場合４ＬＬ）の１ライン分の係数データを生成するために必要なライン数の画像データを、ラインブロック（またはプレシンクト）と称する。

例えば、分割レベル数がＭの場合、最低域成分のサブバンドの１ライン分の係数データを生成するためには、ベースバンドの画像データが２のＭ乗ライン必要になる。これがラインブロックのライン数である。

なお、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。

また、ラインとは、フレーム画像（ピクチャ）の１列分の水平方向の画素列や、サブバンドの１列分の水平方向の係数列のことを示す。この１ライン分の係数データを係数ラインとも称する。また、１ライン分の画像データを画像ラインとも称する。以下において、より詳細に区別して説明する必要がある場合、適宜表現を変える。

また、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。

このようなラインベース・ウェーブレット変換処理によれば、ＪＰＥＧ２０００のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、ＪＰＥＧ２０００のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。

ここまで、ラインベース・コーデックの一例としての、ラインベース・ウェーブレット変換について説明を行った。なお、以下に説明する本発明の各実施形態は、ラインベース・ウェーブレット変換に限らず、例えばＪＰＥＧ２０００やＭＰＥＧ４のような既存の階層符号化など、任意のラインベース・コーデックに適用可能である。

［第１の実施の形態］
図４は、本発明を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。

図４において、通信システム２０は、回線交換装置２１、３つのスタジオ２２ａ乃至２２ｃ、３つのサブ２３ａ乃至２３ｃ、および遅延制御装置２４を備えて構成される。例えば、通信システム２０では、Ethernet（登録商標）やNGN、無線といった汎用回線により各装置が接続されている。

回線交換装置２１は、通信システム２０を構成する複数の装置の通信を中継する装置であり、例えば、Ethernet（登録商標）ではハブ（HUB）である。なお、ハブ（HUB）とはスター型ネットワークで使われる集線装置の総称と定義し、SNMP（Simple Network Management Protocol）エージェント機能の有無はどちらでもよいものとする。即ち、回線交換装置２１には、通信システム２０を構成するスタジオ２２ａ乃至２２ｃ、サブ２３ａ乃至２３ｃ、および遅延制御装置２４が接続されており、回線交換装置２１を介して互いの通信が行われる。

スタジオ２２ａ乃至２２ｃは、画像データを生成させるために撮像を行う場所であり、それぞれ複数台のカメラと、１台の回線交換装置を備えている。

スタジオ２２ａは、カメラ３１ａ−１乃至３１ａ−３および回線交換装置３２ａを備えており、カメラ３１ａ−１乃至３１ａ−３が回線交換装置３２ａに接続され、回線交換装置３２ａが回線交換装置２１に接続された構成となっている。スタジオ２２ａと同様に、スタジオ２２ｂは、カメラ３１ｂ−１乃至３１ｂ−３および回線交換装置３２ｂを備えて構成され、スタジオ２２ｃは、カメラ３１ｃ−１乃至３１ｃ−３および回線交換装置３２ｃを備えて構成される。

サブ２３ａ乃至２３ｃは、スタジオ２２ａ乃至２２ｃを選択し、スタジオ２２ａ乃至２２ｃがそれぞれ備えるカメラ３１ａ−１乃至３１ｃ−３の制御を行って、画像データを中継する場所である。なお、本実施の形態では、サブ２３ａ乃至２３ｃどうしでは、それぞれが有する機器の関係により、同期していない環境とする。

サブ２３ａは、ＣＣＵ（Camera Control Unit：カメラコントロールユニット）３３ａ、表示部３４ａおよび操作部３５ａを備えており、表示部３４ａおよび操作部３５ａがＣＣＵ３３ａに接続され、ＣＣＵ３３ａが回線交換装置２１に接続された構成となっている。表示部３４ａは、例えば、LCD（Liquid Crystal Display）やCRT（Cathode Ray Tube）などから構成され、カメラ３１ａ−１乃至３１ｃ−３により撮像されている画像などを表示する。操作部３５ａは、複数のスイッチやレバーなどから構成され、例えばユーザにより、スタジオ２２ａ乃至２２ｃまたはカメラ３１ａ−１乃至３１ｃ−３を選択し、画像を切り換える操作が行われる。

サブ２３ａと同様に、サブ２３ｂは、ＣＣＵ３３ｂ、表示部３４ｂ、および操作部３５ｂを備えて構成され、サブ２３ｃは、ＣＣＵ３３ｃ、表示部３４ｃ、および操作部３５ｃを備えて構成される。

遅延制御装置２４は、サブ２３ａ乃至２３ｃの間で調停を行い、マスタータイミングを決定する装置である。なお、遅延制御装置２４の構成については、図１２を参照して後述する。

このように構成されている通信システム２０において、例えば、スタジオ２２ａのカメラ３１ａ−１と、サブ２３ａのＣＣＵ３３ａとの同期を獲得する場合、ピクチャの先頭を認識した後に所定の復号開始時点から当該ピクチャ内のライン（またはラインブロック）ごとの復号が開始される。即ち、ライン（またはラインブロック）での復号開始時点は、送信側（カメラ３１ａ−１側）の送信処理がいつ開始されるかに依存する。このとき、送信装置と受信装置とが１対１で構成されている場合には問題は生じない。しかしながら、受信装置（ＣＣＵ３３ａ）に対して送信装置が複数存在した場合には、受信側で複数の画像データの管理または統合をする際に、画像データ間での同期が一致しない状況が発生することがある。このような画像データ間での同期が一致しない状況を解決するための方法を、本願出願人は、上述した特許文献５（特開２００９−２７８５４５）において提案している。

本願発明では、このような提案に加えて、複数のサブどうしが、それぞれのサブ内に存在する機器の関係で、同期していない環境であっても、全てのセット（カメラとＣＣＵの組み合わせ）で、画像データ間での同期を一致させることができる方法を提案する。

まず、通信システム２０における各カメラと各ＣＣＵとの間で行われる通信処理について、２台のカメラ３１ａ−１および３１ａ−２と、１台のＣＣＵ３３ａとを例に説明する。

カメラ３１ａ−１および３１ａ−２は、それぞれ被写体を撮影し、一連の画像データを生成してＣＣＵ３３ａへ送信する送信装置である。図４において、カメラ３１ａ−１および３１ａ−２の一例としてビデオカメラを示しているが、カメラ３１ａ−１および３１ａ−２はビデオカメラに限られない。例えばカメラ３１ａ−１および３１ａ−２は、動画撮影機能を有するデジタルスチルカメラ、ＰＣ、携帯電話またはゲーム機器などであってもよい。

ＣＣＵ３３ａは、通信システム２０において、画像データの送受信タイミングを決定するマスタとしての役割を果たす装置である。図４において、ＣＣＵ３３ａの一例として業務用の映像処理装置を示しているが、ＣＣＵ３３ａは業務用の映像処理装置に限られない。例えば、ＣＣＵ３３ａは、パーソナルコンピュータ、ビデオレコーダなどの家庭用の映像処理装置、通信装置または任意の情報処理装置などであってよい。

なお、図４において、ＣＣＵ３３ａとカメラ３１ａ−１および３１ａ−２との間は、回線交換装置２１を介した有線通信により接続されているが、例えばＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ｓなどの標準仕様に基づく無線通信によって接続されてもよい。

次に、図５乃至８を参照して、ＣＣＵ３３ａとカメラ３１ａ−１との間の画像データの送受信について説明する。なお、ＣＣＵ３３ａとカメラ３１ａ−２との間の画像データの送受信についても、以下の説明と同様に行われる。

図５は、カメラ３１ａ−１の構成を示すブロック図である。図５に示すように、カメラ３１ａ−１は、画像アプリ管理部４１、圧縮部４２、送信メモリ部４３、及び通信部４４を備えて構成される。

画像アプリ管理部４１は、カメラ３１ａ−１が備える画像入力装置（ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等）により撮像された画像データの伝送要求をアプリケーションから受け付け、経路制御やＱｏＳによる無線回線に関する制御を行うと共に、ＣＣＵ３３ａとの間で画像データの送信タイミングの調整を行う。より具体的には、画像アプリ管理部４１は、後述するＣＣＵ３３ａの同期制御部５７（図６）から送信される送信開始指示信号を受け取り、指定された送信開始時刻に画像データを圧縮部４２へ出力する。また、画像アプリ管理部１０２における処理として、画像入力装置の制御を含んでもよい。

圧縮部４２、送信メモリ部４３、及び通信部４４は、送信開始時刻において画像アプリ管理部４１から供給される画像データに対し、本実施形態に関連して説明した符号化単位での一連の画像データの送信処理を実行する。

図６は、ＣＣＵ３３ａの構成を示すブロック図である。図６を参照すると、ＣＣＵ３３ａは、画像アプリ管理部５１、圧縮部５２、送信メモリ部５３、通信部５４、受信メモリ部５５、復号部５６、及び同期制御部５７を備えて構成される。

画像アプリ管理部５１は、撮影した画像データの伝送要求をアプリケーションから受け付け、経路制御やＱｏＳによる無線回線に関する制御、またはアプリケーションとの間の画像データの入出力管理を行う。

圧縮部５２は、前述のラインベース・コーデックに従い、画像アプリ管理部５１から供給された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位で符号化してデータ量を削減した後、送信メモリ部５３に出力する。

送信メモリ部５３は、圧縮部５２から受け取ったデータを一時的に蓄積する。また送信メモリ部５３は、ネットワーク環境に応じてルーティング情報を管理し、他の端末へのデータ転送を制御するルーティング機能を有してもよい。なお、受信メモリ部５５と送信メモリ部５３と統合し、送信データおよび受信データの蓄積を行うようにしてもよい。

通信部５４は、カメラ３１ａ−１の通信部４４から送信されてくる、上述の符号化単位での一連の画像データの受信処理や、送信メモリ部５３に蓄積されている送信データの送信処理などを実行する。

例えば、通信部５４は、送信メモリ部５３に蓄積されているデータを読み出して送信パケット（例えば、ＩＰプロトコルに基づく通信を行う場合には、ＩＰパケット）を生成して送信する。また、例えば、通信部５４は、通信パケットが受信された場合、受信パケットを解析し、画像アプリ管理部５１に受け渡すべき画像データ及び制御データを分離して受信メモリ部５５へ出力する。例えば、ＩＰプロトコルに基づく通信を行う場合には、通信部５４は、受信パケットに含まれる宛先ＩＰアドレス及び宛先ポート番号を参照し、画像データ等を受信メモリ部５５へ出力することができる。なお、通信部５４は、他の端末へのデータ転送を制御するルーティング機能を有していてもよい。

受信メモリ部５５は、通信部５４から出力されるデータを一時的に蓄積し、及び復号を開始すべき時点を判断して復号の対象となるデータを復号部５６へ出力する。例えば、受信メモリ部５５は、同期制御部５７から取得した復号開始時刻を画像データの復号開始時点として決定する。

復号部５６は、受信メモリ部５５から出力されるデータを１フィールド内のＮライン（Ｎは１以上）の単位で復号した後、画像アプリ管理部５１へ出力する。

同期制御部５７は、通信システム２０内の装置間の画像データの送受信タイミングを制御するタイミングコントローラの役割を果たす。同期制御部５７は、画像アプリ管理部５１と同様、典型的にはアプリケーション層の処理として実装される。

同期制御部５７による画像データの送受信タイミングの調整は、画像アプリ管理部５１からの指示、またはカメラ３１ａ−１からの同期要求信号の受信などをきっかけとして開始される。そして、同期制御部５７は、カメラ３１ａ−１に向けて画像データの送信開始時刻を指定する送信開始指示信号を送信し、及び受信メモリ部５５に対する復号開始時刻の指定を行う。

このとき、カメラ３１ａ−１へ送信される画像データの送信開始時刻は、受信メモリ部５５に対して指定される復号開始時刻から、復号化単位ごとのデータ量の変動や通信経路のジッタなどの通信環境の変動により生じる遅延、ハードウェア遅延、またはメモリ遅延等を吸収するための時間を差し引いた時刻とする。

なお、図５及び図６では、説明の分かり易さのために、送信開始指示信号は画像アプリ管理部４１と同期制御部５７の間で直接やり取りされるように示しているが、送信開始指示信号は、実際には通信部４４及び５４を介して送受信される。

次に、カメラ３１ａ−１による画像データの送信処理、及びＣＣＵ３３ａによる受信処理の流れについて、図７及び図８を用いて説明する。

図７は、カメラ３１ａ−１における画像データの送信処理の流れを示したフローチャートである。

図７を参照すると、まずＣＣＵ３３ａから送信された送信開始指示信号が、画像アプリ管理部４１によって受信される（ステップＳ１１）。画像アプリ管理部４１は、送信開始指示信号に含まれる送信開始時刻を取得する。

そして、画像アプリ管理部４１は、送信開始時刻の到来まで待機し（ステップＳ１２）、送信開始時刻が到来すると画像データを圧縮部４２へ出力する。圧縮部４２は、出力された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位で符号化し、送信メモリ部４３へ出力する（ステップＳ１３）。その後、通信経路及び送信処理の進行状況に応じて、画像データは送信メモリ部４３に蓄積される（ステップＳ１４）。

その後、送信タイミングが到来すると、画像データは送信メモリ部４３から通信部４４へ出力され、画像データを含む通信データの生成が開始される（ステップＳ１５）。そして、通信データはＣＣＵ３３ａへ向けて送信される（ステップＳ１６）。

図８は、ＣＣＵ３３ａにおける画像データの受信処理の流れを示したフローチャートである。

図８を参照すると、まず同期制御部５７から受信メモリ部５５に対して、復号開始時刻の指定が行われる（ステップＳ２１）。ここでの復号開始時刻の指定は、例えば記憶部の所定のアドレスへの復号開始時刻の書き込み、または受信メモリ部５５に対する信号の出力などにより行うことができる。また、このとき同期制御部５７からカメラ３１ａ−１への送信開始指示信号の送信も行われる。

その後、受信メモリ部５５において、復号開始時刻までの時間を観測するためのタイマー起動が要求される（ステップＳ２２）。

さらに、通信部５４を介してカメラ３１ａ−１から受信された画像データが、順次、受信メモリ部５５に受け渡される（ステップＳ２３）。ここで受け渡された画像データは、復号開始時刻まで蓄積される。

そして、ステップＳ２１おいて指定された復号開始時刻に到達すると（ステップＳ２４）、その時点で送受信対象の画像データの受信が終了しているかどうかが判定される（ステップＳ２５）。ここで、送受信対象の画像データを検出できない場合には、処理はステップＳ２１に戻り、当該画像データの送受信タイミングの再調整が行われる。

一方、ステップＳ２５において、送受信対象の画像データが検出された場合には、当該画像データに対して復号化単位の復号処理が行われる（ステップＳ２６）。

そして、復号化単位での復号処理は、ピクチャ内の全てのラインの処理が終了するまで繰り返され（ステップＳ２７）、全てのラインの処理が終了した時点で受信処理は終了する。

ここまで、図５乃至８を用いて、本発明の第1の実施形態の一部であるスタジオ２２ａとサブ２３ａとの同期を獲得する動作概要について説明を行った。本実施形態では、ＣＣＵ３３ａは、画像データの送信開始時刻を指定する信号をカメラ３１ａ−１および３１ａ−２へ送信する同期制御部５７を備える。

かかる構成によれば、受信装置に対して送信装置が複数存在する場合において、受信側で複数の画像データの管理または統合をする際に、ＣＣＵ３３ａがタイミングコントローラの役割を果たし、画像データ間での同期を合わせることができる。

また、同期制御部５７は、通信環境の変動を吸収するための時間間隔を前述の送信開始時刻との間に有する復号開始時刻を受信メモリ部５５内の復号開始指示部に対して指定する。そして、受信メモリ部５５内の復号開始指示部は、指定された復号開始時刻に基づいて復号開始時点を決定し、画像データの復号化単位での復号開始の指示を行う。そうすることにより、送信装置間で同期を合わせて送信された画像データについて、通信環境の変動などの影響を吸収しながら、安定して同期された状態で復号を行うことができる。

例えば、ＣＣＵ３３ａが、カメラ３１ａ−１および３１ａ−２間の同期を合わせるためには、ＣＣＵ３３ａとカメラ３１ａ−１および３１ａ−２との間で送受信される通信データに、同期制御部５７により挿入されるフレーム同期タイムスタンプが利用される。

図９を参照して、ＣＣＵ３３ａとカメラ３１ａ−２との間で送受信する可能性のある通信データの一例としての、ＩＰパケットのフレームフォーマットについて説明する。

図９では、１つのＩＰパケットの内部構成がＡ乃至Ｄの４段階に分けて示されている。図９のＡを参照すると、ＩＰパケットは、ＩＰヘッダ及びＩＰデータから構成される。ＩＰヘッダには、例えば宛先ＩＰアドレスなどのＩＰプロトコルに基づく通信経路の制御に関する制御情報などが含まれる。

ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成される（図９のＢ）。ＵＤＰは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、ＯＳＩ参照モデルのトランスポート層のプロトコルである。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。

ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成される（図９のＣ）。ＲＴＰヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。また、この制御情報には、複数のカメラ間の同期を合わせるために、同期制御部５７により生成されるフレーム同期タイムスタンプが含まれる。

本実施形態において、ＲＴＰデータは、画像データのヘッダ（以下、画像ヘッダという。）及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される（図９のＤ）。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などを含むことができる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。

このように、同期制御部５７により生成されるフレーム同期タイムスタンプがＩＰパケットに含まれるようにすることで、１台のＣＣＵが、複数台のカメラの同期を合わせることができる。

ところで、複数台のＣＣＵおよび複数台のカメラを有して構成される通信システム、即ち、図４に示したようなＣＣＵ３３ａ乃至３３ｃおよびカメラ３１ａ−１乃至３１ｃ−３を有して構成される通信システム２０において、ＣＣＵ３３ａ乃至３３ｃが同期していなければ、ＣＣＵ３３ａ乃至３３ｃそれぞれが備える同期制御部５７において異なるタイミングで処理が行われる。このように、ＣＣＵ間の同期のずれている場合、サブの切り換えの際に異なるタイミングで処理が行われるために、画像に乱れが発生することがある。

例えば、図１０を参照して、ＣＣＵ間の同期のずれについて説明する。

図１０は、ＣＣＵ３３ａとＣＣＵ３３ｂとの同期のずれをスタジオ２２ａのカメラ３１ａ−１および３１ａ−２を基準にして示したものである。

図１０に示すように、ＣＣＵ３３ａとＣＣＵ３３ｂとの同期がずれているときに、映像データがサブ２３ａからサブ２３ｂへ切り換えた時、画像が同期されていないため、サブ２３ａを基準にしてカメラ３１ａ−１および３１ａ−２を動作させ、サブ２３ｂへ切り替わった後に、サブ２３ｂを基準にしてカメラ３１ａ−１および３１ａ−２を、再同期をかける必要がでてくる。このため、サブ２３ａとサブ２３ｂの切り換えを頻繁に行う映像システムにおいては映像が頻繁に乱れてしまい、ライブ中継での使用には適していない。

そこで、図４に示すように、通信システム２０に遅延制御装置２４を導入し、遅延制御装置２４により、サブ２３ａとサブ２３ｂの間で調停を行い、マスタータイミングを決定する処理が行われる。なお、遅延制御装置２４は、回線交換装置２１に接続される装置として構成する他、例えば、サブ２３ａ乃至２３ｃに実装してもよい。

図１１を参照して、遅延制御装置２４の動作概要を説明する。図１１には、３つのサブ２３ａ乃至２３ｃにおいてマスタータイミングを決定する処理の例が示されている。

遅延制御装置２４は、３つの異なるフレーム同期タイミングをもつ環境において、１つのサブのフレーム同期タイミングをマスタータイミングとするために、他の２つのサブの映像データを遅延させるためのバッファを用意し、この２つのサブの遅延量を極力遅延しない１つのサブを検索する。この時、各サブからの各スタジオへのネットワーク接続による遅延量は無視できるレベルとする。つまり、図４の通信システム２０ように、一度、サブ２３ａ乃至２３ｃは回線交換装置２１につながり、そこからスタジオ２２ａ乃至２２ｃへ接続されているものとする。サブ２３ａ乃至２３ｃからスタジオ２２ａ乃至２２ｃまでの距離が一定であるため、サブ２３ａ乃至２３ｃが持つＣＣＵ３３ａ乃至３３ｃのフレーム同期タイミングのみでマスタータイミングを決定することができる。

例えば、遅延制御装置２４は、まずサブ２３ａとサブ２３ｂとを比較し、より他方の遅延バッファ量を少なくできるサブを検出する。図１１の例では、サブ２３ｂの方が、サブ２３ａよりも他方のサブの遅延量を少なくすることができる。

次に、遅延制御装置２４は、サブ２３ｂとサブ２３ｃとの比較を行う。サブ２３ｃにとって、サブ２３ｂとの遅延時間はCase AまたはCase Bとなる。そこで、遅延制御装置２４は、Case AとCase Bの時間間隔を比較し、Case Aの方が時間間隔が短いと判断して、サブ２３ｂをマスターと判断する。図１１の例では、同期タイミングＡがマスタータイミングとして決定されたため、サブ２３ａは、同期タイミングＡからサブ２３ａのフレーム同期タイミングまでは遅延できるようバッファを用意し、サブ２３ｃは、同期タイミングＡからサブ２３ｃのフレーム同期タイミングまでは遅延できるようバッファを用意する。

このように、サブ２３ｂのフレーム同期タイミングがマスタータイミングになったため、サブ２３ａとサブ２３ｃはサブ２３ｂからの差分のみバッファ（例えば、図６のＣＣＵ３３ａの受信メモリ部５５をバッファとして利用する）に遅延させる。

次に、図１２は、遅延制御装置２４の構成例を示すブロック図である。

図１２に示すように、遅延制御装置２４は、スイッチ部６１、物理層Ｒｘ６２、物理層コントロール部６３、受信データ解析部６４、システム同期タイミング調整部６５、撮像タイミング管理テーブル６６、撮像タイミング調整管理部６７、同期制御情報送信部６８、送信データ生成部６９、および物理層Ｔｘ７０を備えて構成される。

スイッチ部６１は、データの送信と受信とを切り換える機能を備え、回線交換装置２１（図４）との回線に接続されている。

物理層Ｒｘ６２は、回線からパケットを受信する物理層受信部であり、Ethernet（登録商標）やNGNのようなデジタルネットワーク回線、または無線回線からパケットを受信する。例えば、物理層Ｒｘ６２は、物理層コントロール部６３の要求に基づいて動作を開始し、受信パケットを受信データ解析部６４に供給する。

物理層コントロール部６３は、受信パケットを検出し、受信動作を開始する物理層コントロール部である。また、例えば、物理層コントロール部６３は、送信データ生成部６９からの制御に基づいて物理層を制御する。

受信データ解析部６４は、受信パケットの種別を解析して、例えば、サブ２３ａ乃至２３ｃのフレーム同期タイミングを記載したパケットを受信したことを判断する。

システム同期タイミング調整部６５は、受信データ解析部６４で判別されたパケットを元に、撮像タイミング管理テーブル６６とやりとりを行いながら、同期タイミングを調整する処理を行う。即ち、システム同期タイミング調整部６５が、図１１を参照して説明したようにマスタータイミングを決定する。

撮像タイミング管理テーブル６６は、システム同期タイミング調整部６５から、サブ２３ａ乃至２３ｃのフレーム同期タイミングや、サブ２３ａ乃至２３ｃからスタジオ２２ａ乃至２２ｃのカメラ３１ａ−１乃至３１ｃ−３までの遅延量を管理（記憶）し、システム同期タイミング調整部６５がマスタータイミングを決定する際に、それらが参照される。

撮像タイミング調整管理部６７は、システム同期タイミング調整部６５によって決定されたマスタータイミングで映像データを受信できるようにようために、スタジオ２２ａ乃至２２ｃのカメラ３１ａ−１乃至３１ｃ−３に対するフレーム同期情報の送信を管理する。

同期制御情報送信部６８は、撮像タイミング調整管理部６７から受信した開始タイミングを元に、同期情報の送信を制御する。

送信データ生成部６９は、パケット毎に、物理層Ｔｘ７０の回線に適応するパケットを生成する。

物理層Ｔｘ７０は、回線へパケットを送信する物理層送信部であり、Ethernet（登録商標）やNGNのようなデジタル回線、無線回線からパケットを送信する。例えば、物理層Ｔｘ７０は、物理層コントロール部６３の要求に基づいて動作を開始し、送信データ生成部６９から供給された通信パケットをスイッチ部６１に出力する。

なお、本実施の形態では、図１１に示したCase AとCase Bとの時間間隔が、図５で説明した遅延制御装置２４において判断される構成となっているが、このような構成に限られるものではない。遅延制御装置２４においてCase AおよびCase Bを求めて、例えば、サブ２３ａの表示部３４ａに遅延情報としてCase AおよびCase Bを表示させ、その遅延情報をユーザが見て、ユーザが操作部３５ａを操作することにより選択するようにすることができる。

また、遅延制御装置２４が、マスタータイミングに合わせるために、サブ２３ａ乃至２３ｃに対してデータを遅延させるためのバッファを備え（例えば、物理層Ｒｘ６２と物理層Ｔｘ７０との間にバッファを設け）、所定のタイミング遅延させたデータを通信システム２０のネットワークに送信するように構成することができる。また、このような構成の他、ＣＣＵ３３ａ乃至３３ｃが遅延バッファを備え、遅延制御装置２４からの遅延量指示情報を受信することで、遅延量を制御するような構成としてもよい。

なお、本実施の形態に共通し、ラインベース・コーデックとして前述のラインベース・ウェーブレット変換を用いる場合には、ラインブロック単位ではなくラインブロックのサブバンド単位で通信パケットを生成することができる。その場合には、受信メモリ部において、例えば画像ヘッダから取得されるラインブロック番号及びサブバンド番号に対応する記憶領域を確保し、周波数成分に分解された画像データをラインブロックのサブバンド単位で蓄積してもよい。

このとき、例えばラインブロック単位で復号を行う際に、伝送エラーなどによってサブバンド（またはその一部）の欠落が生じた場合には、ラインブロック内の当該サブバンド以降にダミーデータを挿入し、次のラインブロックからは通常の復号を行ってもよい。

［第２の実施の形態］
図１３は、本発明を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。

上述した第１の実施の形態においては、サブ２３ａ乃至２３ｃからスタジオ２２ａ乃至２２ｃへのネットワーク接続による遅延量の差が無視できるレベルであるという前提で説明を行っていた。ところが、実際には、それぞれの接続経路が大きく異なる場合には、遅延量の差を考慮して同期を合わせる処理を行う必要がある。そこで、第２の実施の形態においては、スタジオ２２ａ乃至２２ｃおよびサブ２３ａ乃至２３ｃの間の接続経路が異なるような構成について説明する。

図１３に示すように、通信システム２０’は、図４の通信システム２０に比較して、回線接続構成（Ethernet（登録商標）の場合、ネットワークトポロジ）が変更されている。即ち、通信システム２０’では、サブ２３ｂのＣＣＵ３３ｂおよびサブ２３ｃのＣＣＵ３３ｃが、回線交換装置２１−１に直接的に接続されているのに対し、サブ２３ａのＣＣＵ３３ａは、回線交換装置２１−２乃至２１−４を経由して回線交換装置２１−１に接続されている。

このような通信システム２０’の構成例について、サブ２３ａとサブ２３ｂとのフレーム同期タイミングのずれが、図４を参照して説明したのと同様のケースである場合を想定し、第１の実施の形態との差を中心に説明する。

図１４は、サブ２３ｂが、マスタータイミングとなった場合において、スタジオ２２ａのカメラ３１ａ−１および３１ａ−２の同期獲得後のシステムタイミングを示す図である。即ち、図１４では、サブ２３ｂのフレーム同期タイミング（＝マスタータイミング）を基準としてカメラ３１ａ−１および３１ａ−２のフレーム同期タイミングが生成されている。

まず、図１４において、通信システム２０’の全体での総遅延量を考える。マスタータイミングからカメラ３１ａ−１までの遅延量を６（カメラ３１ａ−１からサブ２３ｂまでのジッタを含む遅延量）とする。この場合、カメラ３１ａ−１のフレーム同期タイミングは、ＣＣＵ３３ｂのフレーム同期タイミングよりも遅延時間６に相当する時間間隔だけ位相を早めており、カメラ３１ａ−１では、ＣＣＵ３３ｂのフレーム同期タイミングでパケットを扱えるように、ＣＣＵ３３ｂへのパケット到達時間が調整されている。

一方、マスタータイミングからカメラ３１ａ−２までの遅延量を５（カメラ３１ａ−２からＣＣＵ３３ｂのジッタを含む遅延量）とする。また、サブ２３ａのＣＣＵ３３ａは、サブ２３ｂのＣＣＵ３３ｂから遅延量３だけ遅らせたフレーム同期タイミングであるため、通信システム２０’における総遅延量は１４（遅延量６＋遅延量５＋遅延量３）となる。なお、本明細書において、遅延量の単位は限定されない。ここでは、遅延量は、比をベースに記載したが、遅延量は、時間でもクロック単位でもよいものとする。

このように、サブ２３ｂがマスタータイミングとなった場合に対し、マスタータイミングがサブ２３ａのＣＣＵ３３ａに設定された時の通信システム２０’における総遅延量について、図１５を参照して説明する。

図１５に示すように、マスタータイミングをサブ２３ａのＣＣＵ３３ａに設定すると、サブ２３ａとサブ２３ｂとの間の遅延量は、サブ２３ｂがマスタータイミングとなった場合（図１４）よりも遅延量４（遅延量７−遅延量３）増加する。

しかし、図１３の通信システム２０’における回線接続構成（Ethernet（登録商標）の場合、ネットワークトポロジ）は、図４の通信システム２０とは異なり、マスタータイミングからカメラ３１ａ−１までの遅延量２（カメラ３１ａ−１からサブ２３ａまでのジッタを含む遅延量）であり、カメラ３１ａ−２までの遅延量１（カメラからサブ２３ａまでのジッタを含む遅延量）である。図４の通信システム２０と図１３の通信システム２０’とでの遅延量の違いは、カメラ３１a−1とカメラ３１a−２のフレーム同期タイミングは周期的に発生するタイミングであるため、回線交換装置２１−１からサブ２３ａまでの間に複数の回線交換装置を挿入することで、サブ２３ｂの視点での遅延量とサブ２３aの視点での遅延量との違いにより発生する。よって、システム総遅延量は１０（遅延量７＋遅延量２＋遅延量１）となり、サブ２３ｂがマスタータイミングとなった場合（図１４）よりも総遅延量は少なくなる。

このように、マスタータイミングを決定する上で、フレーム同期タイミングを持つ機器（ＣＣＵ）からカメラまでの遅延量も含め、マスタータイミングとなる機器（ＣＣＵ）を決定することにより、システム総遅延量を削減することができ、より低遅延なシステム設定を行うことができる。

なお、本実施の形態は、図１３に示す構成に限られるものではない。図１３の通信システム２０’は、各カメラからサブへの距離が異なる環境について、説明を行うためのものであり、この環境は、より分かりやすく説明を行う上での一手段にすぎない。例えば、各スタジオ内のカメラとの接続回線の遅延量の違い、または、各サブ内にある機器による遅延量の違い、各スタジオ間回線の遅延量の違いも加味してマスタータイミングが決定されるものとする。また、遅延量の内部要素についても、本発明を適用することができる。また、ネットワークジッタを含まなくてもよいものとする。

以上のように、第１の実施の形態では、各カメラとＣＣＵとの間の遅延を算出する前に、各ＣＣＵ間のフレーム同期タイミングの調停を行い、マスタータイミングを元に、各カメラへフレーム同期タイミングを通知する方法を提示した。また、第２の実施の形態では、マスタータイミングを検索する際、各ＣＣＵ間のフレーム同期タイミングの調停だけではなく、各カメラ−CCU間の遅延量も調停パラメータに加えてシステム遅延量合計を算出させ、システムとして遅延量の少ないマスタータイミングを選択する方法を提示した。

次に、各カメラとＣＣＵとの間の遅延量を遅延制御装置２４（図１２）に通知し、遅延制御装置２４において、これらの遅延量の調停を行うことで、ＣＣＵのフレーム同期タイミングとは異なる、システムとしての基準遅延時間を検出させる第３の実施の形態について説明する。なお、第３の実施の形態では、上記基準遅延時間をもとに、カメラに外部入力する同期タイミングを調整し、システム全体の最適な基準遅延時間を決定する。

［第３の実施の形態］
図１６のフローチャートを参照して、本発明を適用した通信システムの第３の実施の形態において実行される遅延制御処理を説明する。なお、この処理は、図４の通信システム２０と同様の構成において実行される。

例えば、通信システム２０の起動時に処理が開始され、ステップＳ４１において、遅延制御装置２４は、カメラ３１ａ−１乃至３１ｃ−３とＣＣＵ３３ａ乃至３３ｃとの間で、遅延時間を計測するためペアとなる組み合わせを設定する。即ち、遅延制御装置２４は、ペアとなる組み合わせのカメラ３１およびＣＣＵ３３を決定し、そのＣＣＵ３３に対して、ペアが設定されたカメラ３１との間の遅延時間を計測するように通知する。このとき、例えば、遅延制御装置２４は、ＣＣＵ３３ａ乃至３３ｃの同期タイミング以外の任意のタイミングである仮マスタータイミングを設定して処理を行わせる。そして、遅延制御装置２４からの通知を受けたＣＣＵ３３は、設定されたカメラ３１との間で遅延量およびネットワークジッタ量を測定し、遅延時間を算出する。

ＣＣＵ３３が遅延時間を遅延制御装置２４に通知すると、ステップＳ４２において、遅延制御装置２４は、ＣＣＵ３３から通知された遅延時間を取得し、処理はステップＳ４３に進む。

ステップＳ４３において、遅延制御装置２４は、遅延時間を計測していないカメラ３１およびＣＣＵ３３のペアがあるか否かを判定し、遅延時間を計測していないカメラ３１およびＣＣＵ３３のペアがあると判定した場合、処理はステップＳ４１に戻る。即ち、ステップＳ４１乃至Ｓ４３の処理を繰り返すことで、通信システム２０を構成する全てのカメラ３１およびＣＣＵ３３のペアの間の遅延時間が求められる。

一方、ステップＳ４３において、遅延制御装置２４が、遅延時間を計測していないカメラ３１およびＣＣＵ３３のペアがないと判定した場合、処理はステップＳ４４に進む。ステップＳ４４において、遅延制御装置２４は、ステップＳ４１乃至Ｓ４３の処理で取得した全てのカメラ３１およびＣＣＵ３３のペアの間の遅延時間に基づいて、基準となる遅延時間である基準遅延時間Ｔｂを算出する。

ステップＳ４５において、遅延制御装置２４は、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより小さいか否かを判定する。

ステップＳ４５において、遅延制御装置２４が、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより小さいと判定した場合、処理はステップＳ４６に進む。ステップＳ４６において、遅延制御装置２４は、基準遅延時間Ｔｂから遅延時間Ｔｓ（カメラ３１とＣＣＵ３３との間の遅延時間であって、基準遅延時間Ｔｂ未満の遅延時間）を減算した時間だけ、仮に設定した仮マスタータイミングを遅らせるようにＣＣＵ３３に通知する。ステップＳ４６の処理後、処理はステップＳ４１に戻り、以下、同様の処理が繰り返される。

具体的には、遅延制御装置２４は、（ＣＣＵ３３の同期タイミングに依存しない）遅延管理時刻（基準遅延時間Ｔｂ＝遅延管理時刻−カメラの撮像時刻）を算出しているため、
この遅延管理時刻を基準として、カメラの撮像時刻を（基準遅延時間Ｔｂ−遅延時間Ｔｓ）時間だけ遅らせるよう通知する。その理由は、カメラ３１とＣＣＵ３３との間が遅延時間Ｔｓであるにもかかわらず、遅延管理時刻で映像データを取り扱えるようにするためである。ステップＳ４６では、遅延制御装置２４は、各カメラ３１に対し、同期タイミングを早めるコマンドまたは同期タイミングを遅くするコマンドを送信し、遅延管理時刻を基準に映像データを取り扱えるよう制御する。

一方、ステップＳ４５において、遅延制御装置２４が、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより小さくない（基準遅延時間Ｔｂ以上である）と判定した場合、処理はステップＳ４７に進む。

ステップＳ４７において、遅延制御装置２４は、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより大きいか否かを判定する。

ステップＳ４７において、遅延制御装置２４が、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより大きくないと判定した場合、処理はステップＳ４８に進む。即ち、この場合、ステップＳ４５での判定も含めると、カメラ３１とＣＣＵ３３との間の遅延時間と基準遅延時間Ｔｂとは同一の時間である。

ステップＳ４８において、遅延制御装置２４は、ＣＣＵ３３へ基準遅延時間Ｔｂで同期を獲得するように通知する。これにより、その通知を受けたＣＣＵ３３は、基準遅延時間Ｔｂで動作を行うように設定し、即ち、新規に映像バッファ量を設定することなく動作を継続し、遅延制御処理は終了される。このとき、現状のタイミング、即ち、仮に設定した仮マスタータイミングがマスタータイミングとして決定され、そのマスタータイミングで処理が行われる。

一方、ステップＳ４７において、遅延制御装置２４が、カメラ３１とＣＣＵ３３との間の遅延時間が、基準遅延時間Ｔｂより大きいと判定した場合、処理はステップＳ４９に進む。

ステップＳ４９において、遅延制御装置２４は、カメラ３１とＣＣＵ３３との間の遅延時間Ｔｌ（カメラ３１とＣＣＵ３３との間の遅延時間であって、基準遅延時間Ｔｂより大の遅延時間）が、フレーム単位での遅延が必要となる時間であるか否かを判定する。例えば、遅延制御装置２４は、遅延時間Ｔｌが１フレーム時間以上であれば、フレーム単位での遅延が必要となる時間であると判定し、遅延時間Ｔｌが１フレーム時間未満であれば、フレーム単位での遅延が必要となる時間でないと判定する。

ステップＳ４９において、遅延制御装置２４が、遅延時間Ｔｌがフレーム単位での遅延が必要となる時間であると判定した場合、処理はステップＳ５０に進む。

ステップＳ５０において、遅延制御装置２４は、フレーム単位での遅延時間を算出する。例えば、遅延制御装置２４は、（基準遅延時間Ｔｂ＋フレーム数ｎ×１フレーム時間Ｔｆｒ）−遅延時間Ｔｌを、フレーム単位での遅延時間として算出する。ここで、フレーム数ｎは、遅延させるフレームの個数である。

ステップＳ５１において、遅延制御装置２４は、ステップＳ５０で算出したフレーム単位での遅延時間に基づいて、その遅延時間だけ画像データを蓄積するために必要なバッファ量を算出する。ステップＳ５２において、遅延制御装置２４は、ステップＳ５１で算出したバッファ量をＣＣＵ３３に通知して、設定させる。これにより、ＣＣＵ３３に到達する画像の遅延が基準遅延時間Ｔｂに対してちょうどｎフレーム遅延となる。ここで、遅延させるフレーム数ｎは、基準遅延時間Ｔｂ＋フレーム数ｎ×１フレーム時間Ｔｆｒ＞遅延時間Ｔｌを満たすように決定される。

なお、バッファ量を算出して設定する処理はＣＣＵ３３側で行われてもよい。即ち、遅延制御装置２４が、ステップＳ５０で算出したフレーム単位での遅延時間をＣＣＵ３３に通知し、ＣＣＵ３３が、バッファ量を算出して設定するようにしてもよい。

ステップＳ５３において、遅延制御装置２４は、遅延させたフレーム数ｎをＣＣＵ３３の後段の機器に通知するように、ＣＣＵ３３に対して通知する。この通知に応じて、ＣＣＵ３３が、後段の機器にフレーム数ｎを通知して、遅延制御処理は終了される。

一方、ステップＳ４９において、遅延制御装置２４が、遅延時間Ｔｌがフレーム単位での遅延が必要となる時間でないと判定した場合、処理はステップＳ５４に進む。

ステップＳ５４において、遅延制御装置２４は、遅延時間（１フレーム時間未満の遅延時間）を算出する。例えば、遅延制御装置２４は、（基準遅延時間Ｔｂ＋１フレーム時間Ｔｆｒ）−遅延時間Ｔｌを、遅延時間として算出する。

その後、ステップＳ５５において、遅延制御装置２４は、ステップＳ５４で算出した遅延時間に基づいて、その遅延時間だけ画像データを蓄積するために必要なバッファ量を算出し、ステップＳ５２において、そのバッファ量をＣＣＵ３３に通知して、設定させる。なお、バッファ量を算出して設定する処理はＣＣＵ３３側で行われてもよい。また、遅延時間に応じたバッファ量は、できるだけ少なくなるように設定される。ステップＳ５６の処理後、遅延制御処理は終了される。

以上のように、第３の実施の形態においては、ＣＣＵのフレーム同期タイミングとは異なるシステムとしての基準遅延時間を検出することで、カメラに外部入力する同期タイミングを調整し、システム全体の最適な基準遅延時間を決定することができる。

例えば、第１および第２の実施の形態では、ＣＣＵ３３がマスターとしてタイミング管理がしているため、システムタイミング管理が比較的容易に行えるのに対し、第３の実施の形態では、あるＣＣＵ３３が持つフレーム同期タイミングに依存するのではなく、ピア・ツー・ピアの遅延量を測定するため、より柔軟性の高い測定が行える。従って、第３の実施の形態は、複数の(フレーム同期タイミングが異なる) ＣＣＵ３３のうち、1つのＣＣＵ３３だけ突出して遅延している環境や、フレーム同期間隔以上の遅延量が発生する場合の処理において好適である。

また、第３の実施の形態において、基準となる遅延時間をＴｂとすると、各カメラ３１と各ＣＣＵ３３の接続環境が異なるため、基準遅延時間Ｔｂより遅延が少ない場合（遅延時間Ｔｓ）や、基準遅延時間Ｔｂより遅延が大きい場合（遅延時間Ｔｌ）がある。そこで、カメラ３１とＣＣＵ３３との間の遅延が、基準遅延時間Ｔｂより少ない場合（遅延時間Ｔｓ）には、基準遅延時間Ｔｂから遅延時間Ｔｓを減算した時間分だけ撮像タイミングを遅らせるよう、遅延制御装置２４が対象となるカメラに指示を行う。これにより、ＣＣＵ３３へ到達する映像遅延が、カメラ３１とＣＣＵ３３との間の基準遅延時間Ｔｂに同等になるように調整される。

なお、遅延制御装置２４は、ＣＣＵ３３が把握しているネットワークジッタ分の映像バッファ量も加味して基準遅延時間を決定することが望まれるため、ネットワークジッタを把握するまで測定回数を増やしてもよい。

また、第３の実施の形態において、基準遅延時間Ｔｂより遅延が大きい場合（遅延時間Ｔｌ）には、２つのケースをシステムとして選択することができる。一方は、遅延量を最小限にシステムを構築させるため、ＣＣＵ３３の映像バッファ量を（基準遅延時間Ｔｂ＋１フレーム時間Ｔｆｒ）−遅延時間Ｔｌの時間分の遅延に調整する手法である。本手法は、システム全体の遅延量をできるだけ削減したい用途において効果的である。

もう一方は、遅延量をフレーム単位で遅延させるため、遅延管理部は（基準遅延時間Ｔｂ＋フレーム数ｎ×１フレーム時間Ｔｆｒ）−遅延時間Ｔｌの時間分の映像バッファを設定するようにＣＣＵ３３へ指示を行う。ＣＣＵ３３は、到達する映像遅延が基準遅延Tbに対してちょうどnフレーム遅延するように調整する。ここで１フレーム時間Ｔｆｒは1フレーム時間で、基準遅延時間Ｔｂ＋フレーム数ｎ×１フレーム時間Ｔｆｒ＞遅延時間Ｔｌを満たすようにフレーム数ｎは決定される。本手法は、従来のシステムでは、図４において、例えば、サブ２３ａとサブ２３ｂを切り換えた場合、ｎフレーム遅延による画の繰り返しが発生するが、本機能により、切り換えによる画の乱れを回避するだけでも効果がある。

さらに、各サブ２３の後段に接続された放送機器に対し、入力する映像データがnフレーム遅延している事を表示する機能を持つことにより、後段の機器で画の繰り返しを除去することも可能になる。

また、調停のために遅延制御装置２４を利用したが、遅延制御装置２４を回線交換装置２１に接続する構成の他、遅延制御装置２４がＣＣＵ３３に内蔵されていてもよい。

さらに、例えば、ステップＳ４５において、基準遅延時間Ｔｂは、各カメラ３１とある各ＣＣＵ３３間の遅延最大量に設定してもよい。また、カメラの撮像時刻の調整については、システム全体で絶対的時間軸（たとえば時計）がある場合、同期タイミングを時刻で指定してもよい。なお、本実施の形態では映像バッファ量のみを設定しているが、バッファとPLL位相調整の両方を用いて遅延調整してもよいものとする。

なお、本実施の形態においては、画像データを送信するカメラと、カメラを制御するＣＣＵとから構成される通信システムについて説明したが、本発明は、このような構成に限られるものではなく、データを送信する送信装置と、送信装置を制御する制御装置とから構成される通信システムに適用することができ、その通信システムにおいて遅延を制御する遅延制御装置に適用することができる。

以上説明したように、本発明に係る遅延制御装置、制御方法、及び通信システムによれば、従来のライブ中継を行うカメラシステムでは、カメラとＣＣＵは光ファイバケーブル、トライアックスケーブルあるいはマルチケーブルと呼ばれる複合ケーブルで接続されていたが、Ethernet（登録商標）やNGN、無線といった汎用回線に対応させることで、専用回線や衛星回線と比較し、非常に安価であるため、ライブ中継システムの構築が低コストでできる。

また、フレーム同期タイミングの異なるライブ中継制御局への対応ができることにより、システムの増設が楽になり、適材適所のシステム構成を構築することができる。例えば従来同一の放送局施設内のスタジオを切替えて中継するような構成であったが、異なる施設のスタジオや、距離が離れた施設とのライブ中継においても従来同様のタイミング・オペレーションで中継切替え等を行うことができる。

さらに、非同期網を通してカメラをＧｅｎＬｏｃｋできるため、複数の中継制御局と複数台のカメラで同時中継を行うような場合でも、ラインベース・コーデックを用い、ラインベース・コーデックに適した同期獲得方法を実装することで、低遅延で高画質なカメラの画像を伝送できる。これにより、ライブ中継の核技術であるリアルタイム画像を高速にスイッチャ処理できるレベルの低遅延を保つことができる。

ところで、第１乃至第３の実施の形態では、図９を参照して説明したように、ＩＰパケットに含まれるフレーム同期タイムスタンプを使用して、ＣＣＵ３３ａ乃至３３ｃおよびカメラ３１ａ−１乃至３１ｃ−３の間で同期を獲得する処理が行われているが、ライブ中継の核技術であるリアルタイム画像を高速にスイッチャ処理できるレベルの低遅延を保ちつつ、高い精度の同期を実現することが求められている。

［第４の実施の形態］
第４の実施の形態では、２種類の同期獲得を行うことでシステム同期を実現している。第４の実施の形態では、例えば、Ethernet（登録商標）やNGNのような回線制御レイヤで行う同期（以下、回線制御レイヤ同期）を獲得し、さらに、回線制御レイヤによって緩やかに同期したパケットを元に、映像フレームまたは映像ピクチャレベルで同期させる映像制御レイヤの同期（以下、映像制御レイヤ同期）を獲得することができるパケットフォーマットに関する。

まず、図１７を参照して、映像制御レイヤ同期の同期方法について説明を行う。なお、映像制御レイヤ同期は、第１乃至第３の実施の形態において説明した遅延時間を算出する前に行われる。

図１７に示されているデータ伝送システム１００は、送信装置１１１から受信装置１１２にデータストリームが伝送され、送信装置１１１が、上述のカメラ３１の送信手段に対応し、受信装置１１２が、上述のＣＣＵ３３の受信手段に対応する。

データ伝送システム１０は、動画像データや音声データ等のデータストリームを伝送し、リアルタイムに再生出力するためのシステムであり、データストリームを送信する送信装置１１１と、受信する受信装置１１２と、これらの装置間でデータストリームが伝送される伝送路１１３（例えば、上述の回線交換装置２１を含む回線など）によって構成される。

送信装置１１１は、生成されたデータストリームを一時的に蓄積する送信用メモリ１１１ａと、送信用メモリ１１１ａからの出力データをパケット化して伝送路１１３に出力する出力手段１１１ｂと、受信装置１１２に対して伝送する時間情報を生成する時間情報生成手段１１１ｃと、出力手段１１１ｂからの出力データに時間情報を付加する時間情報付加手段１１１ｄによって構成される。

受信装置１１２は、伝送路１１３を介して受信したデータストリームを一時的に蓄積する受信用メモリ１１２ａと、受信用メモリ１１２ａからの出力データを復号処理する復号処理手段１１２ｂと、受信されたデータストリームに付加されている時間情報を分離する時間情報分離手段１１２ｃと、受信用メモリ１１２ａからのデータストリームの読み出しタイミングを制御する読み出し制御手段１１２ｄによって構成される。なお、送信装置１１１および受信装置１１２には、送信装置１１１から伝送される時間情報の基準となる時刻を発生する基準時計１１１ｅおよび１１２ｅがそれぞれ設けられてもよい。また、これらの基準時計１１１ｅおよび１１２ｅは、外部に設けられた基準時刻生成手段１１４より受信した基準時刻情報に基づいて、時刻を発生してもよい。

伝送路１１３は、Ethernet（登録商標）回線（LANを含む）、あるいは、NGN、無線ＬＡＮ等の通信ネットワーク等として実現される。

送信装置１１１には、図示しない符号化手段によって、所定の符号化方式で符号化されたデータストリームが供給される。このデータストリームは、ハードディスク等の記憶媒体を介して供給されてもよい。供給されたデータストリームは、送信用メモリ１１１ａに一時的に蓄積され、出力手段１１１ｂに供給されて伝送路１１３に出力される。

受信装置１１２では、受信されたデータストリームが受信用メモリ１１２ａに一時的に蓄積され、復号処理手段１１２ｂに供給されて復号処理がなされ、図示しないモニタやスピーカ等の出力手段によって、このデータストリームによるコンテンツが出力される。

このようなデータストリームの伝送においては、符号化手段によって生成されたデータストリームが、受信装置１１２の復号処理手段１１２ｂに供給されるまでの伝送遅延時間がある程度一定となるように調整することで、符号化手段の入力データと復号処理手段１１２ｂによる出力データとの間で同期が図られる。

以上のようにデータ伝送システム１００は構成されており、パケット化されたデータが送受信され、そのパケットに含まれているタイムスタンプを利用して、上述したような回線制御レイヤ同期および映像制御レイヤ同期が行われる。

ここで、図１８を参照して、本実施の形態において、回線制御レイヤ同期と映像制御レイヤ同期を実現するために使用されるパケットの第１の構成例としてのＩＰパケットのフレームフォーマットについて説明する。

図１８に示すように、ＩＰパケットは、ＩＰヘッダ及びＩＰデータから構成される。ＩＰヘッダには、例えば宛先ＩＰアドレスなどのＩＰプロトコルに基づく通信経路の制御に関する制御情報などが含まれる。ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成される。ＵＤＰは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、ＯＳＩ参照モデルのトランスポート層のプロトコルである。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。

ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成される。ＲＴＰヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。そして、ＲＴＰヘッダには、回線制御レイヤ同期用タイムスタンプが含まれる。

ＲＴＰデータは、画像ヘッダ及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などを含むことができる。そして、画像ヘッダには、映像制御レイヤ同期用タイムスタンプが含まれる。

このように、ＩＰパケットは、ＲＴＰヘッダに回線制御レイヤ同期用タイムスタンプが含まれ、画像ヘッダに映像制御レイヤ同期用タイムスタンプが含まれるように構成されている。ここで、回線制御レイヤ同期用タイムスタンプと映像制御レイヤ同期用タイムスタンプとは同期していなくてもよい。

次に、図１９を参照して、このようなＩＰパケットを生成して送信するとともに、送信されてきたＩＰパケットに含まれているデータを出力する装置について説明する。ここで、図１７では、送信装置１１１および受信装置１１２は、異なる装置として構成されているが、図１９では、送信機能および受信機能を備えた撮像表示装置を例に説明を行う。

図１９は、本発明を適用した撮像表示装置の構成例を示すブロック図である。

図１９の撮像表示装置１２０は、撮像した画像および音声を含む信号をパケット化して非同期伝送路に出力（図４のスタジオ２２としての機能）するとともに、非同期伝送路を通して伝送されてきたパケット化されている信号を元に戻して出力（図４のサブ２３としての機能）することができる。なお、撮像表示装置１２０において生成されるパケットの構造については、図１９を参照して説明する。

撮像表示装置１２０は、カメラ部１２１、画像エンコード部１２２ａ、音声エンコード部１２２ｂ、画像パケット生成部１２３ａ、音声パケット生成部１２３ｂ、タイムスタンプ生成部１２４ａおよび１２４ｂ、画像同期タイミング調整部１２５、バッファ１２６、タイムスタンプ生成部１２７、ＲＴＰパケット生成部１２８、非同期伝送経路Ｉ／Ｆ（インタフェース）１２９、ＲＴＰパケットデコード部１３０、タイムスタンプデコード部１３１、バッファ１３２、タイムスタンプデコード部１３３ａおよび１３３ｂ、画像デパケット部１３４ａ、音声デパケット部１３４ｂ、画像デコード部１３５ａ、音声デコード部１３５ｂ、出力部１３６、クロック生成部１３７、同期信号発生器１３８、回線同期タイミング調整部１３９、並びに、タイムスタンプ生成部１４０を備えて構成されている。

撮像表示装置１２０は、カメラ部１２１が取得した画像および音声を含む信号を非同期伝送路に出力（図４のスタジオ２２としての機能）するとともに、非同期伝送路を通して伝送されてきた信号を元に戻し、出力部１３６に出力（図４のサブ２３としての機能）することができる。

カメラ部１２１は、ＣＣＤやＣＭＯＳセンサなどの撮像手段、およびマイクなどの音声入力手段などを備えて構成され、画像および音声を取得する。カメラ部１２１が取得した画像に応じた画像信号は画像エンコード部１２２ａに入力され、カメラ部１２１が取得した音声に応じた音声信号は音声エンコード部１２２ｂに入力される。

画像エンコード部１２２ａは、画像信号をエンコードして圧縮し、その符号化データを画像パケット生成部１２３ａに供給する。音声エンコード部１２２ｂは、音声信号をエンコードして圧縮し、その符号化データを音声パケット生成部１２３ｂに供給する。

画像パケット生成部１２３ａは、画像信号の符号化データを１パケットのサイズにし、画像ヘッダを付加して、符号化データをパケット化する。画像パケット生成部１２３ａは、パケット化した画像信号の符号化データをタイムスタンプ生成部１２４ａに供給する。同様に、音声パケット生成部１２３ｂは、パケット化した音声信号の符号化データをタイムスタンプ生成部１２４ｂに供給する。

タイムスタンプ生成部１２４ａは、メディアに同期したタイムスタンプ、即ち、映像制御レイヤ同期用タイムスタンプ（図１８）を、パケット化した画像信号の符号化データに付加する。同様に、タイムスタンプ生成部１２４ｂは、メディアに同期したタイムスタンプを、パケット化した音声信号の符号化データに付加する。

画像同期タイミング調整部１２５は、タイムスタンプ生成部１２４ａが付加する映像制御レイヤ同期用タイムスタンプのタイミングを調整する。また、画像同期タイミング調整部１２５は、タイムスタンプデコード部１３３ａに対しても映像制御レイヤ同期用タイムスタンプのタイミングを調整する。

タイムスタンプ生成部１２４ａにおいてタイムスタンプが付加された符号化データと、タイムスタンプ生成部１２４ｂにおいてタイムスタンプが付加された符号化データとは、バッファ１３２に供給され、バッファ１３２で多重化される。

タイムスタンプ生成部１２７は、バッファ１３２で多重化されたデータに対し、回線制御レイヤ同期用タイムスタンプ（図１８）を付加し、ＲＴＰパケット生成部１２８に供給する。なお、タイムスタンプ生成部１２７には、後述するようにタイムスタンプ生成部１４０においてリファレンス同期信号を参照して生成された回線制御レイヤ同期用タイムスタンプが供給され、タイムスタンプ生成部１２７は、その回線制御レイヤ同期用タイムスタンプを付加する。

ＲＴＰパケット生成部１２８は、符号化データおよび画像ヘッダを含むＲＴＰデータに対してＲＴＰヘッダを付加し、非同期伝送経路Ｉ／Ｆに供給する。

非同期伝送経路Ｉ／Ｆ１２９は、タイムスタンプとＩＰヘッダを付加し、非同期伝送路１２９に対して出力する。例えば、撮像表示装置１２０を、図４のカメラ３１として見たときには、非同期伝送経路Ｉ／Ｆ１２９は、非同期伝送路を介してＣＣＵ３３にパケットを伝送する。一方、撮像表示装置１２０を、図４のＣＣＵ３３として見たときには、非同期伝送経路Ｉ／Ｆ１２９は、非同期伝送路を介してカメラ３１から伝送されてくるパケットを受信する。

ＲＴＰパケットデコード部１３０には、非同期伝送経路Ｉ／Ｆ１２９が受信したパケット（画像データパケットや音声データパケット、コマンドデータパケットなど）が供給される。ＲＴＰパケットデコード部１３０は、パケットをデコードしてタイムスタンプデコード部１３１に供給する。

タイムスタンプデコード部１３１は、ＩＰヘッダ、UDPヘッダおよびＲＴＰヘッダの確認を行う。そして、画像データおよび音声データが含まれるＲＴＰヘッダがバッファ１３２に供給され、ＲＴＰヘッダの後に付加された回線制御レイヤ同期用タイムスタンプ（図１８）はクロック生成部１３７に供給される。

バッファ１３２において、Ｄｅ−ＭＵＸ回路により、画像信号の符号化データのパケットと、音声信号の符号化データのパケットとに分離される。

タイムスタンプデコード部１３３ａには、画像信号の符号化データのパケットが供給され、メディアに同期したタイムスタンプ、即ち、映像制御レイヤ同期用タイムスタンプ（図１８）が抽出される。映像制御レイヤ同期用タイムスタンプは、出力部１３６でクロックや同期信号を発生させる為に使用される。

画像デパケット部１３４ａには、タイムスタンプデコード部１３３ａから供給される画像信号の符号化データのパケットをデパケットし、画像信号の符号化データを画像デコード部１３５ａに供給する。画像デコード部１３５ａは、画像信号の符号化データをデコードして画像信号を出力部１３６に出力する。

また、タイムスタンプデコード部１３３ｂ、音声デパケット部１３４ｂ、および音声デコード部１３５ｂは、タイムスタンプデコード部１３３ａ、画像デパケット部１３４ａ、画像デコード部１３５ａと同様に、音声信号の符号化データのパケットに含まれる音声信号を出力部１３６に出力する。

これにより、出力部１３６からは、非同期伝送路を介して伝送されてきた画像および音声が出力される。

また、クロック生成部１３７は、所定の周波数のクロックを生成して同期信号発生器１３８に供給し、同期信号発生器１３８は、そのクロックから同期信号を発生して、回線同期タイミング調整部１３９に供給する。

回線同期タイミング調整部１３９には、同期信号発生器１３８から同期信号が供給されるとともに、タイムスタンプデコード部１３１からの回線制御レイヤ同期用タイムスタンプがクロック生成部１３７および同期信号発生器１３８を介して供給される。そして、回線同期タイミング調整部１３９は、回線制御レイヤ同期用タイムスタンプに基づいて、同期信号を調整し、タイムスタンプ生成部１４０がタイムスタンプを生成する際に参照するリファレンス同期信号を出力する。

タイムスタンプ生成部１４０は、回線同期タイミング調整部１３９からのリファレンス同期信号を参照し、タイムスタンプ生成部１２７に供給する回線制御レイヤ同期用タイムスタンプを生成する。

以上のように構成されている撮像表示装置１２０では、パケットに含まれる回線制御レイヤ同期用タイムスタンプに基づいて、緩やかに同期したパケットを元に、映像制御レイヤ同期用タイムスタンプに基づいて、映像フレームまたは映像ピクチャレベルで同期させる映像制御レイヤの同期（以下、映像制御レイヤ同期）を獲得することができる。これにより、ライブ中継の核技術であるリアルタイム画像を高速にスイッチャ処理できるレベルの低遅延を保ちつつ、高い精度の同期を実現することができる。

なお、非同期伝送路の帯域が信号に比べて十分に広帯域な場合には、画像エンコード部１２２ａおよび音声エンコード部１２２ｂは必要なく、非圧縮のままＩＰパケット化してもよい。その場合には、１５の画像デコード部１３５ａおよび音声デコード部１３５ｂも必要ない。

次に、図２０を参照して、パケットの第２の構成例としてのＩＰパケットのフレームフォーマットについて説明する。

図２０に示されているＩＰパケットは、符号化時間同期用タイムスタンプが符号化データに含まれている点で、図１８に示したＩＰパケットと異なっており、それ以外の点で共通している。また、回線制御レイヤ同期用タイムスタンプと映像制御レイヤ同期用タイムスタンプとは同期していなくてもよく、映像制御レイヤ同期用タイムスタンプと符号化時間同期用タイムスタンプとは同期している。

図２０に示すように、ＩＰパケットに、回線制御レイヤ同期用タイムスタンプおよび映像制御レイヤ同期用タイムスタンプに加えて、符号化時間同期用タイムスタンプを付加することにより、例えば、図１９の画像デコード部１３５ａおよび音声デコード部１３５ｂにおいて符号化データをデコードするタイミングを、より精密に設定することができ、より低遅延を実現することができる。

なお、第２の構成例としてのＩＰパケットを利用する場合には、図１９の撮像表示装置１２０において、画像エンコード部１２２ａと画像パケット生成部１２３ａとの間、および、音声エンコード部１２２ｂと音声パケット生成部１２３ｂとの間に、符号化時間同期用タイムスタンプを生成するタイムスタンプ生成部を設ける必要がある。さらに、画像デパケット部１３４ａと画像デコード部１３５ａとの間、および、音声デパケット部１３４ｂと音声デコード部１３５ｂとの間に、符号化時間同期用タイムスタンプをデコードするデコード部を設ける必要がある。

次に、図２１を参照して、パケットの第３の構成例としてのＩＰパケットのフレームフォーマットについて説明する。

図２１に示されているＩＰパケットは、ＦＥＣ（Forward Error Correction）同期用タイムスタンプがＲＴＰヘッダに含まれており、ＦＥＣヘッダが画像ヘッダの先頭に付加されている点で、図２０に示したＩＰパケットと異なっており、それ以外の点で共通している。また、回線制御レイヤ同期用タイムスタンプと映像制御レイヤ同期用タイムスタンプとは同期していなくてもよく、ＦＥＣ同期用タイムスタンプ、映像制御レイヤ同期用タイムスタンプ、および符号化時間同期用タイムスタンプは同期している。

図２１に示すように、ＩＰパケットに、ＦＥＣヘッダおよびＦＥＣ同期用タイムスタンプを付加することにより、ＦＥＣによってジッタが削除されたパケットを、ＦＥＣ同期用タイムスタンプに基づいて消失訂正することができ、さらなる低遅延を実現することができる。

なお、第３の構成例としてのＩＰパケットを利用する場合には、図１９の撮像表示装置１２０において、バッファ１３２の後段に、ＦＥＣによってジッタが削除されたパケットを、ＦＥＣ同期用タイムスタンプに基づいて消失訂正する処理を行う処理部を設ける必要がある。また、ＦＥＣヘッダおよびＦＥＣ同期用タイムスタンプを生成する生成部も設ける必要がある。また、第３の構成例としてのＩＰパケットは、標準化されたＲＴＰパケットに対応している。

なお、第２および第３の構成例としてのＩＰパケットにおいても、回線制御レイヤ同期および映像制御レイヤ同期を行うものとする。

以上のように、第４の実施の形態では、ライブ中継の核技術であるリアルタイム画像を高速にスイッチャ処理できるレベルの低遅延を保ちつつ、高い精度の同期を実現することができる。即ち、上述したようなラインベース・コーデックは、ピクチャベースコーデックと比較して、演算に費やせる時間が極端に短くなる。

このように演算に費やせる時間が極端に短くなることによる問題を解決するために、送信バッファの待機時間と受信バッファの待機時間との合計時間を一定に維持して、送信バッファの待機時間と受信バッファの待機時間との比率を変更する処理を行う。例えば、難しい画像データの符号化を行う場合には、送信に費やすバッファの待機時間を増加させる一方、受信バッファの待機時間を減少させるように待機時間を変更する処理を行う。このように送信バッファの待機時間が長くなることで、難しい画像によって発生した一時的な大量のデータをステム遅延的に吸収することができる。

例えば、従来の技術では、ピクチャ遅延のため、回線遅延分の受信パケットのジッタを吸収するバッファが設けられているが、回線遅延と受信バッファの待機時間が切り分けることができなかった。この切り分けができないことにより、無駄にバッファが必要となり低遅延システムに影響を与えていた。

これに対し、本実施の形態では、回線遅延と受信バッファの待機時間とを切り分けることができ、送信バッファの待機時間に応じて合計時間を一定に維持するように、受信バッファの待機時間を決定することができるので、より低遅延な同期を実現することができる。さらに、本実施の形態では、送信バッファの待機時間と受信バッファの待機時間との比率を、非常に短い時間間隔で変更することができるようにすることで、低遅延でも高画質なデータを伝送することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２０ 通信システム， ２１ 回線交換装置， ２２ａ乃至２２ｃ スタジオ， ２３ａ乃至２３ｃ サブ， ２４ 遅延制御装置， ６１ スイッチ部， ６２ 物理層Ｒｘ， ６３ 物理層コントロール部， ６４ 受信データ解析部， ６５ システム同期タイミング調整部， ６６ 撮像タイミング管理テーブル， ６７ 撮像タイミング調整管理部， ６８ 同期制御情報送信部， ６９ 送信データ生成部， ７０ 物理層Ｔｘ

Claims (18)

1. 送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加する再生時刻情報付加手段と、
   前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加する制御時刻情報付加手段と、
   前記再生時刻情報および前記制御時刻情報が付加されたデータを送信する送信手段と
   を備える送信装置。
2. 前記データを符号化する符号化手段と、
   前記符号化手段により符号化された符号化データに、符号化が行われたタイミングを指定する符号化時刻情報を付加する符号化時刻情報付加手段と
   をさらに備える請求項１に記載の送信装置。
3. データ転送における誤り制御用の制御情報を生成して前記データに付加し、誤り制御の処理が行われるタイミングを指定する誤り制御時刻情報を付加する誤り制御付加情報付加手段
   をさらに備える請求項１に記載の送信装置。
4. 前記再生時刻情報は、前記データの本体部分に付加されるデータ用ヘッダに配置される
   請求項１に記載の送信装置。
5. 前記制御時刻情報は、前記データの本体部分と前記データの本体部分に付加されるデータ用ヘッダとが含まれるデータ部分に対して付加される回線制御用ヘッダに配置される
   請求項１に記載の送信装置。
6. 前記符号化時刻情報は、前記データの本体部分に配置される
   請求項２に記載の送信装置。
7. 前記誤り制御用の制御情報は、前記データの本体部分に付加されるデータ用ヘッダに対して付加され、前記誤り制御時刻情報は、前記データの本体部分と前記データの本体部分に付加されるデータ用ヘッダとが含まれるデータ部分に対して付加される回線制御用ヘッダに配置される
   請求項３に記載の送信装置。
8. 送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加し、
   前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加し、
   前記再生時刻情報および前記制御時刻情報が付加されたデータを送信する
   ステップを含む送信装置の制御方法。
9. 送信されてきたデータを受信する受信手段と、
   前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行う同期処理手段と、
   前記データの再生タイミングを指定する再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う再生処理手段と
   を備える受信装置。
10. 前記データは符号化されて送信されており、
    前記受信手段が受信した符号化データから、符号化が行われたタイミングを指定する符号化時刻情報を抽出して、前記符号化時刻情報に基づいたタイミングで復号する復号手段
    をさらに備える請求項９に記載の受信装置。
11. 誤り制御の処理が行われるタイミングを指定する誤り制御時刻情報を前記データから抽出して、前記誤り制御時刻情報に基づいたタイミングで、データ転送における誤り制御用の制御情報を用いて誤り制御の処理を行う誤り制御処理手段
    をさらに備える請求項９に記載の受信装置。
12. 前記再生時刻情報は、前記データの本体部分に付加されるデータ用ヘッダに配置される
    請求項９に記載の送信装置。
13. 前記制御時刻情報は、前記データの本体部分と前記データの本体部分に付加されるデータ用ヘッダとが含まれるデータ部分に対して付加される回線制御用ヘッダに配置される
    請求項９に記載の送信装置。
14. 前記符号化時刻情報は、前記データの本体部分に配置される
    請求項１０に記載の送信装置。
15. 前記誤り制御用の制御情報は、前記データの本体部分に付加されるデータ用ヘッダに対して付加され、前記誤り制御時刻情報は、前記データの本体部分と前記データの本体部分に付加されるデータ用ヘッダとが含まれるデータ部分に対して付加される回線制御用ヘッダに配置される
    請求項１１に記載の送信装置。
16. 送信されてきたデータを受信し、
    前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行い、
    前記データの再生タイミングを指定する再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う
    ステップを含む受信装置の制御方法。
17. 送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加する再生時刻情報付加手段と、
    前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加する制御時刻情報付加手段と、
    前記再生時刻情報および前記制御時刻情報が付加されたデータを送信する送信手段と、
    送信されてきたデータを受信する受信手段と、
    前記制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行う同期処理手段と、
    前記再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う再生処理手段と
    を備える通信システム。
18. 送信の対象となるデータの再生タイミングを指定する再生時刻情報を、前記データに付加し、
    前記データが送信される回線に対して回線制御を行う際の制御タイミングを指定する制御時刻情報を、データ転送の制御情報に付加し、
    前記再生時刻情報および前記制御時刻情報が付加されたデータを送信し、
    送信されてきたデータを受信し、
    前記制御時刻情報を前記データから抽出して、前記制御時刻情報に基づいた同期処理を行い、
    前記再生時刻情報を前記データから抽出して、前記再生時刻情報に基づいたタイミングで再生処理を行う
    ステップを含む通信システムの制御方法。

Images