JP5174527B2 - 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 - Google Patents

Description

本発明は、超高精細テレビシステムの受信視聴において、臨場感の高い音響再生を行う技術に関し、特に、放送局から映像とともに伝送される音像定位音響メタ情報を用いて、映像に対して音像位置の一致を必要とする音を識別し、受信側の映像ディスプレイのサイズに合わせて音像定位の制御を可能にする、音響信号多重伝送システム、制作装置及び再生装置に関する。

映像とともに放送されるマルチチャンネルの音響信号を、受信側において用いられる映像音響システム（以下、受信視聴環境とも称する）に適用する場合に、マルチチャンネルの音響信号は、視聴者の周囲に配置した複数のスピーカーへサラウンド音響再生をするのに用いられる。例えば、デジタル方式のサラウンド音響再生であれば、前方左（ＦＬ：Ｆｒｏｎｔ Ｌｅｆｔ）、前方中央（Ｃ：Ｃｅｎｔｅｒ）、前方右（ＦＲ：Ｆｒｏｎｔ Ｒｉｇｈｔ）、左後方及び左側方に配置するサラウンド左（ＳＬ：Ｓｕｒｒｏｕｎｄ Ｌｅｆｔ）、右後方及び右側方に配置するサラウンド右（ＳＲ：Ｓｕｒｒｏｕｎｄ Ｒｉｇｈｔ）、低音を再生するサブウーハ（ＳＷ：Ｓｕｂ Ｗｏｏｆｅｒ）の５．１チャンネルの音響信号が知られている。

また、大画面・高精細の映像システムに対応した音響方式として、５．１チャンネルサラウンド音響方式よりもさらに臨場感の高い音響を再生することができる、前方５チャンネル＋側方・後方５チャンネル音響方式も知られている。

また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした３次元（立体）音響方式もある（例えば、非特許文献１参照）。図７に示すように、この超高精細・高臨場感映像音響システム（以下、超高精細テレビシステムと称する）の番組制作においては、大画面映像ディスプレイ（例えば、７６８０×４３２０画素）と多数のスピーカーとを配置した標準制作条件下で番組制作を行う。即ち、この標準制作条件下では、大画面のディスプレイ１８ａを前方に、低域効果音用スピーカーＬＦＥ１，ＬＦＥ２を除き、立体式の上位レイヤＵ１〜Ｕ９、中間レイヤＭ１〜Ｍ１０、下位レイヤＬ１〜Ｌ３の２２チャンネルで音響信号が制作され、スクリーン上の映像位置とスピーカー再生した音像の位置を一致させるように番組制作を行う。

一方、受信側においては、番組制作と同一の標準制作条件で映像ディスプレイ・音響用スピーカーを設置することは困難な場合が多く、受信環境に応じた映像ディスプレイ（通常、制作側のものに対して小型サイズであり、例えば１９２０×１０８０画素）と所定数のスピーカーとが設置される（図８参照）。

安藤彰男、"高臨場感音響"、ＮＨＫ放送技術研究所、［検索日：平成２０年４月２０日］、インターネット〈http://www.nhk.or.jp/strl/group/ningen_joho/ningen_joho06.html〉

標準制作条件下で制作された番組では、幾つかの音源（仮想音源）としてシーンに現れる多数のオブジェクトに合わせて音圧レベルや音の方向を考慮したマルチチャンネルの音響信号が映像信号とともに提供される。この場合、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境において、提供された映像信号及び音響信号をそのまま再生すると、番組制作者が意図した臨場感の高い音の再生を実現することができないことがある。従って、受信側では、受信視聴環境に応じて、そのまま臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、映像ディスプレイのサイズに合わせるように音像位置を制御して再生するような、臨場感の高い超高精細テレビシステムの音響再生を行うことを可能とすることが望まれる。

また、制作される番組音には、俳優のせりふやオブジェクトから放射される音のように、画面の中の映像から発音される様に聞かせる「映像と音像位置の一致が望ましい音」のほかに、番組全体の臨場感を高めるための効果音など「映像と直接的な関連が無い効果的な音」も多数存在する。従って、制作者が意図する映像及び音声の情報を、受信視聴環境でより忠実に再現するのを試みるのであれば、これらの音の識別が受信側で行われるようにするのが望ましい。

このように、従来の受信環境（例えば、家庭）でのテレビ視聴では、制作側で規定したスピーカー配置に依存して番組制作され、伝送された音響チャンネル信号を、チャンネルごとに割り当てられたスピーカーから受信視聴環境でそのまま再生するため、映像と音像位置の一致制御を行うことができなかった。

また、音響チャンネル間の音像定位の情報を表す従来の音像定位音響メタ情報は、伝送チャンネル数や伝送ビットレートの削減にのみ用いられるように専用化され、この音像定位音響メタ情報を映像と音像位置の一致制御を行うのに使用することはできなかった。

本発明の目的は、臨場感の高い超高精細テレビシステムの音響再生を行うことを可能とするために、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、受信側の映像ディスプレイのサイズに合わせて音像定位の制御を可能にする、音響信号多重伝送システム、制作装置及び再生装置を提供することにある。

即ち、本発明による音響信号多重伝送システムは、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、前記音響信号を受信し、前記音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムであって、前記制作装置は、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを有し、前記再生装置は、前記制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換して決定する手段と、前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを有し、標準制作条件と異なるサイズのディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音について、該ディスプレイのサイズに合わせるように音像位置を制御するようにしたことを特徴とする。

また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「チャンネル間レベル差（ＩＣＬＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）」、及び「チャンネル間時間差（ＩＣＴＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅｓ）」の情報を含み、前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ＩＣＴＤ」、及び「ＩＣＬＤ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。

また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、及び「チャンネル間相関（ＩＣＣ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）」の情報を含み、
前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、及び「ＩＣＣ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。

また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「伝送チャンネル番号情報」、及び「チャンネル間相関（ＩＣＣ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）」の情報を含み、前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ＩＣＣ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。

更に、本発明による制作装置は、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置であって、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを備えることを特徴とする。

更に、本発明による再生装置は、所定の標準制作条件に従って制作された音響信号を受信し、該音響信号に付された音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置であって、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換する手段と、前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを備えることを特徴とする。

これにより、映像と音像位置の一致が必要な音については、映像ディスプレイにあわせるように適切な音像位置の制御を可能とする。

本発明によれば、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、映像ディスプレイに合わせるように音像位置を制御して再生することで、臨場感の高い超高精細・高臨場感テレビの音響再生が可能になる。

以下、本発明による一実施例の音響信号多重伝送システムを説明する。また、実施例の音響信号多重伝送システムは、本発明による一実施例の制作装置、及び再生装置から構成される。

[システム構成]
本実施例の音響信号多重伝送システムは、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、音響信号を受信し、音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムとして構成される。本実施例の音響信号多重伝送システムは、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、映像と音像位置の一致が必要な音については、映像ディスプレイのサイズに合わせるように音像位置を制御し、臨場感の高い超高精細・高臨場感テレビの音響再生を行うようにするためのシステムである。

本実施例の制作装置は、音像定位音響メタ情報を付加した音響信号の多重・伝送する装置であり、音響信号及び音像定位音響メタ情報を符号化し、１つのビットストリームに多重する。この「音像定位音響メタ情報」を付加した多重化・音響信号を、電波又はＩＰ回線等で家庭など遠隔地に伝送する。

即ち、本実施例の制作装置は、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、音響信号のフレーム単位で生成し、標準制作条件における音響信号を音像定位音響メタ情報とともに符号化して伝送する。

この制作時においては、番組音の制作及び収録を行う際に、映像と音源位置の一致が必要な音か否か、また映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置（又はスクリーン上の位置）、及び定位に関わる音響特徴メタ情報など、音の属性を示す音像定位音響メタ情報を作成する。一方、映像と音像位置の一致を必要としない音について、音像定位音響メタ情報で識別可能にする。

本実施例の再生装置は、音像定位音響メタ情報が付加された音響信号を受信し、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境に合わせて、映像と音像位置の一致が必要な音を映像ディスプレイに適した音像位置に制御する。

即ち、本実施例の再生装置は、制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号し、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別し、映像と音源位置の一致が必要な音である場合にのみ、標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、標準制作条件における音像定位の位置の情報から座標変換（尚、ＸＹＺ座標の変換には、ｓｉｎ／ｃｏｓを用いた変換としてもよい）して決定し、該音像定位に関わる音響特徴メタ情報に基づいて、座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換し、変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する。

後述するように、本実施例の再生装置は、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音については、受信した各音響チャンネル信号と分離された「音像定位音響メタ情報」に基づいて、後述する一例の「映音一致音源の音響主要周波数成分の抜き出し」、「映音一致音源の音響主要周波数成分及び音響周波数コンターの合成」の処理を施して、映像ディスプレイのサイズに合わせるように音像の位置を制御する。更に、本実施例の再生装置は、映像と音像位置の一致を必要としない音については特別な処理は行わず、従来と同様の処理を施すようにする。受信視聴環境に応じて生成された各スピーカー毎の出力信号は、映像と音像位置の一致の場合と一致しない場合との組み合わせで、即ち合成されて各スピーカーから再生される。

図１は、伝送する音響信号に音像定位音響メタ情報を付随させて多重伝送する制作装置を示す図である。尚、多重伝送する音響信号は、例えばデジタル放送などでは、対象の映像信号と同期して多重伝送することは既知であり、図１では、その多重伝送する音響信号についてのみ示している。制作装置は、音響収録再生装置１と、音響ミキシング卓２と、音響信号制作伝送チャンネル変換装置３と、音響信号符号化装置４と、音響定位音響メタ情報多重装置５と、音響信号・メタ情報多重装置６と、音響ミキシング制御譜面データ生成装置７と、シーンに合わせてせりふを収音するマイクロホン８とを備える。

音響収録再生装置１は、音響ミキシング制御譜面データ生成装置７により生成された譜面データに基づく音響信号の発生又は終了を指示する制御信号（音響信号発生・終了制御信号）に従って、所定の音声を収録し、又は収録した複数チャンネルの音響信号を再生し、音響ミキシング卓２に出力する。

音響ミキシング卓２は、音響ミキシング制御譜面データ生成装置７により生成された譜面データに基づく音響信号のミキシングを指示する制御信号（音響ミキシング制御信号）に従って、マイクロホン８を介して収録したせりふの信号と、音響収録再生装置１から再生された音響信号とをミキシングして、前述した標準制作条件で制作した複数のチャンネル毎の制作音響信号を音響信号制作伝送チャネル変換装置３に出力する。

音響信号制作伝送チャネル変換装置３は、制作された音響信号を伝送チャネル用のフレーム単位の音響信号に変換し、変換した伝送用の音響信号（伝送音響信号）を音響信号符号化装置４に出力する。

音響信号符号化装置４は、所定の音響符号化方式に従って伝送音響信号を符号化し、フレーム単位の符号化伝送音響信号を音響信号・メタ情報多重装置６に出力する。

音響定位音響メタ情報多重装置５は、音響収録再生装置１からの音響信号と、音響ミキシング卓２からの制作音響信号とを用いて、映像と音源位置の一致が必要な音か否かの識別、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置（又はスクリーン上の位置）、及び定位に関わる音響特徴メタ情報など、音の属性を示す音像定位音響メタ情報をフレーム単位で作成し（後述する）、所定の音響符号化方式に従って音像定位音響メタ情報を符号化して音響信号・メタ情報多重装置６に送出する。

音響信号・メタ情報多重装置６は、フレーム単位の符号化伝送音響信号と、フレーム単位で音響定位音響メタ情報多重装置５から出力される符号化された音響定位音響メタ情報とを多重して電波又はＩＰ回線等で再生装置に向けて出力する。

音響ミキシング制御譜面データ生成装置７は、音響制作技術者の操作によって、譜面データを生成し、音響収録再生装置１への音響信号発生・終了制御信号、及び音響ミキシング卓２への音響ミキシング制御信号を出力する。

このように、本実施例の制作装置は、番組制作者の意図、即ち音響制作技術者の操作する情報に基づいて、映像と音像位置の一致が必要な音か否か、また映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置情報や音像定位に関わる音像定位音響メタ情報など、音の属性を示す情報をつけて番組音の制作及び収録を行い、音響信号及び音像定位音響メタ情報を符号化し、１つのビットストリームに多重して伝送する。

図２は、音像定位音響メタ情報を利用して受信環境用の音響信号に変換し、再生する再生装置を示す図である。尚、再生する音響信号は、例えばデジタル放送などでは、対象の映像信号と同期して再生することは既知であり、図２では、その再生する音響信号についてのみ示している。本実施例の再生装置は、音響信号・メタ情報多重分離装置１１と、音響定位音響メタ情報分離装置１２と、音響信号復号装置１３と、音響信号定位変換器１４と、音響信号定位変換制御部１５と、音響信号再生装置１６と、スピーカーセット１７とを備える。

音響信号・メタ情報多重分離装置１１は、制作装置からフレーム単位で多重化され、符号化された伝送音響信号及び音響定位音響メタ情報を受信して、符号化された伝送音響信号及び音響定位音響メタ情報を分離し、それぞれ音響信号復号装置１３及び音響定位音響メタ情報分離装置１２に送出する。

音響定位音響メタ情報分離装置１２は、フレーム単位で音像定位音響メタ情報の有無を監視し、音像定位音響メタ情報が有る場合に、符号化された音響定位音響メタ情報を復号するとともに、後述する各項目ごとのメタ情報に分離して音響信号定位変換制御部１５に送出する。

音響信号復号装置１３は、符号化された伝送音響信号を復号し、制作時の複数のチャンネル毎の音響信号を音響信号定位変換器１４に送出する。

音響信号定位変換器１４は、音響信号定位変換制御部１５の制御信号により、制作時の複数のチャンネル毎の音響信号を、受信視聴環境に応じた複数のチャンネル毎の音響信号に変換し、音響信号再生装置１６に送出する。

音響信号定位変換制御部１５は、音響定位音響メタ情報分離装置１２から受信した各項目ごとに分離した音響定位音響メタ情報を解析して、対応するフレームの制作時の音響信号を、映像ディスプレイのサイズを含む受信視聴環境に応じた複数のチャンネル毎の音響信号に変換するための制御信号を音響信号定位変換器１４に送出する。この変換制御は、詳細に後述する。尚、音響信号定位変換制御部１５は、各項目ごとに分離したメタ情報を解析した結果を、受信視聴環境における位置座標に応じたスピーカーに対応するように、操作者によって随意選定し、設定することが可能である。

音響信号再生装置１６は、受信視聴環境に応じた複数のチャンネル毎の音響信号を、再生信号としてスピーカーセット１７におけるそれぞれのスピーカーに向けて送出する。

スピーカーセット１７は、受信視聴環境における複数のチャンネル毎の音響信号にそれぞれ対応した再生信号を、複数のスピーカーＳｐ１〜Ｓｐ７で再生する。尚、図２に示すスピーカーセット１７は、７つのスピーカーのみを図示しているが、例示にすぎず、例えば、５．１チャンネルのスピーカーセット、前方５チャンネル＋側方・後方５チャンネル音響方式のスピーカーセット、又は３次元（立体）音響方式のスピーカーセットとすることができ、これらの各スピーカーのうち、音像定位変換するスピーカーは、音響定位音響メタ情報に対応する位置座標に配置するのが好適である。即ち、再生装置側では、制作装置側の音響定位音響メタ情報に対応する位置座標について、音響信号定位変換制御部１５に予め設定しておく。

このように、再生装置は、音像定位音響メタ情報を利用して受信視聴環境に応じた音響信号に変換して再生する。即ち、受信視聴環境において、臨場感の高い音の再生を保持するために、制作側で意図した映像と音像位置との一致が必要な「映音一致音源」について、音像定位音響メタ情報を利用して、映像ディスプレイのサイズに合わせるように制作側での音像位置を適切な音像位置に変換制御した音響チャンネル信号を生成し、各スピーカーから再生を行う。

以下、音響信号定位変換制御部１５における音像位置変換制御の処理について説明する。

図３に、標準制作条件より小さいディスプレイでの受信視聴環境における中間レイヤのスピーカー配置例を示す。ここでは、標準制作条件と同様のスピーカー配置で受信視聴環境が構成され、受信視聴環境では、標準制作条件であるディスプレイ１８ａよりも小さいサイズのディスプレイ１８ｂによって映像が映し出されるものとして説明する。

即ち、標準制作条件と同様の受信視聴環境のスピーカー配置を構成したとしても、標準制作条件より小さいディスプレイである場合には、幾つかの音源（仮想音源）としてシーンに現れる多数のオブジェクトに合わせて音圧レベルや音の方向を考慮したマルチチャンネルの音響信号が映像信号とともに提供されるため、制作側で映音一致で提供されていた場合には、音像位置変換制御が必要となる。

そこで、制作時においては、通常の番組音の制作に合わせて、番組制作者の意図及び音響制作技術者の操作する情報に基づいて、音の属性を示す音像定位音響情報をつけて番組音の制作及び収録を行う。

ここで、「映音一致音源」に付随させる音像定位音響メタ情報について説明する。送信側では、制作側の音像定位音響メタ情報について、音響時間サンプル値を一定の時間単位に分割したフレームごとに伝送するために収録を行う。受信側では、この音像定位音響メタ情報をフレーム毎に抽出し、映像及び音声を受信側の受信環境の映像音響システムに適合させるための演算を行って再生する。尚、送信側で、音響時間サンプルを表すフレームごとに、メタ情報の有無を表すフラグ（例えば、メタ情報があるときは１、無いときは０）を付すようにし、受信側ではこのフラグを監視して、対応するフレームの音像定位音響メタ情報を抽出する。

[音像定位音響メタ情報]
音像定位音響メタ情報は、「使用音響信号チャンネル番号」及び「映音一致音源フラグ」を少なくとも含み、「音源連続フラグ」、「音像位置」、「伝送チャンネル番号情報」、「音響周波数コンター」、「伝送チャンネル・音響主要周波数成分」、「チャンネル間レベル差（ＩＣＬＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）」、「チャンネル間時間差（ＩＣＴＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅｓ）」、及び「チャンネル間相関（ＩＣＣ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）」のうち、受信側で必要な情報項目を少なくとも１つ以上選択的に含めることができる。尚、「音響周波数コンター」、「伝送チャンネル・音響主要周波数成分」、「チャンネル間レベル差（ＩＣＬＤ）」、「チャンネル間時間差（ＩＣＴＤ）」、及び「チャンネル間相関（ＩＣＣ）」は、聴覚の臨界帯域幅か、又は聴覚の１／２臨界帯域幅毎に作成される情報であり、映音一致音源ごとに作成される音響特徴メタ情報として位置付けられる。

「使用音響信号チャンネル番号」は、番組制作の番組音に使用されている（無音でない）音響信号のチャンネル番号を示す。標準制作条件と異なる受信視聴環境のスピーカー配置である場合にも、再生装置側で、この情報を元に、受信視聴環境における世界座標に対応付けられたチャンネル番号に変換することができる。

「映音一致音源フラグ」は、番組制作時の情報として映像と音像位置とを一致させた音源を受信側で識別させるために、映像と音像位置との一致が必要な音源の有無を示す。このフラグは、例えば一致音源の開始時に１、終了時に０とする。

「音源連続フラグ」は、映像と音像位置の一致が必要な番号の音源（以下、映音一致音源と称する）が、隣接フレーム間で連続していることを示すものであり、フレーム単位で「映音一致音源フラグ」を判別する際の参考情報として用いられることができる。例えば、受信側で隣接フレーム間での音の連続性を、よりスムーズにするフィルタを用いて補正する場合に、この音源連続フラグを用いるのが好適である。このフラグは、例えば隣接フレーム間で連続している場合に１、終了時にフラグを０とする。

「音像位置」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、番組制作の音像の位置を示す。例えば、制作者側で用いた番組制作環境（スクリーンサイズ、スピーカーの種類ごとの配置、設定される視聴位置を含む）における世界座標Ｘ，Ｙ，Ｚの座標情報とすることができる。

「伝送チャンネル番号情報」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、音響信号が伝送されるスピーカーチャンネル番号を示す。スピーカー間に音像位置がある場合、制作時のスクリーンを囲む音響チャンネルを示す。尚、この情報は、「音像位置」の情報により、伝送チャンネルは一般的に特定することができるが、参考として、及び／又は処理の便宜のために、送信する情報である。例えば、受信側でこの伝送チャンネル番号情報を用いれば、スピーカーチャンネル番号を直ちに特定することができるためチャンネル割り当ての処理速度を向上させることができる。

「音響周波数コンター」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、音源の周波数毎のレベル情報を示す。

「伝送チャンネル・音響主要周波数成分」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、音響信号が伝送されるチャンネルにおける当該映音一致音源の主要周波数成分を示す。

「チャンネル間レベル差（ＩＣＬＤ）」は、音響信号が伝送されるチャンネル間のレベル差を示す。

「チャンネル間時間差（ＩＣＴＤ）」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、音響信号が伝送されるチャンネル間の時間差を示す。

「チャンネル間相関（ＩＣＣ）」は、映音一致音源ごとに作成される音響特徴メタ情報の１つとして、音響信号が伝送されるチャンネル間の相関を示す。例えば、０〜２４の番号で付されたチャンネルがある場合に、隣接チャンネル間で生成される音像の隣接チャンネルの信号レベルの比率を表す。

尚、「チャンネル間レベル差（ＩＣＬＤ）」、「チャンネル間時間差（ＩＣＴＤ）」、及び「チャンネル間相関（ＩＣＣ）」は、「使用音響信号チャンネル番号」の情報により、再生装置側で特定することができるが、再生装置側での処理負荷量が大きくなる場合に有効な情報であり、必ずしも必要とされる情報ではないことに留意する。しかしながら、再生装置の処理コストを考慮し、送信側で伝送するのが好ましい。

次に、再生装置で行う音響チャンネル信号の処理手法を説明する。

[再生装置の処理手法]
図４に、再生装置で行う音響チャンネル信号の処理手法のフローチャートを示す。再生装置は、受信視聴環境において、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、ディスプレイのサイズに合わせて音像位置を制御して再生する。

本実施例の説明において、映像と音像位置の一致を必要とする音源を「映音一致音源」、必要としない音源を「効果用音源」と称する。

再生装置における音像位置制御処理手法を説明するに、水平面内にある音像を、映像ディスプレイ位置に移動させる場合について説明する。尚、同様な手法で、垂直(上下)方向に音像を移動させることが可能である。

ステップＳ１で、再生装置の音響定位音響メタ情報分離装置１２により、フレーム単位で音像定位音響メタ情報の有無を監視する。例えば、フラグ値「１」であれば、音像定位音響メタ情報が付され、処理すべきフレームであると識別し、フラグ値「０」であれば、音像定位音響メタ情報が付されておらず、処理を要しないフレームであると識別する。音像定位音響メタ情報が有る場合に、符号化された音響定位音響メタ情報を復号するとともに、各項目ごとのメタ情報に分離し、ステップＳ２に進む。

ステップＳ２で、再生装置の音響信号定位変換制御部１５により、情報項目「使用音響信号チャンネル番号」で使用音のチャンネルを特定し、情報項目「映音一致音源フラグ」で映像と音像位置の一致が必要な音源の有無を識別する。「効果用音源」であると識別した場合、音響信号定位変換を施すことなく、特定した使用音のチャンネルに対応する音響信号を出力するように、音響信号定位変換器１４を制御する。一方、「映音一致音源」であると識別した場合、音響信号定位変換を施すように音響信号定位変換器１４を制御するため、ステップＳ３に進む。

ステップＳ３で、再生装置の音響信号定位変換制御部１５により、「映音一致音源」であると識別した場合、情報項目「音像位置」又は「伝送チャンネル番号情報」に基づいて制作時の音像位置を特定し、情報項目「伝送チャンネル・音響主要周波数成分」から、映音一致音源の音響主要周波数成分の抜き出す。

ステップＳ４で、再生装置の音響信号定位変換制御部１５により、抜き出した映音一致音源の音響主要周波数成分と、情報項目「音響周波数コンター」から抜き出した音源の周波数毎のレベル情報とを合成し、「映音一致音源の生成」を行う。

ステップＳ５で、映像と音像位置の一致が必要な音源の個数が全て終了した場合、ステップＳ６に移る。残りの音源がある場合はステップＳ３に戻る。

ステップＳ６で、再生装置の音響信号定位変換制御部１５により、生成した「映音一致音源」と、映像と音像位置の一致を必要としない音である「効果用音源」とを合成するように、音響信号定位変換器１４を制御する。

ステップＳ７で、音響信号定位変換器１４により、音響信号再生装置１６を経て合成音を各スピーカーから出力するチャンネル音響信号として出力する。

また、ステップＳ３の「映音一致音源の抜き出し」、ステップＳ４の「映音一致音源の生成」の方法の例を説明する。

音像の抜き出し手法として、映音一致音源の音像定位音響メタ情報のうち、情報項目「伝送チャンネル・音響主要周波数成分」を用い、これに示される周波数帯域をゼロ又は抑圧することで元の位置の音像成分の抜き出しを行う。

映音一致音源の生成手法として、映音一致音源の周波数帯域の抑圧は、音響主要周波数成分に隣接する周波数帯域の信号レベルと同程度以下とすることにより映音一致音源の音響主要周波数成分の信号の抑圧を行う。

そこで、受信視聴環境におけるディスプレイのサイズにー致させる音像の生成手法として、まず、映音一致音源の音像定位音響メタ情報のうち、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ＩＣＴＤ」、及び「ＩＣＬＤ」の組み合わせか、又は「音響周波数コンター」、「音像位置」、「ＩＣＣ」の組み合わせを用いて、チャンネル毎の映音一致音源の信号を決定する。

次に、受信視聴環境における新たな音像位置を求める。受信視聴環境におけるスピーカー及びディスプレイは、随意、再生装置側の音響信号定位変換制御部１５に世界座標Ｘ，Ｙ，Ｚで設定されるものとする。即ち、制作側の世界座標Ｘ，Ｙ，Ｚと再生装置側の世界座標Ｘ，Ｙ，Ｚは、予め対応するように定められている。

例えば、図５（ａ）に示すように、制作時のディスプレイ１８ａの周囲に位置する中間レイヤのスピーカーＭ１〜Ｍ５により、それぞれの音像定位関数１００Ｍ１〜１００Ｍ５の音像定位関数として表される信号レベルの音響信号を出力させ、「映音一致音源」Ｐ_１，Ｐ_２を形成するとともに、「効果音音源」Ｅ_１を形成するように意図して制作していたとする。受信視聴環境におけるディスプレイ１８ｂは、制作時のディスプレイ１８ａよりも小型であるため、中間レイヤのスピーカーＭ３〜Ｍ５により、それぞれ音像定位関数１００Ｍ３〜１００Ｍ５の音像定位関数として表される信号レベルの音響信号を出力させ、新たな音像位置となる「映音一致音源」Ｐ_１’，Ｐ_２’を形成し、「効果音音源」Ｅ_１’は、映像と音源の一致が必要ない情報として識別し、「効果音音源」Ｅ_１と同様の音源として形成する。尚、図５は、水平面内にある音像を移動させる場合の例である。

実際には、主に、情報項目「音像位置」又は「伝送チャンネル・音響主要周波数成分」に基づいて、受信視聴環境における新たな音像位置となる「映音一致音源」Ｐ_１’，Ｐ_２’を求め、図５に示す１００Ｍ３〜１００Ｍ５の各スピーカーから出力する映音一致音源の周波数ごとの信号レベルを算出することになる。

映音一致音源の周波数ごとの信号レベルを算出するには幾つかの例がある。

（例１）
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「ＩＣＴＤ」、「ＩＣＬＤ」、及び「伝送チャンネル・音響主要周波数成分」に基づいて、チャンネル毎の映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次にチャンネル間の周波数ごとのＩＣＴＤ，ＩＣＬＤを算出し、音像定位音響メタ情報の「ＩＣＴＤ，ＩＣＬＤ」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で制作時の音像定位位置を受信環境の音像定位位置へと確実に変換することができる。

（例２）
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「音像位置」、及び「ＩＣＣ」に基づいて、映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次に、「音像位置」情報から伝送チャンネル番号を特定し、「音像位置」情報と該伝送チャンネル番号とに基づいて、各チャンネルの混合比を算出し、映音一致音源の各チャンネルの混合比により、映音一致音源の信号を決定する。また、この決定信号と音像定位音響メタ情報の「ＩＣＣ」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で先の音響信号に基づいて順次計算すればよく、再生装置側の処理負担を軽減させることができる。

（例３）
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ＩＣＣ」に基づいて、映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次に、「音像位置」情報から伝送チャンネル番号を特定することなく、伝送チャンネル番号情報を用いる。次に、「音像位置」情報と該伝送チャンネル番号情報に基づいて、各チャンネルの混合比を算出し、映音一致音源の各チャンネルの混合比により、映音一致音源の信号を決定する。また、この決定信号と音像定位音響メタ情報の「ＩＣＣ」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で先の音響信号に基づいて順次計算すればよく、再生装置側の処理負担をより一層軽減させることができる。

これらの３つの例から、音像定位音響メタ情報を用いて受信視聴環境に応じた音像定位を実現する他の組み合わせがあることが分かる。一方、制作側で意図した音像位置を受信視聴環境で再現するために、音像定位音響メタ情報のうちの幾つかを用いて実現する例である。しかしながら、例えば、これらの音像定位音響メタ情報のうち、受信視聴環境で必要としない（例えば、制作側のものと対応するスピーカーを再生装置側で用意していない）音響信号がある場合には、再生装置側で随意所望のチャンネルの音響信号で再構成するように設定することもできる。従って、再生装置側は、これに伴って必要とされる音像定位音響メタ情報のみを選択的に用いるようにしてもよい。

こうして決定したチャンネル毎の映音一致音源の信号は、新たな信号レベルの音響信号として、各スピーカーから出力される。例えば、図５を参照するに、制作時のディスプレイ１８ａの周囲に位置する中間レイヤのスピーカーＭ１〜Ｍ５により出力される、それぞれ音像定位関数１００Ｍ１〜１００Ｍ５の音像定位関数として表される信号レベルの音響信号について、この水平面内にある音像を移動させるように、中間レイヤのスピーカーＭ３〜Ｍ５により新たな信号レベルの音響信号として出力する。

図５では、特定のチャンネルのスピーカーについてのみ説明したが、制作時の標準制作条件は、図７に示すように、大画面のディスプレイ１８ａを前方に低域効果音用スピーカーＬＦＥ_１，ＬＦＥ_２を除き、立体式の上位レイヤＵ１〜Ｕ９、中間レイヤＭ１〜Ｍ１０、下位レイヤＬ１〜Ｌ３の２２チャンネルで制作するため、例えば、図８に示すように、受信視聴環境において、ディスプレイ１８ａよりも小さいディスプレイ１８ｂとともに制作時と同一の世界座標で構成した２２チャンネルの音響信号は、それぞれフレーム単位で音像定位変換が施される（図６参照）。

これにより、本実施例の制作装置及び再生装置からなる、本実施例の音響信号多重伝送システムによれば、番組制作時の映像ディスプレイ・音響用スピーカー条件と受信視聴環境との差異が大きい場合においても、映音一致音源の度合いが好適に適合するようになり、より臨場感の高い音の再生が可能となる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、受信視聴環境における中央の３個のスピーカーの開き角度が番組制作時の開き角度（例えば６０度）と異なる場合には、映像ディスプレイの両脇に左右スピーカーを設置することで、実施例と同一の処理で近似的に高音質の再生を実現することも可能である。即ち、受信視聴環境において、制作時と同一の世界座標でスピーカーを構成しない場合には、制作時のスピーカー配置の情報（「音像位置」）から、受信視聴環境において出力すべきスピーカー及び音響信号の変換を世界座標に従って変換可能であることは、当業者に明らかである。また、前述した実施例において、固定のフレーム長の音響信号を扱うものとして説明したが、可変のフレーム長としてもよい。この場合には、各フレーム長が識別可能な付加情報を予め送付するか、又は各フレームヘッダに付加するようにする。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明は、臨場感の高い超高精細テレビシステムの音響再生を行うことが可能となるため、映像・音響信号多重伝送システムに有用である。

本発明による実施例の音像定位音響メタ情報を付随した音響信号多重伝送システムにおける制作装置を示す図である。 本発明による実施例の音像定位音響メタ情報を付随した音響信号多重伝送システムにおける再生装置を示す図である。 本発明による実施例の標準制作条件より小さいディスプレイでの受信視聴環境における中間レイヤのスピーカー配置例を示す図である。 本発明による実施例の再生装置で行う音響チャンネル信号の処理手法のフローチャートである。 本発明による実施例の音像定位関数に基づく音像定位変換の概略図である。 本発明による実施例のフレーム単位の音響信号の概略図である。 制作時の標準制作条件におけるディスプレイ及びスピーカーの配置例を示す図である。 受信視聴環境におけるディスプレイ及びスピーカーの配置例を示す図である。

符号の説明

１ 音響収録再生装置
２ 音響ミキシング卓
３ 音響信号制作伝送チャンネル変換装置
４ 音響信号符号化装置
５ 音響定位音響メタ情報多重装置
６ 音響信号・メタ情報多重装置
７ 音響ミキシング制御譜面データ生成装置
８ マイクロホン
１１ 音響信号・メタ情報多重分離装置
１２ 音響定位音響メタ情報分離装置
１３ 音響信号復号装置
１４ 音響信号定位変換器
１５ 音響信号定位変換制御部
１６ 音響信号再生装置
１７ スピーカーセット
１８ａ 制作時のディスプレイ
１８ｂ 受信環境のディスプレイ
ＬＦＥ_１，ＬＦＥ_２ 低域効果音用スピーカー
Ｕ１〜Ｕ９ 上位レイヤのスピーカー
Ｍ１〜Ｍ１０ 中間レイヤのスピーカー
Ｌ１〜Ｌ３ 下位レイヤのスピーカー
１００Ｍ３〜１００Ｍ５ 音像定位関数
Ｐ_１，Ｐ_２ 受信環境の「映音一致音源」の音像位置
Ｅ_１ 受信環境の「効果音音源」の音像位置
Ｐ_１’，Ｐ_２’ 受信環境の「映音一致音源」の音像位置
Ｅ_１’ 受信環境の「効果音音源」の音像位置

Claims (6)

1. 標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、前記音響信号を受信し、前記音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムであって、
   前記制作装置は、
   標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、
   前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを有し、
   前記再生装置は、
   前記制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、
   復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、
   映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換して決定する手段と、
   前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、
   前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを有し、
   標準制作条件と異なるサイズのディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音について、該ディスプレイのサイズに合わせるように音像位置を制御するようにしたことを特徴とする、音響信号多重伝送システム。
2. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「チャンネル間レベル差（ＩＣＬＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）」、及び「チャンネル間時間差（ＩＣＴＤ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅｓ）」の情報を含み、
   前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ＩＣＴＤ」、及び「ＩＣＬＤ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項１に記載の音響信号多重伝送システム。
3. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、及び「チャンネル間相関（ＩＣＣ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）」の情報を含み、
   前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、及び「ＩＣＣ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項１に記載の音響信号多重伝送システム。
4. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「チャンネル間相関（ＩＣＣ：Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）」の情報を含み、
   前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ＩＣＣ」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項１に記載の音響信号多重伝送システム。
5. 標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置であって、
   標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、
   前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを備えることを特徴とする制作装置。
6. 所定の標準制作条件に従って制作された音響信号を受信し、該音響信号に付された音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置であって、
   符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、
   復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、
   映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換する手段と、
   前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、
   前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを備えることを特徴とする再生装置。

Images