JP2006128818A - 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア - Google Patents

Abstract

【課題】 立体映像と立体音響のコンテンツの対応記録、再生ができる立体映像・立体音響対応記録・再生技術を提供する。
【解決手段】 所定の時間単位でオブジェクトの立体位置情報をＭＰＥＧの規定のユーザーデータ領域若しくはプライベートストリーム、若しくは別領域の情報体を用いて記述し、所定の時間単位でオブジェクトの識別情報を立体映像データと音響データの双方のストリームの識別情報とリンクさせて記述し、立体映像データを音響データと共に記録メディアに記録する記録系と、記録メディアからオブジェクトの立体位置情報を検出し、オブジェクトの識別情報を立体映像データと音響データの双方のストリームから検出し、映像のオブジェクトの識別情報に対応する音響データの音像の立体定位位置を前記オブジェクトの立体位置になるように、スピーカレイを用いて音像位置制御を行う再生系で構成する。
【選択図】 図１

Description

本発明は、立体映像のオブジェクトの動きと立体音響を対応させて記録し、再生するための立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び映像音響記録メディアに関する。

従来、いくつかの方式で３Ｄ（立体）映像再生技術が提案されている。また３Ｄ（立体）音場に関する技術も、スピーカのないところから、あたかもその位置にスピーカがあるかのように音を定位させて再生する技術が提案されている。しかし、空間を表現できる立体映像技術で表示再現できるコンテンツの立体的な映像と空間音響の空間定位技術による音響とを連携させて再生することができないという問題点があった。

例えば、特開２０００−１７３５５号公報（特許文献１）には、本発明者から対象物体に関するステレオ画像の相対応する両画素点間を結ぶエピポーラ線の方向とその直交する方向に関して両方向にそれぞれ相対応する両画素点を含むように画面上の２次元探索を行って視差ベクトルを求め、対象物体までの距離を計算する方法が開示されている。

また、特開平７−２３６１９９公報（特許文献２）には、立体映像における左右の物体の動きは動きベクトルの検出によって自動的に検出し、これに応じた音場は主音声信号及び副音声信号によって駆動される主スピーカ及びサラウンドスピーカで立体的に再生をする方式が開示されている。しかしながら、動きベクトルはコンテンツの時間方向に関する物体の動きであり、３次元立体映像の奥行きの情報ではない。また、立体音場もこの従来技術では、単に幾つかのスピーカでのサラウンド感を用いて行うもので、空間での音の定位を行うものではない。

また、特開２００１−３０６０８１公報（特許文献３）には、実時間でオーディオ空間の構成を制御する音楽空間構成制御装置に関する技術が開示されており、ＤｉｒｅｃｔＸに存在する３次元音源を記述するパラメータを使い、定位、方向、ドップラーパラメータなどを用いて効果的なミュージックスペースを提供することが開示されている。しかしながら立体映像の空間である奥行きに関するパラメータは開示されておらず、その空間的映像と音響の同期再生も説明されていない。

このように、従来では、３次元の立体映像の奥行き方向の動きに対応して、音の定位技術を用いて映像と音響を連携させて再生することや、映像がディスプレイ表示域を超えてもそのコンテンツの音を音の定位技術を利用して再生して臨場感のある映像音響を再生するシステムは知られていない。
特開２０００−１７３５５号公報 特開平７−２３６１９９号公報 特開２００１−３０６０８１号公報 ＮＨＫ放送技術研究所、「３次元映像の基礎」、オーム社、１９９５年 イエンスブラウエルト著、「空間音響」、鹿島出版会、１９８５年 Ｂ． Ｊａｖｉｄｉ， Ｆ． Ｏｋａｎｏ Ｅｄｉｔｏｒｓ， "Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ， Ｖｉｄｅｏ， ａｎｄ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ"， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ （２００２）， Ｐ１０１〜Ｐ１２３

本発明は、立体映像と立体音響のコンテンツの対応記録ができる立体映像・立体音響対応記録技術を提供することを目的とする。

本発明はまた、オブジェクトの映像の３次元的位置と音響の３次元的定位を同期して再生することができる立体映像・立体音響対応再生技術を提供することを目的とする。

請求項１の発明の立体映像・立体音響対応記録プログラムは、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報として当該オブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成するステップと、前記オブジェクトの立体位置情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせるステップと、前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録するステップとをコンピュータに実行させるものである。

請求項２の発明の立体映像・立体映像・立体音響対応再生プログラムは、立体映像データ及び音響データと共にこれらの再生時に自身を音源とする音響の立体定位制御を行うオブジェクトの立体位置情報及び出現タイミングのリンク情報を記録している記録メディアから立体映像データ及び音響データを読み出して再生するステップと、前記記録メディアから前記オブジェクトの立体位置情報を読み出すステップと、前記記録メディアから前記オブジェクトの立体位置情報に対応する音響データを読み出すステップと、前記オブジェクトの立体位置情報に対応する前記音響データの音像の立体定位位置を当該オブジェクトの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行うステップとをコンピュータに実行させるものである。

請求項３の発明の立体映像・立体音響対応記録装置は、所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報として当該オブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成する手段と、前記オブジェクトの立体位置情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせる手段と、前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録する手段とを備えたものである。

請求項４の発明の立体映像・立体音響対応再生装置は、立体映像データ及び音響データと共にこれらの再生時に自身を音源とする音響の立体定位制御を行うオブジェクトの立体位置情報及び出現タイミングのリンク情報を記録している記録メディアから立体映像データ及び音響データを読み出して再生する手段と、前記記録メディアから前記オブジェクトの立体位置情報を読み出す手段と、前記記録メディアから前記オブジェクトの立体位置情報に対応する音響データを読み出す手段と、前記オブジェクトの立体位置情報に対応する前記音響データの音像の立体定位位置を当該オブジェクトの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行う手段とを備えたものである。

請求項５の発明の立体映像・立体音響対応記録メディアは、立体映像データと音響データを記録すると共に、所定の時間単位で作成した再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて記録したものである。

請求項６の発明の立体映像・立体音響対応記録プログラムは、所定の時間単位で、音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報としてそれぞれのオブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成するステップと、前記オブジェクトそれぞれに識別情報を設定するステップと、前記オブジェクトそれぞれの識別情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングにリンクさせるステップと、前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録するステップとをコンピュータに実行させるものである。

請求項７の発明の立体映像・立体音響対応再生プログラムは、立体映像データ及び音響データと共に、これらの再生時に音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報及び出現タイミングを示す情報を各オブジェクトの識別情報と対応させて記録している記録メディアから立体映像データ及び音響データを読み出して再生するステップと、前記記録メディアから映像に表示するオブジェクトと表示しないオブジェクトとの識別情報及び立体位置情報を読み出すステップと、前記記録メディアからオブジェクトそれぞれの識別情報に対応する音響データを読み出すステップと、前記立体映像データのオブジェクトそれぞれの識別情報に対応する音響データの音像の立体定位位置を当該オブジェクトそれぞれの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行うステップとをコンピュータに実行させるものである。

請求項８の立体映像・立体音響対応記録装置は、所定の時間単位で、音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報としてそれぞれのオブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成する手段と、前記オブジェクトそれぞれに識別情報を設定する手段と、前記オブジェクトそれぞれの識別情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングにリンクさせる手段と、前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録する手段とを備えたものである。

請求項９の発明の立体映像・立体音響対応再生装置は、立体映像データ及び音響データと共に、これらの再生時に音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報及び出現タイミングを示す情報を各オブジェクトの識別情報と対応させて記録している記録メディアから立体映像データ及び音響データを読み出して再生する手段と、前記記録メディアから映像に表示するオブジェクトと表示しないオブジェクトとの識別情報及び立体位置情報を読み出す手段と、前記記録メディアからオブジェクトそれぞれの識別情報に対応する音響データを読み出す手段と、前記立体映像データのオブジェクトそれぞれの識別情報に対応する音響データの音像の立体定位位置を当該オブジェクトそれぞれの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行う手段とを備えたものである。

請求項１０の発明の立体映像・立体音響対応記録メディアは、立体映像データと音響データを記録すると共に、所定の時間単位で作成した、音源を再生すると共に映像を表示するオブジェクトと音源は再生するが映像は表示しないオブジェクトとの立体位置情報及び識別情報を、当該オブジェクトそれぞれの立体映像データと音響データの双方のストリーム中の出現タイミングとリンクさせて記録したものである。

本発明によれば、記録系では、立体映像中のオブジェクトの立体位置情報を所定の時間単位で作成し、立体映像データと音響データと共に記録メディアに記録することができる。

また本発明によれば、再生系側では、立体映像中のオブジェクトの立体位置情報を検出して、その位置情報をもとにして、空間音響の空間的定位を正確に再生できる。また、オブジェクトの立体位置情報をもとにして対応する音響データの音像の立体定位位置をオブジェクトの立体位置になるように少なくとも２以上のスピーカを用いて音像位置制御することにより、立体映像中のオブジェクトの立体位置と空間音響の空間的定位を正確に再生できる。

また本発明によれば、記録系では、映像に表示するオブジェクトと表示しないオブジェクトの立体位置情報とオブジェクトの識別情報を所定の時間単位で作成し、立体映像データを音響データと共に記録メディアに記録することができる。

さらに本発明によれば、再生系側では、立体映像・立体音響対応再生プログラム及び再生装置では、映像に表示するオブジェクトと表示しないオブジェクトの立体位置情報とオブジェクトの識別情報を検出し、そのオブジェクトの識別情報に対応する音響データの音像の立体定位位置を前記オブジェクトの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行い、立体映像中のオブジェクトの立体位置と空間音響の空間的定位を正確に再生し、且つ、映像中からオブジェクトが消える（画面の外側へ移動する）ようなシーンの場合でも、例えばそのオブジェクトが移動していく延長線上の空間に音像位置を定位させるなど、より臨場感のある再生を行うことができる。

以下、本発明の実施の形態を図に基づいて詳説する。

（第１の実施の形態）図１は本発明の１つの実施の形態の立体映像・立体音響対応記録システムのブロック図であり、図２はそれを用いた対象物体の撮影態様を示している。本実施の形態の立体映像・立体音響対応記録システムは、立体映像データ記録系として、左右一対の撮像カメラＡ１、撮像カメラＢ２、視差ベクトル抽出器３、奥行き距離算出器４、オブジェクト解析器５、水平方向位置分析器６、垂直方向位置分析器７、奥行き方向位置分析器８、位置情報フォーマット器９、ビデオ圧縮器１４を備えている。本システムはまた、音響データ記録系として、複数マイク群１１、音源選択器１２、オーディオ圧縮器１３を備えている。また本システムは、これら両系の共通の要素としてＣＰＵ１０、情報多重化器１５、記録器１６を備えている。

上記構成の立体映像・立体音響対応記録システムによる立体映像・立体音響対応記録動作について説明する。映像記録系は、左右一対の撮像カメラＡ１、Ｂ２により左画像Ｐｌ及び右画像Ｐｒを撮像し、撮像された対象物体の映像を視差ベクトル抽出器３に出力する。視差ベクトル抽出器３は、特開平９−３３２４９号公報に開示されている相関関数などの評価関数に従って画素毎の対応付けを行う。ここで、２台の撮像カメラＡ１、撮像カメラＢ２はそれらの光軸が同一Ｘ−Ｚ平面上に含まれるように配置されている。これが厳密に正しく配置される限り、対応点の探索はエピポーラ線である走査線上のみ行えばよいのであるが、実際には、走査線上に１画素分も誤差なく配置されていることはむしろ少ない。そこで、左画像Ｐｌ及び右画像Ｐｒは視差ベクトル抽出器３でエピポーラ線方向である水平方向と、ある程度の垂直方向の視差ベクトルサーチ計算を行う。

エピポーラ線方向の計算方法を、図３を参照して説明する。ここでは予め判別されている対応点、若しくは非常に判別しやすい特徴点が、左画像ＰｌにはＲ点（Ｘｌ，Ｙｌ）に、右画像ＰｒにはＳ点（Ｘｒ，Ｙｒ）に存在していたとする。この２点Ｒ、Ｓを直線で結ぶことによりエピポーラ線ＥＰの方向が求められる。ここでは、エピポーラ線ＥＰの方向はＸ軸方向線にほぼ平行であるから、基本的には水平の探索で求まる。例えば水平４画素垂直２画素の小ブロックの画素の差和や差の２乗和などを評価パラメータとして、最小値になる位置をＸの位置で求める。カメラに垂直方向の設置誤差が考えられる場合には、エピポーラ線から角度θだけ傾斜していると仮定して水平探索範囲とＴａｎθの積で計算される程度に垂直方向の探索範囲を拡大する。

設定された探索範囲内で探索を行い、結果として、例えば左画像上の点Ｒ（Ｘｌ，Ｙｌ）と右画像上の点Ｓ（Ｘｒ，Ｙｒ）が対応した場合、点Ｒ（Ｘｌ，Ｙｌ）における視差ベクトルをＶ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）と表す。このような視差ベクトルを、左画像上の全てのマクロブロックについて求める。この処理を画面全体にわたって行い、最終的に選択された視差ベクトルＶを奥行き距離計算器４に送出する。

奥行き距離算出器４は、視差ベクトルの大きさを計算し、例えば水平４画素垂直２画素の小ブロックと設定して探索して位置を求める。得られた水平位置、垂直位置、奥行き方向を（Ｘ、Ｙ、Ｚ）としてオブジェクト解析器５へ伝送する。オブジェクト解析器５では、小ブロックを画像１枚につき、左上から右下へラスター順番にならべて、Ｘ、Ｙ、Ｘそれぞれを所定のビット数でフォーマット化する。例えば画像が水平７２０ｘ４８０のＮＴＳＣクラスの解像度であれば、Ｘを１０ビット、Ｙを９ビットとする。例えば画像が水平１９２０ｘ１０８０のＨＤＴＶクラスの解像度であれば、Ｘを１１ビット、Ｙを９ビットとする。

図４に７２０ｘ４８０の場合のフォーマット例を示す。１フレームでこの構造を１つ伝送する。フレームレイヤには、１画面中の４ｘ２のマクロブロックの数だけ、ラスター順番に、オブジェクトフラッグ１ビット、その後にオブジェクトのＩＤ７ビットその後に水平位置情報Ｘ、垂直位置情報Ｙ、奥行き位置情報Ｚのデータが続く。

オブジェクトフラッグとは、この後説明するオブジェクトの中心に対応するマクロブロックに対して１、それ以外のマクロブロックには０を記述するもので、オブジェクトであるかないかを示すフラグともいえる。オブジェクトＩＤ情報もこの後説明するオブジェクトの識別ナンバーである。ここでは７ビットを用いるので、１２７種類のオブジェクトがフレーム内に定義することができる（０はオブジェクト領域外を占めることとする）。対応する音源情報とのリンク情報となる。

また、オブジェクトは必ずしも映像中に存在していないこともあるので、そのときには図４のＥＳＣ情報を用いる。この構造には、はじめにＮｕｍＯｆＯｂｊｅｃｔという８ビットで、後続するＥＳＣオブジェクトの個数と、ＥＳＣオブジェクトの中心（若しくはそれに順ずる）位置における水平位置、垂直位置、奥行き位置を記録する。また、オブジェクトのＩＤも記録する。これによって、映像中から消えて、例えば視聴者の後方を飛び回るようなオブジェクトでも、音像だけは後ろから聞こえるという特殊なシーンの再生も可能である。

これらのマクロブロックの情報はオブジェクト解析器５に伝送される。オブジェクト解析器５では画像データにラプラシアンオペレータなどを用いて微分し、オブジェクトの輪郭を抽出し、その大きい塊をひとつのオブジェクトと定義し、そのオブジェクトの領域を示す輪郭の情報を、水平方向位置分析器６、垂直方向位置分析器７、奥行き方向位置分析器８にそれぞれ伝送する。水平方向位置分析器６ではオブジェクトの領域における水平方向の最小値と最大値の和を１／２にした値を計算する。垂直方向位置分析器７では垂直方向の最小値と最大値の和を１／２にした値を計算する。奥行き方向位置分析器８ではオブジェクト輪郭情報から、その中心の位置に対応する水平４画素垂直２画素の小ブロックの視差ベクトルの大きさを計算する。ここでは中心の値を用いたが、オブジェクト画像の面積を考慮した重心を求めてもよい。

それぞれの計算された値は、位置情報フォーマット器９において、オブジェクトのＸ、Ｙ、Ｚの位置情報として、オブジェクトの中心に対応するマクロブロックに対してオブジェクトフラッグを１、それ以外のマクロブロックには０を記述する。同様に次のオブジェクトを検出していくがオブジェクトに発生順番で１から１２７までのＩＤをふり、オブジェクトＩＤフィールドに記録する。オブジェクト領域以外のところは０を記述する。次のフレーム画像ではオブジェクトは動いている可能性があるので、もっとも近傍であって、オブジェクトの輪郭情報が特徴点（例えば四角形のものであれば角の数や、そのオブジェクトの内部の輝度、色差信号が８ビットデータ）で１０％以内の僅差でほぼ似ているなどの情報や、時間的に隣り合うフレームであれば、検出されたオブジェクトがもっとも近いものである、などの複数の条件を満たしているものを同じオブジェクトとして認識し、オブジェクトＩＤ情報は、次のフレーム移行、同じオブジェクトと認識したものには同じＩＤ値を記録する。位置情報フォーマット器９はこのような図４のようなフォーマットをして、情報多重化器１５に伝送すると同時に、ＣＰＵ１０へオブジェクトのＸ、Ｙ、Ｚの位置情報を伝送する。

次に、オーディオ情報の記録方法について説明する。オーディオはカメラ１，２を中心に複数のマイク群１１を全周囲に向けて設定する。すなわち、図５のようにカメラを中心にした球の表面を複数の指向性の高いマイクを用いて球面の法線方向に向ける。図５は概念的に示してあるが、このマイクは、中心をカメラ位置としてＸ、Ｙ、Ｚの方向で３次元の座標を仮想的に設定し、その軸の方向６点とその間を補間できるようにマイクをなるべく多く設置している。ただしカメラレンズ方向（図５では＋Ｚ方向マイク）は、カメラの視野に入らないようにマイクの位置を工夫している。

位置情報フォーマット器９からは、ＣＰＵ１０へ、検出されたそれぞれのオブジェクトの位置情報が入力される。ＣＰＵ１０では、各オブジェクトの位置情報に対応した方向に向いているマイクの音源を記録するように、音源選択器１２に選択信号を送信する。音源選択器１２ではその指示信号に応じた複数のマイクからの音源を選択してその音源のマイクから伝送されたオーディオデータをオーディオ圧縮器１３へ伝送する。その際、オブジェクトのＩＤが、位置情報フォーマット器９からＣＰＵ１０と音源選択器１２を経由してオーディオ圧縮器１３にも伝送される。オブジェクトＩＤは後に述べるオーディオ圧縮器１３においてオーディオ圧縮データに識別子情報をＭＰＥＧ規格のＤｅｓｃｒｉｐｔｏｒの打ち方を参照して記述されるのに利用される。

一方、カメラＢ２（若しくはカメラＡ１）の画像はビデオ圧縮器１４に伝送される。ビデオ圧縮器１４では、カメラからの２次元画像、位置情報フォーマット器９からの奥行き情報やオブジェクトＩＤ情報を入力し、ＭＰＥＧ規格の画像圧縮を行う。なお、奥行き情報やオブジェクトＩＤ情報は、ＭＰＥＧの規定の中で互換性が取れるように、ユーザーデータ領域やプライベートストリームにて伝送し、またオブジェクトＩＤはＭＰＥＧ規格で定義されているＲｅｇｉｓｔｒａｔｉｏｎ＿Ｄｅｓｃｒｉｐｔｏｒのａｄｄｉｔｉｏｎａｌ＿ｉｄｅｎｔｉｆｉｅｒ＿ｉｎｆｏを用いる。なお、他の方法として、（１）新規にＰｒｉｖａｔｅのＤｅｓｃｒｉｐｔｏｒを定義して、図１９のようにＯｂｊｅｃｔ＿ＩＤ＿ｄｅｓｃｒｉｐｔｏｒを作成する、（２）Ｓｔｒｅａｍ＿ＩＤのｒｅｓｅｒｖｅｄ ｄａｔａ ｓｔｒｅａｍを用いて、ＭＰＥＧで未定義の領域１１１１１０１０〜１１１１１１１０までを用いて設定する方法、（３）Ｓｔｒｅａｍ＿ＴｙｐｅとしてＭＰＥＧではＵｓｅｒ ＰｒｉｖａｔｅなＶａｌｕｅとされている０ｘ８０から０ｘＦＦまでの中の識別を使用する方法を採用することもできる。なお（２）におけるＳｔｒｅａｍ＿ＩＤはＩＳＯ１３８１８−１のＰＥＳパケットのシンタックスに定義されているものである。また、これ以外にも、ＭＰＥＧで規定されているユーザーデータ領域のどこを使っても構わないし、ＡＣ３や他のオーディオ方式のシンタックスの中で許されているユーザーデータの領域部分に識別コードを入れる方法でも構わない。

音源選択器１２からのオーディオデータはオーディオ圧縮器１３においてＭＰＥＧのオーディオ圧縮（ＭＰＥＧ１オーディオ、ＭＰＥＧ２オーディオ、ＡＡＣ、ドルビーＡＣ３、ＡＴＲＡＣなど）がなされる。

次にＭＰＥＧの規格に準拠しながら、付加情報を記録する方法を説明する。ＭＰＥＧ画像圧縮の規格では、ピクチャーレイヤ、ＧＯＰレイヤにそれぞれユーザーデータ領域が設定されている。これらはＭＰＥＧのシンタックスで映像音声とは関係ないデータを埋め込むことのできる所定のエリアとして設定されているｕｓｅｒ＿ｄａｔａ、若しくはｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ、若しくはユーザーが任意に設定できるｐｒｉｖａｔｅ＿ｓｔｒｅａｍなどのデータパケットに記録する。例えばＭＰＥＧ１のビデオにおけるピクチャーレイヤは図１７に示すようになっていて、スライスレイヤの手前で、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅを送った後にｕｓｅｒ＿ｄａｔａを８ビット単位で記録することができるような仕組みが定義されている。また、ＭＰＥＧ２などの多重化トランスポートストリームのシステムレイヤにも図１８のようにｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇに１を立てることでｐｒｉｖａｔｅ＿ｄａｔａが存在することを明示でき、データ長もトランスポートパケットをはみ出さないという制限のもとで、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｌｅｎｇｔｈに設定したデータ長のｐｒｉｖａｔｅ＿ｄａｔａを送信することができる。これ以外にも、ＭＰＥＧシステムでユーザー固有のデータを記録する方法は、ｓｔｒｅａｍ＿ｉｄにｐｒｉｖａｔｅ＿ｓｔｒｅａｍを設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本発明における奥行き情報やオブジェクトＩＤなどの図４の構造の情報は、これらの領域に、ピクチャー毎記録することができる。どの仕組みを用いてもかまわないが、本実施の形態では、ＭＰＥＧ１ビデオのｕｓｅｒ＿ｄａｔａを用いている。

本実施の形態において、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅはスライスレイヤの手前で０ｘ０００００１Ｂ２とＭＰＥＧでは定義されている。そのコードを送った後に、ユーザーデータエリア内で本発明の認証に用いる関数値の存在を示す、予め一意に識別可能なコードである例えば０ｘ０ｆ０ｆ０ｆ０ｆ２４１７ｆｄａａのコードを送信する。このコードは他のアプリケーションで、ｕｓｅｒ＿ｄａｔａを使う場合に、識別する目的で記録するもので、コードの値は特に意味はない。そのコードの後に図４の１マクロブロック３２ビット（４バイト）の構造を、ＭＰＥＧの１ピクチャー毎にピクチャーレイヤにラスター順番に記録する。画素が７２０ｘ４８０であれば７２０ｘ４８０ｘ４／（４ｘ２）＝１７ＫＢの情報量となる。これでは情報が大きい場合には、この情報を圧縮する。例えば奥行き情報は、隣り合うマクロブロックと同じがわずかの差しか存在しないことが多いので、変化していないときには４バイトのスキップするコード（例えばオール０の０ｘ００００００００）をセットすることで、スキップしている間のマクロブロックの情報を４バイトから１バイトへ減少させることができる。若しくはわずかの差の場合（例えば、プラスマイナスで１以下の場合など）には、０としてしまう。このほか、圧縮には上記のようなスキップ方法のほかに、差分をとってその変化だけを伝送するＤＰＣＭ方式や、エントロピーを減少させる符号化など、どんな方法を使用してもよい。

以上の立体映像・立体音響対応記録システムによる立体映像・立体音響対応記録処理の手順を図６のフローチャートを参照して説明する。カメラＡ１及びカメラＢ２からの画像データ、及び複数マイク群１１よりの音響データを所定の時間分入力し、記憶装置に記憶する（ステップＳ１）。次に画像の視差ベクトルを抽出する（ステップＳ２）。ここではエピポーラ線方向である水平方向とある程度の垂直方向との視差ベクトルサーチ計算を画像上の全てのマクロブロックについて求める。次にマクロブロックの奥行き距離の計算を行う。すなわち、視差ベクトルの大きさを計算する（ステップＳ３）。

次にオブジェクトが画像に存在しているかどうかを判定する（ステップＳ４）。これは画像データに簡単なラプラシアンオペレータなどを用いて微分し、オブジェクトの輪郭が存在しているかどうかを判定する。判定の結果ＹＥＳであればオブジェクトの本格的な検出を行う（ステップＳ５）。すなわち、オブジェクト解析器では画像データにラプラシアンオペレータなどを用いて微分し、オブジェクトの輪郭を抽出して、その大きい塊をひとつのオブジェクトと定義してそのオブジェクトの領域を判定する。次に前記判定されたオブジェクトを抽出（定義）して、どのマクロブロックがそのオブジェクトに含まれているかを決定する（ステップＳ６）。次にオブジェクトの水平方向、垂直方向の位置情報を分析する（ステップＳ７）。この処理は、すでにマクロブロックごとに奥行き情報は求まっているので、オブジェクトの領域に掛かっているマクロブロックを指定して、その中心位置をオブジェクトの位置にする。次にオブジェクトＩＤと位置情報のフォーマッティングを行う（ステップＳ８）。すなわち、得られた水平位置、垂直位置、奥行き方向を（Ｘ、Ｙ、Ｚ）としての位置情報と、オブジェクトフラッグ、オブジェクトのＩＤを図４に示すフォーマットにする。次にオブジェクトの位置情報にリンクさせる音源を選択する（ステップＳ９）。

一方、ステップＳ４における判定がＮＯの場合は前のピクチャーなどのシーンでオブジェクトの動きを延長し、映像データ中に存在しないオブジェクトを表現するかどうかをステップＳ１５において判定する。その判定がＹＥＳの場合には、ステップＳ７へ飛ぶ。ＮＯの場合には、オブジェクトＩＤを０とした前述の位置情報のフォーマッティングを行う（ステップＳ１６）。映像中に存在していないときには図４のＥＳＣ情報を用いて、後続するＥＳＣオブジェクトの個数と、ＥＳＣオブジェクトの中心（若しくはそれに順ずる）位置における水平位置、垂直位置、奥行き位置、オブジェクトのＩＤを記録する。

次に、ビデオデータとオブジェクトとリンクした複数のオーディオデータを圧縮する（ステップＳ１０）。次にオーディオストリームにリンクされたビデオオブジェクトのＩＤと同じ識別情報を記述する（ステップＳ１１）。次にＭＰＥＧの多重化を行い（ステップＳ１２）、所定の単位でメディアに記録、あるいは伝送する場合には伝送路特有のパケット化を行って伝送出力される（ステップＳ１３）。次に入力画像データがまだあるかどうかを判定し（ステップＳ１４）、ある場合（ＹＥＳ）にはステップＳ１へ飛ぶ。ない場合（ＮＯ）には、処理を終了する。

これにより、本実施の形態の立体映像・立体音響対応記録システムでは、所定の時間単位でオブジェクトの立体位置情報をＭＰＥＧの規定のユーザーデータ領域若しくはプライベートストリーム、若しくは別領域の情報体を用いて記述し、所定の時間単位でオブジェクトの識別情報を立体映像データと音響データの双方のストリームの識別情報とリンクさせて記述することで、立体映像データを音響データと共に、記録メディアに記録することができる。

（第２の実施の形態）次に図７を用いて、ＣＧ（コンピュータ・グラフィックス）をベースにした本発明の第２の実施の形態の立体映像・立体音響対応記録システムについて説明する。ＣＧでは、撮像のためのカメラやマイクを必要としないので、プログラムを実行することによってすべてＣＰＵ２０の処理により立体映像、立体音響を作成する。そのためにＣＰＵ２０の中に画像信号生成器２１と音源信号生成器２２があり、それぞれが専用のソフトにより起動される。ＣＧ画像データは基本的にはポリゴンなどの小サイズの画像に対し、位置の情報と奥行きの情報が予め備わっている。したがって、先に説明した４ｘ２のマクロブロックの相当するポリゴンの部分の位置情報は容易に計算が可能である。また、オーディオのほうも、ＣＧ画像のオブジェクトの位置に所定の音源データをシンセサイザーにて作成し、その音源を用いることで容易に作成することが可能である。それぞれ、ビデオはビデオ圧縮器２３に、オーディオはオーディオ圧縮器２４に入力され、圧縮が施される。圧縮されたデータは先の図１のシステムと同様に位置情報フォーマット器２５によってフォーマット化された情報と共に、情報多重化器２６によって多重化され、記録器２７によって記録メディア１７に記録される。

これにより、本実施の形態の立体映像・立体音響対応記録システムでは、所定の時間単位でオブジェクトの立体位置情報をＭＰＥＧの規定のユーザーデータ領域若しくはプライベートストリーム、若しくは別領域の情報体を用いて記述し、所定の時間単位でオブジェクトの識別情報を立体映像データと音響データの双方のストリームの識別情報とリンクさせて記述することで、立体映像データを音響データと共に記録メディアに記録することができる。

（第３の実施の形態）図８は、本発明の第３の実施の形態の立体映像・立体音響対応記録システムを示している。図１に示した第１の実施の形態及び図７に示した第２の実施の形態においては最終的な情報は記録メディア１７に記録したが、本実施の形態のシステムでは、通信や放送特有のパケット化をして放送や通信網に伝送する。したがって、本実施の形態のシステムは通信（放送）用パケット化器１８を備え、情報多重化器１５からの立体映像データと立体音響データとの多重化データを通信（放送）用のパケットデータにパケット化し、通信網若しくは放送網に送出する。なお、本実施の形態のシステムでは、図１に示した第１の実施の形態のシステムと共通の機器要素に関しては共通の符号を付して示している。

本実施の形態のシステムによる立体映像・立体音響対応記録方法は、第１の実施の形態と同様に図６のフローチャートによる。これにより、本実施の形態のシステムでは、第１の実施の形態と同様に、所定の時間単位でオブジェクトの立体位置情報をＭＰＥＧの規定のユーザーデータ領域若しくはプライベートストリーム、若しくは別領域の情報体を用いて記述し、所定の時間単位でオブジェクトの識別情報を立体映像データと音響データの双方のストリームの識別情報とリンクさせて記述することで、立体映像データを音響データと共に多重化し、パケット化して送信できる。

（第４の実施の形態）次に、上記実施の形態の立体映像・立体音響対応記録システムにより作成され、記録メディア１７に記録された立体映像・立体音響対応記録情報を再生するための立体映像・立体音響対応再生システムについて、図９を用いて説明する。本実施の形態の再生システムは、再生器３１、情報分離器３２、ビデオ復号器３３、位置情報取り出し器３４、オーディオ復号器３５、視野変換器３６、立体画像表示器３７、音源選択器３８、音像位置制御器３９、スピーカレイ４０を備えている。

この立体映像・立体音響対応再生システムでは、記録メディア１７より多重化されたデータを再生器３１にて読み取り、情報分離化器３２へ伝送する。情報分離器３２では、ビデオ信号とオーディオ信号のパケットを分離し、ビデオ信号はビデオ復号器３３に、オーディオ信号はオーディオ復号器３５にそれぞれ伝送する。ビデオ復号器３３ではビデオを復号すると同時に、ビデオのピクチャーレイヤのユーザーデータを位置情報取り出し器３４に伝送する。位置情報取り出し器３４ではユーザーデータから、図４のフォーマットで記録されている奥行き情報とオブジェクトの位置情報、及びオブジェクトＩＤ情報を取り出す。オブジェクトの位置情報、及びオブジェクトＩＤ情報は音源選択器３８に伝送する。奥行き情報と復号したビデオ信号は視野変換器３６に伝送する。視野変換器３６では、奥行き情報と復号した２次元の画像から、立体画像表示器３７の立体表示方式に応じた視差画像を生成する。この視差画像の生成に際して、ＣＧにおける座標系の変換方法には視野変換方式を用いる。これは視点座標系への変換の式によって、視点を変えた画像を得るもので、奥行き情報があれば自由な視点で生成することができる。例えば、視点の座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）、注視点の座標を（ｘ_ａ，ｙ_ａ，ｚ_ａ）とする。また、視点と注視点間の距離を（ｘ_ｆ，ｙ_ｆ，ｚ_ｆ）とする。

最初に平行移動により原点の位置を動かす。この変換をＴ１とする。変換Ｔ１は単に（−ｘ_ａ，−ｙ_ａ，−ｚ_ａ）平行移動する変換である。次に回転により座標値の向きを変える。図１０のように点Ｏ_ａから点Ｏ_ｆ方向のベクトルは点Ｏ_ａからｚ軸のベクトルをまずα角だけｙ軸に回転させ、次にβ角だけｘ軸に回転させる。実際には点Ｏ_ｆの座標値を動かすので回転方向が逆になる。

となる。ここでαはＯ_ｆをｘｙ平面に投影した足とＯ_ａのなす角であるので、

となる。またβはＯ_ａＯ_ｆ間の長さ

と、Ｏ_ｆＯ_ｆ’間の長さｙ_ｆにより

となる。

最後の変換はｘｙ平面に対してｚ軸が手前になるような座標系から、ｘｙ平面に対して目の方向、つまり向こう側が正になるようにする変換Ｔ_４を行う。これは単にｚ→−ｚにするだけである。これらＴ_１〜Ｔ_４の４つの変換マトリクスを掛け合わせると視点座標の変換マトリクスは、

となる。

これは、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ：インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう）では、複数のレンズアレイに対応した要素画像を、そのレンズ位置に対応したカメラで撮像したものを、画像の大きさと共に、前記の視点座標の変換マトリクスを用いて計算して生成する。このようにして生成した立体画像データを、立体画像表示器３７に伝送し、立体画像再生を行う。なお、立体画像表示器３７の立体表示方式にはパララックスバリアを用いた２眼式立体表示方式を採用することもできる。そしてその場合には、視距離によって設定できるαを上の式に代入し、βやγは０とすることで、右目用と左目用の視差を持つ画像を生成することができる。

ここで立体画像表示方式のうち、代表的なパララックスバリア方式とＩＰ方式の説明をする。パララックスバリア方式は液晶によって実現することができる。図１１のように、これは２枚の液晶パネル１０１，１０２を積層するもので、一方の液晶パネル１０１には細いスリット状の開口部があり、その裏側の液晶パネル１０２上に適当な間隔をおいて左（Ｌ）右（Ｒ）２眼分の画像を交互に配置し、所定の視点１０３Ｌ，１０３Ｒからこのスリット状の開口部を通して見た場合に右目、左目に分離された画像を知覚できるものである。これによって右目、左目に違う画像を入力させることができるので、立体画像として知覚することができる。なお、液晶パネル１０２上の画像を照らすためにバックライト１０４が設けてられている。

しかしながら、パララックスバリア方式の場合、目のピントは常に液晶のスクリーン上に合わされているにもかかわらず、像がこの位置とは違う場所に感じられることから、生理学的な不自然さを伴うことで、ユーザーが疲れやすい、映像酔いしやすいなどの問題点も指摘されており、近年は４つの立体視の生理的要因、輻輳調節矛盾（輻輳点とピントの合う位置の矛盾）（両眼視差＝ある物体を見る際に、人間の左右の目はそれぞれ違った方向から見る２つの異なる像を捕らえている性質、ピント調節＝見る対象からの距離の変化に「伴って水晶体の厚さをコントロールしてレンズの厚みを変えるような性質、輻輳＝遠い、近いの変化で、眼球が内側に回転したり外側へ回転したりする動きを伴うという性質、運動視差＝ユーザーが自分で動いたり見る角度を変えたりすることによる像の違いを見る性質）を満たすような方式も提案されている。その中でも有望なものとして、Ｌｉｐｐｍａｎｎが１９０８年に発表した方式がＩＰ方式である。

ＩＰ方式は、２次元的に配列したレンズアレイ（フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう）を利用して物体の奥行き情報を取得するものである。１９９０年代に入ると、従来の写真乾板による記録を電子技術で置き換えることにより、ＩＰ方式による動画を生成する技術が開発され、さらに、同文献の研究者の手により、屈折率分布レンズアレイ（ＧＲＩＮレンズアレイともいう）とハイビジョンカメラを用いて被写体を撮像して要素画像群を取得しながら、各画像を液晶ディスプレイにリアルタイムに伝送して表示し、フライアイレンズにより空間上に結像することに成功し、ＩＰ方式による３次元テレビジョン放送の実現可能性が示された（非特許文献３）。図１２はこのＩＰ方式の原理を説明したもので、図１２Ａのように撮影時に微小な要素レンズを多数並べたＧＲＩＮレンズアレイ１１０を用い、このＧＲＩＮレンズアレイ１１０の微小な要素レンズそれぞれの光を集光レンズ１１１で集光して微小カメラ１１２の１画素が１方向の光線の映像を撮影する。そして再生するときには、図１２Ｂのようにカメラからの映像１２０をＬＣＤのようなディスプレイ１２１で再現し、全部の微小カメラの１点ずつが集合して、全体として１方向から見た再生像をつくる。

微小レンズを２次元に並べたレンズアレイ１２２を用いることで水平垂直の運動視差を作り出すことが可能であり、水平方向に並べれば水平方向のみの視差を持たせることも可能である。本方式では複数のレンズを経由して見えた複数の要素画像を、この要素画像を奥行き情報をもとに視点変換して作成し、その要素画像を配列して、あたかも図１２Ａで撮像したかのようにＬＣＤ１２１へ要素画像配列を表示することで立体視再生を実現する。

一方、オーディオはオーディオ復号器３５において、複数の音源の圧縮オーディオデータを復号したら、音源選択器３８に伝送する。音源選択器３８では、先に説明した位置情報取り出し器３４からのオブジェクトの位置情報及びオブジェクトＩＤ情報を受信し、画像の中に存在しているオブジェクト位置情報に応じて、そのオブジェクトＩＤにリンクした前記復号された音源を選択し、選択された音源データとオブジェクト位置情報を対にして音像位置制御器３９へ伝送する。音像位置制御器３９では、後述するスピーカレイ４０を用いた音像定位制御方式を用いて、それぞれの音源に対して、画像オブジェクトの位置に応じてそれにリンクしたオーディオ音源の定位を制御する。それぞれの音源に対して定位制御した結果の複数のスピーカに対応したオーディオデータは、それぞれ、１つのスピーカに対応する複数のオブジェクトの音源として得られる。これらはすべて線形加算し、ゲインを調節し、１つのスピーカから出力されるオーディオデータは１つにしてスピーカレイ４０へ伝送する。スピーカレイ４０は、伝送されたオーディオデータを出力する。

ここで音像定位制御方式の説明をする。ここではスピーカレイを用いて、空間上のある焦点付近の音圧を局所的に上昇させるようにスピーカレイの中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた再生信号により音像定位を実現する。図１３を用いてその原理を説明する。まずスピーカを図１３のようにアレイ状に組んでスピーカレイ４０を構成する。１つ１つのスピーカに遅延回路１３１を設ける。そして上述した既知の方法で遅延回路１３１を用いて聴取位置近傍に焦点を結ぶように遅延を設定すると、聴取位置においてスピーカからの直接音よりも、焦点において発生する音圧成分が極めて高くなるように再生することが可能である。この原理を用いて連続的にリアルタイムで制御することで立体動画像のオブジェクトの位置にリンクして音像の定位を制御する。

これらの一連のデータ処理により、画像は立体画像として再生し、その中の画像のオブジェクトは、その立体的な動きにリンクした形で、オーディオデータの音源の位置を制御し、あたかもその立体視されている空間から該当オブジェクトの発する音が聞こえているかのように音像定位をして再生する。すなわち、図１４のように、立体映像の映像１２０をＬＣＤ１２１を用いて再生し、それを例えばＩＰ方式のレンズアレイ１２２を用いて要素画像から立体映像を構成し、その後に設定したスピーカレイ４０にて、ディスプレイ１２１より前に出てきているように知覚される車や飛行機のような立体映像のオブジェクトにリンクした形でそのオブジェクトの音源があたかもそのオブジェクトの位置から聞こえて来るように音像定位をして再生する。

次に、本ＩＰ方式を用いた立体映像・立体音響対応再生システムによる再生処理を図１５のフローチャートを用いて説明する。はじめに記録メディア１７から、多重化されたデータを読み取る（ステップＲ１）。次にＭＰＥＧ分離処理する（ステップＲ２）。分離した情報のうちのビデオデータはビデオデータ復号処理し、またオーディオデータはオーディオデータ復号処理する（ステップＲ３，Ｒ９）。次に復号したビデオデータのユーザーデータからオブジェクトＩＤと位置情報を分離する（ステップＲ４）。次に分離した情報から、マクロブロック毎の奥行き情報を検出する（ステップＲ５）。またオブジェクトのＩＤを検出する（ステップＲ６）。

一方、ステップＲ９において復号したオーディオデータから当該オーディオデータのストリームＩＤなどに記述したオブジェクトＩＤを検出する（ステップＲ１０）。次に複数のオーディオオブジェクトのＩＤと、ビデオのＩＤとを照合して、ビデオのオブジェクトにリンクしたオーディオデータの音源の選択を行う（ステップＲ１１）。

次に、ビデオは各マクロブロック内の画素に対して持つ奥行き情報を使用して、ビデオ画像の視野変換を行う（ステップＲ７）。これには、視点座標系への変換式によって視点を変えた画像を得る。次にＩＰ方式によってビデオの立体表示を行う（ステップＲ８）。この立体表示方式には、パララックスバリアを用いた２眼式立体表示方式を用いることもできる。

一方、オーディオは選択したリンク関係が明確化された複数の音源それぞれに対して、音像位置制御器３９で、例えばスピーカレイ４０を用いた音像定位制御方式を用いて、それぞれの音源に対して、画像オブジェクトの位置に応じて、それにリンクしたオーディオ音源の定位を制御する（ステップＲ１２）。次にスピーカレイ４０でそれぞれの音源に対して定位制御した結果の複数のスピーカに対応したオーディオデータを線形加算し、またゲインを調節し、１つのスピーカから出力されるオーディオデータは１つにしてスピーカレイ４０から出力する（ステップＲ１３）。

このようにして本実施の形態の立体映像・立体音響対応再生システムでは、立体映像の映像１２０をＬＣＤ１２１を用いて再生し、それをＩＰ方式のレンズアレイ１２２を用いて要素画像から立体映像を構成し、その後に設定したスピーカレイ４０にて、ディスプレイ１２１より前に出てきているように知覚される車や飛行機のような立体映像のオブジェクトにリンクした形でそのオブジェクトの音源があたかもそのオブジェクトの位置から聞こえて来るように音像定位をして再生することができる。

（第５の実施の形態）
次に、本発明の第５の実施の形態の立体映像・立体音響対応再生システムについて、図１６を用いて説明する。図９に示した第４の実施の形態の立体映像・立体音響対応再生システムでは、最終的な情報は記録メディア１７から再生するものであったが、本実施の形態の再生システムは、通信や放送特有のパケット化がなされているパケット情報を受信して、図１６のように通信（放送）用パケット解除器３１′を経由して放送や通信網から立体映像・音響データのパケットを受信再生する。このパケット解除器３１′によりパケット解除したデータは、図９における記録メディア１７からの再生データと同じものであり、したがって情報分離化器３２以降の構成要素、またその処理機能は図９に示した第４の実施の形態のものと共通である。

これにより、第５の実施の形態の立体映像・立体音響対応再生システムでも、通信網あるいは放送受信した立体映像の映像を、図１４に示したＬＣＤ１２１を用いて再生し、それをＩＰ方式のレンズアレイ１２２を用いて要素画像から立体映像を構成し、その後に設定したスピーカレイ４０にて、ディスプレイ１２１より前に出てきているように知覚される車や飛行機のような立体映像のオブジェクトにリンクした形でそのオブジェクトの音源があたかもそのオブジェクトの位置から聞こえて来るように音像定位をして再生することができる。

なお、本発明は上記の実施の形態に限定されることはなく、次のような変形態様が可能である。上記実施の形態では、立体映像の方式はＩＰ方式で説明したが、パララックスバリア方式、レンチキュラーレンズ方式、超多眼方式、偏向眼鏡を用いた２眼方式、アナグリフなど、立体知覚できる方式であればなんであってもよい。また音像位置制御方式は、音像定位制御方式としてスピーカレイ方式で説明したが、仮想音場空間を実現できる方式、例えばバイノーラル・トランスオーラル方式であっても、Ｋｉｒｃｈｈｏｆｆ−Ｈｅｌｍｈｏｔｚ微分方程式に代表される波動音響理論を用いた音場制御法を用いる方式であってもよい。

また、記録メディアに立体映像・音響データを記録しなくても、通信、放送などあらゆる伝送メディアを経由してそれらのデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。

本発明の信号データを記録した記録メディアは、オブジェクトの位置情報とオブジェクトのＩＤ情報を記録してあるというメディア特有の効果があり、立体映像や立体音場を再生するシステムを好適に実現することができる。また、記録メディアにおける「メディア」という定義はデータを記録できるメディアという、狭義なメディアというものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録メディアに記録されている情報は、記録されていない状態での電子ファイルなどのデータ自身を含むものとする。

さらに、上記実施の形態では、映像の奥行き情報は１ピクチャー毎に記録するように説明したが、０．５秒程度ごとでも、１秒程度ごとでも構わない。その場合には、ＭＰＥＧのＧＯＰレイヤのユーザーデータを用いることで実現できる。オブジェクトのＩＤは８ビットであっても１６ビットであっても構わない。また、オブジェクトとは映像の物体であっても領域であっても構わない。アルゴリズムによってはオブジェクトを検出するのに誤差を含むこともあるが、それは無視するものであってもよい。またさらに、領域は閉曲線で指定できなくてもよい。加えて、音の定位はあくまでもノーマルなステレオ再生よりもわずかでも定位の効果があれば、定位を制御したものと考えられる。

加えて、上記実施の形態では、奥行き情報やオブジェクトＩＤ情報はＭＰＥＧビデオのユーザーデータを用いて説明したが、ＭＰＥＧシステムレイヤ規定のプライベートストリームで記録しても構わない。この場合、データはピクチャー毎、若しくは複数のＧＯＰ毎に時間に同期させることからＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いて、画像や音響データと同期をとるので、ＭＰＥＧ規定のＰｒｉｖａｔｅ＿ｓｔｒｅａｍ＿１の同期型のストリーム形式が望ましい。また、図４における情報は映像音響データとは別の領域、すなわち、ＭＰＥＧのストリームとは別に、記録メディアの別のファイルとして、図４の構造をそのままで、符号化された映像音響データのプログラム毎に、名前をつけたファイルに記録してもよい。その場合は再生順番（＝入力画像順番）のピクチャー（フィールド、若しくは画像）順番か、ＭＰＥＧにおける符号化順番のピクチャー（フィールド、若しくは画像）順番で記録することも可能である。ファイル名はプログラムの識別が可能であれば番号でも、アスキー文字のものでもよい。またプログラムごとでも、幾つかのプログラムを組み合わせたプレイリスト毎でも、メディア全体を１つにした１ファイルであってもよい。

さらに、上記した装置の機能はプログラムによりコンピュータに実現させてもよい。そしてそのプログラムは、記録メディアに記録されたものをその記録メディアから読み取らせてコンピュータに取り込ませてもよいし、通信ネットワークを介して伝送されてきたものをコンピュータに取り込ませてもよい。

本発明の第１の実施の形態の立体映像・立体音響対応記録装置の機能ブロック図。 上記第１の実施の形態の立体映像・立体音響対応記録装置の主要部のブロック図。 一般的な２画面の視差を求めるためのエピポーラ拘束条件の説明図。 奥行き情報とオブジェクトＩＤ情報などのフォーマット説明図。 全周囲を収録するマイクの設置方法の説明図。 本発明の第１の実施の形態の立体映像・立体音響対応記録装置による立体映像・立体音響対応記録処理を示すフローチャート図。 本発明の第２の実施の形態の立体映像・立体音響対応記録装置を示すブロック図。 本発明の第３の実施の形態の立体映像・立体音響対応伝送装置を示すブロック図。 本発明の第４の実施の形態の立体映像・立体音響対応再生装置を示すブロック図。 一般的な視点変換の説明図。 一般的なパララックスバリア方式の説明図。 一般的なＩＰ方式の説明図。（１） 一般的なＩＰ方式の説明図。（２） 本発明の第４の実施の形態で使用するアレイスピーカの説明図。 上記第４の実施の形態によるスピーカアレイとＩＰ立体映像方式のシステムのブロック図。 上記第４の実施の形態による立体映像・立体音響再生処理を示すフローチャート図。 本発明の第５の実施の形態の立体映像・立体音響対応再生システムを示すブロック図。 ＭＰＥＧのビデオストリームビデオレイヤの説明図。 ＭＰＥＧの多重化トランスポートストリームシステムレイヤを説明図。（１） ＭＰＥＧの多重化トランスポートストリームシステムレイヤを説明図。（２） 本発明の第１の実施の形態で採用する新規なオブジェクトＩＤを記述するＯｂｊｅｃｔ＿ＩＤ＿Ｄｅｓｃｒｉｐｔｏｒを示す説明図。

符号の説明

１ カメラＡ
２ カメラＢ
３ 視差ベクトル抽出器
４ 奥行き距離算出器
５ オブジェクト解析器
６ 水平方向位置分析器
７ 垂直方向位置分析器
８ 奥行き方向位置分析器
９ 位置情報フォーマット器
１０ ＣＰＵ
１１ 複数マイク群
１２ 音源選択器
１３ オーディオ圧縮器
１４ ビデオ圧縮器
１５ 情報多重化器
１６ 記録器
１７ 記録メディア
３１ 再生器
３２ 情報分離器
３３ ビデオ復号器
３４ 位置情報取り出し器
３５ オーディオ復号器
３６ 視野変換器
３７ 立体画像表示器
３８ 音源選択器
３９ 音像位置制御器
４０ スピーカレイ

Claims (10)

1. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報として当該オブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成するステップと、
   前記オブジェクトの立体位置情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせるステップと、
   前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録するステップとをコンピュータに実行させる立体映像・立体音響対応記録プログラム。
2. 立体映像データ及び音響データと共にこれらの再生時に自身を音源とする音響の立体定位制御を行うオブジェクトの立体位置情報及び出現タイミングのリンク情報を記録している記録メディアから立体映像データ及び音響データを読み出して再生するステップと、
   前記記録メディアから前記オブジェクトの立体位置情報を読み出すステップと、
   前記記録メディアから前記オブジェクトの立体位置情報に対応する音響データを読み出すステップと、
   前記オブジェクトの立体位置情報に対応する前記音響データの音像の立体定位位置を当該オブジェクトの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行うステップとをコンピュータに実行させる立体映像・立体音響対応再生プログラム。
3. 所定の時間単位で、再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報として当該オブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成する手段と、
   前記オブジェクトの立体位置情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせる手段と、
   前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録する手段とを備えた立体映像・立体音響対応記録装置。
4. 立体映像データ及び音響データと共にこれらの再生時に自身を音源とする音響の立体定位制御を行うオブジェクトの立体位置情報及び出現タイミングのリンク情報を記録している記録メディアから立体映像データ及び音響データを読み出して再生する手段と、
   前記記録メディアから前記オブジェクトの立体位置情報を読み出す手段と、
   前記記録メディアから前記オブジェクトの立体位置情報に対応する音響データを読み出す手段と、
   前記オブジェクトの立体位置情報に対応する前記音響データの音像の立体定位位置を当該オブジェクトの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行う手段とを備えた立体映像・立体音響対応再生装置。
5. 立体映像データと音響データを記録すると共に、所定の時間単位で作成した再生時に自身を音源とする音響の立体定位制御を行おうとするオブジェクトの立体位置情報を前記立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて記録した立体映像・立体音響対応記録メディア。
6. 所定の時間単位で、音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報としてそれぞれのオブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成するステップと、
   前記オブジェクトそれぞれに識別情報を設定するステップと、
   前記オブジェクトそれぞれの識別情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングにリンクさせるステップと、
   前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録するステップとをコンピュータに実行させる立体映像・立体音響対応記録プログラム。
7. 立体映像データ及び音響データと共に、これらの再生時に音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報及び出現タイミングを示す情報を各オブジェクトの識別情報と対応させて記録している記録メディアから立体映像データ及び音響データを読み出して再生するステップと、
   前記記録メディアから映像に表示するオブジェクトと表示しないオブジェクトとの識別情報及び立体位置情報を読み出すステップと、
   前記記録メディアからオブジェクトそれぞれの識別情報に対応する音響データを読み出すステップと、
   前記立体映像データのオブジェクトそれぞれの識別情報に対応する音響データの音像の立体定位位置を当該オブジェクトそれぞれの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行うステップとをコンピュータに実行させる立体映像・立体音響対応再生プログラム。
8. 所定の時間単位で、音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報としてそれぞれのオブジェクトの水平位置情報、垂直位置情報、奥行き位置情報を作成する手段と、
   前記オブジェクトそれぞれに識別情報を設定する手段と、
   前記オブジェクトそれぞれの識別情報を、立体映像データと音響データの双方のストリーム中の当該オブジェクトの出現タイミングにリンクさせる手段と、
   前記立体映像データ及び音響データを記録メディアに記録すると共に、前記オブジェクトの立体位置情報を当該立体映像データ及び音響データの双方のストリーム中の当該オブジェクトの出現タイミングとリンクさせて当該記録メディアに記録する手段とを備えた立体映像・立体音響対応記録装置。
9. 立体映像データ及び音響データと共に、これらの再生時に音源として再生すると共に映像に表示するオブジェクトと音源としては再生するが映像には表示しないオブジェクトとの立体位置情報及び出現タイミングを示す情報を各オブジェクトの識別情報と対応させて記録している記録メディアから立体映像データ及び音響データを読み出して再生する手段と、
   前記記録メディアから映像に表示するオブジェクトと表示しないオブジェクトとの識別情報及び立体位置情報を読み出す手段と、
   前記記録メディアからオブジェクトそれぞれの識別情報に対応する音響データを読み出す手段と、
   前記立体映像データのオブジェクトそれぞれの識別情報に対応する音響データの音像の立体定位位置を当該オブジェクトそれぞれの立体位置になるように、少なくとも２以上のスピーカを用いて音像位置制御を行う手段とを備えた立体映像・立体音響対応再生装置。
10. 立体映像データと音響データを記録すると共に、所定の時間単位で作成した、音源を再生すると共に映像を表示するオブジェクトと音源は再生するが映像は表示しないオブジェクトとの立体位置情報及び識別情報を、当該オブジェクトそれぞれの立体映像データと音響データの双方のストリーム中の出現タイミングとリンクさせて記録した立体映像・立体音響対応記録メディア。
    
    

Images