JP2013126048A - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

【課題】マルチビュー・サービスのための複数のビューストリームの伝送を良好に行う。
【解決手段】送信部により、複数のビューストリームが多重化された多重化ストリームを送信する。この場合、タイムスタンプ割り当て部により、複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てる。例えば、複数のビューストリームは、立体画像表示のためのストリームなどである。多重化ストリーム内の複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられるため、ビュー間のデコード順と参照関係が保証され、受信側においてデコード処理を破綻なくスムーズに行い得るようになる。
【選択図】図３

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、マルチビュー・サービスにおいて各ビューのストリームを多重化して伝送する送信装置等に関する。

従来、マルチビュー・サービスとして、種々のものが提案されている。例えば、マルチビュー・サービスとして、立体画像表示のサービスがある。この立体画像表示には、例えば、裸眼で立体視が可能な多視点立体画像表示（特許文献１参照）、あるいはシャッタメガネなどの特殊なメガネの装着が必要なステレオ立体画像表示（特許文献２参照）などがある。また、マルチビュー・サービスとして、マルチアングルのビューを同時に表示するサービス、さらには、ユーザに応じたビューを提供するサービスなどがある。

特開２０１１−１３５４５８号公報 特開２００５−００６１１４号公報

上述のマルチビュー・サービスのために、送信側から受信側に、複数のビューストリームが多重化されて多重化ストリームを伝送することが行われる。ストリームをデコードするタイミングと表示するタイミングは、通常タイムスタンプで制御される。

あるサービスにおいて、複数のストリームが供給され、それらが有機的に結合されて表示へ至る際、参照関係にある複数のストリームのデコード、表示のタイミングは、破綻のないようにピクチャ毎に制御されなければならない。また、ライブ配信の場合に、時刻の推移に応じてリアルタイムに多重化を行う際、ある一定の決まりに従って、複数のストリームにタイムスタンプを付して多重化を行う必要がある。

マルチビュー・サービスにおいて、各ビューが一つのストリームで符号化される場合、ビュー間のデコード順と参照関係を保証する多重化方法、そして各ビューの表示関係を制御する多重化方法が望まれる。

本技術の目的は、マルチビュー・サービスのための複数のビューストリームの伝送を良好に行うことにある。

本技術の概念は、
複数のビューストリームが多重化された多重化ストリームを送信する送信部と、
上記複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てるタイムスタンプ割り当て部とを備える
送信装置にある。

本技術において、送信部により、複数のビューストリームが多重化された多重化ストリームが送信される。この場合、タイムスタンプ割り当て部により、複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプが割り当てられる。

例えば、複数のビューストリームは、多視点立体画像表示のための複数のビューから選択された所定数のビューのストリームであってもよい。また、例えば、複数のビューストリームは、ステレオ立体画像表示のための２つのビューのストリームであってもよい。また、例えば、複数のビューストリームに、視差情報のストリームが追加のビューストリームとして含まれていてもよい。

例えば、多重化ストリームは、複数のビューストリームを含むエレメンタリストリームを有していてもよい。すなわち、多重化ストリームは、複数のビューストリームを含むエレメンタリストリームおよび単一のビューストリームを含むエレメンタリストリームのいずれか一方、あるいは双方を含むこととなる。複数のビューストリームを含むエレメンタリストリームにあっては、例えば、各ビューストリームの間にビュー間境界を示す情報が配置されるようにしてもよい。この場合、各ビューストリームの先頭に瞬時にアクセスすることが可能となる。

このように本技術においては、多重化ストリーム内の複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられる。そのため、ビュー間のデコード順と参照関係が保証されることから、受信側においてデコード処理を破綻なくスムーズに行い得るようになる。

なお、本技術において、送信部は、多重化ストリームを含む所定フォーマットのコンテナを送信し、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報を、このコンテナのレイヤに挿入する情報挿入部をさらに備える、ようにされてもよい。例えば、コンテナは、トランスポートストリームであり、情報挿入部は、割り当て情報を、プログラム・マップ・テーブルの配下に挿入してもよい。例えば、この割り当て情報には、対応するエレメンタリストリームが、複数のビューストリームを持つか否かを示す情報が含まれていてもよい。

この場合、受信側では、この割り当て情報に基づいて、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識できる。これにより、受信側では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

また、本技術の他の概念は、
複数のビューストリームが多重化された多重化ストリームを受信する受信部と、
上記多重化ストリーム内の上記複数のビューストリームをデコードするデコード部とを備え、
上記複数のビューストリームには表示周期を細分化した間隔でデコードタイムスタンプを割り当てられており、
上記デコード部は、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
受信装置にある。

本技術において、受信部により、複数のビューストリームが多重化された多重化ストリームが受信される。そして、デコード部により、多重化ストリーム内の複数のビューストリームがデコードされる。ここで、複数のビューストリームには、表示周期を細分化した間隔でデコードタイムスタンプが割り当てられている。そして、デコード部では、複数のビューストリームが、各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードされる。

このように本技術においては、複数のビューストリームが、各ビューストリームに割り当てられている、表示周期を細分化した間隔のデコードタイムスタンプに基づいて順次デコードされる。そのため、デコード処理を破綻なくスムーズに行うことが可能となる。

なお、本技術において、例えば、受信部は、多重化ストリームを含む所定フォーマットのコンテナを受信し、コンテナのレイヤには、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入されており、デコード部は、割り当て情報が存在するとき、複数のビューストリームを、各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする、ようにされてもよい。この場合、割り当て情報に基づいて、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移行することとなる。

本技術によれば、マルチビュー・サービスのための複数のビューストリームの伝送を良好に行うことができる。

実施の形態としての画像送受信システムの構成例を示すブロック図である。 トランスポートストリームＴＳに含まれるビューストリームの一例を示す図である。 トランスポートストリームＴＳに中央（Center）、左端(Left)および右端(Right)の３つのビューストリームが含まれる場合を示す図である。 トランスポートストリームＴＳに中央（Center）、左端(Left)および右端(Right)の３つのビューストリームと共に、１つの視差データストリームが追加のビューストリームとして含まれる場合を示す図である。 トランスポートストリームＴＳに左眼(Left)および右眼(Right)の２つのビューストリームが含まれる場合を示す図である。 各表示タイミングで表示される各ビューのピクチャと、そのデータ（ＰＥＳパケット）の多重化ストリーム内における配置位置、さらには、各ＰＥＳパケットのヘッダへのＤＴＳ，ＰＴＳの挿入例を示す図である。 多重化ストリームを受信した際の、各ビューのピクチャデータ（ＰＥＳパケット）のデコードタイミングと、各ビューのピクチャの表示タイミングの一例を示す図である。 送信側（放送局１００）における多重化エンコードの回路例を示す図である。 １−ｐｉｄの場合におけるエレメンタリストリームの構成例を示す図である。 多重化エンコードの回路例に対応した、受信側（受信機２００）における多重化デコードの回路例を示す図である。 送信側（放送局１００）における多重化エンコードの回路例を示す図である。 ２−ｐｉｄの場合における２つのエレメンタリストリームの構成例を示す図である。 多重化エンコードの回路例に対応した、受信側（受信機２００）における多重化デコードの回路例を示す図である。 複数のビューストリームを含むエレメンタリストリームの一例を示す図である。 １つのエレメンタリストリームに３つのビューストリームが含まれる場合の例を示す図である。 割り当て情報としてのマルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）の構造例（Syntax）を示す図である。 マルチプル・ストリーム・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 トランスポートストリームＴＳの他の構成例を示す図である。 トランスポートストリームＴＳのさらに他の構成例を示す図である。 送信データ生成部１１０の構成例を示すブロック図である。 受信機２００の構成例を示すブロック図である。 送信データ生成部１１０Ａの構成例を示すブロック図である。 受信機２００Ａの構成例を示すブロック図である。 送信データ生成部１１０Ｂの構成例を示すブロック図である。 受信機２００Ｂの構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。

このトランスポートストリームＴＳには、マルチビュー・サービスのための複数のビューストリームが多重化された多重化ストリームが含まれる。上述したように、マルチビュー・サービスには、立体画像表示サービスの他に、マルチアングルビューの同時表示サービス、ユーザに応じたビューの提供サービスなどもあるが、ここでは、立体画像表示サービスの例とする。

図２は、トランスポートストリームＴＳに含まれるビューストリームの一例を示している。図示の例では、各ビューのピクチャデータは、１９２０＊１０８０のフルＨＤのサイズとされている。

図２（ａ）は、裸眼で立体視が可能な多視点立体画像表示のサービスにおける例である。この場合、トランスポートストリームＴＳに、例えば、中央（Center）のビュー、左端(Left)のビューおよび右端(Right)のビューの画像データが符号化されて得られたビューストリーム（ビデオストリーム）が含まれる。この場合、中央（Center）、左端(Left)および右端(Right)のビューストリームの間には参照関係（依存関係）がある。

図２（ｂ）も、裸眼で立体視が可能な多視点立体画像表示のサービスにおける例である。この場合、中央（Center）、左端(Left)および右端(Right)のビューストリームの他に、視差データ（Disparity data）のストリームが含まれる。この視差データストリームは、追加のビューストリームとして含まれる。この場合、中央（Center）、左端(Left)および右端(Right)のビューストリーム、さらには視差データストリームの間には参照関係（依存関係）がある。なお、視差データの代わりに、この視差データに対応した奥行きデータ（Depth data）であってもよい。

図２（ｃ）は、シャッタメガネなどの特殊なメガネの装着が必要なステレオ立体画像表示における例である。この場合、左眼(Left)のビューおよび右眼(Right)のビューの画像データが符号化されて得られたビューストリーム（ビデオストリーム）が含まれる。この場合、左眼(Left)および右眼(Right)のビューストリームの間には参照関係（依存関係）がある。

トランスポートストリームＴＳに含まれる各ビューストリームには、表示周期を細分化した間隔でデコードタイムスタンプ（ＤＴＳ：Decoding Time Stamp）が割り当てられる。図３は、トランスポートストリームＴＳに中央（Center）、左端(Left)および右端(Right)の３つのビューストリームが含まれる場合を示している。図３（ａ）は、各表示タイミングで表示される各ビューのピクチャを示している。ここで、Ｐ1-1，Ｐ2-1，Ｐ3-1はあるタイミングで表示される各ビューのピクチャを示し、Ｐ1-2，Ｐ2-2，Ｐ3-2はその次のタイミングで表示される各ビューのピクチャを示している。

図３（ｂ）に示すように、ビュー１(例えば、Left)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプがＤＴＳ(view1)であるとき、ビュー２(例えば、Right)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(view2)は、ＤＴＳ(view1)に固定値のオフセット（（１／３）＊Ｆ）が付加されたものとなる。同様に、ビュー３(例えば、Center)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(view3)は、ＤＴＳ(view2)に固定値のオフセット（（１／３）＊Ｆ）が付加されたものとなる。ここで、Ｆは、ピクチャの表示周期を表している。

ここで、一般定式化すると、ビューの総数をＮ、ビューの順番をＫ、表示周期をＦとするとき、ＤＴＳ(view (K+1))は、ＤＴＳ(view K)を用いて、以下の（１）式のように表すことができる。この関係は、後述する図４、図５の例においても同様である。
ＤＴＳ(view (K+1)) ＝ＤＴＳ(view K) ＋ （１／３）＊Ｆ ・・・（１）

図４は、トランスポートストリームＴＳに中央（Center）、左端(Left)および右端(Right)の３つのビューストリームと共に、１つの視差データストリームが追加のビューストリームとして含まれる場合を示している。図４（ａ）は、各表示タイミングで表示される各ビューのピクチャを示している。ここで、Ｐ1-1，Ｐ2-1，Ｐ3-1，Ｐ4-1はあるタイミングで表示される各ビューのピクチャを示し、Ｐ1-2，Ｐ2-2，Ｐ3-2，Ｐ4-2はその次のタイミングで表示される各ビューのピクチャを示している。

図４（ｂ）に示すように、ビュー１(例えば、Left)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプがＤＴＳ(view1)であるとき、ビュー２(例えば、Right)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(view2)は、ＤＴＳ(view1)に固定値のオフセット（（１／４）＊Ｆ）が付加されたものとなる。

同様に、ビュー３(例えば、Center)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(view3)は、ＤＴＳ(view2)に固定値のオフセット（（１／４）＊Ｆ）が付加されたものとなる。さらに、視差データを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(Disparity)は、ＤＴＳ(view3)に固定値のオフセット（（１／４）＊Ｆ）が付加されたものとなる。

図５は、トランスポートストリームＴＳに左眼(Left)および右眼(Right)の２つのビューストリームが含まれる場合を示している。図５（ａ）は、各表示タイミングで表示される各ビューのピクチャを示している。ここで、Ｐ1-1，Ｐ2-1はあるタイミングで表示される各ビューのピクチャを示し、Ｐ1-2，Ｐ2-2はその次のタイミングで表示される各ビューのピクチャを示している。

図５（ｂ）に示すように、ビュー１(例えば、Left)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプがＤＴＳ(view1)であるとき、ビュー２(例えば、Right)のピクチャデータを含むＰＥＳパケットに割り当てられるデコードタイムスタンプＤＴＳ(view2)は、ＤＴＳ(view1)に固定値のオフセット（（１／２）＊Ｆ）が付加されたものとなる。

図６は、各表示タイミングで表示される各ビューのピクチャと、そのデータ（ＰＥＳパケット）の多重化ストリーム内における配置位置、さらには、各ＰＥＳパケットのヘッダへのＤＴＳ，ＰＴＳの挿入例を示している。なお、図示の例は、トランスポートストリームＴＳに中央（Center）、左端(Left)および右端(Right)の３つのビューストリームが含まれる場合を示している。

最初に、図示のように、エンコーダ側のクロックをデコーダ側に伝えるためのＰＣＲが付される。なお、ＰＣＲのデータは、ＰＥＳのデータとは、別個に送信されることもある。多重化ストリーム内には、Ｐ1-1，Ｐ2-1，Ｐ3-1，Ｐ1-2，Ｐ2-2，Ｐ3-2，・・・のピクチャ順にデータ（ＰＥＳパケット）配置される。

この場合、Ｐ1-1，Ｐ2-1，Ｐ3-1のピクチャは同じ表示タイミングで表示されるものであり、それらのデータが含まれるＰＥＳパケットのヘッダには同一の表示タイムスタンプＰＴＳ１が挿入される。ただし、デコードタイムスタンプに関しては、ＤＴＳ１，ＤＴＳ２，ＤＴＳ３という異なるタイムスタンプが挿入される。詳細説明は省略するが、Ｐ1-2，Ｐ2-2，Ｐ3-2 移行のピクチャに関しても同様である。

トランスポートストリームＴＳのレイヤ、つまりコンテナのレイヤに、上述したように、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入される。この割り当て情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下などに挿入される。この割り当て情報により、受信側では、この割り当て情報に基づいて、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識することが可能となる。この割り当て情報の詳細については後述する。

図１に戻って、受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、このトランスポートストリームＴＳに含まれる各ビューストリームをデコードして、各ビューのピクチャデータを順次取得し、立体画像表示（多視点立体画像表示あるいはステレオ立体画像表示）のために用いる。

上述したように、各ビューストリームには、表示周期を細分化した間隔でデコードタイムスタンプが割り当てられている。そのため、受信器２００では、各ビューストリームを、各ビューストリームに割り当てられているデコードタイムスタンプに基づいて、順次デコードする。

上述したように、トランスポートストリームＴＳのレイヤに、割り当て情報が挿入される。受信機２００では、この割り当て情報に基づいて、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識できる。これにより、受信機２００では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

図７は、図６に示す多重化ストリームを受信した際の、各ビューのピクチャデータ（ＰＥＳパケット）のデコードタイミングと、各ビューのピクチャの表示タイミングの一例を示している。図示のように、ＰＣＲが付されている場合には、このＰＣＲに基づいて、デコーダクロックがセットされる。

多重化ストリーム内には、Ｐ1-1，Ｐ2-1，Ｐ3-1，Ｐ1-2，Ｐ2-2，Ｐ3-2，・・・のピクチャ順にデータ（ＰＥＳパケット）が配置されている。Ｐ1-1，Ｐ2-1，Ｐ3-1のピクチャに関しては、それぞれ、ＰＥＳヘッドに挿入されているデコードタイムスタンプＤＴＳ１，ＤＴＳ２，ＤＴＳ３のタイミングで順にそのデータのデコードが行われる。そして、ＰＥＳヘッドの挿入されている表示タイムスタンプＰＴＳ１のタイミングで同時表示される。詳細説明は省略するが、Ｐ1-2，Ｐ2-2，Ｐ3-2 移行のピクチャに関しても同様である。

多重化ストリームは、複数のビューストリームを含むエレメンタリストリームおよび単一のビューストリームを含むエレメンタリストリームのいずれか一方、あるいは双方を含むものとされる。つまり、多重化ストリームは、複数のビューストリームを含むエレメンタリストリームを有することができる。

図８は、送信側（放送局１００）における多重化エンコードの回路例を示している。この例は、多重化ストリームが有する１つのエレメンタリストリームに、ビュー１およびビュー２の２つのビューストリームが含まれる、いわゆる１−ｐｉｄの場合の例である。

ビュー１の画像データＶ１はエンコーダ１１-1でエンコードされ、符号化後のビデオストリームは、ｃｐｂ（coded picturebuffer）バッファ１２に一時的に記憶される。また、ビュー２の画像データＶ２はエンコーダ１１-2でエンコードされ、符号化後のビデオストリームは、ｃｐｂバッファ１２に一時的に記憶される。

ｃｐｂバッファ１２は、ビデオに関してのデコード側のバッファリングを規定するためのエンコード側のバッファである。このｃｐｂバッファ１２で発生したビット量が、デコード側のバッファで破綻しないように、管理される。このｃｐｂバッファ１２に入力された２つのビデオストリームは、このｃｐｂバッファ１２から１つのエレメンタリストリームとして出て行く。この１つのエレメンタリストリームは、コンテナバッファ１４に一時的に記憶され、その後に、マルチプレクサ１３により多重化ストリームに含まれて送信される。

図９は、上述の１−ｐｉｄの場合におけるエレメンタリストリームの構成例を示している。この１つのエレメンタリストリームには、ビュー１およびビュー２の２つのビューストリームが含まれる。この場合、各ビューのピクチャはそれぞれアクセスユニットになり、そのピクチャデータをペイロード部分に持つＰＥＳパケットが順次連続したものとなる。この場合、ＤＴＳ２＝ＤＴＳ１＋ （１／２）＊Ｆとすることで、多重化のバッファに入るアクセスユニット（Access Unit）タイミングがエンコーダ側のクロックを止めずに多重化処理を行うことが可能になる。

図１０は、図８の多重化エンコードの回路例に対応した、受信側（受信機２００）における多重化デコードの回路例を示している。送信側から送られてきた多重化ストリームは、コンテナバッファ２２に一時的に記憶され、その後に、デマルチプレクサ２１により１つのエレメンタリストリームが抽出され、ｃｐｂ（coded picture buffer）バッファ２３に一時的に記憶される。

ｃｐｂバッファ２３に記憶されている１つのエレメンタリストリームのうち、ビュー１のピクチャデータ（アクセスユニット）は対応するＤＴＳのタイミングによりデコーダ２４-1でデコードされる。そして、ビュー１の画像データＶ１が得られ、一時的にｄｐｂ（decodedpicture buffer）バッファ２５-1に記憶される。

また、ｃｐｂバッファ２３に記憶されている１つのエレメンタリストリームのうち、ビュー２のピクチャデータ（アクセスユニット）は対応するＤＴＳのタイミングによりデコーダ２４-2でデコードされる。そして、ビュー２の画像データＶ２が得られ、一時的にｄｐｂバッファ２５-2に記憶される。レンダリング部２６-1，２６-2により、ＰＴＳのタイミングで、画像データＶ１，Ｖ２による表示が行われる。

図１１は、送信側（放送局１００）における多重化エンコードの回路例を示している。この例は、多重化ストリームが有する２つのエレメンタリストリームに、それぞれ、ビュー１、ビュー２のビューストリームが含まれる、いわゆる２−ｐｉｄの場合の例である。

ビュー１の画像データＶ１はエンコーダ１１-1でエンコードされ、符号化後のビデオストリームは、ｃｐｂ（coded picturebuffer）バッファ１２-1に一時的に記憶される。また、ビュー２の画像データＶ２はエンコーダ１１-2でエンコードされ、符号化後のビデオストリームは、ｃｐｂバッファ１２-2に一時的に記憶される。

ｃｐｂバッファ１２-1，１２-2は、ビデオに関してのデコード側のバッファリングを規定するためのエンコード側のバッファである。このｃｐｂバッファ１２-1，１２-2で発生したビット量が、デコード側のバッファで破綻しないように、管理される。このｃｐｂバッファ１２-1，１２-2にそれぞれ入力されたビデオストリームは、このｃｐｂバッファ１２-1，１２-2からそれぞれ１つのエレメンタリストリームとして出て行く。この２つのエレメンタリストリームは、コンテナバッファ１４に一時的に記憶され、その後に、マルチプレクサ１３により多重化ストリームに含まれて送信される。

図１２は、上述の２−ｐｉｄの場合における２つのエレメンタリストリームの構成例を示している。第１のエレメンタリストリームには、ビュー１のビューストリームが含まれる。この場合、ビュー１のピクチャはアクセスユニットになり、そのピクチャデータをペイロード部分に持つＰＥＳパケットが存在するものとなる。第２のエレメンタリストリームには、ビュー２のビューストリームが含まれる。この場合、ビュー２のピクチャはアクセスユニットになり、そのピクチャデータをペイロード部分に持つＰＥＳパケットが存在するものとなる

この場合、ＤＴＳ２＝ＤＴＳ１ ＋ （１／２）＊Ｆとすることで、多重化のバッファに入るアクセスユニット（Access Unit）タイミングがエンコーダ側のクロックを止めずに多重化処理を行うことが可能になる。ストリームタイプ（Stream_type）で、２つのＰＥＳパケットの関連が記載される。

図１３は、図１１の多重化エンコードの回路例に対応した、受信側（受信機２００）における多重化デコードの回路例を示している。送信側から送られてきた多重化ストリームは、コンテナバッファ２２に一時的に記憶され、その後に、デマルチプレクサ２１により第１、第２のエレメンタリストリームが抽出され、それぞれ、ｃｐｂ（coded picture buffer）バッファ２３-1，２３-2に一時的に記憶される。

ｃｐｂバッファ２３-1に記憶されているエレメンタリストリームに含まれるビュー１のピクチャデータ（アクセスユニット）は、対応するＤＴＳのタイミングによりデコーダ２４-1でデコードされる。そして、ビュー１の画像データＶ１が得られ、一時的にｄｐｂ（decodedpicture buffer）バッファ２５-1に記憶される。

また、ｃｐｂバッファ２３-2に記憶されているエレメンタリストリームに含まれるビュー１のピクチャデータ（アクセスユニット）は、対応するＤＴＳのタイミングによりデコーダ２４-2でデコードされる。そして、ビュー２の画像データＶ２が得られ、一時的にｄｐｂ（decodedpicture buffer）バッファ２５-3に記憶される。レンダダリング部２６-1，２６-2により、ＰＴＳのタイミングで、画像データＶ１，Ｖ２による表示が行われる。

図１４（ａ），（ｂ）は、複数のビューストリームを含むエレメンタリストリームの一例を示している。各アクセスユニットに、各ビューのピクチャの符号化データが順次配置される。この場合、最初のピクチャの符号化データは、“SPS 〜 Coded Slice”で構成され、２番目以降のピクチャの符号化データは、“Subset SPS 〜 Coded Slice”で構成される。なお、この例は、ＭＰＥＧ４−ＡＶＣの符号化がされている例であるが、他の符号化方式でも適用可能である。なお、図中の１６進数字は「 NAL unit type 」を示している。

１つのエレメンタリストリームに複数のビューストリームが含まれる場合、各ビューストリームの境界が瞬時に識別可能なことが要求される。そこで、図１４（ｂ）に示すように、各ピクチャの符号化データの間に、「View Separation Marker」というビュー間境界を示す新たな“NALunit”を定義して配置することが考えられる。これにより、各ビューストリームの先頭データに瞬時にアクセスすることが可能となる。なお、図１４（ａ）は、各ビューストリームの間に、「View Separation Marker」が配置されていない例を示している。

図１５（ａ），（ｂ）は、１つのエレメンタリストリームに３つのビューストリームが含まれる場合の例を示している。ここでは、各ビューのピクチャの符号化データをサブストリーム（sub stream）として示している。図１５（ａ）は、ランダムアクセス時の先頭アクセスユニットを示しており、図１５（ｂ）は、ランダムアクセス時の非先頭アクセスユニットを示している。

［割り当て情報の構造と、ＴＳ構成］
上述したように、トランスポートストリームＴＳのレイヤに、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入される。図１６は、この割り当て情報としてのマルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）の構造例（Syntax）を示している。また、図１７は、図１６に示す構造例における主要な情報の内容（Semantics）を示している。

「multiple_stream_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、マルチプル・ストリーム・デスクリプタであることを示す。「multiple_stream_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。

「multiple_stream_flag」の１ビットフィールドは、該当するストリームが複数のビューのストリームを持つか否かを示す。“１”は、複数のビューストリームがあることを示しし、“０”は、複数のビューストリームがないことを示す。「multiple_stream_flag = 1」のとき、「view ordering」および「1st_view_left」などの情報がさらに存在する。「view ordering」の４ビットフィールドは、表示の基準となる、ビューの最初を“１”とし、１〜１５までの値をとる。

「1st_view_left」の１ビットフィールドは、「view_ordering」の“１”が「left」か「right」かを示す。“１”は、view_ordering(1)は「left」であることを示し、他のビューの場合、view_ordering順にrightへ近づく。“０”は、view_ordering(1)は「right」であることを示し、他のビューの場合、view_ordering順にleftに近づく。

図１８は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、オーディオなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳが、複数のビューストリームを含む１つのエレメンタリストリームを有する場合を示している。この図１８の構成例では、１つのエレメンタリストリームのＰＥＳパケット「video PES1」が含まれている。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。

この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）が挿入されている。このデスクリプタで「multiple_stream_flag = 1」とされ、該当するストリームが複数のビューストリームを持つことが示されている。

図１９は、トランスポートストリームＴＳの他の構成例を示している。なお、この構成例では、図面の簡単化のために、オーディオなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳが、１つのビューストリームを含む２つのエレメンタリストリームを有する場合を示している。この図１９の構成例では、２つのエレメンタリストリームのＰＥＳパケット「video PES1」、「video PES2」が含まれている。

また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各エレメンタリストリームに関連して、マルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）が挿入されている。ＰＥＳパケット「videoPES1」に対応したデスクリプタでは、「multiple_stream_flag = 0」とされ、該当するストリームが複数のビューストリームを持っていないことが示されている。また、このデスククリプタでは、「view_ordering = 1」とされ、表示の基準となるビューであることが示されている。

また、ＰＥＳパケット「video PES2」に対応したデスクリプタでは、「multiple_stream_flag= 0」とされ、該当するストリームが複数のビューストリームを持っていないことが示されている。また、このデスククリプタでは、「view_ordering = 2」とされ、表示の基準となるビューに隣接した２番目のビューであることが示されている。

図２０は、トランスポートストリームＴＳのさらに他の構成例を示している。なお、この構成例では、図面の簡単化のために、オーディオなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳが、１つのビューストリームを含む３つのエレメンタリストリームを有する場合を示している。この図２０の構成例では、３つのエレメンタリストリームのＰＥＳパケット「video PES1」、「video PES2」、「video PES3」が含まれている。

また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各エレメンタリストリームに関連して、マルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）が挿入されている。ＰＥＳパケット「videoPES1」に対応したデスクリプタでは、「multiple_stream_flag = 0」とされ、該当するストリームが複数のビューストリームを持っていないことが示されている。また、このデスククリプタでは、「view_ordering = 1」とされ、表示の基準となるビューであることが示されている。

また、ＰＥＳパケット「video PES2」に対応したデスクリプタでは、「multiple_stream_flag= 0」とされ、該当するストリームが複数のビューストリームを持っていないことが示されている。また、このデスククリプタでは、「view_ordering = 2」とされ、表示の基準となるビューに隣接した２番目のビューであることが示されている。また、ＰＥＳパケット「video PES3」に対応したデスクリプタでは、「multiple_stream_flag= 0」とされ、該当するストリームが複数のビューストリームを持っていないことが示されている。また、このデスククリプタでは、「view_ordering = 3」とされ、２番目のビューに隣接した３番目のビューであることが示されている。

［送信データ生成部、受信機の構成例］
放送局１００における送信データ生成部１１０と、受信機２００の構成例について説明する。

「送信データ生成部の構成例」
図２１は、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、Ｎ個の画像データ出力部１１１-1〜１１１-Nと、ビューセレクタ１１２と、スケーラ１１３-1，１１３-2，１１３-3と、ビデオエンコーダ１１４-1，１１４-2，１１４-3と、マルチプレクサ１１５と、コンテナバッファ１２０を有している。また、この送信データ生成部１１０は、視差データ生成部１１６と、視差エンコーダ１１７と、音声データ出力部１１８と、オーディオエンコーダ１１９を有している。

画像データ出力部１１１-1〜１１１-Nは、多視点立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいはストレージ（記憶媒体）から画像データを読み出して出力する画像データ読み出し部などにより構成される。なお、伝送されないビューの画像データは、実際にはなくてもよい。

また、ビューセレクタ１１２は、Ｎ個のビュー（View 1・・・View N）の画像データから、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー（１つまたは２つ以上）の画像データを選択的に取り出す。この実施の形態において、ビューセレクタ１１２は、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲを取り出すと共に、中央のビューの画像データＶＣを取り出す。

また、スケーラ１１３-1，１１３-2，１１３-3は、それぞれ、画像データＶＣ，ＶＬ，ＶＲに対してスケーリング処理を施して、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データＶＣ′，ＶＬ′，ＶＲ′を得る。この場合、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のフルＨＤのサイズであるときは、そのまま出力する。また、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のサイズより大きいときは、スケールダウンして出力する。

ビデオエンコーダ１１４-1は、中央のビューの画像データＶＣ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-1は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビューストリームを生成する。

また、ビデオエンコーダ１１４-2は、左端のビューの画像データＶＬ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-2は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビューストリームを生成する。

さらに、ビデオエンコーダ１１４-3は、右端のビューの画像データＶＲ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-3は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビューストリームを生成する。

視差データ生成部１１６は、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データに基づいて、視差データ（Disparity data）を生成する。この視差データには、例えば、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれている。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。

視差エンコーダ１１７は、視差データ生成部１１６で生成された視差データに符号化を施して視差データストリームを生成する。この視差データストリームには、画素単位、またはブロック単位の視差データが含まれることとなる。視差データが画素単位である場合には、画素データと同様に、圧縮符号化して伝送できる。

なお、この視差データストリームにブロック単位の視差データが含まれる場合には、受信側で、上述した変換処理を行うことで、画素単位に変換することも可能である。また、このような視差データストリームの送信がない場合、受信側で、上述したように各ビュー間におけるブロック単位の視差データを求め、さらに画素単位に変換することが可能である。

音声データ出力部１１８は、画像データに対応した音声データを出力する。この音声データ出力部１１８は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１９は、音声データ出力部１１８から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリームを生成する。

コンテナバッファ１２０は、エンコード後の各ストリームを一時的に記憶する。マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2，１１４-3、視差データエンコーダ１１７およびオーディオエンコーダ１１９で生成された各ストリームをパケット化して多重し、多重化ストリームを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation TimeStamp）が挿入される。

マルチプレクサ１１５は、トランスポートストリームＴＳのレイヤに、割り当て情報としてのマルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）（図１６参照）を挿入する。このデスクリプタは、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す情報を持っている。このデスクリプタは、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下などに挿入される。

図２１に示す送信データ生成部１１０の動作を簡単に説明する。Ｎ個の画像データ出力部１１１-1〜１１１-Nから出力される多視点立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データは、ビューセレクタ１１２に供給される。ビューセレクタ１１２では、Ｎ個のビューの画像データから、中央のビューの画像データＶＣ、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲが取り出される。

ビューセレクタ１１２で取り出された中央のビューの画像データＶＣはスケーラ１１３-1に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＣ′は、ビデオエンコーダ１１４-1に供給される。ビデオエンコーダ１１４-1では、この画像データＶＣ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データを含むビューストリームが得られる。このビューストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

また、ビューセレクタ１１２で取り出された左端のビューの画像データＶＬはスケーラ１１３-2に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＬ′は、ビデオエンコーダ１１４-2に供給される。ビデオエンコーダ１１４-2では、この画像データＶＬ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データ含むビューストリームが生成される。このビューストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

さらに、ビューセレクタ１１２で取り出された右端のビューの画像データＶＲはスケーラ１１３-3に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＲ′は、ビデオエンコーダ１１４-3に供給される。ビデオエンコーダ１１４-3では、この画像データＶＲ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データを含むビューストリームが生成される。このビューストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

また、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データは視差データ生成部１１６に供給される。この視差データ生成部１１６では、各ビューの画像データに基づいて、視差データ（Disparity data）が生成される。この視差データには、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれる。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。

視差データ生成部１１６で生成された視差データは、視差エンコーダ１１７に供給される。この視差エンコーダ１１７では、視差データに符号化処理が施されて、視差データストリームが生成される。この視差データストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

また、音声データ出力部１１８から出力される音声データは、オーディオエンコーダ１１９に供給される。このオーディオエンコーダ１１９では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

マルチプレクサ１１５では、コンテナバッファ１２０に記憶されている各エンコーダからのストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＤＴＳ、ＰＴＳが挿入される。また、マルチプレクサ１１５では、ＰＭＴの配下などに、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報であるマルチプル・ストリーム・デスクリプタが挿入される。

「受信機の構成例」
図２２は、上述の図２１に示す送信データ生成部１１０に対応した受信機２００の構成例を示している。この受信機２００は、コンテナバッファ２１３と、デマルチプレクサ２１４と、コーデッドバッファ２１５-1，２１５-2，２１５-3と、ビデオデコーダ２１6-1，２１６-2，２１６-3と、デコーデッドバッファ２１７-1，２１７-2，２１７-3と、スケーラ２１８-1，２１８-2，２１８-3を有している。

また、受信機２００は、ビュー補間部２１９と、ピクセルインターリーバ２２０を有している。また、受信機２００は、コーデッドバッファ２２１と、視差デコーダ２２２と、視差バッファ２２３と、視差データ変換部２２４を有している。また、受信機２００は、コーデッドバッファ２２５と、オーディオデコーダ２２６と、チャネルミキシング部２２７を有している。

コンテナバッファ２１３は、デジタルチューナ等で受信されたトランスポートストリームＴＳを一時的に記憶する。このトランスポートストリームＴＳには、多視点立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビューストリームが含まれている。

このトランスポートストリームＴＳには、上述したように、ＰＭＴの配下などに、割り当て情報であるマルチプル・ストリーム・デスクリプタが挿入されている。このデスクリプタは、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す。

デマルチプレクサ２１４は、コンテナバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差およびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述のマルチプル・ストリーム・デスクリプタを抽出し、図示しない制御部（ＣＰＵ）に送る。

制御部は、このデスクリプタにより、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識できる。これにより、受信機２００では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

コーデッドバッファ２１５-1，２１５-2，２１５-3は、それぞれ、デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューのビューストリームを一時的に記憶する。ビデオデコーダ２１６-1，２１６-2，２１６-3は、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビューストリームにデコード処理を行って、中央、左端および右端の各ビューの画像データを取得する。

上述のデマルチプレクサ２１４は、各ビューのビューストリーム（視差データストリームも含む）に割り当てられているＤＴＳ，ＰＴＳを抽出する。コーデッドバッファ２１５-1，２１５-2，２１５-3からの各ビューのビューストリームの取り出しは、それぞれ、対応するＤＴＳのタイミングで行われる。したがって、各ビューのビューストリームに対するデコード処理は、それぞれ、対応するＤＴＳのタイミングで開始される。

ここで、ビデオデコーダ２１６-1は、中央ビュー（center view）の画像データを取得する。また、ビデオデコーダ２１６-2は、左端ビュー（left view）の画像データを取得する。さらに、ビデオデコーダ２１６-3は、右端ビュー（right view）の画像データを取得する。

デコーデッドバッファ２１７-1，２１７-2，２１７-3は、それぞれ、ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データを一時的に記憶する。スケーラ２１８-1，２１８-2，２１８-3は、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。

コーデッドバッファ２２１は、デマルチプレクサ２１４で抽出される視差データストリームを一時的に記憶する。視差デコーダ２２２は、上述の送信データ生成部１１０の視差エンコーダ１１７（図２１参照）とは逆の処理を行う。すなわち、視差デコーダ２２２は、コーデッドバッファ２２１に記憶されている視差データストリームのデコード処理を行って、視差データを得る。

この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。視差バッファ２２３は、視差デコーダ２２２で取得された視差データを一時的に記憶する。

ここで、コーデッドバッファ２２１からの視差データストリームの取り出しは、デマルチプレクサ２１４で抽出された対応するＤＴＳのタイミングで行われる。したがって、視差データストリームに対するデコード処理は、対応するＤＴＳのタイミングで開始される。

視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データを生成する。例えば、生成された視差データがブロック単位である場合には、画素単位の視差データに変換する。また、例えば、生成された視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。

ビュー補間部２１９は、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データを補間合成する。すなわち、ビュー補間部２１９は、中央ビューと左端ビューとの間に位置する各ビューの画像データを補間合成して出力する。また、ビュー補間部２１９は、中央ビューと右端ビューとの間に位置する各ビューの画像データを補間合成して出力する。

ピクセルインターリーバ２２０は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理を行って、３次元画像（立体画像）の裸眼観賞のための表示用画像データを生成する。

コーデッドバッファ２２５は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ２２６は、上述の送信データ生成部１１０のオーディオエンコーダ１１９（図２１参照）とは逆の処理を行う。すなわち、オーディオデコーダ２２６は、コーデッドバッファ２２５に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２２７は、オーディオデコーダ２２６で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。

なお、デコーデッドバッファ２１７-1，２１７-2，２１７-3からの各ビューの画像データの読み出しと、視差バッファ２２３からの視差データの読み出しとは、ＰＴＳに基づいて行われ、転送同期が取られる。

受信機２００の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームＴＳは、コンテナバッファ２１３に一時的に記憶される。このトランスポートストリームＴＳには、多視点立体画像表示のための複数のビューのうち、左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビューストリームが含まれている。

デマルチプレクサ２１４では、コンテナバッファ２１３に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、視差およびオーディオの各ストリームが抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、割り当て情報としてのマルチプル・ストリーム・デスクリプタが抽出され、制御部（ＣＰＵ）に送られる。制御部では、このデスクリプタにより、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることが認識される。制御部では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューのビューストリームは、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に供給されて一時的に記憶される。そして、ビデオデコーダ２１６-1，２１６-2，２１６-3では、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビューストリームの復号化処理が行われて、中央、左端および右端の各ビューの画像データが取得される。

ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データは、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3に供給されて一時的に記憶される。スケーラ２１８-1，２１８-2，２１８-3では、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が所定の解像度となるように調整される。

また、デマルチプレクサ２１４で抽出される視差データストリームは、コーデッドバッファ２２１に供給されて一時的に記憶される。視差デコーダ２２２では、コーデッドバッファ２２１に記憶されている視差データストリームのデコード処理が行われて、視差データが得られる。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。

視差デコーダ２２２で取得された視差データは、視差バッファ２２３に供給されて一時的に記憶される。視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、生成された視差データがブロック単位である場合には、画素単位の視差データに変換される。また、この場合、生成された視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。

ビュー補間部２１９では、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データが補間合成される。このビュー補間部２１９からは、３次元画像（立体画像）を裸眼観賞するためのＮ個のビュー（View1, View2,・・・,ViewN ）の画像データが得られる。なお、中央、左端および右端の各ビューの画像データも含まれる。

ピクセルインターリーバ２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理が行われて、３次元画像（立体画像）の裸眼観賞のための表示用画像データが生成される。この表示用画像データがディスプレイに供給されることで、３次元画像（立体画像）の裸眼観賞のための、画像表示が行われる。

また、デマルチプレクサ２１４で抽出されるオーディオストリームは、コーデッドバッファ２２５に供給されて一時的に記憶される。オーディオデコーダ２２６では、コーデッドバッファ２２５に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部２２７に供給される。チャネルミキシング部２２７では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。

［送信データ生成部、受信機の他の構成例］
上述の図２１に示す送信データ生成部１１０および図２２に示す受信機２００は、トランスポートストリームＴＳに視差データが符号化されて得られた視差データストリームが含まれる場合の構成例である。トランスポートストリームＴＳに視差データストリームが含まれない場合も考えられる。

図２３は、その場合における送信データ生成部１１０Ａの構成例を示している。この図２３において、図２１と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ａは、図２１に示す送信データ生成部１１０における視差データ生成部１１６および視差エンコーダ１１７が除かれた構成となる。この場合、マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2，１１４-3およびオーディオエンコーダ１１９で生成された各ストリームをパケット化して多重し、多重化ストリームを生成する。この図２３に示す送信データ生成部１１０Ａにおけるその他の構成は、図２１に示す送信データ生成部１１０の構成と同様とされる。

また、図２４は、その場合における受信機２００Ａの構成例を示している。この図２４において、図２２と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、視差データ生成部２２８を有している。この視差データ生成部２２８は、スケーリング処理された中央、左端および右端の各ビューの画像データに基づいて、視差データを生成する。

詳細説明は省略するが、この場合における視差データの生成方法は、上述した送信データ生成部１１０（図２１参照）における視差データ生成部１１６における視差データ生成方法と同様である。なお、この視差データ生成部２２８は、図２２に示す受信機２００の視差データ変換部２２４で生成される画素単位の視差データと同様の視差データを生成して出力する。視差データ生成部２２８で生成された視差データは、ビュー補間部２１９に供給される。

なお、図２４に示す受信機２００Ａにおいては、図２２に示す受信機２００におけるコーデッドバッファ２２１、視差デコーダ２２２、視差バッファ２２３および視差データ変換部２２４は、省略される。この図２４に示す受信機２００Ａにおけるその他の構成は、図２２に示す受信機２００の構成と同様とされる。

［送信データ生成部、受信機のさらに他の構成例］
上述の図２１、図２３に示す送信データ生成部１１０，１１０Ａおよび図２２、図２４に示す受信機２００，２００Ａは、トランスポートストリームＴＳに多視点立体画像表示用のビューストリームが含まれる場合の構成例である。トランスポートストリームＴＳにステレオ立体画像表示用のビューストリームが含まれる場合の構成例について説明する。

「送信データ生成部の構成例」
図２５は、その場合における送信データ生成部１１０Ｂの構成例を示している。この図２５において、図２１と対応する部分には同一符号を付して示している。この送信データ生成部１１０Ｂは、２個の画像データ出力部１１１-1，１１１-2と、スケーラ１１３-1，１１３-2と、ビデオエンコーダ１１４-1，１１４-2と、マルチプレクサ１１５と、コンテナバッファ１２０を有している。また、この送信データ生成部１１０Ｂは、音声データ出力部１１８と、オーディオエンコーダ１１９を有している。

画像データ出力部１１１-1，１１１-2は、それぞれ、ステレオ立体画像表示のための左眼（View 1）画像データＶＬ、右眼（View 2）画像データＶＲを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいはストレージ（記憶媒体）から画像データを読み出して出力する画像データ読み出し部などにより構成される。

また、スケーラ１１３-1，１１３-2は、それぞれ、画像データＶＬ，ＶＲに対してスケーリング処理を施して、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データＶＬ′，ＶＲ′を得る。この場合、画像データＶＬ，ＶＲが１９２０＊１０８０のフルＨＤのサイズであるときは、そのまま出力する。また、画像データＶＬ，ＶＲが１９２０＊１０８０のサイズより大きいときは、スケールダウンして出力する。

ビデオエンコーダ１１４-1は、左眼画像データＶＬ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-1は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビューストリームを生成する。

また、ビデオエンコーダ１１４-2は、右眼画像データＶＲ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-2は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビューストリームを生成する。

音声データ出力部１１８は、画像データに対応した音声データを出力する。この音声データ出力部１１８は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１９は、音声データ出力部１１８から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリームを生成する。

コンテナバッファ１２０は、エンコード後の各ストリームを一時的に記憶する。マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2およびオーディオエンコーダ１１９で生成された各ストリームをパケット化して多重し、多重化ストリームを含むトランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation TimeStamp）が挿入される。

マルチプレクサ１１５は、トランスポートストリームＴＳのレイヤに、割り当て情報としてのマルチプル・ストリーム・デスクリプタ（multiple_stream_descriptor）（図１６参照）を挿入する。このデスクリプタは、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す情報を持っている。このデスクリプタは、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下などに挿入される。

図２５に示す送信データ生成部１１０Ｂの動作を簡単に説明する。２個の画像データ出力部１１１-1，１１１-2から出力される、ステレオ立体画像表示のための左眼画像データＶＬ、右眼画像データＶＲは、スケーラ１１３-1，１１３-2に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。

スケーリング処理後の画像データＶＬ′は、ビデオエンコーダ１１４-1に供給される。ビデオエンコーダ１１４-1では、この画像データＶＬ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データ含むビューストリームが生成される。このビューストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

また、スケーリング処理後の画像データＶＲ′は、ビデオエンコーダ１１４-2に供給される。ビデオエンコーダ１１４-2では、この画像データＶＲ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データ含むビューストリームが生成される。このビューストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

また、音声データ出力部１１８から出力される音声データは、オーディオエンコーダ１１９に供給される。このオーディオエンコーダ１１９では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、コンテナバッファ１２０に供給されて、一時的に記憶される。

マルチプレクサ１１５では、コンテナバッファ１２０に記憶されている各エンコーダからのストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＤＴＳ、ＰＴＳが挿入される。また、マルチプレクサ１１５では、ＰＭＴの配下などに、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報であるマルチプル・ストリーム・デスクリプタが挿入される。

「受信機の構成例」
図２６は、上述の図２５に示す送信データ生成部１１０Ｂに対応した受信機２００Ｂの構成例を示している。この受信機２００Ｂは、コンテナバッファ２１３と、デマルチプレクサ２１４と、コーデッドバッファ２１５-1，２１５-2と、ビデオデコーダ２１6-1，２１６-2と、デコーデッドバッファ２１７-1，２１７-2と、スケーラ２１８-1，２１８-2と、レンダリング部２２９を有している。また、この受信機２００Ｂは、コーデッドバッファ２２５と、オーディオデコーダ２２６と、チャネルミキシング部２２７を有している。

コンテナバッファ２１３は、デジタルチューナ等で受信されたトランスポートストリームＴＳを一時的に記憶する。このトランスポートストリームＴＳには、ステレオ立体画像表示のための左眼、右眼の画像データがそれぞれ符号化されて得られたビューストリームが含まれている。

このトランスポートストリームＴＳには、上述したように、ＰＭＴの配下などに、割り当て情報であるマルチプル・ストリーム・デスクリプタが挿入されている。このデスクリプタは、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す。

デマルチプレクサ２１４は、コンテナバッファ２１３に一時的に記憶されたトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述のマルチプル・ストリーム・デスクリプタを抽出し、図示しない制御部（ＣＰＵ）に送る。

制御部は、このデスクリプタにより、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識できる。これにより、受信機２００では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

コーデッドバッファ２１５-1，２１５-2は、それぞれ、デマルチプレクサ２１４で抽出される左眼、右眼の各ビューのビューストリームを一時的に記憶する。ビデオデコーダ２１６-1，２１６-2は、それぞれ、コーデッドバッファ２１５-1，２１５-2に記憶されているビューストリームにデコード処理を行って、左眼画像データ、右眼画像データを取得する。

上述のデマルチプレクサ２１４は、各ビューのビューストリームに割り当てられているＤＴＳ，ＰＴＳを抽出する。コーデッドバッファ２１５-1，２１５-2からの各ビューのビューストリームの取り出しは、それぞれ、対応するＤＴＳのタイミングで行われる。したがって、各ビューのビューストリームに対するデコード処理は、それぞれ、対応するＤＴＳのタイミングで開始される。ここで、ビデオデコーダ２１６-1は左眼画像データを取得し、ビデオデコーダ２１６-2は右眼画像データを取得する。

デコーデッドバッファ２１７-1，２１７-2は、それぞれ、ビデオデコーダ２１６-1，２１６-2で取得された左眼、右眼の画像データを一時的に記憶する。スケーラ２１８-1，２１８-2は、それぞれ、デコーデッドバッファ２１７-1，２１７-2から出力される左眼、右眼の画像データの出力解像度が、所定の解像度となるように調整する。レンダリング部２２９は、左眼、右眼の画像データに対して、ステレオ立体画像表示のための処理を行って、ディスプレイに供給する。

コーデッドバッファ２２５は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ２２６は、上述の送信データ生成部１１０Ｂのオーディオエンコーダ１１９（図２５参照）とは逆の処理を行う。すなわち、オーディオデコーダ２２６は、コーデッドバッファ２２５に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２２７は、オーディオデコーダ２２６で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。

なお、デコーデッドバッファ２１７-1，２１７-2からの各ビューの画像データの読み出しは、ＰＴＳに基づいて行われ、転送同期が取られる。

受信機２００Ｂの動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームＴＳは、コンテナバッファ２１３に一時的に記憶される。このトランスポートストリームＴＳには、ステレオ立体画像表示のための左眼画像データと右眼画像データとが符号化されて得られたビューストリームが含まれている。

デマルチプレクサ２１４では、コンテナバッファ２１３に一時的に記憶されたトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリームが抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、割り当て情報としてのマルチプル・ストリーム・デスクリプタが抽出され、制御部（ＣＰＵ）に送られる。制御部では、このデスクリプタにより、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることが認識される。制御部では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

デマルチプレクサ２１４で抽出される左眼、右眼の各ビューのビューストリームは、それぞれ、コーデッドバッファ２１５-1，２１５-2に供給されて一時的に記憶される。そして、ビデオデコーダ２１６-1，２１６-2では、それぞれ、コーデッドバッファ２１５-1，２１５-2に記憶されているビューストリームの復号化処理が行われて、左眼画像データおよび右眼画像データが取得される。

ビデオデコーダ２１６-1，２１６-2で取得された左眼、右眼の画像データは、それぞれ、デコーデッドバッファ２１７-1，２１７-2に供給されて一時的に記憶される。スケーラ２１８-1，２１８-2では、それぞれ、デコーデッドバッファ２１７-1，２１７-2から出力される左眼、右眼の画像データの出力解像度が所定の解像度となるように調整される。解像度調整された左眼、右眼の画像データは、レンダリング部２２９に供給される。そして、このレンダリング部２２９では、左眼、右眼の画像データに対して、ステレオ立体画像表示のための処理が行われて、ディスプレイに供給される。これにより、ステレオ立体画像表示のための画像表示、例えば、左眼画像および右眼画像の時分割表示などが行われる。

上述したように、図１に示す画像送受信システム１０においては、多重化ストリーム内の複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられる。そのため、ビュー間のデコード順と参照関係が保証されることから、受信側においてデコード処理を破綻なくスムーズに行うことが可能となる。

また、図１に示す画像送受信システム１０においては、トランスポートストリームＴＳのレイヤ、例えばＰＭＴの配下に、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入される。そのため、受信側では、この割り当て情報に基づいて、複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを認識できる。これにより、受信側では、各ビューストリームに割り当てられているデコードタイムスタンプによるタイムスタンプ管理に速やかに移ることができる。

＜２．変形例＞
なお、上述実施の形態においては、マルチビュー・サービスとして立体画像表示サービスに着目したものであるが、本技術は、その他のマルチビュー・サービス、例えば、マルチアングルビューの同時表示サービス、ユーザに応じたビューの提供サービスなどにも、同様に適用できる。

また、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）複数のビューストリームが多重化された多重化ストリームを送信する送信部と、
上記複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てるタイムスタンプ割り当て部とを備える
送信装置。
（２）上記送信部は、上記多重化ストリームを含む所定フォーマットのコンテナを送信し、
上記複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報を、上記コンテナのレイヤに挿入する情報挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、上記割り当て情報を、プログラム・マップ・テーブルの配下に挿入する
前記（２）に記載の送信装置。
（４）上記割り当て情報には、対応するエレメンタリストリームが、複数のビューストリームを持つか否かを示す情報が含まれている
前記（３）に記載の送信装置。
（５）上記多重化ストリームは、複数のビューストリームを含むエレメンタリストリームを有する
前記（１）から（４）のいずれかに記載の送信装置。
（６）各ビューストリームの間にビュー間境界を示す情報が配置される
前記（５）に記載の送信装置。
（７）上記複数のビューストリームは、多視点立体画像表示のための複数のビューから選択された所定数のビューのストリームである
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記複数のビューストリームは、ステレオ立体画像表示のための２つのビューのストリームである
前記（１）から（６）のいずれかに記載の送信装置。
（９）上記複数のビューストリームに、視差情報のストリームが追加のビューストリームとして含まれる
前記（１）から（８）のいずれかに記載の送信装置。
（１０）複数のビューストリームが多重化された多重化ストリームを送信する送信ステップと、
上記複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てるタイムスタンプ割り当てステップとを備える
送信方法。
（１１）複数のビューストリームが多重化された多重化ストリームを受信する受信部と、
上記多重化ストリーム内の上記複数のビューストリームをデコードするデコード部とを備え、
上記複数のビューストリームには表示周期を細分化した間隔でデコードタイムスタンプが割り当てられており、
上記デコード部は、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
受信装置。
（１２）上記受信部は、上記多重化ストリームを含む所定フォーマットのコンテナを受信し、
上記コンテナのレイヤには、上記複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入されており、
上記デコード部は、上記割り当て情報が存在するとき、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
前記（１１）に記載の受信装置。
（１３）複数のビューストリームが多重化された多重化ストリームを受信する受信ステップと、
上記多重化ストリーム内の上記複数のビューストリームをデコードするデコードステップとを備え、
上記複数のビューストリームには表示周期を細分化した間隔でデコードタイムスタンプを割り当てられており、
上記デコードステップでは、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
受信方法。
（１４）複数のビューストリームが多重化された多重化ストリームを送信する送信部と、
上記複数のビューストリームに、ストリーム間の依存関係を考慮してタイムスタンプを割り当てるタイムスタンプ割り当て部とを備える
送信装置。
本技術の主な特徴は、同時表示に係るＮ個のビューストリームを多重化して伝送する際に、各ビューストリームに割り当てられるデコードタイムスタンプに、順次（１／Ｎ）＊Ｆ（Ｆは表示周期）の固定オフセットを付加するようにしたことで、ビュー間のデコード順と参照関係を保証して行い得るようにしたことである（図３参照）。

１０・・・画像送受信システム
１００・・・放送局
１１０，１１０Ａ，１１０Ｂ・・・送信データ生成部
１１１-1〜１１１-N・・・画像データ出力部
１１２・・・ビューセレクタ
１１３-1，１１３-2，１１３-3・・・スケーラ
１１４-1，１１４-2，１１４-3・・・ビデオエンコーダ
１１５・・・マルチプレクサ
１１６・・・視差データ生成部
１１７・・・視差エンコーダ
１１８・・・音声データ出力部
１１９・・・オーディオエンコーダ
１２０・・・コンテナバッファ
２００，２００Ａ，２００Ｂ・・・受信機
２１３・・・コンテナバッファ
２１４・・・デマルチプレクサ
２１５-1，２１５-2，２１５-3，２２１，２２５・・・コーデッドバッファ
２１６-1，２１６-2，２１６-3・・・ビデオデコーダ
２１７-1，２１７-2，２１７-3・・・デコーデッドバッファ
２１８-1，２１８-2，２１８-3・・・スケーラ
２１９・・・ビュー補間部
２２０・・・ピクセルインターリーバ
２２２・・・視差デコーダ
２２３・・・視差バッファ
２２４・・・視差データ変換部
２２６・・・オーディオデコーダ
２２７・・・チャネルミキシング部
２２８・・・視差データ生成部
２２９・・・レンダリング部

Claims (14)

1. 複数のビューストリームが多重化された多重化ストリームを送信する送信部と、
   上記複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てるタイムスタンプ割り当て部とを備える
   送信装置。
2. 上記送信部は、上記多重化ストリームを含む所定フォーマットのコンテナを送信し、
   上記複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報を、上記コンテナのレイヤに挿入する情報挿入部をさらに備える
   請求項１に記載の送信装置。
3. 上記コンテナは、トランスポートストリームであり、
   上記情報挿入部は、上記割り当て情報を、プログラム・マップ・テーブルの配下に挿入する
   請求項２に記載の送信装置。
4. 上記割り当て情報には、対応するエレメンタリストリームが、複数のビューストリームを持つか否かを示す情報が含まれている
   請求項３に記載の送信装置。
5. 上記多重化ストリームは、複数のビューストリームを含むエレメンタリストリームを有する
   請求項１に記載の送信装置。
6. 各ビューストリームの間にビュー間境界を示す情報が配置される
   請求項５に記載の送信装置。
7. 上記複数のビューストリームは、多視点立体画像表示のための複数のビューから選択された所定数のビューのストリームである
   請求項１に記載の送信装置。
8. 上記複数のビューストリームは、ステレオ立体画像表示のための２つのビューのストリームである
   請求項１に記載の送信装置。
9. 上記複数のビューストリームに、視差情報のストリームが追加のビューストリームとして含まれる
   請求項１に記載の送信装置。
10. 複数のビューストリームが多重化された多重化ストリームを送信する送信ステップと、
    上記複数のビューストリームに、表示周期を細分化した間隔でデコードタイムスタンプを割り当てるタイムスタンプ割り当てステップとを備える
    送信方法。
11. 複数のビューストリームが多重化された多重化ストリームを受信する受信部と、
    上記多重化ストリーム内の上記複数のビューストリームをデコードするデコード部とを備え、
    上記複数のビューストリームには表示周期を細分化した間隔でデコードタイムスタンプが割り当てられており、
    上記デコード部は、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
    受信装置。
12. 上記受信部は、上記多重化ストリームを含む所定フォーマットのコンテナを受信し、
    上記コンテナのレイヤには、上記複数のビューストリームに表示周期を細分化した間隔でデコードタイムスタンプが割り当てられていることを示す割り当て情報が挿入されており、
    上記デコード部は、上記割り当て情報が存在するとき、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
    請求項１１に記載の受信装置。
13. 複数のビューストリームが多重化された多重化ストリームを受信する受信ステップと、
    上記多重化ストリーム内の上記複数のビューストリームをデコードするデコードステップとを備え、
    上記複数のビューストリームには表示周期を細分化した間隔でデコードタイムスタンプを割り当てられており、
    上記デコードステップでは、複数のビューストリームを、上記各ビューストリームに割り当てられているデコードタイムスタンプに基づいて順次デコードする
    受信方法。
14. 複数のビューストリームが多重化された多重化ストリームを送信する送信部と、
    上記複数のビューストリームに、ストリーム間の依存関係を考慮してタイムスタンプを割り当てるタイムスタンプ割り当て部とを備える
    送信装置。

Images