JP7726209B2 - 情報処理装置および方法 - Google Patents

Description

本開示は、情報処理装置および方法に関し、特に、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができるようにした情報処理装置および方法に関する。

従来、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウド（Point cloud）の符号化・復号の標準化がMPEG（Moving Picture Experts Group）で進められている。そして、そのポイントクラウドのジオメトリ（Geometry）とアトリビュート（Attribute）とを小領域毎に２次元平面に投影し、その２次元平面に投影された画像（パッチ）を動画像のフレーム画像内に配置し、その動画像を２次元画像用の符号化方法で符号化する方法（以下、V-PCC（Video based Point Cloud Compression）とも称する）が提案された（例えば、非特許文献１参照）。

また、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）がある（例えば、非特許文献２および非特許文献３参照）。

そして、このV-PCCで符号化されたビットストリーム（V3Cビットストリームとも称する）のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する方法の検討がなされている（例えば、非特許文献４参照）。また、非特許文献４では、ポイントクラウドオブジェクトの一部分のみを復号するパーシャルアクセス（Partial access）の技術が開示されている。

さらに、MPEG-I Part 5 Visual Volumetric Video-based Coding（V3C） and Video-based Point Cloud Compression（V-PCC）において、クライアントが高LoD（密）のポイントクラウドを構成する低LoD（疎）のポイントクラウドを単独で復号し、低LoDのポイントクラウドを構築することができるように符号化するLoD patch modeが提案された（例えば、非特許文献５参照）。

"V-PCC Future Enhancements (V3C + V-PCC)", ISO/IEC JTC 1/SC 29/WG 11 N19329, 2020-04-24 "Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC 14496-12, 2015-02-20 "Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format", ISO/IEC FDIS 14496-15:2014(E), ISO/IEC JTC 1/SC 29/WG 11,2014-01-13 "Text of ISO/IEC DIS 23090-10 Carriage of Visual Volumetric Video-based Coding Data", ISO/IEC JTC 1/SC 29/WG 11 N19285,2020-06-01 "Report on Scalability features in V-PCC", ISO/IEC JTC 1/SC 29/WG 11 N19156,2020-01-22

しかしながら、非特許文献４に記載のV3Cビットストリームを格納するISOBMFFは、このスペーシャルスケーラビリティに対応しておらず、スペーシャルスケーラビリティに関する情報をシステムレイヤに格納することが困難であった。そのため、クライアントがこのスペーシャルスケーラビリティを利用して所望のLoDで３Ｄデータを構築するためには、V3Cビットストリームを解析する等の煩雑な作業が必要であった。

本開示は、このような状況に鑑みてなされたものであり、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができるようにするものである。

本技術の一側面の情報処理装置は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成する符号化部と、前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、前記符号化部により生成された前記ビットストリームを格納するファイルを生成し、前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報を前記ファイルのシステムレイヤに格納するファイル生成部とを備える情報処理装置である。

本技術の一側面の情報処理方法は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成し、前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成し、生成された前記ビットストリームを格納するファイルを生成し、生成された前記スペーシャルスケーラビリティ情報を前記ファイルのシステムレイヤに格納する情報処理方法である。

本技術の他の側面の情報処理装置は、ファイルのシステムレイヤに格納される、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに関する情報であって、前記３Ｄデータの前記解像度に基づく階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択する選択部と、前記ファイルに格納される前記３Ｄデータのビットストリームから、前記選択部により選択された前記レイヤに対応するサブビットストリームを抽出する抽出部と、前記抽出部により抽出された前記サブビットストリームを復号する復号部とを備える情報処理装置である。

本技術の他の側面の情報処理方法は、ファイルのシステムレイヤに格納される、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに関する情報であって、前記３Ｄデータの前記解像度に基づく階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択し、前記ファイルに格納される前記３Ｄデータのビットストリームから、選択された前記レイヤに対応するサブビットストリームを抽出し、抽出された前記サブビットストリームを復号する情報処理方法である。

本技術のさらに他の側面の情報処理装置は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成する符号化部と、前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報と、前記符号化部により生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する制御ファイル生成部とを備える情報処理装置である。

本技術のさらに他の側面の情報処理方法は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成し、前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成し、生成された前記スペーシャルスケーラビリティ情報と、生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する情報処理方法である。

本技術のさらに他の側面の情報処理装置は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択する選択部と、前記選択部により選択された前記レイヤに対応するサブビットストリームを取得する取得部と、前記取得部により取得された前記サブビットストリームを復号する復号部とを備える情報処理装置である。

本技術のさらに他の側面の情報処理方法は、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択し、選択された前記レイヤに対応するサブビットストリームを取得し、取得された前記サブビットストリームを復号する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、その解像度に基づく階層構造を有する３Ｄデータがその階層構造のレイヤ毎にサブビットストリームとして符号化され、そのサブビットストリームを含むビットストリームが生成され、そのサブビットストリームのスペーシャルスケーラビリティに関する情報であって、そのサブビットストリームに対応するレイヤの識別情報と、階層構造の最上位レイヤからそのサブビットストリームのレイヤまでを再構築することにより得られる３Ｄデータの解像度に関する情報とを含むスペーシャルスケーラビリティ情報が生成され、その生成されたビットストリームを格納するファイルが生成され、その生成されたスペーシャルスケーラビリティ情報がそのファイルのシステムレイヤに格納される。

本技術の他の側面の情報処理装置および方法においては、ファイルのシステムレイヤに格納される、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに関する情報であって、３Ｄデータの解像度に基づく階層構造のレイヤ毎に符号化されたサブビットストリームに対応するレイヤの識別情報と、その階層構造の最上位レイヤからそのサブビットストリームのレイヤまでを再構築することにより得られる３Ｄデータの解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号するレイヤが選択され、そのファイルに格納される３Ｄデータのビットストリームから、選択されたレイヤに対応するサブビットストリームが抽出され、その抽出されたサブビットストリームが復号される。

本技術のさらに他の側面の情報処理装置および方法においては、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、その解像度に基づく階層構造を有する３Ｄデータがその階層構造のレイヤ毎にサブビットストリームとして符号化され、そのサブビットストリームを含むビットストリームが生成され、そのサブビットストリームのスペーシャルスケーラビリティに関する情報であって、そのサブビットストリームに対応するレイヤの識別情報と、その階層構造の最上位レイヤからそのサブビットストリームのレイヤまでを再構築することにより得られる３Ｄデータの解像度に関する情報とを含むスペーシャルスケーラビリティ情報が生成され、その生成されたスペーシャルスケーラビリティ情報と、その生成されたビットストリームの配信に関する制御情報とを格納する制御ファイルが生成される。

本技術のさらに他の側面の情報処理装置および方法においては、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、その解像度に基づく階層構造を有する３Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、そのビットストリームのスペーシャルスケーラビリティに関する情報であって、その階層構造のレイヤ毎に符号化されたサブビットストリームに対応するレイヤの識別情報と、その階層構造の最上位レイヤからそのサブビットストリームのレイヤまでを再構築することにより得られる３Ｄデータの解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号するレイヤが選択され、その選択されたレイヤに対応するサブビットストリームが取得され、その取得されたサブビットストリームが復号される。

V-PCCの概要を説明する図である。 V3Cビットストリームの主な構成例を示す図である。 アトラスサブビットストリームの主な構成例を示す図である。 V3Cビットストリームを格納するISOBMFFの構造の例を示す図である。 パーシャルアクセス情報の例について説明する図である。 3Dスペーシャルリージョンが静的な場合のファイル構造の例を示す図である。 SpatialRegionGroupBoxとV3CSpatialRegionsBoxの例を示す図である。 3Dスペーシャルリージョンが動的に変化する場合のファイル構造の例を示す図である。 スペーシャルスケーラビリティについて説明するための図である。 スペーシャルスケーラビリティに関するシンタックスの例を示す図である。 スペーシャルスケーラビリティに対応するデータの構成例を示す図である。 スペーシャルスケーラビリティ情報を格納するファイル構造の例を示す図である。 シンタックスの例を示す図である。 シンタックスの他の例を示す図である。 マトリョーシカメディアコンテナの構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 クライアント装置の主な構成例を示すブロック図である。 クライアント処理の流れの例を示すフローチャートである。 スペーシャルスケーラビリティ情報を格納するMPDの構成例を示す図である。 シンタックスの例を示す図である。 シンタックスの他の例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 クライアント装置の主な構成例を示すブロック図である。 クライアント処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．V3Cビットストリームのスペーシャルスケーラビリティ
２．第１の実施の形態（ビットストリームとスペーシャルスケーラビリティ情報を格納するファイル）
３．第２の実施の形態（スペーシャルスケーラビリティ情報を格納する制御ファイル）
４．付記

＜１．V3Cビットストリームのスペーシャルスケーラビリティ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：（上述）
非特許文献５：（上述）
非特許文献６：https://www.matroska.org/index.html

つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。

＜ポイントクラウド＞
従来、点の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）等の3Dデータが存在した。

例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。ポイントクラウドは、各点の位置情報（ジオメトリ（geometry）とも称する）と属性情報（アトリビュート（attribute）とも称する）とにより構成される。アトリビュートは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートに含まれるようにしてもよい。このようにポイントクラウドは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。

＜V-PCCの概要＞
V-PCC（Video based Point Cloud Compression）では、このようなポイントクラウドのジオメトリやアトリビュートが、小領域毎に２次元平面に投影される。本開示において、この小領域を部分領域という場合がある。このジオメトリやアトリビュートが２次元平面に投影された画像を投影画像とも称する。また、この小領域（部分領域）毎の投影画像をパッチ（patch）と称する。例えば、図１のＡのオブジェクト１（3Dデータ）が、図１のＢに示されるようなパッチ２（2Dデータ）に分解される。ジオメトリのパッチの場合、各画素値は、ポイントの位置情報を示す。ただし、その場合、ポイントの位置情報は、その投影面に対して垂直方向（奥行方向）の位置情報（デプス値（Depth））として表現される。

そして、このように生成された各パッチがビデオシーケンスのフレーム画像（ビデオフレームとも称する）内に配置される。ジオメトリのパッチが配置されたフレーム画像をジオメトリビデオフレーム（Geometry video frame）とも称する。また、アトリビュートのパッチが配置されたフレーム画像をアトリビュートビデオフレーム（Attribute video frame）とも称する。例えば、図１のＡのオブジェクト１から、図１のＣに示されるようなジオメトリのパッチ３が配置されたジオメトリビデオフレーム１１と、図１のＤに示されるようなアトリビュートのパッチ４が配置されたアトリビュートビデオフレーム１２が生成される。例えば、ジオメトリビデオフレーム１１の各画素値は、上述のデプス値を示す。

そして、これらのビデオフレームが、例えばAVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった２次元画像用の符号化方法で符号化される。つまり、３次元構造を表す3Dデータであるポイントクラウドデータを、２次元画像用のコーデックを用いて符号化することができる。

なお、オキュパンシーマップを用いることもできる。オキュパンシーマップは、ジオメトリビデオフレームやアトリビュートビデオフレームのNxN画素毎に、投影画像（パッチ）の有無を示すマップ情報である。例えば、オキュパンシーマップは、ジオメトリビデオフレームやアトリビュートビデオフレームの、パッチが存在する領域（NxN画素）を値「１」で示し、パッチが存在しない領域（NxN画素）を値「０」で示す。

デコーダは、このオキュパンシーマップを参照することにより、パッチが存在する領域であるか否かを把握することができるので、符号化・復号により生じるノイズ等の影響を抑制することができ、より正確に3Dデータを復元することができる。例えば、符号化・復号によりデプス値が変化しても、デコーダは、オキュパンシーマップを参照することにより、パッチが存在しない領域のデプス値を無視することができる。つまり、デコーダは、オキュパンシーマップを参照することにより、3Dデータの位置情報として処理しないようにすることができる。

例えば、ジオメトリビデオフレーム１１およびアトリビュートビデオフレーム１２に対して、図１のＥに示されるようなオキュパンシーマップ１３を生成してもよい。オキュパンシーマップ１３において、白の部分が値「１」を示し、黒の部分が値「０」を示している。

このようなオキュパンシーマップが、ジオメトリビデオフレームやアトリビュートビデオフレームとは別のデータ（ビデオフレーム）として符号化され、復号側に伝送され得る。つまり、オキュパンシーマップも、ジオメトリビデオフレームやアトリビュートビデオフレームと同様に、AVCやHEVC等の２次元画像用の符号化方法で符号化することができる。

ジオメトリビデオフレームを符号化して生成される符号化データ（ビットストリーム）をジオメトリビデオサブビットストリーム（geometry video sub-bitstream）とも称する。アトリビュートビデオフレームを符号化して生成される符号化データ（ビットストリーム）をアトリビュートビデオサブビットストリーム（attribute video sub-bitstream）とも称する。オキュパンシーマップを符号化して生成される符号化データ（ビットストリーム）をオキュパンシーマップビデオサブビットストリーム（occupancy map video sub-bitstream）とも称する。なお、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシーマップビデオサブビットストリームを互いに区別して説明する必要が無い場合、ビデオサブビットストリーム（video sub-bitstream）と称する。

さらに、パッチ（2Dデータ）からポイントクラウド（3Dデータ）を再構成するための情報であるアトラス情報（atlas）が符号化され、復号側に伝送される。アトラス情報の符号化方法（および復号方法）は任意である。アトラス情報を符号化して生成される符号化データ（ビットストリーム）をアトラスサブビットストリーム（atlas sub-bitstream）とも称する。

なお、以下において、ポイントクラウド（のオブジェクト）は、２次元画像の動画像のように、時間方向に変化し得るものとする。つまり、ジオメトリデータやアトリビュートデータは、時間方向の概念を有し、２次元画像の動画像のように、所定の時間毎にサンプリングされたデータとする。なお、２次元画像のビデオフレームのように、各サンプリング時刻のデータをフレームと称する。つまり、ポイントクラウドデータ（ジオメトリデータやアトリビュートデータ）は、２次元画像の動画像のように、複数フレームにより構成されるものとする。本開示において、このポイントクラウドのフレームのことを、ポイントクラウドフレームとも称する。V-PCCの場合、このような動画像（複数フレーム）のポイントクラウドであっても、各ポイントクラウドフレームをビデオフレーム化してビデオシーケンスとすることで、動画像の符号化方式を用いて高効率に符号化することができる。

＜V3Cビットストリームの構造＞
エンコーダは、上述したようなジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシーマップ、およびアトラス情報の符号化データを多重化し、１つのビットストリームを生成する。このビットストリームをV3Cビットストリーム（V3C Bitstream）とも称する。

図２は、V3Cビットストリームの１つのフォーマットである、V3Cサンプルストリーム（V3C sample stream）の構造例を示す図である。図２に示されるように、V-PCCの符号化ストリームであるV3Cビットストリーム（V3Cサンプルストリーム）は、複数のV3Cユニット（V3C unit）を含む。

V3Cユニットは、V3Cユニットヘッダ（V3C unit header）とV3Cユニットペイロード（V3C unit payload）を含む。V3Cユニットヘッダは、V3Cユニットペイロードに格納される情報の種類（タイプ）を示す情報を含む。V3Cユニットペイロードは、そのV3Cユニットヘッダに格納されるタイプに応じて、アトリビュートビデオサブビットストリーム（attribute video sub-bitstream）、ジオメトリビデオサブビットストリーム（geometry video sub-bitstream）、オキュパンシービデオサブビットストリーム（occupancy video sub-bitstream）、アトラスサブビットストリーム（atlas sub-bitstream）等が格納され得る。

＜アトラスサブビットストリームの構造＞
図３のＡは、アトラスサブビットストリームの主な構成例を示す図である。図３のＡに示されるようにアトラスサブビットストリーム３１は、アトラスNALユニット（atlas NAL unit）３２の連続で構成される。図３のＡに示される各四角がアトラスNALユニット３２を示している。

audは、アクセスユニットデリミタ（access unit delimiter）のNALユニットである。atlas spsは、アトラスシーケンスパラメータセット（atlas sequence parameter set）のNALユニットである。atlas fpsは、アトラスフレームパラメータセット（atlas frame parameter set）のNALユニットである。atlas apsは、アトラスアダプテーションパラメータセット（atlas adaptation parameter set）のNALユニットである。

アトラスタイルレイヤNALユニット（atlas tile layer NAL unit）は、アトラスタイルレイヤ（atlas tile layer）のNALユニットである。アトラスタイルレイヤNALユニットは、アトラスタイル（atlas tile）に関する情報であるアトラスタイル情報を持つ。１つのアトラスタイルレイヤNALユニットが、１つのアトラスタイルの情報を持つ。つまり、アトラスタイルレイヤNALユニットとアトラスタイルは１対１に対応する。

atlas fpsは、アトラスタイルのフレーム（frame）内位置情報を格納し、その位置情報がid経由でアトラスタイルレイヤNALユニットに紐づけられる。

アトラスタイルは、互いに独立して復号可能であり、ビデオサブビットストリーム（video sub-bitstream）の対応矩形領域のパッチ（patches）に対する2D3D変換情報を持つ。2D3D変換情報は、2Dデータであるパッチを3Dデータであるポイントクラウドに変換するための情報のことである。例えば、図３のＢに示されるアトリビュートビデオフレーム１２が点線のように分割され、矩形のアトラスタイル３３が形成される。

このアトラスタイルの符号化には、HEVCのタイル（tile）と同等の制約がある。例えば、同一フレーム（same frame）の他のアトラスタイルには依存しないように構成される。また、参照関係のあるアトラスフレーム（atlas frame）は互いに同一のアトラスタイルパーティショニング（atlas tile partitioning）を持つ。さらに、参照フレームの同一位置のアトラスタイルのみ参照する。

＜ISOBMFFへの格納方法＞
非特許文献４には、V3CビットストリームをISOBMFF（International Organization for Standardization Base Media File Format）に格納する方法として、マルチトラックストラクチャ（multi-track structure）とシングルトラックストラクチャ（single track structure）の２種類が規定されている。

マルチトラックストラクチャは、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリーム、およびアトラスサブビットストリームをそれぞれ個別のトラック（track）に格納する方法である。各ビデオサブビットストリームは、従来の2Dビデオストリームであるので、2Dの場合と同様の手法で格納（管理）することができる。マルチトラックストラクチャを適用する場合のファイルの構成例を図４に示す。

シングルトラックストラクチャは、V-PCCビットストリームを１つのトラックに格納する方法である。つまりこの場合、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシーマップビデオサブビットストリーム、およびアトラスサブビットストリームが互いに同一のトラックに格納される。

＜パーシャルアクセス＞
ところで非特許文献４には、ポイントクラウドのオブジェクトの一部分を取得したり、復号したりするためのパーシャルアクセス（partial access）情報が規定されている。例えば、このパーシャルアクセス情報を利用することにより、ストリーミング配信時にポイントクラウドのオブジェクトの表示部分の情報のみを取得するといった制御が可能になる。このような制御により、帯域幅を有効活用して高精細化する、といった効果を得ることができる。

例えば、図５のＡに示されるように、ポイントクラウドのオブジェクトに対して、そのオブジェクトを内包する３次元領域であるバウンディングボックス（Bounding box）５１が設定されているとする。つまり、ISOBMFFにおいて、図５のＢに示されるように、バウンディングボックス５１に関する情報であるバウンディングボックス情報（3DBoundingBoxStruct）が設定されている。バウンディングボックス情報において、バウンディングボックス５１の基準点（orgin）の座標は（0, 0, 0）とされ、バウンディングボックス５１のサイズは（bb_dx, bb_dy, bb_dz）で指定される。

パーシャルアクセス情報を設定することにより、図５のＡに示されるように、このバウンディングボックス５１内に、独立に復号可能な部分領域である3Dスペーシャルリージョン（3D spatial region）５２を設定することができる。つまり、図５のＢに示されるように、ISOBMFFにおいてパーシャルアクセス情報として、3Dスペーシャルリージョン５２に関する情報である3Dスペーシャルリージョン情報（3dSpatialRegionStruct）が設定される。3Dスペーシャルリージョン情報において、その領域は、その基準点の座標（x, y, z）とサイズ（cuboid_dx, cuboid_dy, cuboid_dz）で指定される。

＜ファイル構造例＞
例えば、図６のオブジェクト６１のビットストリームが３つの3Dスペーシャルリージョン（3Dスペーシャルリージョン６１Ａ、3Dスペーシャルリージョン６１Ｂ、3Dスペーシャルリージョン６１Ｃ）に分割されてISOBMFFに格納されるとする。また、マルチトラックストラクチャが適用され、3Dスペーシャルリージョン情報が静的である（時間方向に変化しない）とする。

その場合、図６の右側に示されるように、ビデオサブビットストリームは、3Dスペーシャルリージョン毎に分けて（互いに異なるトラックに）格納される。そして、互いに同一の3Dスペーシャルリージョンに対応するジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリームを格納する各トラックがグループ化される（図６の点線枠）。このグループをスペーシャルリージョントラックグループ（spatial region track group）とも称する。

なお、１つの3Dスペーシャルリージョンのビデオサブビットストリームは、１つまたは複数のスペーシャルリージョントラックグループに格納される。図６の例の場合、3Dスペーシャルリージョンが３つ構成されるので、３つ以上のスペーシャルリージョントラックグループが形成される。

各スペーシャルリージョントラックグループには、スペーシャルリージョントラックグループを識別する識別情報であるトラックグループ識別情報としてtrack_group_idが割り当てられる。このtrack_group_idは、各トラックに格納される。つまり、互いに同一のスペーシャルリージョントラックグループに属するトラックには、互いに同一の値のtrack_group_idが格納される。したがって、このtrack_group_idの値に基づいて、所望のスペーシャルリージョントラックグループに属するトラックを識別することができる。

換言するに、互いに同一の3Dスペーシャルリージョンに対応するジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリームを格納する各トラックには、互いに同一の値のtrack_group_idが格納される。したがって、このtrack_group_idの値に基づいて、所望の3Dスペーシャルリージョンに対応する各ビデオサブビットストリームを識別することができる。

より具体的には、互いに同一のスペーシャルリージョントラックグループに属するトラックには、図７に示されるように、互いに同一のtrack_group_idを持つスペーシャルリージョングループボックス（SpatialRegionGroupBox）が格納される。track_group_idは、スペーシャルリージョングループボックスが継承するトラックグループタイプボックス（TrackGroupTypeBox）に格納される。

なお、アトラスサブビットストリームは、3Dスペーシャルリージョンに関わらず１つのV3Cトラックに格納される。つまり、この１つのアトラスサブビットストリームが複数の3Dスペーシャルリージョンのパッチに関する2D3D変換情報を持つ。より具体的には、アトラスサブビットストリームが格納されるV3Cトラックに、図７に示されるように、V3Cスペーシャルリージョンボックス（V3CSpatialRegionsBox）が格納され、そのV3Cスペーシャルリージョンボックスに各track_group_idが格納される。

アトラスタイルとスペーシャルリージョントラックグループは、非特許文献３に記載のNALUマップエントリサンプルグループ（NALUMapEntry sample group）により、紐づけられる。

なお、3Dスペーシャルリージョン情報が動的である（時間方向に変化する）場合、図８のＡに示されるように、タイムドメタデータトラック（timed metadata track）を用いて、各時刻の3Dスペーシャルリージョンを表現すればよい。つまり、図８のＢに示されるように、ISOBMFFに、ダイナミック3Dスペーシャルリージョンサンプルエントリ（Dynamic3DSpatialRegionSampleEntry）やダイナミックスペーシャルリージョンサンプル（DynamicSpatialRegionSample）が格納される。

＜V-PCC符号化のスケーラビリティ＞
V-PCC符号化においては、例えば、上述のように、volumetric annotation SEI message familyを利用することにより、特定の3D空間位置の一部のポイントクラウド（partial point cloud）のみを復号し、レンダリングすることができるリージョンベースドスケーラビリティ（region-based scalability）を実現することができる。

また、非特許文献５に記載のように、LoDパッチモード（LoD patch mode）を利用することにより、特定のLoDとなるポイントクラウドの点群のみを復号し、レンダリングすることができるスペーシャルスケーラビリティ（spatial scalability）を実現することができる。

LoDは、ポイントクラウドオブジェクトを、ポイントの密度によって階層化する場合の階層を示す。例えば、ボクセル（voxel）量子化を用いたオクツリー（octree）のように、互いにポイントの密度が異なる複数階層（ポイントが疎な階層からポイントが密な階層まで）が形成されるように、ポイントクラウドのポイントをグループ分け（階層化）する。このような階層構造の各階層をLoDとも称する。

各LoDで構築されたポイントクラウドオブジェクトは、互いに同一のオブジェクトを表現するものではあるが、その解像度（ポイント数）が互いに異なる。すなわち、この階層構造は、ポイントクラウドの解像度に基づく階層構造とも言える。

＜LoDパッチモード＞
LoDパッチモードでは、クライアントが高LoD（密）のポイントクラウドを構成する低LoD（疎）のポイントクラウドを単独で復号し、低LoDのポイントクラウドを構築することができるようにポイントクラウドが符号化される。

つまり、上述のように各ポイントがグループ分けされることにより、元の密度のポイントクラウド（密なポイントクラウド）が、複数の疎なポイントクラウドに分けられる。これらの疎なポイントクラウドの密度は互いに同一であってもよいし、同一でなくてもよい。疎なポイントクラウドを単数で用いたり、複数の疎なポイントクラウドを組み合わせたりすることにより、上述の階層構造の各階層のポイントクラウドを実現することができる。例えば、全ての疎なポイントクラウドを組み合わせることにより、元の密度のポイントクラウドを復元することができる。

LoDパッチモードでは、このようなポイントクラウドの階層化をパッチ毎に行うことができる。そして、疎なポイントクラウドのパッチのポイント間隔を密な状態（元のポイントクラウドのポイント間隔）にスケーリングして符号化することができる。例えば、図９のＡに示されるように、ポイント間隔をダウンスケールすることにより密なパッチ（小さいパッチ）として符号化することができる。これにより、階層化による符号化効率の低減を抑制することができる。

復号の際は逆方向にスケーリングすればよい。例えば、図９のＢに示されるように、ポイント間隔を、符号化の際と同じ比率でアップスケールすることにより疎なパッチ（大きいパッチ）を復元することができる。

この場合、このようなスケーリングに関する情報であるスケーリングファクタ（scaling factor）をパッチ毎に、符号化側から復号側に伝送する。つまり、スケーリングファクタをV3Cビットストリームに格納する。図１０は、このスケーリングファクタのシンタックスの例を示す図である。図１０に示されるpdu_lod_scale_x_minus1[patchIndex]が、パッチ毎のダウンスケールのｘ方向の変換比率を示し、pdu_lod_scale_y[patchIndex]が、パッチ毎のダウンスケールのy方向の変換比率を示す。復号の際に、これらのパラメータにより示される変換比率でアップスケールする（つまり、スケーリングファクタに基づいてアップスケールする）ことにより、容易に符号化（ダウンスケール）の際と同じ変換比率でアップスケールすることができる。

以上のように、LoDパッチモードでは、１つのポイントクラウドが、互いに同一のオブジェクトを示すように複数の疎なポイントクラウドに分割されて、符号化される。このような分割がパッチ毎に行われる。つまり、図１１に示されるように、パッチが互いに異なるサンプルグリッドのポイントにより構成される複数のパッチに分割される。図１１の左側に示されるパッチP0は元のパッチ（密なパッチ）を示しており、各丸はそのパッチを構成するポイントを示している。図１１においては、このパッチP0のポイントが４種類のサンプルグリッドでグループ分けされ、４つの疎なパッチが形成されている。つまり、パッチP0から、白地のポイント、黒地のポイント、グレー地のポイント、斜線模様のポイントがそれぞれ抽出され、互いに異なる疎なパッチに分けられている。つまり、この場合、元のパッチP0に対してポイントの密度がx方向とy方向のそれぞれについて２分の１（ポイント間隔が２倍）の疎なパッチが４つ形成される。このような疎なパッチを単数で用いたり、複数組み合わせたりすることにより、スペーシャルなスケーラビリティ（解像度スケーラビリティ）を実現することができる。

疎なパッチは、上述のように、符号化の際にダウンスケールされる。LoDパッチモードでは、元の密なパッチのそれぞれについて、このような分割が行われる。そして、分割された疎なパッチは、フレーム画像に配置される際に、サンプルグリッド毎にアトラスタイルにまとめられる。例えば、図１１において、白地の丸で示されるポイントにより構成される疎なパッチは、「atlas tile 0」に配置され、黒地の丸で示されるポイントにより構成される疎なパッチは、「atlas tile 1」に配置され、グレー地の丸で示されるポイントにより構成される疎なパッチは、「atlas tile 2」に配置され、斜線模様の丸で示されるポイントにより構成される疎なパッチは、「atlas tile 3」に配置されている。このように配置するアトラスタイルを分けることにより、互いに同一のサンプルグリッドに対応するパッチを他と独立に復号することができる。つまり、サンプルグリッド毎にポイントクラウドを構築することができる。したがって、スペーシャルスケーラビリティを実現することができる。

＜スペーシャルスケーラビリティへの非対応＞
以上のように、MPEG-I Part 5 Visual Volumetric Video-based Coding(V3C) and Video-based Point Cloud Compression(V-PCC)では、LoDパッチモードで符号化することで、クライアントは高LoD（密）のポイントクラウドを構成する低LoD（疎）のポイントクラウドを単独で復号し、低LoDのポイントクラウドを構築することができる。

このようなスペーシャルスケーラビリティを利用することで、V-PCCコンテンツの配信時のネットワーク帯域制限や変動、クライアント装置の復号処理やレンダリング処理の性能等に応じて適切なLoDのV-PCCコンテンツを取得することが可能になる。そのため、MPEG-I part 10においてスペーシャルスケーラビリティを利用した配信サポートが望まれる。

しかしながら、非特許文献４に記載のV3Cビットストリームを格納するISOBMFFは、このスペーシャルスケーラビリティに対応しておらず、スペーシャルスケーラビリティに関する情報を、V3Cビットストリームとは別の情報として、システムレイヤに格納することが困難であった。そのため、クライアントは、V-PCCコンテンツ配信時、スペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができず、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができなかった。

クライアントがこのスペーシャルスケーラビリティを利用して所望のLoDで３Ｄデータを構築するためには、V3Cビットストリーム（アトラスサブビットストリーム）をパッチデータユニット（patch_data_unit）までパースする等の煩雑な作業が必要であった。

＜２．第１の実施の形態＞
＜ビットストリームとスペーシャルスケーラビリティ情報を格納するファイル＞
そこで、スペーシャルスケーラビリティに関する情報を、V3Cビットストリームを格納するファイル（例えばISOBMFF）に、V3Cビットストリームとは別の情報として格納する（システムレイヤに格納する）ようにする。

例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータを符号化して、そのスペーシャルスケーラビリティの単数または複数のレイヤに対応するポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成し、そのサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成し、その生成されたビットストリームとスペーシャルスケーラビリティ情報とを格納するファイルを生成するようにする。

例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータを符号化して、そのスペーシャルスケーラビリティの単数または複数のレイヤに対応するポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成する符号化部と、そのサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、符号化部により生成されたビットストリームと、スペーシャルスケーラビリティ情報生成部により生成されたスペーシャルスケーラビリティ情報とを格納するファイルを生成するファイル生成部とを備えるようにする。

例えば、図１２に示されるように、スペーシャルスケーラビリティインフォストラクト（SpatialScalabilityInfoStruct）を新規定義し、サンプルエントリ（SampleEntry）のVPCCスペーシャルリージョンボックス（VPCCSpatialRegionsBox）の中にそのスペーシャルスケーラビリティインフォストラクトを格納する。そして、そのスペーシャルスケーラビリティインフォストラクトにスペーシャルスケーラビリティ情報を格納する。

このようにすることにより、V3Cビットストリームを復号するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤにおいて提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

例えば、情報処理方法において、ファイルに格納される、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの、スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択し、そのファイルに格納されるビットストリームから、選択されたレイヤに対応するサブビットストリームを抽出し、その抽出されたサブビットストリームを復号する。

例えば、情報処理装置において、ファイルに格納される、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの、スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択する選択部と、そのファイルに格納されるビットストリームから、選択部により選択されたレイヤに対応するサブビットストリームを抽出する抽出部と、その抽出部により抽出されたサブビットストリームを復号する復号部とを備えるようにする。

例えば、図１２に示されるように、非特許文献４に記載のV3Cビットストリームを格納するISOBMFFにおいて、サンプルエントリのVPCCスペーシャルリージョンボックスの中のスペーシャルスケーラビリティインフォストラクトに格納されるスペーシャルスケーラビリティ情報に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択する。

このようにすることにより、クライアント装置は、そのシステムレイヤに格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。

例えば、クライアント装置は、視点から近いポイントクラウドの一部分を高LoDで取得し、その他の遠い部分を低LoDで取得する、といった制御を行うことができる。したがって、クライアント装置は、ネットワーク帯域制限の下でも帯域をより有効に活用し、高品位なメディア体験をユーザに提供することができる。

つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

例えば、このスペーシャルスケーラビリティ情報として、どのグループ（疎なパッチ）をベースレイヤとし、どのグループ（疎なパッチ）をエンハンスメントレイヤとするか等、各グループ（疎なパッチ）の選択順（レイヤ）を指定するベース・エンハンスメントグルーピング情報をシステムレイヤに格納してもよい。

このようにすることにより、クライアント装置は、所望のLoDのポイントクラウドを構築するためにどのグループが必要であるかを、スペーシャルスケーラビリティ情報に基づいて容易に把握することができる。したがって、クライアント装置は、より容易に、適切なLoDのポイントクラウドを選択することができる。

また、図１２に示されるように、各レイヤ（グループ）のビットストリームを、ISOBMFFの互いに異なるトラック（スペーシャルリージョントラックグループ）に格納してもよい。図１２の例の場合、白地の丸で示されるポイントにより構成される疎なパッチ、黒地の丸で示されるポイントにより構成される疎なパッチ、グレー地の丸で示されるポイントにより構成される疎なパッチ、および、斜線模様の丸で示されるポイントにより構成される疎なパッチは、互いに異なるスペーシャルリージョントラックグループに格納される。このようにすることにより、クライアント装置は、復号するトラック（スペーシャルリージョントラックグループ）を選択することにより、所望のレイヤ（グループ）のビットストリームを選択することができる。つまり、クライアント装置は、所望のレイヤ（グループ）のビットストリームをより容易に取得し、復号することができる。

＜スペーシャルスケーラビリティ情報の例＞
図１３のＡは、VPCCスペーシャルリージョンボックス（VPCCSpatialRegionsBox）のシンタックスの例を示す図である。図１３のＡの例の場合、VPCCスペーシャルリージョンボックスにおいて、リージョン（region）毎に、スペーシャルスケーラビリティインフォストラクト（SpatialScalabilityInfoStruct()）が格納される。

図１３のＢは、スペーシャルスケーラビリティインフォストラクト（SpatialScalabilityInfoStruct()）のシンタックスの例を示す図である。図１３のＢに示されるように、このスペーシャルスケーラビリティインフォストラクトに、スペーシャルスケーラビリティ情報として、レイヤ識別情報（layer_id）が格納されてもよい。レイヤ識別情報は、ISOBMFFの、そのスペーシャルスケーラビリティインフォストラクトが対応するトラックグループに格納されるサブビットストリームが対応するレイヤを示す識別情報である。例えば、layer_id = 0は、ベースレイヤを示し、layer_id = 1乃至255は、エンハンスメントレイヤを示す。

つまり、ファイル生成装置が、このレイヤ識別情報（layer_id）をスペーシャルスケーラビリティインフォストラクトに格納し、クライアント装置が、このレイヤ識別情報に基づいてサブビットストリーム（トラック）の選択を行ってもよい。このようにすることにより、クライアント装置は、このレイヤ識別情報に基づいて、各トラック（スペーシャルリージョントラックグループ）に格納されるサブビットストリーム（疎なパッチ）が対応するレイヤを把握することができる。したがって、クライアント装置は、より容易に、コンテンツ制作者の意図した通りの順番での高精細化を実現するポイントクラウドを選択することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

また、図１３のＢに示されるように、このレイヤ識別情報に加え、スペーシャルスケーラビリティの最上位レイヤからレイヤ識別情報により示されるレイヤまでの各レイヤに対応するポイントクラウドを再構築することにより得られるポイントクラウドの解像度に関する情報（lod）が、スペーシャルスケーラビリティインフォストラクトに格納されてもよい。

例えば、layer_id = 0の場合、このポイントクラウドの解像度に関する情報（lod）は、ベースレイヤ（base layer）のLoD値を示す。また、例えば、layer_id = 0でない場合、このポイントクラウドの解像度に関する情報（lod）は、レイヤ0乃至(layer_id-1)のポイントクラウドと同時に表示することで得られるLoD値を示す。なお、このLoD値は、コンテンツ制作者が定めた目安値でもよい。なお、ポイントクラウドの解像度に関する情報（lod）をシグナルせず、layer_idの値がポイントクラウドの解像度に関する情報をシグナルするとしてもよい。つまり、ポイントクラウドの解像度に関する情報（lod）は、レイヤ識別情報（layer_id）に含まれるようにしてもよい。例えば、layer_idの値が、スペーシャルスケーラビリティの最上位レイヤからレイヤ識別情報により示されるレイヤまでの各レイヤに対応するポイントクラウドの解像度（lod値）も示すようにしてもよい。

つまり、ファイル生成装置が、このポイントクラウドの解像度に関する情報（lod）をスペーシャルスケーラビリティインフォストラクトに格納し、クライアント装置が、このポイントクラウドの解像度に関する情報に基づいてサブビットストリーム（トラック）の選択を行ってもよい。このようにすることにより、クライアント装置は、どのトラック（スペーシャルリージョントラックグループ）を選択すれば所望のLoDが得られるかをより容易に把握することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

また、図１３のＢに示されるように、このレイヤ識別情報に加え、スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報（spatial_scalability_id）が、スペーシャルスケーラビリティインフォストラクトに格納されてもよい。互いに同一のスペーシャルスケーラビリティ識別情報（spatial_scalability_id）を持つリージョン（region）（num_regionのforループの1ループが1regionに相当）のグループがスペーシャルスケーラビリティを提供する。つまり、互いに同一のスペーシャルスケーラビリティ識別情報（spatial_scalability_id）を持つリージョンを複数組み合わせると、高LoDのポイントクラウドが得られる。

つまり、ファイル生成装置が、このスペーシャルスケーラビリティ識別情報（spatial_scalability_id）をスペーシャルスケーラビリティインフォストラクトに格納し、クライアント装置が、このスペーシャルスケーラビリティ識別情報に基づいてサブビットストリーム（トラック）の選択を行ってもよい。このようにすることにより、クライアント装置は、より容易に、スペーシャルスケーラビリティを提供するグループを特定することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

なお、図１３のＡに示されるように、VPCCスペーシャルリージョンボックスに、スペーシャルスケーラビリティフラグ（spatial_scalability_flag）が格納されてもよい。スペーシャルスケーラビリティフラグは、スペーシャルスケーラビリティインフォストラクトが格納されているか否かを示すフラグ情報である。スペーシャルスケーラビリティフラグが真（例えば「１」）の場合、スペーシャルスケーラビリティインフォストラクトが格納されていることを示す。また、スペーシャルスケーラビリティフラグが偽（例えば「０」）の場合、スペーシャルスケーラビリティインフォストラクトが格納されていないことを示す。

＜スペーシャルスケーラビリティ情報の他の例＞
なお、図１４のＡに示される例のように、VPCCスペーシャルリージョンボックス（VPCCSpatialRegionsBox）において、リージョン（region）毎に、レイヤ数分のforループを用いて、スペーシャルスケーラビリティインフォストラクト（SpatialScalabilityInfoStruct()）およびトラックグループ識別情報（track_group_id）を格納してもよい。

この場合、このforループにより格納されるグループがスペーシャルスケーラビリティ（spatial scalability）を提供する。つまり、forループによって、互いに同一のスペーシャルスケーラビリティを提供するスペーシャルスケーラビリティインフォストラクトがまとめられている。したがって、この場合、スペーシャルスケーラビリティ識別情報（spatial_scalability_id）の格納が不要になる。換言するに、スペーシャルスケーラビリティ識別情報を格納する必要なく、スペーシャルスケーラビリティを識別することができる。

その場合のスペーシャルスケーラビリティインフォストラクト（SpatialScalabilityInfoStruct()）のシンタックスの例を図１４のＢに示す。図１４のＢの例の場合、スペーシャルスケーラビリティインフォストラクトには、上述したレイヤ識別情報（layer_id）とポイントクラウドの解像度に関する情報（lod）とが格納されている。

なお、この場合も、図１４のＡに示されるように、VPCCスペーシャルリージョンボックスに、スペーシャルスケーラビリティフラグ（spatial_scalability_flag）が格納されてもよい。

＜マトリョーシカメディアコンテナ＞
以上においてはファイルフォーマットとしてISOBMFFを適用する例について説明したが、V3Cビットストリームを格納するファイルは任意であり、ISOBMFF以外であってもよい。例えば、V3Cビットストリームが、マトリョーシカメディアコンテナ（Matroska Media Container）に格納されるようにしてもよい。マトリョーシカメディアコンテナの主な構成例を図１５に示す。

例えば、スペーシャルスケーラビリティ情報（またはベース・エンハンスメントポイントクラウド情報）が、アトラスサブビットストリームを格納するトラックのトラックエントリエレメント（Track Entry element）下のエレメント（element）に格納されてもよい。

＜ファイル生成装置＞
図１６は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図１６に示されるファイル生成装置３００は、V-PCCを適用して、ポイントクラウドデータをビデオフレームとして２次元画像用の符号化方法により符号化する装置である。また、ファイル生成装置３００は、ISOBMFFを生成し、その符号化により生成したV3Cビットストリームを格納する。

その際、ファイル生成装置３００は、本実施の形態において上述した本技術を適用し、スペーシャルスケーラビリティを可能とするようにISOBMFFに情報を格納する。つまり、ファイル生成装置３００は、スペーシャルスケーラビリティに関する情報をISOBMFFに格納する。

なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１６に示されるようにファイル生成装置３００は、3D2D変換部３０１、2D符号化部３０２、メタデータ生成部３０３、PCストリーム生成部３０４、ファイル生成部３０５、および出力部３０６を有する。

3D2D変換部３０１は、ファイル生成装置３００に入力された3Dデータであるポイントクラウドをパッチに分解し、パッキングする。つまり、3D2D変換部３０１は、ジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシービデオフレームを生成する。その際、3D2D変換部３０１は、例えば図１１や図１２等を参照して説明したように、ポイントクラウドを複数の疎なポイントクラウドに分割し、サンプルグリッド毎に（互いに同一のスペーシャルスケーラビリティを提供するパッチ毎に）アトラスタイルにまとめるように、各パッチをフレーム画像に配置する。また、3D2D変換部３０１は、アトラス情報を生成する。3D2D変換部３０１は、生成したジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシービデオフレーム、およびアトラス情報等を2D符号化部３０２に供給する。

2D符号化部３０２は、符号化に関する処理を行う。例えば、2D符号化部３０２は、3D2D変換部３０１から供給されるジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシービデオフレーム、およびアトラス情報等を取得する。2D符号化部３０２は、それらを符号化し、サブビットストリームを生成する。例えば、2D符号化部３０２は、符号化部３１１乃至符号化部３１４を有する。符号化部３１１は、ジオメトリビデオフレームを符号化し、ジオメトリビデオサブビットストリームを生成する。また、符号化部３１２は、アトリビュートビデオフレームを符号化し、アトリビュートビデオサブビットストリームを生成する。さらに、符号化部３１３は、オキュパンシービデオフレームを符号化し、オキュパンシービデオサブビットストリームを生成する。また、符号化部３１４は、アトラス情報を符号化し、アトラスサブビットストリームを生成する。

その際、2D符号化部３０２は、LoDパッチモードを適用し、疎なポイントクラウドのパッチ情報をそれぞれアトラスタイル（atlas tile）として符号化し、１つのアトラスサブビットストリームを生成する。また、2D符号化部３０２は、LoDパッチモードを適用し、疎なポイントクラウドのそれぞれについて、３つの画像（ジオメトリ画像、アトリビュート画像、オキュパンシーマップ）をそれぞれ符号化し、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、およびオキュパンシービデオサブビットストリームを生成する。

2D符号化部３０２は、生成したサブビットストリームをメタデータ生成部３０３およびPCストリーム生成部３０４に供給する。例えば、符号化部３１１は、生成したジオメトリビデオサブビットストリームをメタデータ生成部３０３およびPCストリーム生成部３０４に供給する。また、符号化部３１２は、生成したアトリビュートビデオサブビットストリームをメタデータ生成部３０３およびPCストリーム生成部３０４に供給する。さらに、符号化部３１３は、生成したオキュパンシービデオサブビットストリームをメタデータ生成部３０３およびPCストリーム生成部３０４に供給する。また、符号化部３１４は、生成したアトラスサブビットストリームをメタデータ生成部３０３およびPCストリーム生成部３０４に供給する。

メタデータ生成部３０３は、メタデータの生成に関する処理を行う。例えば、メタデータ生成部３０３は、2D符号化部３０２から供給されるビデオサブビットストリームやアトラスサブビットストリームを取得する。また、メタデータ生成部３０３は、それらのデータを用いてメタデータを生成する。

例えば、メタデータ生成部３０３は、メタデータとして、取得したサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成する。つまり、メタデータ生成部３０３は、図１２乃至図１４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いて、スペーシャルスケーラビリティ情報を生成する。なお、メタデータ生成部３０３は、スペーシャルスケーラビリティ情報以外の任意のメタデータを生成し得る。

メタデータ生成部３０３は、このように、スペーシャルスケーラビリティ情報を含むメタデータを生成すると、そのメタデータをファイル生成部３０５に供給する。

PCストリーム生成部３０４は、V3Cビットストリームの生成に関する処理を行う。例えば、PCストリーム生成部３０４は、2D符号化部３０２から供給されるビデオサブビットストリームやアトラスサブビットストリームを取得する。また、PCストリーム生成部３０４は、それらを用いてV3Cビットストリーム（ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシーマップビデオサブビットストリーム、およびアトラスサブビットストリーム、または、それらをまとめたもの）を生成し、ファイル生成部３０５に供給する。

ファイル生成部３０５は、ファイルの生成に関する処理を行う。例えば、ファイル生成部３０５は、メタデータ生成部３０３から供給される、スペーシャルスケーラビリティ情報を含むメタデータを取得する。また、ファイル生成部３０５は、PCストリーム生成部３０４から供給されるV3Cビットストリームを取得する。ファイル生成部３０５は、取得したメタデータとV3Cビットストリームを格納するファイル（例えばISOBMFFやマトリョーシカメディアコンテナ）を生成する。つまり、ファイル生成部３０５は、スペーシャルスケーラビリティ情報を、V3Cビットストリームとは別にファイルに格納する。つまり、ファイル生成部３０５は、スペーシャルスケーラビリティ情報をシステムレイヤに格納する。

その際、ファイル生成部３０５は、スペーシャルスケーラビリティ情報を、図１２乃至図１４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてファイルに格納する。例えば、ファイル生成部３０５は、スペーシャルスケーラビリティ情報を、V3Cビットストリームを格納するファイルの、図１２乃至図１４に示される例の場所に格納する。

ファイル生成部３０５は、生成したファイルを出力部３０６に供給する。出力部３０６は、供給されたファイル（V3Cビットストリームおよびスペーシャルスケーラビリティ情報を含むファイル）を、ファイル生成装置３００の外部（例えば配信サーバ等）に出力する。

以上のように、ファイル生成装置３００は、本実施の形態において上述した本技術を適用して、V3Cビットストリームとスペーシャルスケーラビリティ情報とを格納するファイル（例えばISOBMFFやマトリョーシカメディアコンテナ）を生成する。

このような構成とすることにより、3Cビットストリームを復号するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤにおいて提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

なお、これらの処理部（3D2D変換部３０１乃至出力部３０６、並びに、符号化部３１１乃至符号化部３１４）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜ファイル生成処理の流れ＞
このファイル生成装置３００により実行されるファイル生成処理の流れの例を、図１７のフローチャートを参照して説明する。

ファイル生成処理が開始されると、ファイル生成装置３００の3D2D変換部３０１は、ステップＳ３０１において、ポイントクラウドを複数の疎なポイントクラウドに分割する。ステップＳ３０２において、3D2D変換部３０１は、ポイントクラウドをパッチに分解し、ジオメトリやアトリビュートのパッチを生成する。そして、3D2D変換部３０１は、そのパッチをビデオフレームにパッキングする。また、3D2D変換部３０１は、オキュパンシーマップやアトラス情報を生成する。

ステップＳ３０３において、2D符号化部３０２は、LoDパッチモードを適用し、疎なポイントクラウドのパッチ情報をそれぞれアトラスタイルとして符号化し、１つのアトラスサブビットストリームを生成する。

ステップＳ３０４において、2D符号化部３０２は、疎なポイントクラウドのそれぞれについて、３つの画像（ジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシーマップビデオフレーム）をそれぞれ符号化し、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、およびオキュパンシービデオサブビットストリームを生成する。

PCストリーム生成部３０４は、それらのビデオサブビットストリームやアトラスサブビットストリーム等を用いてV3Cビットストリーム（ポイントクラウドストリーム）を生成する。

ステップＳ３０５において、メタデータ生成部３０３は、スペーシャルスケーラビリティ情報を含むメタデータを生成する。つまり、メタデータ生成部３０３は、図１２乃至図１４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いて、スペーシャルスケーラビリティ情報を生成する。例えば、メタデータ生成部３０３は、スペーシャルスケーラビリティ情報として、ベース・エンハンスメントポイントクラウド情報を生成する。

ステップＳ３０６において、ファイル生成部３０５は、例えばISOBMFFやマトリョーシカメディアコンテナ等のファイルを生成し、スペーシャルスケーラビリティ情報とV3Cビットストリームとをそのファイルに格納する。その際、ファイル生成部３０５は、スペーシャルスケーラビリティ情報を、図１２乃至図１４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてファイルに格納する。例えば、ファイル生成部３０５は、ステップＳ３０５において生成されたベース・エンハンスメントポイントクラウド情報をファイルに格納する。

ステップＳ３０７において、出力部３０６は、ステップＳ３０６において生成されたファイル、すなわち、V3Cビットストリームとスペーシャルスケーラビリティ情報とを格納するファイルを、ファイル生成装置３００の外部（例えば配信サーバ等）に出力する。ステップＳ３０７の処理が終了するとファイル生成処理が終了する。

このように各処理を実行することにより、3Cビットストリームを復号するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤにおいて提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜クライアント装置＞
本実施の形態において上述した本技術は、ファイル生成装置に限らず、クライアント装置にも適用することができる。図１８は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図１８に示されるクライアント装置４００は、V-PCCを適用し、ポイントクラウドデータをビデオフレームとして２次元画像用の符号化方法により符号化されたV3Cビットストリーム（ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリーム、およびアトラスサブビットストリーム、または、それらをまとめたもの）をファイルから取得し、２次元画像用の復号方法により復号し、ポイントクラウドを生成（再構築）する装置である。例えば、クライアント装置４００は、ファイル生成装置３００が生成したファイルからV3Cビットストリームを抽出し、復号してポイントクラウドを生成することができる。

その際、クライアント装置４００は、本実施の形態において上述した本技術の各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてスペーシャルスケーラビリティを実現する。つまり、クライアント装置４００は、ファイルにV3Cビットストリームとともに格納されたスペーシャルスケーラビリティ情報に基づいて、所望のLoDのポイントクラウドを再構築するのに必要なビットストリーム（トラック）を選択し、復号する。

なお、図１８においては、処理部やデータの流れ等の主なものを示しており、図１８に示されるものが全てとは限らない。つまり、クライアント装置４００において、図１８においてブロックとして示されていない処理部が存在したり、図１８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１８に示されるようにクライアント装置４００は、ファイル処理部４０１、2D復号部４０２、表示情報生成部４０３、および表示部４０４を有する。

ファイル処理部４０１は、クライアント装置４００に入力されるファイルからV3Cビットストリーム（サブビットストリーム）を抽出し、2D復号部４０２に供給する。その際、ファイル処理部４０１は、本実施の形態において説明した本技術を適用し、ファイルに格納されたスペーシャルスケーラビリティ情報に基づいて、所望のLoD等に対応するレイヤのV3Cビットストリーム（サブビットストリーム）を抽出する。そして、ファイル処理部４０１は、抽出したV3Cビットストリームを2D復号部４０２に供給する。

つまり、抽出したレイヤのV3Cビットストリームのみが復号対象とされる。換言するに、ファイル処理部４０１は、スペーシャルスケーラビリティ情報に基づいて、所望のLoDのポイントクラウドの構築に不要なレイヤのV3Cビットストリームを復号対象から除外する。

ファイル処理部４０１は、ファイル取得部４１１、ファイル解析部４１２、および抽出部４１３を有する。

ファイル取得部４１１は、クライアント装置４００に入力されるファイルを取得する。このファイルは、上述のように、V3Cビットストリームとスペーシャルスケーラビリティ情報とを格納する。例えば、このファイルは、ISOBMFFやマトリョーシカメディアコンテナ等である。ファイル取得部４１１は、取得したファイルをファイル解析部４１２に供給する。

ファイル解析部４１２は、ファイル取得部４１１から供給されるファイルを取得する。ファイル解析部４１２は、取得したそのファイルを解析する。その際、ファイル解析部４１２は、本実施の形態において説明した本技術の各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてそのファイルを解析する。例えば、ファイル解析部４１２は、そのファイルに格納されるスペーシャルスケーラビリティ情報を解析し、復号対象とするサブビットストリームを選択する。例えば、ファイル解析部４１２は、スペーシャルスケーラビリティ情報に基づき、ネットワーク環境やクライアント装置４００自身の処理能力に応じたスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせ（つまり、復号対象とするサブビットストリーム）を選択する。ファイル解析部４１２は、その解析結果を、ファイルとともに抽出部４１３に供給する。

抽出部４１３は、ファイル解析部４１２による解析結果に基づいて、ファイルに格納されるV3Cビットストリームから、復号対象とするデータを抽出する。つまり、抽出部４１３は、ファイル解析部４１２により選択されたサブビットストリームを抽出する。抽出部４１３は、抽出したデータを2D復号部４０２に供給する。

2D復号部４０２は、復号に関する処理を行う。例えば、2D復号部４０２は、ファイル処理部４０１から供給されるジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリーム、およびアトラスサブビットストリーム等を取得する。2D復号部４０２は、それらを復号し、ビデオフレームやアトラス情報を生成する。例えば、2D復号部４０２は、復号部４２１乃至復号部４２４を有する。復号部４２１は、供給されたジオメトリビデオサブビットストリームを復号し、ジオメトリビデオフレーム（2Dデータ）を生成する。復号部４２２は、アトリビュートビデオサブビットストリームを復号し、アトリビュートビデオフレーム（2Dデータ）を生成する。復号部４２３は、オキュパンシービデオサブビットストリームを復号し、オキュパンシービデオフレーム（2Dデータ）を生成する。復号部４２４は、アトラスサブビットストリームを復号し、上述のビデオフレームに対応するアトラス情報を生成する。

2D復号部４０２は、生成したビットストリームを表示情報生成部４０３に供給する。例えば、復号部４２１は、生成したジオメトリビデオフレームを表示情報生成部４０３に供給する。復号部４２２は、生成したアトリビュートビデオフレームを表示情報生成部４０３に供給する。復号部４２３は、生成したオキュパンシービデオフレームを表示情報生成部４０３に供給する。復号部４２４は、生成したアトラス情報を表示情報生成部４０３に供給する。

表示情報生成部４０３は、ポイントクラウドの構築やレンダリングに関する処理を行う。例えば、表示情報生成部４０３は、2D復号部４０２から供給されるビデオフレームやアトラス情報を取得する。また、表示情報生成部４０３は、取得したアトラス情報に基づいて、取得したビデオフレームにパッキングされたパッチからポイントクラウドを生成する。そして、表示情報生成部４０３は、そのポイントクラウドをレンダリングして、表示用画像を生成し、表示部４０４に供給する。

表示情報生成部４０３は、例えば、2D3D変換部４３１および表示処理部４３２を有する。

2D3D変換部４３１は、2D復号部４０２から供給されるビデオフレームに配置されたパッチ（2Dデータ）をポイントクラウド（3Dデータ）に変換する。2D3D変換部４３１は、生成したポイントクラウドを表示処理部４３２に供給する。

表示処理部４３２は、レンダリングに関する処理を行う。例えば、表示処理部４３２は、2D3D変換部４３１から供給されるポイントクラウドを取得する。また、表示処理部４３２は、取得したポイントクラウドをレンダリングして表示用画像を生成する。表示処理部４３２は、生成した表示用画像を表示部４０４に供給する。

表示部４０４は、例えば、モニタ等の表示デバイスを有し、表示用画像を表示する。例えば、表示部４０４は、表示処理部４３２から供給される表示用画像を取得する。表示部４０４は、その表示用画像を表示デバイスに表示させ、ユーザ等に提示する。

このような構成を有することにより、クライアント装置４００は、システムレイヤに格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

なお、これらの処理部（ファイル処理部４０１乃至表示部４０４、ファイル取得部３１１乃至抽出部４１３、復号部４２１乃至復号部４２４、並びに、2D3D変換部４３１および表示処理部４３２）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜クライアント処理の流れ＞
このクライアント装置４００により実行されるクライアント処理の流れの例を、図１９のフローチャートを参照して説明する。

クライアント処理が開始されると、クライアント装置４００のファイル取得部４１１は、ステップＳ４０１においてクライアント装置４００に供給されるファイルを取得する。このファイルは、V3Cビットストリームとスペーシャルスケーラビリティ情報とを格納する。例えば、このファイルは、ISOBMFFやマトリョーシカメディアコンテナ等である。

ステップＳ４０２においてファイル解析部４１２は、ファイルに格納されるスペーシャルスケーラビリティ情報（例えばベース・エンハンスメントポイントクラウド情報）に基づき、ネットワーク環境やクライアント装置４００自身の処理能力に応じてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを選択する。

ステップＳ４０３において、抽出部４１３は、ファイルに格納されたV3Cビットストリームから、アトラスサブビットストリームと、ステップＳ４０２において選択された複数の疎なポイントクラウドに対応するビデオサブビットストリームを抽出する。

ステップＳ４０４において、2D復号部４０２は、ステップＳ４０３において抽出されたアトラスサブビットストリームとビデオサブビットストリームを復号する。

ステップＳ４０５において、表示情報生成部４０３は、ステップＳ４０３において復号されて得られたデータに基づいて、ポイントクラウドを構築する。つまり、ファイルから抽出された所望のLoDのポイントクラウドが構築される。

ステップＳ４０６において、表示情報生成部４０３は、構築したポイントクラウドをレンダリングし、表示用画像を生成する。

ステップＳ４０７において、表示部４０４は、ステップＳ４０６において生成された表示用画像を表示デバイスに表示させる。

ステップＳ４０７の処理が終了するとクライアント処理が終了する。

以上のように各処理を実行することにより、クライアント装置４００は、システムレイヤに格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜３．第２の実施の形態＞
＜スペーシャルスケーラビリティ情報を格納する制御ファイル＞
本技術は、例えば、MPEG-DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）に適用することもできる。例えば、MPEG-DASHにおいて、ビットストリームの配信に関する制御情報を格納する制御ファイルであるMPD（Media Presentation Description）を拡張し、サブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を格納してもよい。

例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータを符号化して、そのスペーシャルスケーラビリティの単数または複数のレイヤに対応するポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成し、そのサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成し、その生成されたスペーシャルスケーラビリティ情報と、その生成されたビットストリームの配信に関する制御情報とを格納する制御ファイルを生成するようにする。

例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータを符号化して、そのスペーシャルスケーラビリティの単数または複数のレイヤに対応するポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成する符号化部と、そのサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、そのスペーシャルスケーラビリティ情報生成部により生成されたスペーシャルスケーラビリティ情報と、その符号化部により生成されたビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する制御ファイル生成部とを備えるようにする。

例えば、図２０に示されるように、MPDのV3C3Dリージョンディスクリプタ（V3C3DRegions descriptor）を拡張し、スペーシャルスケーラビリティ情報（例えばベース・エンハンスメントポイントクラウド情報）を格納してもよい。

このようにすることにより、このMPDを用いて、復号するV3Cビットストリームを取得するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤ（MPD）において提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、そのビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択し、その選択されたレイヤに対応するサブビットストリームを取得し、その取得されたサブビットストリームを復号するようにする。

例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応するポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、そのビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択する選択部と、その選択部により選択されたレイヤに対応するサブビットストリームを取得する取得部と、その取得部により取得されたサブビットストリームを復号する復号部とを備えるようにする。

例えば、図２０に示されるように、MPDのV3C3Dリージョンディスクリプタ（V3C3DRegions descriptor）に格納されたスペーシャルスケーラビリティ情報（例えばベース・エンハンスメントポイントクラウド情報）に基づいて、復号するスペーシャルスケーラビリティのレイヤを選択してもよい。

このようにすることにより、クライアント装置は、そのシステムレイヤ（MPD）に格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。

例えば、クライアント装置は、視点から近いポイントクラウドの一部分を高LoDで取得し、その他の遠い部分を低LoDで取得する、といった制御を行うことができる。したがって、クライアント装置は、ネットワーク帯域制限の下でも帯域をより有効に活用し、高品位なメディア体験をユーザに提供することができる。

つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

例えば、このスペーシャルスケーラビリティ情報として、どのグループ（疎なパッチ）をベースレイヤとし、どのグループ（疎なパッチ）をエンハンスメントレイヤとするか等、各グループ（疎なパッチ）の選択順（レイヤ）を指定するベース・エンハンスメントグルーピング情報をシステムレイヤに格納してもよい。

このようにすることにより、クライアント装置は、所望のLoDのポイントクラウドを構築するためにどのグループが必要であるかを、スペーシャルスケーラビリティ情報に基づいて容易に把握することができる。したがって、クライアント装置は、より容易に、適切なLoDのポイントクラウドを選択することができる。

また、図２０に示されるように、各レイヤ（グループ）のビットストリームの配信に関する制御情報を、MPDの互いに異なるアダプテーションセット（Adaptation Set）に格納してもよい。図２０の例の場合、白地の丸で示されるポイントにより構成される疎なパッチ、黒地の丸で示されるポイントにより構成される疎なパッチ、グレー地の丸で示されるポイントにより構成される疎なパッチ、および、斜線模様の丸で示されるポイントにより構成される疎なパッチのそれぞれに関する制御情報は、互いに異なるアダプテーションセットに格納される。このようにすることにより、クライアント装置は、復号するアダプテーションセットを選択することにより、所望のレイヤ（グループ）のビットストリームを選択することができる。つまり、クライアント装置は、所望のレイヤ（グループ）のビットストリームをより容易に取得し、復号することができる。

＜スペーシャルスケーラビリティ情報の例＞
図２１は、V3C3Dリージョンディスクリプタのシンタックスの例を示す図である。図２１に示されるように、このV3C3Dリージョンディスクリプタのvpsr.spatialRegion.spatialScalabilityInfoに、スペーシャルスケーラビリティ情報として、レイヤ識別情報（layerId）が格納されてもよい。レイヤ識別情報は、ISOBMFFの場合と同様に、そのvpsr.spatialRegion.spatialScalabilityInfoが対応するアダプテーションセットに制御情報が格納されるサブビットストリームが対応するレイヤを示す識別情報である。例えば、layerId = 0は、ベースレイヤを示し、layerId = 1乃至255は、エンハンスメントレイヤを示す。

つまり、ファイル生成装置が、このレイヤ識別情報（layerId）をMPDのV3C3Dリージョンディスクリプタに格納し、クライアント装置が、このMPDのV3C3Dリージョンディスクリプタに格納されたレイヤ識別情報に基づいてサブビットストリーム（アダプテーションセット）の選択を行ってもよい。このようにすることにより、クライアント装置は、このレイヤ識別情報に基づいて、各アダプテーションセットに制御情報が格納されるサブビットストリーム（疎なパッチ）が対応するレイヤを把握することができる。したがって、クライアント装置は、より容易に、コンテンツ制作者の意図した通りの順番での高精細化を実現するポイントクラウドを選択し、取得することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

また、図２１に示されるように、このレイヤ識別情報に加え、スペーシャルスケーラビリティの最上位レイヤからレイヤ識別情報により示されるレイヤまでの各レイヤに対応するポイントクラウドを再構築することにより得られるポイントクラウドの解像度に関する情報（lod）が、このV3C3Dリージョンディスクリプタのvpsr.spatialRegion.spatialScalabilityInfoに格納されてもよい。

例えば、layerId = 0の場合、このポイントクラウドの解像度に関する情報（lod）は、ベースレイヤ（base layer）のLoD値を示す。また、例えば、layerId = 0でない場合、このポイントクラウドの解像度に関する情報（lod）は、0乃至(layer_id-1)のポイントクラウドと同時に表示することで得られるLoD値を示す。なお、このLoD値は、コンテンツ制作者が定めた目安値でもよい。なお、この場合も、ポイントクラウドの解像度に関する情報（lod）をシグナルせず、layer_idの値がポイントクラウドの解像度に関する情報をシグナルするとしてもよい。つまり、ポイントクラウドの解像度に関する情報（lod）は、レイヤ識別情報（layer_id）に含まれるようにしてもよい。例えば、layer_idの値が、スペーシャルスケーラビリティの最上位レイヤからレイヤ識別情報により示されるレイヤまでの各レイヤに対応するポイントクラウドの解像度（lod値）も示すようにしてもよい。

つまり、ファイル生成装置が、このポイントクラウドの解像度に関する情報（lod）をMPDのV3C3Dリージョンディスクリプタに格納し、クライアント装置が、このMPDのV3C3Dリージョンディスクリプタに格納されたポイントクラウドの解像度に関する情報に基づいてサブビットストリーム（アダプテーションセット）の選択を行ってもよい。このようにすることにより、クライアント装置は、どのアダプテーションセットを選択すれば所望のLoDが得られるかをより容易に把握することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

また、図２１に示されるように、このレイヤ識別情報に加え、スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報（id）が、このV3C3Dリージョンディスクリプタのvpsr.spatialRegion.spatialScalabilityInfoに格納されてもよい。互いに同一のスペーシャルスケーラビリティ識別情報（id）を持つスペーシャルリージョン（SpatialRegion）のグループがスペーシャルスケーラビリティを提供する。つまり、互いに同一のスペーシャルスケーラビリティ識別情報（id）を持つリージョンを複数組み合わせると、高LoDのポイントクラウドが得られる。

つまり、ファイル生成装置が、このスペーシャルスケーラビリティ識別情報（id）をMPDのV3C3Dリージョンディスクリプタに格納し、クライアント装置が、このMPDのV3C3Dリージョンディスクリプタに格納されたスペーシャルスケーラビリティ識別情報（id）に基づいてサブビットストリーム（アダプテーションセット）の選択を行ってもよい。このようにすることにより、クライアント装置は、より容易に、スペーシャルスケーラビリティを提供するグループを特定することができる。したがって、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜スペーシャルスケーラビリティ情報の他の例＞
なお、図２２に示される例のように、vpsr.spatialRegion.spatialScalabilityInfo@idをシグナルせず、代わりにレイヤ数分のvpsr.spatialRegion.spatialScalabilityInfoおよびasIdsをシグナルしてもよい。このとき特定のvpsr.spatialRegion下の複数spatialScalabilityInfoがスペーシャルスケーラビリティ（spatial scalability）を提供する。

＜MPD記述例＞
図２３は、このような本技術を適用した場合の、MPDの記述例を示す図である。図２３の上から５行目に示されるサプリメントプロパティの記述例を図２４に示す。

図２４に示される例の場合、v3c:spatialScalabilityInfoとして、スペーシャルスケーラビリティ識別情報（id）、ポイントクラウドの解像度に関する情報（lod）。および、レイヤ識別情報（layerId）が示されている。

したがって、クライアント装置は、このMPDに基づいて、所望のLoDのポイントクラウドを構築するのに必要なビットストリームを取得することができる。つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜ファイル生成装置＞
図２５は、この場合のファイル生成装置３００の主な構成例を示すブロック図である。つまり、図２５に示されるファイル生成装置３００は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示す。図２５に示されるファイル生成装置３００は、V-PCCを適用して、ポイントクラウドデータをビデオフレームとして２次元画像用の符号化方法により符号化する装置である。また、この場合のファイル生成装置３００は、その符号化により生成したV3Cビットストリームの配信を制御する制御情報を格納するMPDを生成する。

その際、ファイル生成装置３００は、本実施の形態において上述した本技術を適用し、スペーシャルスケーラビリティを可能とするようにMPDに情報を格納する。つまり、ファイル生成装置３００は、スペーシャルスケーラビリティに関する情報をMPDに格納する。

なお、図２５においては、処理部やデータの流れ等の主なものを示しており、図２５に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図２５においてブロックとして示されていない処理部が存在したり、図２５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２５に示されるようにファイル生成装置３００は、図１６を参照して説明した構成に加え、MPD生成部５０１を有する。

この場合、メタデータ生成部３０３は、図１６の場合と同様にメタデータを生成する。例えば、メタデータ生成部３０３は、メタデータとして、取得したサブビットストリームのスペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成する。つまり、メタデータ生成部３０３は、図２０乃至図２４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いて、スペーシャルスケーラビリティ情報を生成する。なお、メタデータ生成部３０３は、スペーシャルスケーラビリティ情報以外の任意のメタデータを生成し得る。

メタデータ生成部３０３は、このように、スペーシャルスケーラビリティ情報を含むメタデータを生成すると、そのメタデータをMPD生成部５０１に供給する。

MPD生成部５０１は、メタデータ生成部３０３から供給される、スペーシャルスケーラビリティ情報を含むメタデータを取得する。MPD生成部５０１は、取得したメタデータを格納するMPDを生成する。つまり、MPD生成部５０１は、スペーシャルスケーラビリティ情報をMPDに格納する。つまり、MPD生成部５０１は、スペーシャルスケーラビリティ情報をシステムレイヤに格納する。

その際、MPD生成部５０１は、スペーシャルスケーラビリティ情報を、図２０乃至図２４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてMPDに格納する。例えば、MPD生成部５０１は、図２４に示されるように、スペーシャルスケーラビリティ情報を、MPDのv3c:spatialScalabilityInfoに格納する。

MPD生成部５０１は、生成したMPDを出力部３０６に供給する。出力部３０６は、供給されたMPD（スペーシャルスケーラビリティ情報を含むMPD）を、ファイル生成装置３００の外部（例えば配信サーバやクライアント装置等）に出力する。

以上のように、ファイル生成装置３００は、本実施の形態において上述した本技術を適用して、スペーシャルスケーラビリティ情報を格納するMPDを生成する。

このような構成とすることにより、V3Cビットストリームを復号するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤにおいて提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

なお、これらの処理部（3D2D変換部３０１乃至出力部３０６、MPD生成部５０１、並びに、符号化部３１１乃至符号化部３１４）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜ファイル生成処理の流れ＞
この場合のファイル生成装置３００により実行されるファイル生成処理の流れの例を、図２６のフローチャートを参照して説明する。

ファイル生成処理が開始されると、ステップＳ５０１乃至ステップＳ５０５の各処理が、図１７のステップＳ３０１乃至ステップＳ３０５の各処理と同様に実行される。

ステップＳ５０６において、ファイル生成部３０５は、ファイルを生成し、V3Cビットストリーム（各サブビットストリーム）をそのファイルに格納する。

ステップＳ５０７において、MPD生成部５０１は、スペーシャルスケーラビリティ情報（例えば、ベース・エンハンスメントポイントクラウド情報）を格納するMPDを生成する。その際、MPD生成部５０１は、スペーシャルスケーラビリティ情報を、図２０乃至図２４等を参照して説明した各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてMPDに格納する。

ステップＳ５０８において、出力部３０６は、ステップＳ５０６において生成されたファイルと、ステップＳ５０７において生成された、スペーシャルスケーラビリティ情報を格納するMPDを、ファイル生成装置３００の外部（例えば配信サーバ等）に出力する。ステップＳ５０８の処理が終了するとファイル生成処理が終了する。

このように各処理を実行することにより、V3Cビットストリームを復号するクライアント装置に対して、スペーシャルスケーラビリティ情報をシステムレイヤにおいて提供することができる。したがって、クライアント装置は、V3Cビットストリームを解析する等の煩雑な作業を必要とせずに、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜クライアント装置＞
本実施の形態において上述した本技術は、ファイル生成装置に限らず、クライアント装置にも適用することができる。図２７は、この場合のクライアント装置４００の主な構成例を示すブロック図である。つまり、図２７に示されるクライアント装置４００は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示す。図２７に示されるクライアント装置４００は、V-PCCを適用し、ポイントクラウドデータをビデオフレームとして２次元画像用の符号化方法により符号化されたV3Cビットストリーム（ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリーム、およびアトラスサブビットストリーム、または、それらをまとめたもの）を、MPDに基づいて取得し、２次元画像用の復号方法により復号し、ポイントクラウドを生成（再構築）する装置である。例えば、クライアント装置４００は、ファイル生成装置３００が生成したMPDに基づいてV3Cビットストリームを取得し、復号してポイントクラウドを生成することができる。

その際、クライアント装置４００は、本実施の形態において上述した本技術の各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてスペーシャルスケーラビリティを実現する。つまり、クライアント装置４００は、MPDに格納されたスペーシャルスケーラビリティ情報に基づいて、所望のLoDのポイントクラウドを再構築するのに必要なビットストリーム（トラック）を選択し、取得する。

なお、図２７においては、処理部やデータの流れ等の主なものを示しており、図２７に示されるものが全てとは限らない。つまり、クライアント装置４００において、図２７においてブロックとして示されていない処理部が存在したり、図２７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２７に示されるようにクライアント装置４００は、図１８に示される構成に加え、MPD解析部６０１を有する。

MPD解析部６０１は、ファイル取得部４１１が取得したMPDを解析し、復号対象とするビットストリームを選択し、ファイル取得部４１１にそのビットストリームを取得させる。

その際、MPD解析部６０１は、本実施の形態において説明した本技術の各種方法の内、いずれかの単数の手法を用いて、または任意の複数の手法を適宜組み合わせて用いてそのMPDを解析する。例えば、MPD解析部６０１は、そのMPDに格納されるスペーシャルスケーラビリティ情報を解析し、復号対象とするサブビットストリームを選択する。例えば、MPD解析部６０１は、スペーシャルスケーラビリティ情報に基づき、ネットワーク環境やクライアント装置４００自身の処理能力に応じたスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせ（つまり、復号対象とするサブビットストリーム）を選択する。MPD解析部６０１は、その解析結果に基づいてファイル取得部４１１を制御し、その選択したビットストリームを取得させる。

この場合、ファイル取得部４１１は、配信サーバ等からMPDを取得し、MPD解析部６０１に供給する。また、ファイル取得部４１１は、MPD解析部６０１により制御され、MPD解析部６０１により選択されたビットストリームを含むファイルを配信サーバ等から取得し、ファイル解析部４１２に供給する。

ファイル解析部４１２は、そのファイルを解析し、抽出部４１３は、その解析結果に基づいて、ビットストリームを抽出し、2D復号部４０２に供給する。

2D復号部４０２乃至表示部４０４は、図１８の場合と同様の処理を行う。

このような構成を有することにより、クライアント装置４００は、システムレイヤに格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

なお、これらの処理部（ファイル処理部４０１乃至表示部４０４、ファイル取得部３１１乃至抽出部４１３、復号部４２１乃至復号部４２４、2D3D変換部４３１および表示処理部４３２、並びに、MPD解析部６０１）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜クライアント処理の流れ＞
このクライアント装置４００により実行されるクライアント処理の流れの例を、図２８のフローチャートを参照して説明する。

クライアント処理が開始されると、クライアント装置４００のファイル取得部４１１は、ステップＳ６０１において、MPDを取得する。

ステップＳ６０２において、MPD解析部６０１は、そのMPDに記述されたスペーシャルスケーラビリティ情報（ベース・エンハンスメントポイントクラウド情報）に基づき、ネットワーク環境やクライアント処理能力に応じてたスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを選択する。

ステップＳ６０３において、ファイル取得部４１１は、アトラスサブビットストリームと、ステップＳ６０２において選択した複数の疎なポイントクラウドに対応するビデオサブビットストリームを格納するファイルを取得する。

ステップＳ６０４において、抽出部４１３は、そのファイルからトラスサブビットストリームとビデオサブビットストリームを抽出する。

ステップＳ６０５乃至ステップＳ６０８の各処理は、図１９のステップＳ４０４乃至ステップＳ４０７の各処理と同様に実行される。

ステップＳ６０８の処理が終了するとクライアント処理が終了する。

以上のように各処理を実行することにより、クライアント装置４００は、システムレイヤに格納されたスペーシャルスケーラビリティ情報に基づいてスペーシャルスケーラビリティを提供するポイントクラウドの組み合わせを識別することができる。したがって、例えばV-PCCコンテンツ配信において、クライアント装置は、ビットストリームを解析する等の煩雑な作業を必要とせずに、クライアント環境に応じて適切なLoDのポイントクラウドを選択することができる。つまり、クライアント装置は、より容易に、スペーシャルスケーラビリティを利用して３Ｄデータを再生することができる。

＜４．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２９に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用可能な対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータを符号化して、前記スペーシャルスケーラビリティの単数または複数のレイヤに対応する前記ポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成する符号化部と、
前記サブビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、
前記符号化部により生成された前記ビットストリームと、前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報とを格納するファイルを生成するファイル生成部と
を備える情報処理装置。
（２） 前記スペーシャルスケーラビリティ情報は、前記ファイルのトラックグループに格納される前記サブビットストリームが対応する前記レイヤを示すレイヤ識別情報を含む
（１）に記載の情報処理装置。
（３） 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティの最上位レイヤから前記レイヤ識別情報により示される前記レイヤまでの各レイヤに対応する前記ポイントクラウドを再構築することにより得られる前記ポイントクラウドの解像度に関する情報をさらに含む
（２）に記載の情報処理装置。
（４） 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報をさらに含む
（３）に記載の情報処理装置。
（５） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータを符号化して、前記スペーシャルスケーラビリティの単数または複数のレイヤに対応する前記ポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成し、
前記サブビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成し、
生成された前記ビットストリームと前記スペーシャルスケーラビリティ情報とを格納するファイルを生成する
情報処理方法。

（６） ファイルに格納される、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号する前記スペーシャルスケーラビリティのレイヤを選択する選択部と、
前記ファイルに格納される前記ビットストリームから、前記選択部により選択された前記レイヤに対応するサブビットストリームを抽出する抽出部と、
前記抽出部により抽出された前記サブビットストリームを復号する復号部と
を備える情報処理装置。
（７） 前記選択部は、前記スペーシャルスケーラビリティ情報に含まれる、前記ファイルのトラックグループに格納される前記サブビットストリームが対応する前記レイヤを示すレイヤ識別情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（６）に記載の情報処理装置。
（８） 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティの最上位レイヤから前記レイヤ識別情報により示される前記レイヤまでの各レイヤに対応する前記ポイントクラウドを再構築することにより得られる前記ポイントクラウドの解像度に関する情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（７）に記載の情報処理装置。
（９） 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（８）に記載の情報処理装置。
（１０） ファイルに格納される、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号する前記スペーシャルスケーラビリティのレイヤを選択し、
前記ファイルに格納される前記ビットストリームから、選択された前記レイヤに対応するサブビットストリームを抽出し、
抽出された前記サブビットストリームを復号する
情報処理方法。

（１１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータを符号化して、前記スペーシャルスケーラビリティの単数または複数のレイヤに対応する前記ポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成する符号化部と、
前記サブビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、
前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報と、前記符号化部により生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する制御ファイル生成部と
を備える情報処理装置。
（１２） 前記スペーシャルスケーラビリティ情報は、前記制御ファイルのアダプテーションセットに前記制御情報が格納される前記サブビットストリームが対応する前記レイヤを示すレイヤ識別情報を含む
（１１）に記載の情報処理装置。
（１３） 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティの最上位レイヤから前記レイヤ識別情報により示される前記レイヤまでの各レイヤに対応する前記ポイントクラウドを再構築することにより得られる前記ポイントクラウドの解像度に関する情報をさらに含む
（１２）に記載の情報処理装置。
（１４） 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報をさらに含む
（１３）に記載の情報処理装置。
（１５） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータを符号化して、前記スペーシャルスケーラビリティの単数または複数のレイヤに対応する前記ポイントクラウドが符号化されたサブビットストリームを含むビットストリームを生成し、
前記サブビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報を生成し、
生成された前記スペーシャルスケーラビリティ情報と、生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する
情報処理方法。

（１６） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号する前記スペーシャルスケーラビリティのレイヤを選択する選択部と、
前記選択部により選択された前記レイヤに対応するサブビットストリームを取得する取得部と、
前記取得部により取得された前記サブビットストリームを復号する復号部と
を備える情報処理装置。
（１７） 前記選択部は、前記スペーシャルスケーラビリティ情報に含まれる、前記制御ファイルのアダプテーションセットに前記制御情報が格納される前記サブビットストリームが対応する前記レイヤを示すレイヤ識別情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（１６）に記載の情報処理装置。
（１８） 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティの最上位レイヤから前記レイヤ識別情報により示される前記レイヤまでの各レイヤに対応する前記ポイントクラウドを再構築することにより得られる前記ポイントクラウドの解像度に関する情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（１７）に記載の情報処理装置。
（１９） 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報に基づいて、復号する前記スペーシャルスケーラビリティの前記レイヤを選択する
（１８）に記載の情報処理装置。
（２０） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであって、スペーシャルスケーラビリティに対応する前記ポイントクラウドが２次元化された２Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関するスペーシャルスケーラビリティ情報に基づいて、復号する前記スペーシャルスケーラビリティのレイヤを選択し、
選択された前記レイヤに対応するサブビットストリームを取得し、
取得された前記サブビットストリームを復号する
情報処理方法。

３００ ファイル生成装置， ３０１ 3D2D変換部， ３０２ 2D符号化部， ３０３ メタデータ生成部， ３０４ PCストリーム生成部， ３０５ ファイル生成部， ３０６ 出力部， ３１１乃至３１４ 符号化部， ４００ クライアント装置， ４０１ ファイル処理部， ４０２ 2D復号部， ４０３ 表示情報生成部， ４０４ 表示部， ４１１ ファイル取得部， ４１２ ファイル解析部， ４１３ 抽出部， ４２１乃至４２４ 復号部， ４３１ 2D3D変換部， ４３２ 表示処理部， ５０１ MPD生成部， ６０１ MPD解析部

Claims (12)

1. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成する符号化部と、
   前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、
   前記符号化部により生成された前記ビットストリームを格納するファイルを生成し、前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報を前記ファイルのシステムレイヤに格納するファイル生成部と
   を備える情報処理装置。
2. 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報をさらに含む
   請求項１に記載の情報処理装置。
3. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成し、
   前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成し、
   生成された前記ビットストリームを格納するファイルを生成し、生成された前記スペーシャルスケーラビリティ情報を前記ファイルのシステムレイヤに格納する
   情報処理方法。
4. ファイルのシステムレイヤに格納される、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに関する情報であって、前記３Ｄデータの前記解像度に基づく階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択する選択部と、
   前記ファイルに格納される前記３Ｄデータのビットストリームから、前記選択部により選択された前記レイヤに対応する前記サブビットストリームを抽出する抽出部と、
   前記抽出部により抽出された前記サブビットストリームを復号する復号部と
   を備える情報処理装置。
5. 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報に基づいて、復号する前記レイヤを選択する
   請求項４に記載の情報処理装置。
6. ファイルのシステムレイヤに格納される、再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに関する情報であって、前記３Ｄデータの前記解像度に基づく階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択し、
   前記ファイルに格納される前記３Ｄデータのビットストリームから、選択された前記レイヤに対応するサブビットストリームを抽出し、
   抽出された前記サブビットストリームを復号する
   情報処理方法。
7. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成する符号化部と、
   前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成するスペーシャルスケーラビリティ情報生成部と、
   前記スペーシャルスケーラビリティ情報生成部により生成された前記スペーシャルスケーラビリティ情報と、前記符号化部により生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する制御ファイル生成部と
   を備える情報処理装置。
8. 前記スペーシャルスケーラビリティ情報は、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報をさらに含む
   請求項７に記載の情報処理装置。
9. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、
   前記解像度に基づく階層構造を有する前記３Ｄデータを前記階層構造のレイヤ毎にサブビットストリームとして符号化し、前記サブビットストリームを含むビットストリームを生成し、
   前記サブビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記サブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報を生成し、
   生成された前記スペーシャルスケーラビリティ情報と、生成された前記ビットストリームの配信に関する制御情報とを格納する制御ファイルを生成する
   情報処理方法。
10. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択する選択部と、
    前記選択部により選択された前記レイヤに対応するサブビットストリームを取得する取得部と、
    前記取得部により取得された前記サブビットストリームを復号する復号部と
    を備える情報処理装置。
11. 前記選択部は、さらに、前記スペーシャルスケーラビリティ情報に含まれる、前記スペーシャルスケーラビリティを識別するスペーシャルスケーラビリティ識別情報に基づいて、復号する前記レイヤを選択する
    請求項１０に記載の情報処理装置。
12. 再構築された３Ｄデータの解像度を制御するスペーシャルスケーラビリティに対応し、前記解像度に基づく階層構造を有する前記３Ｄデータが符号化されたビットストリームの配信に関する制御情報が格納された制御ファイルに格納される、前記ビットストリームの前記スペーシャルスケーラビリティに関する情報であって、前記階層構造のレイヤ毎に符号化されたサブビットストリームに対応する前記レイヤの識別情報と、前記階層構造の最上位レイヤから前記サブビットストリームのレイヤまでを再構築することにより得られる前記３Ｄデータの前記解像度に関する情報とを含むスペーシャルスケーラビリティ情報に基づいて、復号する前記レイヤを選択し、
    選択された前記レイヤに対応するサブビットストリームを取得し、
    取得された前記サブビットストリームを復号する
    情報処理方法。