JP7216351B2

JP7216351B2 - 点群符号化構造

Info

Publication number: JP7216351B2
Application number: JP2021535985A
Authority: JP
Inventors: ダニーログラジオッシ; 央二中神; アリタバタバイ
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-12-19
Filing date: 2019-09-18
Publication date: 2023-02-01
Anticipated expiration: 2039-09-18
Also published as: CN113196784B; WO2020128650A1; CN113196784A; EP3881553A1; US11095900B2; JP2022517060A; US20200204808A1; KR20210088630A

Description

〔関連出願との相互参照〕
本出願は、２０１９年３月２０日に出願された「点群符号化構造（ＰＯＩＮＴＣＬＯＵＤＣＯＤＩＮＧＳＴＲＵＣＴＵＲＥ）」という名称の米国仮特許出願第６２／８２１，１３９号、２０１９年１月１１日に出願された「点群符号化構造」という名称の米国仮特許出願第６２／７９１，３２８号、２０１９年１月２日に出願された「点群符号化構造」という名称の米国仮特許出願第６２／７８７，６３７号、２０１８年１２月１９日に出願された「点群符号化構造」という名称の米国仮特許出願第６２／７８１，９６８号の米国特許法第１１９条に基づく優先権を主張するものであり、これらの文献はその全体が全ての目的で引用により本明細書に組み入れられる。

本発明は、３次元グラフィックスに関する。具体的には、本発明は、３次元グラフィックスの符号化に関する。

点群（ｐｏｉｎｔｃｌｏｕｄｓ）は、３Ｄスキャナ、ＬＩＤＡＲセンサによって取り込まれた、又は仮想現実／拡張現実(ＶＲ／ＡＲ)などの大衆向け用途で使用される３Ｄデータの伝送フォーマット候補とみなされてきた。点群は、３Ｄ空間内の点の集合である。通常、各点は、空間位置（Ｘ、Ｙ、Ｚ）以外に、色（Ｒ、Ｇ、Ｂ）、又は（ＬＩＤＡＲ画像などにおける）反射率及び時間的タイムスタンプなどの関連する属性を有する。装置は、標的３Ｄオブジェクトの高品質表現を取得するために、約数千個又は数百万個もの点の点群を取り込む。さらに、ＶＲ／ＡＲ用途で使用される動的３Ｄシーンでは、しばしば全ての単一フレームが固有の高密度な点群を有し、結果として毎秒数百万個もの点群が伝送されるようになる。このような大量データの伝送を実行できるように、しばしば圧縮が適用される。

２０１７年に、ＭＰＥＧは点群圧縮のための提案募集（ＣｆＰ）を行った。ＭＰＥＧは、複数の提案を評価した後に、（八分木及び同様の符号化法に基づく）３Ｄネイティブな符号化技術、又は３Ｄから２Ｄへの投影後における従来のビデオ符号化という２つの異なる技術を点群圧縮のために検討している。ＭＰＥＧは、動的３Ｄシーンについては、パッチサーフェスモデリング（ｐａｔｃｈｓｕｒｆａｃｅｍｏｄｅｌｉｎｇ）に基づくテストモデルソフトウェア（ＴＭＣ２）、３Ｄから２Ｄ画像へのパッチ投影、及びＨＥＶＣなどのビデオエンコーダを用いた２Ｄ画像の符号化を使用する。この方法は、ネイティブな３Ｄ符号化よりも効率的であることが証明されており、許容できる品質で優位性のあるビットレートを達成することができる。

ＴＭＣ２は、点群の符号化時に、２Ｄキャンバス画像内のパッチ位置及び境界ボックスサイズなどの、パッチ投影に関連する補助情報を符号化する。補助情報の時間符号化では、現在の点群からのパッチと復号直後の点群からのパッチとの間のパッチマッチングが予測に使用される。この手順は直近のものに限定され、シーケンス内の全てのフレームについてデルタ符号化（ｄｅｌｔａｃｏｄｉｎｇ）を実行することを含む。

点群符号化構造が、点群パッチの予測に使用される全ての参照が現在の点群フレームに制限される「キー」点群フレームを定める。参照パッチのリスト及びその点群フレームからのそれぞれの境界ボックスを別のフレーム内のパッチ予測に使用するために記憶する点群パッチバッファについて説明する。点群フレームの符号化順が提示順と異なることができる場合、参照パッチのリストは過去からのパッチ及び将来からのパッチを含むことができ、双方向予測が使用される。点群の層にも同様の参照バッファリストの概念を適用することができる。上位レベル情報を含むブロックのＩＤへの参照をペイロード内でシグナリングすることによってＶ-ＰＣＣのブロックを相関させるシグナリング法についても説明する。

１つの態様では、装置の非一時メモリにプログラムされた方法が、点群符号化構造を実装するステップと、点群符号化構造を使用して点群メタデータを符号化するステップとを含む。点群符号化構造を実装するステップは、予測のために他のどのフレームにも依存しないキー点群フレームを決定するステップを含む。点群メタデータを符号化するステップは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する。双方向予測は、過去のパッチ及びメタデータ情報のための第１の構造、並びに将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する。第１の構造及び第２の構造は、点群パッチバッファに記憶される。方法は、点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にするステップをさらに含む。方法は、Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装するステップをさらに含む。

別の態様では、装置が、点群符号化構造を実装し、点群符号化構造を使用して点群メタデータを符号化するためのアプリケーションを記憶する非一時的メモリと、メモリに結合されてアプリケーションを処理するように構成されたプロセッサとを含む。点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む。点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する。双方向予測は、過去のパッチ及びメタデータ情報のための第１の構造、並びに将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する。第１の構造及び第２の構造は、点群パッチバッファに記憶される。方法は、点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にすることをさらに含む。装置は、Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装することをさらに含む。

別の態様では、システムが、点群符号化構造と、点群符号化構造を使用して点群メタデータを符号化するエンコーダとを含む。点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む。点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する。双方向予測は、過去のパッチ及びメタデータ情報のための第１の構造、並びに将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する。第１の構造及び第２の構造は、点群パッチバッファに記憶される。システムは、点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にすることをさらに含む。システムは、Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装することをさらに含む。

いくつかの実施形態による、「キー」点群フレームのための補助情報バッファの図である。いくつかの実施形態による、時間的予測を利用する補助情報バッファの図である。いくつかの実施形態による、双方向予測を利用する補助情報バッファの図である。いくつかの実施形態による、層の階層的グループ化の図である。いくつかの実施形態によるＶ－ＰＣＣシグナリングの図である。いくつかの実施形態による、論理チェーン情報を含むＶ－ＰＣＣシグナリングの例示的な符号化の図である。いくつかの実施形態による、論理チェーン情報を含むＶ－ＰＣＣシグナリングの例示的な符号化の図である。いくつかの実施形態による、論理チェーン情報を含むＶ－ＰＣＣシグナリングの例示的な符号化の図である。いくつかの実施形態による、点群符号化構造を実装する方法のフローチャートである。いくつかの実施形態による、点群符号化構造を実装するように構成された例示的なコンピュータ装置のブロック図である。

本明細書では、動的点群の時間的圧縮のための新規符号化構造について説明する。この符号化構造は、点群パッチの予測に使用される全ての参照が現在の点群フレームに制限される「キー」点群フレームの概念を定める。さらに、参照パッチのリスト及びその点群フレームからのそれぞれの境界ボックスを別のフレーム内のパッチの予測に使用するために記憶する点群パッチバッファについても説明する。点群フレームの符号化順が提示順と異なることができる場合、参照パッチのリストは過去からのパッチ及び将来からのパッチを含むことができ、双方向予測が使用される。点群の層にも同様の参照バッファリストの概念を適用することができる。上位レベル情報を含むブロックのＩＤへの参照をペイロード内でシグナリングすることによってＶ-ＰＣＣのブロックを相関させるシグナリング法についても説明する。

メタデータ情報（パッチ及びそれぞれの境界ボックス）を含むバッファが、前のフレームからのデータを記憶する。次に、エンコーダが、現在のフレームを符号化するために、現在のフレームと前のフレームから記憶されたパッチとの間のパッチマッチング（ｐａｔｃｈｍａｔｃｈｉｎｇ）を実行する。さらに、これらのパッチを、将来的に配置されることも又はされないこともある２又は３以上前のフレームからの２又は３以上のパッチとマッチングすることができる。双方向予測を可能にするために、参照パッチリストを、一方が過去のフレームを示して他方が将来のフレームを示す２つの別のリストに記憶することができる。「キー」点群フレームが定められる場合、過去の点群フレームを使用した予測は認められず、使用される全ての参照は現在のフレームに由来すべきである。さらに、Ｖ－ＰＣＣユニットのシグナリング構造は、上位レベルの要素への参照を含むものとする。例えば、属性パッチパラメータセット（ＡｔｔｒｉｂｕｔｅＰａｔｃｈＰａｒａｍｅｔｅｒＳｅｔ：ＡＰＰＳ）のための情報を含むブロックは、属性パラメータセット（ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ：ＡＰＳ）の情報を含むブロックを参照し、これはＩＤを使用して行われる。

ＨＥＶＣなどのビデオエンコーダにおいて使用される復号ピクチャバッファ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：ＤＰＢ）と同様の、現在の情報を予測するための過去の情報のリストについて説明する。この技術の新規性は、画像を符号化するためだけに参照リストを使用するのではなく、メタデータ情報（パッチ）を符号化するためにも使用する点である。さらに、本明細書では、上位レベルの情報を含むブロックへの参照をペイロード内で示すシグナリング法についても説明する。

本明細書で説明する点群符号化構造は、構造をより効率的なものにするために点群符号化標準に追加された新たな要素に関連する情報を含む。含まれる情報は、点群圧縮ビットストリーム（ｐｏｉｎｔｃｌｏｕｄｃｏｍｐｒｅｓｓｅｄｂｉｔｓｔｒｅａｍｓ）の関係性、並びに符号化及び復号方法を提供する。

点群符号化標準では、点群を曲面パッチ（ｓｕｒｆａｃｅｐａｔｃｈｅｓ）にセグメント化して曲面パッチを投影する。この投影により、１又は２以上の２Ｄビデオエンコーダを使用して符号化できる２Ｄ画像が生成される。２Ｄ画像の生成法及び３Ｄ画像からの２Ｄ画像の再構築法、又はこれらの逆（例えば、３Ｄの点から２Ｄビデオへの移行方法などのマッピング情報）を示す補助情報（又はメタデータ）が送信される。例えば、点群は１００個のパッチに分割され、すなわち点群からパッチへの移行方法又は３Ｄパッチから２Ｄパッチへの移行方法を示すメタデータが存在する。メタデータは、フレーム間の時間的相関などの特性を含む。このメタデータ（例えば、時間的相関情報）は符号化される。例えば、点群の１つのフレームは１００個のパッチに分割され、１つのパッチは、顔上の全ての点が単一のパッチにグループ化された顔パッチである。次のフレームはわずかにシフトした点群を含み、今回は点群が１１０個のパッチに分割され、２つのパッチが顔を表す。フレーム毎のパッチのリストを他のフレームからのパッチのリストと相関させることができる。例えば、補助情報はパッチの位置情報（例えば、位置１０）などの３Ｄ情報を含み、第２のフレーム内のパッチの位置情報（例えば、位置１１）は異なる／変化する。新たな位置を符号化する必要はなく、古いパッチと比べた新たなパッチの関係が符号化される（例えば、この例では第２のフレームからのパッチが位置ｐ＋１である）。従って、これらのフレーム間のパッチ間の関係／相関を記憶することができる。この例では現在のフレーム及び前のフレームについて説明しているが、あらゆるフレームを使用及び相関させることができる。

パッチが５フレーム前のフレームの前のフレーム内のパッチに時間的に相関するように、補助情報のためのバッファリング構造を生成することができる。バッファリング構造は、パッチ及びフレームの全ての依存性を示す。その後、キーフレームに類似する前のフレームに依存しない補助情報などの異なるタイプの補助情報を生成することができる。過去からのフレームに依存するパッチは時間的予測を含む。フレームが順に符号化されるのではなくパッチが過去及び将来のパッチを参照できるようにフレームを並べ替える双方向予測を実装することができ、これによって高い柔軟性が可能になる。

図１に、いくつかの実施形態による、「キー」点群フレームのための補助情報バッファの図を示す。「キー」点群フレームでは、各パッチの補助情報が同じフレーム内の前のパッチからのものである。さらなるフレームからの補助情報は利用されない。

図２に、いくつかの実施形態による、時間的予測を利用する補助情報バッファの図を示す。時間的予測では、パッチの補助情報が前のフレーム（例えば、Ｆｒａｍｅ_N-1．．．Ｆｒａｍｅ₀）からのパッチに由来することができる。

図３に、いくつかの実施形態による、双方向予測を利用する補助情報バッファの図を示す。双方向予測では、パッチの補助情報が前のフレーム（例えば、Ｆｒａｍｅ_N-1．．．Ｆｒａｍｅ₀）又は将来のフレーム（例えば、Ｆｒａｍｅ_N+1）からのパッチに由来することができる。

補助情報のデルタ性／差動性を考えると、現在のＴＭＣ２マッチング手法の限界は、参照として前の補助情報データユニットしか使用されない点である。現在の補助情報データユニットのより柔軟な予測スキームは、一連の予め定められた参照補助情報セット（ｒｅｆｅｒｅｎｃｅａｕｘｉｌｉａｒｙｉｎｆｏｒｍａｔｉｏｎｓｅｔ：ＲＡＩＳ）から参照リストを作成することである。図３に、参照補助情報セット及びＬＤのリストの例を示す。

図３の例は、参照セット及びリストの概念を使用する単純な実装を示す。しかしながら、この実装は、ランダムアクセスのための双予測の使用、及びＬ０に加えたＬ１型参照リストの導入により、ジオメトリビデオコーデック（ｇｅｏｍｅｔｒｙｖｉｄｅｏｃｏｄｅｃ）のＧＯＰ構成に従って一連の予め定められた参照補助情報セットを生成するための柔軟性を提供する。また、現在のスキームを、現在のフレーム内の一致するパッチが異なる参照フレームインデックスを参照できるようにさらに拡張して一般化することもできる。

ビデオ層バッファでは、３Ｄ面から２Ｄ面に点を投影した時に、互いに重なり合って投影される点がいくつか存在する。これらの点を保持するために、第１の層が第１の点であり、第２の層が第２の点であり、以下同様であるようなビデオ層を実装することができる。いくつかの実装では、第１の層が最初の点であり、第２の層が最後の点である２つの層のみを利用し、これらの間の点は符号化されない。いくつかの実装では、さらなる層（例えば、１６個の層）を利用することもできる。

具体的に言えば、現在のＶ－ＰＣＣ仕様では最大１６個の層が存在できるのに対し、ＴＭＣ２ＳＷの実装では層数がたった２つに制限される。また、フラグ「ａｂｓｏｌｕｔｅ＿ｄ１＿ｆｌａｇ」を使用して、単一のインターリーブ層０／層１入力（ａｂｓｏｌｕｔｅ＿ｄ１＿ｆｌａｇ＝１）、又は２つの入力（（ａｂｓｏｌｕｔｅ＿ｄ１＿ｆｌａｇ＝０）：層０及びジオメトリビデオコーデックへの残差（ｌａｙｅｒ＿1－ｌａｙｅｒ＿０）を生成する。２つよりも多くの層を取り扱う場合には、予測順のシグナリングがより複雑になる。従って、参照補助情報セット及びリストの概念を複数の層に拡張することで、両ケースに対応する統一された方法が得られる。

２つよりも多くの層（３Ｄ面からのスライス）の利用を可能にするためにＦＩＦＯバッファを実装することができる。ＦＩＦＯバッファは、どの層が以前に符号化されたかを示すことができる。これらの層は、階層的な予測スキームを生成するために階層的にグループ化することもできる。例えば、層を階層グループに組み合わせて、これらの階層グループを予測に使用することができる。図４に、いくつかの実施形態による層の階層的グループ化の図を示す。

単一の／２つの層を作成する別の方法は、現在のＴＭＣ２実装に従って２層スキーム又は単一層スキームのいずれかを生成する、層の階層的グループ化である。このようなグループ化の情報は、固定／事前定義し、又はデコーダに送信することができる。

図５に、いくつかの実施形態によるＶ－ＰＣＣシグナリングの図を示す。Ｖ－ＰＣＣビットストリームはＶ－ＰＣＣユニットを含み、各Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダ及びＶ－ＰＣＣユニットペイロードを含む。Ｖ－ＰＣＣユニットペイロードは、シーケンスパラメータセット、占有パラメータセット、ジオメトリパッチパラメータセット、占有ビデオデータユニット、フレームパラメータセット、ジオメトリパラメータセット、属性パッチパラメータセット、ジオメトリビデオデータユニット、属性パラメータセット、補助情報データユニット、又は属性ビデオデータユニットのうちのいずれかとすることができる。

各Ｖ－ＰＣＣユニットの論理チェーンを生成するために、各Ｖ－ＰＣＣユニットのＶ－ＰＣＣビットストリームと共にシグナリングを含めることができる。例えば、ジオメトリパッチパラメータセットは、シーケンスパラメータセットに関連することができる。シグナリングは、Ｖ－ＰＣＣユニットを関連付ける情報を含むことができる。

図６～図８に、いくつかの実施形態による、論理チェーン情報を含むＶ－ＰＣＣシグナリングの例示的な符号化を示す。シーケンスパラメーターセット（ｓｐｓ）は、シーケンス全体にとって有効なパラメータを定める。シーケンスパラメータセットのＩＤはｓｐｓ＿ｓｐｓ＿ｉｄである。属性パラメータセット（ａｐｓ）は、特定の属性のパラメータを定める。属性パラメータセットは、ペイロード内のａｐｓ＿ａｐｓ＿ｉｄ及びｓｐｓ＿ｓｐｓ＿ｉｄによって示されるシーケンスパラメータセットに関連する。パラメータ又は条件のライブラリを生成した後に、シグナリング／ＩＤを使用してライブラリからの選択を行うことができる。図８に示すように、フレームパラメータセットユニットは、イントラフレームの指示、デコーダバッファをリセットするためのメタデータ情報、デコーダへの通知、パッチ配向などの新たなデフォルト値、などの情報を送信するために使用することができる。

ｓｐｓペイロードはグローバルスコープ（ｇｌｏｂａｌｓｃｏｐｅ）を有しているので、属性タイプ、対応する（単複の）次元（この情報はテーブルから非明示的に導出することができる）及び各属性のインスタンス数をシグナリングすることができる。

現在のＴＭＣ２ＳＷ内のビデオデータユニットはフレームグループ（ＧｒｏｕｐｏｆＦｒａｍｅ：ＧｏＦ）固有のものであり、ＣＤ構文仕様（ＣＤｓｙｎｔａｘｓｐｅｃｉｆｉｃａｔｉｏｎ）には従わない。

現在の草案には層０及び層１をインターリーブする順序が指定されていないので、デフォルト順を指定することができる。この順序が固定されていて変更できない場合には、エンコーダに制約を課すことができる。ヘッダにｌａｙｅｒ＿ｉｎｄｅｘ値を導入することによって、より柔軟な順序で層を符号化することが可能になる。

「パラメータセットｉｄ」を追加することで、各パッチのメタデータ情報をシグナリングする必要なく同様の／共通する機能（例えばＲＯＩなどのスケール、オフセット）を有するパッチのグループを表すためのよりコンパクトな方法、誤り耐性、及びＨＥＶＣ／ＡＶＣにおいてパラメータセットＩＤの使用が十分に確立される協調をサポートすることができる。ＴＭＣ１３も同様の概念を使用する。

ＧｏＦの概念は、ＴＭＣ２では導入されているが現在の草案ではサポートされていないので、ＨＥＶＣ「ＩＤＲ」又は「ＣＲＡ」ピクチャに若干類似する、フレーム内のランダムアクセスポイント（クローズド又はオープンＧＯＰ）を識別できる機構が依然として必要である。ある実装は、フレームパラメータセットユニットを使用して、１）ＩＲＡＰ（例えばＩＤＲ、ＣＲＡなどのイントラランダムアクセスポイント）の指示、２）デコーダバッファをリセットするためのメタデータ情報、及び３）デフォルト値のリセット、などの他の情報を伝えることを含む。ＣＲＡ（オープンＧＯＰ）の場合には必ずしも出力順と復号順が同じではないので、その使用は補助情報入力の並べ替えが可能であるかどうかに依存する。

以下は例示的なコードである。
sequence_parameter_set( ) { 記述子

profile_idc u(7)

tier_flag u(1)

level_idc u(8)

frame_width u(16)

frame_height u(16)

additional_points_patch_enabled _flag u(1)

if ( additional_points_patch_enabled_flag ) {

additional_points_separate_video_enabled_flag u(1)

}

auxiliary_information_delta_coding_enabled_flag u(1)

auxiliary_information_delta_coding_enabled_flag u(1)

layer_count_minus1 u(4)

layer_ref_enabled_flag u(1)

num_layer_ref_sets u(4)

for( i = 0; i < num_layer_ref_sets; i++)

rlayer_ref_sets(i)

attribute_count u(16)

geometry_metadata_enabled_flag u(1)

if ( geometry_metadata_enabled_flag ) {

geometry_smoothing_metadata_enabled_flag u(1)

geometry_scale_metadata_enabled_flag u(1)

geometry_offset_metadata_enabled_flag u(1)

frame_parameter_set ( ) { 記述子

byte_alignment ( )

}

以下は例示的なコードである。

auxiliary_information_data_unit( ) { 記述子

patch_count_minus1 u(32)

if(auxiliary_information_orientation_enabled_flag) {

auxiliary_information_patch_orientation_present_flag u(1)

}

patch_2d_shift_u_bit_count_minus1 u(8)

patch_2d_shift_v_bit_count_minus1 u(8)

patch_3d_shift_tangent_axis_bit_count_minus1 u(8)

patch_3d_shift_bitangent_axis_bit_count_minus1 u(8)

patch_3d_shift_normal_axis_bit_count_minus1 u(8)

patch_lod_bit_count_minus1 u(8)

if( auxiliary_information_delta_coding_enabled_flag &&

pc_frame_type != IDR || != CRA ){

use_bit_count_for_unmatched_patch_enabled_flag u(1)

if( bit_count_for_unmatched_patch_enabled_flag ) {

inherit_patch_2d_shift_u_bit_count_for_ u(1)

unmatched_patch_flag

if( inherit_patch_2d_shift_u_bit-count_for_

unmatched_patch_flag ){

unmatched_patch_2d_shift_u_bit_ u(8)

count_minus1

}

inherit_patch_2d_shift_v_bit_count_for_ u(1)

unmatched_patch_flag

if( inherit_patch_2d_shift_v_bit_count_for_

unmatched_patch_flag ){

unmatched_patch_2d_shift_v_bit_ u(8)

count_minus1

}

inherit_patch_3d_shift_tangent_axis_bit_ u(1)

count_for_unmatched_patch_flag

if( inherit_patch_3d_shift_tangent_axis_

bit_count_for_unmatched_patch_flag ){

unmatched_patch_3d_shift_tangent_ u(8)

axis_bit_count_minus1

}

inherit_patch_3d_shift_bitangent_axis_bit_ u(1)

count_for_unmatched_patch_flag

if( inherit_patch_3d_shift_bitangent_axis_bit_

count_for_unmatched_patch_flag ){

unmatched_patch_3d_shift_bitangent_axis_ u(8)

bit_count_minus1

}

inherit_patch_3d_shift_normal_axis_bit_ u(1)

count_for_unmatched_patch_flag

if( inherit_patch_3d_shift_normal_axis_bit_

count_for_unmatched_patch_flag ){

unmatched_patch_3d_shift_normal_axis_ u(8)

bit_count_minus1

}

}

for( p = 0; p < matched_patch_count; p++ ) {

delta_patch_index[ p ] ae(v)

delta_patch_2d_shift_u[ p ] se(v)

delta_patch_2d_shift_v[ p ] se(v)

delta_patch_3d_shift_tangent_axis[ p ] se(v)

delta_patch_3d_shift_bitangent_axis[ p ] se(v)

delta_patch_3d_shift_normal_axis[ p ] se(v)

if( geometry_absolute_coding_enabled_flag )

patch_projection_mode[ p ] ae(v)

delta_patch_2d_size_u[ p ] se(v)

delta_patch_2d_size_v[ p ] se(v)

}

for( p = matched_patch_count; p <= patch_count_minus1; p++ ) {

patch_2d_shift_u[ p ] ae(v)

patch_2d_shift_v[ p ] ae(v)

if(auxiliary_information_flexible_orientation

present_flag)

patch_orientation_index[ p ] ae(v)

patch_3d_shift_tangent_axis[ p ] ae(v)

patch_3d_shift_bitangent_axis[ p ] ae(v)

patch_3d_shift_normal_axis[ p ] ae(v)

patch_lod[ p ] ae(v)

if( geometry_absolute_coding_enabled_flag )

patch_projection_mode[ p ] ae(v)

delta_patch_2d _size_u[ p ] se(v)

delta_patch_2d _size_v[ p ] se(v)

normal_axis[ p ] ae(v)
}

}

byte_alignment( )

}

委員会草案では、「ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ」のセマンティックが以下のように指定される。
ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔは、点群に関連する属性の数を示す。
ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔは、０～６５５３５の範囲内とする。ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔのセマンティックは、点群に関連する各属性の属性インスタンスの総数を示すように見える。その後、以下の構文テーブルは、「ａｐｓ＿ａｔｔｒｉｂｕｔｅｃｏｄｅｃ＿ｉｄ」「ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｍｉｎｕｓ１」などの「ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）」構文要素の一部（或いは全て又はそのグループ）が変化しないままであるにもかかわらず、同じ属性タイプについて「ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）」構造が属性インスタンス毎に繰り返し呼び出されることを示す。

シーケンスパラメータセット構文

sps_attribute_count u(16)

for (i = 0; i < sps_attribute_count; i++)

attribute_parameter_set (i)

以下に示すように、属性インスタンスではなく属性タイプの数を参照する別の定義が存在することもできる。この後者の解釈では、ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ値の範囲は０～１５となる。従って、以下の構文テーブルの変更を実装することができる。

Ｖ－ＰＣＣユニットヘッダ構文

vpcc_unit_header 記述子

・・・・・・・・・・・・・・・・

if (vpcc_unit_type = = VPCC_AVD) {

vpcc_attribute_type_index u(4)

vpcc_attribute instance_index u(7)

・・・・・・・・・・・・・・・・

シーケンスパラメータセット構文

sps_attribute_type_count u(4)

for (i = 0; i < sps_attribute_type_count; i++

attribute_parameter_set (i)

属性パラメータセット構文

attribute_parameter_set (attributeTypeIndex) { 記述子

aps_attribute_dimension_minus1[attributeTypeIndex] u(8)

attributeDimension = aps_attribute_dimension_minus1

[attributeTypeIndex] + 1

aps_attribute_type_id[attributeTypeIndex] u(4)

aps_attribute_codec_id[attributeTypeIndex] u(8)

aps_attribute_instance_count[attributeTypeIndex] u(7)

attInstCnt = aps_attribute_instance_count [attributeTypeIndex]

if(attrInstCnt > 1)

aps_attribute_group_present_flag[attributeTypeIndex] u(1)

if(aps_attribute_group_present_flag [attributeTypeIndex])

aps_attribute_group_count_minus1[attributeTypeIndex] u(7)

attrGrpCnt = aps_attribute_group_count_minus1[attributeTypeIndex]

+ 1

for (i = 0; i < attrGrpCnt; i++) {

for (j = 0; attrGrpCnt > 1 && j < attrInstCnt; j++)

aps_attribute_group_instance_map [attributeTypeIndex][i][j] u(1)

aps_attribute_params_enabled_flag[attributeTypeIndex][i] u(1)

if(aps_attribute_params_enabled_flag[attributeTypeIndex][i])

attribute_sequence_params(i, attributeDimension)

aps_attribute_patch_params_enabled_flag[attributeTypeIndex][i] u(1)

if(aps_attribute_patch_params_enabled_flag

[attributeTypeIndex][i]) {

aps_attribute_patch_scale_params_enabled_flag u(1)

[attributeTypeIndex][i]

aps_attribute_patch_offset_params_enabled_flag u(1)

[attributeTypeIndex][i]

}

}

}

ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＿ｉｎｄｅｘは、点群に関連する属性タイプへのインデックスを示す。ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＿ｉｎｄｅｘは、０～１５の範囲内とする。

ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｓｔａｎｃｅ＿ｉｎｄｅｘは、属性ビデオデータユニット（ＡｔｔｒｉｂｕｔｅＶｉｄｅｏＤａｔａｕｎｉｔ）で伝えられる属性データのインスタンスインデックスを示す。ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘの値は、０～１２７の範囲内とする。

ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＿ｃｏｕｎｔは、点群に関連する属性タイプの数を示す。ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＿ｃｏｕｎｔは、０～１５の範囲内とする。

ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｓｔａｎｃｅ＿ｃｏｕｎｔ［ｉ］は、点群に関連する属性タイプｉの属性インスタンスの数を示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｓｔａｎｃｅ＿ｃｏｕｎｔは、０～１２７の範囲内とする。

ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が１に等しい場合には、属性タイプｉに関連する属性インスタンスがグループ化されることを示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｆｌａｇ［ｉ］が０に等しい場合には、属性タイプｉに関連する属性インスタンスがグループ化されないことを示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が存在しない場合には、その値が０に等しいと推測される。

ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］＋１は、属性タイプｉに関連する属性インスタンスグループの数を示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｃｏｕｎｔは、１～１２７の範囲内とする。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］が存在しない場合には、その値が０に等しいと推測される。

ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｉｎｓｔａｎｃｅ＿ｍａｐ［ｉ］［ｊ］［ｋ］は、属性タイプｉに関連する属性インスタンスグループｊに属性インスタンスｋが属するかどうかを示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｉｎｓｔａｎｃｅ＿ｍａｐ［ｉ］［ｊ］［ｋ］は、０～１の範囲内とする。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｉｎｓｔａｎｃｅ＿ｍａｐ［ｉ］［ｊ］［ｋ］が存在しない場合には、その値が１に等しいと推測される。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｇｒｏｕｐ＿ｉｎｓｔａｎｃｅ＿ｍａｐ［ｉ］［ｊ］［ｋ］が存在しない場合には、全ての属性インスタンスが単一グループにマッピングされると推測される。

上記の変更は、ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）における「ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ」と「ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ」との間の対応を確立し、同じ属性タイプの全てのインタンスが同様の属性パラメータセットを共有するようにするか、それともグループとするかに関する柔軟性をもたらし、属性タイプに基づいてａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）構文構造をアクティブにする。

ジオメトリ層と属性層との間の緊密な境界
委員会草案では、ジオメトリ層の数と属性層の数とが同様である。これにより、必ずしも属性がジオメトリと同じ数の層を有していない事例に対処する柔軟性が制限される。単純な例としては、属性が３よりも大きな次元を有する事例が挙げられる。第２の例としては、属性層を単一層のジオメトリにインターリーブできる場合と複数層のジオメトリにインターリーブできる場合、又はこの逆を挙げることができる。

このような柔軟性をサポートするために、構文テーブルに以下の変更を行う。

属性パラメータセット構文

attribute_parameter_set( attributeIndex { 記述子

aps_attribute_type_id[attributeIndex] u(4)

aps_attribute_dimension_minus1[ attributeIndex ] u(8)

aps_attribute_codec_id[ attributeIndex ] u(8)

aps_attribute_layer_count_present_flag[ attributeIndex ] u(1)

if( asp_attribute_layer_count_present_flag[ attributeIndex ] ) {

asp_attribute_layer_abs_delta_count_minus1[ attributeIndex ] u(2)

asp_attribute_layer_count_sign_flag [ attributeIndex ] u(1)

}

aps_attribute_patch_params_enabled_flag[ attributeIndex ] u(1)

if(aps_attribute_patch_params_enabled_flag[ attributeIndex ] ) {

aps_attribute_patch_scale_params_enabled_flag[ u(1)

attributeIndex ]
)
aps_attribute_patch_offset_params_enabled_flag[ u(1)

attributeIndex ]

}

}

ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が１に等しい場合には、属性層の数がインデックスｉを有する属性の「ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１＋１」と同じではないことを示す。ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が０に等しい場合には、属性層の数がインデックスｉを有する属性の「ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１＋１」と同じであることを示す。

ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ａｂｓ＿ｄｅｌｔａ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］＋１は、インデックスｉ及びｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔを有する属性の属性層数間の絶対差を指定する。ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ａｂｓ＿ｄｅｌｔａ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］の値は、０～３の範囲内とする。存在しない場合、ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ａｂｓ＿ｄｅｌｔａ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］の値は１に等しいと推測される。

ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｓｉｇｎ＿ｆｌａｇ［ｉ］が１に等しい場合には、ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ａｂｓ＿ｄｅｌｔａ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］＋１が０よりも大きい値を有することを指定する。ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｓｉｇｎ＿ｆｌａｇ［ｉ］が０に等しい場合には、ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ａｂｓ＿ｄｅｌｔａ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｉ］＋１が０未満の値を有することを指定する。存在しない場合、ａｓｐ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｓｉｇｎ＿ｆｌａｇ［ｉ］の値は０に等しいと推測される。

ここに属性復号プロセスの変更が反映される。
ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔが０に等しい場合には、属性ビデオフレームが復号されず、最終的な再構築された点群に属性情報が関連付けられない。
attributeLayerCount=(sps_layer_count_minus1+1)+
asp_attribute_layer_count_sign_flag[vpcc_attribute_index]*
(asp_attribute_layer_abs_delta_count_minus1[vpcc_attribute_index]+1)

それ以外の場合（ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔが０に等しくない場合）には、以下が適用される。

ａｔｔｒｉｂｕｔｅＬａｙｅｒＣｏｕｎｔが０に等しい場合には、関連する異なるｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘと、ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｄｅｃ＿ｉｄ［ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ］によって指定された関連するコーデックとをそれぞれが入力として伴うｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ数のビデオ復号プロセスが呼び出される。このプロセスの出力は、復号され表示／出力順に並べられた属性ビデオフレームＡｔｔｒＦｒａｍｅ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］［ｃｏｍｐＩｄｘ］［ｙ］［ｘ］、並びにその関連するビット深度ＡｔｔｒＢｉｔｄｅｐｔｈ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］、幅ＡｔｔｒＷｉｄｔｈ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］、及び高さＡｔｔｒＨｅｉｇｈｔ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］情報であり、ここでのａｔｔｒｌｄｘは属性インデックスに対応して０～ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ－１の範囲内であり、ｌａｙｅｒＩｄｘは層のインデックスに対応して０に等しく、ｏｒｄｅｒＩｄｘは復号された属性フレームの表示順インデックスであり、ｃｏｍｐＩｄｘは属性コンポーネントインデックスに対応して０～ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｍｉｎｕｓ１［ａｔｔｒＩｄ］ｘ－１］の範囲内であり、ｙは０～ＡｔｔｒＨｅｉｇｈｔ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］－１の範囲内であり、ｘは復号されたフレーム内の列インデックスであって０～ＡｔｔｒＷｉｄｔｈ［ａｔｔｒＩｄｘ］［ｌａｙｅｒＩｄｘ］［ｏｒｄｅｒＩｄｘ］－１の範囲内である。

それ以外の場合（ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔが０に等しくない場合）には以下が適用される。
ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合には、それぞれ関連する異なるｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘと、ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｄｅｃ＿ｉｄ［ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ］によって指定された関連するコーデックとを入力として伴うｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ数のビデオ復号プロセスが呼び出される。このプロセスの出力は、復号され表示／出力順に並べられた中間属性ビデオフレームＡｔｔｒＦｒａｍｅ［ａｔｔｒＩｄｘ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］［ｃｏｍｐＩｄｘ］［ｙ］［ｘ］、並びにその関連するビット深度ｔｅｍｐＡｔｔｒＢｉｔｄｅｐｔｈ［ａｔｔｒＩｄ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］、幅ｔｅｍｐＡｔｔｒＷｉｄｔｈ［ａｔｔｒＩｄｘ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］、及び高さｔｅｍｐＡｔｔｒＨｅｉｇｈｔ［ａｔｔｒＩｄｘ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］情報であり、ここでのａｔｔｒｌｄｘは属性インデックスに対応して０～ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ－１の範囲内であり、ｔｅｍｐＯｒｄｅｒＩｄｘは復号された全属性フレームの表示順インデックスであり、ｃｏｍｐＩｄｘは属性コンポーネントインデックスに対応して０～ａｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｍｉｎｕｓ１［ａｔｔｒＩｄｘ－１］の範囲内であり、ｙは０～ｔｅｍｐＡｔｔｒＨｅｉｇｈｔ［ａｔｔｒＩｄｘ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］－１の範囲内であり、ｘは復号されたフレーム内の列インデックスであって０～ｔｅｍｐＡｔｔｒＷｉｄｔｈ［ａｔｔｒＩｄｘ］［ｔｅｍｐＯｒｄｅｒＩｄｘ］－１の範囲内である。インデックスａｔｔｒＩｄｘを有する属性の復号された属性ビデオフレームは、各層の表示／出力順ｏｒｄｅｒＩｄｘで以下のように導出される。
for(i=0;i<=sps_layer_count_minus1;i++){
mappedIdx=orderIdx*attributeLayerCount)+i
AttrBitdepth[attrIdx][i][orderIdx]=tempAttrBitdepth[attrIdx][mappedIdx]
AttrWidth[attrIdx][i][orderIdx]=tempAttrWidth[attrIdx][mappedIdx]
AttrHeight[attrIdx][i][orderIdx]=tempAttrHeight[attrIdx][mappedIdx]
AttrFrame[attrIdx][i][orderIdx]=tempAttrFrame[mappedIdx]
}

最後に、解釈を明確かつ容易にするために、両方に「ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘ」ではなく「ｖｐｃｃ＿ｇｅｏｍｅｔｒｙ＿ｌａｙｅｒ＿ｉｎｄｅｘ」及び「ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｉｎｄｅｘ」を使用する。

ジオメトリ及び属性のための単一及び複数ビットストリーム
ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合には、全てのジオメトリ又は属性層がそれぞれ単一のジオメトリ又は属性ビデオストリームに配置されることを示す。ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合には、全てのジオメトリ又は属性層が別のビデオストリームに配置されることを示す。ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合には、その値が０に等しいと推測される。

上記のセマンティックに基づけば、その意図は、単一層／複数層ストリームをジオメトリ層と属性層との間で緊密に境界することである。将来的な拡張の柔軟性を可能にするために、１つの選択肢は、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをジオメトリ及び属性について別々に定めることである（例えば、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｇｅｏｍｅｔｒｙ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをデフォルトとするｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｇｅｏｍｅｔｒｙ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ及びｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ａｔｔｒｉｂｕｔｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）。

ジオメトリシーケンスパラメータ構文
ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）／ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（）対ｇｅｏｍｅｔｒｙ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｓ（））／ａｔｔｒｉｂｕｔｅ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｓ（）の順序付け。
現在の構文では、上記の構文構造の呼び出し順は以下の通りである。
ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ－＞ｇｅｏｍｅｔｒｙ／ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ－＞ｇｅｏｍｅｔｒｙ／ａｔｔｒｉｂｕｔｅ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｓ
又は
ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ－＞ｇｅｏｍｅｔｒｙ／ａｔｔｒｉｂｕｔｅ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｓ－＞ｇｅｏｍｅｔｒｙ／ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ

図９に、いくつかの実施形態による、点群符号化構造を実装する方法のフローチャートを示す。ステップ９００において、点群符号化構造を展開／実装する。点群符号化構造の展開及び実装は、「キー」点群フレームを決定することを含む。キー点群フレームは、予測のために他のどのフレームにも依存しないフレームである。

ステップ９０２において、双方向予測を符号化に使用する。双方向予測は、パッチ情報及び／又はメタデータ情報などの過去及び将来の情報を記憶する２つの独立構造（例えばリスト）を使用して実装され、予測の実行時には過去の情報及び／又は将来の情報を使用して予測を行うことができる。これらの構造は、点群パッチバッファに記憶することができる。点群の点を互いに重なり合って投影できるように、点群の層にはバッファリストが使用される。また、Ｖ－ＰＣＣのブロックを相関させるシグナリング法も実装される。いくつかの実施形態では、これよりも少ない又はさらなるステップが実装される。例えば、復号ステップも実装される。いくつかの実施形態では、ステップの順序が変更される。

図１０に、いくつかの実施形態による、点群符号化構造を実装するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置１０００は、３Ｄコンテンツを含む画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置１０００は、点群符号化構造の態様のいずれかを実装することができる。一般に、コンピュータ装置１０００を実装するのに適したハードウェア構造は、ネットワークインターフェイス１００２、メモリ１００４、プロセッサ１００６、Ｉ／Ｏ装置１００８、バス１０１０及び記憶装置１０１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ１００４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置１０１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置１０００は、１又は２以上のネットワークインターフェイス１００２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置１００８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置１０１２及びメモリ１００４には、点群符号化構造を実装するために使用される（単複の点群符号化構造アプリケーション１０３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置１０００には、図１０に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、点群符号化構造ハードウェア１０２０が含まれる。図１０のコンピュータ装置１０００は、点群符号化構造のためのアプリケーション１０３０及びハードウェア１０２０を含むが、点群符号化構造は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、点群符号化構造アプリケーション１０３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、点群符号化構造ハードウェア１０２０が、点群符号化構造を実行するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）点群符号化構造アプリケーション１０３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

いくつかの実施形態では、点群符号化構造ハードウェア１０２０が、レンズ、イメージセンサ及び／又は他のいずれかのカメラコンポーネントなどのカメラコンポーネントを含む。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

本明細書で説明した点群符号化構造を利用するには、装置が３Ｄコンテンツを取得又は受信し、３Ｄコンテンツの正しい効率的な表示を可能にするのに最適な方法でコンテンツを処理及び／又は送信する。点群符号化構造は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実行することができる。

動作中、点群符号化構造は、３Ｄコンテンツをより効率的に符号化する。点群符号化構造は、点群パッチの予測に使用される全ての参照が現在の点群フレームに制限される「キー」点群フレームを定める。点群パッチバッファは参照パッチのリストを含み、点群フレームからのそれぞれの境界ボックスが別のフレーム内のパッチの予測に使用されるように記憶される。点群フレームの符号化順が提示順と異なることができる場合、参照パッチのリストは過去からのパッチ及び将来からのパッチを含むことができ、双方向予測が使用される。点群の層にも同様の参照バッファリストの概念を適用することができる。上位レベル情報を含むブロックのＩＤへの参照をペイロード内でシグナリングすることによってＶ-ＰＣＣのブロックを相関させるシグナリング法についても説明する。これらの実装は符号化の効率を高める。

点群符号化構造のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法が、
点群符号化構造を実装するステップと、
前記点群符号化構造を使用して点群メタデータを符号化するステップと、
を含む。

２．前記点群符号化構造を実装するステップは、予測のために他のどのフレームにも依存しないキー点群フレームを決定するステップを含む、条項１に記載の方法。

３．前記点群メタデータを符号化するステップは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する、条項１に記載の方法。

４．双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する、条項３に記載の方法。

５．前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、条項１に記載の方法。

６．前記点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にするステップをさらに含む、条項１に記載の方法。

７．Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装するステップをさらに含む、条項１に記載の方法。

８．
点群符号化構造を実装し、
前記点群符号化構造を使用して点群メタデータを符号化する、
ためのアプリケーションを記憶する非一時的メモリと、
前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、
を備えた装置。

９．前記点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む、条項８に記載の装置。

１０．前記点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する、条項８に記載の装置。

１１．双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する、条項１０に記載の装置。

１２．前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、条項８に記載の装置。

１３．前記点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にすることをさらに含む、条項８に記載の装置。

１４．Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装することをさらに含む、条項８に記載の装置。

１５．
点群符号化構造と、
前記点群符号化構造を使用して点群メタデータを符号化するエンコーダと、
を備えたシステム。

１６．前記点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む、条項１５に記載のシステム。

１７．前記点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用する、条項１５に記載のシステム。

１８．双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という２つの別の構造を実装する、条項１７に記載のシステム。

１９．前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、条項１５に記載のシステム。

２０．前記点群の層のバッファリストを利用して、点群の点が互いに重なり合って投影されることを可能にすることをさらに含む、条項１５に記載のシステム。

２１．Ｖ－ＰＣＣのブロックを相関させるシグナリング法を実装することをさらに含む、条項１５に記載のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

Claims

装置の非一時的メモリにプログラムされた方法であって、
点群符号化構造を実装するステップと、
前記点群符号化構造を使用して点群メタデータを符号化するステップと、
を含み、
前記点群メタデータを符号化するステップは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用し、
双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という、参照パッチリストのための２つの別の構造を使用して実装され,
前記点群メタデータを符号化するステップは、過去及び将来のパッチを参照できるようにフレームを並べ替えることを含み、
前記点群の層のバッファリストを利用して、前記点群の点が互いに重なり合って投影されることを可能にし、ここで、前記点群の層は、第１の層が第１の点であり、第２の層が最後の点であり、これらの間の点は符号化されない２つの層に限定されるものであるステップをさらに含むことを特徴とする方法。
前記点群符号化構造を実装するステップは、予測のために他のどのフレームにも依存しないキー点群フレームを決定するステップを含む、
請求項１に記載の方法。
前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、
請求項１に記載の方法。
Ｖ－ＰＣＣのブロックを相関させるシグナリング法が実装されるようにされたものである、
請求項１に記載の方法。
点群符号化構造を実装し、
前記点群符号化構造を使用して点群メタデータを符号化し、
前記点群の層のバッファリストを利用して、前記点群の点が互いに重なり合って投影されることを可能にする、
ためのアプリケーションを記憶する非一時的メモリと、
前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、
を備え、
前記点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用し、
双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という、参照パッチリストのための２つの別の構造を使用して実装され,
前記点群メタデータを符号化することは、過去及び将来のパッチを参照できるようにフレームを並べ替えることを含み、
前記点群の層は、第１の層が第１の点であり、第２の層が最後の点であり、これらの間の点は符号化されない２つの層に限定されるものであることを特徴とする装置。
前記点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む、
請求項５に記載の装置。
前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、
請求項５に記載の装置。
Ｖ－ＰＣＣのブロックを相関させるシグナリング法が実装されるようにされたものである、
請求項５に記載の装置。
点群符号化構造を実装する手段と、
前記点群符号化構造を使用して点群メタデータを符号化するエンコーダと、
を備え、
前記点群メタデータを符号化することは、過去のパッチ及びメタデータ情報と、将来のパッチ及びメタデータ情報とを使用することを含む双方向予測を利用し、
双方向予測は、前記過去のパッチ及びメタデータ情報のための第１の構造、並びに前記将来のパッチ及びメタデータ情報のための第２の構造という、参照パッチリストのための２つの別の構造を使用して実装され、
前記メタデータ情報は、時間的相関情報を含み、参照パッチリストが、柔軟な予測を実装するための所定の参照補助情報セットから生成され、
前記点群メタデータを符号化することは、過去及び将来のパッチを参照できるようにフレームを並べ替えることを含み、
前記エンコーダは、前記点群の層のバッファリストを利用して、前記点群の点が互いに重なり合って投影されることを可能にするようにさらに構成され、ここで、前記点群の層は、第１の層が第１の点であり、第２の層が最後の点であり、これらの間の点は符号化されない２つの層に限定されるものであることを特徴とするシステム。
前記点群符号化構造を実装することは、予測のために他のいずれのフレームにも依存しないキー点群フレームを決定することを含む、
請求項９に記載のシステム。
前記第１の構造及び前記第２の構造は、点群パッチバッファに記憶される、
請求項９に記載のシステム。
Ｖ－ＰＣＣのブロックを相関させるシグナリング法が実装されるようにされたものである、
請求項９に記載のシステム。