JP7677970B2

JP7677970B2 - ジョイントクロマの符号化されたブロックに対するスケーリング処理

Info

Publication number: JP7677970B2
Application number: JP2022529701A
Authority: JP
Inventors: ラグランジュ、フィリップド; レリーネク、ファブリス; フランソワ、エドゥアール; ボルド、フィリップ
Original assignee: インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date: 2019-12-06
Filing date: 2020-12-01
Publication date: 2025-05-15
Anticipated expiration: 2040-12-01
Also published as: CN115336267A; CN115336267B; US20230232045A1; JP2023504372A; EP4070547B1; WO2021110628A1; US12081798B2; EP4070547A1

Description

本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号化、圧縮又は解凍のための方法又は装置に関する。

高い圧縮効率を実現するために、画像及びビデオの符号化方式は、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用した変換を採用している。一般に、フレーム内又はフレーム間の相関を利用するために、イントラ予測又はインター予測が使用され、次いで、しばしば予測誤差又は予測残差と呼ばれる原画像と予測画像の間の差分が、変換、量子化、及びエントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆の処理によって、圧縮データを復号化する。

本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号化のための方法又は装置に関し、より具体的には、隣接するサンプル依存パラメトリックモデルに基づく符号化モードの単純化のための方法又は装置に関する。

第１の態様によれば、方法が提供される。本方法は、ジョイントＣｂ／Ｃｒがビデオブロックに対して符号化されているときに、ビデオブロックからＣｂ及びＣｒを多重分離するためのステップと、多重分離されたＣｂ及びＣｒデータを量子化解除するためのステップと、量子化解除されたＣｂ及びＣｒデータを逆変換するためのステップと、当該逆変換されたＣｂ及びＣｒデータを使用して、当該ビデオブロックを復号化するためのステップと、を含む。

第１の態様によれば、方法が提供される。本方法は、ビデオビットストリームを解析し、ビデオブロックに対してＣｂ及びＣｒをスケーリングするためのステップと、多重分離されたＣｂ及びＣｒデータを量子化解除するためのステップと、量子化解除されたＣｂ及びＣｒデータを逆変換するためのステップと、当該逆変換されたＣｂ及びＣｒデータを使用して、当該ビデオブロックを復号化するためのステップと、を含む。

別の態様によれば、装置が提供される。この装置は、プロセッサを備える。プロセッサは、前述した方法のうちのいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号化するように構成することができる。

少なくとも一実施形態の別の一般的な態様によれば、復号化実施形態のうちのいずれかに従う装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、（ｉｉ）受信信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備えるデバイス、が提供される。

少なくとも一実施形態の別の一般的な態様によれば、説明した符号化実施形態又は変形形態のうちのいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。

少なくとも一実施形態の別の一般的な態様によれば、説明した符号化実施形態又は変形形態のうちのいずれかに従って生成されたビデオデータを含む信号が提供される。

少なくとも一実施形態の別の一般的な態様によれば、ビットストリームは、説明した符号化実施形態又は変形形態のうちのいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。

少なくとも一実施形態の別の一般的な態様によれば、コンピュータプログラム製品であって、プログラムがコンピュータによって実行されるとき、説明した復号化実施形態又は変形形態のうちのいずれかをコンピュータに実行させる命令を含むコンピュータプログラム製品が提供される。

一般的な態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。

スケーリング及び変換機能図を示す。量子化解除機能図を示す。量子化パラメータ導出機能図を示す。ジョイントクロマ符号化のためのスケーリング及び変換機能図を示す。現在の符号化方式の残差ブロック復号化プロセスを示す。標準の一般的なビデオ圧縮方式を示す。標準の一般的なビデオ解凍方式を示す。記載された態様の下でジョイントクロマ符号化のためのスケーリング及び変換機能図を示す。提案された残差ブロック復号化プロセスを示す。一般的な説明された態様の下での符号化／復号化するためのプロセッサベースのシステムを示す。一般的な説明された態様の下での方法の一実施形態を示す。一般的な説明された態様の下での方法の別の実施形態を示す。説明された態様の下での例示的な装置を示す。圧縮されたＨＥＶＣピクチャを表すための符号化ツリーユニット及び符号化ツリー概念を示す。符号化ユニット、予測ユニット、及び変換ユニットへの符号化ツリーユニットの分割の例を示す。例示的な四分木プラス二分木（Quad-Tree Plus Binary-Tree、ＱＴＢＴ）のＣＴＵ表現を示す。

本明細書に記載される実施形態は、ビデオ圧縮の分野にあり、一般に、ビデオ圧縮及びビデオの符号化並びに復号化に関連し、より具体的には、ビデオ圧縮方式の量子化ステップに関連する。記載された一般的な態様は、ハイレベルビデオ符号化シンタックスの、又はビデオ符号化セマンティクスの制限を操作するメカニズムを提供して、可能なツール組み合わせのセットを制約することを目的としている。

ＨＥＶＣ（高効率ビデオコーディング、ＩＳＯ／ＩＥＣ２３００８－２、ＩＴＵ－ＴＨ．２６５）ビデオ圧縮規格において、動き補償された時間予測が、ビデオの連続するピクチャ間に存在する冗長性を利用するために用いられている。

そうするために、動きベクトルは、各予測ユニット（ＰＵ）に関連付けられる。各符号化ツリーユニット（ＣＴＵ）は、圧縮ドメイン内の符号化ツリーによって表される。これは、ＣＴＵの四分木分割であり、各リーフは、符号化ユニット（ＣＵ）と呼ばれる。

次いで、各ＣＵは、いくつかのイントラ予測又はインター予測パラメータ（予測情報）を与えられる。そうするために、それは、１つ以上の予測ユニット（ＰＵ）に空間的に分割され、各ＰＵは、いくつかの予測情報を割り当てられる。イントラ又はインター符号化モードは、ＣＵレベルに割り当てられる。

ジョイント探索モデル（ＪＥＭ）として知られている新しいビデオ圧縮規格のＪＶＥＴ（ジョイントビデオ探索チーム）提案では、高い圧縮性能のために、四分木－二分木（ＱＴＢＴ）ブロック分割構造を受け入れることが提案されている。二分木（ＢＴ）のブロックは、中央で水平又は垂直に分割することによって、２つの等しいサイズのサブブロックに分割することができる。その結果、ＢＴブロックは、ブロックが等しい高さ及び幅を有する常に正方形の形状を有するＱＴのブロックとは異なり、等しくない幅及び高さを有する長方形の形状を有することができる。ＨＥＶＣでは、角度イントラ予測方向は、４５度～－１３５度の１８０角度にわたって定義され、それらは、ターゲットブロック形状に依存しない角度方向の定義を作成したＪＥＭで維持されている。

これらのブロックを符号化するために、イントラ予測を使用して、以前に再構成された隣接サンプルを使用してブロックの推定バージョンを提供する。次いで、ソースブロックと予測との間の差が符号化される。上記の古典的なコーデックでは、現在のブロックの左側及び上部で、参照サンプルの単一ラインが使用される。

ＨＥＶＣ（高効率ビデオコーディング、Ｈ．２６５）では、ビデオシーケンスのフレームを符号化することは、四分木（ＱＴ）ブロック分割構造に基づく。フレームは正方形の符号化ツリーユニット（ＣＴＵ）に分割され、これはすべて、レート－歪み（ＲＤ）基準に基づいて、複数の符号化ユニット（ＣＵ）への四分木ベースの分割を受ける。各ＣＵは、イントラ予測、すなわち、因果隣接ＣＵから空間的に予測されるか、又はインター予測、すなわち、すでに復号化された参照フレームから時間的に予測される。Ｉ－スライスでは、すべてのＣＵがイントラ予測されるが、Ｐ及びＢスライスでは、ＣＵは、イントラ予測又はインター予測の両方が可能である。イントラ予測の場合、ＨＥＶＣは、１つの平面モード（モード０としてインデックス付け）、１つのＤＣモード（モード１としてインデックス付け）、及び３３の角度モード（モード２～３４としてインデックス付け）を含む３５の予測モードを定義する。角度モードは、時計回り方向に４５度～－１３５度の範囲の予測方向に関連付けられる。ＨＥＶＣは、四分木（ＱＴ）ブロック分割構造をサポートするため、すべての予測ユニット（ＰＵ）は、正方形の形状を有する。したがって、４５度～－１３５度の予測角度の定義は、ＰＵ（予測ユニット）形状の観点から正当化される。サイズＮ×Ｎピクセルのターゲット予測ユニットの場合、上部参照アレイ及び左参照アレイは各々、サイズ２Ｎ＋１サンプルであり、すべてのターゲットピクセルについて前述の角度範囲をカバーするために必要である。ＰＵの高さ及び幅が等しい長さであることを考慮すると、２つの参照アレイの長さが等しいことも理にかなっている。

本発明は、ビデオ圧縮の分野にある。これは、既存のビデオ圧縮システムと比較して、符号化されたブロック間における双予測を改善することを目的とする。本発明はまた、インタースライスの輝度及びクロマ符号化ツリーを分離することを提案する。

ＨＥＶＣビデオ圧縮規格では、ピクチャは、いわゆる符号化ツリーユニット（ＣＴＵ）に分割され、このサイズは、典型的には６４×６４、１２８×１２８、又は２５６×２５６ピクセルである。各ＣＴＵは、圧縮ドメイン内の符号化ツリーによって表される。これは、ＣＴＵの四分木分割であり、各リーフは、符号化ユニット（ＣＵ）と呼ばれ、図１４を参照されたい。

次いで、各ＣＵは、いくつかのイントラ予測又はインター予測パラメータ（予測情報）を与えられる。そうするために、それは、１つ以上の予測ユニット（ＰＵ）に空間的に分割され、各ＰＵは、いくつかの予測情報を割り当てられる。イントラ又はインター符号化モードは、ＣＵレベルに割り当てられ、図１５を参照されたい。

圧縮ドメインでより柔軟な方法でピクチャデータを表現するために、圧縮ドメインにおいて符号化ツリーユニット表現を含む新たに出現するビデオ圧縮ツールが提案されている。符号化ツリーのこのより柔軟な表現の利点は、ＨＥＶＣ規格のＣＵ／ＰＵ／ＴＵ配置と比較して、圧縮効率の増加を提供することである。

四分木プラス二分木（ＱＴＢＴ）符号化ツールは、この増加した柔軟性を提供する。それは、符号化ユニットを四分木及び二分木様式の両方に分割することができる符号化ツリーで構成される。符号化ツリーユニットのそのような符号化ツリー表現が、図１６に例解されている。

符号化ユニットの分割は、レート歪み最適化手順を介してエンコーダ側で決定され、これは、最小限のレート歪みコストでＣＴＵのＱＴＢＴ表現を決定することで構成される。

ＱＴＢＴ技術では、ＣＵは、正方形又は長方形のいずれかの形状を有する。符号化ユニットのサイズは、常に２の累乗であり、典型的には４～１２８になる。

符号化ユニットに対するこの様々な矩形形状に加えて、この新しいＣＴＵ表現は、ＨＥＶＣと比較して、以下の異なる特性を有する。

ＣＴＵのＱＴＢＴ分解は、２つの段階で行われ、最初に、ＣＴＵを四分木様式で分割され、その後、各四分木リーフをバイナリ様式で更に分割することができる。これは、図１６の右側に例解されており、実線は、四分木分解フェーズを表し、破線は、四分木リーフに空間的に埋め込まれたバイナリ分解を表す。

本明細書に記載された一般的な態様は、ビデオ圧縮の分野にある。ビデオコーデックは、複数の符号化ツールの組み合わせで行われる。一般的な実施は、デコーダ側（シンタックス及び復号化プロセス）を規格化することである。

現在の符号化方式（例えば、ＶＶＣドラフト６など）におけるスケーリング（又は量子化解除）及び変換プロセスの一般的な機能図が、図１に例解されており、所与の変換ブロックの符号化された係数（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ）が、スケーリングされた変換された係数（ｄ）を与える量子化解除（Ｄｅｑｕａｎｔ）を通過し、次いで逆変換（Ｔ^－１）し、そのブロックの残差サンプル（ｒｅｓ）をもたらす。

量子化解除部分が、図２に例解されている。

ＨＥＶＣと同様に、ＶＶＣのスケーリング（又は量子化解除）プロセスは、量子化ステップｑＳｔｅｐ及び量子化マトリックスｍ［］［］によって変換された係数をスケーリングすることで構成され、量子化解除係数ｄ［］［］をもたらす。これは、以下の式（簡略化のために、依存量子化特徴及び他の小さな変形形態を無視する）で詳述される。
ｄ［ｘ］［ｙ］＝Ｃｌｉｐ３（ｃｏｅｆｆＭｉｎ、ｃｏｅｆｆＭａｘ、（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］^＊ｍ［ｘ］［ｙ］^＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ－１）））＞＞ｂｄＳｈｉｆｔ）
式中、
●ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［．．．］は、その空間座標ｘＴｂＹ、ｙＴｂＹ、及びその成分インデックスｃＩｄｘによって識別される現在のブロックの変換された係数の絶対値である。
●ｘ及びｙは、水平／垂直周波数指数である。
●ｑＰは、現在の量子化パラメータである。
●ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］による乗算及び（ｑＰ／６）による左シフトは、量子化ステップｑＳｔｅｐ＝（ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］＜＜（ｑＰ／６））による乗算と同等である。
●ｍ［．．．］［．．．］は、二次元量子化マトリックスである。
●ｂｄＳｈｉｆｔは、画像サンプルビット深度を説明するための追加のスケーリング係数である。用語（１＜＜（ｂｄＳｈｉｆｔ－１））は、最も近い整数に丸める目的を果たす。
●ｄ［．．．］は、結果として生じる量子化解除変換された係数の絶対値である。

量子化制御は、特定の符号化されたブロックのＱＰ及び量子化マトリックスを制御するために使用されるシンタックスの組み合わせである。
●量子化パラメータ（ＱＰ）は、色成分に応じて、ＰＰＳ、ピクチャ、スライス、又はＣＵレベルで指定され得る様々なオフセットに依存する。

ＱＰ導出は、図３の機能図によって例解されており、式（１）は、輝度に対してであり、式（２）は、クロマに対してであり、Ｃｘの「ｘ」は、現在のクロマチャネルを意味する。
Ｑｐ_Ｙ＝ｑＰ_{Ｙ＿ＰＲＥＤ}＋ＣｕＱｐＤｅｌｔａＶａｌ、（１）
ｑＰ_{Ｙ＿ＰＲＥＤ}は、最初にＳｌｉｃｅＱｐＹに設定され、ＳｌｉｃｅＱｐＹ＝２６＋ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６＋ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａである。次いで、ｑＰ_{Ｙ＿ＰＲＥＤ}が、量子化グループ（ＱＧ）と呼ばれるＣＵのグループによって共有される。ｑＰ_{Ｙ＿ＰＲＥＤ}は、現在の量子化グループの上部左コーナの左及び上部隣接ブロック（ｑＰ_Ｙ＿Ａ及びｑＰ_Ｙ＿Ｂ）のＱＰの平均として導出される。
ｑＰ_{Ｙ＿ＰＲＥＤ}＝（ｑＰ_Ｙ＿Ａ＋ｑＰ_Ｙ＿Ｂ＋１）＞＞１
ＣｕＱｐＤｅｌｔａＶａｌは、変換ブロックが非ゼロ係数を有するとすぐに、ＱＧごとに１回指定することができる。
Ｑｐ_Ｃｘ＝ＣｈｒｏｍａＱｐＴａｂｌｅ［ｘ］［Ｑｐ_Ｙ］＋ｑＰ_Ｃｘ＋ｐｐｓ＿ｃｘ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｃｘ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔ_Ｃｘ（２）
●量子化マトリックスのセットは、所与のスライスで参照することができる「適応パラメータセット」で送信される。ブロック予測モード（イントラ、インター、ＩＢＣ）、色成分（Ｙ、Ｃｂ、Ｃｒ）、及びブロックサイズに基づいて、表１に例解されるように、識別子はセットから量子化マトリックスを選択するために使用され、表１は、ブロックプロパティに基づいて選択されたマトリックスの識別子を指定する。次いで、選択された量子化マトリックスは、ブロックサイズに一致するようにサイズ変更される。

現在の符号化方式（ＶＶＣドラフト６）は、ジョイントクロマの符号化された残差特徴を記述しており、ここで、単一のクロマチャネルが符号化され、Ｃｂ／Ｃｒクロマチャネルが、符号の変更（スライスレベルフラグに基づく）及び／又はジョイントクロマモード（ＴｕＣＲｅｓＭｏｄｅ）に応じた１／２スケールによって再構成され、これは、表２に例解されるように、クロマ変換ブロックで符号化されたブロックフラグｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒに由来する。

表２のＣＳｉｇｎ変数は、（１－２^＊ｐｉｃ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇ）として導出され、ここでｐｉｃ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇは、ピクチャレベルで復号化されたシンタックス要素である。

スケーリング及び変換プロセスは、図４に例解されるように、（例えば、ＶＶＣドラフト６のセクション８．７．２ｐｐ．２８２～２８３に指定されているように）適合され、ここで、量子化解除された単一の符号化クロマブロックは、逆変換され、次いでＣｂ及びＣｒチャネルに分割される（この文書の残りの部分で多重分離と呼ばれる）。「スケール」係数は、表２に詳述されるように、ＣＳｉｇｎ及びＴｕＣＲｅｓＭｏｄｅに応じて、－１、－１／２、＋１／２、又は＋１のいずれかである。通常二次クロマチャネルのための、グレーアウト部分は、この場合は使用されない。符号化されたチャネル並びにＣｂ及びＣｒ残差は、ジョイントクロマモードに応じて交換することができ、これは、簡略化のために図４には示されていないが、表２に詳述されている。

図５は、現在の符号化方式で指定された残差ブロック復号化プロセスを示す。このプロセスへの入力は、復号化するための変換ユニット（ＴＵ）であり、解析するための入力ビットストリームである。
●第１のステップは、考慮されるＣＵに関連付けられた符号化されたデータを解析することからなる。特に、これは、考慮されるＣＵの残差ブロックに含まれる解析された量子化変換係数を提供し、また、考慮されるＴＵのためのジョイントＣｂ／Ｃｒ残差符号化の使用を示すｊｏｉｎｔ＿ｃｂ＿ｃｒ＿ｆｌａｇシンタックス要素を提供する。
●次に、ｊｏｉｎｔ＿ｃｂ＿ｃｒ＿ｆｌａｇが偽である場合、通常の逆量子化及び逆変換ステップが、Ｃｂ及びＣｒ変換ブロックについて連続的かつ別々に続く。
●反対の場合：
○単一の逆量子化ステップが、ジョイントＣｂ／Ｃｒ残差信号に適用される。
○更に、単一の逆変換が、逆量子化ジョイントＣｂ／Ｃｒ残差データに適用される。これは、空間ドメインで復号化されたジョイントＣｂ／Ｃｒ残差信号につながる。
○次いで、復号化されたＣｂ及びＣｒが、空間ドメインで復号化されたジョイントＣｂ／Ｃｒ残差ブロックから計算される。このプロセスは、ＴＵに関連付けられたＴｕＣＲｅｓＭｏｄｅ変数、及びピクチャレベルに由来するＣＳｉｇｎ変数に依存する。Ｃｂ及びＣｒの多重分離は、表２の仕様に従う。
●ＶＶＣドラフトは、Ｃｂ及びＣｒのものに加えて、ジョイントクロマモードのための特別な量子化制御パラメータ（クロマＱＰオフセット、ＱＰマッピングテーブルなど）を指定する。スライスヘッダシンタックス構造の例を以下に例解する：

ここに提示された実施形態は、Ｃｂ及びＣｒ残差の多重分離を変換後から量子化解除前に移動することを提案し、その結果、特定のジョイント－ＣｂＣｒ量子化制御パラメータを必要とせずに、通常の別個のＣｂ及びＣｒクロマ量子化制御パラメータ（ＱＰオフセット、量子化マトリックス）を使用することができる。

上記のように、現在の符号化方式（ＶＶＣドラフト６）は、ジョイントクロマモードのために特定の量子化制御パラメータを含むが、すべてのパラメータについてではない。特定の量子化マトリックスはない（表２に示すように、Ｃｂ又はＣｒ量子化マトリックスが選択される）。解決されるべき問題は、ジョイントであってもそうでなくても、場合により、ジョイントクロマ符号化モード固有の量子化制御パラメータを除去しながら、すべてのクロマ符号化モードについて一貫した量子化制御を行うことである。これにより、より単純な符号化方式及びより少ない符号化されたビットをもたらすことが期待される。

以前の提案（［ＪＶＥＴ－Ｐ０６０８］）は、ジョイントクロマモードが２に等しい場合（表２のＴｕＣＲｅｓＭｏｄｅを参照）、表を次のように変更して、ジョイントクロマ符号化固有の量子化マトリックスを追加することを提案した。

これは、カスタム量子化マトリックスを送信するために使用されるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａシンタックスにより多くのビットを追加するという欠点を有する。特別な量子化マトリックスを送信することを回避するが、依然としてジョイントクロマの符号化されたブロックに対して特定のものを使用するＪＶＥＴ－Ｐ０６０８で提案された第２の選択肢は、Ｃｂ及びＣｒ量子化マトリックスの平均を使用することである。

本明細書に記載された現在の態様では、Ｃｂ及びＣｒチャネルは、逆変換後の代わりに量子化解除の前に多重分離される。このようにして、任意選択的に、現在のブロックがジョイント－クロマ符号化されているときに少量の調整（例えば、一般的なＱＰオフセット）で、通常のＣｂ及びＣｒ量子化制御パラメータを使用することができる。

現在の開示では、図８に例解されるように、Ｃｂ及びＣｒチャネルは、逆変換後の代わりに量子化解除の前に再構成される。

図９のアルゴリズムは、提案された実施形態による残差ブロック復号化プロセスを示す。図９のプロセスは、提案された発明の主要な実施形態による、図５の残差ブロックの復号化プロセスの修正バージョンである。分かるように、動作の順序は、図５と比較して変更されている。ここでは、別個のＣｂ及びＣｒ残差が、ＶＶＣドラフト６の場合のように空間ドメインではなく、量子化された変換ドメインで得られる。

したがって、ＴＵ－レベルのｊｏｉｎｔ＿ｃｂ＿ｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇが真である場合、ジョイントＣｂ／Ｃｒ量子化残差の多重分離が最初に実行される。次に、通常の逆量子化及び逆変換が、ジョイントＣｂ／Ｃｒモードで符号化されていない変換ユニットの場合とまったく同じ方法で、得られたＣｂ及びＣｒ残差ブロックに別々に適用される。

このようにして、正確に同じ量子化解除が、ジョイントＣｂ／Ｃｒモードで符号化されたブロック及び他のブロックに使用される。特に、提案された修正された復号化プロセスのおかげで、同じ量子化マトリックスを、ジョイントＣｂ／Ｃｒモードで符号化されたブロック及び他のブロックに使用することができ、全体的な量子化制御をより容易かつクリーンにする。

Ｃｂ／Ｃｒ多重分離がピクセル単位の線形動作からなり、それは、量子化解除及び逆変換で容易に並べ替えることができるため、提案された復号化ステップの並べ替えは理論的に可能であることに留意されたい。

以下は、提案された方式を実装するためのドラフトテキストの例である。
［．．．］
変数ｃｏｄｅｄＣＩｄｘは、次のように導出される。
－ｃＩｄｘが０に等しいか、又はＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］が０に等しい場合、ｃｏｄｅｄＣＩｄｘは、ｃＩｄｘに等しく設定される。
－そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］が１又は２に等しい場合、ｃｏｄｅｄＣＩｄｘは、１に等しく設定される。
－そうでなければ、ｃｏｄｅｄＣＩｄｘは、２に等しく設定される。

変数ｃＳｉｇｎは、（１－２^＊ｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇ）に等しく設定される。

残差サンプルｒｅｓＳａｍｐｌｅｓの（ｎＴｂＷ）ｘ（ｎＴｂＨ）アレイは、次のように導出される。
１．ｃＩｄｘがｃｏｄｅｄＣＩｄｘとは異なる場合、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１の変換係数レベルＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］は、次のように導出される。
－ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］が２に等しい場合、以下を適用する。
ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］＝ｃＳｉｇｎ^＊ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃｏｄｅｄＣＩｄｘ］［ｘ］［ｙ］（１１２５）
－そうでなければ、以下を適用する。
ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］＝（ｃＳｉｇｎ^＊ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃｏｄｅｄＣＩｄｘ］［ｘ］［ｙ］）＞＞１（１１２６）
２．条項８．７．３に指定されている変換係数のスケーリングプロセスは、変換ブロック位置（ｘＴｂＹ、ｙＴｂＹ）、変換ブロック幅ｎＴｂＷ及び変換ブロック高さｎＴｂＨ、予測モードｐｒｅｄＭｏｄｅ、及び入力としてｃｏｄｅｄＣＩｄｘに等しく設定された色成分変数ｃＩｄｘで呼び出され、出力は、スケーリングされた変換係数ｄの（ｎＴｂＷ）ｘ（ｎＴｂＨ）アレイである。
３．残差サンプルｒｅｓの（ｎＴｂＷ）ｘ（ｎＴｂＨ）アレイは、次のように導出される。
－ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃｏｄｅｄＣＩｄｘ］が１に等しい場合、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１の残差サンプルアレイ値ｒｅｓ［ｘ］［ｙ］は、次のように導出される。
ｒｅｓ［ｘ］［ｙ］＝ｄ［ｘ］［ｙ］（１１２７）
－そうでなければ（ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃｏｄｅｄＣＩｄｘ］が０に等しいか、ｃＩｄｘが０に等しくない）、条項８．７．４．１で指定されているスケーリングされた変換係数の変換プロセスは、変換ブロック位置（ｘＴｂＹ、ｙＴｂＹ）、変換ブロック幅ｎＴｂＷ及び変換ブロック高さｎＴｂＨ、ｃｏｄｅｄＣＩｄｘと等しく設定された色成分変数ｃＩｄｘ、及び入力としてスケーリングされた変換係数ｄの（ｎＴｂＷ）ｘ（ｎＴｂＨ）アレイで呼び出され、出力は、残差サンプルｒｅｓの（ｎＴｂＷ）ｘ（ｎＴｂＨ）アレイである。
４．ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１の残差サンプルｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］は、次のように導出される。
－ｃＩｄｘがｃｏｄｅｄＣＩｄｘと等しい場合、以下が適用される。
ｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｒｅｓ［ｘ］［ｙ］（１１２６）
－そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］が２に等しい場合、以下が適用される。
ｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｃＳｉｇｎ^＊ｒｅｓ［ｘ］［ｙ］（１１２７）
－そうでなければ、以下を適用する。
ｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］＝（ｃＳｉｇｎ^＊ｒｅｓ［ｘ］［ｙ］）＞＞１（１１２８）

ＶＶＣドラフトの§８．７．１のクロマＱＰ制御のシンタックス及びセマンティクス、並びにクロマＱＰ導出も参照されたい。

変形形態には、（１１２６）の右シフトを次へ移動することが含まれる。
●量子化解除ドメイン、ＱＰに６を引くか、又は§８．７．３内のｄｂＳｈｉｆｔに１を加える（式１１３５）
●又は逆変換ドメイン、§８．７．４．１内のｂｄＳｈｉｆｔ（式１１６６）に１を加えることによって（好ましい選択肢）

一変形例では、ジョイントクロマの符号化されたブロックに対して、いくつかの特定の量子化制御パラメータを指定することができ、例えば、ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ及び／又はｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔのように、ＶＶＣドラフトにおいて現在定義されているＱＰオフセットは、依然として使用することができる（Ｃｂ及びＣｒに対して直接、又は好ましくは、通常のＣｂ及びＣｒＱＰオフセットの上部に）。これは、異なるスケーリングノルムのような、ジョイントクロマの符号化されたブロックの特定の特性、又は異なる視覚品質によって正当化することができる。

更なる変形例では、ジョイントクロマの符号化されたブロックに対して別個のＣｂ／Ｃｒオフセットを指定することができる。

別の変形例では、ＶＶＣドラフト６によって定義されるように、ジョイントクロマの符号化されたブロックに特有の量子化制御パラメータ（ＰＰＳ及びスライスレベルオフセット、クロマＱＰマッピングテーブルなど）は、通常のクロマＱＰの代わりにＣｂチャネル及びＣｒチャネルの両方に依然として使用することができる。

本明細書に記載された一般的な態様の下での方法１１００の一実施形態が、図１１に示されている。本方法は開始ブロック１１０１で開始し、制御は、ジョイントＣｂ／Ｃｒがビデオブロックに対して符号化されているときにビデオブロックからＣｂ及びＣｒを多重分離するブロック１１１０に進む。制御は、ブロック１１１０から多重分離されたＣｂ及びＣｒデータを量子化解除するブロック１１２０に進む。制御は、ブロック１１２０から量子化解除されたＣｂ及びＣｒデータを逆変換するブロック１１３０に進む。制御は、ブロック１１３０から当該逆変換されたＣｂ及びＣｒデータを使用して当該ビデオブロックを復号化するブロック１１４０に進む。

本明細書に記載された一般的な態様の下での方法１２００の一実施形態が、図１２に示されている。本方法は、開始ブロック１２０１で開始し、制御は、ビデオビットストリームを解析し、ビデオブロックからＣｂ及びＣｒをスケーリングするブロック１２１０に進む。制御は、ブロック１２１０から多重分離されたＣｂ及びＣｒデータを量子化解除するブロック１２２０に進む。制御は、ブロック１２２０から量子化解除されたＣｂ及びＣｒデータを逆変換するブロック１２３０に進む。制御は、ブロック１２３０から当該逆変換されたＣｂ及びＣｒデータを使用して当該ビデオブロックを復号化するブロック１２４０に進む。

図１３は、隣接するサンプル依存パラメトリックモデルに基づく符号化モードの単純化を使用して、ビデオデータを符号化、復号化、圧縮、又は解凍するための装置１３００の一実施形態を示す。この装置は、プロセッサ１３１０を備えており、少なくとも１つのポートを通じてメモリ１３２０に相互接続することができる。プロセッサ１３１０及びメモリ１３２０の両方は、外部接続への１つ以上の追加の相互接続を有することもできる。

プロセッサ１３１０はまた、ビットストリームにおいて情報を挿入又は受信し、説明した態様のうちのいずれかを使用して圧縮、符号化、又は復号化するように構成されている。

本出願は、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様を記載している。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る方法で記載されている。しかしながら、これは説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様のすべては、更なる態様を提供するために組み合わされ、かつ交換され得る。更に、これらの態様は、以前の出願に記載されている態様と組み合わせる、又は入れ替えることができる。

本出願において記載され、企図される態様は、多くの異なる形態で実装され得る。図１、図２、及び図１０は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図１、図２、及び図１０の考察は、実装形態の範囲を制限しない。態様のうちの少なくとも１つは、一般に、ビデオの符号化及び復号化に関するものであり、少なくとも１つの別の態様は、一般に、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のうちのいずれかに従ってビデオデータを符号化又は復号化するための命令を自身に記憶したコンピュータ可読記憶媒体、及び／又は、説明した方法のうちのいずれかに従って生成されたビットストリームを自身に記憶したコンピュータ可読記憶媒体、として実装することができる。

本出願では、「再構成された」及び「復号化された」という用語は互換的に使用することができ、「ピクセル」及び「サンプル」という用語は互換的に使用することができ、「画像」、「ピクチャ」、及び「フレーム」という用語は互換的に使用することができる。通常では、必ずしもそうではないが、「再構成された」という用語はエンコーダ側で使用され、「復号化された」という用語はデコーダ側で使用される。

本明細書には様々な方法が説明されており、各方法は、説明した方法を実現するための１つ以上のステップ又はアクションを含む。方法を正しく動作させるためにステップ又はアクションの特定の順序が要求されない限りは、特定のステップ及び／又はアクションの順序及び／又は使用を、変更又は組み合わせることができる。

本出願に記載されている様々な方法及び他の態様を使用して、図１及び図２に示されるようなビデオエンコーダ１００及びビデオデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピ符号化モジュール、及び／又は復号化モジュール（１６０、３６０、１４５、３３０）を変更することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来開発されるものであれ、他の規格及び勧告、並びに任意のそのような規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張に適用することができる。別段の指示がない限り、又は技術的に除外されない限り、本出願に記載される態様は、個別で又は組み合わせて使用され得る。

本出願において、様々な数値が使用されている。具体的な値は例示を目的としており、記載されている態様はこれらの具体的な値に限定されるものではない。

図１は、エンコーダ１００を例解している。このエンコーダ１００の変形形態が考えられるが、明確さを目的として、以下では予想されるすべての変形形態を記載することなく、エンコーダ１００について説明する。

ビデオシーケンスは、符号化される前に、符号化前処理（１０１）を受け得、例えば、入力カラーピクチャに色変換を適用する（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、圧縮に対してより耐性のある信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分の１つのヒストグラム等化を使用する）。メタデータを前処理に関連付けて、ビットストリームに付加することができる。

エンコーダ１００では、以下に説明するエンコーダ要素によってピクチャが符号化される。符号化されるピクチャは、例えば、ＣＵというユニットに分割され（１０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化される場合、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び動き補償（１７０）が実行される。エンコーダは、ユニットの符号化にイントラモード又はインターモードのうちのうちのいずれか１つを使用するかを決定し（１０５）、イントラ／インターの決定を、例えば、予測モードフラグによって示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算する（１１０）ことによって計算される。

次に、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数と、動きベクトル及び他のシンタックス要素がエントロピ符号化され（１４５）、ビットストリームを出力する。エンコーダは、変換をスキップして、変換されていない残差信号に量子化を直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち残差は、変換処理又は量子化処理を適用することなく直接符号化される。

エンコーダは、更なる予測のための参照データを提供するため、符号化されたブロックを復号化する。予測残差を復号化するため、量子化された変換係数が逆量子化され（１４０）、逆変換される（１５０）。復号化された予測残差と予測されたブロックとを合成し（１５５）、画像ブロックを再構成する。再構成されたピクチャにインループフィルタ（１６５）が適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット：ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔ）フィルタリングを実行し、符号化アーチファクトを低減する。フィルタリングされた画像が、参照ピクチャバッファ（１８０）に記憶される。

図２は、ビデオデコーダ２００のブロック図を例解している。デコーダ２００では、以下に説明するデコーダ要素によってビットストリームが復号化される。ビデオデコーダ２００は、一般に、図１に説明したような符号化パスとは逆向きの復号化パスを実行する。エンコーダ１００は、一般に、ビデオデータの符号化の一部としてビデオの復号化も実行する。

特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。ビットストリームは、最初にエントロピ復号化され（２３０）、変換係数、動きベクトル、及び他の符号化された情報を得る。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがってデコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。予測残差を復号化するために、変換係数が逆量子化（２４０）及び逆変換（２５０）される。復号化された予測残差と予測されたブロックを合成し（２５５）、画像ブロックを再構成する。予測されたブロックは、イントラ予測（２６０）又は動き補償された予測（すなわちインター予測）（２７５）から得ることができる（２７０）。再構成された画像にインループフィルタ（２６５）が適用される。フィルタリングされた画像が、参照ピクチャバッファ（２８０）に記憶される。

復号化されたピクチャは、復号化後処理（２８５）を更に受けることができ、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（１０１）で実行された再マッピング処理の逆を実行する逆再マッピングである。復号化後処理では、符号化前処理で導出されてビットストリームでシグナリングされたメタデータを使用することができる。

図１０は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を例解する。システム１０００は、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本文書に説明する態様のうちの１つ以上を実行するように構成されている。このようなデバイス装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム１０００の要素は、単独で、又は組み合わせて、単一の集積回路（ＩＣ）、複数のＩＣ、及び／又はディスクリート部品で具現化され得る。例えば、少なくとも一実施形態において、システム１０００の処理要素及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又はディスクリート部品に分散される。様々な実施形態では、システム１０００は、例えば、通信バスを経由して、又は専用の入力ポート及び／若しくは出力ポートを介して、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態において、システム１０００は、本文書に記載されている態様のうちの１つ以上を実装するように構成されている。

システム１０００は、例えば、本文書に記載された様々な態様を実装するために、自身にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、組み込みメモリ、入力出力インターフェース、及び当該技術分野で既知である他の様々な回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、限定するものではないが、電気的消去可能プログラマブル読み取り専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み取り専用メモリ（Read-Only Memory、ＲＯＭ）、プログラマブル読み取り専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む、不揮発性メモリ及び／又は揮発性メモリを含み得る、記憶デバイス１０４０を含む。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、取り付けられた記憶デバイス（着脱可能及び着脱不能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含み得る。

システム１０００は、例えば、データを処理して符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自身のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号化機能を実行するためにデバイスに含めることのできるモジュールを表す。既知のように、デバイスは、符号化モジュール及び復号化モジュールの一方又は両方を含み得る。更に、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することができる、又は当業者に既知であるように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ１０１０内に組み込むことができる。

本文書に記載された様々な態様を実行するためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０にロードされるプログラムコードは、記憶デバイス１０４０に記憶することができ、その後、プロセッサ１０１０による実行のためにメモリ１０２０にロードすることができる。様々な実施形態に従って、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文書に記載された処理の実行中に様々な項目のうちの１つ以上を記憶することができる。そのような記憶される項目としては、入力ビデオ、復号化されたビデオ又は復号化されたビデオの一部、ビットストリーム、行列、変数、更には方程式、数式、演算、及び演算論理の処理からの中間結果又は最終結果が挙げられるが、これらに限定されない。

いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶するため及び符号化又は復号化中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかしながら、別の実施形態では、処理デバイス（処理デバイスは例えば、プロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０のいずれかとすることができる）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリは、例えば、テレビジョンのオペレーティングシステムを記憶するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐと称され、ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても知られ、１３８１８－２はＨ．２６２としても知られている）、ＨＥＶＣ（ＨＥＶＣは高効率映像符号化（High Efficiency Video Coding）と称され、Ｈ．２６５及びＭＰＥＧ－ＨＰａｒｔ２としても知られている）、又はＶＶＣ（多用途ビデオ符号化（Versatile Video Coding）、ＪＶＥＴ、ＪｏｉｎｔＶｉｄｅｏＥｘｐｅｒｔｓＴｅａｍによって開発されている新しい規格）などのビデオの符号化動作及び復号化動作のための作業メモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるように、様々な入力デバイスを通じて提供することができる。そのような入力デバイスとしては、限定するものではないが、（ｉ）例えば、放送局から無線で送信されるＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（High Definition Multimedia Interface（ＨＤＭＩ））入力端子が挙げられる。図１０に示されていない他の例としては、複合ビデオが挙げられる。

様々な実施形態において、ブロック１１３０の入力デバイスは、当該技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を特定の周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）特定の実施形態においてチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされて帯域制限された信号を復調する、（ｖ）エラー訂正を実行する、及び（ｖｉ）多重分離してデータパケットの所望のストリームを選択する、ために適した要素を関連付けることができる。様々な実施形態のＲＦ部は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部は、例えば、受信信号をより低い周波数（例えば、中間周波数又はベースバンドに近い周波数）又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦ部及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上述した（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、及び／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦ部は、アンテナを含む。

更に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な側面、例えば、リード－ソロモンエラー訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内で実装する、又はプロセッサ１０１０内で実装することができることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の側面は、必要に応じて、別個のインターフェースＩＣ内で、又はプロセッサ１０１０内で実装することができる。復調されてエラー訂正され、更に逆多重化されたストリームは、出力デバイス上に提示するための必要に応じてデータストリームを処理するため、例えば、プロセッサ１０１０、並びにメモリ及びストレージ要素と組み合わせて動作するエンコーダ／デコーダ１０３０を含む様々な処理要素に提供される。

システム１０００の様々な要素は、統合されたハウジング内に設けることができ、統合されたハウジング内では、様々な要素は、適切な接続構成、例えば、ＩＣ間（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０を介してデータを送信及び受信するように構成された送受信機を含むことができるが、これらに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線媒体及び／又は無線媒体内に実装することができる。

データは、様々な実施形態では、Ｗｉ－Ｆｉネットワークなどの無線ネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子学会（Institute of Electrical and Electronics Engineers）を指す）を使用して、システム１０００にストリーミングされるか、又は別の方法で提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０及び通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、一般には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。別の実施形態では、入力ブロック１１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、システム１０００にストリーミングデータを提供する。更に別の実施形態では、入力ブロック１１３０のＲＦ接続を使用してシステム１０００にストリーミングデータを提供する。上記のように、様々な実施形態は、データをストリーミング以外の方法で提供する。加えて、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビジョン、タブレット、ラップトップ、携帯電話（移動電話）、又は他のデバイス用であり得る。ディスプレイ１１００はまた、他の構成要素に統合され得るか（例えば、スマートフォンのように）、又は別個（例えば、ラップトップの外部モニタ）であり得る。他の周辺デバイス１１２０としては、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語の略称としてＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上が挙げられる。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。

様々な実施形態では、制御信号は、システム１０００とディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓＣｏｎｔｒｏｌ（ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通じた専用接続を介してシステム１０００に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース１０５０を介して通信チャネル１０６０を使用してシステム１０００に接続することができる。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビジョンなどの電子デバイス内のシステム１０００の他の構成要素と単一のユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（ＴＣｏｎ）チップなどのディスプレイドライバを含む。

代替的に、例えば、入力１１３０のＲＦ部が個別のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０を他の構成要素のうちの１つ以上から分離することができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。

実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアの組み合わせによって、実行することができる。非限定的な例として、実施形態は、１つ以上の集積回路によって実装することができる。メモリ１０２０は、技術環境に適した任意のタイプとすることができ、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及び取り外し可能なメモリなどの任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１０１０は、技術環境に適した任意のタイプとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサ、のうちの１つ以上を包含することができる。

様々な実装形態は、復号化することを含む。本出願で使用される「復号化」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理のすべて又は一部を包含することができる。様々な実施形態において、このような処理は、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、デコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、本出願に記載される様々な実装形態のデコーダによって実施されるプロセスも含まれる。

更なる例として、一実施形態では「復号化」はエントロピ復号化のみを指し、別の実施形態では「復号化」は差動復号化のみを指し、別の実施形態では「復号化」はエントロピ復号化及び差動復号化の組み合わせを指す。「復号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な復号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

様々な実装形態は、符号化することを含む。本出願で使用される「符号化」は、「復号化」に関する上記の考察と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理のすべて又は一部を包含することができる。様々な実施形態において、このような処理は、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態では、そのようなプロセスにはまた、若しくは代替的に、本出願に記載される様々な実装形態のエンコーダによって実施されるプロセスも含まれる。

更なる例として、一実施形態では、「符号化」は、エントロピ符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化とエントロピ符号化との組み合わせを指す。「符号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な符号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／処理のフローチャートも提供するものと理解されたい。

様々な実施形態は、パラメトリックモデル又はレート歪み最適化を指し得る。特に、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフは、通常、多くの場合は計算の複雑さの制約を与えるものと考えられる。それは、レート歪み最適化（ＲＤＯ）メトリックを介して、又は最小平均二乗（ＬＭＳ）、絶対誤差の平均（ＭＡＥ）、又は他のそのような測定を介して測定することができる。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、様々なアプローチがある。例えば、これらのアプローチは、すべての考慮されるモード又は符号化パラメータ値を含むすべての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びに符号化及び復号化後の再構成された信号の関連する歪みの完全な評価を伴う。また、符号化の複雑さを軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用することもできる。これらの２つのアプローチを組み合わせて使用することもでき、例えば、可能な符号化オプションの一部のみに対して近似歪みを使用し、他の符号化オプションに対しては完全な歪みを使用することができる。別のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のうちのいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。

本明細書に記載された実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形式の実装形態の文脈でのみ考察されている場合でも（例えば、方法としてのみ考察されている）、考察された特徴の実装形態は、他の形式（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」若しくは「実施形態では」、又は「一実装形態では」若しくは「実装形態では」という句の出現、並びに任意の他の変形例は、必ずしもすべてが同じ実施形態を指すものではない。

加えて、本出願は、様々な情報を「決定する」ことに言及する場合がある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取得することのうちの１つ以上を含むことができる。

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

加えて、本出願は、様々な情報を「受信する」ことに言及する場合がある。受信することは、「アクセスする」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信する」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

「／」、「及び／又は」、「のうちの少なくとも１つ」のうちのいずれかの使用、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢのうちの少なくとも１つ」の場合、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することを意図しているものと理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、このような句は、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は３番目にリストされた選択肢（Ｃ）のみの選択、又は、最初及び２番目にリストされた選択肢（Ａ及びＢ）のみの選択、又は、最初及び３番目にリストされた選択肢（Ａ及びＣ）のみの選択、又は、２番目及び３番目にリストされた選択肢（Ｂ及びＣ）のみの選択、又は３つの選択肢（Ａ及びＢ及びＣ）すべての選択、を包含するように意図されている。このことは、当該技術分野及び関連技術分野の通常の技術を有する者に明らかであるように、リストされた項目の数だけ拡張することができる。

また、本明細書で使用される「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード、又はフラグのうちの特定の１つをシグナリングする。このように、ある実施形態では、同じ変換、パラメータ、又はモードが、エンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信する（明示的なシグナリング）ことができる。逆に、デコーダがすでにその特定のパラメータ及び他のパラメータを有する場合は、単にデコーダがその特定のパラメータを認識及び選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。実際の機能の送信を回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成できることを理解されたい。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上の説明は、語「信号（signal）」の動詞形に関するものであるが、語「信号」は、本明細書では名詞としても使用され得る。

この当業者には明らかであるように、実装形態では、例えば、記憶又は送信することができる情報を伝えるようにフォーマットされた様々な信号を生成することができる。これらの情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、説明されている実施形態のビットストリームを伝えるように信号をフォーマットすることができる。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する）、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、及び符号化されたデータストリームで搬送波を変調することを含むことができる。信号が伝える情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線リンク又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。

様々な請求項のカテゴリ及びタイプにわたって、いくつかの実施形態を説明する。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な請求項のカテゴリ及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせで含むことができる。
●共同で符号化されたＣｂ及びＣｒ信号を処理するためのプロセス又はデバイス。
●共同で符号化されたＣｂ及びＣｒ信号を符号化するためのプロセス又はデバイス。
●共同で符号化されたＣｂ及びＣｒ信号で動作するシンタックス又はセマンティクスを含むプロセス又はデバイス。
●エンコーダ又はデコーダにおいて共同で符号化されたＣｂ及びＣｒ信号を制御するために、ビットストリームにおいてシンタックスを使用又は挿入。
●記載されたシンタックス要素又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
●記載された実施形態のうちのいずれかに従って生成された情報を伝達するシンタックス含むビットストリーム又は信号。
●記載された実施形態のうちのいずれかに従って、作成及び／又は送信及び／又は受信及び／又は復号化。
●記載された実施形態のうちのいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
●デコーダが、エンコーダによって使用されるものに対応する様態でツールを決定することを可能にするシグナリングシンタックス要素に挿入。
●記載されたシンタックス要素又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、作成及び／又は送信及び／又は受信及び／又は復号化。
●記載された実施形態のうちのいずれかによる変換方法を実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●記載された実施形態のうちのいずれかに従って変換方法の決定を実行し、得られた画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化された画像を含む信号を受信するために、チャネルを選択、帯域制限、又はチューニングし（例えば、チューナを使用して）、記載された実施形態のうちのいずれかに従って変換方法を実行する、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化された画像を含む信号を無線で受信し（例えば、アンテナを使用して）、変換方法を実行する、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。

Claims

方法であって、
ジョイントＣｂ／Ｃｒがビデオブロックに対して符号化されているときに、ビデオブロックからＣｂ及びＣｒ多重分離することと、
前記多重分離されたＣｂ及びＣｒデータを量子化解除することと、
前記量子化解除されたＣｂ及びＣｒデータを逆変換することと、
前記逆変換されたＣｂ及びＣｒデータを使用して前記ビデオブロックを復号化することと、を含む、方法。
装置であって、
プロセッサであって、
ジョイントＣｂ／Ｃｒがビデオブロックに対して符号化されているときに、ビデオブロックからＣｂ及びＣｒを多重分離することと、
前記多重分離されたＣｂ及びＣｒデータを量子化解除することと、
前記量子化解除されたＣｂ及びＣｒデータを逆変換することと、
前記逆変換されたＣｂ及びＣｒデータを使用して前記ビデオブロックを復号化することと、を行うように構成されている、プロセッサを備える、装置。
デバイスであって、
請求項２に記載の装置と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号がビデオブロックを含む、アンテナ、（ｉｉ）受信信号を、前記ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、及び（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイス。
ジョイントクロマの符号化されたブロックに特有の量子化制御パラメータが、Ｃｂチャネル及びＣｒチャネルの両方に使用される、請求項１に記載の方法。
ＱＰオフセットは、Ｃｂチャネル及びＣｒチャネルの両方に指定される、請求項１に記載の方法。
ジョイントクロマの符号化されたブロックに特有の量子化制御パラメータが、公称クロマ量子化パラメータの代わりに、Ｃｂチャネル及びＣｒチャネルの両方に使用される、請求項１に記載の方法。
コンピュータプログラムであって、前記コンピュータプログラムがコンピュータによって実行されるとき、前記コンピュータに請求項１に記載の方法を実行させる命令を含む、コンピュータプログラム。