JP7711259B2 - ビデオ符号化のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法 - Google Patents
ビデオ符号化のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法Info
- Publication number
- JP7711259B2 JP7711259B2 JP2024074245A JP2024074245A JP7711259B2 JP 7711259 B2 JP7711259 B2 JP 7711259B2 JP 2024074245 A JP2024074245 A JP 2024074245A JP 2024074245 A JP2024074245 A JP 2024074245A JP 7711259 B2 JP7711259 B2 JP 7711259B2
- Authority
- JP
- Japan
- Prior art keywords
- samples
- luma
- prediction
- domain
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本出願は、2020年6月24日出願の米国仮特許出願番号第63/043,569号
に記載されている利益を主張する。前述の出願の全開示は、あらゆる目的のためにその全
体が参照により本明細書に組み込まれる。
化ユニットに対して予測依存残差スケーリング(prediction depende
nt residual scaling,PDRS)を使用してビデオ符号化を実行す
るためのシステムおよび方法に関する。
情報は、必ずしも先行技術と解釈されるべきではない。
ことができる。ビデオ符号化は、1つまたは複数のビデオ符号化規格に従って実行するこ
とができる。いくつかの例示的なビデオ符号化規格は、多用途ビデオ符号化(Versa
tile Video Coding,VVC)、共同探索テストモデル(joint
exploration model,JEM)符号化、高効率ビデオ符号化(H.26
5/HEVC)、アドバンストビデオ符号化(H.264/AVC)、および動画エキス
パートグループ(MPEG)符号化を含む。
方法(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化技術の目的
の1つは、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビッ
トレートを使用する形式に圧縮することである。
ての包括的な開示ではない。
本出願の第2の態様によれば、ビデオ復号のための方法が提供される。この方法は、彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下で、結合インターイントラ予測(CIIP)モードによって符号化された、符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、CUの輝度成分の、マッピングされたドメインにおける複数の残差サンプルを取得することと、マッピングされたドメインにおける複数の予測サンプルを、マッピングされたドメインにおける複数の残差サンプルに加算し、輝度成分の、マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、事前定義された複数の逆マッピングスケーリング係数に基づいて、輝度成分の複数の再構成されたサンプルを、マッピングされたドメインから元のドメインに変換することと、を含む。
一実施態様では、CUの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの輝度成分の、元のドメインにおける複数のインター予測サンプルを導出することと、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリング係数を使用して、クリッピング操作なしで、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された順方向マッピング精度が11ビットである。
。構造、方法、または機能の変形は、本明細書に提示された例に基づいて当業者によって
実施されてもよく、そのような変形はすべて本開示の範囲内に含まれる。矛盾が存在しな
い場合、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしも組み合
わせる必要はない。
のである。本開示および添付の特許請求の範囲で使用される単数形「a」、「an」およ
び「the」は、他の意味が文脈に明確に含まれない限り、複数形も指す。本明細書で使
用される「および/または(and/or)」という用語は、1つまたは複数の関連する
列挙された項目の任意のまたはすべての可能な組み合わせを指すことを理解されたい。
することができるが、情報はこれらの用語によって限定されるべきではないことを理解さ
れたい。これらの用語は、情報のあるカテゴリを別のカテゴリと区別するためにのみ使用
される。例えば、本開示の範囲から逸脱することなく、第1の情報を第2の情報と呼ぶこ
とができる。同様に、第2の情報を第1の情報と呼ぶこともできる。本明細書で使用され
る場合、「場合(if)」という用語は、文脈に応じて、「時(when)」または「際
(upon)」または「~に応答して(in response to)」を意味すると
理解され得る。
」などへの言及は、実施形態に関連して説明される1つまたは複数の特定の特徴、構造、
または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。したがっ
て、本明細書全体の様々な場所における単数または複数の「一実施形態では」または「実
施形態では」、「別の実施形態では」などの句の出現は、必ずしもすべてが同じ実施形態
を指すとは限らない。さらに、1つまたは複数の実施形態における特定の特徴、構造、ま
たは特性は、任意の適切な方法で組み合わせることができる。
デオ符号化規格H.264/MPEG AVCと比較して、約50%のビットレート節約
または同等の知覚品質を提供する。HEVC規格は、その先行規格よりも大幅な符号化改
善を提供するが、HEVCの上に追加の符号化ツールを用いることで、優れた符号化効率
を達成できる証拠がある。それに基づいて、VCEGおよびMPEGの両方は、将来のビ
デオ符号化の標準化のための新しい符号化技術の探索作業を開始した。符号化効率を大幅
に向上する可能性がある高度技術の重要研究を開始するために、ITU-T VECGお
よびISO/IEC MPEGによって2015年10月に1つの共同ビデオ探索チーム
(Joint Video Exploration Team,JVET)が形成され
た。共同探索モデル(JEM)と呼ばれる1つの参照ソフトウェアは、HEVCテストモ
デル(HM)の上にいくつかの追加の符号化ツールを統合することにより、JVETによ
って維持された。
、ITU-TおよびISO/IECにより共同で募集された。2018年4月に、23回
のCfP応答が受け取られ、10回のJVET会議で評価したところ、HEVCを約40
%上回る圧縮効率の増加が実証された。このような評価結果に基づき、JVETは、新世
代動画像符号化規格である多用途ビデオ符号化(VVC)の開発プロジェクトを新たに立
ち上げた。同じ月に、VVC試験モデル(VVC test model,VTM)と呼
ばれる1つの参照ソフトウェアが、VVC規格の参照実装を実証するために確立された。
は除去するために空間(フレーム内)予測および/または時間(フレーム間)予測を実行
することを含み、概して、ブロックベースのビデオ符号化に関連付けられる。HEVCと
同様に、VVCはブロックベースのハイブリッドビデオ符号化フレームワークに基づいて
構築されている。
ブロックについて、空間予測および/または時間予測を実行することができる。現在のV
VC設計などのより新しいビデオ符号化規格では、ブロックは、四分木だけでなく二分木
および/または三分木も含む、マルチタイプツリー構造に基づいてさらに分割することが
できる。これは、変化する局所的特性のより良好な適応を可能にする。
、同じビデオピクチャ/スライス内の既に符号化された隣接ブロック(参照サンプルと呼
ばれる)のサンプルからの画素を使用する。空間予測は、ビデオ信号に固有の空間的冗長
性を低減する。
ントロピー復号される。符号化モードおよび予測情報は、予測ブロックを形成するために
、空間予測ユニット(イントラ符号化された場合)または時間予測ユニット(インター符
号化された場合)のいずれかに送信される。残差変換係数は、残差ブロックを再構成する
ために、逆量子化ユニットおよび逆変換ユニットに送られる。そして、予測ブロックと残
差ブロックとが加算される。再構成されたブロックは、参照ピクチャストア内に格納され
る前に、ループ内フィルタリングをさらに通過してもよい。その後、参照ピクチャストア
内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出されるとともに
、将来のビデオブロックを予測するために使用される。
度マッピング(LMCS)の符号化ツールは、ループ内フィルタリングの前に適用され得
る。LMCSは、符号化効率を改善するために入力信号のダイナミックレンジを調整する
ことを目的とする。
ング精度は、内部符号化深度のダイナミックレンジを超える可能性がある。
類似している。例えば、実質的にすべてのビデオ符号化規格はブロックベースの処理を使
用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロック図を共有する。
ブリッドビデオエンコーダ100のブロック図を示す。エンコーダ100では、ビデオフ
レームが複数のビデオブロックに分割されて処理される。所与のビデオブロックごとに、
インター予測手法またはイントラ予測手法のいずれかに基づいて、予測が形成される。イ
ンター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定および動
き補償によって、1つまたは複数の予測子が形成される。イントラ予測では、現在のフレ
ーム内の再構成された画素に基づいて予測子が形成される。モード決定により、現在のブ
ロックを予測するために最良の予測子を選択することができる。
信される。変換係数はその後、エントロピー低減のために変換回路102から量子化回路
104へ送信される。量子化された係数は、その後、圧縮ビデオビットストリームを生成
するためにエントロピー符号化回路106に供給される。図1に示すように、ビデオブロ
ック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードな
どのインター予測回路および/またはイントラ予測回路112からの予測関連情報110
も、エントロピー符号化回路106を介して供給され、圧縮ビデオビットストリーム11
4に保存される。
必要とされる。まず、予測残差が逆量子化回路116および逆変換回路118によって再
構成される。この再構成された予測残差は、現在のビデオブロックのフィルタリングされ
ていない再構成画素を生成するために、ブロック予測子120と組み合わされる。
ブロックを予測するために、既に符号化されたビデオピクチャからの再構成画素を使用す
る。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のCUの時間予測信
号は、通常、現在のCUとその時間基準との間の動きの量および方向を示す、1つまたは
複数の動きベクトル(MV)によってシグナリングされる。また、複数の参照ピクチャが
サポートされている場合、1つの参照ピクチャインデックスがさらに送信され、これは、
参照ピクチャストア内のどの参照ピクチャから時間予測信号が来るかを識別するために使
用される。
ーモード決定回路121は、例えばレート歪み最適化方法に基づいて、最良の予測モード
を選択する。次に、ブロック予測子120は、現在のビデオブロックから減算される。そ
して、得られた予測残差は、変換回路102および量子化回路104を使用して逆相関さ
れる。得られた量子化残差係数は、逆量子化回路116によって逆量子化され、逆変換回
路118によって逆変換されて再構成残差が形成され、次いで、これが予測ブロックに加
算されてCUの再構成信号が形成される。再構成されたCUがピクチャバッファ117の
参照ピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前
に、再構成されたCUにデブロッキングフィルタ、サンプル適応オフセット(sampl
e adaptive offset,SAO)、および/または適応ループ内フィルタ
(adaptive in-loop filter,ALF)などの、さらなるループ
内フィルタリング115を適用することができる。出力ビデオビットストリーム114を
形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報
、および量子化残差係数はすべて、ビットストリームを形成するためにさらに圧縮および
パックされるようにエントロピー符号化ユニット106に送信される。
ジョンで利用可能である。HEVCでは、符号化効率をさらに向上させるために、SAO
(sample adaptive offset)と呼ばれる追加のループ内フィルタ
が定義されている。VVC規格の現在のバージョンでは、ALF(適応ループフィルタ)
と呼ばれるさらに別のループ内フィルタが積極的に研究されており、最終規格に含まれる
可能性が高い。
効率および視覚的品質を改善するのに役立つ。それらはまた、計算複雑性を軽減するため
にエンコーダ100が提供する決定として、オフにされてもよい。
、インター予測は、フィルタ処理された再構成された画素に基づいており、これらのフィ
ルタオプションがエンコーダ100によってオンにされていることに留意されたい。
示すブロック図である。このデコーダ200は、図1のエンコーダ100に存在する再構
成関連セクションと同様である。デコーダ200(図2)において、入力ビデオビットス
トリーム201は、量子化された係数レベルおよび予測関連情報を導出するために、エン
トロピー復号202を介して最初に復号される。次いで、量子化された係数レベルは、逆
量子化204および逆変換206を介して処理され、再構成された予測残差を取得する。
イントラ/インターモード選択器212に実装されたブロック予測子メカニズムは、復号
された予測情報に基づいて、イントラ予測208または動き補償210のいずれかを実行
するように構成される。フィルタリングされていない再構成画素のセットは、加算器21
4を使用して、逆変換206からの再構成された予測残差とブロック予測子メカニズムに
よって生成された予測出力とを合計することによって得られる。
に格納される前に、ループ内フィルタ209をさらに通過することができる。ピクチャバ
ッファ213内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するため
に送出されることができるとともに、将来のビデオブロックを予測するために使用される
ことができる。ループ内フィルタ209がオンになっている状況では、これらの再構成さ
れた画素に対してフィルタ操作が実行され、最終的な再構成されたビデオ出力222を導
出する。
よい。現在のVVCなどのより新しいビデオ符号化規格では、より多くの分割方法が採用
され、1つの符号化ツリーユニット(CTU)をCUに分割して、四分木、二分木、また
は三分木に基づく、様々なローカル特性に適応させることができる。CU、予測ユニット
(PU)、および変換ユニット(TU)の分離は、現在のVVCのほとんどの符号化モー
ドには存在せず、各CUは、さらなる分割なしで予測と変換の両方のための基本ユニット
として常に使用される。しかしながら、イントラサブ分割符号化モードなどのいくつかの
特定の符号化モードでは、各CUは依然として複数のTUを含むことができる。マルチタ
イプツリー構造では、1つのCTUが最初に四分木構造によって分割される。次に、各四
分木リーフノードは、二分木構造および三分木構造によってさらに分割することができる
。
水平二分割302、垂直二分割303、水平三分割304、および垂直値分割305を示
す。マルチタイプツリー構造が利用される状況では、1つのCTUが最初に四分木構造に
よって分割される。次に、各四分木リーフノードは、二分木構造および三分木構造によっ
てさらに分割することができる。
つまたは複数を使用して、図1に示す構成を使用して空間予測および/または時間予測を
実行することができる。空間予測(または「イントラ予測」)は、同じビデオピクチャ/
スライス内の符号化済みの隣接ブロック(参照サンプルと呼ばれる)のサンプルからの画
素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間
的冗長性を低減する。
ーリングを伴う輝度マッピング(LMCS)が追加されている。ループフィルタ(例えば
、デブロッキングフィルタ、SAO、およびALF)の前に適用される1つの新しい符号
化ツールとして、LMCSが追加される。
に基づく輝度成分のループ内マッピング、そして、第2には、輝度依存性彩度残差スケー
リングである。
ピングされたドメインで実行される復号モジュールを表し、エントロピー復号401、逆
量子化402、逆変換403、輝度イントラ予測404、および輝度サンプル再構成40
5(すなわち、輝度予測サンプルY’predと輝度残差サンプルY’resとを加算し
て、再構成された輝度サンプルY’reconを生成する)を含む。特定の他のブロック
は、元の(すなわち、マッピングされていない)ドメインで実行される復号モジュールを
示し、動き補償予測409、彩度イントラ予測412、彩度サンプル再構成413(すな
わち、彩度予測サンプルCpredと彩度残差サンプルCresとを加算して、再構成さ
れた彩度サンプルCreconを生成する)、およびループ内フィルタ処理407(デブ
ロッキング、SAO、およびALFを包含する)を含む。ブロックのさらなるグループは
、輝度サンプルの順方向マッピング410および逆(または逆方向)マッピング406、
ならびに彩度残差スケーリング411を含む、LMCSによって導入された新しい操作モ
ジュールを表す。また、図4に示すように、復号されたピクチャバッファ(DPB)40
8(輝度用)および415(彩度用)に格納されているすべての参照ピクチャは、元のド
メインにある。
クレンジを調整することを目的とする。既存のLMCS設計における輝度サンプルのルー
プ内マッピングは、2つのマッピング関数、1つの順方向マッピング関数FwdMap、
および1つの対応する逆マッピング関数InvMapに基づいて構築される。順方向マッ
ピング関数は、16個の等しいサイズの断片を有する1つの区分線形モデルを使用してエ
ンコーダからデコーダにシグナリングされる。逆マッピング関数は、順方向マッピング関
数から直接導出することができ、したがってシグナリングされる必要はない。
ッピングモデルが現在のスライスに対してシグナリングされるべきかどうかを示すために
、存在フラグが最初にシグナリングされる。輝度マッピングモデルが現在のスライスに存
在する場合、対応する区分線形モデルパラメータがさらにシグナリングされる。区分線形
モデルに基づいて、入力信号のダイナミックレンジは、元のドメインで等しいサイズを有
する16個のセグメントに分割され、各セグメントは対応するセグメントにマッピングさ
れる。元のドメインにおける所与のセグメントについて、マッピングされたドメインにお
けるその対応するセグメントは、同じまたは異なるサイズを有し得る。マッピングされた
ドメインにおける各セグメントのサイズは、そのセグメントのコードワード数(すなわち
、マッピングされたサンプル値)によって示される。元のドメインにおける各セグメント
について、マッピングされたドメインにおける対応するセグメント内のコードワードの数
に基づいて、線形マッピングパラメータを導出することができる。例えば、入力が10ビ
ット深度であるとき、元のドメインにおける16個のセグメントの各々は64個の画素値
を有し、マッピングされたドメインにおけるセグメントの各々もそれに割り当てられた6
4個のコードワードを有する場合、それは単純な一対一マッピング(すなわち、各サンプ
ル値を変更しないマッピング)を示す。マッピングされたドメインにおける各セグメント
のシグナリングされたコードワード数は、スケーリング係数を計算し、そのセグメントに
応じてマッピング関数を調整するために使用される。さらに、スライスレベルでは、別の
LMCS制御フラグがシグナリングされ、スライスのLMCSを有効/無効にする。
されているように定義される。
i番目のセグメント(i=0...15)の場合、対応する区分線形モデルは、2つの
入力ピボット点InputPivot[i]およびInputPivot[i+1]、な
らびに、2つの出力(マッピング)ピボット点MappedPivot[i]およびMa
ppedPivot[i+1]、によって定義される。さらに、10ビットの入力ビデオ
を想定すると、InputPivot[i]およびMappedPivot[i]の値(
i=0...15)は、以下のように計算される。
1.変数OrgCW=64を設定する。
2.i=0:16の場合、InputPivot[i]=i*OrgCW
3.i=0:16の場合、MappedPivot[i]は以下のように計算される。
MappedPivot[0]=0;
(i=0;i<16;i++)の場合
MappedPivot[i+1]=MappedPivot[i]+Signale
dCW[i]
ここで、SignaledCW[i]は、第iのセグメントについてのコードワードの
シグナリングされた数である。
ンター予測モード(「インターCU」)を介して符号化された各CUについて、その動き
補償予測は、元のドメインで実行される。しかしながら、輝度成分(すなわち、輝度予測
サンプルと輝度残差サンプルとの加算)の再構成はマッピングされたドメインで実行され
るため、動き補償輝度予測Ypredは、Y’predが画素再構成405に使用される
前に、順方向マッピング関数410すなわちY’pred=FwdMap(Ypred)
を介して、元のドメインからマッピングされたドメインにおける値Y’predにマッピ
ングされる必要がある。一方、イントラ予測モード(「イントラCU」)を介して符号化
された各CUについて、Y’predが画素再構成405に使用される前に、マッピング
されたドメインでイントラ予測404が実行されることを考える(図4に示す)と、予測
サンプルのマッピングは必要ではない。最後に、再構成された輝度サンプルY’reco
nを生成した後、逆方向マッピング関数406を適用して、再構成された輝度サンプルY
’reconを元のドメインの値Yreconに変換してから、輝度DPB 408に進
む、すなわち、Yrecon=InvMap(Y’recon)である。インターCUに
のみ適用される必要がある予測サンプルの順方向マッピング410とは異なり、再構成さ
れたサンプルの逆方向マッピング406は、インターCUとイントラCUの両方に適用さ
れる必要がある。
サンプルYpredが必要に応じてマッピングされたドメインに最初に変換されるように
行われる。Y’pred=FwdMap(Ypred)。次に、マッピングされた予測サ
ンプルがデコードされた輝度残差に加算され、マッピングされたドメインの再構成された
輝度サンプルを形成する。Y’recon=Y’pred+Y’res。最後に、逆マッ
ピングを適用して、再構成された輝度サンプルY’reconを元のドメインに変換する
。Yrecon=InvMap(Y’recon)。エンコーダ側では、輝度残差はマッ
ピングされたドメインで符号化されるため、マッピングされた輝度の元のサンプルとマッ
ピングされた輝度の予測サンプルとの間の差として生成される。Y’res=FwdMa
p(Yorg)-FwdMap(Ypred)。
グが輝度信号に適用されるときに、輝度信号とその対応する彩度信号との間の量子化精度
の相互作用を補償するように設計される。彩度残差スケーリングが有効であるか無効であ
るかは、スライスヘッダでも通知される。輝度マッピングが有効にされており、現在のス
ライスに対して輝度成分および彩度成分の並列木分割が無効にされている場合、輝度依存
彩度残差スケーリングが適用されるかどうかを示すために、追加のフラグがシグナリング
される。輝度マッピングが使用されない場合、または現在のスライスに対して並列木分割
が有効にされている場合、輝度依存彩度残差スケーリングは常に無効にされる。さらに、
4つ以下の彩度サンプルを含むCUについて、彩度残差スケーリングは常に無効にされる
。
使用されるスケーリングパラメータは、対応するマッピングされた輝度予測サンプルの平
均に依存する。スケーリングパラメータは、この段落の直後のボックスに記載されている
ように導出される。
avg’Yを、マッピングされたドメインにおける輝度予測サンプルの平均として表す
。スケーリングパラメータCScaleInvは、以下のステップに従って計算される。
1.マッピングされたドメインでavg’Yが属する区分線形モデルのセグメントイン
デックスY1dxを見つける。ここで、Y1dxは、0から15の範囲の整数値を有する
。
2.CScaleInv=cScaleInv[Y1dx]、式中、cScaleIn
v[i]、i=0...15は、予め計算された16個のルックアップテーブル(LUT
)である。
イントラ予測はLMCSのマッピングされたドメインで実行されるため、イントラ、結
合インターイントラ予測(CIIP)、またはイントラ・ブロック・コピー(IBC)モ
ードとして符号化されたCUの場合、avg’Yは、輝度予測サンプルの平均として計算
される。そうでない場合、avg’Yは、順方向マッピングされたインター予測輝度サン
プルの平均として計算される。
を示す。インターCUの場合、順方向マッピングされた輝度予測Y’predは、スケー
リングされた彩度残差CresScaleと共に彩度残差スケーリング411に供給され
て、彩度残差Cresが導出され、これは、再構成された彩度値Creconを導出する
ために、彩度予測Cpredと共に彩度再構成413に供給される。イントラCUの場合
、イントラ予測404は、既にマッピングされたドメインにあるY’predを生成し、
それは、インターCUの場合と同様の方法で彩度残差スケーリング411に供給される。
CU全体に対して固定される。CScaleInvが与えられると、この段落の直後のボ
ックスに記載されているように、彩度残差スケーリングが適用される。
エンコーダ側:
れた彩度残差サンプル値を表す。
り、新しい符号化ツールのいくつかの例は、双方向オプティカルフロー(Bi-Dire
ctional Optical Flow,BDOF)、デコーダ側動きベクトル微調
整(Decoder-side Motion Vector Refinement,
DMVR)、結合インターイントラ予測(Combined Inter and In
tra Prediction,CIIP)、アフィンモード、およびアフィンモード用
のオプティカルフローによる予測微調整(Prediction Refinement
with Optical Flow,PROF)である。
号化ブロックの予測サンプルを補正する。
クベースの動き補償予測の上で実行されるサンプルに関する動きの微調整である。各4×
4サブブロック501の動き微調整
L1)の予測サンプル、502と503との間の差を最小化することによって計算される
。
内の任意の値xをクリッピングする関数である。記号>>は、ビット単位の右シフト操作
を表す。記号<<は、ビット単位の左シフト操作を表す。
あり、これは1<<max(5,bitDepth-7)に等しく、ここで、bitDe
pthは内部ビット深度である。さらに、
ルの水平勾配および垂直勾配である。値
ができる2つの初期シグナリングされたMVを有するマージブロックに使用される双予測
技術である。
の現在のCUの動き軌跡に沿った2つのブロック間の最良一致を見つけることによって、
現在のCUの動き情報を導出するために使用される。マッチング処理に用いられるコスト
関数は、行サブサンプリングされたSAD(差分絶対値和)である。マッチング処理が行
われた後、補正されたMVは予測段階で動き補償に使用され、後続のピクチャの時間的動
きベクトル予測および未補正のMVは、現在のCUの動きベクトルとその空間的近傍の動
きベクトルとの間の動きベクトル予測に使用される。
びMV1は、現在のピクチャと2つの参照ピクチャとの間の時間距離、すなわちTD0お
よびTD1に比例するものとする。特殊なケースとして、現在のピクチャが2つの参照ピ
クチャの間に時間的にあり、現在のピクチャから2つの参照ピクチャまでの時間的距離が
同じである場合、バイラテラルマッチングはミラーベースの双方向MVになる。
予測方法が使用され、各PUは、時間ドメインまたは空間ドメインのいずれかで相関を利
用するためにインター予測またはイントラ予測を選択することしかできないが、両方では
ない。しかしながら、以前の文献で指摘されたように、インター予測ブロックおよびイン
トラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性を提示する可
能性がある。したがって、2種類の予測を効率的に組み合わせることができれば、予測残
差のエネルギーを削減して符号化効率を向上させるために、もう一つのより正確な予測が
期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動きが複雑にな
る可能性がある。例えば、古いコンテンツ(例えば、以前に符号化されたピクチャに含ま
れるオブジェクト)と新たなコンテンツ(例えば、以前に符号化されたピクチャにおいて
除外されるオブジェクト)の両方を含む領域が存在する可能性がある。そのようなシナリ
オでは、インター予測もイントラ予測も現在のブロックの1つの正確な予測を提供するこ
とができない。
ラ予測とインター予測とを組み合わせた、結合インターイントラ予測(CIIP)が、V
VC規格で採用されている。具体的には、各マージCUについて、現在のCUに対してC
IIPが有効にされているかどうかを示すために、1つの追加のフラグがシグナリングさ
れる。フラグが1に等しい場合、CIIPは、輝度および彩度成分のイントラ予測サンプ
ルを生成するために平面モードのみを適用する。さらに、等しい重み(すなわち、0.5
)が、CIIP CUの最終予測サンプルとして、インター予測サンプルおよびイントラ
予測サンプルを平均するために適用される。
動き補償予測には並進する動きモデルのみが適用される。現実世界では、ズームイン/ズ
ームアウト、回転、遠近の動き、および他の不規則な動きなど、多くの種類の動きがある
。VVCでは、インター符号化ブロックごとに1つのフラグをシグナリングすることによ
って、アフィン動き補償予測が適用され、並進する動きまたはアフィン動きモデルがイン
ター予測に適用されるかどうかを示す。現在のVVC設計では、4パラメータアフィンモ
ードおよび6パラメータアフィンモードを含む2つのアフィンモードが、1つのアフィン
符号化ブロックに対してサポートされている。
各々の並進する動きのための2つのパラメータ、ズームの動きのための1つのパラメータ
、および両方向の回転する動きのための1つのパラメータである。水平ズームパラメータ
は垂直ズームパラメータと等しい。水平回転パラメータは垂直回転パラメータと等しい。
動きベクトルおよびアフィンパラメータのより良好な適応を達成するために、VVCにお
いて、それらのアフィンパラメータは、現在のブロックの左上隅および右上隅に位置する
、2つのMV(制御点動きベクトル(CPMV)とも呼ばれる)に変換される。ブロック
のアフィン動きフィールドは、2つの制御点MV(V0、V1)によって記述される。
各々の並進する動きための2つのパラメータ、ズームの動きのための1つのパラメータお
よび水平方向の回転する動きのための1つのパラメータ、ズームの動きのための1つのパ
ラメータおよび垂直方向の回転する動きのための1つのパラメータである。6パラメータ
アフィン動きモデルは、3つのCPMVにおいて3つのMVで符号化される。
定すると、各サブブロック(vx、vy)の動きベクトルは、この段落の直後のボックス
に記載されているように、制御点で3つのMVを使用して導出される。
ROF)が、現在のVVCにおいて現在研究され、それは、オプティカルフローモデルに
基づいてサブブロックベースのアフィン動き補償を補正する。具体的には、サブブロック
ベースのアフィン動き補償を行った後、1つのアフィンブロックの輝度予測サンプルは、
オプティカルフロー方程式に基づいて導出された1つのサンプル微調整値によって修正さ
れる。詳細には、PROFの操作は、以下の4つのステップにまとめることができる。
タアフィンモデルについては上記の式(6)において、および6パラメータアフィンモデ
ルについては上記の式(7)において、導出されたサブブロックMVを使用して、サブブ
ロック予測
列が1つのサブブロックの各側で生成される必要がある。メモリ帯域幅および複雑さを低
減するために、拡張された境界上のサンプルは、追加の補間処理を回避するために、参照
ピクチャ内の最も近い整数画素位置からコピーされる。
うに計算される。
落の直後のボックスに記載されているように、補正された予測サンプルの値を15ビット
以内にクリッピングするために、第4のステップとして一回のクリッピング操作が実行さ
れる。
ごとに変更されないので、
することができる。サンプル位置
4パラメータアフィンモデルの場合、
ここで、
ルに基づいてスケーリングされる。より新しい符号化ツールがインターCUに対して有効
にされると、このインターCU内のLMCSを介して彩度残差サンプルをスケーリングす
るために使用される輝度予測サンプルは、これらのより新しい符号化ツールの十字適用し
た最後に取得される。
CSにおける彩度残差スケーリングのワークフローを示すフローチャートである。輝度L
0予測値601および輝度L1予測値602からの出力は、DMVR 603およびBD
OF 604に順次供給され、得られた輝度インター予測値621は、輝度イントラ予測
605からの輝度イントラ予測値622と共に平均606に供給されて平均輝度予測値6
23を生成し、これは、彩度残差608と共に彩度残差スケーリング607に供給され、
その結果、彩度残差スケーリング607、彩度予測610、および彩度再構成609が協
働して、最終結果を生成することができる。
イン間のマッピング(異なるドメインマッピング)は、追加の計算複雑性およびオンチッ
プメモリを必要とする。第2に、輝度および彩度スケーリング係数の導出が、異なる輝度
予測値を使用するという事実は、追加の複雑さをもたらす。第3に、LMCSとより新し
い符号化ツールとの間の相互作用は、復号処理に遅延、すなわちLMCSに関連する遅延
問題を導入する。
されたドメインの両方が、様々な復号モジュールで使用される。結果として、これらのサ
ンプルは、異なる復号モジュール間で1つのドメインから別のドメインに変換される必要
があることが多く、これは、より高い計算複雑性およびより多くのオンチップメモリの両
方を招く可能性がある。
在のCUの隣接の再構成されたドメインからのマッピングされたドメイン参照サンプルが
、予測サンプルを生成するために使用される。しかし、インターモードの場合、動き補償
予測は、参照として時間参照ピクチャの元のドメイン再構成サンプルを使用して実行され
る。DPBに格納された再構成サンプルも、元のドメインにある。図4に示すように、異
なる予測モードの下での再構成されたサンプルのそのような混合表現は、追加の順方向お
よび逆輝度マッピング操作を招く。
ルとを一緒に加算すること)は、マッピングされたドメインで実行されるため、元のドメ
インで生成されたインター予測輝度サンプルは、それらが輝度サンプル再構成に使用され
る前にマッピングされたドメインに変換される必要がある。別の例では、イントラCUと
インターCUの両方について、逆(または逆方向)マッピングが常に適用されて、再構成
された輝度サンプルがマッピングされたドメインから元のドメインに変換された後、DP
Bに格納される。そのような設計は、追加の順方向/逆マッピング操作に起因して計算複
雑性を増大させるだけでなく、再構成されたサンプルの複数のバージョンを維持するため
に、より多くのオンチップメモリを必要とする。
彩度残差スケーリングが、それぞれ輝度成分および彩度成分を符号化するために実行され
る。実際のハードウェア実装形態では、順方向および逆(または逆方向)マッピング関数
FwdMapおよびInvMapは、ルックアップテーブル(LUT)を使用して、また
はオンザフライで計算されて実装することができる。LUTベースの解決策が使用される
場合、関数FwdMap、InvMap、およびcScaleInvからの可能な出力要
素は、事前に計算され、LUTとして事前に格納されることができ、その後、現在のスラ
イス内のすべてのCUの輝度マッピングおよび彩度残差スケーリング操作に使用すること
ができる。入力ビデオが10ビットであると仮定すると、FwdMapおよびInvMa
pの各LUTには210=1024個の要素があり、LUTの各要素は10ビットを有す
る。したがって、順方向および逆輝度マッピングのLUTの合計記憶容量は、2*102
4*10=20480ビット=2560バイトに等しい。一方、彩度スケーリングパラメ
ータCScaleInvを導出するためには、エンコーダおよびデコーダにおいて16エ
ントリのLUTテーブルcScaleInvが維持される必要があり、各彩度スケーリン
グパラメータは32ビットで格納される。これに対応して、LUT cScaleInv
を格納するために使用されるメモリサイズは、16*32=512ビット=64バイトに
等しい。2560と64との間の差は、順方向および逆(逆方向)マッピング操作によっ
て必要とされる追加のオンチップメモリのスケールを示す。
ングフィルタの両方が、上記の隣接ブロックの再構成されたサンプルを使用する。したが
って、現在のピクチャ/スライスの幅における再構成サンプルの1つの余分な行は、ビデ
オ符号化において「ラインバッファ」としても知られる、バッファ内に維持される必要が
ある。ラインバッファ内の再構成されたサンプルは、1つのCTU内の第1の行に位置す
るCUのイントラ予測およびデブロッキング操作のための基準として、少なくとも使用さ
れる。既存のLMCS設計によれば、イントラ予測およびデブロッキングフィルタは、異
なるドメインの再構成されたサンプルを使用する。したがって、元のドメイン再構成サン
プルとマッピングされたドメイン再構成サンプルの両方を格納するために追加のオンチッ
プメモリが必要になり、これはラインバッファのサイズをほぼ2倍にする可能性がある。
倍化を回避するための別の実装形態選択は、オンザフライでドメインマッピング操作を実
行することである。しかしながら、これは無視できない計算複雑性の増加の犠牲を伴う。
、追加の計算複雑性およびオンチップメモリを必要とする。
れらの予測残差に対してスケーリング操作を有する。LMCSの現在の設計における輝度
および彩度スケーリング係数導出方法の両方は、対応するスケーリング係数を導出するた
めに輝度予測サンプル値を使用するが、それらの対応する操作の間には違いがある。
スケーリング係数を有することを可能にすることによって、サンプルごとに導出される。
しかしながら、彩度残差スケーリングの場合、スケーリング係数はCU全体に対して固定
され、すなわち、CU内のすべての彩度残差サンプルは、マッピングされた輝度予測サン
プルの平均に基づいて計算される同じスケーリング係数を共有する。
ために使用される。具体的には、輝度LUTへの入力は、元の輝度予測サンプル値のマッ
ピングモデルセグメントインデックスであり、彩度LUTへの入力は、マッピングされた
輝度予測サンプルの平均値のマッピング・モデル・セグメント・インデックスである。い
くつかの例では、輝度予測サンプルをマッピングされたドメインにマッピングする必要な
しに、1つのLUTを使用して輝度残差と彩度残差の両方をスケーリングすることが可能
になる。
グ係数導出に対する調和された手法が望ましい。したがって、1つの統一された設計を達
成するために、輝度残差および彩度残差のスケーリング方法を調和させるためのいくつか
の方法を提案することができる。
設計に従って、彩度残差サンプルは、それらの対応する輝度予測サンプルに基づいてスケ
ーリングされる。これは、CUのすべての輝度予測サンプルが完全に生成されるまで、1
つのLMCS CUの彩度残差サンプルを再構成することができないことを意味する。ま
た、上述したように、インター予測の効率を高めるために、DMVR、BDOF、および
CIIPを適用することができる。図6に示すように、LMCSの現在の設計の彩度残差
スケーリングについて、DMVR、BDOF、およびCIIPの3つのモジュールすべて
などの新しい符号化ツールを順次呼び出して、彩度残差のスケーリング係数を判定するた
めに使用される輝度予測サンプルを生成することができる。3つのモジュールの高い計算
複雑性を考えると、LMCSの彩度残差スケーリングを実行する前にそれらの成功完了ま
で待つことは、彩度サンプルの復号のために、深刻な遅延を引き起こす可能性がある。ア
フィンCUの場合、各アフィンCUがPROF処理を実行し、続いてLMCSを実行する
ことができるため、PROF処理は遅延問題も有する可能性があり、これは彩度サンプル
の復号の遅延問題も引き起こす可能性がある。
リッピング操作が実行され、計算の複雑さおよびオンチップメモリの余分な要件がさらに
増加する。
ることを目的とし、より詳細には、本開示は、符号化利得を維持しながらハードウェアコ
ーデック実装のためのLMCSの複雑性を低減することができる方式を論じている。
クを使用する代わりに、予測依存残差スケーリング(PDRS)と呼ばれる1つの新しい
方法が提案され、サンプルマッピングなしで予測残差を直接スケーリングする。提案され
た方法は、LMCSと同様の効果および符号化効率を達成することができるが、実装複雑
性ははるかに低い。
ンプルを取得し(701)、輝度予測サンプルを使用してスケーリング係数を導出し(7
02)、スケーリング係数を使用して輝度残差サンプルをスケーリングし(703)、輝
度予測サンプルとスケーリングされた輝度残差サンプルとを加算することによって再構成
された輝度サンプルを計算する(704)。
グ方法が提案される。具体的には、輝度予測残差を計算する前に予測/再構成された輝度
サンプルをマッピングされたドメインに直接変換する既存のLMCS方法とは異なり、P
DRS手順の提案された方法では、輝度予測残差サンプルは、マッピング操作なしで元の
ドメインにおける通常の予測処理と同じ方法で導出され、続いて輝度予測残差に対するス
ケーリング操作が行われる。輝度予測残差のスケーリングは、対応する輝度予測サンプル
値および区分線形モデルに依存する。結果として、現在のLMCS設計における順方向お
よび逆輝度マッピング操作は完全に削除することができ、復号処理中に関与するすべての
予測サンプルおよび再構成サンプルは、元のサンプルドメインに維持される。上記の特徴
に基づいて、提案された方法は予測依存残差スケーリングと呼ばれる。さらに、彩度残差
スケーリング導出の遅延を改善するために、彩度残差サンプルのスケーリングパラメータ
を計算するために使用される輝度予測サンプルの生成から、DMVR、BDOF、および
CIIP操作を、完全にまたは部分的に除外するためのいくつかの方法が提案され得る。
を示すフローチャートである。これは、異なるドメイン間のマッピングの必要性の排除を
示している。ここで、残差復号モジュール(例えば、エントロピー復号801、逆量子化
802および逆変換803)を除いて、他のすべての復号モジュール(イントラ予測80
4,809,812およびインター予測816、再構成806および813、ならびにす
べてのループ内フィルタ807および814を含む)は元のドメインで動作している。具
体的には、輝度サンプルを再構成するために、PDRS手順で提案された方法は、輝度予
測残差サンプルYresを元の振幅レベルに逆スケーリングし、次にそれらを輝度予測サ
ンプルYpredに加算するだけでよい。
ング操作が完全に除去される。これは、計算複雑性を節約/低減するだけでなく、LMC
Sパラメータを節約するための潜在的な記憶容量サイズも低減する。例えば、LUTベー
スの解決策が輝度マッピングを実施するために使用される場合、2つのマッピングLUT
FwdMap[]およびInvMap[](約2560バイト)を格納するために以前
に使用された記憶容量は、提案された方法ではもはや必要とされない。さらに、元のドメ
インとマッピングされたドメインの両方に再構成輝度サンプルを格納する必要がある既存
の輝度マッピング方法とは異なり、PDRS手順の提案された方法は、元のドメインのみ
ですべての予測サンプルおよび再構成サンプルを生成し維持する。これに対応して、既存
の輝度マッピングと比較して、PDRS手順における提案された方法は、イントラ予測お
よびデブロッキングのために再構成されたサンプルを格納するために使用されるラインバ
ッファのサイズを、半分だけ効率的に削減することができる。
サンプルは、輝度予測ブロックおよびその関連残差ブロック内の1つの同一位置からのも
のである。
サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の輝度予測
サンプルセグメントのうちの1つのセグメントに割り当てるステップと、輝度予測サンプ
ルのスケーリング係数を割り当てられた輝度予測サンプルセグメントのスケーリング係数
として計算するステップと、を含む。
めに使用されるスケーリングパラメータは、それらの対応する同じ場所に配置された輝度
予測サンプルに基づいて判定されてもよい。一例では、PredYを1つの輝度予測サン
プルの値とすると、その対応する残差サンプルのスケーリング係数は、以下のステップを
介して計算される。
、この段落の直後のボックスで記載されているように、割り当てられた輝度予測サンプル
セグメントに基づいて計算される。
ScaleY=scaleForward[IdxY]
ここで、Yは、スケーリング係数が計算されている輝度残差値であり、ScaleYは
、スケーリング係数であり、scaleForward[i](i=0...15)は、
事前定義された16個のLUTテーブルであり、IdxYは、輝度予測サンプルドメイン
値に割り当てられたセグメントのセグメントインデックスである。
scaleForward[i](i=0...15)は、以下のように事前計算され
る。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、元のドメインおよびマッピ
ングされたドメインにおけるi番目のセグメントのコードワードの数であり、SCALE
_FP_PRECは、スケーリング係数の精度である。
ックスに記載されているように、輝度残差サンプルスケーリング方法を適用することがで
きる。
線形モデルに基づいていることである。元の輝度サンプルと輝度予測サンプルの両方が同
じ断片(すなわち、2つのピボット点InputPivot[i]およびInputPi
vot[i+1]によって定義される同じセグメント)に位置する場合、元の輝度サンプ
ルと予測輝度サンプルの2つの順方向マッピング関数は、全く同じになる。これに対応し
て、Y’res=FwdMap(Yorg)-FwdMap(Ypred)=FwdMa
p(Yorg-Ypred)==FwdMap(Yres)となる。この式の両側に逆マ
ッピングを適用することにより、対応するデコーダ側再構成操作は、以下のように表すこ
とができる。Yrecon=Ypred+InvMap(Y’res)。
では、LMCSにおける輝度マッピング方法は、例えば、図8に示すように、この可能な
実装形態で実施されるように、復号処理における1つの残差スケーリング操作によって達
成することができる。
エンコーダ側:
nputPivot[i]およびInputPivot[i+1]によって定義される同
じセグメントに位置するという仮定に基づいて導出されるが、この例のこの可能な実装形
態は、元の輝度サンプルと輝度予測サンプルが区分線形モデルの異なるセグメントに位置
する場合であっても、VVCにおける既存の輝度マッピング操作の単純化および/または
近似として依然として使用することができる。実験結果は、そのような単純化および/ま
たは近似が、符号化性能にほとんど影響を及ぼさないことを示している。
が区分線形モードの同じセグメントに位置するという仮定に基づいている。この場合、元
の輝度サンプルおよび予測輝度サンプルに適用される順方向/逆マッピング関数は同じで
ある。したがって、単に輝度予測サンプルに依存して、対応する残差スケーリング係数を
計算することが安全である。
ら遠く離れているサンプルは通常はあまり正確に予測されない、イントラ予測されたCU
の場合)、予測サンプルおよび元のサンプルは、区分線形モデルの異なるセグメントに位
置することが多い。この場合、予測サンプル値に基づいて導出されたスケーリング係数は
、元の(すなわち、マッピングされていない)ドメインにおける残差サンプルとマッピン
グされたドメインにおける残差サンプルとの間の元のマッピング関係を反映する際に、信
頼できない可能性がある。
残差マッピング誤差を示す図である。図9において、塗りつぶされた三角形の点は、区分
線形関数における異なるセグメントのピボット制御点を表し、塗りつぶされた円形の点は
、元のサンプル値および予測されたサンプル値を表す。YorgおよびYpredは、元
の(すなわち、マッピングされていない)ドメインにおける元のサンプルおよび予測され
たサンプルである。Y’orgおよびY’predは、それぞれYorgおよびYpre
dのマッピングされたサンプルである。YresおよびY’resは、VVCにおける既
存のサンプルベースの輝度マッピング方法が適用される場合の元のドメインおよびマッピ
ングされたドメインにおける対応する残差である。Y’resScaleは、提案された
輝度残差スケーリング方式に基づいて導出されるマッピングされた残差サンプルである。
図9に示すように、元のサンプルと予測サンプルとが区分線形モデルの同じセグメント内
にないため、予測サンプルに基づいて導出されたスケーリング係数は、マッピングされた
ドメイン(すなわち、Y’res)内の元の残差を近似するスケーリングされた残差(す
なわち、Y’resScale)を生成するのに十分に正確ではない可能性がある。
ードの同じセグメントに位置するという仮定は必要ではない。
ルが位置する区分線形モデルのセグメントから直接スケーリング係数を導出する代わりに
、スケーリング係数は、N個(Nは正の整数)の隣接するセグメントのスケーリング係数
の平均として計算される。
輝度予測サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の
輝度予測サンプルセグメントのうちの1つのセグメントに割り当てるステップと、輝度予
測サンプルのスケーリング係数を、割り当てられた輝度予測サンプルセグメントに隣接す
るいくつかの輝度予測サンプルセグメントのスケーリング係数の平均として計算するステ
ップと、を含む。
下のステップで説明するように、割り当てられた輝度予測サンプルセグメントに基づいて
計算され得る。例えば、デコーダ側では、輝度予測サンプルPredYおよび輝度残差
1)元のドメインでPredYが属する区分線形モデルの対応するセグメントインデッ
クスIdxYを見つけるか、または取得する。
2)
の場合、輝度残差スケーリング係数は、以下のように計算される。
3)そうでない場合(すなわち、
6個のLUTであり、次のように計算される。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、それぞれ元のドメインおよ
びマッピングされたドメインにおけるi番目のセグメントのコードワードの数であり、S
CALE_FP_PRECはスケーリング係数の精度である。
ケーリング係数は、この段落の直後のボックスに記載されているように、割り当てられた
輝度予測サンプルセグメントに基づいて計算することができる。
1)元のドメインでPredYが属する区分線形モデルの対応するセグメントインデッ
クスIdxYを見つけるか、または取得する。
2)輝度残差スケーリング係数は、以下のように計算される。
]の範囲の整数である。Mの一例の値は、(N-1)/2である。Mの別の例示的な値は
、N/2であってもよい。
個の輝度予測サンプルドメイン値セグメントの選択においてのみ異なる。
サンプルと彩度残差サンプルの両方を復号するために輝度予測サンプル値が取得され(1
001)、次に、輝度残差サンプルに関連付けられた輝度予測サンプルが取得され(10
02)、次に、彩度残差サンプルに関連付けられた彩度予測サンプルが取得され(100
3)、輝度予測サンプルを使用して、輝度残差サンプルの第1のスケーリング係数および
彩度残差サンプルの第2のスケーリング係数を導出し(1004)、第1のスケーリング
係数を使用して、輝度残差サンプルをスケーリングし(1005)、第2のスケーリング
係数を使用して、彩度残差サンプルをスケーリングし(1006)、再構成された輝度サ
ンプルは、彩度予測サンプルとスケーリングされた彩度残差サンプルとを加算することに
よって計算され(1007)、再構成された彩度サンプルは、彩度予測サンプルとスケー
リングされた彩度残差サンプルとを加算することによって計算される(1008)。
度残差のスケーリング方法を調和させることを目的とする。
、入力位置を含む符号化ユニット(CU)内のすべての輝度予測サンプルの平均である。
これらの実施形態では、彩度スケーリング導出方法は、輝度残差のスケーリング係数を計
算するために使用され、より具体的には、各輝度残差サンプルに対して1つのスケーリン
グ係数を別々に導出する代わりに、輝度予測サンプルの平均に基づいて計算される1つの
共有スケーリング係数が、CU全体の輝度残差サンプルをスケーリングするために使用さ
れる。
含む符号化ユニット(CU)から細分された事前定義されたサブブロック内のすべての輝
度予測サンプルの平均である。この実施形態では、輝度残差および彩度残差の両方のスケ
ーリング係数を導出するために、サブブロックベースの方法を提案することができる。具
体的には、1つのCUは、まず、複数のM×N個のサブブロックに等しく分割される。各
サブブロックについて、すべてまたは部分的な輝度予測サンプルが使用され、サブブロッ
クの輝度および彩度の両方の残差をスケーリングするために使用される、対応するスケー
リング係数を導出する。第1の方法と比較して、第2の方法は、サブブロックの外側にあ
る相関の低い輝度予測サンプルが、サブブロックのスケーリング係数の計算から除外され
るため、推定されたスケーリング係数の空間精度を改善することができる。一方、第2の
方法はまた、サブブロックの輝度予測が終了した後に、すなわち、CU全体の輝度予測サ
ンプルの完全な生成を待つことなく直ちに、1つのサブブロック内の輝度残差および彩度
残差のスケーリングが開始され得ることを考慮すると、輝度および彩度残差再構成の遅延
を低減することができる。
同じ場所に配置された輝度予測サンプルを含む。この実施形態では、輝度残差スケーリン
グ方法は、彩度残差をスケーリングするように拡張され、各彩度残差サンプルの異なるス
ケーリング係数は、その同じ場所に配置された輝度予測サンプル値に基づいて導出される
。
、輝度スケーリング係数の計算に使用されるのと同じLUTを使用することが提案される
。一例では、彩度残差のCUレベルのスケーリング係数ScaleCを導出するために、
以下に従うことができる。
1)avgYとして示される、CU内の輝度予測サンプル(元のドメインで表される)
の平均を計算する。
2)avgYが属する区分線形モデルの対応するセグメントインデックスIdxYを見
つけるか、または取得する。
3)ScaleCの値を以下のように計算する。
ScaleC=scaleForward[IdxY]
ここで、scaleForward[i](i=0...15)は、1つの事前定義さ
れた16個のLUTであり、これは次のように計算される。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、それぞれ元のドメインおよ
びマッピングされたドメインにおけるi番目のセグメントのコードワードの数であり、S
CALE_FP_PRECはスケーリング係数の精度である。
れる場合に、容易に拡張することができる。その場合、上記の第1のステップでは、av
gYはサブブロックの元のドメインにおける輝度予測サンプルの平均として計算されるが
、ステップ2およびステップ3は同じままである。
ための輝度予測処理中にいくつかの事前定義された中間輝度予測段階をスキップすること
によって複数の輝度予測サンプルが取得され(1101)、取得された複数の輝度予測サ
ンプルを使用して、CU内の彩度残差サンプルのためのスケーリング係数を導出し(11
02)、スケーリング係数を使用して、CU内の彩度残差サンプルをスケーリングし(1
103)、再構成された彩度サンプルは、CU内の彩度予測サンプルおよびスケーリング
された彩度残差サンプルを加算することによって計算される(1104)。
中間輝度予測段階は、デコーダ側動きベクトル導出(DMVR)、双方向オプティカルフ
ロー(BDOF)、および結合インターイントラ予測(CIIP)の1つまたは複数の双
予測モジュールを含む。これらの実施形態では、遅延問題を解決するために、DMVR、
BDOF/PROF、CIIPイントラ/インター結合処理の前に導出されたインター予
測サンプルを使用して、彩度残差のスケーリング係数を導出する。
サンプルを生成するために適用されない、第2の彩度サンプル再構成手順のこの実施形態
の一例における、LMCS復号処理のワークフローを示すフローチャートである。ここで
、DMVR 1203、BDOF 1204および/またはCIIPの輝度イントラ予測
部1205が完全に終了するのを待つ代わりに、初期L0およびL1の輝度予測1201
および1202に基づく、予測サンプル1221および1222が利用可能になるとすぐ
に、彩度残差スケーリング処理1208を開始することができる。
205の前に、初期L0およびL1の予測サンプル1221および1222を組み合わせ
るために、元の平均化操作1206に加えて、1つの追加の平均化操作1211が必要で
ある。
は、初期L0予測サンプルが常に使用され、彩度残差のためのスケーリング係数を導出す
ることができる。
ために適用される、第2の彩度サンプル再構成手順のこの実施形態の第2の例における、
LMCS復号処理のワークフローを示すフローチャートである。元の平均化操作1306
に加えて追加の平均化操作は必要ない。初期L0の予測サンプル1321は、DMVR
1303、BDOF 1304、および/またはCIIP 1305の前の彩度残差のス
ケーリング係数を導出するために使用される。
係数を導出するために使用される輝度予測サンプルとして、1つの初期予測信号(L0ま
たはL1)が適応的に選択される。この例の1つの可能な実装形態では、初期予測信号(
L0またはL1)の間で、その参照ピクチャが現在のピクチャよりも小さいピクチャ順序
カウント(POC)距離を有するものが、彩度残差スケーリング係数を導出するために選
択される。
するために使用されるインター予測サンプルを生成するためにCIIPを有効にしながら
、DMVR、BDOF/PROFのみを無効にすることが提案される。具体的には、この
方法では、DMVRおよびBDOF/PROFの前に導出されたインター予測サンプルが
最初に平均化される。次に、CIIPのイントラ予測サンプルと組み合わされる。最後に
、結合された予測サンプルは、彩度残差スケーリング係数を決定するための予測サンプル
として使用される。
を判定するために使用される予測サンプルを生成するために、DMVRおよびCIIPを
保持しながら、BDOF/PROFのみを無効にすることが提案される。
を判定するために使用される輝度予測サンプルを導出する際に、DMVRを無効にしなが
ら、BDOF/PROFおよびCIIPを保持することが提案される。
差スケーリングの遅延を低減するように設計されているので示されているが、それらの方
法は、輝度予測残差スケーリングの遅延を低減するためにも使用できること、に言及する
価値がある。例えば、「予測依存残差スケーリングに基づく輝度マッピング」のセクショ
ンで説明したPDRS方法にも、すべての方法を適用することができる。
用される予測サンプルは、デフォルトの8タップ補間の代わりに2タップバイリニアフィ
ルタを使用して生成される。補正された動きが判定された後、現在のCUの最終予測サン
プルを生成するためにデフォルトの8タップフィルタが適用される。したがって、DMV
Rによって生じる彩度残差復号遅延を低減するために、バイリニアフィルタによって生成
された輝度予測サンプル(現在のCUが双予測される場合、L0およびL1予測サンプル
の平均)を使用して、彩度残差のスケーリング係数を判定することが提案される。
輝度予測サンプル値が、デコーダ側動きベクトル導出(DMVR)のバイリニアフィルタ
の出力から選択され(1401)、1つまたは複数の選択された輝度予測サンプル値が、
入力ビデオの元の符号化ビット深度と同じビット深度を有する別の1つまたは複数の輝度
予測サンプル値に調整され(1402)、入力ビデオの元の符号化ビット深度と同じビッ
ト深度を有する輝度予測サンプル値を使用して、1つまたは複数の彩度残差サンプルを復
号するためのスケーリング係数を導出し(1403)、スケーリング係数を使用して、1
つまたは複数の彩度残差サンプルをスケーリングし(1404)、1つまたは複数の彩度
残差サンプルが、1つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応
する彩度予測サンプルとを加算することによって再構成される(1405)。
フィルタの出力から1つまたは複数の輝度予測サンプル値を選択するステップは、DMV
Rのバイリニアフィルタの出力からL0およびL1の輝度予測サンプルを選択するステッ
プを含む。
処理のワークフローを示すフローチャートである。DMVR 1503のバイリニアフィ
ルタ1512成分の出力からのL0およびL1予測サンプル1521および1522は、
1つまたは複数の彩度残差サンプルを復号するための彩度残差スケーリング1507で使
用されるべき彩度残差スケーリング入力1523を導出するために、平均1511に供給
される。
内部記憶容量サイズを節約するために、DMVRのバイリニアフィルタによって生成され
る中間L0およびL1予測サンプルは、10ビット精度である。これは、14ビットに等
しい通常の双予測の即時予測サンプルの表現ビット深度とは異なる。したがって、バイリ
ニアフィルタから出力された中間予測サンプルは、その異なる精度のために、彩度残差ス
ケーリング係数を判定するために直接適用することができない。
使用される中間ビット深度と整合させる、すなわち、ビット深度を10ビットから14ビ
ットに増加させることが提案される。その後、通常の双予測信号を生成するために適用さ
れる既存の平均処理を再利用して、彩度残差スケーリング係数を判定するための対応する
予測サンプルを生成することができる。
力ビデオの元の符号化ビット深度と同じビット深度を有する別の1つまたは複数の輝度予
測サンプル値に調整することは、左シフトにより、DMVRのバイリニアフィルタの出力
からのL0およびL1輝度予測サンプルの内部ビット深度を14ビットに増加させること
と、14ビットシフトされたL0およびL1輝度予測サンプル値を平均することによって
14ビット平均輝度予測サンプル値を取得することと、右シフトにより、14ビット平均
輝度予測サンプル値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更するこ
とによって、14ビット平均輝度予測サンプル値を変換することと、を含む。
記載されたステップによって判定される。
1)内部ビット深度整合。次のように示されるように、バイリニアフィルタによって生
成されたL0およびL1の予測サンプルの内部ビット深度を、10ビットから14ビット
に増加させる。
補償するために使用される定数である。
2)L0およびL1のスケーリングされた予測サンプルの平均。彩度残差スケーリング
係数を判定するために使用される最終的な輝度サンプルは、以下のように2つのスケーリ
ングされた輝度予測サンプルを平均することによって計算される。
力から1つまたは複数の輝度予測サンプル値を選択し、入力ビデオの元の符号化ビット深
度と同じビット深度を有する別の1つまたは複数の輝度予測サンプル値に1つまたは複数
の選択された輝度予測サンプル値を調整するステップは、DMVRのバイリニアフィルタ
の出力からL0およびL1の輝度予測サンプルのうちの1つの輝度予測サンプルを選択す
るステップと、シフトによって選択された1つの輝度予測値の内部ビット深度を入力ビデ
オの元の符号化ビット深度に変更することによって1つの選択された輝度予測サンプルを
調整するステップと、入力ビデオの元の符号化ビット深度と同じビット深度を有する輝度
予測サンプルとして調整された輝度予測サンプルを使用するステップと、を含む。
S復号処理のワークフローを示すフローチャートである。DMVR 1603のバイリニ
アフィルタ1612成分の出力からのL0予測サンプル1621は、1つまたは複数の彩
度残差サンプルを復号するための彩度残差スケーリング1607で使用される。この実施
形態では、初期単一予測サンプル(すなわち、L0予測サンプル)を直接使用して、彩度
残差のスケーリング係数を導出することが提案される。
が双予測されると仮定すると、彩度スケーリング係数は、この段落の直後のボックスに記
載されたように、バイリニアフィルタから出力された輝度サンプルを入力ビデオの元の符
号化ビット深度にシフトすることによって判定される。
ビット深度が10以下である場合、
クチャから取り出される整数位置のサンプル)を直接使用して、彩度残差のスケーリング
係数を判定することが提案される。1つまたは複数の実施形態において、彩度残差スケー
リング係数を判定するために、L0およびL1における参照サンプルの平均を使用するこ
とが提案される。別の実施形態では、彩度残差スケーリング係数を計算するために、一方
向(例えば、リストL0)の参照サンプルのみに提案することができる。
輝度参照サンプル値が参照ピクチャから選択され(1701)、1つまたは複数の選択さ
れた輝度参照サンプル値が輝度サンプル値に変換され(1702)、変換された輝度サン
プルを使用してスケーリング係数を導出し(1703)、スケーリング係数を使用して1
つまたは複数の彩度残差サンプルをスケーリングし(1704)、1つまたは複数の彩度
残差サンプルが、1つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応
する彩度予測サンプルとを加算することによって再構成される(1705)。
ら1つまたは複数の輝度参照サンプル値を選択し、1つまたは複数の選択された輝度参照
サンプル値を輝度サンプル値に変換するステップは、L0およびL1参照ピクチャからL
0およびL1の両方の輝度参照サンプル値を取得するステップと、変換された輝度サンプ
ル値としてL0およびL1の輝度参照サンプル値を平均するステップと、を含む。
複数の輝度参照サンプルを選択し、1つまたは複数の選択された輝度参照サンプルを輝度
サンプル値に変換するステップは、L0およびL1参照ピクチャからのL0およびL1輝
度参照サンプル値の中から1つの輝度参照サンプル値を選択するステップと、1つの選択
された輝度参照サンプル値を変換された輝度サンプル値として使用するステップと、を含
む。
輝度サンプルは、領域内のCUの彩度残差スケーリング係数を計算するために使用される
。さらに、1つのクリッピング操作、すなわちClip 1()は、再構成された輝度隣
接サンプルを、平均が計算される前に、内部ビット深度のダイナミックレンジ([0,(
1<<bitDepth)-1]の範囲内にクリッピングするために適用される。
の左隣接輝度サンプルおよび64個の上隣接輝度サンプル、をフェッチする。次いで、左
および上の隣接サンプルの平均、すなわちavgYを計算し、LMCS区分線形モデル内
のavgYのセグメントインデックスY1dxを見つける。最後に、彩度残差CScal
eInv=cScaleInv[Y1dx]を導出する。
のように説明され、クリッピング操作Clip 1()は、目立つフォントサイズで示さ
れるように適用されている。
変数varScaleの導出には、以下の順序付きステップが適用される。
変数invAvgLumaは、以下のように導出される。
-配列recLuma[i](i=0(2*sizeY-1))、および変数cntは、
以下のように導出される。
-変数cntは0に等しく設定される。
-availLがTRUEに等しい場合、配列recLuma[i](i=0..si
zeY-1は、currPic[xCuCb-1][Min(yCuCb+i,pic_
height_in_luma_samples-1)](i=0..sizeY-1)
に等しく設定され、cntはsizeYに等しく設定される。
-availTがTRUEに等しい場合、配列recLuma[cnt+i](i=0
..sizeY-1)は、currPic[Min(xCuCb+i,pic_widt
h_in_luma_samples-1)][yCuCb-1](i=0..size
Y-1)に等しく設定され、cntは(cnt+sizeY)に等しく設定される。
-変数invAvgLumaは、以下のように導出される。
-cntが0より大きい場合、以下が適用される。
invAvgLuma=1<<(BitDepth-1)
上記の説明では、sizeYは64である。recLuma[i]は、上および左の隣
接する輝度サンプルの再構成サンプルである。invAvgLumaは、計算された輝度
平均である。
後、結果のサンプル値は、内部ビット深度のダイナミックレンジに既にクリッピングされ
ている。これは、現在の64x64領域の周りのすべての隣接する再構成輝度サンプルが
、内部ビット深度の範囲内にあることが保証されることを意味する。したがって、それら
の平均、すなわちavgYもこの範囲を超えることはできない。その結果、既存のクリッ
ピング(すなわち、Clip 1())は、対応する彩度残差スケーリング係数を計算す
る必要がない。LMCS設計の複雑さおよびメモリ要件をさらに低減するために、隣接す
る再構成された輝度サンプルの平均を計算するときから、クリッピング操作を除去し、彩
度残差スケーリング係数を導出することが提案される。
チャートである。図18では、CUが位置する第2の所定の領域に隣接する第1の所定の
領域からの複数の再構成された輝度サンプルが、CUの復号中に選択され(1801)、
複数の再構成された輝度サンプルの平均が計算され(1802)、複数の再構成された輝
度サンプルの平均が、CUを復号するための彩度残差スケーリング係数を導出する際に、
クリッピングなしで直接使用される(1803)。
複数の再構成輝度サンプルの平均は、複数の再構成輝度サンプルの算術平均である。
CUを復号するための彩度残差スケーリング係数を導出する際に、複数の再構成された輝
度サンプルの平均をクリッピングなしで直接使用するステップは、事前定義された区分線
形モデルにおける平均のセグメントインデックスを識別するステップと、セグメントの線
形モデルの勾配に基づいてCUを復号するためのクロム残差スケーリング係数を導出する
ステップと、を含む。
第1の所定の領域内の輝度予測サンプルおよび輝度残差サンプルを生成するステップと、
輝度残差サンプルを輝度予測サンプルに加算するステップと、加算された輝度サンプルを
符号化ビット深度のダイナミックレンジにクリッピングするステップと、によって、第1
の所定の領域内の複数の再構成輝度サンプルが生成される。
複数の再構成輝度サンプルは、複数の順方向マッピングされたインター輝度再構成サンプ
ルである。
て、第2の所定の領域は、CUが位置する64×64の領域である。
上の1x64の領域1902内の上部隣接サンプルを含み得る。これに代え、あるいはこ
れに加えて、第1の所定の領域は、第2の所定の領域1904のすぐ左の64x1の領域
1903内の左の近隣サンプルを含み得る。
成されたサンプルは、異なるモードで符号化されたCUに使用される。これに対応して、
2つのドメイン間で予測および再構成輝度サンプルを変換するために、複数のLMCS変
換が現在の符号化/復号処理に関与する。
予測サンプルを生成するために使用される1つの現在のCUの隣接する再構成ドメインか
らの参照サンプルは、マッピングされたドメイン内に維持される。対照的に、CIIPモ
ードおよびすべてのインターモードでは、時間参照ピクチャから生成される動き補償予測
サンプルは、元のドメインにある。輝度再構成操作はマッピングされたドメインで実行さ
れるため、輝度成分のそれらのインター予測サンプルは、残差サンプルと加算される前に
マッピングされたドメインに変換される必要がある。一方、イントラおよびインターモー
ドの両方について、逆マッピングは、マッピングされたドメインから元のドメインに変換
された、再構成された輝度サンプルに常に適用される。
マッピングされたドメインに変換された後に、内部ビット深度のダイナミックレンジ(す
なわち、[0,(1<<bitDepth)-1]の範囲内にクリッピングするために適
用される。一方、イントラおよびインターモードの両方について、再構成された輝度サン
プルが元のドメインに変換された後、同じクリッピング操作が再構成された輝度サンプル
にも適用される。
が常に内部ビット深度のダイナミックレンジ内にあることを保証するビットストリーム制
約が一つある。これは、インターCUのマッピングされた輝度予測サンプルが、そのよう
なダイナミックレンジを超えることができないことを意味する。したがって、インターモ
ードのマッピングされた輝度予測サンプルに適用される既存のクリッピング操作は、冗長
である。一例として、インターモードおよびCIIPモードのインター予測サンプルの順
方向変換後に、クリッピング操作を除去することが提案され得る。別の例では、再構成さ
れた輝度サンプルをマッピングされたドメインから元のドメインに変換するときに、逆L
MCSマッピング処理からクリッピング操作を除去することが提案され得る。
うに説明され、式(1242)のクリッピング操作Clip 1()は、目立つフォント
サイズで示されるように適用されている。
8.8.2.2 輝度サンプルの逆マッピング処理
この処理への入力は、輝度サンプルlumaSampleである。
この処理の出力は、修正された輝度サンプルinvLumaSampleである。
invLumaSampleの値は以下のように導出される。
-輝度サンプルlumaSampleを含むスライスのslice_lmcs_enab
led_flagが1に等しい場合、以下の順序付きステップが適用される。
1.変数idxYInvは、lumaSampleを入力として、idxYInvを出
力として、条項8.8.2.3で指定されているように、輝度サンプルの区分関数インデ
ックス処理の識別を呼び出すことによって導出される。
2.変数invSampleは以下のように導出される。
出される。
れる。
プル予測処理は、以下のように説明され、ここでは、目立つフォントサイズで示されるよ
うに、クリッピング操作Clip 1()が適用されている。
8.5.6.7 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
-現在のピクチャの左上輝度サンプルに対して、現在の輝度符号化ブロックの左上サン
プルを指定する輝度位置(xCb、yCb)
-現在の符号化ブロックの幅cbWidth、
-現在の符号化ブロックの高さcbHeight
-2つの(cbWidth)x(cbHeight)配列predSamplesIn
terおよびpredSamplesIntra
-色成分インデックスを指定する変数cIdx
この処理の出力は、予測サンプル値の(cbWidth)×(cbHeight)配列
predSamplesCombである。
変数scallFactは以下のように導出される。
、(xCb-1,yCb-1+(cbHeight<<scallFactY))および
(xCb-1+(cbWidth<<scallFactX)、yCb-1)に、等しく
設定される。
XがAまたはBのいずれかに置き換えられる場合、変数availableXおよびi
sIntraCodedNeighbourXは、以下のように導出される。
-条項6.4.4で指定された隣接ブロック可用性の導出処理では、(xCb、yCb
)に等しく設定された位置(xCurr、yCurr)、(xNbX、yNbX)に等し
く設定された隣接位置(xNbY、yNbY)、FALSEに等しく設定されたchec
kPredModeY、および0に等しく設定されたcIdx、が入力として呼び出され
、出力はavailableXに割り当てられる。
-変数isIntraCodedNeighbourXは、以下のように導出される。
-availableXがTRUEに等しく、CuPredMode[0][xNbX
][yNbX]がMODE_INTRAに等しい場合、isIntraCodedNei
ghbourXはTRUEに等しく設定される。
-そうでない場合、isIntraCodedNeighbourXは、FALSEと
等しく設定される。
重みwは以下のように導出される。
-isIntraCodedNeighbourAとisIntraCodedNei
ghbourBの両方がTRUEに等しい場合、wは3に等しく設定される。
-そうでない場合、isIntraCodedNeighbourAとisIntra
CodedNeighbourBの両方がFALSEに等しい場合、wは1に等しく設定
される。
-そうでない場合、wは2に等しく設定される。
cIdxが0に等しく、slice_lmcs_enabled_flagが1に等し
い場合、x=0..cbWidth-1およびy=0..cbHeight-1を有する
predSamplesInter[x][y]は、以下のように修正される。
ンプルpredSamplesComb[x][y]は、以下のように導出される。
成は以下のように説明され、クリッピング操作Clip 1()は、目立つフォントサイ
ズで示されるように適用されている。
8.7.5.2 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
-現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置(x
Curr、yCurr)、
-ブロック幅を規定する変数nCurrSw
-ブロック高さを指定する変数nCurrSh
-現在のブロックの輝度予測サンプルを指定する(nCurrSw)x(nCurrS
h)配列predSamples
-現在のブロックの輝度残差サンプルを指定する(nCurrSw)x(nCurrS
h)配列resSamples
この処理の出力は、再構成された輝度ピクチャサンプルアレイrecSamplesで
ある。
マッピングされた予測輝度サンプルpredMapSamplesの(nCurrSw
)×(nCurrSh)配列は、以下のように導出される。
-以下の条件のうちの1つが真である場合、predMapSamples[i][j
]は、i=0..nCurrSw-1、j=0..nCurrSh-1に対してpred
Samples[i][j]と等しく設定される。
-CuPredMode[0][xCurr][yCurr]はMODE_INTRA
と等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_IBCと
等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_PLTと
等しい。
-CuPredMode[0][xCurr][yCurr]はMODE_INTER
に等しく、ciip_flag[xCurr][yCurr]は1に等しい。
-そうでない場合(CuPredMode[0][xCurr][yCurr]がMO
DE_INTERに等しく、ciip_flag[xCurr][yCurr]が0に等
しい)、以下が適用される。
再構成された輝度ピクチャサンプルrecSamplesは、以下のように導出される
。
ここで、i=0..nCurrSw-1,j=0..nCurrSh-1
ンチップメモリの余分な要件を招く。LMCS設計の複雑さおよびメモリ要件をさらに低
減するために、これらの冗長なクリッピング操作を除去することが提案される。
グを伴う輝度マッピング(LMCS)フレームワークの下で、インターモードまたは結合
インターイントラ予測(CIIP)モードによって符号化された符号化ユニット(CU)
の復号中に、輝度成分の複数の再構成されたサンプルが、マッピングされたドメイン内で
取得され(2001)、輝度成分の複数の再構成されたサンプルをマッピングされたドメ
インから元のドメインに変換することにより、輝度成分の複数の変換されたサンプルが元
のドメイン内で取得され(2002)、CUの彩度サンプルを復号するための彩度スケー
リング係数を導出する際に、元のドメインにおける複数の変換された輝度成分のサンプル
が、クリッピングなしで、で使用される(2003)。
ように、CUがインターモードによって符号化される場合、マッピングされたドメインに
おける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメインにお
ける輝度成分の複数のインター予測サンプルを計算するステップ(2101)と、マッピ
ングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取得す
るために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングされた
ドメインに、クリッピングなしで、変換するステップ(2102)と、
マッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプル
を、マッピングされたドメインにおける輝度成分の複数の残差サンプルに加算し、その結
果、マッピングされたドメインにおける輝度成分の複数の再構成されたサンプルが得られ
るステップ(2103)と、を含む。
示すように、CUがCIIPモードによって符号化される場合、マッピングされたドメイ
ンにおける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメイン
における輝度成分の複数のインター予測サンプルを計算するステップ(2201)と、マ
ッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取
得するために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングさ
れたドメインに、クリッピングなしで、変換するステップ(2202)と、マッピングさ
れたドメインにおける輝度成分の複数のイントラ予測サンプルを計算するステップ(22
03)と、複数の変換されたインター予測サンプルと複数のイントラ予測サンプルとの加
重平均によって、マッピングされたドメインにおける輝度成分の予測サンプルを導出する
ステップ(2204)と、
マッピングされたドメインにおける輝度成分の導出された予測サンプルを、マッピング
されたドメインにおける輝度成分の複数の残差サンプルに加算し、その結果、マッピング
されたドメインにおける輝度成分の複数の再構築されたサンプルが得られるステップ(2
205)と、を含む。
の精度で定義された1つのLUTテーブルを使用して実行される。例えば、順方向輝度マ
ッピングを例にとると、現在の順方向マッピングスケーリング係数は、以下のように定義
される。
ScaleCoeff[i]=(lmcsCW[i]*(1<<11)+(1<<(L
og 2(OrgCW)-1)))>>(Log 2(OrgCW))
ここで、lmcsCWは、マッピングされた輝度ドメインの1つのセグメントの長さで
あり、OrgCWは、1<<(BitDepth-4)に等しい元の輝度ドメインの1つ
のセグメントの長さである。
度にのみ十分であることが分かった。内部符号化ビット深度が16ビットである場合、L
og 2(OrgCW)の値は12となる。そのような場合、11ビット精度の向上は、
スケーリング係数導出をサポートするのに十分ではない。これにより、現在のビットスト
リーム適合性が適用された場合、すなわち、マッピングされた輝度ドメインにおけるセグ
メントの長さの合計が(1<<BitDepth)-1以下である場合でも、順方向輝度
マッピング後のマッピングされた予測輝度サンプル値は、内部符号化ビット深度のダイナ
ミックレンジを超えることになり得る。
サンプルに、常にクリッピング操作を適用することが提案される。その上、現在のビット
ストリーム適合性を除去することができる。
は以下のようになる。現在のVVC草案における同じ手順の仕様と比較して、マッピング
された輝度予測サンプルがクリッピング値を含むように、クリッピング操作Clip 1
()が式(1028 a)に常に適用される。
8.5.6.7 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
cIdxが0に等しく、slice_lmcs_enabled_flagが1に等し
い場合、x=0..cbWidth-1およびy=0..cbHeight-1を有する
predSamplesInter[x][y]は、以下のように修正される。
ンプルpredSamplesComb[x][y]は、以下のように導出される。
ようになる。現在のVVC草案における同じ手順の仕様と比較して、マッピングされた輝
度予測サンプルがクリッピング値を含むように、クリッピング操作Clip 1()が追
加される。
8.7.5.2 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
-現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置(x
Curr、yCurr)、
-ブロック幅を規定する変数nCurrSw
-ブロック高さを指定する変数nCurrSh
-現在のブロックの輝度予測サンプルを指定する(nCurrSw)x(nCurrS
h)配列predSamples
-現在のブロックの輝度残差サンプルを指定する(nCurrSw)x(nCurrS
h)配列resSamples
この処理の出力は、再構成された輝度ピクチャサンプルアレイrecSamplesで
ある。
マッピングされた予測輝度サンプルpredMapSamplesの(nCurrSw
)×(nCurrSh)配列は、以下のように導出される。
-以下の条件のうちの1つが真である場合、predMapSamples[i][j
]は、i=0..nCurrSw-1、j=0..nCurrSh-1に対してpred
Samples[i][j]と等しく設定される。
-CuPredMode[0][xCurr][yCurr]はMODE_INTRA
と等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_IBCと
等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_PLTと
等しい。
-CuPredMode[0][xCurr][yCurr]はMODE_INTER
に等しく、ciip_flag[xCurr][yCurr]は1に等しい。
-そうでない場合(CuPredMode[0][xCurr][yCurr]がMO
DE_INTERに等しく、ciip_flag[xCurr][yCurr]が0に等
しい)、以下が適用される。
再構成された輝度ピクチャサンプルrecSamplesは、以下のように導出される
。
表記)を超えるように増加させることが提案される。
ScaleCoeff[i]=(lmcsCW[i]*(1<<M)+(1<<(Lo
g 2(OrgCW)-1)))>>(Log 2(OrgCW))
idxY=predSamples[i][j]>>Log2(OrgCW)
predMapSamples[i][j]=LmcsPivot[idxY]+
(ScaleCoeff[idxY]*(predSamples[i][j]-In
putPivot[idxY])+(1<<(M-1)))>>M(1219)
with i=0..nCurrSw-1,j=0..nCurrSh-1
係数導出の精度を高めることが提案される。第2の解決策の別の実施形態では、順方向輝
度マッピングのスケーリング係数導出の精度のみを高めることが提案される。
ドのマッピングされた輝度予測サンプルに適用される現在のクリッピング操作も安全に除
去することができる。
ンターモードまたはCIIPモードによって符号化されたCUの輝度成分の、マッピング
されたドメインにおける複数の予測サンプルが取得され(2301)、CUの輝度成分の
、マッピングされたドメインにおける複数の残差サンプルがビットストリームから受信さ
れ(2302)、マッピングされたドメインにおける複数の予測サンプルが、マッピング
されたドメインにおける複数の残差サンプルに加算され、その結果、輝度成分の、マッピ
ングされたドメインにおける複数の再構成サンプルが得られ(2303)、輝度成分の複
数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づいて
、マッピングされたドメインから元のドメインに変換される(2304)。
Uはインターモードによって符号化され、CUの輝度成分の、マッピングされたドメイン
における複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの輝度
成分の、元のドメインにおける複数のインター予測サンプルを導出すること(2401)
と、その後、事前定義された符号化ビット深度、および事前定義された順方向マッピング
精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度
成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変
換すること(2402)と、を含む。
、CUはCIIPモードによって符号化され、CUの輝度成分の、マッピングされたドメ
インにおける複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの
輝度成分の、元のドメインにおける複数のインター予測サンプルを導出すること(250
1)と、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度
内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分
の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換す
ること(2502)と、CUの輝度成分の、マッピングされたドメインにおける複数のイ
ントラ予測サンプルを計算すること(2503)と、変換された複数のインター予測サン
プルおよび複数のイントラ予測サンプルの加重平均として、マッピングされたドメインに
おけるCUの輝度成分の予測サンプルを導出すること(2504)と、を含む。
れた順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング
係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピン
グされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリン
グ係数を使用して、輝度成分の複数のインター予測サンプルを、元のドメインからマッピ
ングされたドメインに変換すること(2601)と、事前定義された符号化ビット深度、
および事前定義された順方向マッピング精度に基づいて、クリッピング操作が必要である
かどうかを判定すること(2602)と、クリッピング操作が必要であるという判定に応
答して、マッピングされたドメインにおける輝度成分の複数のインター予測サンプルを、
事前定義された符号化ビット深度にクリッピングすること(2603)と、クリッピング
操作が必要ではないという判定に応答して、輝度成分の複数のインター予測サンプルのク
リッピングをバイパスすること(2604)と、を含む。
は、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも大き
い場合に、クリッピング操作が必要であると判定することを含む。
は、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも小さ
い場合に、クリッピング操作が必要ではないと判定することを含む。
事前定義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく
、クリッピング操作が必要であると判定することを含む。
義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく、クリ
ッピング操作が必要ではないと判定することを含む。
るブロック図である。装置2700は、携帯電話、タブレットコンピュータ、デジタル放
送端末、タブレットデバイス、または携帯情報端末などの端末であってもよい。
に関連する操作など、装置2700の全体的な操作を制御する。処理構成要素2702は
、上記の方法のステップの全部または一部を完了するために命令を実行するための1つま
たは複数のプロセッサ2720を含むことができる。さらに、処理構成要素2702は、
処理構成要素2702と他の構成要素との間の相互作用を容易にするために、1つまたは
複数のモジュールを含むことができる。例えば、処理構成要素2702は、マルチメディ
ア構成要素2708と処理構成要素2702との間の対話を容易にするために、マルチメ
ディアモジュールを含むことができる。
を格納するように構成される。そのようなデータの例は、装置2700上で動作する任意
のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ
、写真、ビデオなどを含む。メモリ2704は、任意のタイプの一時的または非一時的記
憶媒体またはそれらの組み合わせを含むことができ、メモリ2704は、スタティックラ
ンダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み出し専用メモリ
(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログ
ラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ
、フラッシュメモリ、磁気ディスクまたはコンパクトディスクであってもよい。非一時的
記憶媒体は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(
SSD)、フラッシュメモリ、ハイブリッドドライブまたはソリッドステートハイブリッ
ドドライブ(SSHD)、読み出し専用メモリ(ROM)、コンパクトディスク読み出し
専用メモリ(CD-ROM)、磁気テープ、フロッピー(登録商標)ディスクなどであっ
てもよい。
要素2706は、電源管理システム、1つまたは複数の電源、および装置2700のため
の電力の生成、管理、および分配に関連する他の構成要素を含むことができる。
ースを提供する画面を含む。いくつかの例では、画面は、液晶ディスプレイ(LCD)お
よびタッチパネル(TP)を含むことができる。画面がタッチパネルを含む場合、画面は
、ユーザからの入力信号を受信するタッチスクリーンとして実装されてもよい。タッチパ
ネルは、タッチパネル上のタッチ、スライド、およびジェスチャを検知するための1つま
たは複数のタッチセンサを含むことができる。タッチセンサは、タッチまたはスライド操
作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧
力を検出することもできる。いくつかの例では、マルチメディア構成要素2708は、フ
ロントカメラおよび/またはリアカメラを含むことができる。装置2700が撮影モード
またはビデオモードなどの操作モードにあるとき、フロントカメラおよび/またはリアカ
メラは外部マルチメディアデータを受信することができる。
構成される。例えば、オーディオ構成要素2710は、マイクロフォン(MIC)を含む
。装置2700が通話モード、録音モード、および音声認識モードなどの動作モードにあ
るとき、マイクロフォンは外部オーディオ信号を受信するように構成される。受信された
オーディオ信号は、メモリ2704にさらに格納されてもよく、または通信構成要素27
16を介して送信されてもよい。いくつかの例では、オーディオ構成要素2710は、オ
ーディオ信号を出力するためのスピーカをさらに含む。
ジュールとの間のインターフェースを提供する。上記の周辺インターフェースモジュール
は、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホ
ームボタン、音量ボタン、開始ボタン、およびロックボタンを含むことができるが、これ
らに限定されない。
つまたは複数のセンサを含む。例えば、センサ構成要素2714は、装置2700のオン
/オフ状態および構成要素の相対位置を検出することができる。例えば、構成要素は、装
置2700のディスプレイおよびキーパッドである。センサ構成要素2714はまた、装
置2700または装置2700の構成要素の位置変化、装置2700上のユーザの接触の
有無、装置2700の向きまたは加速/減速、および装置2700の温度変化を検出する
ことができる。センサ構成要素2714は、物理的な接触なしに近くの物体の存在を検出
するように構成された近接センサを含むことができる。センサ構成要素2714は、撮像
用途に使用されるCMOSまたはCCDイメージセンサなどの光学センサをさらに含むこ
とができる。いくつかの例では、センサ構成要素2714は、加速度センサ、ジャイロス
コープセンサ、磁気センサ、圧力センサ、または温度センサをさらに含むことができる。
容易にするように構成される。装置2700は、WiFi、4G、またはそれらの組み合
わせなどの通信規格に基づいて無線ネットワークにアクセスすることができる。一例では
、通信構成要素2716は、放送チャネルを介して外部の放送管理システムから放送信号
または放送関連情報を受信する。一例では、通信構成要素2716は、短距離通信を促進
するための近距離無線通信(NFC)モジュールをさらに含んでもよい。例えば、NFC
モジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、
超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術、および他の技術に
基づいて実装されてもよい。
ッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス
(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイ
クロコントローラ、マイクロプロセッサ、または上記の方法を実行する他の電子素子のう
ちの1つまたは複数によって実装されてもよい。
ウェア、またはそれらの任意の組み合わせで実施され得る。ソフトウェアで実装される場
合、機能は、コンピュータ可読媒体に記憶されるか、または1つまたは複数の命令または
コードとしてコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニッ
トによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体
に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場
所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒
体、を含むことができる。このようにして、コンピュータ可読媒体は、一般に、(1)非
一時的である有形のコンピュータ可読記憶媒体、または(2)信号または搬送波などの通
信媒体、に対応することができる。データ記憶媒体は、本出願に記載された実装形態を実
装するための命令、コード、および/またはデータ構造を取り出すために、1つもしくは
複数のコンピュータ、または、1つもしくは複数のプロセッサによってアクセスされ得る
任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可
読媒体を含むことができる。
定用途向け集積回路、プログラマブル論理アレイ、および他のハードウェアデバイスなど
の専用ハードウェア実装を含むことができる。ハードウェア実装は、本明細書に記載の方
法のうちの1つまたは複数を実装するように構成することができる。様々な実装形態の装
置およびシステムを含むことができる例は、様々な電子およびコンピューティングシステ
ムを広く含むことができる。本明細書に記載された1つまたは複数の例は、モジュール間
およびモジュールを介して、または特定用途向け集積回路の一部として、通信することが
できる関連する制御およびデータ信号を有する2つ以上の特定の相互接続されたハードウ
ェアモジュールまたはデバイスを使用して機能を実装することができる。したがって、開
示された装置またはシステムは、ソフトウェア、ファームウェア、およびハードウェアの
実装形態を包含し得る。「モジュール(module)」、「サブモジュール(sub-
module)」、「回路(circuit)」、「サブ回路sub-circuit」
、「回路(circuitry)」、「サブ回路(sub-circuitry)」、「
ユニット(unit)」、または「サブユニット(sub-unit)」という用語は、
1つまたは複数のプロセッサによって実行することができるコードまたは命令を記憶する
メモリ(共有、専用、またはグループ)を含むことができる。本明細書で言及されるモジ
ュールは、格納されたコードまたは命令の有無にかかわらず、1つまたは複数の回路を含
むことができる。モジュールまたは回路は、接続された1つまたは複数の構成要素を含む
ことができる。
ら当業者には明らかであろう。本出願は、本発明の一般的な原理に従い、当技術分野にお
ける既知のまたは慣習的な実施に含まれるような本開示からの逸脱を含む、本発明の任意
の変形、使用、または適合を網羅することを意図している。本明細書および実施例は、例
示としてのみ考慮されることが意図され、本発明の真の範囲および精神は、以下の特許請
求の範囲によって示される。
ら逸脱することなく様々な修正および変更を行うことができることが理解されよう。本発
明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図されている。
Claims (6)
- 現在のピクチャを1つまたは複数の符号化ユニット(CU)に分割することと、
彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下でインターモードによって符号化された、現在のCUの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、
前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプルを取得することと、
前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングされたドメインにおける前記複数の残差サンプルに加算し、前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、
事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換することと、
ビットストリームを形成するために、前記元のドメインにおける前記複数の再構成されたサンプルに基づいて前記現在のCUの予測情報を取得することと、
を含み、
前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
前記現在のCUの時間参照ピクチャから前記現在のCUの前記輝度成分の、前記元のドメインにおける複数のインター予測サンプルを導出することと、
事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと、
を含む、
ビデオ符号化のための方法。 - 前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精度内にある前記事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することは、
クリッピング操作することなく、前記事前定義された複数の順方向マッピングスケーリング係数を使用して、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換すること、
を含む、請求項1に記載の方法。 - 前記事前定義された順方向マッピング精度が11ビットである、請求項1または2に記載の方法。
- コンピューティングデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに結合された非一時的記憶装置と、
前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに請求項1から3のいずれか一項に記載の方法を実行させる、前記非一時的記憶装置に格納された複数のプログラムと、
を含む、コンピューティングデバイス。 - コンピュータが請求項1から3のいずれか一項に記載の方法の工程を実行し、対応するビットストリームを取得できるようにする、コンピュータ読み取り可能な媒体に格納されたコンピュータプログラム。
- 符号化法を行って、ビットストリームを生成することと、
前記ビットストリームを格納することと、
を含む、ビットストリームを格納する方法であって、前記符号化法は、
現在のピクチャを1つまたは複数の符号化ユニット(CU)に分割することと、
彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下でインターモードによって符号化された、現在のCUの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、
前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプルを取得することと、
前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングされたドメインにおける前記複数の残差サンプルに加算し、前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、
事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換することと、
ビットストリームを生成するために、前記元のドメインにおける前記複数の再構成されたサンプルに基づいて前記現在のCUの予測情報を取得することと、
を含み、
前記現在のCUの前記輝度成分の、前記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
前記現在のCUの時間参照ピクチャから前記現在のCUの前記輝度成分の、前記元のドメインにおける複数のインター予測サンプルを導出することと、
事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと、
を含む、
ビットストリームを格納する方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063043569P | 2020-06-24 | 2020-06-24 | |
| US63/043,569 | 2020-06-24 | ||
| PCT/US2021/039003 WO2021263057A1 (en) | 2020-06-24 | 2021-06-24 | Methods and devices for prediction dependent residual scaling for video coding |
| JP2022580391A JP7367237B2 (ja) | 2020-06-24 | 2021-06-24 | ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス |
| JP2023176011A JP7721612B2 (ja) | 2020-06-24 | 2023-10-11 | ビデオ符号化のための方法、非一時的コンピュータ可読記憶媒体、および、ビットストリームを格納する方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023176011A Division JP7721612B2 (ja) | 2020-06-24 | 2023-10-11 | ビデオ符号化のための方法、非一時的コンピュータ可読記憶媒体、および、ビットストリームを格納する方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024099798A JP2024099798A (ja) | 2024-07-25 |
| JP7711259B2 true JP7711259B2 (ja) | 2025-07-22 |
Family
ID=79281882
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022580391A Active JP7367237B2 (ja) | 2020-06-24 | 2021-06-24 | ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス |
| JP2023176011A Active JP7721612B2 (ja) | 2020-06-24 | 2023-10-11 | ビデオ符号化のための方法、非一時的コンピュータ可読記憶媒体、および、ビットストリームを格納する方法 |
| JP2024071223A Active JP7711256B2 (ja) | 2020-06-24 | 2024-04-25 | ビデオ復号のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法 |
| JP2024074245A Active JP7711259B2 (ja) | 2020-06-24 | 2024-05-01 | ビデオ符号化のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022580391A Active JP7367237B2 (ja) | 2020-06-24 | 2021-06-24 | ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス |
| JP2023176011A Active JP7721612B2 (ja) | 2020-06-24 | 2023-10-11 | ビデオ符号化のための方法、非一時的コンピュータ可読記憶媒体、および、ビットストリームを格納する方法 |
| JP2024071223A Active JP7711256B2 (ja) | 2020-06-24 | 2024-04-25 | ビデオ復号のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US12489909B2 (ja) |
| EP (1) | EP4173289A4 (ja) |
| JP (4) | JP7367237B2 (ja) |
| KR (2) | KR20240066299A (ja) |
| CN (2) | CN116708802B (ja) |
| MX (1) | MX2023000018A (ja) |
| WO (1) | WO2021263057A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240066299A (ko) * | 2020-06-24 | 2024-05-14 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩을 위한 예측 종속 잔차 스케일링을 위한 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019006300A1 (en) | 2017-06-29 | 2019-01-03 | Dolby Laboratories Licensing Corporation | Integrated image reshaping and video coding |
| WO2020256400A1 (ko) | 2019-06-17 | 2020-12-24 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
| WO2020257785A1 (en) | 2019-06-20 | 2020-12-24 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for prediction dependent residual scaling for video coding |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9854275B2 (en) | 2011-06-25 | 2017-12-26 | Qualcomm Incorporated | Quantization in video coding |
| GB201611253D0 (en) * | 2016-06-29 | 2016-08-10 | Dolby Laboratories Licensing Corp | Efficient Histogram-based luma look matching |
| US20190082138A1 (en) * | 2017-09-11 | 2019-03-14 | Apple Inc. | Inverse tone-mapping to a virtual display |
| JP7180079B2 (ja) | 2018-02-28 | 2022-11-30 | セイコーエプソン株式会社 | 回路装置及び電子機器 |
| US11303912B2 (en) * | 2018-04-18 | 2022-04-12 | Qualcomm Incorporated | Decoded picture buffer management and dynamic range adjustment |
| HUE070457T2 (hu) * | 2018-09-12 | 2025-06-28 | Lg Electronics Inc | Kép dekódoló és kódoló berendezés kép kódoló rendszer alblokk egységében mozgás predikció alapján |
| EP3691264B1 (en) | 2018-10-05 | 2023-03-08 | LG Electronics Inc. | Intra prediction-based video coding method using mpm list, and device therefor |
| US10951898B2 (en) * | 2018-10-11 | 2021-03-16 | Lg Electronics Inc. | Image decoding method and device using residual information in image coding system |
| KR20240091060A (ko) | 2018-11-07 | 2024-06-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 대응 방법 |
| KR20210134375A (ko) * | 2019-03-04 | 2021-11-09 | 알리바바 그룹 홀딩 리미티드 | 비디오 콘텐츠를 처리하기 위한 방법 및 시스템 |
| WO2020239110A1 (en) * | 2019-05-31 | 2020-12-03 | Mediatek Inc. | Method and apparatus of latency reduction for chroma residue scaling |
| CN117241025A (zh) * | 2019-07-05 | 2023-12-15 | Lg电子株式会社 | 图像解码和编码方法、存储介质及数据的发送方法 |
| KR20240066299A (ko) * | 2020-06-24 | 2024-05-14 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩을 위한 예측 종속 잔차 스케일링을 위한 방법 및 장치 |
-
2021
- 2021-06-24 KR KR1020247014492A patent/KR20240066299A/ko active Pending
- 2021-06-24 KR KR1020237002616A patent/KR102663465B1/ko active Active
- 2021-06-24 JP JP2022580391A patent/JP7367237B2/ja active Active
- 2021-06-24 WO PCT/US2021/039003 patent/WO2021263057A1/en not_active Ceased
- 2021-06-24 CN CN202310814377.XA patent/CN116708802B/zh active Active
- 2021-06-24 EP EP21827832.3A patent/EP4173289A4/en active Pending
- 2021-06-24 CN CN202180045454.9A patent/CN115997382A/zh active Pending
- 2021-06-24 MX MX2023000018A patent/MX2023000018A/es unknown
-
2022
- 2022-12-23 US US18/088,412 patent/US12489909B2/en active Active
-
2023
- 2023-10-11 JP JP2023176011A patent/JP7721612B2/ja active Active
-
2024
- 2024-04-25 JP JP2024071223A patent/JP7711256B2/ja active Active
- 2024-05-01 JP JP2024074245A patent/JP7711259B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019006300A1 (en) | 2017-06-29 | 2019-01-03 | Dolby Laboratories Licensing Corporation | Integrated image reshaping and video coding |
| WO2020256400A1 (ko) | 2019-06-17 | 2020-12-24 | 엘지전자 주식회사 | 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩 |
| WO2020257785A1 (en) | 2019-06-20 | 2020-12-24 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for prediction dependent residual scaling for video coding |
Non-Patent Citations (4)
| Title |
|---|
| Jie Zhao, and Seung Hwan Kim,On High Bit Depth Signaling of In-loop Reshaper,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0300,14th Meeting: Geneva, CH,2019年03月17日,pp.1-4 |
| Kiyofumi Abe, and Tadamasa Toma,Issue of simplified luma mapping of LMCS,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0254-v1,16th Meeting: Geneva, CH,2019年10月,pp.1-5 |
| Taoran Lu, et al.,AHG16: Simplification of Reshaper Implementation,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0220,14th Meeting: Geneva, CH,2019年03月,pp.1-9 |
| Taoran Lu, et al.,CE12: Mapping functions (test CE12-1 and CE12-2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0427-v2,13th Meeting: Marrakech, MA,2019年01月,pp.1-15 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024020201A (ja) | 2024-02-14 |
| JP2024099724A (ja) | 2024-07-25 |
| EP4173289A4 (en) | 2023-12-27 |
| JP2023529753A (ja) | 2023-07-11 |
| JP2024099798A (ja) | 2024-07-25 |
| KR102663465B1 (ko) | 2024-05-03 |
| JP7367237B2 (ja) | 2023-10-23 |
| KR20240066299A (ko) | 2024-05-14 |
| US12489909B2 (en) | 2025-12-02 |
| US20230126175A1 (en) | 2023-04-27 |
| CN116708802A (zh) | 2023-09-05 |
| CN116708802B (zh) | 2024-08-23 |
| JP7721612B2 (ja) | 2025-08-12 |
| JP7711256B2 (ja) | 2025-07-22 |
| KR20230019218A (ko) | 2023-02-07 |
| EP4173289A1 (en) | 2023-05-03 |
| CN115997382A (zh) | 2023-04-21 |
| WO2021263057A1 (en) | 2021-12-30 |
| MX2023000018A (es) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240137516A1 (en) | Methods and devices for prediction dependent residual scaling for video coding | |
| US20250080742A1 (en) | Methods and devices for prediction dependent residual scaling for video coding | |
| US12477121B2 (en) | Lossless coding modes for video coding | |
| US20220116616A1 (en) | Methods and devices for prediction dependent residual scaling for video coding | |
| JP7711259B2 (ja) | ビデオ符号化のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビットストリームを格納する方法 | |
| US20230067650A1 (en) | Methods and devices for prediction dependent residual scaling for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250617 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250709 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7711259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |