[go: up one dir, main page]

JP7681621B2 - SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大 - Google Patents

SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大 Download PDF

Info

Publication number
JP7681621B2
JP7681621B2 JP2022566081A JP2022566081A JP7681621B2 JP 7681621 B2 JP7681621 B2 JP 7681621B2 JP 2022566081 A JP2022566081 A JP 2022566081A JP 2022566081 A JP2022566081 A JP 2022566081A JP 7681621 B2 JP7681621 B2 JP 7681621B2
Authority
JP
Japan
Prior art keywords
value
chrominance
color
max
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022566081A
Other languages
English (en)
Other versions
JP2023524687A (ja
Inventor
トゥーゼ、デイヴィッド
コライティス、マリー-ジャン
セレ、カトリーヌ
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2023524687A publication Critical patent/JP2023524687A/ja
Priority to JP2025079604A priority Critical patent/JP2025118825A/ja
Application granted granted Critical
Publication of JP7681621B2 publication Critical patent/JP7681621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本実施形態のうちの少なくとも1つは、概して、SL-HDRxシステム(x=1、2、又は3)を使用したHDRビデオの配給の分野に関する。
表示技術における最近の進歩によって、表示される画像における色、ルミナンス、及びコントラストの拡張ダイナミックレンジが使用可能になり始めている。画像という用語は、本明細書では、例えば、ビデオ又は静止ピクチャ若しくは画像であり得る画像コンテンツを指す。
高ダイナミックレンジビデオ(High-dynamic-range video、HDRビデオ)は、標準ダイナミックレンジビデオ(standard-dynamic-range video、SDRビデオ)より大きいダイナミックレンジを有するビデオを表す。HDRビデオは、キャプチャ、プロダクション、コンテンツ/符号化、及びディスプレイを含む。HDRキャプチャ及びディスプレイは、より明るい白色及びより深い黒色を有することができる。このことに対処するために、HDR符号化基準では、この拡張範囲にわたって精度を維持するために、最大ルミナンスを高めることを可能にし、(非専門的なSDRビデオの場合の8ビット及び専門的なSDRビデオの場合の10ビットと比較して)少なくとも10ビットのダイナミックレンジを使用する。
技術的に「HDR」は、最大ルミナンスと最小ルミナンスとの比率を厳密に指すが、「HDRビデオ」という用語は一般に、広い色域も意味すると理解される。
いくつかのHDRディスプレイデバイス、並びに高められたダイナミックレンジで画像をキャプチャできる画像カメラが登場しているが、利用可能であるHDRコンテンツの数は依然として非常に限られている。既存のコンテンツのダイナミックレンジを拡張し、それによって、HDRディスプレイデバイス上でこれらのコンテンツを効率的に表示することを可能にするソリューションが必要である。
標準SL-HDR1(ETSI TS 103433-1シリーズ、最新バージョンはv1.3.1)は、SDR配信ネットワーク及びすでに所定の位置にあるサービスを使用して配信することができるSDRビデオストリームからHDR信号を再構成することを可能にするメタデータを使用することによって、直接後方互換性を実現する。SL-HDR1は、単層ビデオストリームを使用して、HDRデバイス上でのHDRレンダリング及びSDRデバイス上でのSDRレンダリングを可能にする。
標準SL-HDR2(ETSI TS 103433-2シリーズ、最新バージョンはv1.2.1である)はHDRデバイスに適合されている。標準SL-HDR2は、メタデータとともにST-2084(PQ(Perceptule Quantizer)又はHDR10とも呼ばれる)ストリームを伝送することを可能にする。ストリームが、ST-2084とのみ互換性があり、メタデータと互換性がないデバイスによって受信されると、デバイスはメタデータを無視し、その技術的詳細の全てを知ることなく画像を表示する(デバイスモデル及びその処理能力に応じて、色レンダリング及びレベルディテールでは元のソースを考慮しないことがある)。ST-2084フォーマット及びメタデータをサポートするデバイスは、ストリームを受信すると、コンテンツ制作者の意図を最もよく考慮した最適化画像を表示する。
標準SL-HDR3(ETSI TS 103433-3v1.1.1)は、メタデータとともにHLG(ハイブリッドログガンマ)ストリームを伝送することを可能にする。SL-HDR3システムは、SL-HDR2 HDR/SDR再構成ブロックに基づくHDR/SDR再構成ブロックを含み、すなわち、HLG対ST-2084光電伝達関数(Opto-Electronic Transfer Function、OETF)コンバータ及びSL-HDR2 HDR/SDR再構成ブロックのカスケードを備える。OETFは、センサのアクションを表し、シーンルミナンスからデータに変換する。
SL-HDRxシステムでは、SDR及びHDR表示適合信号のクロマは、SL-HDRxメタデータに含まれる色補正調整変数に起因して調整することができる。このような色補正調整変数メタデータは、任意のSL-HDRxプロセスにあるデフォルト色補正関数を修正するSGF(飽和ゲイン関数)として知られる区分関数を定義する。色補正は、ルミナンス(画像信号のY成分)に依存する。すなわち、色補正は、ピクセル(例えば、U及びVの構成要素)のルミナンスの関数として当該ピクセルの色を修正する。
一般に、SGFメタデータは、座標(sgf_x、sgf_y)を用いて最大で6つの点を定義する。sgf_xはルミナンスを表し、sgf_yはこのルミナンスでの色補正を表す。sgf_x及びsgf_y座標は、例えば、「0」~「255」に含まれる値である。
デフォルトでは、SGFは、各ルミナンス値について同一であるデフォルト色補正を実現する。このデフォルト色補正は、概して経験的に定義され、中性SDR及びHDR表示適合信号をもたらす。
SDR及びHDR表示適合信号のクロマを増加させるための基本的な解決策は、ルミナンス値の各々について異なる色補正を有することによって、クロマをグローバルに増加させることである。この解決策は、いくつかの制限を伴う。
●すなわち、色はグローバルにのみ制御される。したがって、いくつかの色がすでに十分に飽和している場合、これらの色に色補正を加えると、それらの色は過度に飽和しているように見える。
●制御されていない色補正を色に加え、すなわち、U値及びV値を過度に増加させると、U値及びV値が範囲外になることがあり、これによって、U値及びV値が切り取られ、したがって、再構成エラーが生じる場合がある。
上記の欠点を克服することが望ましい。
SL-HDR1、SL-HDR2及びSL-HDR3システムにおいても、SL-HDRxシステムの任意の以後の変形例においても、色補正のより良好な制御を可能にする方法を定義することが特に望ましい。
第1の態様では、本実施形態のうちの1つ以上は方法を提供し、この方法は、現在のRGB画像を取得することと、現在のRGB画像のクロミナンス成分を分析することであって、分析が、現在のRGB画像のピクセルの少なくともサブセットの各ピクセルについて、当該ピクセルのRGB成分からルマ成分を導出することを含む、分析することと、導出されたルマ成分にトーンマッピングを適用して、トーンマッピングされたルマ成分を取得することと、ピクセルのRGB成分からクロミナンス成分を導出し、ジョイント正規化及び色補正をクロミナンス成分に適用して、補正された正規化クロミナンス成分を取得することと、トーンマッピングされたルマ成分及び補正された正規化クロミナンス成分を使用して、現在のRGB画像のピクセルの色を複数のクラスに分類することと、各色クラスについて、当該クラス内の色が優位であるルミナンスを表す優位ルミナンス値を含む、当該色クラスを表すデータを決定し、当該色クラスを表すデータから、当該当該色クラス内のクロミナンス成分を増加させるためのマージンを表すクロミナンスのゲインを表す値を決定し、各クラスに対応する優位ルミナンス値及びゲインを表す値を、ビットストリーム内の飽和ゲイン関数を表すメタデータとして符号化することであって、当該関数が、ピクセルに適用される色補正を当該ピクセルのルミナンスの関数として定義する、符号化することと、を含む。
一実施形態では、現在のRGB画像は、ビデオシーケンスに含まれ、時間フィルタリングが、現在のRGB画像に先行するビデオシーケンスの画像について計算されたクロマゲインを表す情報に基づいてクロマゲインを表す情報に適用される。
一実施形態では、時間フィルタリングは、ビデオシーケンスの開始時又はシーンカットがビデオシーケンス内で識別されるときに再初期化される。
一実施形態では、色クラスは、クロミナンス平面における純粋な原色及び/又は二次色の周りの色セクタである。
一実施形態では、セクタの組み合わせは、クロミナンス平面を一体的にカバーする。
一実施形態では、当該色クラスを表すデータを決定することは、ピクセルのヒストグラムを当該色クラスのルミナンス値の関数として取得することを含む。
一実施形態では、値の所定の範囲に含まれるルミナンス値に対応するピクセルのみが、ヒストグラムを取得するために使用される。
一実施形態では、優位ルミナンス値は、ヒストグラムにおいてピクセルの最大値が存在するルミナンス値又は最大クロミナンスエネルギーが存在するルミナンス値に対応し、クロミナンスエネルギーは、ヒストグラムのビンについて、そのビンに対応するピクセルの数に、そのビンに見られる最大クロマ値、又は最大平均クロミナンスエネルギーが存在するルミナンス値を乗算することによって計算され、平均クロミナンスエネルギーが、ヒストグラムのビンについて、そのビンに対応するピクセル数にそのビンに見られる最大クロマ値を乗算することによって計算される。
第2の態様では、本実施形態のうちの1つ以上はデバイスを提供し、このデバイスは、現在のRGB画像を取得するための手段と、現在のRGB画像のクロミナンス成分を分析するための手段であって、分析するための手段が、現在のRGB画像のピクセルの少なくともサブセットの各ピクセルについて、当該ピクセルのRGB成分からルマ成分を導出するための手段を含む、手段と、導出された成分にトーンマッピングを適用して、トーンマッピングされたルマ成分を取得するための手段と、当該ピクセルのRGB成分からクロミナンス成分を導出するための手段と、ジョイント正規化及び色補正をクロミナンス成分に適用して補正された正規化クロミナンス成分を取得するための手段と、トーンマッピングされたルマ成分及び補正された正規化クロミナンス成分を使用して、現在のRGB画像のピクセルの色を複数のクラスに分類するための手段と、各色クラスについて、当該クラス内の色が優位であるルミナンスを表す優位ルミナンス値を含む、当該色クラスを表すデータを決定し、かつ当該色クラスを表す当該データから、当該色クラス内のクロミナンス成分を増加させるためのマージンを表すクロミナンスのゲインを表す値を決定し、各クラスに対応する優位ルミナンス値及びゲインを表す値を、ビットストリーム内の飽和ゲイン関数を表すメタデータとして符号化するための手段であって、当該関数が、ピクセルに適用される色補正を当該ピクセルのルミナンスの関数として定義する、手段と、を備える。
一実施形態では、現在のRGB画像は、ビデオシーケンスに含まれ、デバイスは、現在のRGB画像に先行するビデオシーケンスの画像について計算されたクロマゲインを表す情報に基づいて、クロマゲインを表す情報に適用される時間フィルタリング手段を含む。
一実施形態では、時間フィルタリングは、ビデオシーケンスの開始時又はシーンカットがビデオシーケンス内で識別されるときに再初期化される。
一実施形態では、色クラスは、クロミナンスプランにおける純粋な原色及び/又は二次色の周りの色セクタである。
一実施形態では、セクタの組み合わせは、クロミナンス平面を一体的にカバーする。
一実施形態では、当該色クラスを表すデータを決定することは、ピクセルのヒストグラムを当該色クラスのルミナンス値の関数として取得することを含む。
一実施形態では、値の所定の範囲に含まれるルミナンス値に対応するピクセルのみが、ヒストグラムを取得するために使用される。
一実施形態では、優位ルミナンス値は、ヒストグラムにおいてピクセルの最大値が存在するルミナンス値又は最大クロミナンスエネルギーが存在するルミナンス値に対応し、クロミナンスエネルギーは、ヒストグラムのビンについて、そのビンに対応するピクセルの数に、そのビンに見られる最大クロマ値、又は最大平均クロミナンスエネルギーが存在するルミナンス値を乗算することによって計算され、平均クロミナンスエネルギーが、ヒストグラムのビンについて、そのビンに対応するピクセル数にそのビンに見られる最大クロマ値を乗算することによって計算される。
第3の態様では、本実施形態のうちの1つ以上は、第1の態様の方法によって、又は第2の態様のデバイスによって生成される信号を提供する。
第4の態様では、本実施形態のうちの1つ以上は、第1の態様による方法を実装するためのプログラムコード命令を含むコンピュータプログラムを提供する。
第5の実施形態では、本実施形態のうちの1つ以上は、第1の態様による方法を実装するためのプログラムコード命令を記憶する情報記憶手段を提供する。
SL-HDRxシステムの一例を示す。 SL-HDRxシステムの後処理モジュールを概略的に示す。 様々な態様及び実施形態を実装することができる処理モジュールのハードウェアアーキテクチャの例を概略的に示す。 様々な態様及び実施形態が実施される第1のシステムの一例のブロック図を示す。 様々な態様及び実施形態が実施される第2のシステムの一例のブロック図を示す。 前処理プロセスの第1の例を概略的に示す。 前処理プロセスの第2の例を概略的に示す。 後処理プロセスの再構成プロセスの例を概略的に示す。 SL-HDRxシステムにおける色補正を制御する方法を概略的に示す。 三原色(赤、緑、青)及び二次(マゼンタ、黄色、シアン)色及び対応するセクタの位置を表す。 時間安定化法の例を概略的に示す。 時間安定化方法の初期化段階の例を概略的に示す。 時間安定化方法のフィルタリング済みパラメータ計算プロセスの例を概略的に示す。 SL-HDR2システムに適合された色補正を制御するための方法の実施形態を概略的に示す。 SL-HDR2システムに適合された色補正を制御するための方法第1の詳細を示す。 SL-HDR2システムに適合された色補正を制御するための方法の第2の詳細を示す。
図1は、SL-HDRxシステムの例を示す。SL-HDRx(x=1、2又は3)は、前処理モジュール10、符号化モジュール12、及び後処理モジュール14を備える。前処理モジュール10は、通信リンク11によって、符号化モジュール12に通信可能に接続されている。SL-HDR2及びSL-HDR3システムでは、前処理モジュール10は、元のコンテンツからHDRコンテンツ及び動的メタデータを生成し、一方SL-HDR1システムでは、前処理モジュールは、オリジナルからSDRコンテンツ及び動的メタデータを生成する。前処理モジュール10は、出力HDR又はSDRコンテンツを生成する計算部分、及びコンテンツを分析し、動的メタデータを生成する分析部分を統合する。元のコンテンツは、カメラなどの取得デバイスによって生成しておくか、コンピュータグラフィックスシステムによって生成しておくか、又は取得デバイスとコンピュータグラフィックスシステムとの組み合わせによって取得しておくことができる。HDR又はSDRコンテンツは、例えば、取得デバイス(すなわち、カメラ)パラメータなどのHDR又はSDRコンテンツの取得コンテキストを表す静的メタデータを含むことができる。
前処理モジュール10には、マスタービデオ及び静的メタデータを取得するために元のHDR又はSDRビデオに適用された後プロダクションプロセス中に生成されたHDRコンテンツが供給される。後プロダクションプロセスは、例えば、
・例えば、マスタービデオに芸術的効果を導入するためのカラーグレーディングプロセスと、
・マスタービデオに視覚効果を導入するためのVFX合成プロセスと、
・HDRビデオからSDRマスタービデオを生成することを可能にするトーンマッピングプロセスと、
・SDRビデオからHDRマスタービデオを生成することを可能にする逆トーンマッピングプロセスと、を含む。
次いで、前処理モジュール10は、SL-HDRx使用ケースに適合させたコンテンツ及び動的メタデータを生成する。SL-HDR1システムでは、生成されるビデオは、SDRビデオである。SL-HDR2システムでは、生成されるビデオは、PQ HDRビデオである。SL-HDR3システムでは、生成されるビデオはHLG HDRビデオである。
SL-HDR1システムにおいて実施される前処理プロセスの例について、図6に関連して以下に説明する。
符号化モジュール12は、生成されたビデオ、並びに後プロダクションからの静的メタデータとSL-HDRx前処理からの動的メタデータの両方を含むメタデータを前処理モジュール10から受信し、当該生成されたビデオ及びメタデータを符号化する役割を果たす。
符号化モジュール12は、例えば、生成されたビデオ及びビデオ圧縮標準HEVC(ISO/IEC23008-2-MPEG-H Part 2、High Efficiency Video Coding/ITU-T H.265)又はAVC(ISO/IEC14496-10-MPEG-4 Part 10、Advanced Video Coding)又は開発中のVersatile Video Coding(VVC)という名称の標準に準拠したメタデータから符号化済みビデオストリームを生成する。メタデータは、例えば、HEVCカラーリマッピング情報(Color Remapping Information、CRI)又はマスタリングディスプレイカラーボリューム(Display Colour Volume、MDCV)SEIメッセージなどのSEIメッセージによって実行される。
以下において、本発明者らは、前処理モジュール10と符号化モジュール12との組み合わせを入力モジュールと呼ぶ。
符号化された生成済みビデオは、符号化されると、通信リンク13を使用して、後処理モジュール14に送信される。
図2は、後処理モジュール14を概略的に示す。
後処理モジュール14は、符号化済みマスタービデオ及び関連するメタデータを復号するように適合されたデコーダ140を備える。
SL-HDR1システムでは、符号化された生成済みビデオは、SDRビデオを表し、メタデータは、SDRビデオからHDRビデオを生成するために使用される。SDRビデオは、復号されると、SL-HDR1を統合しない後処理デバイスにおいて、通信リンク17を使用してSDRディスプレイデバイス18に送信される。次いで、SDRディスプレイデバイス18は、復号済みSDRビデオを表示する。SL-HDR1を統合する後処理デバイスでは、後処理モジュール14は、再構成モジュール141を含む。再構成モジュール141は、デコーダ140から復号済みSDRビデオを受信し、メタデータを使用して、当該復号済みSDRビデオからHDRビデオを再構成する。次いで、当該再構成されたHDRビデオは、それを表示するHDRディスプレイデバイス16に送信される。場合によっては、ディスプレイデバイス16は、HDRディスプレイデバイスではなく、SDRディスプレイデバイス又はSDRディスプレイデバイス及びHDRディスプレイデバイスの中間であるMDR(媒体ダイナミックレンジ)ディスプレイデバイスである。これらの場合、再構成モジュールは、MDRディスプレイデバイス16の表示能力を表す情報を取得し、再構成中にこれらの能力を考慮して、MDRディスプレイデバイスに適合されたビデオを再構成する。HDR(又はSDR又はMDR)ビデオは、再構成されると、通信リンク15を使用してHDR(又はSDR又はMDR)ディスプレイデバイス16に送信される。次いで、HDR(又はSDR又はMDR)ディスプレイデバイス16は、再構成されたHDR(又はSDR又はMDR)ビデオを表示する。
SL-HDR2システムでは、符号化された生成済みビデオは、PQ HDRビデオを表し、メタデータは、復号済みPQ HDRビデオからSDR(又はMDR)ビデオを生成するために使用される。PQ HDRビデオは、復号されると、SL-HDR2を統合しない後処理デバイスにおいて、通信リンク17を使用してHDRディスプレイデバイス18に送信される。次いで、HDRディスプレイデバイス18は、復号済みPQ HDRビデオを表示する。SL-HDR2を一体化しない後処理デバイスでは、再構成モジュール141は、デコーダ140からの復号済みPQ HDRビデオ、メタデータ、及び場合によっては、SDRディスプレイデバイス又はMDRディスプレイデバイス又はHDRディスプレイデバイスであり得るディスプレイデバイス16の表示機能を受信する。これらのデータから、再構成モジュールは、ディスプレイデバイス16の能力(SDR又はMDR又はHDRビデオ)に適合されたビデオ信号を生成する。SDR(又はMDR又はHDR)ビデオは、再構成されると、通信リンク15を使用してSDR(又はMDR又はHDR)ディスプレイデバイス16に送信される。次いで、SDR(又はMDR又はHDR)ディスプレイデバイス16は、再構成されたSDR(又はMDR又はHDR)ビデオを表示する。
SL-HDR3システムでは、符号化された生成済みビデオは、HLG HDRビデオを表し、メタデータは、復号済みHLG HDRビデオからSDR(又はMDR)ビデオを生成するために使用される。SL-HDR3システムにおける後処理モジュール14の機能は、SL-HDR2システムにおける後処理モジュール14の機能と非常に類似している。主な違いは、再構成モジュール141にある。実際、その場合、再構成モジュール141は、上述のように、HLG対ST-2084 OETFコンバータ及びSL-HDR2再構成モジュールのカスケードを備える。
図3は、前処理モジュール10、符号化モジュール12、入力モジュール、又は後処理モジュール14に含まれ、異なる態様及び実施形態を実装することができる処理モジュール40のハードウェアアーキテクチャの例を概略的に示す。処理モジュール40は、通信バス405によって接続されており、非限定的な例として、1つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はCPU(central processing unit、中央処理装置)400と、ランダムアクセスメモリ(Random Access Memory、RAM)401と、読み出し専用メモリ(read only memory、ROM)402と、電気的消去可能プログラマブル読み取り専用メモリ(Erasable Programmable Read-Only Memory、EEPROM)、読み取り専用メモリ(Read-Only Memory、ROM)、プログラマブル読み取り専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/若しくは光ディスクドライブ、又はSD(secure digital、セキュアデジタル)カードリーダ及び/若しくはハードディスクドライブ(Hard Disc Drive、HDD)などの記憶媒体リーダ並びに/又はネットワークアクセス可能な記憶装置を含むがこれらに限定されない、不揮発性メモリ及び/又は揮発性メモリを含むことができる、記憶デバイス403と、データを他のモジュール、デバイス、システム又は機器と交換するための少なくとも1つの通信インターフェース404と、を備える。通信インターフェース404は、通信チャネル5を介してデータを送信及び受信するように構成された送受信機を含むことができるが、それに限定されない。通信インターフェース404は、モデム又はネットワークカードを含むことができるが、これらに限定されない。
通信インターフェース404は、例えば、処理モジュール40が、
・SDR又はHDRコンテンツを受信し、処理モジュール40が前処理モジュール10に含まれるときにマスタービデオを出力することと、
・マスタービデオを受信し、処理モジュール40が符号化モジュール12に含まれるときにメタデータを含む符号化済みマスタービデオを出力することと、
・SDR又はHDRコンテンツを受信し、処理モジュール40が入力モジュールに含まれるときにメタデータを含む符号化済みマスタービデオを出力することと、
・メタデータを含む符号化済みマスタービデオを受信し、処理モジュール40が後処理モジュール40に含まれるときにSDR、MDR及び/又はHDRビデオを出力することと、を行うのを可能にする。
プロセッサ400は、ROM402、外部メモリ(図示せず)から、記憶媒体から、又は通信ネットワークからRAM301にロードされた命令を実行することができる。処理モジュール40の電源が投入されると、プロセッサ400は、RAM 401から命令を読み出し、それらを実行することができる。これらの命令は、例えば、プロセッサ400によって前処理プロセス、符号化プロセス、復号プロセス、又は後処理プロセスを実施させるコンピュータプログラムを形成する。
当該プロセスのアルゴリズム及びステップの全て又は一部は、デジタル信号プロセッサ(digital signal processor、DSP)又はマイクロコントローラなどのプログラマブルマシンによる命令セットの実行によってソフトウェア形式で実装されてもよく、又はフィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)又は特定用途向け集積回路(application-specific integrated circuit、ASIC)などのマシン又は専用コンポーネントによってハードウェア形式で実装されてもよい。
図4は、前処理モジュール10、符号化モジュール12、又は入力モジュールを実装するように適合され、様々な態様及び実施形態が実施されるシステムAの例のブロック図を示す。システムAは、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本文書に説明する態様及び実施形態のうちの1つ以上を実行するように構成されている。そのようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、接続された家電機器、サーバ、及びカメラなどの様々な電子デバイスが挙げられるが、これらに限定されない。システムAの要素は、単独で又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個の構成要素において具現化することができる。例えば、少なくとも1つの実施形態では、システムAは、前処理モジュール、符号化モジュール、又は両方を実装する1つの処理モジュール40を備える。様々な実施形態では、システムAは、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。
処理モジュール40への入力は、ブロック52に示されるように様々な入力モジュールを通して提供することができる。そのような入力モジュールとしては、(i)例えば、放送局から無線で送信される無線周波数(radio frequency、RF)信号を受信するRFモジュール、(ii)構成要素(COMP)入力モジュール(又は一組のCOMP入力モジュール)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力モジュールが挙げられるが、これらに限定されない。他の例には、図4には示されていないが、合成ビデオが含まれる。
様々な実施形態において、ブロック52の入力モジュールは、当技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、及び(vi)データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RFモジュールは、アンテナを含む。
追加的に、USBモジュール及び/又はHDMIモジュールは、システム3をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード-ソロモン誤り訂正は、必要に応じて、例えば、別個の入力処理IC内に、又は処理モジュール40内に実装することができることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内に、又は処理モジュール40内に実装することができる。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール40に提供される。
システムAの様々な要素を一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システムAでは、処理モジュール40は、バス405によって当該システムAの他の要素に相互接続される。
処理モジュール40の通信インターフェース404は、システムAが通信チャネル5上で通信することを可能にする。通信チャネル5は、例えば、有線及び/又は無線媒体内に実装することができる。
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(the Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、システムAにストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適応した通信チャネル5及び通信インターフェース404を介して受信される。これらの実施形態の通信チャネル5は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。更に他の実施形態では、入力ブロック52のRF接続を使用して、システムAにストリーミングデータを提供する。上記のように、様々な実施形態は、例えば、システムAがカメラ、スマートフォン、又はタブレットであるときに、非ストリーミング形式でデータを提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システムAは、通信チャネル5又はバス405を使用して、様々な出力デバイスに出力信号を提供することができる。例えば、前処理モジュール10を実装するとき、システムAは、バス405又は通信チャネル5を使用して、出力信号を符号化モジュール12に提供する。符号化モジュール12又は入力モジュールを実装するとき、システムAは、通信チャネル5を使用して、後処理モジュール14に出力信号を提供する。
様々な実装形態は、前処理プロセス及び/又は符号化プロセスを適用することを含む。本出願で使用される前処理プロセス又は符号化プロセスは、例えば、受信されたSDR又はHDR画像又はビデオストリームに対して実行されるプロセスの全部又は一部を包含して、メタデータを有するマスタービデオ又は符号化済みマスタービデオを生成することができる。符号化プロセスに関連する様々な実施形態では、そのようなプロセスは、ビデオエンコーダ、例えば、Joint Video Experts Team(JVET)エンコーダとして知られるITU-T及びISO/IECの専門家の合同共同チームによって開発中であるJPEGデコーダ又はH.264/AVC(ISO/IEC14496-10-MPEG-4 Part10、Advanced Video Coding)、H.265/HEVC(ISO/IEC23008-2-MPEG-H Part2、High Efficiency Video Coding/ITU-T H.265)又はH.266/VVC(Versatile Video Coding)によって通常実行されるプロセスのうちの1つ以上を含む。
図5は、後処理モジュール14を実装するように適合され、様々な態様及び実施形態が実施されるシステムBの例のブロック図を示す。システムBは、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本文書に説明する態様及び実施形態のうちの1つ以上を実行するように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システムBの要素は、単独で又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個の構成要素において具現化することができる。例えば、少なくとも1つの実施形態では、システムBは、後処理プロセスを実施する1つの処理モジュール40を備える。様々な実施形態では、システムBは、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。
処理モジュール40への入力は、ブロック52に示されるように様々な入力モジュールを通して提供することができる。そのような入力モジュールとしては、(i)例えば、放送局から無線で送信される無線周波数(radio frequency、RF)信号を受信するRFモジュール、(ii)構成要素(COMP)入力モジュール(又は一組のCOMP入力モジュール)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力モジュールが挙げられるが、これらに限定されない。他の例には、図5には示されていないが、合成ビデオが含まれる。
様々な実施形態において、ブロック52の入力モジュールは、当技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、及び(vi)データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、RFモジュール及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RFモジュールは、アンテナを含む。
追加的に、USBモジュール及び/又はHDMIモジュールは、システムBをUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード-ソロモン誤り訂正は、必要に応じて、例えば、別個の入力処理IC内に、又は処理モジュール40内に実装することができることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内に、又は処理モジュール40内に実装することができる。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール40に提供される。
システムBの様々な要素を一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システムBでは、処理モジュール40は、バス405によって当該システムBの他の要素に相互接続される。
処理モジュール40の通信インターフェース404は、システムBが通信チャネル5上で通信することを可能にする。通信チャネル5は、例えば、有線及び/又は無線媒体内に実装することができる。
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(the Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、システムBにストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適応した通信チャネル5及び通信インターフェース404を介して受信される。これらの実施形態の通信チャネル5は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。更に他の実施形態では、入力ブロック52のRF接続を使用して、システムBにストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システムBは、ディスプレイ5、スピーカ6、及び他の周辺デバイス7を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ5は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ5は、例えば、図1のディスプレイデバイス16又は18とすることができる。ディスプレイ5は、テレビジョン、タブレット、ラップトップ、携帯電話(移動電話)、又は他のデバイス用とすることができる。ディスプレイ5はまた、他の構成要素と統合するか(例えば、スマートフォンのように)、又は別々にする(例えば、ラップトップのための外部モニタ)ことができる。ディスプレイデバイス5は、SDR、MDR、又はHDRコンテンツと互換性がある。他の周辺デバイス7としては、実施形態の様々な例において、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語の略称としてDVR、digital versatile disc)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上が挙げられる。様々な実施形態は、システムBの出力に基づいて機能を提供する1つ以上の周辺デバイス7を使用する。例えば、ディスクプレーヤは、システムBの出力を再生する機能を実行する。
様々な実施形態では、制御信号が、システムBとディスプレイ5、スピーカ6、又は他の周辺デバイス7との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース53、54、及び55を通じた専用接続を介してシステムBに通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース404を介して通信チャネル5を使用してシステムBに接続することができる。ディスプレイ5及びスピーカ6は、例えば、テレビジョンなどの電子デバイス内のシステムBの他の構成要素と単一のユニットと統合することができる。様々な実施形態において、ディスプレイインターフェース5は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
代替的に、例えば、入力52のRFモジュールが個別のセットトップボックスの一部である場合、ディスプレイ5及びスピーカ6を他の構成要素のうちの1つ以上から分離することができる。ディスプレイ5及びスピーカ6が外部構成要素である様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して提供することができる。
様々な実装形態は、復号プロセスを含む後処理プロセスを適用することを含む。本出願で使用される後処理プロセスは、例えば、表示に適したSDR、MDR、又はHDR出力を生成するために、受信された符号化済みマスタービデオに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施形態では、そのようなプロセスは、画像又はビデオデコーダ、例えば、Joint Video Experts Team(JVET)デコーダとして知られるITU-T及びISO/IECの専門家の合同共同チームによって開発中であるH.264/AVC(ISO/IEC14496-10-MPEG-4 Part10、Advanced Video Coding)、H.265/HEVC(ISO/IEC23008-2-MPEG-H Part2、High Efficiency Video Coding/ITU-T H.265)又はH.266/VVC(Versatile Video Coding)によって通常実行されるプロセスのうちの1つ以上を含む。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
本明細書に説明された実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(「PDA、personal digital assistant」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」又は「実施形態では」又は「一実装形態では」又は「実装形態では」という語句の出現、並びに任意の他の変形例は、必ずしも全てが同じ実施形態を指すものではない。
追加的に、本出願は、様々な情報を「判定する」ことに言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、メモリから情報を取得すること、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得することのうちの1つ以上を含むことができる。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
追加的に、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
「/」、「及び/又は」、「のうちの少なくとも1つ」、「1つ以上」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、「A及びBのうちの少なくとも1つ」、「A及びBの1つ以上」の場合、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図しているものと理解されたい。更なる例として、「A、B、及び/又はC」及び「A、B、及びCのうちの少なくとも1つ」、「A、B及びCのうちの1つ以上」の場合、このような句は、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は3番目にリストされた選択肢(C)のみの選択、又は、最初及び2番目にリストされた選択肢(A及びB)のみの選択、又は、最初及び3番目にリストされた選択肢(A及びC)のみの選択、又は、2番目及び3番目にリストされた選択肢(B及びC)のみの選択、又は3つの選択肢(A及びB及びC)全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
当業者には明らかであるように、実装形態又は実施形態は、例えば、記憶又は送信することができる情報を搬送するようにフォーマットされた様々な信号を作ることができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態又は実施形態の1つによって作られるデータを含むことができる。例えば、説明されている実施形態のSDR若しくはHDR画像又はビデオシーケンスを伝えるように信号をフォーマットすることができる。このような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用する)、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、SDR若しくはHDR画像又はビデオシーケンスを符号化済みストリームに符号化すること、及び符号化済みストリームを用いてキャリアを変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線リンク又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
図6は、プレ処理プロセスの計算部分の例を概略的に示す。前処理プロセスの第1の例は、非一定ルミナンス(Non Constant Luminance、NCL)モードでSL-HDR1システムに適合される。この例では、前処理モジュール10は、HDRコンテンツを受信し、SDRコンテンツ及びメタデータを表すマスタービデオを生成する。前処理プロセスは、HDRコンテンツの各画像の各ピクセルに対して処理モジュール40によって実行される。図6の例では、ピクセルは、原色赤(R)、緑(G)及び青(B)に対応する3つの色成分を含み、すなわち、ピクセルはRGB信号である。
ステップ601において、処理モジュール40は、以下のようにRGB信号からルミナンス(ルマ)成分L’を導出する。
式中、Aは、変換行列であり、γは、例えば、「2.4」に等しいガンマ因子である。
ステップ602では、処理モジュール40は、以下のようにルマ成分L’にトーンマッピングを適用して、トーンマッピングされた値Ypre0を取得する。
pre0=LUTTM(L’)(数式2)
式中、Ypre0∈[0;1023]及びLUTTM()は、トーンマッピング関数を表すルックアップテーブルである。
ステップ603では、処理モジュール40は、以下のように、RGB信号にガンマ補正を適用する。
ステップ604において、処理モジュール40は、以下のように、ガンマ補正済みRGB信号からクロミナンス(クロマ)成分(クロマ)を導出する。
式中、A及びAは、変換行列である。[Aは例えば、標準3×3RGB-YUV変換行列(例えば、色空間に応じてITU-R Rec.BT.2020又はITU-R Rec.BT.709に指定されている)である。
ステップ605において、処理モジュール40は、以下のように、ジョイント正規化及び色補正をクロマ成分Upre0及びVpre0に適用して正規化された補正済みクロマ成分Upre1及びVpre1を取得する。
pre1及びVpre1は、[-512;511]にクリップされる。β(Ypre0)スケーリング関数である。
β(Ypre0)=lutCC[Ypost2]×L’×1024であって、
式中、lutCC[ ]は、例えば、文書ETSITS103433-1v1.3.1の第7.2.3.2節に定義される色補正ルックアップテーブルである。
ステップ606において、処理モジュール40は、以下のように、トーンマッピングされたルマ値Ypre0に調整を適用し、トーンマッピングされたルマ値Ypre1を取得する。
pre1=Ypre0-max(0、a.Upre1+b.Vpre1)(数式6)
ステップ607において、処理モジュール40は、ルマ値及びクロマ値Ypre1、Upre1及びVpre1を所与の出力形式に変換する。ステップ607は、例えば「512」に等しい値midsampleをクロマ成分Upre1及びVpre1に追加するサブステップ、任意選択で、クロマサンプルの数を低減させることによって信号を圧縮するクロマ成分をダウンサンプリングするサブステップ、並びに任意選択で、全範囲値(YUV成分は10ビットに符号化されると「0」~「1023」の範囲になる)から限定範囲値(Y成分は64~940の範囲であり、UV成分は64~960の範囲である)に変換して、SDR信号のピクセルを表すルマ成分及びクロマ成分Ysdr、Usdr、Vsdrを取得するサブステップを含む。ステップ607の目的は、例えば、全範囲YUV444信号を限定範囲YUV420信号に変換することである。
図7は前処理プロセスの計算部分の第2の例を概略的に示す。前処理プロセスの計算部分の第2の例は、SL-HDR2システムに適合される。この例では、前処理モジュール10は、HDRコンテンツを受信し、HDRPQ信号及びメタデータを表すマスタービデオを生成する。前処理プロセスは、入力HDRコンテンツの各画像の各ピクセルに対して処理モジュール40によって実行される。図7の例では、この場合も、ピクセルはRGB信号である。
ステップ701において、処理モジュール40は、RGB信号からPQ信号のルマ成分及びクロマ成分Ypre0、Upre0、Vpre0を取得する。
式中、Aは変換関数であり、R’’(それぞれG’’及びB’’)は、RGB対PQOETFコンバータを使用してRGB信号から取得される。
ステップ702で、処理モジュール40は、ルマ値及びクロマ値Ypre0、Upre0及びVpre0を出力形式に変換する。ステップ702は、例えば「512」に等しい値midsampleをUpre0及びVpre0に追加するサブステップ、任意選択で、クロマサンプルの数を低減させることによって信号を圧縮する、クロマ成分をダウンサンプリングするサブステップ、及び任意選択で、全範囲値(YUV成分は、10ビットに符号化されると「0」から「1023」の範囲になる)から限定範囲値(Y成分は64~940の範囲であり、UV成分は64~960の範囲である)に変換して、HDR信号のピクセルを表すルマ成分及びクロマ成分Yhdr、Uhdr、Vhdrを取得するサブステップを含む。ステップ702の目的は、例えば、全範囲YUV444信号を限定範囲YUV420信号に変換することである。
図8は、後処理プロセスの再構成プロセスの例を概略的に示す。図8のプロセスは、処理モジュール40が後処理モジュール14、より具体的には再構成モジュール141を実装するときに、処理モジュール40によって実行される。再構成プロセスは、デコーダ140によって生成された復号済みマスタービデオの各ピクセルに適用される。以下のような再構成プロセスのSL-HDR1及びSL-HDR2への適合について説明する。SL-HDR3仕様はSL-HDR2仕様に基づいているので、全てのSL-HDR2仕様事項が、以下のSL-HDR3にも適用される。図8の再構成プロセスは、例えば、図6又は図7の前処理プロセスに従う。したがって、前処理プロセスによって出力される信号は、再構成プロセスの入力信号である。したがって、再構成プロセスは、限定範囲YUV420信号を受信する。
ステップ801では、処理モジュール40は、受信したYUV420信号を全範囲YUV444信号に変換する(ステップ607及び702の逆プロセス)。
SL-HDR1システムの場合、YUV420信号はSDRピクセルである。SDRピクセルは、変換されると、ルマ成分及びクロマ成分SDR、SDRcb、SDRcrによって表される。
SL-HDR2システムの場合、YUV420信号はHDRピクセルである。HDRピクセルは、変換されると、ルマ成分及びクロマ成分HDR、HDRcb、HDRcrによって表される。
変換後、処理モジュール40は、クロマ成分の位置を調整して、中心クロマ成分Upost1及びVpost1を取得する。SL-HDR1システムの場合、位置調整は以下のように実行される。
SL-HDR2システムの場合、位置調整は以下のように実行される。
式中、midsampleは例えば、「512」に等しい。
ステップ802では、処理モジュール40は、ルマ成分に再調整を適用する。SL-HDR1システムの場合、再調整演算は以下の通りである。
post1=SDR+max(0、mu×Upost1+mu×Vpost1
式中、パラメータmu及びmuは、文書ETSITS103433-1v1.3.1の第7.2.4節に定義されており、max(x,y)はx及びyの最大値をとる。
SL-HDR2システムの場合、再調整演算はより単純である。
post1=HDR
SL-HDR1及びSL-HDR2では、次いでルマ値Ypost1が[0;1023]にクリップされ、Ypost2が取得される。
ステップ803では、処理モジュール40は、色補正ルックアップテーブルlutCC[Y]を構成する。
SL-HDR1の場合、色補正ルックアップテーブルの構成は、文書ETSITS103433-1v1.3.1の第7.2.3.2節に指定されている。
ここで、lutCC[0]=0.125であり、Rsgf、g(Y)、L(Y)は、文書ETSITS103433-1v1.2.1に指定されている。
SL-HDR2の場合、色補正ルックアップテーブルの構成は、文書ETSITS103433-2v1.2.1の第7.2.3.2節に指定されている。
ここで、lutCC[0]=0.125であり、c(LHDR、LSDR、Lpdisp)、Rsgf、g(Y)、maxsampleValは、文書ETSITS103433-2v1.2.1に指定されている。
SL-HDR1とSL-HDR2の両方では、g(Y)は、以下のように定義される。
g(Y)=fsgf(Y)×modFactor+(1-modFactor)÷Rsgf
飽和ゲイン関数fsgf(Y)は、文書ETSITS103433-1v1.3.1の第7.3節に詳述されるように、飽和ゲイン関数メタデータsgf_x及びsgf_yによって定義される区分線形ピボットポイントから導出される。
ステップ804では、処理モジュール40は、構成済み色補正ルックアップテーブルlutCC[y]を使用して中心クロマ成分Upost1及びVpost1に逆色補正を適用する。
SL-HDR1の場合、逆色補正は、文書ETSITS103433-1v1.3.1の第7.2.4節に記載されている。
SL-HDR2の場合、逆色補正は、文書ETSITS103433-2v1.2.1の第7.2.4節に記載されている。
ステップ805において、処理モジュールは中間値S、Upost3及びVpost3を計算する。SL-HDR1の場合、変数Tを以下のように計算する。
T=k×Upost2×Vpost2+k×Upost2×Upost2+k×Vpost2×Vpost2
及びkは、文書ETSITS103433-1v1.2.1の第7.2.4節に記載されている。
T≦1である場合、
post3=Upost2及びVpost3=Vpost2
そうでなければ、T>1である場合、S=0、Upost3及びVpost3は以下のように導出される。
この最後の数式は、SL-HDR1「CL」モードのみについての数式である。SL-HDR1「NCLモード」及びSL-HDR2では、k=k=k=0、S=1及びUpost3=Upost2及びVpost3=Vpost2である。
post2がYpre0に対応し、Upost1及びVpost1がそれぞれUpred1及びVpred1に対応することに留意することができる。
ステップ806において、処理モジュールは、中間RGB再構成値R、G及びBを計算する。これは2つのステップで行われる。
SL-HDR1の場合、R、G及びBの計算は、文書ETSITS103433-1v1.3.1の第7.2.4節に記載されている。
式中、m=matrixCoefficient[i]は、文書ETSITS103433-1v1.3.1の第6.3.2.6節に記載されているSL-HDRxメタデータの一部である。
SL-HDR2の場合、R、G及びBの計算は、文書ETSITS103433-2v1.2.1の第7.2.4節に記載されている。
式中、m=matrixCoefficient[i]は、文書ETSITS103433-1v1.3.1の第6.3.2.6節に記載されているSL-HDRxメタデータの一部である。
第2のステップでは、中間R、G及びBを、SL-HDR1についてはETSITS103433-1v1.3.1の第7.2.4節に記載され、SL-HDR2についてはETSITS103433-2v1.2.1に記載されているように計算する。
LutMapYの計算は、SL-HDR1についてはETSITS103433-1v1.3.1の第7.2.3.1節に記載され、SL-HDR2についてはETSITS103433-2v1.2.1に記載されている。
SL-HDR1の場合、LutMapYは、SL-HDR1ポストプロセッサのSDRSDR入力ルマ信号を、ディスプレイに適合する場合に、HDR出力信号又はSDR又はMDR出力信号に変換する逆トーンマッピングルックアップテーブルとして作用する。
SL-HDR2の場合、LutMapYは、SL-HDR2ポストプロセッサのHDRHDR入力ルマ信号を、ディスプレイに適合する場合に、HDR出力信号又はSDR又はMDR出力信号に変換するトーンマッピングルックアップテーブルとして作用する。
ステップ807において、出力HDRRGB再構成信号HDR、HDR及びHDRを計算する。
SL-HDR1の場合、計算は、文書ETSITS103433-1v1.3.1の第7.2.4節に記載されている。
SL-HDR2の場合、計算は、文書ETSITS103433-2v1.2.1の第7.2.4節に記載されている。
したがって、SL-HDRxシステムの色補正は、クロマ成分の飽和を制御する色補正ルックアップテーブルlutCC[Ypost2]に影響を与えるsgf_x及びsgf_yメタデータを使用して制御することができる。SL-HDR1の場合、sgf_x及びsgf_yメタデータは、HDR分解プロセスのステップ605におけるUpre1及びVpre1の生成を制御し、したがって、Usdr、VsdrSDR出力を制御する。SL-HDR2の場合、sgf_x及びsgf_yメタデータは、処理モジュール40のステップ804におけるUpost2及びVpost3の生成を制御し、したがって、SL-HDR2再構成プロセスのクロマ出力を制御する。
図9は、SL-HDRxシステムにおける色補正を制御するための方法を概略的に示す。図9に関連して説明する方法は、処理モジュール40が前処理モジュール10又は入力モジュールを実装するときに、処理モジュール40によって実行される。この方法は、画像又はビデオの各画像に適用される。図9の方法については、NCLモードにおけるSL-HDR1システムの文脈で説明する。処理モジュール40は、HDRコンテンツを受信する。
ステップ90では、処理モジュール40は、現在の入力HDR画像を取得する。
ステップ91では、処理モジュール40は、現在の画像のクロマを分析する。そうするために、処理モジュール40は、図6のプロセスをステップ605まで適用し、現在の画像の各ピクセルについて3つの色成分Ypre0、Upre1及びVpre1を取得する。
ステップ92では、処理モジュール40は、3つの成分Ypre0、Upre1及びVpre1によって表される、現在の画像のピクセルの色を色クラスに分類する。ステップ92の一実施形態では、6つのクラス、すなわち、
●三原色の赤、緑及び青に対応する3つのクラス、
●3つの二次色マゼンタ、シアン及び黄色に対応する3つのクラスが使用される。
各色は、多くの異なる色空間で表すことができる。一実施形態では、RGB及びその極座標Hue(H)及びChroma(C)が使用される。Hue(H)及びChroma(C)は、以下のように計算される。
SL-HDR1の場合は以下のように計算される。
極座標における以下の式によって三原色及び3つの二次色の各々について方向が定義され、[0...1]の「c」は、RGB値の各々の正規化値である(c=1は、原色又は二次色に対応し、c=0は、UV平面の無彩色原点である)。
赤色(R=1、G=0、B=0)に関しては以下のように定義される。
●U=au×c
●V=αv×c
●H=arctan(av/au)
式中、au及びavは、RGBからYUVへの変換を可能にする変換行列Aの係数:
BT.2020色域において
BT.709色域において
である。
緑色(R=0、G=1、B=0)に関しては以下のように定義される。
●U=bu×c
●V=bv×c
●H=arctan(bv/bu)
青色(R=0、G=0、B=1)に関しては以下のように定義される。
●U=cu×c
●V=cv×c
●H=arctan(cv/(cu)
マゼンタ色(R=1、G=0、B=1)に関しては以下のように定義される。
●U_M=(au+cu)×c
●V_M=(av+cv)×c
●H=arctan((av/cv)/(au+cu))
シアン色(R=0、G=1、B=1)に関しては以下のように定義される。
●U_C=(bu+cu)×c
●V_C=(bv+cv)×c
●H=arctan((bv+cv)/(bu+cu))
黄色(R=1、G=1、B=0)に関しては以下のように定義される。
●U=(au+bu)×c
●V=(av+bv)×c
●H=arctan((av+bv)/(au+bu))
図10は、UV平面において上記の数式を用いて計算された三原色(赤、緑、青)及び二次(マゼンタ、黄色、シアン)色の位置を表す。
pre1及びVpre1によって表される所与のピクセルは、その色相H値が色相値H、H、H、H、H、Hのうちの1つに等しい場合、原色又は二次色ラインの一方に属する。
しかしながら、画像では、色は、「純粋な」原色又は二次色であることはほとんどない。したがって、各々が原色又は二次色のうちの1つに対応する6つのクラスを定義する代わりに、各々が6つの原色及び二次色のうちの1つを中心とする6つのセクタが定義される。各セクタについて、偏差角deltaが定義され、対応するセクタは、4つの点によって定義される。
●Up=Cmax cos(H+delta)
●Vp=Cmax sin(H+delta)
●Um=Cmax cos(H-delta)
●Vm=Cmax sin(H-delta)
式中、
●赤については
●緑については
●青については
●マゼンタについては
●シアンについては
●黄色については
pre1及びVpre1と表された所与のピクセルがあるセクタに属するかどうかを調べる方法としては、以下のように当該ピクセルの正規化値の、このセクタの2つの限界との積ベクトルを計算する。
(PV≧0)及び(PV≦0)の場合、このピクセルはこのセクタに属する。
一実施形態では、値deltaは全てのセクタについて固定することができ、かつ同じにすることができる。他の実施形態では、値deltaはセクタごとに異なる。
一実施形態では、全てのセクタは隣接しており、このことはフレームの任意のピクセルがセクタのうちの1つに属することを意味する。他の実施形態では、少なくともいくつかのセクタは隣接しておらず、このことは、いくつかのピクセルがセクタのいずれにも属していない可能性があることを意味する。
図10は、UV平面における三原色及び3つの二次色に対応する6つのセクタを表す。セクタは、破線1000~1005によって限定される。例えば、赤色に対応するセクタは、破線1000及び1001によって限定される。
ステップ93では、処理モジュール40は、各セクタ(すなわち、各クラス)の統計的表現を生成する。一実施形態では、統計的表現は、
●SL-HDR1ケースにおいてYpre1を表す、ルマ値ごとにセクタに見られるピクセルの数を表すヒストグラムhistoと、
●ヒストグラムの各ルマ値lumについて、セクタにおいてルマ値lumを有する全てのピクセルの最大クロマ値を表すベクトルframe_chr_max[lum]と、
●ヒストグラムの各ルマ値lumについて、セクタにおいてルマ値lumを有する全てのピクセルの平均クロマ値を表す値frame_chr_av[lum]とを含む。
現在のピクセルのクロマ値chr_currが以下のように計算されることに留意することができる。
式中、Ucur及びvcurは、現在のピクセルのU成分及びV成分である。
一実施形態では、ヒストグラムhistoのビン番号及び2つのベクトルのエントリ番号が「64」に設定される。別の実施形態では、ビン番号及び2つのベクトルのエントリ番号は、飽和ゲイン関数メタデータについてのSL-HDRx標準において定義されたsgf_x値範囲に対応する「256」に設定される。別の実施形態では、ヒストグラムのビン番号及び2つのベクトルのエントリ番号は、「64」より低くすることも、又は「64」より高くすることもできる。
ステップ94では、処理モジュール40は、各セクタについて(すなわち、各色クラスについて)、当該セクタを表すデータを決定する。一実施形態では、セクタを表すデータは、現在のセクタ内の色が優位であるルミナンスに対応する優位ルミナンス値である。セクタの優位ルミナンス値は、当該セクタに対応するヒストグラムhisto、及び当該セクタに対応するベクトルframe_chr_max[lum]及びframe_chr_av[lum]のうちの少なくとも1つを使用して決定される。
ステップ94の第1の実施形態では、セクタの優位ルミナンス値は、当該セクタのヒストグラムhistoをスキャンし、最高数のピクセル(すなわち、最高数のピクセルに対応するルミナンス値)を有するビンを決定することによって決定される。
ステップ94は、各原色及び二次色について(すなわち、各セクタについて)、優位クロミナンス値を含むベクトルを取得することを可能にするベクトルframe_idx_max_histoを取得するのを可能にする。各セクタについて、色のクロマは最終的に、SGF関数を使用して、その優位ルミナンス値で最終的に修正される。
ステップ95では、処理モジュール40は、各色セクタについてのクロマ値に適用するクロマゲイン(すなわち、スケーリング値又は色補正)を決定する。そうするために、処理モジュール40は、各セクタの優位ルマ値に対応する色についての最大許容クロマ値を決定する。このクロマゲインは、その色のクロマ、及び間接的に各セクタ及び各ルミナンス値についての最大許容クロマ値を増加させるためのマージンを表す。
上述のように、YUV値は、行列演算を使用してRGB値から導出することができる。
三原色及び3つの二次色の場合、正規化RGB値([0;1]における値)を扱う際、以下のようになる。
●原色の赤(成分R)に関しては、処理モジュール40は、以下の値を計算する。
●R=s及びG=B=0、
○Y=al×s及びYRmax=al(BT2020色域ではYRmax=0.2627、
○U=au×s=au/al×Y、
○V=av×s=av/al×Y、
(BT2020色域ではCRmax=0.519)、
次いで、処理モジュール40は、赤色についての許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
●座標(Y=0、C=0)の第1の点ARから座標(Y=YRmax、C=CRmax)の第2の点BRまでのYC(ルマ/クロマ)空間における増加直線。
●第2の点から座標(Y=1、C=0)の第3の点CRまでのYC(ルマ/クロマ)空間における減少直線。
●原色の緑(成分G)に関しては、処理モジュール40は、以下の値を計算する。
●G=s及びR=B=0、
○Y=bl×s及びYGmax=bl(BT2020色域ではYGmax=0.678、
○U=bu×s=bu/bl×Y、
○V=bv×s=bv/bl×Y、
(BT.2020色域ではCGmax=0.584)、
次いで、処理モジュール40は、緑色の許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
●座標(Y=0、C=0)の第1の点AGから座標(Y=YGmax、C=CGmax)の第2の点BRのYC(ルマ/クロマ)空間における増加直線。
●第2の点から座標(Y=1、C=0)の第3の点CGまでのYC(ルマ/クロマ)空間における減少直線。
●原色の青(成分B)に関しては、処理モジュール40は、以下の値を計算する。
●B=s及びR=G=0、
○Y=cl×s及びYBmax=cl(BT.2020色域ではYBmax=0.0593、
○U=cu×s=cu/cl×Y、
○V=cv×s=cv/cl×Y、
(BT.2020色域ではCBmax=0.502)、
次いで、処理モジュール40は、青色についての許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
●座標(Y=0、C=0)の第1の点ABから座標(Y=YBmax、C=CBmax)の第2の点BBまでのYC(ルマ/クロマ)空間における増加直線。
●第2の点から座標(Y=1、C=0)の第3の点CBまでのYC(ルマ/クロマ)空間における減少直線。
●二次色マゼンタに関して、処理モジュール40は、以下の値を計算する。
●R=B=s及びG=0、
○Y=al×s+cl×C=(au+cu)×R及びYMmax=al+cl(BT.2020色域ではYMmax=0.322)、
○U=au×s+cu×C=(au+cu)×s及びU=((au+cu))/((al+cl)×Y)、
○V=av×s+cv×C=(av+cv)×s及びV=((av+cv))/((al+cl)×Y)、
(BT.2020色域ではCMmax=0.584)、
次いで、処理モジュール40は、マゼンタ色についての許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
●座標(Y=0、C=0)の第1の点AMから座標(Y=YMmax、C=CMmax)の第2の点BMまでのYC(ルマ/クロマ)空間における増加直線。
●第2の点から座標(Y=1、C=0)の第3の点CBまでのYC(ルマ/クロマ)空間における減少直線。
●二次色シアンに関しては、処理モジュール40は、以下の値を計算する。
●G=B=s及びR=0、
○Y=bl×s+cl×C=(bl+cl)×s及びYCmax=bl+cl(BT.2020色域ではYCmax=0.7373)、
○U=bu×s+cu×C=(bu+cu)×s及びU=((bu+cu))/((bl+cl)×Y)
○V=bv×s+cv×C=(bv+cv)×s及びV=((bv+cv))/((bl+cl)×Y)
(BT.2020色域)CCmax=0.519)、
次いで、処理モジュール40は、シアン色についての許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
●座標(Y=0、C=0)の第1の点ACから座標(Y=YCmax、C=CCmax)の第2の点BCまでのYC(ルマ/クロマ)空間における増加直線。
●第2の点から座標(Y=1、C=0)の第3の点CCまでのYC(ルマ/クロマ)空間における減少直線。
●二次色黄色に関しては、処理モジュール40は、以下の値を計算する。
○G=R=s及びB=0、
■Y=al×s+bl×C=(al+bl)×s及びYYmax=al+bl(BT2020色域ではYYmax=0.9407)、
■U=au×s+bu×C=(au+bu)×s及びU=((au+bu))/((al+bl)×Y)、
■V=av×s+bv×C=(av+bv)×s及びV=((av+bv))/((al+bl)×Y)、
(BT.2020色域ではCYmax=0.502)、
次いで、処理モジュール40は、シアン色についての許容クロマ値のエンベロープを計算する。一実施形態では、このエンベロープは、2本の直線で作られる。
○座標(Y=0、C=0)の第1の点AYから座標(Y=YYmax、C=CYmax)の第2の点BYまでのYC(ルマ/クロマ)空間における増加直線。
○第2の点から座標(Y=1、C=0)の第3の点CYまでのYC(ルマ/クロマ)空間における減少直線。
一実施形態では、処理モジュール40は、6つの計算されたエンベロープを各セクタについて1つの(すなわち、各クラスについて1つの)6つのベクトルchr_envelop[S]によって表す。ここで、Sは、セクタのインデックスを表す。各セクタSについて、ベクトルchr_envelop[S]は、ヒストグラムhisto[S]の各ビンについての最大許容クロマ値を表す情報を含む。
セクタにおいて、ベクトルchr_envelop[S]は、以下のように、最大許容スケーリング値(すなわち、最大許容ゲイン)scale_max[S]を決定するために処理モジュール40によって使用される。
cur_idx=frame_idx_max_histo[S]、
scale_max[S]=chr_envelop[S][cur_idx]/frame_chr_max[S][cur_idx]。
最大許容スケーリング値scale_max[S]は、各セクタSにおいて、選択されたルミナンスでのクロマについての乗算係数を提供する。最大許容スケーリング値scale_max[S]は、より多くのクロマを有する必要がある色に関してより多くのクロマを有する画像を、制御された独立した方法で取得することを可能にする。
ステップ96では、処理モジュールは、ビットストリーム内のメタデータとしてクロマゲインを表す情報を符号化する。メタデータはSL-HDR1に準拠している。一実施形態では、クロマゲインを表す情報は、ベクトルframe_idx_max_histo及び最大許容スケーリング値scale_maxのベクトルである。この情報は、SL-HDR1メタデータにおけるSGF関数の形態で符号化される。
ヒストグラムhisto[S]内のビンの数が「256」である実施形態では、frame_idx_max_histo範囲は、飽和ゲイン関数メタデータについてのSL-HDRx標準において定義されたsgf_x値範囲と直接一致し、適合は必要とされず、すなわち、frame_idx_max_histoの値をSL-HDRxメタデータのsgf_x値のうちの1つに直接コピーすることができる。ビンの数が「256」とは異なり、例えば「64」である実施形態では、処理モジュール40は、ベクトルframe_idx_max_histoを、SGF関数を定義するsgf_xで符号化する前に「256」に再スケーリングする。
次いで、処理モジュール40は、6つの利用可能なsgf_x値のうちの1つをインデックスcur_idx=frame_idx_max_histo[S]に対応するビン番号に割り当て、最大許容スケーリング値scale_max[S]を使用して対応するデフォルトsgf_y値(通常、SL-HDR1NCLケースの「118」に等しい)を修正する。ビンの数が「256」、6つのセクタ、すなわち三原色及び3つの二次色に等しいいくつかのビンを有する実施形態では、処理モジュール40は、6つの利用可能なsgf_x値のうちの1つをインデックスcur_idx=frame_idx_max_histo[S]のうちの1つに対応するビン番号に割り当て、最大許容スケーリング値scale_max[S]を使用して対応するデフォルトsgf_y値を修正する。
各セクタSについて、
sgf_x[S]=frame_idx_max_histo[S]及びsgf_y[S]=scale_max[S]。
次いで、処理モジュール40は、iが増加するにつれてsgf_x[i]値が単調増加するように、sgf_x及びsgf_y値を再順序付けする。sgf_x及びsgf_y 値を再順序付けすると、後処理モジュール14にメタデータの形で伝送されるSGF関数を定義することが可能になる。
ステップ91の一実施形態では、分析は、現在の画像のサブサンプリングされたバージョンに対して実行される。
ステップ92の他の実施形態では、異なる色相若しくは色を表す任意の他のクラス、又は異なる数のクラスが使用されてもよい。
ステップ93の一実施形態では、色を暗さ値(低ルミナンス値)について区別することは困難であるので、ヒストグラムの構成中に暗さ値は考慮されない。例えば、第1のルミナンス閾値より低いルミナンス値は、考慮されない。
ステップ93の一実施形態では、色を明るさ値(高ルミナンス値)について区別することは困難であるので、ヒストグラムの構成中に明るさ値は考慮されない。例えば、第1のルミナンス閾値より高いルミナンス値は、考慮されない。
ステップ93の実施形態では、クロマ閾値を下回るクロマ値(chr_curr)はヒストグラムの構成において考慮されない。
ステップ94の第2の実施形態では、処理モジュール40は、各ヒストグラムhistoについて(すなわち、各セクタについて)、セクタにおける最大クロミナンスエネルギーを表す値max_energy_chromaを計算する。それを行うために、各ヒストグラムhistoの各ビンについて、処理モジュール40は、そのビンにおけるピクセルの数に、対応するセクタにおいてそのビンに見られる最大クロマ値frame_chr_max[lum]を乗算することによって、クロマエネルギーを表す値energy_chroma[lum]を計算する。次いで、各セクタについて、処理モジュールは、energy_chroma[lum]の最大値を決定することによって、最大クロマエネルギーmax_energy_chromaを決定する。優位ルマ値は、最大クロマエネルギーmax_energy_chromaに対応するルマ値である。第2の実施形態の1つの利点は、最大クロマ値をビンのルミナンス値(又はビン番号)と相関させ、画像において最も魅力的な領域はどこかをより適切に示す。
ステップ94の第3の実施形態では、処理モジュール40は、各ヒストグラムhistoについて(すなわち、各セクタについて)セクタにおける最大平均クロマエネルギーを表す値max_av_energy_chromaを計算する。そうするために、処理モジュール40は、第2の実施形態のプロセスにおいて、最大クロマ値frame_chr_max[lum]を平均クロマ値frame_chr_av[lum]で置き換える。優位ルマ値は、最大平均クロマエネルギーmax_av_energy_chromaに対応するルマ値である。
ステップ94の第1、第2、及び第3の実施形態の変形例では、スキャン中に少なくとも最小数のピクセルを含むビンのみが考慮される。
ステップ94の第1、第2、及び第3の実施形態の変形例では、最小クロマ値Chr_triggerより高い許容クロマ値のエンベロープの値に対応するビンのみが、スキャン中に考慮される。この実施形態は、ほとんど飽和していない色を考慮に入れることを回避する。ステップ94の第1、第2、及び第3の実施形態の変形例では、各ヒストグラムhistoは、優位ルマ値を探索する前に最終的なノイズを平滑にするか、又は過度に小さいピークを除去するように前処理される。
ステップ95の実施形態では、最大許容スケーリング値scale_max[S]を最大値absolute_scale_max[S]に限定することができ、色の過度の飽和が回避される。一実施形態では、最大値absolute_scale_max[S]は、全ての色セクタについて同一であるか又はセクタごとに異なる。その場合、最大許容スケーリング値scale_max[S]を以下のように計算する。
scale_max[S]=min(scale_max[S]、absolute_scale_max[S])。
ステップ95の実施形態では、最大許容スケーリング値scale_max[S]は、許容クロマ値のエンベロープが現在の最大クロマchr_max[S]より低いことを分析が示す場合でも、色の非飽和を回避する最小値を有する。
ステップ95の実施形態では、セクタSについて最大許容スケーリング値scale_max[S]を決定する際、他の色セクタについてインデックスcur_idx=frame_idx_max_histo[S]において同じ計算を行うことができる。現在の色セクタとは異なる少なくとも1つのセクタS’が最大許容スケーリング値scale_max[S]より低い最大許容スケーリング値scale_max[S’]を有する場合、処理モジュール40は、最大許容スケーリング値scale_max[S]を、別のセクタに見られるより低い最大許容スケーリング値scale_max[S’]に制限する。
ステップ95の実施形態では、現在のセクタSの最大許容スケーリング値scale_max[S]を、インデックスcur_idx=frame_idx_max_histo[S]において他のセクタS’に見られる最大許容スケーリング値scale_max[S’]の最小値に限定する代わりに、インデックスcur_idx=frame_idx_max_histo[S]における色セクタのクリッピングを回避する最大U値及びV値の更なる分析を行うことができる。この分析は、scale_max[S]を以下のように限定するために使用される値scale_max_UVを提供する。
scale_max[S]=min(scale_max[S]、scale_max_UV)。
時間安定化(すなわち、時間フィルタリング)が適用されない場合、ベクトルframe_idx_max_histo[S]及びscale_max[S]は変動する恐れがある。これらの変動ベクトルによって、プレプロセッサ10は、SDRピクチャの不安定かつ許容できないシーケンスを発生させる恐れがある。
任意選択のステップ97では、処理モジュールは、時間安定化方法を適用する。
図11は、時間安定化の任意のステップ97の実施形態の例を詳細に示す。
ステップ971では、処理モジュール40は、HDRコンテンツの現在の画像がシーンカットに対応するかどうかを判定する。そうするために、例えば、処理モジュール40は、現在の画像をHDRコンテンツ内の現在の画像に先行する画像と比較する。例えば、2つの画像の同時位置ピクセル間の絶対差の合計として計算された差が閾値を上回る場合、処理モジュール40は、現在の画像がシーンカットに対応すると判定する。その場合、ステップ971の後にステップ973が続く。そうでない場合、ステップ971の後にステップ972が続く。
ステップ973では、処理モジュール40は、時間安定化方法のパラメータセットのセットを初期化する。言い換えれば、時間安定化は、ステップ973中に再初期化される。
ステップ972では、処理モジュール40は、フィルタリング済みベクトルframe_idx_max_histo及びscale_maxを計算する。
一実施形態では、ステップ971の間、処理モジュールは、シーンカットを探索する代わりに、現在の画像がHDRコンテンツの第1の画像であるかどうかを判定する。
図12は、ステップ973の実施形態の例を詳細に示す。
図12の例では、各パラメータframe_idx_max_histo[S](それぞれ、scale_max[S])について、構成可能な円形バッファframe_idx_max_histo_buf[S](それぞれ、scale_max[S])を使用して当該パラメータのフィルタリング済みバージョンが計算される。一実施形態では、各バッファは、対応するパラメータのフィルタリング済みバージョンを計算すると考えられる連続するフレームの数を表す同じサイズnを有する。一実施形態では、バッファサイズn=10である。無効な値frame_idx_max_histo_invalid(それぞれscale_max_invalid)が各パラメータframe_idx_max_histo[S](それぞれscale_max[S])について定義される。この無効な値が、図9の色補正を決定するための方法によって生成されるとき、このことは、有効なヒストグラムインデックスがなく、その現在のフレームの現在の色セクタについてscale_max値が計算されており、すなわち、現在のフレームについて現在の色セクタのクロマをスケーリングする必要はない。例えば、「64」値がルマに対して定義される場合、frame_idx_max_histo[S]は、「0」~「63」である。Scale_max[S]はまた、例えば、「5」以下であるように定義することができる。赤色(S=赤)について、図9の色補正を決定するための方法を使用する処理モジュール40が、赤を飽和させることができると判定した場合、frame_idx_max_histo[red]は[0、63]の範囲内であり、scale_max[red]は[0、5]の範囲内である。しかしながら、図9の方法を使用する場合、処理モジュール40は、色を飽和させてはならないと判定しており、次いで無効な値がframe_idx_histo[red](例えば、「64」)及びscale_max[red](例えば、「10」)に割り当てられる。したがって、図9の方法を使用して、処理モジュール40は、frame_idx_max_histo[red]及びscale_max[red]の値の関数として、これらの値が有効であるかどうかを認識し、したがって、これらの値を安定化する必要があるかどうかを認識する。
結果として、無効な値を検出すると、現在のパラメータを時間に安定化する必要はない。各バッファの各値は、以下に記載されるように初期化される。
上記のように、図12のプロセスでは、全てのバッファが同じサイズnを有すると考えられる。
ステップ973Aでは、処理モジュール40は、セクタを表す(すなわち、色を表す)変数Sをゼロに初期化する。
ステップ973Bでは、処理モジュール40は、変数Sがセクタの数NumOfSectorsより低いかどうかを判定する。例えば、NumOfSets=6である。
S=NumOfSectorsである場合、処理モジュール40は、初期化プロセス973を停止する。
そうでなければ、処理モジュール40は、ステップ973Dにおいて変数iをゼロに初期化する。
ステップ973Eでは、処理モジュール40は、がバッファサイズnを下回るかどうかを判定する。
i=nである場合、処理モジュール40は、ステップ973Fにおいて変数Sを1単位増分する。
そうでない場合、処理モジュール40は、パラメータframe_idx_max_histo[S]が無効な値frame_idx_max_histo_invalidと異なるかどうかを判定する。frame_idx_max_histo[S]=frame_idx_max_histo_invalidである場合、処理モジュール40は、ステップ973Hにおいてframe_idx_max_histo_buf[S][i]の値をframe_idx_max_invalidに設定する。そうでない場合、処理モジュール40は、ステップ973Iにおいてframe_idx_max_histo_buf[S][i]スの値をframe_idx_max_histo[S]に設定する。
ステップ973H及び973Iの後にステップ973Jが続き、処理モジュール40がパラメータscale_max[S]を無効な値scale_max_invalidと比較する。scale_max[S]=scale_max_invalidである場合、処理モジュール40は、値scale_max_buf[S][i]をscale_max_invalidに設定する。そうでない場合、処理モジュール40は、ステップ973Lにおいて値scale_max_buf[S][i]をscale_max[S]に設定する。
ステップ973Mでは、処理モジュール40は、値frame_idx_max_histo_buf[S][i]×W_iを累積値cum_frame_idx_max_histo[S]に加算する。累積値cum_frame_idx_max_histo[S]は対応するバッファの全ての値を表す。W_iは、重み付け係数である。一実施形態ではW_i=1である。別の実施形態では、W_iはiの各値について異なる。その場合、累積値cum_frame_idx_max_histo[S]はframe_idx_max_histo_buf[S][i]の加重和であるので、バッファ内の特定の位置により多くの重量が与えられる。
ステップ973Nでは、処理モジュール40は、値scale_max_buf[S][i]×W_iを累積値cum_scale_max[S]に加算する。累積値cum_scale_max[S]は、対応するバッファの全ての値を表す。
ステップ973Oでは、処理モジュール40は、バッファ内の現在の画像の位置を表すインデックスfilterIndexを初期化する。
一実施形態では、全てのバッファが同じサイズを有する場合、filterIndex=0である。
別の実施形態では、ベクトルframe_idx_max_histo及びscale_maxのパラメータに関連付けられた各バッファは、異なるサイズを有する。その場合、各バッファについてインデックスfilterIndexがある。
図13は、ステップ972の実施形態の例を詳細に説明する。
ステップ972の実施形態の例の目的は、ベクトルframe_idx_max_histo及びscale_maxのパラメータをフィルタリングすることである。図13の方法は、処理モジュール40によって実行される。これらのパラメータは、以下のようにフィルタリングされる。
●各パラメータについて、累積値は、以下のことを行うことによって更新される。
○現在のインデックスに見られるパラメータ値に対応する最も古いパラメータ値を減算すること。減算は、最も古いパラメータ値と後続のパラメータ値のうちのいずれかとの組み合わせの単純減算又は加重減算とすることができる。
○受信した直後の最新のパラメータ値を加算すること。加算は、最新のパラメータ値と先行するパラメータ値のうちのいずれかとの組み合わせの単純加算又は加重付加とすることができる。
●受信した直後の最新のパラメータを用いて、バッファを現在のインデックスにおいて更新すること。
●各パラメータについてフィルタリングされた値を計算すること。フィルタリングされた値は、
○対応する累積値を対応するバッファのサイズによって単純に除算した値、
○累積値を計算するときに考慮された最新のパラメータ値と先行するパラメータ値のうちのいずれかとの組み合わせの加重加算の和に対応する数によって対応する累積値を除算した値とすることができる。
このステップでは、処理モジュール40は、バッファがすでに初期化されているか、又は前に現在のカットにはなかったかを調べる。そうである場合、処理モジュール40は、現在の値が有効な値である場合には現在のバッファ値を更新する。そうでない場合、処理モジュール40は、ステップ973に記載されるようにバッファ及び累積値を初期化する。
図13の実施形態の実施例は、バッファサイズnが全てのパラメータについて同じであり、現在のインデックスがiであり、累積値が全てのパラメータの単純な合計であり、フィルタリングされた値が、バッファサイズnによって単純に除算された値であるときに当てはまる。その場合、全てのフィルタリングされた値は以下のように計算される。
ステップ972Aでは、処理モジュール40は、セクタを表す(すなわち、色を表す)変数Sを初期化する。
ステップ972Bでは、処理モジュール40は、変数Sがセクタの数NumOfSectorsより低いかどうかを判定する。
そうでない場合、処理モジュール40は、ステップ972Cにおいて図13のプロセスを停止する。
そうでない場合、処理モジュール40は、パラメータframe_idx_max_histo[S]がframe_idx_max_histo_invalidと異なるかどうかを判定する。frame_idx_max_histo[S]=frame_idx_max_histo_invalidである場合、ステップ972Dの後にステップ972Pが続き、ステップ972Pの間、処理モジュール40は全てのバッファ値frame_idx_max_histo_buf[S][x](xはゼロからバッファサイズnまで)をframe_idx_max_histo_invalidに再初期化する。この再初期化後、ステップ972Pの間、処理モジュール40は、変数Sを1単位増分する。加えて、ステップ972Pの間、ステップ972Pの後にステップ972Bが続く。
frame_idx_max_histo[S]≠frame_idx__max_histo_invalidである場合、ステップ972Dの後にステップ972Eが続く。ステップ972Eの間、処理モジュール40は、バッファの値frame_idx_max_histo_buf[S][i]がframe_idx_max_invalidと異なるかどうかを判定する。
frame_idx_max_histo_buf[S][i]=frame_idx_max_histo_invalidである場合、ステップ972Eの後にステップ972Fが続き、全てのバッファ値frame_idx_max_histo_buf[S][x](xはゼロからバッファサイズnまで)がframe_idx_max_histo[S]に初期化される。加えて、ステップ972Fの間、処理モジュール40は、値frame_idx_max_histo[S]をフィルタリングされた優位クロミナンス値filtered_frame_idx_max_histo[S]に与える。
frame_idx_max_histo_buf[S][i]≠frame_idx_max_histo_invalidである場合、ステップ972E、ステップ972Eの後にステップ972Gが続き、処理モジュール40は、累積値cum_frame_idx_max_histo[S]を以下のように更新する。
cum_frame_idx_max_histo[S]=cum_frame_idx_max_histo[S]-frame_idx_max_histo_buf[S][i]+frame_idx_max_histo[S]。
ステップ972Hでは、処理モジュール40は、バッファ値frame_idx_max_histo_buf[S][i]を以下のように更新する。
frame_idx_max_histo_buf[S][i]=frame_idx_max_histo[S]。
ステップ972Iでは、処理モジュール40は、フィルタリングされた優位色差値filtered_frame_idx_max_histo[S]を取得する。
filtered_frame_idx_max_histo[S]=cum_frame_idx_max_histo[S]/n。
ステップ972Iの後にステップ972Jが続く。
ステップ972Jの間、処理モジュール40は、最大許容スケーリング値scale_max[S]がscale_max_invalidと異なるかどうかを判定する。
scale_max[S]=scale_max_invalidである場合、処理モジュール40は、全てのバッファ値scale_max_buf[S]をscale_max_invalidに再初期化する。この再初期化の後、処理モジュール40は、ステップ972Pの間、変数Sを1単位増分する。
そうでない場合、処理モジュール40は、ステップ972Kの間、バッファ値scale_max_buf[S][i]がscale_max_invalidと異なるかどうかを判定する。scale_max_buf[S][i]=scale_max_invalidである場合、ステップ972Lにおいて、処理モジュールは、バッファ値scale_max_buf[S][x]をscale_max[S]に設定し、フィルタリングされた最大許容スケーリング値filtered_scale_max[S]をscale_max[S]に設定する。ステップ972Lの後にステップ972Pが続く。
そうでなければ、ステップ972Mでは、処理モジュールは、累積値cum_scale_max[S]を以下のように更新する。
cum_scale_max[S]=cum_scale_max[S]-scale_max_buf[S][i]+scale_max[S]。
ステップ972Nでは、処理モジュール40は、バッファ値scale_max_buf[S][i]を以下のように更新する。
scale_max_buf[S][i]=scale_max[S]。
ステップ972Oでは、処理モジュール40は、以下のようにフィルタリングされた最大許容スケーリング値を取得する。
filtered_scale_max[S]=cum_scale_max_histo[S]/n。
ステップ972Oの後にステップ972Pが続く。
次いで、各セクタSについて、フィルタリングされた値は、後処理モジュールにメタデータの形態で送信されるSGF関数の定義において非フィルタリング値に置き換わる。
sgf_x[S]=filtered_frame_idx_max_histo[S]及びsgf_y[S]=filtered_scale_max[S]。
SL-HDR1の場合、SGF関数を決定することを目的とする全ての処理は、SL-HDR1前処理モジュールの出力、すなわちSDR信号を表すYpre0、Upre1及びVpre1中間信号に基づく。言い換えれば、全ての計算がSDRドメインで行われている。
図14は、SL-HDR2システムに適合された色補正を制御するための方法の実施形態を概略的に説明する。
図9に関連して説明する色補正を制御するための方法は、SL-HDR1システムに対処する。SL-HDR2プレプロセッサでは、SDR信号生成は行われない。図14のSL-HDR2システムに適合された実施形態のステップ140では、現在の画像のクロマの分析が、変数HDR、HDR及びHDR、Upost2、Vpost2が取得されるまで、図8に関連して説明する再構成プロセスのステップ801からステップ807までSL-HDR2ポストプロセッサをエミュレートすることによって、SL-HDR2ポストプロセッサにおいて行われる(すなわち、処理モジュール40によって行われる)。再構成プロセスは、接続されたディスプレイがSDRディスプレイであることを考慮することによって行われる。したがって、再構成されたプロセスは、実際にはSDR信号であるHDR、HDR及びHDR信号を生成する。
SL-HDR2後処理モジュール(より正確には再構成モジュール)は、HDR信号を取り込み、SDR又はMDR又はHDR信号を生成する。図9に関連して説明する方法は、SDRドメインにおけるSGF点座標sgf_x及びsgf_yを決定することを可能にする。しかしながら、実際のSL-HDR2ポストプロセッサでは、これらの点は、入力HDR信号に適用される。したがって、SL-HDR2ケースでは、全ての計算されたSGF点がHDRドメインにマッピングされ、このことはSDR/HDR変換の推定を意味する。
ステップ141では、処理モジュールは、SDR/HDR変換を計算する。このことは、2つの値Lhisto_cur_sdr及びLhisto_cur_hdr、並びに3つのベクトルLhisto_match_sdr_hdr_min、Lhisto_match_sdr_hdr_max及びLhisto_match_sdr_hdrを使用することによって2つのステップで行われる。第1のステップでは、HDRコンテンツの現在の画像の各ピクセルについて、Lhisto_match_sdr_hdr_min及びLhisto_match_sdr_hdr_maxが以下のように計算される。
HDR、HDR及びHDRはSDRドメイン内にあり、γは、「2.4」ガンマ因子である。
Lhisto_cur_sdr=CLAMP((Ypost2/16+5),0,NumBins-1)
Lhisto_cur_hdr=CLAMP((Ypost1/16+5),0,NumBins-1)
式中、CLAMP(x,y,z)は(min(max(x,y)z)をとり、NumBinsは、ヒストグラム内のビンの数である(例えば、NumBins=64)。
Lhisto_match_sdr_hdr_min[Lhisto_cur]=min(Lhisto_match_sdr_hdr_min[Lhisto_cur_sdr]、Lhisto_cur_hdr)
Lhisto_match_sdr_hdr_max[Lhisto_cur]=max(Lhisto_match_sdr_hdr_max[Lhisto_cur_sdr]、Lhisto_cur_hdr)
第2のステップでは、全てのピクセルが分析された後、図15に示すように、推定されたSDR/HDR変換が計算される。
ステップ1410では、処理モジュール40は、変数Last_correct_valueをゼロに初期化する。
ステップ1411では、処理モジュール40は、変数lumをゼロに初期化する。
ステップ1412では、処理モジュール40は、変数lumがNumBinsを下回るかどうかを判定する。
lum=NumBinsである場合、処理モジュールは、図15のプロセスを停止する。ステップ1404では、処理モジュール40は、以下のように値Lhisto_match_sdr_hdr[lum]を計算する。
Lhisto_match_sdr_hdr[lum]
=Lhisto_match_sdr_hdr_min[lum]+Lhisto_match_sdr_hdr_max[lum]/2。
ステップ1415で、処理モジュール40は、値Lhisto_match_sdr_hdr[lum]がNumBinsに等しいかどうかを判定する。
そうである場合、処理モジュール40は、ステップ1417において値Lhisto_match_sdr__hdr[lum]を以下のように計算する。
Lhisto_match_sdr_hdr[lum]=last_correct_value。
そうでない場合、ステップ1416において、処理モジュールは値last_correct_valueを以下のように計算する。
last_correct_value=Lhisto_match_sdr_hdr[lum]。
ステップ1416及び1417の後にステップ1418が続き、値lumが1単位増分される。
ステップ142では、処理モジュール40は、ステップ90~96を適用して、ベクトルframe_idx_max_histo及びscale_maxを決定する。
ステップ143では、処理モジュール40は、図16に示すように、ベクトルframe_idx_max_histoのパラメータをHDRドメインにマッピングする。
ステップ1430では、処理モジュール40は、変数Sをゼロに初期化する。
ステップ1431では、処理モジュール40は、変数SがNumOfSectorsより低いかどうかを判定する。
S=NumOfSectorsである場合、処理モジュール40は、ステップ1432において図16のプロセスを停止する。
そうでない場合、処理モジュールは、パラメータframe_idx_max_histo[S]がNumBins。より低いかどうかを判定する。
frame_idx_max_histo[S]=NumBinsである場合、処理モジュール40は、ステップ1436において、変数Sを1単位増分する。ステップ1436の後にステップ1431が続く。
そうでない場合、ステップ1434において、処理モジュール40は、変数Lhisto_sdrを以下のように計算する。
Lhisto_sdr=frame_idx_max_histo[S]。
ステップ1435において、処理モジュール40は、パラメータframe_idx_max_histo[S}を以下のように計算する。
frame_idx_max_histo[S]=Lhisto_match_sdr_hdr[Lhisto_sdr]。
ステップ1435の後にステップ1436が続く。
図14に戻ると、ステップ143の後、処理モジュール40は、処理モジュール40がSGF関数を表すSGF点を計算するステップ144を実行する。各セクタSについて、
sgf_x[S]=frame_idx_max_histo[S]及びsgf_y_tmp[S]=scale_max[S]。
次いで、処理モジュール40は、iが増加するにつれてsgf_x[i]値が単調増加するように、sgf_x及びsgf_y_tmp値を再順序付けする。sgf_x及びsgf_y_tmp値を再順序付けすると、後処理モジュール14にメタデータの形態で伝送されるSGF関数を定義することが可能になる。
ステップ142では、全ての計算が行われて、ステップ90~ステップ96によって、SL-HDR1ケースにおける飽和を改善するSGF関数が生成される。最後に、SGF関数はSL-HDR1とSL-HDR12との間で異なる働きをするので、SL-HDR1ケースにおいてステップ96で計算された全てのsgf_y_tmp(Y)値をSL-HDR2ケースに適合させる必要がある。
SL-HDR1では、SGFは、図6のステップ605においてプレプロセッサ側に以下のように適用される。
更に、
ここで、飽和ゲイン関数fsgf(Y)は、文書ETSITS103433-1v1.3.1の第7.3節において詳細に説明されているように、飽和ゲイン関数メタデータsgf_x及びsgf_yによって定義される区分線形ピボットポイントから導出される。
所与のルミナンスYにおいて、sgf(Y)を増分値incrだけ増加させる。
したがって、sgf(Y)をincrだけ増加させると、Upre1(それぞれVpre1)は以下のように修正される。
incrの任意の正の値はUpre1(それぞれ、Vpre1)を増加させ、したがって、ピクセルの飽和を増大させる。
SL-HDR2では、SGFは、図8のステップ804において、lutCC[Y]によってポストプロセッサ側に適用される。sgf(Y)をincrだけ増加させると、Upost2(それぞれVpost2)は以下のように修正される。
incrの任意の正の値は、Upost2(それぞれVpost2)を増加させ、したがって、対応するピクセルの飽和を低減させる。
したがって、SL-HDR2では、増分incr_slhdr2は、対応するSL-HDR1増分incr_slhdr1の関数で計算され、それによって、以下のようになる。
最後に、これによって、最終SL-HDR2のsgf_y値が計算される。

Claims (19)

  1. 現在の多成分画像を取得することと、
    前記現在の多成分画像から導出されたトーンマッピングされたルマ成分及び補正された正規化クロミナンス成分を使用して、前記現在の多成分画像のピクセルの色を複数の色クラスに分類すること(92)と、
    各色クラスについて、前記クラス内の色が優位であるルミナンスを表す優位ルミナンス値を含む、前記色クラスを表すデータを決定し、前記色クラス内のクロミナンス成分についての最大許容クロマ値を表すクロミナンスのゲインを表す値を、前記色クラスを表す前記データから決定することと、
    ビットストリームにおける飽和ゲイン関数を表すメタデータとして各クラスに対応する前記優位ルミナンス値及び前記ゲインを表す前記値を符号化することであって、前記関数が、前記ピクセルのルミナンスの関数として前記現在の多成分画像のピクセルに適用される色補正を定義する、符号化することと、を含む、方法。
  2. 前記現在の多成分画像のピクセルの前記トーンマッピングされたルマ成分及び前記補正された正規化クロミナンス成分が、前記現在の多成分画像のクロミナンス成分を分析することによって取得され、前記分析は、前記現在の多成分画像のピクセルの少なくともサブセットの各ピクセルについて、
    ・前記ピクセルの前記成分からルマ成分を導出することと、
    ・前記導出されたルマ成分にトーンマッピングを適用して、トーンマッピングされたルマ成分を取得することと、
    ・前記ピクセルの前記成分からクロミナンス成分を導出することと、
    ・前記クロミナンス成分にジョイント正規化及び色補正を適用して、補正された正規化クロミナンス成分を取得することと、を含む、請求項1に記載の方法。
  3. 前記現在の多成分画像は、ビデオシーケンスに含まれ、時間フィルタリングが、前記現在の多成分画像に先行する前記ビデオシーケンスの画像について計算されたクロマゲインを表す情報に基づいて、前記クロマゲインを表す前記情報に適用される、請求項1に記載の方法。
  4. 前記時間フィルタリングは、前記ビデオシーケンスの開始時又はシーンカットが前記ビデオシーケンス内で識別されるときに再初期化される、請求項3に記載の方法。
  5. 前記色クラスは、クロミナンス平面において純粋な原色及び/又は二次色の周りの色セクタである、請求項1に記載の方法。
  6. 前記セクタの組み合わせが、前記クロミナンス平面を一体的にカバーする、請求項5に記載の方法。
  7. 前記色クラスを表すデータを決定することは、前記色クラスについてのルミナンス値の関数として前記現在の多成分画像のピクセルのルミナンス値のヒストグラムを取得することを含む、請求項1に記載の方法。
  8. 前記ヒストグラムを取得するために、ルミナンス値の所定の範囲に含まれるルミナンス値に対応するピクセルのみが使用される、請求項7に記載の方法。
  9. 前記優位ルミナンス値は、前記ヒストグラムにおいてピクセルの最大値が存在するルミナンス値又は最大クロミナンスエネルギーが存在するルミナンス値に対応し、クロミナンスエネルギーが、前記ヒストグラムのビンについて、そのビンに対応するピクセルの数にそのビンに見られる最大クロマ値又は最大平均クロミナンスエネルギーが存在するルミナンス値を乗算することによって計算され、平均クロミナンスエネルギーが、前記ヒストグラムのビンについて、そのビンに対応するピクセルの数にそのビンに見られる最大クロマ値を乗算することによって計算される、請求項7に記載の方法。
  10. 電子回路を備えるデバイスであって、前記電子回路は、
    現在の多成分画像を取得することと、
    前記現在の多成分画像から導出されたトーンマッピングされたルマ成分及び補正された正規化クロミナンス成分を使用して、前記現在の多成分画像のピクセルの色を複数の色クラスに分類するための手段と、
    各色クラスについて、前記クラス内の色が優位であるルミナンスを表す優位ルミナンス値を含む、前記色クラスを表すデータを決定し、前記色クラスのクロミナンス成分についての最大許容クロマ値を表すクロミナンスのゲインを表す値を、前記色クラスを表す前記データから決定すること(95)と、
    ビットストリームにおける飽和ゲイン関数を表すメタデータとして各クラスに対応する前記優位ルミナンス値及び前記ゲインを表す前記値を符号化することであって、前記関数が、前記ピクセルのルミナンスの関数として前記現在の多成分画像のピクセルに適用される色補正を定義する、符号化することと、を行うように構成されるデバイス。
  11. 前記電子回路は、前記現在の多成分画像のピクセルの少なくともサブセットの各ピクセルについて適用される前記現在の多成分画像のクロミナンス成分を分析して、前記現在の多成分画像の前記トーンマッピングされたルマ成分及び前記補正された正規化クロミナンス成分を取得するように更に構成され、前記分析することは、
    ・前記ピクセルの前記成分からルマ成分を導出することと、
    ・前記導出されたルマ成分にトーンマッピングを適用して、トーンマッピングされたルマ成分を取得することと、
    ・前記ピクセルの前記成分からクロミナンス成分を導出することと、
    ・前記クロミナンス成分にジョイント正規化及び色補正を適用して、補正された正規化クロミナンス成分を取得することと、を含む、請求項10に記載のデバイス。
  12. 前記現在の多成分画像は、ビデオシーケンスに含まれ、前記電子回路は、前記現在の多成分画像に先行する前記ビデオシーケンスの画像について計算されたクロマゲインを表す情報に基づいて、前記クロマゲインを表す前記情報に時間フィルタリングを適用するように更に構成される、請求項10に記載のデバイス。
  13. 前記時間フィルタリングは、前記ビデオシーケンスの開始時又はシーンカットが前記ビデオシーケンス内で識別されるときに再初期化される、請求項12に記載のデバイス。
  14. 前記色クラスは、クロミナンス平面において純粋な原色及び/又は二次色の周りの色セクタである、請求項10に記載のデバイス。
  15. 前記セクタの組み合わせが、前記クロミナンス平面を一体的にカバーする、請求項14に記載のデバイス。
  16. 前記色クラスを表すデータを決定することは、前記色クラスについてのルミナンス値の関数として前記現在の多成分画像のピクセルのルミナンス値のヒストグラムを取得することを含む、請求項10に記載のデバイス。
  17. 前記ヒストグラムを取得するために、ルミナンス値の所定の範囲内に含まれるルミナンス値に対応するピクセルのみが使用される、請求項16に記載のデバイス。
  18. 前記優位ルミナンス値は、前記ヒストグラムにおいてピクセルの最大値が存在するルミナンス値又は最大クロミナンスエネルギーが存在するルミナンス値に対応し、クロミナンスエネルギーが、前記ヒストグラムのビンについて、そのビンに対応するピクセルの数にそのビンに見られる最大クロマ値又は最大平均クロミナンスエネルギーが存在するルミナンス値を乗算することによって計算され、平均クロミナンスエネルギーが、前記ヒストグラムのビンについて、そのビンに対応するピクセルの数にそのビンに見られる最大クロマ値を乗算することによって計算される、請求項16に記載のデバイス。
  19. 請求項1に記載の方法を実装するためのプログラムコード命令を記憶する非一時的情報記憶媒体。

JP2022566081A 2020-05-05 2021-04-28 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大 Active JP7681621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025079604A JP2025118825A (ja) 2020-05-05 2025-05-12 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20305440 2020-05-05
EP20305440.8 2020-05-05
PCT/EP2021/061060 WO2021224076A1 (en) 2020-05-05 2021-04-28 Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025079604A Division JP2025118825A (ja) 2020-05-05 2025-05-12 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大

Publications (2)

Publication Number Publication Date
JP2023524687A JP2023524687A (ja) 2023-06-13
JP7681621B2 true JP7681621B2 (ja) 2025-05-22

Family

ID=70802828

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022566081A Active JP7681621B2 (ja) 2020-05-05 2021-04-28 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大
JP2025079604A Pending JP2025118825A (ja) 2020-05-05 2025-05-12 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025079604A Pending JP2025118825A (ja) 2020-05-05 2025-05-12 SL-HDRxシステム用のSDR及びHDR表示適合信号に対するクロマの増大

Country Status (8)

Country Link
US (2) US12335495B2 (ja)
EP (1) EP4147447A1 (ja)
JP (2) JP7681621B2 (ja)
KR (1) KR20230019250A (ja)
CN (1) CN115668922A (ja)
BR (1) BR112022022354A2 (ja)
TW (1) TWI887407B (ja)
WO (1) WO2021224076A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121151696A (zh) * 2024-06-07 2025-12-16 荣耀终端股份有限公司 图像处理方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120576A1 (en) 2002-12-20 2004-06-24 Samsung Electronics Co., Ltd. Color signal correction device and method, and image processing system using the same and method thereof
US20060285768A1 (en) 2005-06-20 2006-12-21 Mediatek Incorporation Video processing methods and systems
CN102223547A (zh) 2011-06-16 2011-10-19 王洪剑 图像色彩增强装置和方法
JP2018191269A (ja) 2017-02-24 2018-11-29 トムソン ライセンシングThomson Licensing 復号された画像データから画像データを再構成する方法および装置
WO2020014034A1 (en) 2018-07-12 2020-01-16 Interdigital Vc Holdings, Inc. Method and apparatus for encoding an image
WO2020018331A1 (en) 2018-07-20 2020-01-23 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
WO2020048790A1 (en) 2018-09-05 2020-03-12 Koninklijke Philips N.V. Multi-range hdr video coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
WO2017053620A1 (en) * 2015-09-23 2017-03-30 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
TWI588777B (zh) 2015-12-29 2017-06-21 Method of Fuzzy Clustering Automated Contrast Change
EP3409015B1 (en) * 2016-01-28 2019-09-25 Koninklijke Philips N.V. Encoding and decoding hdr videos
EP3416363A1 (en) * 2017-06-13 2018-12-19 Koninklijke Philips N.V. Gamut mapping for hdr (de)coding
JP7074461B2 (ja) 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
US10600163B2 (en) 2017-11-22 2020-03-24 Interdigital Vc Holdings, Inc. Method and device for reconstructing a display adapted HDR image
CN108259701A (zh) * 2018-01-17 2018-07-06 深圳市唯特视科技有限公司 一种基于高动态范围色域映射的颜色再现方法
WO2019169174A1 (en) * 2018-02-28 2019-09-06 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
US20190325567A1 (en) * 2018-04-18 2019-10-24 Microsoft Technology Licensing, Llc Dynamic image modification based on tonal profile
US11049224B2 (en) * 2018-12-05 2021-06-29 Microsoft Technology Licensing, Llc Automated real-time high dynamic range content review system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120576A1 (en) 2002-12-20 2004-06-24 Samsung Electronics Co., Ltd. Color signal correction device and method, and image processing system using the same and method thereof
US20060285768A1 (en) 2005-06-20 2006-12-21 Mediatek Incorporation Video processing methods and systems
CN102223547A (zh) 2011-06-16 2011-10-19 王洪剑 图像色彩增强装置和方法
JP2018191269A (ja) 2017-02-24 2018-11-29 トムソン ライセンシングThomson Licensing 復号された画像データから画像データを再構成する方法および装置
WO2020014034A1 (en) 2018-07-12 2020-01-16 Interdigital Vc Holdings, Inc. Method and apparatus for encoding an image
WO2020018331A1 (en) 2018-07-20 2020-01-23 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
WO2020048790A1 (en) 2018-09-05 2020-03-12 Koninklijke Philips N.V. Multi-range hdr video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"ETSI TS 103 433-1 V1.3.1 (2020-03)",[online], ETSI,2020年03月,Pages 1-8,28,29,34-61,72-80,129,[令和7年2月21日検索], インターネット, <URL: https://www.etsi.org/deliver/etsi_ts/103400_103499/10343301/01.03.01_60/ts_10343301v010301p.pdf>.
Vladimir Lachine, et al.,"Local Adaptive Tone Mapping for Video Enhancement",Proceedings of SPIE,2015年03月11日,Vol.9411,全6頁,94110V, <DOI: 10.1117/12.2087624>.
Wiebe de Haan, et al.,"Indication of SMPTE ST 2094-20 metadata in HEVC",Document: JCTVC-X0075, [online],JCTVC-X0075 (version 2),Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2016年05月25日,Pages 1-6,インターネット, <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/24_Geneva/wg11/JCTVC-X0075-v2.zip>,(See document file "JCTVC-X0075-v2/JCTVC-X0075.doc" in the zip file "JCTVC-X0075-v2.zip".)(特許庁学術文献等データベース受入日:2017年10月28日)
大久保 榮 監修,「改訂三版H.264/AVC教科書」,第1版,日本,株式会社インプレスR&D,2009年01月01日,第13~15頁,ISBN: 978-4-8443-2664-9.

Also Published As

Publication number Publication date
KR20230019250A (ko) 2023-02-07
US20240187616A1 (en) 2024-06-06
WO2021224076A1 (en) 2021-11-11
TWI887407B (zh) 2025-06-21
JP2023524687A (ja) 2023-06-13
TW202147835A (zh) 2021-12-16
JP2025118825A (ja) 2025-08-13
EP4147447A1 (en) 2023-03-15
CN115668922A (zh) 2023-01-31
US12335495B2 (en) 2025-06-17
US20250280136A1 (en) 2025-09-04
BR112022022354A2 (pt) 2023-01-03

Similar Documents

Publication Publication Date Title
CN107203974B (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
US11024017B2 (en) Tone mapping adaptation for saturation control
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
RU2710888C2 (ru) Способ и устройство кодирования и декодирования цветной картинки
WO2017157845A1 (en) A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
JP2018530942A (ja) コード化および復号方法ならびに対応するデバイス
US20220318965A1 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
US11928796B2 (en) Method and device for chroma correction of a high-dynamic-range image
EP3718305A1 (en) Saturation control for high-dynamic range reconstruction
US20250280136A1 (en) Chroma boost on sdr and hdr display adapted signals for sl-hdrx systems
US20230394636A1 (en) Method, device and apparatus for avoiding chroma clipping in a tone mapper while maintaining saturation and preserving hue
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
CN119678488A (zh) 在sl-hdrx系统中防止裁剪的方法
EP3900351A2 (en) Decoding an image
KR20240171140A (ko) Sl-hdr1 시스템에서의 sdr 픽처 보정 방법
TW202420806A (zh) 用於降低應用於視訊內容之色域修改程序中之量化效應的方法
WO2025087773A1 (en) Method, device, computer program and signal for avoiding chrominance clipping in a tone mapper with flexible brightness, saturation and hue preservation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221229

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230228

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250311

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250512

R150 Certificate of patent or registration of utility model

Ref document number: 7681621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150