JP5690267B2 - コンテンツ配信のための方法およびシステム - Google Patents

Description

（関連出願とのクロスリファレンス）
本出願は、２００８年８月２２日付で出願され、「コンテンツ配信のための方法およびシステム（ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＣＯＮＴＥＮＴ ＤＥＬＩＶＥＲＹ）」と題された米国仮特許出願第６１／１８９，８４１号、さらに、２００８年９月２６日付で出願され、「将来の消費者向けビデオ・フォーマットを定義すること」と題された米国仮特許出願第６１／１９４，３２４号の利益を主張するものであり、これらの開示内容全体を本明細書に盛り込んだものとする。

ビデオ・コンテンツの消費者による視聴は、２つの別個の環境に分かれ始めている。これらは、明るい室内にある通常は小さなディスプレイからなる従来のホーム・ビデオ環境と、暗い、細かく調整された室内における大型の高解像度のディスプレイまたはプロジェクタからなる新しいホーム・シアター環境である。例えば、ディジタル多機能ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）や高解像度ＤＶＤ（ＨＤ‐ＤＶＤ）などのホーム・ビデオのための現在のビデオのマスタリングや配信の処理は、ホーム・ビデオ環境に対応しているのみであり、ホーム・シアター環境に対応しているものではない。

現在の視聴の実行と比較して、ホーム・シアターの視聴には、より高い符号化精度が必要となり、さらに、これに伴って、現在の実装では一般に使用されていない、符号化技術および圧縮技術が必要となる。従って、新たな符号化実装では、相異なる視聴状況のためにより高い信号精度を使用できるようにし、異なる色決定（例えば、ピクチャやコンテンツ素材に適用される数学的な伝達関数）がカラー・グレーディング（色調整）のセッションの間になされることがある。

本発明の各実施の形態は、相異なる視聴環境における使用に適したビデオ・コンテンツの少なくとも２つのバージョンを提供する方法およびシステムに関する。

一実施の形態は、配信のためのビデオ・コンテンツを作成する方法を提供し、この方法は、ビデオ・コンテンツの第１のバージョンを提供するステップと、この第１のバージョンに関連する少なくとも第１のパラメータ値をコンテンツの第２のバージョンに関連する少なくとも第２のパラメータ値に変換する際に使用するためのメタデータを提供するステップと、ビデオ・コンテンツの第１のバージョンとビデオ・コンテンツの第２のバージョンとの間の少なくとも１つの差を表す差分データを提供するステップと、を含む。本実施の形態においては、コンテンツの第１のバージョンは、第１の関数を介してマスター・バージョンに関連し、ビデオ・コンテンツの第２のバージョンは、第２の関数を介してマスター・バージョンに関連し、メタデータは、第１の関数および第２の関数から導出される。

別の実施の形態は、システムを提供し、このシステムは、コンテンツの第１のバージョン、コンテンツの第２のバージョン、さらに、第１のバージョンに関連する少なくとも第１のパラメータ値をコンテンツの第２のバージョンに関連する少なくとも第２のパラメータ値に変換する際に使用するためのメタデータを使用して差分データを生成するように構成された少なくとも１つのプロセッサを含む。本実施の形態においては、コンテンツの第１のバージョンは、第１の関数を介してマスター・バージョンに関連し、ビデオ・コンテンツの第２のバージョンは、第２の関数を介してマスター・バージョンに関連し、メタデータは、第１の関数および第２の関数から導出される。

別の実施の形態は、システムを提供し、このシステムは、少なくともコンテンツの第１のバージョンと、コンテンツの第１のバージョンとコンテンツの第２のバージョンとの間の少なくとも１つの差を表す差分データを生成するためにデータを復号するように構成された復号器と、コンテンツの第２のバージョンを作成するプロセッサを含む。このコンテンツの第２のバージョンの作成は、プロセッサに対して提供されるビデオ・コンテンツの第１のバージョン、差分データ、およびメタデータを使用して行われる。本実施の形態においては、コンテンツの第１のバージョンは、第１の関数を介してマスター・バージョンに関連し、ビデオ・コンテンツの第２のバージョンは、第２の関数を介してマスター・バージョンに関連し、メタデータは、第１のバージョンに関連する少なくとも第１のパラメータ値をコンテンツの第２のバージョンに関連する少なくとも第２のパラメータ値に変換する際に使用するために、第１の関数および前記第２の関数から導出される。

本発明の開示内容は、添付の図面と併せて以下の詳細な説明を考慮することによって容易に理解できるであろう。

コンテンツの複数の異なるバージョンをマスター・バージョンから作成するコンセプトを示す図である。 コンテンツの複数の異なるバージョンを提供するために必要なデータまたは情報を示す図である。 コンテンツの複数の異なるバージョンの配信に関するデータまたは情報の処理を示す図である。 受信機または復号器でのデータまたは情報の処理を示す図である。 複数の異なるディスプレイ・リファレンス・モデルのための複数のバージョンのコンテンツ作成を示す図である。 複数の異なるディスプレイ・モデルのための複数のオプションからコンテンツのバージョンを選択する受信機を示す図である。

理解を容易にするために、各図面を通して同一の要素を示すために、可能な箇所では、同一の参照符号を使用している。

本発明の各実施の形態は、例えば、第１の視聴の実施とこの第１の視聴実施に関連する再生ハードウエアおよびソフトウエアとの互換性を有するコンテンツの第１のバージョンと、第１の視聴の実施との互換性を有していないことがある、第２の視聴の実施との互換性を有する少なくとも第２のバージョンとにアクセスできるようにするコンテンツを配信することによって、複数の異なる視聴の実施に対応する方法およびシステムを提供する。

一例においては、この２つのバージョンは、同一のコンテンツの複数の異なる色補正されたバージョンである。即ち、この２つのバージョンの双方とも、同一のオリジナルのバージョンまたはマスター・バージョンから導出されるものであるが、異なる色決定を有するものである。しかしながら、双方のバージョンのためのデータ全体を配信する代わりに、本発明の方法は、第１のバージョンのコンテンツ・データと特定の追加データのみを配信することにより、受信側で第２のバージョンが導出されるか、再構築できるようにする。第１のバージョンのコンテンツ・データ（例えば、ピクチャまたはビデオ）を第２のバージョンで再使用または共用することによって、データのサイズおよびレートに対する要求条件が緩和され、結果として、リソースの利用が向上する。

本発明の各実施の形態は、コンテンツ・データの１つのバージョンのみを追加的なデータまたはメタデータと共に配信し、配信されたバージョンからコンテンツの他のバージョンが導出または再構築されるようにすることによって、同一のコンテンツのどのような数の異なるバージョンでも、受信機またはユーザが利用できるように、一般的に適用することができる。一実施の形態では、１個のプロダクト（制作物）上のビデオ・コンテンツまたはフィーチャーの複数のバージョンに対するアクセスの提供、またはその配信ができるようにする。ここで、２つ以上のバージョンは、少なくとも、カラー・グレーディングおよび色精度（ビット深度）において異なる。

別の実施の形態によれば、コンテンツの２つのバージョンが１個の制作物上で、互換した方式で、例えば、現在のホーム・ビデオ用のバージョンと同様の標準バージョンを提供し、これと共に、標準バージョンの復号および／または再生を妨げない、拡張バージョン、例えば、ホーム・シアター用のバージョンのための追加データを提供する。例示的なシステムは、現在利用可能なＨＤ-ＤＶＤプレイヤーと互換性を有する標準的な８ビットのバージョンと、拡張レイヤーのための追加的なデータとの両方を有するＨＤ‐ＤＶＤである。この拡張レイヤーを有する追加的なデータは、Ｓｔｅｒｌｉｎｇ氏およびＯ’Ｄｏｎｎｅｌｌ氏の「拡張色空間コンテンツのマスタリングおよび配信を行うための方法およびシステム（Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｍａｓｔｅｒｉｎｇ ａｎｄ Ｄｉｔｒｉｂｕｔｉｎｇ Ｅｎｈａｎｃｅｄ Ｃｏｌｏｒ Ｓｐａｃｅ Ｃｏｎｔｅｎｔ）」と題された特許出願ＷＯ２００６／０５０３０５Ａ１に記載されているような特別の再生装置によってのみ構文解析される。この特許出願の開示内容全体を本明細書に盛り込んだものとする。バージョンの互換性が問題となる用途が存在する一方で、このような互換性が全くでないにせよ、あまり問題とはならない用途が存在することが理解できよう。

図１は、コンテンツ作成スキーム１００を例示している。このコンテンツ作成スキーム１００では、特定のコンテンツまたは素材のマスター・バージョン１０２を、第１の変換関数（Ｔｆ１）を用いて第１のバージョン１０４に変換することができる。また、マスター・バージョン１０２を、第２の変換関数（Ｔｆ２）を用いて第２のバージョン１０６に変換することができる。追加的なデータ１５０は、第１のコンテンツのバージョン１０４および第２のコンテンツのバージョン１０６との間のリンクを提供する。より具体的には、追加的なデータ１５０は、第２のコンテンツのバージョン１０６が第１のコンテンツのバージョン１０４から再構築または導出されるようにする。一実施の形態においては、追加的なデータ１５０は、少なくとも（Ｔｆ１およびＴｆ２の関数である）色関数（ＣｏｌｏｒＦｕｎｃｔｉｏｎ）を含み、このＣｏｌｏｒＦｕｎｃｔｉｏｎは、第１のバージョン１０４の色を第２のバージョン１０６の色に変換できるようにする。

一実施の形態においては、コンテンツの配信は、２度配信しなければならない情報が存在しないように行われる。一例では、コンテンツの標準バージョンと、標準バージョンをより高品質なバージョン（または拡張バージョン）にアップグレードするデータストリームとを提供する。標準バージョンと追加のデータストリームとの合計が拡張バージョン自体のデータと等しくなる場合がある。好ましくは、ＡＶＣ、ＪＰＥＧ２０００などの圧縮スキームを適用した後にも、このことが当てはまる。

一般に、２つのコンテンツ・バージョン１０４および１０６は、カラー・グレーディング、ビット深度（色精度）、空間解像度、およびフレーミングの特性またはパラメータのうちの１つ以上の点において異なる場合がある。

本発明の一態様は、相異なるビット深度または色精度のために使用される、異なるカラー・グレーディングの問題を取り扱うものである。例えば、制作物は、標準のビット深度を有する標準の視聴のための１つのコンテンツのバージョンを提供し、より大きなビット深度を有する、異なる環境、例えば、ホーム・シアターでの視聴のための拡張バージョンを提供する。

従って、同じ映画作品の２つの異なるバージョンの互換性のある符号化は、標準バージョンと例えば、ホーム・シアター用の拡張バージョンを提供することによって達成される。２つのバージョンが異なる色精度および／またはグレーディングを有するようにし、２つのバージョンにおける同様のオブジェクトが異なる色および異なるビット深度を有するようにする。

２つのバージョンが同一のカラー・グレーディングを有するが異なるビット深度を有する場合には、２つの異なるバージョンを配信する１つの方法は、２つの個々のビットストリームまたはデータ、即ち、標準バージョンのビットストリームと拡張ビットストリームを提供することに関わる。標準バージョンのビットストリームは、標準バージョンのピクチャを作成するのに必要な情報の全てを含み、拡張データストリームは、拡張コンテンツのバージョンを形成するために標準バージョンに対して行われる改良に必要な情報の全てを含む。

単純な実施態様として、標準バージョンのビットストリームは、所与のビデオ・ピクチャの最上位ビット（ＭＳＢ：Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）情報を含み、拡張ビットストリームは、同一の所与のビデオ・ピクチャの最下位ビット（ＬＳＢ：Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）情報を含むようにすることができる。

しかしながら、より現実的なシナリオでは２つの異なるバージョンは、相異なるカラー・グレーディングを有する。例として、これらは、異なる中間トーン強調、異なる色温度、または異なる輝度を用いてグレーディングされる。

図１を参照すると、各色が同じ（即ち、カラー・グレーディングが同じ）場合、同一のピクチャの８ビットのバージョン（標準バージョン）と１２ビットのバージョン（拡張バージョン）を配信する例では、単純な処理は、以下のようになる。
拡張データ＝Ｖ２−［Ｖ１＊２＾（１２−８）］ （等式１）
ここで、Ｖ１は標準バージョンであり、Ｖ２は、拡張バージョンである。

復号側では、拡張バージョン（Ｖ２）は、以下のように再構築できる。
Ｖ２＝［Ｖ１＊２＾（１２−８）］＋拡張データ （等式２）

両方のバージョンで色が同一である場合には、これは、効果的な方法である。拡張データは、拡張バージョン（Ｖ２）の最下位ビット（ＬＳＢ）と等しい。１２ビットと８ビットを有する与えられたケースでは、拡張データの圧縮されていないサイズは、例えば、標準バージョンのサイズの約半分である。しかしながら、各色が異なる場合には、最悪の場合のシナリオでは、拡張データは、拡張バージョンのデータ自体と同じデータ量となるであろう。これは、標準バージョンのデータの１．５倍である。

両方のバージョン間で色の差が存在していたとしても、より最適な結果が得られるようにするために、ＣｏｌｏｒＦｕｎｃｔｉｏｎと呼ばれる関数を、拡張バージョンのデータから標準バージョンのデータを差し引く前に、この標準バージョンのデータに適用して拡張データを得る。これは、以下の式に示されている。
拡張データ＝Ｖ２−［ＣｏｌｏｒＦｕｎｃｔｉｏｎ（Ｖ１）＊２＾（１２−８）］
（等式３）

復号側では、拡張バージョン（Ｖ２）は、以下のようにして再構築できる。
Ｖ２＝［ＣｏｌｏｒＦｕｎｃｔｉｏｎ（Ｖ１）＊２＾（１２−８）］＋拡張データ
（等式４）

このＣｏｌｏｒＦｕｎｃｔｉｏｎは、標準バージョンの色を拡張バージョンの色に変換する関数である。

図２に示されているように、本発明の実施の形態においては、ビデオまたはピクチャのコンテンツの制作物は、ＣｏｌｏｒＦｕｎｃｔｉｏｎに関連するメタデータと、コンテンツのための標準バージョンのデータと、拡張データとを含むデータの形式で配信される。一実施の形態においては、メタデータは、実際のＣｏｌｏｒＦｕｎｃｔｉｏｎ自体でもよい。別の実施の形態においては、メタデータは、例えば、色の補正において使用されるルックアップ・テーブルを含み、ＣｏｌｏｒＦｕｎｃｔｉｏｎを導出できるようにするＣｏｌｏｒＦｕｎｃｔｉｏｎについての情報を含む。例えば、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、標準バージョン（Ｖ１）からの各色値を拡張バージョン（Ｖ２）の色値にマッピングする方法を定義するルックアップ・テーブルの仕様であってもよいし、メタデータにおいて定義、特定されているか、例えば、更に後述する米国映画撮影監督協会の色決定リスト（ＡＳＣ ＣＤＬ：Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｃｉｎｅｍａｔｏｇｒａｐｈｅｒｓ Ｃｏｌｏｒ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ）を用いて予め定義されているような多項式またはその他の関数のパラメータであってもよい。

ＣｏｌｏｒＦｕｎｃｔｉｏｎは、グローバル操作関数（ローカライズ関数とは異なり、ピクチャ毎に１つの関数を提供するもの）として、例えば、「スロープ（ｓｌｏｐｅ）」、「オフセット（ｏｆｆｓｅｔ）」、および「パワー（ｐｏｗｅｒ）」を組み合わせることによって、または、１次元的なルックアップ・テーブルまたは３次元的なルックアップ・テーブルによって実施される。用語「スロープ」、「オフセット」、「パワー」、は、ＡＳＣ ＣＤＬ表現において使用されているものを指すが、当業者によって他の用語を使用することもできる。例えば、スロープを「ゲイン」を呼び、パワーを「ガンマ」と呼ぶようにすることができる。同一のＣｏｌｏｒＦｕｎｃｔｉｏｎが復号のために復号側に送信される。

また、ローカルの色変更を可能とするために、このＣｏｌｏｒＦｕｎｃｔｉｏｎは、２次元的な（２−Ｄ）または空間情報を表すか、提供する。例えば、ピクチャまたはコンテンツの異なる部分に対して別個のＣｏｌｏｒＦｕｎｃｔｉｏｎを提供することができる。これには、例えば、ピクチャの個々の画素毎、または、ピクチャが複数の異なるピクチャ・セグメントに分割される場合に、ピクチャのセグメント毎に、別のＣｏｌｏｒＦｕｎｃｔｉｏｎを提供することが挙げられる。このＣｏｌｏｒＦｕｎｃｔｉｏｎは、場所に特定の関数、または、セグメントに特定の関数と考えることができる。

色決定は、通常、シーン毎に通常行われ、各シーンには、１つの個別の色変換が存在する。換言すれば、最悪の場合では、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、新しいシーンになる度に更新されることになる。しかしながら、幾つかのシーン、または、素材やコンテンツ全体に同一のＣｏｌｏｒＦｕｎｃｔｉｏｎを適用することも想定できる。ここでのシーンは、動画内のフレーム群であると定められる。

Ｇａｏ ｅｔ ａｌ．は、「ビデオ色拡張データを符号化する方法および装置とビデオ色拡張データを復号する方法および装置（Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｎｃｏｄｉｎｇ Ｖｉｄｅｏ Ｃｏｌｏｒ Ｅｎｈａｎｃｅｍｅｎｔ Ｄａｔａ， ａｎｄ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｄｅｃｏｄｉｎｇ Ｖｉｄｅｏ Ｃｏｌｏｒ Ｅｎｈａｎｃｅｍｎｅｎｔ Ｄａｔａ）」と題されたＷＯ２００８／０１９５２４Ａ１において、ＣｏｌｏｒＦｕｎｃｔｉｏｎを得るための数学的なアプローチを記載している。この特許出願の開示内容全体を本明細書に盛り込んだものとする。

現在のアプローチにおいては、両方のバージョンのピクチャ（またはビデオ・コンテンツ）間の変換関数ＣｏｌｏｒＦｕｎｃｔｉｏｎは、２つの変換、即ち、色変換１（Ｔｆ１）および色変換２（Ｔｆ２）によって得られる。色変換１（Ｔｆ１）は、マスター・バージョンから標準バージョン１０４を作成するために使用される変換であり、色変換２（Ｔｆ２）は、マスター・バージョン１０２から拡張バージョン１０６を作成するために使用される変換である。

具体的には、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、Ｔｆ１の逆をＴｆ２と組み合わせることによって得られる。（「Ｔｆ１の逆」とは、Ｔｆ１を反対にすること、例えば、Ｔｆ１によって前に行った色変換を元に戻すことを指す。）例えば、Ｔｆ１およびＴｆ２は、対応する標準バージョンと、娘（ｄａｕｇｈｔｅｒ）バージョンとを作成するためのポスト・プロダクションにおいて使用される。Ｔｆ１およびＴｆ２は、「ゲイン（ｇａｉｎ）」、オフセット（ｏｆｆｓｅｔ）」、および「パワー（ｐｏｗｅｒ）」をパラメータとして含み、これらの変換に関連する情報は、上述したルックアップ・テーブルの作成に使用することができる。

グローバル処理のみが使用される場合、ローカルの色変更の場合の拡張データのためのデータ量に問題が存在することがある。このようなことは、カラー・グレーディングのために使用されるツールであるＤａＶｉｎｃｉからの「パワー・ウインドウ（ＰｏｗｅｒＷｉｎｄｏｗｓ）」機能を使用する際などに起こりうる。さらに、幾つかの色は、２つのバージョンのうちの一方で白または黒にクリッピングされ、画素値に依存して双方の間の関数が非直線的になることがある。実際、クリッピングは、非常に一般的なエフェクトである。これらの２つの場合のいずれかに当てはまるならば、拡張データのサイズの増加を許容することが１つの可能性として挙げられる。拡張データのサイズが許容できないほどに大きくなった場合には、２次元的な操作関数（２Ｄ ｍａｎｉｐｕｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を選択することができ、上述したように、この場合においては、別個の１次元的な伝達関数が各画素または、幾つかの画素の群に対して適用されなければならない。

ＡＳＣ‐ＣＤＬを使用した色補正
本発明の実施の形態におけるＣｏｌｏｒＦｕｎｃｔｉｏｎの実施態様について以下にさらに説明する。ポスト・プロダクションの間、所与のピクチャまたはオリジナルのビデオ・コンテンツがカラーリストによって変更され、コンテンツの１つ以上の色補正されたバージョンが制作されることが多い。画像に適用されるべき主要な色補正のリストである、米国映画撮影監督協会の色決定リスト（ＡＳＣ ＣＤＬ：Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｃｉｎｅｍａｔｏｇｒａｐｈｅｒｓ Ｃｏｌｏｒ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ）は、異なる製造者からの機器やソフトウエアの間で色補正情報を交換できるようにする標準的なフォーマットを提供する。

ＡＳＣ ＣＤＬの下では、所与の画素に対する色補正は、以下の等式によって与えられる。
ｏｕｔ＝（ｉｎ＊ｓ＋ｏ）＾ｐ （等式５）
ここで、ｏｕｔは、カラー・グレーディングされた画素コード値を表し、ｉｎは、入力画素コード値（０＝黒、１＝白）を表し、
ｓは、スロープ（０以上の任意の数）を表し、
ｏは、オフセット（任意の数）を表し、
ｐは、パワー（０より大きな任意の数）を表す。

上記等式において、＊は、乗算を表し、＾は、量をパワーの値（この場合はｐ）でべき乗することを表す。画素毎に、各色チャンネルのための対応するパラメータを用いて等式が３つの色値に適用される。パラメータの名目値は、ｓが１．０であり、ｏが０であり、ｐが１．０である。これらのパラメータｓ、ｏ、およびｐは、所望の結果、即ち、「ｏｕｔ」値を生み出すためにカラーリストによって選択される。

例えば、図１を再び参照すると、ポスト・プロダクションの間に、ピクチャまたはビデオのオリジナルまたはマスター・バージョン１０２が第１のバージョン１０４、例えば、コンテンツの標準バージョンに変換され、これは、ＡＳＣ‐ＣＤＬ等式(等式５)を用いて行われ、次のようになる。
ｏｕｔ１＝（ｉｎ＊ｓ１＋ｏ１）＾ｐ１ （等式６）
ここで、ｓ１、ｏ１、およびｐ１は、第１のバージョン１０４のためのカラー・グレーディングされた画素値ｏｕｔ１を生成するために選択されたパラメータである。

同様に、ＡＳＣ ＣＤＬ等式を使用してマスター・バージョン１０２を変換することによって第２のバージョン１０６、例えば、ピクチャまたはビデオの拡張バージョンを得ることができる。
ｏｕｔ２＝（ｉｎ＊ｓ２＋ｏ２）＾ｐ２ （等式７）
ここで、ｓ２、ｏ２、およびｐ２は、第２のバージョン１０６のためのカラー・グレーディングされた画素値ｏｕｔ２を生成するために選択されたパラメータである。

受信機では、第２のバージョンまたは拡張バージョンのデータ（例えば、「ｏｕｔ２」によって表されるもの）が配信された標準バージョンのデータ「ｏｕｔ１」から再構築または導出されなければならない。これは、以下のように等式６および等式７を解くことによって行われる。

まず、等式６の関数を反対にする。即ち、以下のように出力値「ｏｕｔ１」で入力画素値を表す。
ｉｎ＝（ｏｕｔ１＾（１／ｐ１）−ｏ１）／ｓ１

第２に、この「ｉｎ」の式を等式７に代入し、以下の式を得る。
ｏｕｔ２＝［（ｏｕｔ１＾（１／ｐ１）−ｏ１）＊ｓ２／ｓ１＋ｏ２］＾／ｐ２

この関数、または、伝達関数は、３つのチャンネル（Ｒ、Ｇ、Ｂ）の各々に対して独立して、ＲＧＢピクチャまたはビデオに対して演算される。

上述した変換関数Ｔｆ１およびＴｆ２に関して言えば、ｓ１、ｐ１、およびｏ１は、Ｔｆ１の一部であり、ｓ２、ｐ２、およびｏ２は、Ｔｆ２の一部である。

ＣｏｌｏｒＦｕｎｃｔｉｏｎ
ＣｏｌｏｒＦｕｎｃｔｉｏｎを定式化、または実施するものとしては、２つの手法が想定される。最初の実施態様は、ＡＳＣ‐ＣＤＬの式、即ち、等式５と対応するパラメータを使用するものである。各パラメータは、１８個の浮動数、即ち、主原色である赤、緑、および青（Ｒ、Ｇ、Ｂ）の各々に存在する６つのパラメータｐ１、ｐ２、ｏ１、ｏ２、ｓ１、ｓ２に対応する。

想定される第２の手法は、ルックアップ・テーブルの使用に関わる。この場合、想定される全ての値が符号化側で演算され（または予め演算され）、１つずつ受信機側に送信される。例えば、ｏｕｔ２が１０ビットの精度であり、ｏｕｔ１が８ビットの精度である場合には、（８ビット入力に対して）２５６の１０ビット値の演算がそれぞれ、Ｒ、Ｇ、およびＢに対して必要である。

タイプＡＳＣ‐ＣＤＬの色補正が一般的に使用されるものの、選択的な色決定を有すること、例えば、限定された範囲の色または、ピクチャ上の限定された空間領域に対して色補正を行うこともできる。さらに、ＣｏｌｏｒＦｕｎｃｔｉｏｎには、３つの色チャンネルＲ、Ｇ、およびＢ間でのクロストークに対応する機能が含まれていてもよく、この場合、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、より複雑になるであろう。

本発明の方法およびシステムに従えば、標準バージョンのデータ（例えば、データ「ｏｕｔ１」によって表されるもの）、拡張データ、およびＣｏｌｏｒＦｕｎｃｔｉｏｎを表すもののみが実際に受信機に配信される。

このことは、図２に示され、さらに、図３において説明されている。具体的には、図３は、本発明の一実施の形態に従った配信のためのデータまたはコンテンツを符号化する各ステップを示している。配信または送信されるべきデータは、以下の３つの部分を含む。
１）第１のバージョンのデータ３０４から得られる圧縮された第１のバージョンのデータ３０４ｃ
２）ＣｏｌｏｒＦｕｎｃｔｉｏｎを表すメタデータ３２０
３）拡張データ３１０から得られる圧縮された拡張データ３１０ｃ

圧縮された第１のバージョンのデータ３０４ｃは、符号化器３６０において第１のバージョンのデータ３０４を圧縮することによって生成することができる。例えば、標準バージョンのデータ３０４は、特定のディスプレイ装置のために意図された第１の色決定を有する低品質のピクチャ（例えば、低ビット深度）である。

上述したように、本発明のＣｏｌｏｒＦｕｎｃｔｉｏｎは、変換関数Ｔｆ１およびＴｆ２を組み合わせることによって得ることができ、これらの変換関数Ｔｆ１およびＴｆ２は、例えば、ポスト・プロセッシング（後処理）またはポスト・プロダクションでの２つの変換されたコンテンツのバージョンを制作するために使用される。具体的には、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、Ｔｆ２にＩｎｖ（Ｔｆ１）を乗算することによって与えられる。

本発明によれば、拡張データまたは差分データ３０６は、以下のように生成される。

第１のバージョンのデータ３０４は、「予測器（ｐｒｅｄｉｃｔｏｒ）」３６２に対する入力として提供され、（２つの既知の変換関数Ｔｆ１およびＴｆ２から得られる）ＣｏｌｏｒＦｕｎｃｉｔｏｎが適用される。「予測器」は、ＣｏｌｏｒＦｕｎｃｔｉｏｎの適用に関わる各処理を実行するように構成されたプロセッサとすることができる。ＣｏｌｏｒＦｕｎｃｔｉｏｎのＩｎｖ（Ｔｆ１）の部分は、ピクチャ・バージョン３０４に対して以前（例えば、ポスト・プロダクション）において行われた色決定を反対にするか、元に戻すという結果を生じさせる。

ＣｏｌｏｒＦｕｎｃｔｉｏｎのＴｆ２処理において、第２のバージョンのデータ３０６（拡張バージョンまたはより高品質のピクチャ、例えば、より高いビット深度）に関わる色決定が適用され、結果として、より高品質の拡張バージョンのピクチャ３０６と同じ色を有するより低品質または標準バージョンのピクチャが生成される。この標準バージョンのコンテンツ（例えば、低品質）３０８は、拡張バージョンの色（または、色決定の第２のセット）を有し、「予測された」ピクチャとも呼ばれる。このバージョン３０８は、ＣｏｌｏｒＦｕｎｃｔｉｏｎ（または色変換）を標準バージョン３０４に適用することによって得られ、変換された（または色変換された）第１のバージョンとも呼ばれる。

この予測されたピクチャ・バージョン３０８と実際の拡張バージョンまたはより高品質のピクチャ３０６との間の差は、プロセッサ３６４を使用して演算され、結果として、量または品質の差に相当する差分データまたは拡張データ３１０が生成される。差分データ３１０は、符号化器３６６で圧縮され、圧縮されたデータ３１０ｃが生成される。圧縮されたデータ３１０ｃは、圧縮されたデータ３０４ｃとメタデータ３２０と共に受信機に配信される。メタデータは、圧縮された形式で提供されることもあれば、圧縮されていない形式で提供されることもあり、差分データとコンテンツの第１のバージョンと共に、送信機によって送信される。

図４は、受信機でデータを復号する各ステップを示している。このデータには、以下のものが含まれる。
１）ＣｏｌｏｒＦｕｎｃｔｉｏｎに関連するメタデータ３２０
２）圧縮された第１のバージョン（例えば、標準バージョン）のデータ３０４ｃ
３）圧縮された拡張データまたは差分データ３１０ｃ

受信機、または、受信側で復号器４６０を用いて圧縮されたデータ３０４ｃを伸張または復号することによって、第１のバージョンのデータ３０４が復元される。復号器４６６を用いて圧縮された差分データ３１０ｃを伸張または復号することによって、拡張データ３１０が復元される。

メタデータ３２０に基づいて、プロセッサ４６２内で第１のバージョンのデータ３０４にＣｏｌｏｒＦｕｎｃｔｉｏｎが適用される。図３について説明したものと同様に、第１のバージョンのデータ３０４に対してこのＣｏｌｏｒＦｕｎｃｔｉｏｎを適用することによって、結果として、標準バージョン、より低品質のピクチャ（例えば、より低いビット深度）であるが、拡張バージョン３０６に関連する色決定を有するものが生成される。これを、コンテンツ・バージョン４０８と表す。

このコンテンツ・バージョン４０８は、次に、プロセッサ４６４内で、拡張データまたは差分データ３１０と組み合わされ、例えば、加算される。差分データ３１０は、標準バージョン３０４と拡張バージョン３０６との間の品質の差を表すため、この加算処理は、より高品質のピクチャ、例えば、より高いビット深度と、色決定の第２のセットを有する拡張バージョン３０６を効果的に再構築する。

複数のディスプレイのためのコンテンツ作成
本発明の別の態様は、ペイロードの負荷無しに、異なる特性を有する複数のディスプレイのための使用に適した複数のバージョンのコンテンツを作成、配信するシステムを提供する。ディスプレイの適応化は、コンテンツの作成側で行われ、見た目に対する制御はクリエータの手に委ねられたままである。このようスキームはまた、広い色域およびはっきりとした色表現を含む色空間表現に依存している。受信機側または消費者側での復号器またはディスプレイ装置は、複数の異なるコンテンツ・バージョンを受信し、これらのうち、結合されたディスプレイにとって最も適切なものが選択される。

図５は、複数のディスプレイのリファレンス・モデルのための複数の色補正されたバージョンを提供するコンテンツ作成スキームを示している。（例えば、編集後のフィルムからの）オリジナルのデータ・ファイル５００は、プロセッサ５５０によって変換され、色補正されたバージョン５０２が作成される。この色補正されたバージョン５０２は、ピクチャ・データの第１のバージョンとして機能する。サポートされるディスプレイ装置の範囲、例えばリファレンス・ディスプレイ５１１、５１２、および５１３が選択され、選択された範囲のディスプレイの仕様に基づいてコンテンツ・バージョン５０２が作成される。これらのリファレンス・ディスプレイの例には、ハイ・ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）ディスプレイ、広色域（ＷＧ：Ｗｉｄｅ Ｇａｍｕｔ）ディスプレイ、およびＩＴＵ−Ｒ Ｂｔ．７０９標準ディスプレイ（Ｒｅｃ．７０９）が含まれる。

サポートされるディスプレイは、色域、輝度範囲、および通常の環境輝度などの表示特性および視覚特性の仕様によって特徴付けられる。サポートされるディスプレイの範囲は、ポスト・プロダクションの設備、さらに、コンテンツ自体に依存する。例えば、特定のコンテンツが広い色域を有するように意図されていない場合には、コンテンツの広い色域のバージョンは必要とはならないであろう。飽和色が重要なコンテンツやピクチャについては、広い色域のリファレンス・セットが追加される。ピクチャが人間の眼に対する多くの輝度の適応を伴って再生される場合には、ハイ・ダイナミック・レンジ機能を有するディスプレイを追加することが重要である。一般的に、各プロダクションは、主要なディスプレイ（例えば、ＨＤＲ）と幾つかの二次的なディスプレイを有する。さらに、この二次的なディスプレイは、好ましくは、「レガシー（旧来の）」モデルのディスプレイ、例えば、ＣＲＴを含む。通常、サポートされるディスプレイは、コンテンツ作成の時点で市場において入手可能な装置に対応する。

ディスプレイ・モデルの範囲に従って、色補正されたバージョン５０２がさらに１つ以上の画像プロセッサ、例えば、プロセッサ５２１、５２２、および５２３内で変換され、各々の変換された画像（例えば、変換された色を有するもの）が作成され、さらに、相異なるマッピング用のメタデータ５３１、５３２、および５３３が対応するディスプレイのために作成される。マッピング用のメタデータは、上述したＣｏｌｏｒＦｕｎｃｔｉｏｎと同様である。実施の形態に依存して、これらは、同一の関数とすることができ、または、様々なディスプレイと共に使用するために異なる関数とすることができる。さらに、例えば、ディレクターまたは撮影監督のバージョン（単なるカラーリストのバージョンではないもの）など、他のコンテンツのバージョンを復号するためのアプリケーションを含む、他のアプリケーションをサポートするためにメタデータを使用することができる。

一実施の形態においては、システムは、二次的なディスプレイのタイプのための画像変換が自動的な処理、または、半自動的な処理となるように構成される。

リファレンス・ディスプレイのディスプレイ・プロファイル、例えば、ディスプレイ・プロファイル５４１、５４２、および５４３もまた、配信されるデータの一部として提供される。さらに、マッピングまたは伝達関数の適用を実行する「プロファイル配列」（Ｊａｖａコード）が配信されるデータの一部として含まれる。

図６に示された受信機側において、消費者向け装置６００（例えば、セットトップ・ボックス、プレイヤー、またはディスプレイ）は、圧縮されたピクチャ・データ５０２ｃとメタデータ５９０のセットを受信する。復号器６１０は、圧縮されたデータ５０２ｃを伸張してピクチャ・データ５０２を生成する。ビデオ・コンテンツ復号器は、復号器／プレイヤー・ボックス内に設けられていてもよいし、ディスプレイ自体の内部に設けられていてもよい。復号器／プレイヤー内部でＭＰＥＧ復号を実行し、ディスプレイの内部で色変換を実行することも考えられる。この例では、ＭＰＥＧ復号と色変換の両方が復号器／プレイヤー内で実行される。

さらに、メタデータ５９０のセットは、復号されるか、ディスプレイ・プロファイル５４１、５４２、および５４３、マッピング用メタデータ５３１、５３２、および５３３などの各部分に分けられる。

Ｊａｖａプロファイル配列コード６２０は、適切なプロファイルまたはＣｏｌｏｒＦｕｎｃｔｉｏｎを選択および／または適用するために使用される。

この例においては、拡張ビット深度、例えば、１０／１２ビットを有するコンテンツがＭＰＥＧ復号され、このコンテンツがディスプレイ６４０に提供される前に、変換プロセッサ６３０においてＣｏｌｏｒＦｕｎｃｔｉｏｎ（変換仕様とも呼ばれる）に従って変換される。

上述したように、ＣｏｌｏｒＦｕｎｃｔｉｏｎは、復号器６１０内で算出されない。この代わりに、ＣｏｌｏｒＦｕｎｃｔｉｏｎ（またはＣｏｌｏｒＦｕｎｃｔｉｏｎを表すもの、例えば、メタデータ）は、コンテンツと共に配信される。本実施の形態においては、複数のＣｏｌｏｒＦｕｎｃｔｉｏｎがメタデータとして配信される。

変換プロセッサ６３０は、復号器／プレイヤー６００で受信された２セットのメタデータに基づいてディスプレイ６４０に適したＣｏｌｏｒＦｕｎｃｔｉｏｎを選択する。「ディスプレイ・メタデータ」と呼ばれる一方のセットのメタデータは、色域、輝度範囲などの結合されたディスプレイについての情報を含む。コンテンツ・メタデータと呼ばれる他方のセットのメタデータは、「リファレンス・ディスプレイ・メタデータ」および「変換メタデータ」の幾つかのペアからなる。「リファレンス・ディスプレイ・メタデータ」と結合されたディスプレイからの「ディスプレイ・メタデータ」を一致させることによって、プロセッサ６３０は、どのコンテンツ・メタデータのセットがディスプレイ６４０に最良に一致するかを判定し、対応するＣｏｌｏｒＦｕｎｃｔｉｏｎを選択する。

「変換メタデータ」はシーンに基づいて、即ち、シーン毎に変更することができるため、ＣｏｌｏｒＦｕｎｃｔｉｏｎもまた、同様に更新することができる。

変換プロセッサ６３０は、ＣｏｌｏｒＦｕｎｃｔｉｏｎに従って圧縮されていないビデオ・データをリアルタイムに変換する手段を有する。このため、変換プロセッサ６３０は、ルックアップ・テーブルをハードウエアまたはソフトウエアで実施する機能またはパラメータ変換を実施する機能、あるいは両者を組み合わせた機能を有する。

この解決法は、視聴者に対して、今日のディスプレイ技術のポテンシャルを利用することによって、価値の向上をもたらすコンテンツを提供する。ディスプレイの製造者は自己のディスプレイのポテンシャルを利用するためにコンテンツの改善を行う必要はない。

しかしながら、メタデータは、マッピング用データとリファレンス・ディスプレイ特性のやり取りを行う必要がある。この新しい配信スキームは、広い色域および高ビット深度に基づいた拡張された配信を可能にするが、他のオプションを有するコンテンツ配信にも適用されることがある。このような配信スキームは、例えば、動画ビジネス、ポスト・プロダクション、ＤＶＤ、ビデオオンデマンド（ＶｏＤ）などを含む多くの異なる用途のために使用することができる。

上述した内容は本発明の様々な実施の形態に関するものであるが、その基本的な範囲を逸脱することなく、本発明の他の実施の形態、別の実施の形態を企図することも可能である。従って、本発明の適切な範囲は、付随する請求の範囲に従って決められるべきである。

Claims (18)

1. 配信のためのビデオ・コンテンツを作成する方法であって、
   ビデオ・コンテンツのマスター・バージョンから第１の関数を使用して変換された第１のバージョンを供給するステップと、
   前記第１のバージョンに関連する少なくとも第１のパラメータ値を前記ビデオ・コンテンツの第２のバージョンに関連する少なくとも第２のパラメータ値に変換する際に使用するためのメタデータを供給するステップであって、前記第２のバージョンは前記マスター・バージョンを第２の関数を使用して変換することによって得られ、前記メタデータは前記第２の関数と前記第１の関数の逆関数との組み合わせから導出される、前記ステップと、
   前記第１のバージョンを前記メタデータに従って変換することによって得られたビデオ・コンテンツの変換された第１のバージョンと前記第２のバージョンとの間の差分データを供給するステップと、
   を含む、前記方法。
2. 前記第１のパラメータ値および前記第２のパラメータ値が色に関連する値である、請求項１に記載の方法。
3. 前記ビデオ・コンテンツの前記第１のバージョンと前記第２のバージョンとは、カラー・グレーディングおよびビット深度のうちの少なくとも一方において異なる、請求項１に記載の方法。
4. 前記第１のパラメータ値および前記第２のパラメータ値がカラー・グレーディング値である、請求項１または３に記載の方法。
5. 前記第１の関数および前記第２の関数を、
   ｏｕｔ＝（ｉｎ＊ｓ＋ｏ）＾ｐの等式によって表すステップをさらに含み、
   「ｏｕｔ」が出力カラー・グレーディングされた画素コード値であり、「ｉｎ」が入力画素コード値であり、「ｓ」が零以上の数であり、「ｏ」が任意の数であり、「ｐ」が零よりも大きな任意の数である、請求項１に記載の方法。
6. 前記第１の関数および前記第２の関数がポスト・プロダクションにおいて使用される色変換関数である、請求項１に記載の方法。
7. 前記差分データがビット深度の差である、請求項１に記載の方法。
8. 前記変換された第１のバージョンが前記第２のバージョンのカラー・グレーディングと前記第１のバージョンのビット深度を有する、請求項１に記載の方法。
9. 前記ビデオ・コンテンツの前記第１のバージョンと前記差分データと前記メタデータとを受信機に配信するステップをさらに含み、
   前記受信機が、前記ビデオ・コンテンツの前記第１のバージョンとのみ互換性を有する第１のタイプの受信機と前記ビデオ・コンテンツの前記第２のバージョンとの互換性を有する第２のタイプの受信機とのいずれか一方である、請求項１に記載の方法。
10. 複数の異なるディスプレイ装置の特性を表す複数のディスプレイ・プロファイルを供給するステップをさらに含む、請求項９に記載の方法。
11. ビデオ・コンテンツの第１のバージョンを、前記第１のバージョンに関連する少なくとも第１のパラメータ値を該ビデオ・コンテンツの第２のバージョンに関連する少なくとも第２のパラメータ値に変換するメタデータに従って変換することによって、前記ビデオ・コンテンツの変換された第１のバージョンを生成するように構成された少なくとも１つのプロセッサを備えるシステムであって、
    前記ビデオ・コンテンツの前記第１のバージョンはマスター・バージョンを第１の関数を使用して変換することによって得られ、前記ビデオ・コンテンツの前記第２のバージョンは前記マスター・バージョンを第２の関数を使用して変換することによって得られ、
    前記メタデータは、前記第２の関数と前記第１の関数の逆関数との組み合わせから導出され、
    前記少なくとも１つのプロセッサは、前記ビデオ・コンテンツの前記変換された第１のバージョンと前記第２のバージョンとの間の差分データを生成するようにさらに構成される、前記システム。
12. 前記第１のパラメータ値および前記第２のパラメータ値が色に関連する値である、請求項１１に記載のシステム。
13. 前記ビデオ・コンテンツの前記第１のバージョンおよび前記差分データを符号化する少なくとも１つの符号化器をさらに備える、請求項１１に記載のシステム。
14. 前記ビデオ・コンテンツの前記第１のバージョンと前記第２のバージョンとは、カラー・グレーディングおよびビット深度のうちの少なくとも一方において異なる、請求項１１に記載のシステム。
15. 前記ビデオ・コンテンツの前記第１のバージョンと前記差分データと前記メタデータとを送信する送信機をさらに備える、請求項１１に記載のシステム。
16. 送信されたデータを処理するシステムであって、
    前記送信されたデータを復号して、ビデオ・コンテンツの少なくとも第１のバージョンと差分データとを生成するように構成された復号器と、
    プロセッサであって、前記ビデオ・コンテンツの前記第１のバージョンを該プロセッサに供給されるメタデータに従って変換することによって前記ビデオ・コンテンツの変換された第１のバージョンを生成し、前記変換された第１のバージョンと前記差分データとを組み合わせることによって前記ビデオ・コンテンツの第２のバージョンを生成する、前記プロセッサと、
    を備え、
    前記データの送信前に、前記ビデオ・コンテンツの前記第１のバージョンは、マスター・バージョンを第１の関数を使用して変換することによって得られ、前記メタデータは、前記第２の関数と前記第１の関数の逆関数との組み合わせから導出され、
    前記ビデオ・コンテンツの前記第２のバージョンは、前記第２の関数を介して前記マスター・バージョンに関連する、前記システム。
17. 前記メタデータは、前記第１のバージョンに関連する少なくとも第１のパラメータ値を前記ビデオ・コンテンツの前記第２のバージョンに関連する少なくとも第２のパラメータ値に変換するために使用され、前記第１のパラメータ値および前記第２のパラメータ値が色に関連する値である、請求項１６に記載のシステム。
18. 前記変換された第１のバージョンが前記第２のバージョンのカラー・グレーディングと、前記第１のバージョンのビット深度を有する、請求項１７に記載のシステム。

Images