JP2013542667A - 映像のイントラ予測方法及びその装置 - Google Patents

Abstract

映像のイントラ予測装置及び方法に係り、該イントラ予測方法は、イントラ予測される色差ブロックの復元された周辺ピクセル、及び色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して、輝度ブロックから色差ブロックを予測する。また、これにより、パラメータを獲得する段階は、色差ブロックの復元された周辺ピクセル、及び輝度ブロックの復元された周辺ピクセルを利用した所定の演算過程を介してパラメータを獲得し、演算過程は、オーバーフローを防止するために、パラメータのビット深度を変更するスケーリング過程を含む。

Description

本発明は、映像の符号化及び復号化に係り、さらに詳細には、輝度信号と色差信号との相関関係（correlation）を利用して、以前に復元された輝度信号から、色差信号を予測するイントラ予測方法及びその装置に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような映像符号化方法では、映像を符号化するために、所定サイズのブロックに分ける。その後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、それぞれのブロックを予測符号化する。

原本ブロックで、インター予測またはイントラ予測の結果として生成された予測ブロックを減算して残差ブロックを生成し、生成された残差（residual）ブロックを離散コサイン変換、量子化及びエントロピ符号化してビットストリームを生成する。

また、従来技術によれば、１つのピクセルを輝度（luminance）成分及び色差（chroma）成分で表現し、輝度成分及び色差成分をそれぞれ符号化及び復号化する。

本発明が解決しようとする技術的課題は、輝度信号と色差信号との相関関係を利用して、輝度信号から色差信号を予測する方法及びその装置を提供するものである。

また、本発明が解決しようとする技術的課題は、演算過程で、データ正確度を維持しながら、ビットオーバーフローを防止することができる予測方法及びその装置を提供するものである。

本発明によれば、復元された色差信号と復元された輝度信号との相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して、復元された輝度信号から色差信号を予測する。パラメータの獲得時、所定の演算過程を介してパラメータを獲得し、演算過程は、ルックアップ・テーブルの大きさを減少させてオーバーフローを防止するために、パラメータのビット深度を変更する適応的スケーリング過程を含む。

本発明の実施形態によれば、輝度信号と色差信号との相関関係を利用して、予測効率を向上させることができる。

また、本発明によれば、除算演算なしに、輝度信号と色差信号との線形関係を定義するためのパラメータを獲得することにより、予測に必要となる演算量を減少させる一方、演算速度を向上させることができる。

また、本発明によれば、データの正確度を維持しながら、パラメータ獲得過程で発生しうるビットオーバーフローを防止することができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によるイントラ予測装置の構成を示したブロック図である。 色フォーマットを示した参照図である。 色フォーマットを示した参照図である。 色フォーマットを示した参照図である。 色フォーマットによる輝度ブロックと色差ブロックとを示した参照図である。 色フォーマットによる輝度ブロックと色差ブロックとを示した参照図である。 本発明の一実施形態によって、輝度信号をダウンサンプリングする過程について説明するための参照図である。 本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程、及び色差信号の予測過程について説明するための参照図である。 本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程、及び色差信号の予測過程について説明するための参照図である。 本発明の一実施形態によって、推定値Ａ_２’を獲得する過程を例示した図面である。 本発明の一実施形態によるルックアップ・テーブルの一例を示した参照図である。 本発明の一実施形態によるイントラ予測方法を示したフローチャートである。

前述の技術的課題を解決するための本発明の一実施形態による映像のイントラ予測方法は、イントラ予測される色差ブロックの復元された周辺ピクセル、及び前記色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、前記色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを利用して、前記輝度ブロックから、前記色差ブロックを予測する段階と、を含み、前記パラメータを獲得する段階は、前記色差ブロックの復元された周辺ピクセル、及び前記輝度ブロックの復元された周辺ピクセルを利用した所定の演算過程を介して、前記パラメータを獲得し、前記演算過程は、ルックアップ・テーブルの大きさを減少させてオーバーフローを防止するために、前記パラメータのビット深度を変更する適応的スケーリング過程を含むことを特徴とする。

本発明の一実施形態による映像のイントラ予測装置は、イントラ予測される色差ブロックの復元された周辺ピクセル、及び前記色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、前記色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得するパラメータ獲得部獲得部；及び前記獲得されたパラメータを利用して、前記輝度ブロックから、前記色差ブロックを予測する予測遂行部；を含み、前記パラメータ獲得部は、前記色差ブロックの復元された周辺ピクセル、及び前記輝度ブロックの復元された周辺ピクセルを利用した所定の演算過程を介して、前記パラメータを獲得し、前記演算過程は、ルックアップ・テーブルの大きさを減少させてオーバーフローを防止するために、前記パラメータのビット深度を変更する適応的スケーリング過程をさらに含むことを特徴とする。

以下、添付された図面を参照して、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の累乗（power of ２）である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度と決定する。決定された符号化深度別及び最大符号化単位別の映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が、深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。

以下、周波数変換の基盤になるデータ単位を、「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も再帰的に、さらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度に符号化せず、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなればならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位に符号化するのであれば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など、各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２０５は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているのであれば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを、復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって周波数逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし、分割情報が現在深度で、それ以上分割されないことを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一の符号化モードで復号化され１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションで、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位について、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定して、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であったとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であるとする。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行われる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

以下、図４の本発明の一実施形態による符号化装置４００、及び図５の復号化装置５００で遂行される予測過程について具体的に説明する。本発明の一実施形態による予測過程は、図４のイントラ予測部４１０、及び図５のイントラ予測部５５０で、新たなイントラ予測モードとして遂行される。以下の説明で、前述の予測単位は、ブロックとする。

一般的に、カラービデオ信号は、カラーを表現するために、各ピクセルごとに少なくとも３つの色成分を必要とする。カラー空間は、カラービデオ信号の各サンプルを、赤色（red）、緑色（green）、青色（blue）の相対的な比率を示す３つのピクセル値を介して示すＲＧＢカラー空間、人間の視覚システム（ＨＶＳ：human visual system）が輝度にさらに敏感であるということを考慮して、カラービデオ信号で、輝度と色差成分とを分離して表現するＹＣｂＣｒカラー空間、及びＹＵＶカラー空間などの多様な種類が存在する。一般的なビデオ符号化／復号化方法は、ビデオ信号をこのような複数個の色成分に分け、符号化及び復号化を行う。このような複数個の色成分を含むビデオ信号で、同一ピクセルを表現する複数個の色成分間には、一定の相関関係が存在する確率が高い。例えば、対応する同一ブロックのピクセルの輝度（Ｙ）成分の値と、色差（Ｃｂ，Ｃｒ）の値は、互いに類似したパターンを有することができる。

従って、本発明の一実施形態によるイントラ予測装置は、現在色差ブロックの処理以前に復元された周辺輝度ピクセル、及び復元された周辺色差ピクセルを利用して、輝度信号と色差信号との線形的な相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して、以前に復元された輝度ブロックから、現在色差ブロックの予測値を生成する。特に、本発明の一実施形態によれば、輝度信号と色差信号との線形的相関関係を示すパラメータを、ハードウェア的に負担になる除算演算を防止し、シフト演算、乗算演算、加算演算、減算演算及びルックアップ（look-up）テーブル・アクセスのみを利用して、効率的に獲得する方式が提供される。また、本発明の一実施形態によれば、パラメータを獲得する演算過程で、必要な値をルックアップ・テーブル方式にあらかじめ保存し、ルックアップ・テーブルを参照してパラメータを獲得する演算過程を遂行することにより、演算量を減少させる方式が提供される。以下の説明で、輝度成分のピクセルから、対応する色差成分のピクセルを予測する過程を中心に説明するが、本発明の思想は、かようなＹＣｂＣｒカラー空間に限定されるものではなく、ＲＧＢなど、他のカラー空間にも適用されるということは、本発明が属する技術分野で当業者であるならば、理解することができるであろう。

図１４は、本発明の一実施形態によるイントラ予測装置の構成を示したブロック図である。図１４を参照すれば、本発明の一実施形態によるイントラ予測装置１４００は、サンプリング部１４１０、パラメータ獲得部１４２０及び予測遂行部１４３０を含む。

サンプリング部１４１０は、輝度ブロックの大きさが対応する色差ブロックの大きさより大きい場合、復元された輝度ブロックのピクセル及び周辺ピクセルをダウンサンプリングし、輝度信号の大きさと色差信号との大きさとを同一にマッチングさせる。

パラメータ獲得部１４２０は、色差ブロックの復元された周辺ピクセル、及び色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得する。特に、パラメータ獲得部１４１０は、後述するルックアップ・テーブルの大きさ及びパラメータ獲得のための演算過程で発生するオーバーフローを防止するために、ビット深度を変更するスケーリング過程を遂行する。具体的なパラメータ獲得部１４１０の動作は、後述する。

予測遂行部１４３０は、獲得されたパラメータを利用して、復元された輝度ピクセルから対応する色差ピクセルを予測する。

図１５Ａないし図１５Ｃは、複数個の色成分を含む色フォーマットを示した参照図であり、図１６Ａ及び図１６Ｂ、は色フォーマットによる輝度ブロックと色差ブロックとを示した参照図である。

図１５Ａないし図１５Ｃの４：２：０色フォーマット、４：２：２色フォーマット及び４：４：４色フォーマットで、各数字は、水平方向での相対的なサンプリングの比率を示す。例えば、４：４：４色フォーマットでは、４つの輝度（Ｙ）ピクセル１５３０について、４つのＣｂピクセルと４つのＣｒピクセルとが存在する。図１６Ａを参照すれば、４：４：４色フォーマットでは、Ｙ輝度ブロックの大きさを２Ｎｘ２Ｍ（Ｎ，Ｍは、整数）とするとき、Ｙ輝度ブロックと対応するＣｂ，Ｃｒ色差ブロックも、２Ｎｘ２Ｍの大きさを有する。４：２：２色フォーマットでは、色差成分Ｃｂ，Ｃｒは、垂直方向では、輝度成分Ｙと同一の解像度を有するが、水平方向では、輝度成分の１／２解像度を有する。すなわち、４：２：２色フォーマットでは、水平方向に４つの輝度ピクセル１５１０ごとに２つのＣｂピクセル及び２つのＣｒピクセルが存在する。また、４：２：０色フォーマットでは、色差成分Ｃｂ，Ｃｒは、輝度成分Ｙに比べて、水平と垂直とで１／２解像度を有する。すなわち、色差成分Ｃｂ，Ｃｒは、輝度成分Ｙのピクセル数に比べ、１／４のピクセルを有し、図１６Ｂに図示されたように、４：２：０フォーマットで、２Ｎｘ２Ｍの大きさを有する輝度ブロックＹに比べて、対応する色差ブロックＣｂ，Ｃｒは、水平と垂直との方向に１／２ほど小さいＮｘＭの大きさを有する。

従って、サンプリング部１４１０は、４：２：２色フォーマットまたは４：２：０色フォーマットのように、輝度ブロックが色差ブロックに比べて大きい場合、復元された輝度ブロック及び輝度ブロックの周辺ピクセルをダウンサンプリングし、輝度信号と色差信号とが１：１にマッチングされるようにする。

図１７は、本発明の一実施形態によって、輝度信号をダウンサンプリングする過程について説明するための参照図である。図１７を参照すれば、輝度ブロック１７１０の大きさを、２ｎＳｘ２ｎＳ（ｎＳは、正の整数）、色差ブロック１７２０の大きさを、ｎＳｘｎＳとすれば、サンプリング部１４１０は、輝度ブロック１７１０及びその周辺ピクセルを、１／２比率でダウンサンプリングする。具体的には、サンプリング部１４１０は、次の数式（１）及び数式（２）に基づいて、復元された輝度信号Ｒｅｃ＿Ｌをダウンサンプリングし、ダウンサンプリングされた輝度信号Ｒｅｃ＿Ｌ」（ｘ，ｙ）を生成する。

数式（１）によれば、現在ブロック内に位置した輝度ピクセル、及び現在ブロックの左側に隣接した輝度ピクセルは、色差サンプルの相対的な位置によって、正確にダウンサンプリングされる。

（ｘ＝−１，…，ｎＳ−１，ｙ＝０，…，ｎＳ−１）
数式（２）によれば、現在ブロックの上側に隣接した輝度ピクセルは、本発明の実施形態によるイントラ予測方法において、輝度ピクセルのバッファラインを、２本のラインから１本のラインに減少させるために、ただ一番目上のラインのピクセルのみを利用してダウンサンプリングされる。

（ｘ＝０，…，ｎＳ−１，ｙ＝−１）
もし数式（２）の低域通過フィルタがスキップされた場合には、次の数式：ＲＥＣ＿Ｌ’（ｘ，ｙ）＝Ｒｅｃ＿Ｌ（２ｘ、２ｙ＋１）；（ｘ＝０，…，ｎＳ−１，ｙ＝−１）による代案的方法が数式（２）を代替して利用される。

（ｘ，ｙ）位置のピクセルのうち、ｘが−１であるピクセルは、ブロックに隣接した左側の周辺ピクセルを示し、ｙが−１であるピクセルは、ブロックに隣接した上側の周辺ピクセルを示すと仮定する。また、ｎＳｘｎＳブロック内のピクセルのうち、最左上側ピクセルの位置は（０，０）、最右下側ピクセルの位置は（ｎＳ−１，ｎＳ−１）であると仮定する。

４：２：２または４：２：０の色フォーマットを利用する場合にのみ、前述の数式（１）または数式（２）によってダウンサンプリングされた輝度信号Ｒｅｃ＿Ｌ’（ｘ，ｙ）を利用し、４：４：４色フォーマットを利用する場合、復元された輝度信号Ｒｅｃ＿Ｌ（ｘ，ｙ）をそのまま色差信号の予測に利用することができ、ダウンサンプリング過程は、スキップされる。

４：４：４色フォーマットの場合には、Ｕ信号及びＶ信号がＹ成分の信号に比べ、相対的にかなり狭い帯域を有するために、ダウンサンプリング・フィルタの代わりに、予測効率を向上させるために、低域通過フィルタが、復元された輝度信号に付加的に遂行される。

図１８Ａ及び図１８Ｂは、本発明の一実施形態による輝度信号と色差信号との相関関係を示すパラメータ獲得過程、及び色差信号の予測過程について説明するための参照図である。

前述のように、対応する輝度ピクセルと色差ピクセルとの間には、所定の相関関係、例えば、線形的な相関関係を有する。図１８Ａ及び図１８Ｂを参照すれば、以前に復元された輝度ブロック１８２０の（ｘ，ｙ）位置でのピクセルを、Ｒｅｃ＿Ｌ’（ｘ，ｙ）であるとすれば、予測遂行部１４３０は、次の数式（３）のような輝度信号と色差信号との線形関係を利用して、色差ブロック１８１０の（ｘ，ｙ）位置での予測値Ｐｒｅｄ＿ｃ（ｘ，ｙ）を獲得することができる。

数式（３）でａは、加重値（weight）を示すパラメータ、ｂは、オフセット（offset）を示すパラメータである。ａ及びｂの値は、次の数式（４）及び数式（５）のように、色差ブロック１８１０の周辺ピクセルＲｅｃ＿ｃ（ｉ）（ｉ＝０，…，２ｎＳ−１）１８１１，１８１２、及び輝度ブロック１８２１の周辺ピクセルＲｅｃ＿Ｌ’（ｉ）１８２１，１８２２を利用した演算過程を介して獲得される。

数式（４）及び数式（５）でＩは、色差ブロック１８１０または輝度ブロック１８２０の上側及び左側に隣接した周辺ピクセルの個数であり、図１８Ａ及び図１８Ｂに図示されたように、色差ブロック１８１０及び輝度ブロック１８２０の大きさがｎＳｘｎＳである場合、Ｉは、２ｎＳである。図１８Ａ及び図１８Ｂでは、周辺ピクセルとして、上側及び左側に位置したピクセルを利用する場合を図示したが、もし右側または下側に位置した周辺ピクセルが、現在ブロック以前に処理されて復元された場合であるならば、右側または下側に位置した周辺ピクセルも、ａ及びｂの値を獲得するのに利用される。また、乗算演算や除算演算をシフト演算に代替するために、周辺ピクセルの個数Ｉは、２の累乗（power of ２）であることが望ましい。一般的に、ブロックの大きさを定義するｎＳの値は、２の累乗であるので、Ｉも、２の累乗の値を有する。

一方、数式（４）を利用して、ａの値を高いデータ正確度で計算するためには、浮動小数点演算（float point operation）が利用される。しかし、ａの値が浮動小数点の値を有するとすれば、数式（４）の演算は、浮動小数点除算を含むことになり、演算の複雑度が増大する。従って、本発明の実施形態によるパラメータ獲得部１４２０は、オーバーフローを防止する一方、演算を簡略化させるために、数式（４）及び数式（５）を変更した整数演算アルゴリズムによってスケーリングされたパラメータａ’及びｂ’を計算する。

具体的には、数式（４）によるａの値の代わりに、浮動小数点演算を回避するために、次の数式（６）のように、ａの値をｎ_ａビットほどアップスケーリング及び四捨五入した整数値ａ’を定義する。

数式（６）によって、浮動小数点数（number）であるａの値は、レフト演算（＜＜）を介して、アップスケーリング及び四捨五入（rounding）され、整数値ａ’に変更される。ｎ_ａビットは、データ正確度及び計算の複雑度を考慮して設定される。一例としてｎ_ａ値は、１３である。また、数式（５）による浮動小数点ｂの値も、数式（６）のａ’の値を利用して変更されて四捨五入された整数値ｂ’で表現される。このような整数値ａ’及びｂ’を利用する場合、数式（３）は、次の数式（７）のように変更される。

一方、数式（６）に基づいて、ａ’を計算するためには、Ａ１／Ａ２の計算が必要である。Ａ１及びＡ２の代わりに、Ａ１及びＡ２の所定個数の上位ビットを除いた残りのビットを０に変更することによって生成された推定値（approximate value）Ａ１’及びＡ２’が利用される。具体的には、Ａ１の上位ｎ_Ａ１個のビットを除いた残りのビットを、０に変更して生成された推定値Ａ１’、及びＡ２の上位ｎ_Ａ２個のビットを除いた残りのビットを、０に変更して生成された推定値Ａ２’は、それぞれ次の数式（８）及び数式（９）の通りである。

数式（８）で［．］演算は、フロア（floor）演算、すなわち、［］中の値より小さい最大整数値を選択する演算を示し、ｒ_Ａ１＝ｍａｘ（ｂｄｅｐｔｈ（Ａ１）−ｎ_Ａ１，０）、ｒ_Ａ２＝ｍａｘ（ｂｄｅｐｔｈ（Ａ２）−ｎ_Ａ２、，０）である。ｂｄｅｐｔｈ（Ａ１）及びｄｅｐｔｈ（Ａ２）は、それぞれＡ１及びＡ２のビット深度を示す。また、ｎ_Ａ１は、オーバーフローを防止し、乗算時に発生するビット数を考慮して設定され、一例として、ｎ_Ａ１は１５である。また、ｎ_Ａ２は、後述するルックアップ・テーブルのサイズと係わるものであり、一例として、６４個の変数に基づいたルックアップ・テーブルの場合、ｎ_Ａ２は６である。

図１９は、本発明の一実施形態によって、推定値Ａ２’を獲得する過程を例示したのである。図示されたように、Ａ２のビット深度（bit depth）を２７、全体ビット深度を３２と仮定する。ｎ_Ａ２＝６であるとすれば、ｒ_Ａ２＝ｍａｘ（２７−６，０）＝２１であり、［Ａ２＞＞２１］の演算を介して、Ａ２の上位６個のビットである「１０１０１１」１９１０が抽出される。［Ａ２＞＞２１］の値に、さらに２^ｒＡ２、すなわち、２^２１を乗ずれば、上位６個のビットを除いた残りの２１個のビットは、０の値を有することになり、推定値Ａ２’が獲得される。

前述の数式（８）及び数式（９）を数式（６）に適用すれば、次の数式（１０）の通りである。

数式（１０）で、ｎ_{ｔａｂｌｅ}は、データ正確度及び演算複雑度を考慮して決定され、一例として、ｎ_{ｔａｂｌｅ}は、１５の値に設定される。

数式（１０）で、

値は、除算演算を含む。除算演算を防止するために、除算演算の代わりに、

の結果値を所定のルックアップ・テーブル形態で保存し、ルックアップ・テーブルを参照することにより、数式（１０）によって、ａ’値を獲得することができる。このように、ルックアップ・テーブルを利用する場合、数式（１０）に基づいたａ’の計算時、除算演算を行わず、乗算演算及びシフト演算だけでａ’の値を獲得することができる。

図２０は、本発明の一実施形態によるルックアップ・テーブルの一例を示した参照図である。

ｎ_Ａ２＝６であると仮定すれば、

が有することができる場合の数は、Ａ２の上位６個ビットが有することができる場合の数と同じである。すなわち、２＾（ｎ_Ａ２＝２＾６であり、全６４個のエレメントを有するルックアップ・テーブルを利用して、

が決定される。従って、パラメータ獲得部１４２０は、図２０に図示されたようなＡ２の上位６個のビットが有することができる６４個の変数に対応する

値を保存したルックアップ・テーブルを利用して、

値を獲得することができる。

が獲得されれば、数式（１０）に基づいて、パラメータ獲得部１４２０は、乗算演算及びシフト演算のみを利用して、ａ’の値を計算することができる。

また、パラメータ獲得部１４２０は、獲得されたａ’を利用して、次の数式（１１）のように、ｂ’の値を計算することができる。

数式（１１）に基づいたｂ’の計算は、Ｉが２の累乗である場合、除算演算なしに行われる。もし周辺ピクセルとして、図１８Ａ及び図１８Ｂに図示された周辺ピクセル以外に、左上側や右上側の周辺ピクセルを利用して、Ｉの値が２の累乗ではない場合には、（１／Ｉ）の値をルックアップ・テーブル形態で保存し、数式（１１）の分子に、ルックアップ・テーブルによる（１／Ｉ）の値を乗じることにより、ｂ’の値が獲得される。

数式（１０）に基づいたａ’の値は、数式（７）による乗算演算を所定ビット内で行わせるためにクリッピングされる。例えば、数式（７）による乗算演算を１６ビットで行う場合、ａ’の値は、［−２^−１５、２^１５−１］の範囲内でクリッピングされる。ｎ_ａが１３である場合、実際ａの値は、［−４，４］の範囲内に制限され、エラーの増幅が防止される。

一方、パラメータ獲得部１４２０は、数式（１０）に基づいて、ａ’を計算するとき、四捨五入エラー（rounding error）を低減させるために、ｎ_ａの値は、整数の代わりに、Ａ１及びＡ２の値によって適応的に決定される。一例として、ｎ_ａの値は、次の数式（１２）のように決定される。

数式（１２）を数式（１０）に代入すれば、次の数式（１３）を得ることができる。

ａ’の値を所定ビットに維持するためには、ａ’のビット深度を調整しなければならない場合がある。例えば、ａ’のビット深度を（ａ＿bits）ビットに維持するために、ａ’のビット深度を調整するための変数bitＡｄｊｕｓｔを、次の数式：bitＡｄｊｕｓｔ＝ｍａｘ（０，ｂｄｅｐｔｈ（ａｂｓ（ａ’））−（ａ＿bits−１））の通りであるとすれｂ、パラメータ獲得部１４２０は、ａ’＝ａ’＞＞bitＡｄｊｕｓｔを介して、ａ’のビット深度を低減させる。ａ’の値が８ビットより小さく表現されるように維持するために、ａ＿bitsの典型的な値は、７または８である。数式（１２）のｎ_ａ値の代わりに、次の数式（１４）のようなｎ_ａ値を数式（７）に適用し、ａ’の値を所定ビット内に維持しながら、ａ’の四捨五入誤差を減少させることができる。

このように、本発明の一実施形態によるパラメータ獲得部１４２０は、数式（１０）または数式（１１）によって、輝度信号と色差信号との相関関係を定義するためのパラメータａ’及びｂ’の値を獲得する。ａ’及びｂ’の値が獲得されれば、予測遂行部１４３０は、数式（７）に基づいて、復元された輝度ピクセルから、対応する色差ピクセルの予測値を生成する。

一方、前述の数式（４）は、次の数式（１５）のように表現される。

数式（１５）で、ＣＬ、Ｃ、Ｌ及びＬＬは、それぞれ次の数式（１６）の通りである。

数式（１５）によるａの計算時に、オーバーフローを防止するために、パラメータ獲得部１４２０は、ＣＬ、Ｃ、Ｌ及びＬＬの値のビット数を低減させるデスケーリングを行う。

一例として、Ｒｅｃ＿Ｌ’（ｉ）及びＲｅｃ＿ｃ（ｉ）のようなサンプルのビット数をｎ_ｓと定義すれば、Ａ１及びＡ２の最大ビット（bits_ｍａｘ）は、次の数式（１７）の通りである。

最大ビット（bits_ｍａｘ）を所定のＡ（Ａは整数）ビットに維持するためには、Ａビットを超えるビット数ほどビット深度を低減させなければならない。例えば、Ａ＝３２であるとすれば、ビット調節パラメータ（bitＡｄｊｕｓｔ_Ａ）は、次の数式（１８）のように定義される。

数式（１８）を適用し、パラメータ獲得部１４２０は、Ａ１及びＡ２の値を、次の数式（１９）のようにスケーリングする。

もしＩが２の累乗の値を有するのであるならば、次の数式（２０）のようなビット調節パラメータ（bitＡｄｊｕｓｔ２_Ａ）が新たに定義される。

数式（２０）のビット調節パラメータ（bitＡｄｊｕｓｔ２_Ａ）を利用して、パラメータ獲得部１４２０は、Ａ１及びＡ２を計算する前に、ＣＬ、Ｃ、ＬＬ、Ｌ及びＩを、次の数式（２１）のようにデスケーリングすることができる。

このように、本発明の他の実施形態によるパラメータ獲得部１４２０は、Ａ１及びＡ２が有することができる値の範囲を考慮して、オーバーフローが発生しないように、Ａ１及びＡ２の計算に利用されるＣＬ、Ｃ、ＬＬ、Ｌ及びＩの値を、数式（２１）のようにデスケーリングしてビット深度を低減させる。

一方、本発明のまた他の実施形態によるパラメータ獲得部１４２０は、色差ブロック１８１０及び輝度ブロック１８２０の大きさを定義するｎＳ値、及びＲｅｃ＿Ｃ（ｉ）のビット深度（ＢｉｔＤｅｐｔｈ_Ｃ）に基づいて、次の数式（２２）に定義されるパラメータｋ３を獲得する。

パラメータ獲得部１４２０は、Ａ１及びＡ２の計算時、オーバーフローを防止するために、ＣＬ、Ｃ、ＬＬ及びＬの値を、それぞれ次の数式（２３）のようにデスケーリングする。

また、パラメータ獲得部１４２０は、ｋ３値及びｎＳ値に基づいて、次の数式（２４）に定義されるパラメータｋ２を獲得する。

また、パラメータ獲得部１４２０は、前述の数式（２３）によってデスケーリングされたＣＬ、Ｃ、ＬＬ及びＬの値と、数式（２３）によるｋ２の値とを利用して、次の数式（２５）のように、Ａ１及びＡ２を獲得することができる。

パラメータ獲得部１４２０は、Ａ１及びＡ２が、所定範囲のビット内で表現されるように、次の数式（２６）のように、獲得されたＡ１及びＡ２の値をダウンスケーリングしたＡ１’及びＡ２’の値を生成することができる。

このように、Ａ１’及びＡ２’の値が獲得されれば、パラメータ獲得部１４２０は、次のアルゴリズムによって、輝度信号と色差信号との線形相関関係を示す加重値ａ及びオフセットｂの値を獲得する。

｛
ｋ１＝Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（Ａ２）−５）−Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（Ａ１））−１４＋２；
ａ＝Ａ２’＜１？０：Clip３（−２^１５，２^１５−１，Ａ１’＊ｌｍＤｉｖ＋１＜＜（ｋ１−１））＞＞ｋ１；
ａ＝ａ＞＞Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（ａ））−６；
ｋ＝１３−Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（ａ））−６；
ｂ＝（Ｌ−（（ａ＊Ｃ）＞＞ｋ１）＋１＜＜（ｋ２−１）））＞＞ｋ２；
｝
前記アルゴリズムで、全ての整数は、加重値ａの値を７ビットデータで表現するように決定される。ｌｍＤｉｖは、数式（２５）のＡ２’によって決定される所定の値を示す。

前述のアルゴリズムに基づいて、ａ、ｂの値が決定されれば、本発明のさらに他の実施形態による予測遂行部１４３０は、次の数式（２７）によって、復元された輝度信号Ｒｅｃ＿Ｌ’（ｘ，ｙ）に対応する色差信号の予測値Ｐｒｅｄ＿Ｃ（ｘ，ｙ）を獲得する。

予測遂行部１４３０は、色差信号のビット深度を考慮して、色差信号が有することができる値の範囲内に、Ｐｒｅｄ＿Ｃ（ｘ，ｙ）が存在するように、数式（２７）による色差信号の予測値Ｐｒｅｄ＿Ｃ（ｘ，ｙ）をクリッピングすることができる。

図２１は、本発明の一実施形態によるイントラ予測方法を示したフローチャートである。図２１を参照すれば、段階２１１０で、サンプリング部１４１０は、色差ブロックと輝度ブロックとの大きさが異なる場合、復元された輝度ブロック及び周辺ピクセルをサンプリングし、色差信号と輝度信号とを一致させる輝度信号のサンプリングを行う。前述のように、サンプリングは、４：２：０または４：２：２のように、輝度信号と色差信号とが一致しない場合に行われ、４：４：４色フォーマットでは、サンプリング段階はスキップされる。

段階２１２０で、パラメータ獲得部１４２０は、イントラ予測される色差ブロックの復元された周辺ピクセル、及び色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、前記色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得する。前述のように、本発明によるパラメータ獲得部１４２０は、色差ブロックの復元された周辺ピクセル、及び輝度ブロックの復元された周辺ピクセルを利用して、数式（４）及び数式（５）のように、加重値ａ及びオフセットｂを計算する。特に、パラメータ獲得部１４２０は、データ正確度、及び演算過程で発生しうるオーバーフロー防止のために、ａ及びｂのビット深度を変更することができる。また、パラメータ獲得部１４２０は、ａ及びｂの計算過程に利用される変数をスケーリングしたり、あるいは近似値で代替することにより、除算演算を除いた乗算、減算及びシフトの演算のみを利用して、ａ及びｂの値を獲得する。

段階２１３０で、予測遂行部１４３０は、獲得されたパラメータを利用して、輝度ブロックから色差ブロックを予測する。前述のように、予測遂行部１４３０は、数式（３）に基づいて、復元された輝度信号から対応する色差信号を予測する。また、予測遂行部１４３０は、数式（７）のように、浮動小数点を利用した演算の代わりに、整数演算を行うために、ａ及びｂの値をアップスケーリングして予測を行うこともできる。

本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードに保存されて実行される。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (15)

1. 映像のイントラ予測方法において、
   イントラ予測される色差ブロックの復元された周辺ピクセル、及び前記色差ブロックと対応する輝度ブロックの復元された周辺ピクセルに基づいて、前記色差ブロックと輝度ブロックとの相関関係を示すパラメータを獲得する段階と、
   前記獲得されたパラメータを利用して、前記輝度ブロックから、前記色差ブロックを予測する段階と、を含み、
   前記パラメータを獲得する段階は、
   前記色差ブロックの復元された周辺ピクセル、及び前記輝度ブロックの復元された周辺ピクセルを利用した所定の演算過程を介して、前記パラメータを獲得し、前記演算過程は、ルックアップ・テーブルの大きさを減少させてオーバーフローを防止するために、前記パラメータのビット深度を変更する適応的スケーリング過程を含むことを特徴とするイントラ予測方法。
2. 前記パラメータは、
   前記輝度ブロックの復元されたピクセルと、前記色差ブロックの対応するピクセルとの線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項１に記載のイントラ予測方法。
3. 前記輝度ブロックの（ｘ，ｙ）位置の復元されたピクセルをＲｅｃ＿Ｌ’（ｘ，ｙ）、前記色差ブロックの（ｘ，ｙ）位置のピクセルの予測値をＰｒｅｄ＿Ｃ（ｘ，ｙ）、前記加重値をａ、前記オフセット値をｂとするとき、
   前記相関関係は、次の数式：Ｐｒｅｄ＿Ｃ（ｘ，ｙ）＝ａ＊Ｒｅｃ＿Ｌ’（ｘ，ｙ）＋ｂのように定義されることを特徴とする請求項２に記載のイントラ予測方法。
4. 前記輝度ブロックの復元されたＩ個の周辺ピクセルを、Ｒｅｃ＿Ｌ’（ｉ）（ｉ＝０からＩ−１までの整数）、前記色差ブロックの復元されたＩ個の周辺ピクセルを、Ｒｅｃ＿Ｃ（ｉ）とするとき、
   前記加重値ａは、次の数式：
   

   

   によって決定されることを特徴とする請求項３に記載のイントラ予測方法。
5. 前記オフセットｂは、次の数式：
   

   

   によって決定されることを特徴とする請求項４に記載のイントラ予測方法。
6. 前記Ａ１及びＡ２を、それぞれ上位所定個数のビットを利用して近似化した推定値Ａ１’及びＡ２’を獲得する段階と、
   前記推定値Ａ１’及びＡ２’に基づいて、前記加重値ａを、所定のｎ_ａビットほどアップスケーリングした整数値ａ’を獲得する段階と、をさらに含むことを特徴とする請求項４に記載のイントラ予測方法。
7. ｎ_Ａ１は、前記Ａ１から抽出される上位ビットの個数、ｎ_Ａ２は、前記Ａ２から抽出される上位ビットの個数、ｒ_Ａ１＝ｍａｘ（ｂｄｅｐｔｈ（Ａ１）−ｎ_Ａ１，０），ｒ_Ａ２＝ｍａｘ（ｂｄｅｐｔｈ（Ａ２−ｎ_Ａ２，０）、ｂｄｅｐｔｈ（Ａ１）及びｂｄｅｐｔｈ（Ａ２は、それぞれＡ１及びＡ２のビット深度、ｎ_{ｔａｂｌｅ}は、所定の整数値を示すとするとき、
   前記Ａ１’は、次の数式：
   

   

   前記Ａ２’は、次の数式：
   

   

   によって決定され、
   前記ａ’は、次の数式：
   

   

   によって決定されることを特徴とする請求項６に記載のイントラ予測方法。
8. 

   の値は、所定のルックアップ・テーブルを利用して獲得されることを特徴とする請求項７に記載のイントラ予測方法。
9. 前記加重値ａは次の数式：
   

   

   によって定義されるＣＬ、Ｃ、ＬＬ及びＬを、それぞれ所定ビットほどダウンスケーリングした値を利用して獲得されることを特徴とする請求項４に記載のイントラ予測方法。
10. 前記色差ブロックの大きさを、ｎＳｘｎＳ（ｎＳは、正の整数）、色差ピクセルのビット深度を、ＢｉｔＤｅｐｔｈ_Ｃとするとき、前記ＣＬ、Ｃ、ＬＬ及びＬは、次の数式：
    

    

    によるｋ３ビットほどダウンスケーリングされてビット深度が低減されることを特徴とする請求項９に記載のイントラ予測方法。
11. ｋ２を、次の数式：
    

    

    によって定義される変数とするとき、次の数式：
    

    

    によって、前記Ａ１及びＡ２の値を獲得する段階をさらに含むことを特徴とする請求項１０に記載のイントラ予測方法。
12. 前記Ａ１及びＡ２の値を、それぞれ絶対値に基づいた所定ビットほどダウンスケーリングし、Ａ１’及びＡ２’を生成する段階をさらに含み、
    前記加重値ａ及びオフセットｂは、次のアルゴリズムによって決定されることを特徴とする請求項１１に記載のイントラ予測方法：
    ｛
    ｋ１＝Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（Ａ２）−５）−Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（Ａ１））−１４＋２；
    ａ＝Ａ２’＜１？０：Clip３（−２^１５，２^１５−１，Ａ１’＊ｌｍＤｉｖ＋１＜＜（ｋ１−１））＞＞ｋ１；
    ａ＝ａ＞＞Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（ａ））−６；
    ｋ＝１３−Ｍａｘ（０，ｌｏｇ_２（ａｂｓ（ａ））−６；
    ｂ＝（Ｌ−（（ａ＊Ｃ）＞＞ｋ１）＋１＜＜（ｋ２−１）））＞＞ｋ２；
    ｝。
13. 前記予測する段階は、
    前記加重値ａを、所定のｎ_ａビットほどアップスケーリングした整数値ａ’、及び前記オフセットｂを四捨五入した整数値ｂ’を利用して、次の数式：
    

    

    によって（ｘ，ｙ）位置での色差ブロックの予測値Ｐｒｅｄ＿Ｃ（ｘ，ｙ）を予測することを特徴とする請求項３に記載のイントラ予測方法。
14. 前記色差ブロックのピクセルが有することができる値の範囲内で、前記Ｐｒｅｄ＿Ｃ（ｘ，ｙ）をクリッピングする段階をさらに含むことを特徴とする請求項１３に記載のイントラ予測方法。
15. 前記色差ブロックと前記輝度ブロックとの大きさが異なる場合、前記復元された輝度ブロック及び周辺ピクセルをサンプリングし、前記色差信号と前記輝度信号とを一致させる段階をさらに含むことを特徴とする請求項１に記載のイントラ予測方法。

Images