JP2008263529A - 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えばＩＴＵ−Ｔ勧告Ｈ．２６４による符号化装置に適用して、デブロッキングフィルタの強さを自動的、かつ適切に設定する。
【解決手段】本発明は、イントラ符号化の困難度Ｍａｄとインター符号化の困難度Ｓａｄとから、単位時間当りのデータ量Ｂｉｔ ｒａｔｅを変数にしてデブロッキングフィルタの強度を示す特性曲線を計算し、この特性曲線からデブロッキングフィルタの強度ｙ（α、β）を計算する。
【選択図】 図１

Description

本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えばＩＴＵ（International Telecommunication Union ）−Ｔ勧告Ｈ．２６４（以下、単にＨ．２６４と呼ぶ）による符号化装置に適用することができる。本発明は、イントラ符号化の困難度とインター符号化の困難度とから、単位時間当たりのデータ量を変数にしてデブロッキングフィルタの強度を示す特性曲線を計算し、この特性曲線からデブロッキングフィルタの強度を計算することにより、デブロッキングフィルタの強さを自動的、かつ適切に設定する。

従来、Ｈ．２６４による符号化装置では、デブロッキングフィルタによりブロックノイズを抑圧している。ここでＨ．２６４では、パラメータα及びβによりデブロッキングフィルタの強さが定義され、初期設定では、量子化パラメータに応じてパラメータα及びβが設定される。Ｈ．２６４では、符号化処理して出力するビットストリームのスライスヘッダにおいて、デブロッキングフィルタによる処理のオンオフを設定し、さらに初期設定値からのオフセット値によりデブロッキングフィルタの強さを設定する。

従来、Ｈ．２６４による符号化装置では、復号した画像をオペレータが目視して、ビットストリームに設定するオフセット値を調整し、デブロッキングフィルタの強さを調整していた。

特開２００６−１７４１３８号公報には、このデブロッキングフィルタの処理に関する工夫が提案されている。また特開２００７−１９９９４号公報には、ビデオデータから検出したパラメータにより動的にＧＯＰ構造を切り換える構成が開示されている。

ところでデブロッキングフィルタの強さを自動的に、かつ適切に設定することができれば、便利であると考えられる。
特開２００６−１７４１３８号公報 特開２００７−１９９９４号公報

本発明は以上の点を考慮してなされたもので、デブロッキングフィルタの強さを自動的、かつ適切に設定することができる符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化装置に適用して、前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出部と、前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出部と、前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算部と、前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算部とを備えるようにする。

また請求項８の発明は、イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法に適用して、前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備えるようにする。

また請求項９の発明は、イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法のプログラムに適用して、前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備えるようにする。

また請求項１０の発明は、イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法のプログラムを記録した記録媒体に適用して、前記プログラムは、前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備えるようにする。

請求項１、請求項８、請求項９、又は請求項１０の構成に係るデブロッキングフィルタの強度の最適値は、符号化データの単位時間当たりのデータ量を変数にした特性曲線により表すことができ、この特性曲線は、イントラ符号化困難度とインター符号化困難度とにより決めることができる。これにより請求項１、請求項８、請求項９、又は請求項１０の構成によれば、デブロッキングフィルタの強さを自動的に、かつ適切に設定することができる。

本発明によれば、デブロッキングフィルタの強さを自動的、かつ適切に設定することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１に係るオーサリングシステムに適用されるビデオデータのエンコーダを示すブロック図であり、図１は、このエンコーダ１のパラメータ処理部７の構成を詳細に示すブロック図である。

この実施例のオーサリングシステムは、ハードディスク装置等の記録媒体に編集対象のオーディオデータ、ビデオデータを記録して保持し、オペレータの操作により編集点、エフェクト、エンコードの条件等の設定をコントローラで受け付ける。またこの受け付けた条件により、記録媒体に記録されたビデオデータ、オーディオデータを編集処理して記録した後、このエンコーダ１によりビデオデータＤＶをエンコードし、Ｈ．２６４によるビデオデータの符号化データＤＦを生成する。このオーサリングシステムは、同様にオーディオデータを符号化処理してオーディオデータの符号化データを生成し、これらビデオデータ及びオーディオデータの符号化データを時分割多重化して例えば光ディスクへの記録に供するプログラムストリームを生成する。

ここでエンコーダ１は、所定のプログラムの実行によりビデオデータＤＶを処理するプロセッサにより構成され、この実施例ではこのプログラムが事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

このエンコーダ１において、符号化部２は、ピクチャタイプ選択部３でビデオデータＤＶに応じて動的に決定されるＧＯＰ構造に従って、順次入力されるビデオデータＤＶからコスト関数を計算して最適モードを検出する。また検出した最適モードに応じて、マクロブロック単位でビデオデータＤＶをイントラ予測、インター予測した後、直交変換処理し、その結果得られる係数データをレート制御部５のレート制御により量子化処理して出力する。

エントロピー符号化部６は、この符号化部２の出力データをエントロピー符号化処理し、ビデオデータの符号化データＤＦによるビットストリームを出力する。このときエントロピー符号化部６は、予測モード、符号化部２における量子化スケール、パラメータ処理部７で求められたデブロッキングフィルタの強さを示す強度データα、β等をビットストリームに設定して出力する。

デコーダ８は、符号化部２とは逆に、符号化部２の出力データを逆量子化処理した後、逆直交変換処理し、また必要に応じて参照メモリ４に格納した参照フレームと加算処理し、これらにより元のビデオデータＤＶを復号する。

参照メモリ４は、デコーダ８で復号されたビデオデータＤＶを参照フレームとして格納して保持し、符号化部２の処理に応じて符号化部２に出力する。

パラメータ計算部１０は、順次入力されるビデオデータＤＶからイントラ符号化処理の困難度を示すパラメータＭａｄ(mean absolute difference)、インター符号化処理の困難度を示すパラメータＳａｄ(sum of absolute difference)を計算して出力する。この実施例において、パラメータ計算部１０は、各マクロブロックの画素値の平均値を当該マクロブロックにおける画素値から減算し、マクロブロック毎に減算値を絶対値化して加算することにより、マクロブロック毎の画素値の分散値を計算する。パラメータ計算部１０は、このマクロブロック毎の画素値の分散値をピクチャ単位で加算し、イントラ符号化処理の困難度を示すパラメータＭａｄを計算する。

またパラメータ計算部１０は、直前ピクチャの対応する画素値との差分値を絶対値化してマクロブロック毎に加算し、マクロブロック毎の、インター符号化処理の困難度を計算する。パラメータ計算部１０は、このマクロブロック毎のインター符号化処理の困難度をピクチャ単位で加算し、インター符号化処理の困難度を示すパラメータＳａｄを計算する。

ピクチャタイプ選択部３は、図３及び次式により示すように、パラメータ計算部１０で計算されたイントラ符号化処理の困難度を示すパラメータＭａｄを１つのピクチャのマクロブロック数で割り算してマクロブロック単位で平均値化した後、所定枚数ｎのピクチャで平均値化し、平均値化したパラメータｎＭａｄを計算する。この実施例では、この所定枚数ｎのピクチャが、図３に示すように、処理対象のピクチャであるカレントピクチャＰＣとこのカレントピクチャから後行するピクチャにより構成される。

なおここでＭｂＮｕｍは、１つのピクチャにおけるマクロブロック数であり、Σの範囲は、ｎである。ピクチャタイプ選択部３は、この所定枚数ｎのピクチャにおいて、ビデオデータＤＶでシーンチェンジが検出されると、パラメータｎＭａｄの計算を中止し、パラメータｎＭａｄを前置ホールドする。従ってシーンチェンジの検出されたピクチャの直前、ｎ−１枚のピクチャでは、直前のｎ枚ピクチャで計算したパラメータｎＭａｄが適用される。

またピクチャタイプ選択部３は、次式により示すように、同様にして、パラメータ計算部１０で計算されたインター符号化処理の困難度を示すパラメータＳａｄを１つのピクチャのマクロブロック数で割り算した後、平均値化し、平均値化したパラメータｎＳａｄを計算する。

なおこの場合も、ピクチャタイプ選択部３は、平均値するｎ枚のピクチャでシーンチェンジが検出されると、イントラ符号化に係るパラメータｎＳａｄを前置ホールドする。またピクチャタイプ選択部３は、次式により示すように、イントラ符号化に係るパラメータｎＭａｄでインター符号化に係るパラメータｎＳａｄを割り算し、イントラ符号化に係るパラメータｎＭａｄを基準にして動きの激しさを示すパラメータＭｐ(motion parameter)を計算する。

ピクチャタイプ選択部３は、所定ピクチャ毎に、ビデオデータＤＶにＩピクチャを設定する。また残るピクチャについては、パラメータＭｐを所定のしきい値で判定し、パラメータＭｐがこのしきい値以下の場合には、当該ピクチャをＰピクチャに設定する。またパラメータＭｐがこのしきい値より大きい場合には、当該ピクチャを交互にＰピクチャ、Ｂピクチャに設定する。これによりピクチャタイプ選択部３は、ビデオデータＤＶに応じて動的にＧＯＰ構造を設定する。

レート制御部５は、例えばＴＭ５の手法により、エントロピー符号化部６の出力データ量に応じて、符号化部２の量子化スケールを切り換え、発生ビット量を制御する。

パラメータ処理部７は、パラメータ計算部１０で求められたパラメータＭａｄ、Ｓａｄを処理して、デブロッキングフィルタの強度データα、βを求める。

すなわちパラメータ処理部７において（図１）、遷移判定部２１は、ビデオデータＤＶを処理して、シーンチェンジのピクチャ、高速度で画像が変化しているピクチャを検出する。なおここでこの高速度で画像が変化しているピクチャは、例えばフェードイン、フェードアウト、ディゾルブ等による遷移期間のピクチャ、高速度でパン、ワイプしている期間のピクチャである。なおこれらのピクチャは、パラメータ計算部１０で求められたパラメータＳａｄを使用して検出してもよい。

統計量計算部２２は、この遷移判定部２１の検出結果に基づいて、ピクチャタイプ選択部３と同様に、パラメータＭａｄ、Ｓａｄを処理してイントラ符号化に係るパラメータｎＭａｄ、インター符号化に係るパラメータｎＳａｄを計算し、さらに動きの激しさを示すパラメータＭｐを計算する。但し、統計量計算部２２は、シーンチェンジのピクチャだけでなく、併せて高速度で画像が変化しているピクチャによっても、カレントピクチャにおける平均値化の処理を中止し、これによりシーンチェンジのピクチャ、高速度で画像が変化しているピクチャの直前、ｎ−１枚のピクチャではパラメータｎＭａｄ、ｎＳａｄ、Ｍｐを前置ホールドする。またシーンチェンジのピクチャ、高速度で画像が変化しているピクチャがカレントピクチャの場合には、それぞれ当該ピクチャで検出されるパラメータＭａｄ、Ｓａｄを、何ら平均値化することなく、単にマクロブロック数で割り算してそれぞれ当該カレントピクチャのパラメータｎＭａｄ、パラメータｎＳａｄに割り当てる。

パラメータ処理部７は、このパラメータｎＭａｄ、ｎＳａｄ、Ｍｐを用いて、図４に示すように、ビットレートを変数にしてデブロッキングフィルタの強さを表す所定の特性曲線Ｌ１、Ｌ２を計算し、この特性曲線Ｌ１、Ｌ２を用いてデブロッキングフィルタの強度データα、βを計算する。ここでこの図４は、ビットレートを可変して種々のビデオデータを符号化処理した際の、良好な画質を得ることが可能なデブロッキングフィルタの強度を示す特性曲線であり、画質にあっては目視により確認した。なおデブロッキングフィルタの強度は、標準設定を０とおいて、パラメータα及びβによる標準設定からのオフセット値により示す。また図４では、特性曲線Ｌ１及びＬ２に対応する２種類のビデオデータについての特性を示す。

ビデオデータは、ビットレートが低下するに従ってブロックノイズが目立つようになる。従ってビットレートが低下するに従って、デブロッキングフィルタの強度を強くする必要がある。このビットレートとデブロッキングフィルタの強度との関係は、それぞれ特性曲線Ｌ１及びＬ２に示すように、ほぼ一次関数に近似することができる。またこの一次関数Ｌ１、Ｌ２とビデオデータを特徴付ける種々のパラメータとの相関を確認したところ、パラメータｎＭａｄ、ｎＳａｄ、Ｍｐとの間で一定の相関関係を確認することができた。これによりこの実施例では、このパラメータｎＭａｄ、ｎＳａｄ、Ｍｐを用いて、この一次関数による特性曲線Ｌ１、Ｌ２を計算し、この特性曲線Ｌ１、Ｌ２を用いてデブロッキングフィルタの強さを示すパラメータα、βを計算する。

乗算回路２３、２４は、グレインモードの強さに応じた重み付け係数ＷＧ、１つのピクチャ当たりのマクロブロック数に応じた重み付け係数ＷＭｂＮｕｍで、パラメータｎＭａｄ、ｎＳａｄ、Ｍｐを重み付けする。

ここでグレインは、フィルムによる動画に発生するフィルムの傷によるノイズであり、映画の古さを感じさせるノイズである。グレインモードは、このようなノイズが失われないように、すなわち古い映画については、グレインを残して古さを感じさせるようにビデオデータを符号化処理するモードである。このような古い映画等のビデオデータにおいて、デブロッキングフィルタの強さが強すぎる場合には、ブロックノイズのみならず、グレインまで除去し、古さが感じられなくなる。

そこでこの実施例では、編集処理時、オペレータによりグレインモードのオンオフ、グレインを残す程度であるグレインモードの強さの入力を受け付け、図５に示すように、一定の上限限度の範囲で、このグレインを残す程度が大きくなればなる程、値が減少するように、グレインモードの強さに応じた重み付け係数ＷＧを生成する。なおここで重み付け係数ＷＧの値が減少する方向は、デブロッキングフィルタの強さが弱くなる方向である。

これに対して一定のビットレートで符号化処理する場合に、１つのピクチャを構成するマクロブロック数が多くなると、その分、ブロックノイズの発生が目立つようになる。そこでこの実施例では、図６に示すように、１つのピクチャを構成するマクロブロックの数が増大すればする程、値が増大するようにマクロブロック数による重み付け係数ＷＭｂＮｕｍを生成する。

特性曲線計算部２５は、乗算回路２４で重み付け処理されたパラメータｎＭａｄ、ｎＳａｄ、Ｍｐを用いて、次式の演算処理を実行することにより、図４で説明した一次関数Ｌ１、Ｌ２を定義する傾きｓｌｏｐｅ及び切片ｉｎｔ ｅｒｃｅｐｔを計算する。

なおここでｐｏｗ（Ａ，Ｂ）は、ＡのＢ乗を示す関数であり、ａｂｓ（Ａ）は、Ａを絶対値化する関数であり、またｌｏｇの底はｅである。またＣ１〜Ｃ４、Ｄ１〜Ｄ５は、図４について上述した各種ビデオデータのパラメータｎＭａｄ、ｎＳａｄ、Ｍｐを統計的に処理して求めた係数である。

乗算回路２６は、レート制御部５から単位時間当たりの符号化データの目標データ量であるビットレートｏｒｇ Ｂｉｔ ｒａｔｅを入力し、次式の演算処理により、単位時間当たりのマクロブロック数の重み付け係数ＷＭｂで重み付けし、これによりビットレートｏｒｇ Ｂｉｔ ｒａｔｅを単位時間当たりのマクロブロック数で補正して出力する。

なおここでＥは、係数である。すなわち同一のビットレートで符号化処理する場合でも、単位時間当たりのマクロブロック数が多い場合には、１つのマクロブロックに割り当て可能なデータ量が減少し、ブロックノイズが発生し易くなる。そこでこの実施例では、図７に示すように、単位時間当たりのマクロブロック数Ｍｂ ｒａｔｅが増大するに従って値が大きくなるマクロブロック数の重み付け係数ＷＭｂを生成し、この重み付け係数ＷＭｂでビットレートｏｒｇ Ｂｉｔ ｒａｔｅを補正する。

補正値計算部２７は、特性曲線計算部２５で計算された傾きｓｌｏｐｅ及び切片ｉｎｔ ｅｒｃｅｐｔにより、次式の演算処理を実行し、デブロッキングフィルタの強さを標準設定からのオフセット値で示す強度値ｙを計算する。この処理において、補正値計算部２７は、ピクチャタイプ選択部３から通知されるピクチャタイプに応じて、フレームコーディングの場合には、Ｐピクチャのみで強度値ｙを計算して出力する。またフィールドコーディングの場合には、Ｐトップのみで強度値ｙを計算して出力する。これによりエンコーダ１は、Ｐピクチャ、又はＰトップのみでデブロッキングフィルタの強度を更新する。

フィルタ２８は、加算回路２９、３０、遅延回路（Ｄ）３１、３２によるＩＩＲフィルタであり、補正値計算部２７で計算された強度値ｙを巡回加算して平均値化し、処理結果をデブロッキングフィルタの強度データα及びβとして出力する。なおここでα及びβは、それぞれＩＩＲフィルタで処理した同一値の処理結果が適用される。またこの処理において、フィルタ２８は、遷移判定部２１でシーンチェンジが検出されると、巡回加算値をリセットする。なおＩＩＲフィルタに代えて、ＦＩＲフィルタ等を適用するようにしてもよい。

（２）実施例の動作
以上の構成において、順次入力されるビデオデータＤＶは（図１）、パラメータ計算部１０において、イントラ符号化処理の困難度を示すパラメータＭａｄ、インター符号化処理の困難度を示すパラメータＳａｄが求められ、このパラメータＭａｄ、Ｓａｄのピクチャタイプ選択部３の処理により、ビデオデータＤＶのＧＯＰ構造が動的に設定される。ビデオデータＤＶは、この設定に従って符号化部２においてレート制御部５によるレート制御により、イントラ予測、インター予測により処理されて直交変換処理され、その結果得られる係数データが量子化処理される。またこの係数データがエントロピー符号化部６によりエントロピー符号化処理されて符号化データＤＦが生成される。また係数データが、デコーダ８でデコードされて参照フレームの画像データとして参照メモリ４に格納される。

エンコーダ１では、この一連の処理において、イントラ符号化処理の困難度を示すパラメータＭａｄ、インター符号化処理の困難度を示すパラメータＳａｄによりビデオデータＤＶに応じて動的のＧＯＰ構造を設定することにより、ビデオデータＤＶに応じて適切にＧＯＰ構造を設定してビデオデータＤＶを符号化処理することができ、これにより効率良くビデオデータＤＶを符号化処理することができる。

さらにこのエンコーダ１では、このＧＯＰ構造の動的な設定に係るパラメータＭａｄ、Ｓａｄがパラメータ処理部７に入力され（図１）、ここでこのパラメータＭａｄ、Ｓａｄにより、符号化データＤＦの単位時間当たりのデータ量であるビットレートＢｉｔ ｒａｔｅを変数にして、デブロッキングフィルタの強度を示す特性曲線が求められ（図４）、この特性曲線を用いてデブロッキングフィルタの強度データが生成される。

すなわち種々にビットレートを可変して各種のビデオデータを符号化処理して目視により確認したところ、デブロッキングフィルタの強度の最適値は、符号化データＤＦのビットレートを変数にした特性曲線により表すことができ（図４）、この特性曲線は、イントラ符号化困難度とインター符号化困難度とに高い相関を有することが判った。そこでこの実施例では、パラメータＭａｄ、Ｓａｄにより、符号化データＤＦのビットレートＢｉｔ ｒａｔｅを変数にして、デブロッキングフィルタの強度を示す特性曲線が求められ（図４）、この特性曲線を用いてデブロッキングフィルタの強度が設定される。これによりこの実施例では、デブロッキングフィルタの強さを自動的に、かつ適切に設定することができ、従来に比して格段的にオペレータの負担を軽減し、さらには高画質によりビデオデータＤＶを符号化処理することができる。

またエンコーダ１では、符号化部２におけるイントラ予測とは無関係に、ビデオデータの各マクロブロックにおける画素値の分散値を計算してパラメータＭａｄを検出することにより、簡易な処理によりイントラ符号化の困難度を検出することができ、全体の処理を簡略化することができる。

また符号化部２におけるインター予測とは無関係に、連続するピクチャ間の対応する画素値の差分値を絶対値化して加算し、パラメータＳａｄを検出することにより、簡易な処理によりインター符号化の困難度を検出することができ、全体の処理を簡略化することができる。

またこれらのパラメータＭａｄ、Ｓａｄがピクチャタイプの設定に使用するパラメータであることから、このピクチャタイプの設定に係る構成を有効に利用してビデオデータＤＶを特徴付けるパラメータを検出することができ、これによっても全体構成を簡略化することができる。

具体的に、ビデオデータＤＶは、パラメータ処理部７の遷移判定部２１において、シーンチェンジのピクチャ、フェードイン等による画質が急激に変化しているピクチャが検出される。ビデオデータＤＶは、パラメータＭａｄ、Ｓａｄが１つのマクロブロック数で割り算された後、シーンチェンジのピクチャ以降のピクチャ、画質が急激に変化しているピクチャを除くようにして、カレントピクチャから所定枚数ｎのピクチャで、それぞれ平均値化処理される。また平均値化処理されたパラメータｎＭａｄでパラメータｎＳａｄを割り算して動きの激しさを示すパラメータＭｐが計算される。

ビデオデータＤＶは、これらのパラメータｎＭａｄ、ｎＳａｄ、Ｍｐにより、特性曲線計算部２５において、一次関数の傾き及び切片が計算され、符号化データＤＦのビットレートを変数にした特性曲線が求められる。また補正値計算部２７において、この傾き、切片による一次関数による特性曲線に符号化データＤＦのビットレートが代入されて、デブロッキングフィルタの強度を示す強度値ｙが計算される。これによりこの実施例では、デブロッキングフィルタの強度を適切かつ自動的に設定することができる。

このようにパラメータｎＭａｄ、ｎＳａｄ、Ｍｐにより、デブロッキングフィルタの強度を設定するにつき、エンコーダ１では、乗算回路２３、２４において、ビデオデータの１つのピクチャにおけるマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように、パラメータｎＭａｄ、ｎＳａｄ、Ｍｐが重み付け処理され、これにより例えばＨＤＴＶ（High Definition Television）方式によるビデオデータＤＶ、ＳＤＴＶ（Standard Definition Television）方式によるビデオデータＤＶ等、種々の画面サイズのビデオデータＤＶの処理に適用して、適切にデブロッキングフィルタの強度を設定することができる。

さらにエンコーダ１では、乗算回路２３、２４において、グレインモードの強さが強くなるに従ってデブロッキングフィルタの強度が弱くなるように、パラメータｎＭａｄ、ｎＳａｄ、Ｍｐが重み付け処理され、これにより古さを感じさるグレインの劣化を有効に回避して適切にデブロッキングフィルタの強度を設定することができる。

また乗算回路２６において、単位時間当たりのマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように、ビットレートの値が重み付け処理され、これによりフレーム周波数、フィールド周波数が種々に異なるビデオデータＤＶを処理する場合でも、適切にデブロッキングフィルタの強度を設定することができる。

エンコーダ１では、補正値計算部２７において標準設定からのオフセット値によりデブロッキングフィルタの強度値ｙが求められ、この強度値ｙがフィルタ２８により平均値化されて出力され、これによりデブロッキングフィルタの強度の変動による画質の劣化が有効に回避される。またこのフィルタ２８は、シーンチェンジ等によりリセットされ、これにより画質の変化に応動して適切にデブロッキングフィルタの強度を切り換えることができる。

（３）実施例の効果
以上の構成によれば、イントラ符号化の困難度とインター符号化の困難度とから、符号化データの単位時間当たりのデータ量を変数にしてデブロッキングフィルタの強度を示す特性曲線を計算し、この特性曲線からデブロッキングフィルタの強度を計算することにより、デブロッキングフィルタの強さを自動的、かつ適切に設定することができる。

またビデオデータの各マクロブロックにおける画素値の分散を検出してイントラ符号化困難度を検出することにより、全体構成を簡略化することができる。

また連続するピクチャ間の対応する画素値の差分値を絶対値化して加算し、インター符号化困難度を検出することにより、全体構成を簡略化することができる。

またイントラ符号化困難度とインター符号化困難度とから、一次関数の傾き及び切片を計算して特性曲線を計算することにより、適切かつ自動的にデブロッキングフィルタの強度を設定することができる。

またパラメータＭｐと共にイントラ符号化困難度及びインター符号化困難度を重み付けして、ビデオデータの１つのピクチャにおけるマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように設定することにより、種々のフォーマットのビデオデータの処理に適用して、適切にデブロッキングフィルタの強度を設定することができる。

またビットレートの値を重み付けして、ビデオデータにおける単位時間当たりのマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように設定することによっても、種々のフォーマットのビデオデータの処理に適用して、適切にデブロッキングフィルタの強度を設定することができる。

またパラメータＭｐと共にイントラ符号化困難度及びインター符号化困難度を重み付けして、グレインモードの強さが強くなるに従ってデブロッキングフィルタの強度が弱くなるように設定することにより、グレインを失わないようにして適切にデブロッキングフィルタの強度を設定することができる。

この実地例２では、実施例１において上述したグレインモードにおける重み付け係数ＷＧをビデオデータＤＶから自動的に生成し、これによりオペレータの負担を軽減する。なおこの実施例では、この重み付け係数ＷＧの生成の処理に関する構成を除いて、実施例１と同一に構成される。

この実施例では次式の演算処理により、グレインの強さに応じてグレインの強さによる重み付け係数を生成する。なおここでＦ１〜Ｆ３は係数であり、ＳＴＨは、グレインの強度を示すパラメータであり、分散値が所定値以下のマクロブロックについて、参照ピクチャの対応する画素との間の輝度レベル差が一定値以上の画素数を検出し、この輝度レベル差が一定値以上の画素数が一定値以上のマクロブロックから求められるパラメータである。より具体的に、パラメータＳＴＨは、この輝度レベル差が一定値以上の画素数が一定値以上のマクロブロックにおいて、参照ピクチャとの間で輝度レベルの差分絶対値和を求め、１つのピクチャにおけるこの差分絶対値和の最小値が適用される。この（８）式の演算処理によりこの実施例ではグレインの強度を自動的に検出し、グレインの強度が強くなるに従って値が小さくなるように第１の重み付け係数Ｗｇｓを生成する。

またここでグレインが存在する場合には、その分、パラメータＭａｄ、Ｓａｄが大きな値により求められることになる。そこでこの実施例では、次式の演算処理により動きが激しい場合程、値が大きくなるように第２の重み付け係数Ｗｍｐを生成する。なここでＧ１〜Ｇ３は係数である。

また、画サイズによってもグレインによるパラメータα、βの計算に影響が出ることにより、この実施例では次式の演算処理によりマクロブロック数の増大により値が大きくなるように第３の重み付け係数Ｗｍｂを生成する。なおここでＨ１、Ｈ２は係数である。

この実施例ではこれら、これら第１〜第３の重み付け係数を乗算してグレインモードにおける重み付け係数ＷＧを生成する。

この実施例では、グレインモードにおける重み付け係数ＷＧをビデオデータＤＶから自動的に生成することにより、オペレータの負担を軽減し、さらに一段と適切にブロックノイズを抑圧することができる。

なお上述の実施例においては、イントラ符号化困難度及びインター符号化困難度をパラメータＭｐと共に重み付けする場合について述べたが、本発明はこれに限らず、統計量計算部２２の前段で重み付けした後、パラメータＭｐを計算するようにして、イントラ符号化困難度及びインター符号化困難度だけを重み付け処理するようにしてもよい。

また上述の実施例においては、イントラ符号化困難度及びインター符号化困難度を重み付けして、１つのピクチャにおけるマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように、またグレインモードの強さが強くなるに従ってデブロッキングフィルタの強度が弱くなるように設定する場合について述べたが、本発明はこれに限らず、イントラ符号化困難度及びインター符号化困難度に代えてビットレートの値を重み付け処理してもよく、また補正値計算部２７の計算結果、又はフィルタ２８の出力値を重み付け処理してもよい。

また上述の実施例においては、ビットレートの値を重み付けして、ビデオデータにおける単位時間当たりのマクロブロック数が増大するに従ってデブロッキングフィルタの強度が強くなるように設定する場合について述べたが、本発明はこれに限らず、ビットレートの値に代えて、イントラ符号化困難度及びインター符号化困難度を重み付け処理してもよく、また直接、補正値計算部２７の計算結果、又はフィルタ２８の出力値を重み付け処理してもよい。

また上述の実施例においては、カレントピクチャと続くピクチャとによりパラメータＭａｄ、Ｓａｄを計算する場合について述べたが、本発明はこれに限らず、カレントピクチャを間に挟む前後、所定枚数のピクチャでパラメータＭａｄ、Ｓａｄを計算するようにしてもよく、またカレントピクチャとそれ以前のピクチャとによりパラメータＭａｄ、Ｓａｄを計算するようにしてもよい。

また上述の実施例においては、画素値の分散値等を用いた簡易な処理によりイントラ符号化困難度及びインター符号化困難度を求める場合について述べたが、本発明はこれに限らず、イントラ予測残差、インター予測残差を計算してイントラ符号化困難度及びインター符号化困難度を求める場合等、イントラ符号化の困難度及びインター符号化の困難度を表す種々のパラメータを広く適用することができる。

また上述の実施例においては、符号化データのビットレートを変数とした特性曲線を求める場合について述べたが、本発明はこれに限らず、例えば、１マクロブロック当たりのデータ量等、種々の単位時間当たりのデータ量を適用することができる。

また上述の実施例においては、本発明をＨ．２６４のエンコーダに適用する場合について述べたが、本発明はこれに限らず、イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成する各種エンコーダに広く適用することができる。

本発明は、例えばＩＴＵ−Ｔ勧告Ｈ．２６４による符号化装置に適用することができる。

本発明の実施例１のエンコーダにおけるパラメータ処理部の構成を示すブロック図である。 本発明の実施例１のエンコーダを示すブロック図である。 図１のエンコーダにおけるパラメータの処理の説明に供する略線図である。 デブロッキングフィルタの強度の設定の説明に供する特性曲線図である。 グレインモードの強さによる補正の説明に供する特性曲線図である。 １つのピクチャにおけるマクロブロック数による補正の説明に供する特性曲線図である。 単位時間当たりのマクロブロック数による補正の説明に供する特性曲線図である。

符号の説明

１……エンコーダ、２……符号化部、３……ピクチャタイプ選択部、６……エントロピー符号化部、７……パラメータ処理部、１０……パラメータ計算部、２１……遷移判定部、２２……統計量計算部、２５……特性曲線計算部、２７……補正値計算部、２８……フィルタ

Claims (10)

1. イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化装置において、
   前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出部と、
   前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出部と、
   前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算部と、
   前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算部とを備える
   ことを特徴とする符号化装置。
2. 前記イントラ符号化困難度検出部は、
   前記ビデオデータの各マクロブロックにおける画素値の平均値に対する各画素の差分値を絶対値化して加算し、前記イントラ符号化困難度を検出する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記インター符号化困難度検出部は、
   連続するピクチャ間の対応する画素値の差分値を絶対値化して加算し、前記インター符号化困難度を検出する
   ことを特徴とする請求項１に記載の符号化装置。
4. 前記特性曲線が、前記符号化データのビットレートを変数とした一次関数であり、
   前記特性曲線計算部は、
   前記イントラ符号化困難度と前記インター符号化困難度とから、前記一次関数の傾き及び切片を計算して前記特性曲線を計算する
   ことを特徴とする請求項１に記載の符号化装置。
5. 前記イントラ符号化困難度及び前記インター符号化困難度、前記単位時間当たりのデータ量、若しくは前記強度データの値を重み付けして、前記ビデオデータの１つのピクチャにおけるマクロブロック数が増大するに従って前記デブロッキングフィルタの強度が強くなるように、前記強度データの値を補正する重み付け処理部を有する
   ことを特徴とする請求項１に記載の符号化装置。
6. 前記イントラ符号化困難度及び前記インター符号化困難度、前記単位時間当たりのデータ量、若しくは前記強度データの値を重み付けして、前記ビデオデータにおける単位時間当たりのマクロブロック数が増大するに従って前記デブロッキングフィルタの強度が強くなるように、前記強度データの値を補正する重み付け処理部を有する
   ことを特徴とする請求項１に記載の符号化装置。
7. 前記イントラ符号化困難度及び前記インター符号化困難度、前記単位時間当たりのデータ量、若しくは前記強度データの値を重み付けして、グレインモードの強さが強くなるに従って前記デブロッキングフィルタの強度が弱くなるように、前記強度データの値を補正する重み付け処理部を有する
   ことを特徴とする請求項１に記載の符号化装置。
8. イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法において、
   前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、
   前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、
   前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、
   前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備える
   ことを特徴とする符号化方法。
9. イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法のプログラムにおいて、
   前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、
   前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、
   前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、
   前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備える
   ことを特徴とする符号化方法のプログラム。
10. イントラ符号化処理及びインター符号化処理を切り換えて、ブロック単位でビデオデータを符号化処理して符号化データを生成し、デブロッキングフィルタの強度を示す強度データと共に前記符号化データを出力する符号化方法のプログラムを記録した記録媒体において、
    前記プログラムは、
    前記イントラ符号化処理の困難度を示すイントラ符号化困難度を検出するイントラ符号化困難度検出ステップと、
    前記インター符号化処理の困難度を示すインター符号化困難度を検出するインター符号化困難度検出ステップと、
    前記イントラ符号化困難度と前記インター符号化困難度とに基づいて、前記符号化データの単位時間当たりのデータ量を変数にして前記強度データの値を示す特性曲線を計算する特性曲線計算ステップと、
    前記特性曲線に前記符号化データのデータ量を代入して、前記強度データの値を計算する強度値計算ステップとを備える
    ことを特徴とする符号化方法のプログラムを記録した記録媒体。
    

Images