JP2009033652A - 動画像符号化方法 - Google Patents

Abstract

【課題】符号化モードを適切に選択することで低消費電力で動画像符号化を行うことを目的とする。
【解決手段】本発明は、複数の符号化モードから一つの符号化モードを選択して動画像を符号化する動画像符号化方法であって、前記選択される符号化モードは、既に符号化済みの動画のビットレート及び目標ビットレートと、各符号化モードに対応する消費電力量情報と、から決定されることを特徴とする。
【選択図】図１

Description

本発明は動画像符号化方法に関する。高圧縮効率を実現する動画符号化方式の省電力化に好適である。

デジタル画像の有効な利用のためには効率的に記憶、伝送する必要があり、画像データの圧縮符号化は必須のものである。画像データを圧縮する方法として、画像符号化の標準符号化方式であるJPEG(Joint Photographic Experts Group)においては以下のような方式が採用されている。

まず圧縮対象となる画像データについてブロック分割して、該ブロック単位に直交変換を用いて直流成分と交流成分とで構成された直交変換係数に変換する。変換された直交変換係数に対して符号量を減らすために量子化を行い、量子化された直交変換係数をエントロピー符号する方式がよく知られている。この際、人間の視覚特性として敏感な低周波成分については小さい量子化値を用いて量子化し、鈍感な高周波成分については大きな量子化値で量子化を行うことによって、視覚的に劣化が少なく効率的に量子化を行う方式が一般的に用いられている。

また、MPEG-2(Motion Picture Experts Group Phase 2)に利用されているように、動画像のフレーム間の相関性を利用して符号量を効果的に削減するフレーム間予測動画像符号化方式も一般的に用いられている。図４にフレーム間予測の概念図を示す。現フレームは例えば、１６画素×１６ラインの領域に分割され、該領域を処理対象領域として領域毎に動きベクトルを探索する。符号化した動画像データを復号した再構成動画像データを参照フレームとして、動きベクトルは参照フレーム中の現フレームの処理対象領域に対応する位置の領域を基準にする。そして、その領域を含む周囲の画素群を動き探索範囲として最も直交変換係数の予測誤差による符号量が小さくなると推定される領域の相対位置を求める。この直交変換係数の予測誤差による符号量はブロックマッチングを用いて推定され、該相対位置は現フレームの処理対象領域と該動き探索範囲の中から現処理対象領域と同サイズの領域（以下、参照領域）とをずらしながら比較することによって求める。
また、ブロックマッチング演算には、領域内における互いに対応する位置の画素の差分絶対値和（ＳＡＤ）等がよく用いられ、該ＳＡＤの値が小さいほど相関が高く、符号量が小さくなると推定される。

また、MPEG-2やMPEG-4、H.264においては表示順序で前方向１枚の参照フレーム内の参照領域（前方向参照領域）又は後方向１枚の参照フレーム内の参照領域（後方向参照領域）又はその２つの参照領域を同時に参照する。そして、２つの参照領域の平均値を予測領域として、対象ピクチャと予測ピクチャの差分データを符号化する双方向フレーム間予測符号化が定められている。H.264においては同じ方向の参照フレーム２枚を用いる等柔軟な予測が可能である。

図５に双方向フレーム間予測符号化方式の概念図を示す。
この双方向フレーム間予測には一般的に用いられている動きベクトル情報を符号化する方法と共に、動き情報を符号化済みのブロックの動き情報から生成する（参照フレームが決まったら予測誤差が一意に定まる）ダイレクトモードが定められている。

図６にダイレクトモードの概念図を示す。図６においてＭＶ_baseは既に符号化済みの後方向フレームであるFrame1から符号化済みの前方向フレームであるFrame0を参照する場合の、処理対象領域と同じ位置にある領域の動きベクトルを示している。このＭＶ_baseを用いてダイレクトモードにおける処理対象領域の前方向動きベクトルＭＶ_F及び後方向動きベクトルＭＶ_Bは下記のように与えられる。
ＭＶ_F＝ＭＶ_base×Ｔ_F／Ｔ_D
ＭＶ_B＝ＭＶ_F−ＭＶ_base
上式においてＴ_F、Ｔ_DはそれぞれFrame0と処理対象フレームの時間間隔、Frame0とFrame1の時間間隔を表している。

このようにダイレクトモードは既に符号化済みの動きベクトルから一意に動きベクトルを決定できるため、動きベクトル探索を行う必要が無い。動きベクトル探索を行わないため、一般的には直交変換係数の予測誤差による符号量が大きく増加し圧縮効率が悪化することになるが、動き情報の符号化が不要なため場合によっては符号化効率を向上させることが可能となる。
また、このダイレクトモードの利点として処理の簡略さがある。一般的な動きベクトル探索が数十回のブロックマッチング演算やメモリからの参照領域の読み出しを行うのに対し、ダイレクトモードについての評価はブロックマッチング演算及びメモリからの参照領域の読み出しが一回のみで済む。

このような双方向フレーム間予測において、ダイレクトモードを用いるか否か及び最適な動きベクトルは一般的に以下のようなコスト関数を用いて決定される。
for(i=0;i<search_number;i++){
ＣＯＳＴ[i] =ＳＡＤ[i] +ＭＶ[i];}
上式においてsearch_numberはダイレクトモードについての評価及び動きベクトル探索を行う回数を示している（i=0がダイレクトモードについての評価を示す）。

符号化効率を向上させるために動きベクトル探索範囲を広げ、動きベクトル探索の回数（メモリ読み出しやブロックマッチングを行う回数）を増やす程search_numberは大きな値となる。
ＳＡＤ[i]は、ダイレクトモード及び各動きベクトル探索についてのブロックマッチング結果であり（符号量推定情報）、ＳＡＤ[i]が小さくなるほど相関度が高くなり直交変換係数の予測誤差による符号量が減少すると推定される。
ＭＶ[i]は、動きベクトルの符号量情報を示しており、ダイレクトモードにおいては０となる。
ＣＯＳＴ[i]は、ブロックマッチングの結果と動きベクトル情報から決定されるコスト関数であり、このＣＯＳＴ[i]が一番小さくなった動きベクトルを符号化効率が一番高い最適な動きベクトルとして、実際の符号化に用いる。ダイレクトモードについてのＣＯＳＴ[i]が一番小さくなった場合にダイレクトモードで符号化が行われ、動きベクトル情報の符号化は行われない。

このように、従来例においてはフレーム内の分割された各領域について、常に多くの動きベクトル探索とダイレクトモードの評価を行い、一番良い符号化効率を実現する動きベクトル又はダイレクトモードを選択していた。
また一般的に動画像符号化においては一定に制御すべき目標ビットレートが設定される。ここで一般的な公知技術、例えばＭＰＥＧ−２のＴＭ５（ＩＳＯ／ＩＥＣ−ＪＴＣ１／ＳＣ２９／ＷＧ１１：“Ｔｅｓｔ Ｍｏｄｅｌ ５（Ｄｒａｆｔ）”，ＭＰＥＧ９３／Ｎ０４００，１９９３）がある。この公知技術では、ビットレートに余裕がある場合に量子化スケール値を小さくすることで発生するビットレートを大きくしていた。

なお、本発明は携帯電話やデジタルカメラ、デジタルビデオカメラ等の携帯機器へ適用することができる。そして、このような携帯機器の多くはバッテリー駆動であり、長時間使用するためには機器の中で多くの電力を消費する動画符号化方式の省電力化が必須である。しかし、上述した公知技術のようにフレーム内の各領域についてダイレクトモードの評価及び多くの回数の動きベクトル探索を行う場合には、記憶装置からの読み出しやブロックマッチングの回数が多くなる。一般的に記憶装置において消費される電力は読み出し・書き込みの回数に比例し、ブロックマッチング演算において消費される電力もブロックマッチングを行う回数にほぼ比例する。従って、結果として公知技術を用いた動画像符号化方式では消費される電力を考慮せずに多くの回数の動きベクトル探索を行うため、消費電力が多くなってしまうという問題があった。

この問題に対し、特許文献１には符号化対象ブロックの周波数成分等の画像特徴情報や電池の残量等の使用状況情報に応じて相関度演算手段でのサブサンプルの設定を行い、相関度演算ブロックの全てまたはその一部を選択して動作させる発明が開示されている。

また、特許文献２には、撮影画角の広い場合あるいは撮影距離の長い場合に動きベクトル探索範囲を狭くすることで消費電力を削減する発明が開示されている。

特開平１１−１３６６８２号公報 特開平１１−２０５６５６号公報

しかしながら、特許文献１に開示された発明では、既に符号化済みの動画のビットレート及び目標ビットレートを考慮に入れていない。このために、既に符号化済みの動画のビットレートが高い場合にサブサンプリングを行うことで符号化効率を更に悪化させると画質の劣化を招いてしまうという問題がある。また、サブサンプルの設定を変化させるのみではメモリからの読み出しに消費される電力は変わらず、かつサブサンプリング回路を動作させなければならないため消費電力削減効果が少ないという問題がある。

また、特許文献２に開示された発明でも同様に、動き探索範囲を狭くした場合に符号化効率が悪化し、結果として画質の劣化を招いてしまうという問題がある。また、撮影画角が狭い場合あるいは撮影距離が短い場合には常に動きベクトル探索を広い範囲で行い、消費電力が低減されないという問題がある。

本発明は上述した問題点に鑑みてなされたものであり、符号化モードを適切に選択することで低消費電力の動画像符号化方式を提供することを目的とする。また、本発明は、極端な画質劣化が起こらないようなコスト関数を設定することを目的とする。また、本発明は、より消費電力の削減効果が大きくなるような符号化モードの選択を行うことを目的とする。さらに、本発明は、低消費電力の符号化モードをより適切に選択することを目的とする。

本発明は、複数の符号化モードから一つの符号化モードを選択して動画像を符号化する動画像符号化方法であって、該符号化モードは既に符号化済みの動画のビットレート及び目標ビットレートと、各符号化モードに対応する消費電力量情報とから決定されることを特徴とする動画像符号化方法等、を提供する。

本発明によれば、符号化モードを適切に選択することで、電力の消費を低減させることができる。より具体的には図２を用いて説明する。図２は発生したビットレート（符号量）の遷移を時系列で示した図である。図２の横軸が時間、縦軸が累積符号量を示し、図中の点線が目標ビットレート、実線が既に符号化済みの動画のビットレートを示す（点線及び実線の傾きがビットレートを示している）。図２に示すようにビットレートに余裕がある場合にのみビットレートが高くなることを許容し、ダイレクトモード等の低消費電力の符号化モードを選択し低消費電力化を実現する。

また、従来例のように量子化スケール値を大きくしないので、ビットレートに余裕がある時のみ、一時的に画質が良くなるという現象はない。しかし、一時的に画質がよくなっても主観的な画質の優劣にはそれほど大きな影響を与えないことから、消費電力を削減することの方がユーザーにとってのメリットは大きいと言える。

また、本発明によれば低消費電力の符号化モードの符号化効率が著しく低い場合には低消費電力の符号化モードを適用せず、画質劣化を防ぐことが可能になる。また、本発明によれば、画像特徴情報を用いて発生する符号量を正確に予測し、符号化効率の高い符号化モード（消費電力の高い符号化モード）又は低消費電力の符号化モード（符号化効率の低いモード）をより適切に選択することが可能となる。

（第１の実施形態）
本発明の動画像符号化方式において、ダイレクトモードを用いるか否か及び最適な動きベクトルは以下のようなコスト関数を用いて決定される。
for(i=0;i<search_number;i++){
if (i=0){
ＣＯＳＴ[i] =ＳＡＤ[i] +ＭＶ[i]−ＯＦＦＳＥＴ;
if (ＣＯＳＴ[i] <Ｔｈｒ) break;
}
else{
ＣＯＳＴ[i] =ＳＡＤ[i] +ＭＶ[i]; }}
上式においてi=0がダイレクトモードについての評価を示している。また、ＯＦＦＳＥＴは以下のように定義されるオフセット量である。

上式において符号化難易度は符号量の発生しやすさを示す画像特徴情報であり、一般的には画像のアクティビティが用いられる。この画像のアクティビティについて図７を用いて説明する。図７は量子化スケール値（Ｑスケール）と発生する符号量の関係を示したグラフであり、横軸が量子化スケール値、縦軸が発生符号量を示す。図７に示すように、同じ量子化スケール値を用いた場合でも画像のアクティビティによって発生する符号量は大きくなることが分かる。よって、アクティビティが高いほど（画像の空間周波数高い、符号化難易度が高い画像ほど）符号量は発生しやすくなり、アクティビティが低いほど（画像の空間周波数が低い、符号化難易度が低いほど）符号量が発生しにくくなる。

このように発生する符号量を予想できる画像のアクティビティを抽出し、符号化モードの決定に反映させることでより適切に符号化モードを決定することができる。このアクティビティを用いない場合には実際はあまり符号量が発生しない画像であるにも関わらず、消費電力の多い、高圧縮効率の符号化モードを選択してしまう、等のデメリットが生じてしまう。

また、α_POWERは通常の動きベクトル探索での消費電力量と、低消費電力であるダイレクトモードでの消費電力量の比によって決まる消費電力情報である。この消費電力情報は、ユーザーが各符号化モードの構成や実装形態に応じて予め指定するパラメータである（α_POWERは常に正の値を取る）。通常の符号化モードと低消費電力の符号化モードとの差が大きい程、すなわち消費電力の削減効果が大きいほどα_POWERは大きくなる。また、後述するようにこのパラメータはユーザーが指定する動作モードに応じて設定することも可能である。α_POWERは常に正の値であるため、ＯＦＦＳＥＴはビットレートに余裕があればあるほど、また符号化難易度が低いほど大きくなる。

ＯＦＦＳＥＴが大きくなるとダイレクトモードに相当するコスト関数が通常の動きベクトル探索モードに比べて低くなる。よって、ダイレクトモードに対応するコスト関数の値が閾値Ｔｈｒ以下になれば、符号化モードはダイレクトモードとして決定され、動きベクトル探索は行わない。結果として当該ブロックの符号化に必要な消費電力は非常に少なくて済む。このように、ビットレートや画像特徴情報、消費電力情報に応じてダイレクトモードが選ばれやすくすることにより、低消費電力化を実現することができる。

次に、本発明における動画像符号化装置の構成を図１に示す。
図１は本発明における動画像符号化装置のブロック図で示したものである。図１に示されえるように、動画像符号化装置は、フレームメモリ101、減算器102、直交変換器103、量子化器104、スキャン処理器105、エントロピー符号化器106、逆量子化器107、逆直交変換器108、加算器109を含む。
また、動画像符号化装置は、フレームメモリ110、動きベクトル生成器111、ブロックマッチング演算器112、オフセット量生成器113、アクティビティ抽出器114、コスト関数計算器115、参照領域生成器116を含む。

フレームメモリ101は、双方向フレーム間予測を行うために、入力動画像の各フレームを複数枚保存し、フレームの処理順序を入れ替える動作を行う。
減算器102は、時間的に異なるフレームからの予測を行うフレーム間予測符号化において、入力される処理対象領域から参照領域生成器116より出力される参照領域データを減算（動き予測）して、減算結果の予測誤差を直交変換器103へ出力する。
直交変換器103は、減算器102からの入力データに対しブロック単位（このブロックと動き予測を行う領域は必ずしも一致するものではない）に直交変換を施し、直交変換係数を量子化器104へ出力する。
量子化器104は、領域内の位置に対応する量子化テーブル値と当該領域の量子化スケール値を用いて直交変換を量子化し、全ての量子化直交変換係数をスキャン処理器105及び逆量子化器107に出力する。
スキャン処理器105は、符号化モードに応じてジグザグスキャン等のスキャン処理を行う。
エントロピー符号化器106は、スキャン処理器105の出力をエントロピー符号化し、符号として出力する。

ここで図１に示す動画像符号化装置においては、動きベクトル探索及び動き予測を行うために、逆量子化器107、逆直交変換器108を用いて局所復号化処理が行われる。逆量子化器107においては当該領域の量子化スケール値を用いて当該領域の量子化直交変換係数の逆量子化が行われ、逆量子化係数を逆直交変換器108へ出力する。
逆直交変換器108は、逆量子化された直交変換係数に対し、該ブロック単位に逆直交変換を施し、復号した予測誤差を加算器109へ出力する。
加算器109は、参照領域生成器116から出力された予測値と逆直交変換器108からの復号された予測誤差を加算することにより復号化された再構成画像データとしてフレームメモリ110に記憶する。
動きベクトル生成器111は、次の処理対象領域の処理を行うために、ダイレクトモード及び動きベクトル探索に対応する動きベクトルを計算し、コスト関数計算器115へ出力する。同時にダイレクトモード又は動きベクトルに対応する参照領域をフレームメモリ110から読み出すためのアドレスを出力する。フレームメモリ110から読み出された参照領域はブロックマッチング演算器112へ出力される。

ブロックマッチング演算器112においては与えられた参照領域と処理対象領域とのブロックマッチング演算を施し、結果であるＳＡＤ値をコスト関数計算器115へ出力する。
アクティビティ抽出器114は、処理対象領域のアクティビティを計算し、オフセット量計算器113へ出力する。
オフセット量計算器113は、目標ビットレート及び発生したビットレート、消費電力量情報であるα_POWER及びアクティビティ抽出器から与えられ入力された処理対象領域のアクティビティを用いてオフセット量を計算し、コスト関数計算器115へ出力する。
コスト関数計算器115においては入力されたＳＡＤ，動きベクトル情報及びオフセット量から最適な動きベクトル又はダイレクトモードを決定し、決定した動きベクトル又はダイレクトモードの情報を参照領域生成器116へと出力する。
参照領域生成器116は、決定された動きベクトル又はダイレクトモード情報に応じて、動き予測のために対応する参照領域を減算器102へ出力する。

（第２の実施形態）
図３に本発明に係る動画像符号化方式を適用したデジタルカメラの構成図を示す。
図３はデジタルカメラ内部の構成を示した図である。デジタルカメラは、レンズ301、撮像素子302、信号処理回路303、記憶装置304、本発明を適用した動画像符号化装置305、記録媒体306、バッテリー307、ユーザーインターフェース308を含む。

撮影対象から入力された映像はレンズ301を通して撮像素子302に入力され、映像信号に変換される。変換された映像信号は信号処理回路303において色空間変換やノイズ除去等が行われる。
信号処理回路303から出力された映像信号は処理速度を調整するために一時記憶装置304へ記憶される。記憶装置304から読み出された映像信号は動画像符号化装置305へ入力され、符号化データとして出力される。出力された符号化データはフラッシュメモリ等の記録媒体306に記録される。
バッテリー307は動画像符号化装置305を始めとする機器全体へ電力を供給する。

ここでユーザーはユーザーインターフェース308を通じて撮影や再生等の処理と共に、動画像符号化装置305の動作モードの指定を行う。この動作モードとしてユーザーは高圧縮効率モードか低消費電力モードのいずれかを選択できる。高圧縮モードが選択された場合には消費電力が多くなってもなるべく高い圧縮効率を実現するため、動画像符号化装置305における消費電力量情報α_POWER（第１の実施形態を参照）は小さくなる。
一方、低消費電力モードでは圧縮効率が低くなっても低い消費電力で符号化を行うため、動画像符号化装置305における消費電力量情報α_POWERは大きくなる。低消費電力モードでは動画像符号化装置305で消費される電力は小さくなるため、バッテリー307をより長い時間使用することができる。

ユーザーは所持しているメディアの容量が小さい場合には撮影時間はメディア容量に制限されることから高圧縮モードを選択すればよい。もし所持しているメディアの容量が十分大きい場合には撮影時間はデジタルカメラに搭載されているバッテリー容量及び消費電力に制限されることから低消費電力モードを選択すればよい。
このように本発明によればユーザーは所持しているメディア等に応じて適切に動作モードを選択することにより、より長い撮影時間を確保できるというメリットを享受できる。

上述した本発明の実施形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

第１の実施形態に係る動画像符号化装置の構成を示す図である。 第１の実施形態に係る発生符号量の時系列での遷移を示す図である。 第２の実施形態に係る撮像装置の構成を示す図である。 フレーム間予測の概念を示す図である。 双方向フレーム間予測の概念を示す図である。 双方向フレーム間予測におけるダイレクトモードを示す図である。 量子化スケール値と発生符号量の関係を示す図である。

符号の説明

101 フレームメモリ
102 減算器
103 直交変換器
104 量子化器
105 スキャン変換器
106 エントロピー符号化器
107 逆量子化器
108 逆直交変換器
109 加算器
110 フレームメモリ
111 動きベクトル生成器
112 ブロックマッチング演算器
113 オフセット量生成器
114 アクティビティ抽出器
115 コスト関数計算器
116 参照領域生成器
301 レンズ
302 撮像素子
303 信号処理回路
304 記憶装置
305 動画像符号化装置
306 記録媒体
307 バッテリー
308 ユーザーインターフェース

Claims (4)

1. 複数の符号化モードから一つの符号化モードを選択して動画像を符号化する動画像符号化方法であって、
   前記選択される符号化モードは、既に符号化済みの動画のビットレートと、目標ビットレートと、各符号化モードに対応する消費電力量情報と、から決定されることを特徴とする動画像符号化方法。
2. 前記選択される符号化モードは、コスト関数を用いて決定され、前記コスト関数はブロックマッチングにより計算される符号量推定情報と、動きベクトルの符号量情報と、各符号化モードに対応する消費電力量情報を用いて決定されるオフセット量と、により決定されることを特徴とする請求項１に記載の動画像符号化方法。
3. 前記選択される符号化モードは、双方向フレーム間予測符号化方式を含み、該双方向フレーム間予測符号化方式は動きベクトル情報を符号化するモードと、動きベクトル情報を符号化しないモードとを備えることを特徴とする請求項１又は２に記載の動画像符号化方法。
4. 前記選択される符号化モードは、入力動画像の画像特徴情報を用いて決定されることを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化方法。

Images