JP5038367B2 - スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム - Google Patents

Description

本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムとに関し、特に、符号化時間の削減を実現するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムとに関する。

近年の多様な表示端末・ネットワーク環境の背景を受け、ＪＶＴ（Joint Video Team：合同ビデオ・チーム）では、ＡＶＣ(Advanced Video Coding：高度動画像圧縮符号化標準）に対して、空間／時間／ＳＮＲのスケーラビリティを付与した符号化方式ＳＶＣ（Scalable Video Coding)が検討されている（例えば、非特許文献１参照）。

ＳＶＣでは、Ｉnter予測、Ｉntra予測、レイヤ間予測の３つの予測方法を取り入れており、時間、空間、レイヤ間に内在する冗長性除去を行う。ＳＶＣでとり得る予測モードを下記に列挙する。

〔Ｉnter予測〕
・Ｓkip モード（Ｓkip ）
・Ｄirect モード（Ｄirect ）
・１６×１６ブロックサイズ動き予測モード（Ｐ１６×１６）
・１６×８ブロックサイズ動き予測モード（Ｐ１６×８）
・８×１６ブロックサイズ動き予測モード（Ｐ８×１６）
・８×８ブロックサイズ動き予測モード（Ｐ８×８）
〔Ｉntra予測〕
・１６×１６ブロックサイズＩntra予測モード（Ｉ１６×１６）
・８×８ブロックサイズＩntra予測モード（Ｉ８×８）
・４×４ブロックサイズＩntra予測モード（Ｉ４×４）
〔レイヤ間予測〕
・ＢＬＳkip モード（ＢＬＳkip ）
・ＩntraＢＬモード（ＩntraＢＬ）
Ｐ８×８を行う場合の各８×８ブロックは、さらに８×４、４×４、４×４のブロックサイズに分割可能である。ＳＶＣでは、マクロブロックごとに、これらの予測モード探索候補の中から１つを最適予測モードとして選択する。

最適予測モードの決定方法の例を以下に挙げる。

ＪＶＴがＳＶＣの参照エンコーダとして提供しているＪＳＶＭ（例えば、非特許文献２参照）では、各予測モードにおいて符号量と符号化歪みとからなる符号化コストを計算し、上に挙げたすべての予測モード中で最も符号化コストが小さくなる予測モードを最適として定める。

また、下記に示す特許文献１では、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルを生成し、それによって動いたマクロブロックの各画素の座標を求め、画素が一致する回数を各画素毎にカウントする。そして、符号化対象マクロブロック内の各画素のカウント数から算出されるスコアの値の大小に従って予測モード探索候補の絞り込みを行う。本絞り込み方法はＨ．２６４／ＡＶＣの予測モード探索高速化のために提案されたものであるが、Ｈ．２６４／ＡＶＣと同じ予測モード探索の仕組みであるＳＶＣにおいても適用可能である。

また、下記に示す特許文献２では、フレーム内符号化を高速で行うことができるようにするために、近接符号化ブロックの画素値を用いてフレーム内符号化を行うブロックの例えば９通りの画面内予測誤差を求めて、それに基づいてそのブロックの予測モードを決定する。次に、近接既符号化ブロックの画面内予測モードを用いてそのブロックの予測モードを決定して、その２つの予測モードが一致する場合には、そのままその予測モードを選択し、一致しない場合は、符号化コストの小さい方の予測モードを選択するようにしている。

しかしながら、非特許文献２のＪＳＶＭにおける最適予測モードの決定方法では、予測モード探索候補の絞り込みを行っていないため、高い符号化性能を実現できる反面、予測モード探索に莫大な時間を要する。マクロブロック内の画像の特性を考慮すれば明らかに選ばれる可能性が低い予測モード（例えば、静止領域におけるＩntra予測モード）も探索しており無駄が多い。

また、特許文献１の予測モード探索候補の絞り込みは、Ｉntra予測をするのか否かの判定を下す方法であるため、Ｉntra予測モードの探索と比べて長い計算時間を要するＩnter予測モード探索の削減効果はない。つまり、Ｉnter予測モード探索については、改良の余地をそのまま残している。

また、特許文献２の予測モード探索候補の絞り込みは、Ｉntra予測のみの絞り込みであるため、特許文献１の予測モード探索候補の絞り込みと同様に、Ｉntra予測モードの探索と比べて長い計算時間を要するＩnter予測モード探索の削減効果はない。つまり、Ｉnter予測モード探索については、改良の余地をそのまま残している。

このようなことを背景にして、本発明者は、下記の非特許文献３で、予測モードの使用に制限を設けることなく行ったスケーラブル動画像符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックで選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めることで、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成するようにして、上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得して、その取得した最適予測モードの情報とその対応表とに基づいて、上位レイヤのブロックの符号化で探索する予測モードの探索候補を絞り込むようにするという発明を開示した。

特開２００６−０３３４５１号公報 特開２００５−１８４２４１号公報

T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien :"Joint Draft ITU-T Rec. H.264｜ISO/IEC 14496-10 / Amd.3 Scalable video coding," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X201,2007. http://ftp3.itu.ch/av-arch/jvt-site/2007＿06＿Geneva/JVTX201.zip J. Reichel, H. Schwarz and M. Wien: "Joint Scalable Video Model JSVM-11," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007＿06＿Geneva/JVTX202.zip 早瀬和也, 坂東幸浩, 高村誠之, 上倉一人, 八島由幸： "ＳＶＣにおけるレイヤ間予測モード相関性を利用したモード選択高速化",画像符号化シンポジウムPCSJ2008.

本発明者が非特許文献３で開示した発明は、スケーラブル動画像符号化におけるレイヤ間の予測モードの相関性を利用して、拡張レイヤにおけるマクロブロックの予測モードの探索候補を絞り込むようにすることから、スケーラブル動画像符号化の高速化を実現することができるようになる。

しかしながら、非特許文献３で開示した発明では、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応するというレイヤ構造を想定しており、そのようなレイヤ構造を持たない場合には適用できないという問題が残されている。

すなわち、非特許文献３で開示した発明は、上位レイヤと下位レイヤとの間に２のべき乗の解像度スケーラビリティが成立する場合には適用できるものの、２のべき乗の解像度スケーラビリティが成立しない場合には、拡張レイヤのマクロブロックの直下の画像領域に複数の最適予測モードが存在することになることから適用できないのである。

ちなみに、上位レイヤの映像から一部の映像を切り出すことで下位レイヤの映像を生成する場合にも、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないレイヤ構造をとることになり、この問題は、そのような場合にも同様に発生することになる。

本発明はかかる事情に鑑みてなされたものであり、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行い高速化する新たなスケーラブル動画像符号化技術の実現を目的とするものであり、さらに、この実現にあたって、レイヤ構造が上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しない構造をとる場合に、その高速化を実現できるようにすることを目的とする。

〔１〕本発明の基本的な考え方
この目的を達成するために、本発明では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、
（ｉ）予測モード対応率表（レイヤ間の最適予測モードの相関性について記述する
表）の生成
（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
という２つの処理によって予測モード探索の高速化を実現する。

このとき、レイヤ構造が上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しない構造をとることを考慮して、予測モード対応率表を生成するように処理するとともに、そのことを考慮して、予測モード対応率表を使った予測モード探索候補の絞り込みを実行するように処理する。

以降、図１のような例に従って説明を進める。すなわち、レイヤＬとレイヤＬ−１の両方が、ＩＢＢＢＰの階層的Ｂ構造で符号化をしていると仮定する。図中の矢印は予測参照先を示している。符号化対象レイヤをＬ、符号化対象フレームをＢ２ｂとし、予測モード対応率表の生成対象フレームをＢ２ａとする。また、Ｂ２ｂの同一時刻のレイヤＬ−１のフレームをＢ’２ｂ、Ｂ２ａの同一時刻のレイヤＬ−１のフレームをＢ’２ａとする。時間レベルが低い順に符号化され、同一時間レベル中では時間が早いフレーム順に符号化されるとする。また、レイヤはレベルが小さい順に符号化されるとする。

次に、図２に示すフローチャートに従って、本発明の処理の大きな流れについて説明する。

本発明では、動画像をスケーラブル符号化する場合、図２のフローチャートに示すように、まず最初に、ステップＳ１０１で、変数ｎに１をセットし、続くステップＳ１０２で、全てのフレームを符号化したのか否かを判断して、全てのフレームを符号化したことを判断する場合には、処理を終了する。

一方、ステップＳ１０２の判断処理に従って、全てのフレームを符号化していないことを判断するときには、ステップＳ１０３に進んで、先頭フレームからの順番に従って、未処理のフレームを１つ選択し、続くステップＳ１０４で、使用可能なものとして定義された予測モードの使用に制限を加えることなく予測を行うことで、その選択したフレームを符号化する。

続いて、ステップＳ１０５で、変数ｎの値を１つインクリメントし、続くステップＳ１０６で、変数ｎの値が所定の閾値Ｎ１（Ｎ１は１以上の整数）よりも大きくなったのか否かを判断して、閾値Ｎ１よりも大きくなっていないことを判断するときには、ステップＳ１０２の処理に戻ることで、使用可能なものとして定義された予測モードの使用に制限を加えることなくフレームを符号化することを続行する。

一方、ステップＳ１０６の判断処理で、変数ｎの値が閾値Ｎ１よりも大きくなったことを判断するときには、ステップＳ１０７に進んで、後述するようなデータ構造を持つ、レイヤ間の最適予測モードの相関性について記述する予測モード対応率表を生成する。

続いて、ステップＳ１０８で、変数ｎに１をセットし、続くステップＳ１０９で、全てのフレームを符号化したのか否かを判断して、全てのフレームを符号化したことを判断する場合には、処理を終了する。

一方、ステップＳ１０９の判断処理に従って、全てのフレームを符号化していないことを判断するときには、ステップＳ１１０に進んで、先頭フレームからの順番に従って、未処理のフレームを１つ選択し、続くステップＳ１１１で、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ予測を行うことで、その選択したフレームを符号化する。

続いて、ステップＳ１１２で、変数ｎの値を１つインクリメントし、続くステップＳ１１３で、変数ｎの値が所定の閾値Ｎ２（Ｎ２は１以上の整数）よりも大きくなったのか否かを判断して、閾値Ｎ２よりも大きくなっていないことを判断するときには、ステップＳ１０９の処理に戻ることで、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつフレームを符号化することを続行する。

一方、ステップＳ１１３の判断処理で、変数ｎの値が閾値Ｎ２よりも大きくなったことを判断するときには、予測モード対応率表を更新する必要があることを判断して、ステップＳ１０１の処理に戻ることで、予測モード対応率表を更新しつつ、ステップＳ１０１〜ステップＳ１１３の処理を続行する。

このように、本発明では、動画像をスケーラブル符号化する場合に、Ｎ１枚のフレームを符号化した後、その符号化結果に基づいて、レイヤ間の最適予測モードの相関性について記述する予測モード対応率表を生成し、続いて、それに続くＮ２枚のフレームの符号化に入って、その生成した予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ、そのＮ２枚のフレームを符号化することを繰り返していくように処理するのである。

（ｉ）予測モード対応率表の生成処理
次に、ステップＳ１０７で実行する予測モード対応率表の生成処理について説明する。以降の説明は、レイヤＬ−１がレイヤＬの映像の切り出し処理によって生成される任意倍率の空間スケーラブル符号化を行う場合の例である。

ここで、この切り出し処理では、例えば、レイヤＬの映像の上下左右の端の部分を取り除くことでレイヤＬ−１の映像を生成することになり、これにより、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないレイヤ構造をとることになる。

ステップＳ１０４の処理に従って、図１に示す予測モード対応率表の生成対象フレームＢ２ａとその直下のＢ’２ａはすでに符号化済みであり、最適予測モードはすでに選択されている。

フレームＢ２ａとＢ’２ａの符号化時には、選択された最適予測モードの情報をバッファに格納しておく。そして、そのバッファに格納されるフレームＢ２ａのマクロブロック（以下、ＭＢと略記する）の最適予測モードと、フレームＢ’２ａの空間的に対応する画像領域に含まれるブロックが属するＭＢの最適予測モードとの対応関係を調べる。

図３に、これらの空間的な位置関係を示す。レイヤＬ−１の映像がレイヤＬの映像を切り取ることによって生成された場合、フレームＢ２ａのＭＢと空間的に対応するフレームＢ’２ａのブロックは最大４つ存在しうる。ここでは例として、４つ存在しうるとし、それらのブロックをそれぞれＢＬＫ１〜ＢＬＫ４と定める。

予測モード対応率表の生成は、以降に記す２つの手順で行われる。

まず、フレームＢ２ａのＭＢがある予測モードであるとき、その直下のフレームＢ’２ａのＢＬＫ１〜４ではどの予測モードが選択されているのかを解析し、その対応する組み合わせの画素数を計算する。そして、その画素数を図４に示すような表の各セルに入力していき、その数値を累積加算していく。例えば、フレームＢ２ａでＰ１６×１６が選択されたＭＢの直下の画像領域の２５画素においてＰ８×１６が選択された、ということになる。

次に、図５に示すような予測モード対応率表を生成する。図５の数値は、図４の横軸の各予測モードの累積画素数で各セルの画素数を割ったものである。これは、フレームＢ’２ａのある画像領域においてある予測モードが選ばれているときに、その直上のフレームＢ２ａのＭＢで選ばれた各予測モードの割合を示している。

フレームＢ２ａやＢ’２ａにおける最適予測モードの選択方法は、非特許文献２に記したＪＳＶＭの方法でもよいし、特許文献１に記したような予測モード探索候補の絞り込みを行う方法でもよい。また、この例では、予測モード対応率表の生成対象フレームは符号化対象フレームと同一時間レイヤの符号化済みフレーム１枚としているが、これに限らない。異なる時間レイヤの符号化済みフレーム（例えば、フレームＢ１）を生成対象としてもよい。また、複数のフレームを生成対象（例えば、フレームＢ１とＢ２ａ）として、その複数のフレームの累積で予測モード対応率表を計算してもよい。つまり、符号化対象レイヤおよびその直下レイヤにおいて符号化済みのフレームであれば、予測モード対応率表の生成対象フレームと成りうる。

（ii）予測モード対応率表を使った予測モード探索候補の絞り込み処理
次に、ステップＳ１１１で実行する予測モード対応率表を使った予測モード探索候補の絞り込み処理について説明する。

ステップＳ１０７で生成した予測モード対応率表中の予測モード対応率の値に従って、符号化対象フレームＢ２ｂの各ＭＢにおいて、予測モード探索候補を絞り込む。この予測モード対応率表の中の数値を、符号化対象フレームＢ２ｂにおける各予測モードの発生確率とみなす。つまり、フレームＢ’２ｂのある画像領域において最適予測モードｊ（図５に示す予測モード対応率表の縦軸の予測モード）が選択されているときに、符号化対象フレームＢ２ｂの空間的に対応する画像領域が属するＭＢにおいて予測モードｉ（図５に示す予測モード対応率表の横軸の予測モード）が最適となる確率が各セルに記述されている、とみなす。

符号化対象フレームＢ２ｂの符号化対象マクロブロックをＭＢ_L と表記し、ＭＢ_L と空間的に同一位置にあるレイヤＬ−１のフレームＢ’２ｂのブロックをＢＬＫ１_L-1 、ＢＬＫ２_L-1 、ＢＬＫ３_L-1 、ＢＬＫ４_L-1 と表記する。

まず、下記の（ａ）〜（ｃ）に示す３つのいずれかの方法に従って、予測モード対応率表の縦軸ｊに入力する参照予測モードを決定する。

ここで、参照予測モードについては、１つの予測モードを参照予測モードとして決定することも可能であるし、複数の予測モードを参照予測モードとして決定することも可能であるが、下記に示す例では、１つの参照予測モードを決定することを想定している。

（ａ）累積面積が最大となる予測モード
ＢＬＫ１_L-1 〜ＢＬＫ４_L-1 の内で、累積の面積が最大となるブロックの予測モードを同定し、それを予測モード対応率表の参照予測モードとする。このとき、累積面積が同じになる予測モードがある場合には、あらかじめ決められた手法に従って決定する。例えば、後述の（ｂ）や（ｃ）の手法などが考えられる。累積面積の対象となるブロックは、ＢＬＫ１_L-1 〜ＢＬＫ４_L-1 にとどまる必要はない。あらかじめ決められた範囲にある当該領域の周囲のブロックを含めてもよい。さらに、距離情報などを参考に、それらの面積に重み付けをして累積を求めてもよい。

（ｂ）優先順位が最も高い予測モード
あらかじめ初期の予測モード間で優先順位付けを行っておき、ＢＬＫ１_L-1 〜ＢＬＫ４_L-1 がとりうる各予測モードの中で、最も優先順位の高い予測モードを同定し、それを予測モード対応率表の参照予測モードとする。この優先順位のつけ方として例としては、高速性を重視して絞り込みが厳しく行われる順に優先順位を高くする方法や、反対に、符号化性能を重視して絞り込みが少ない順に優先順位を高くする方法などが考えられる。

（ｃ）レイヤ間予測で参照する予測モード
レイヤ間で参照する予測モードを調査し、それを予測モード対応率表の参照予測モードとする。

このようにして、予測モード対応率表の縦軸ｊに入力する参照予測モードを決定すると、次に、予測モード対応率表と参照予測モードとを照合し、符号化対象マクロブロックＭＢ_L において各予測モードが最適となりうる確率を調査する。ここで、参照予測モードは図５の縦軸に入力される予測モードとなる。そして、この最適予測モードとなりうる確率をもとに予測モード探索候補を絞り込む。下記に、絞り込みの例を２つ示す。

（イ）絞り込み手法１
絞り込み手法１は、予測モード探索候補絞り込み閾値を用いて予測モード探索候補を絞り込む手法である。

この絞り込み手法１では、予測モード探索候補絞り込み閾値ｔ％を設け、この閾値ｔ％未満の予測モードを探索候補から除外する。閾値ｔの値は外部より与える。値の決定方法としては、符号化性能の劣化を許容範囲以内に抑える値を複数回のエンコード処理により決定する方法が一例に考えられる。

ここで、参照予測モードの情報を取得した時点に、予測モード対応率表からＭＢ_L における各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、予測モード探索候補絞り込み閾値と比較するという方法を用いると、その比較処理が煩雑なものとなる。

そこで、前もって、予測モード対応率表の対応率を予測モード探索候補絞り込み閾値で閾値処理しておいて、予測モード対応率表の対応率を２値化しておくようにする。

図６に、図５に示す予測モード対応率表において予測モード探索候補絞り込み閾値５％と設定した場合の予測モード探索候補の絞り込み結果を図示する。図中に示す○が探索候補、×が探索候補から除外された予測モードを示している。

（ロ）絞り込み手法２
絞り込み手法２は、予測モード対応率が最大となる予測モードのみを探索候補と設定する手法である。

予測モード対応率が最大となる予測モードを探索候補として設定する。通常はここで１つの予測モードに絞られるが、最大値を与える予測モード探索候補が複数ある場合には、それらをすべて探索候補として設定する。

ここで、参照予測モードの情報を取得した時点に、予測モード対応率表からＭＢ_L における各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、その中から最大値の対応率を特定するという方法を用いると、その特定処理が煩雑なものとなる。

そこで、前もって、予測モード対応率表の対応率の中に含まれる最大値の対応率を特定しておいて、予測モード対応率表の対応率を２値化しておくようにする。

図７に、図５に示す予測モード対応率表において最大値の予測モードを予測モード探索候補として設定した場合の絞り込み結果を図示する。図中に示す○が探索候補、×が探索候補から除外された予測モードを示している。

〔２〕本発明の構成
次に、本発明の構成について説明する。

本発明のスケーラブル動画像符号化装置は、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないレイヤ構造を処理対象とするスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する生成手段と、（２）上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する取得手段と、（３）取得手段の取得した最適予測モードの中から処理対象の最適予測モードを選択する選択手段と、（４）選択手段の選択した最適予測モードと生成手段の生成した対応表に記述される発生率とに基づいて、その対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する決定手段と、（５）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御手段とを備えるように構成する。

この構成をとるときに、選択手段は、上位レイヤのブロックと下位レイヤの画像領域との重なりの大きさに基づいて、処理対象の最適予測モードを選択したり、あらかじめ設定された予測モードの優先順位に基づいて、処理対象の最適予測モードを選択したり、レイヤ間予測で参照する予測モードがある場合には、その予測モードを優先する形で処理対象の最適予測モードを選択することがある。

ここで、選択手段は、取得手段の取得した最適予測モードのすべてを処理対象の最適予測モードとして選択するようにしてもよい。

また、生成手段は、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないことを考慮して、上位レイヤのブロックで選択された最適予測モードのそれぞれについて、そのブロックの直下の下位レイヤの画像領域の画素数をその画像領域で選択された最適予測モード毎に集計して、その集計結果に基づいて対応表を生成することがある。

このように構成される本発明のスケーラブル動画像符号化装置では、選択手段は、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないことで、取得手段の取得した最適予測モードが複数となることがあることを考慮して、その中から処理対象の最適予測モードを選択する。

例えば、取得手段の取得した最適予測モードの中から処理対象となる１つの最適予測モードを選択する場合、取得手段の取得した最適予測モードが１つである場合には、その最適予測モードを選択し、一方、取得手段の取得した最適予測モードが複数である場合には、上位レイヤのブロックと最も重なりの大きい直下の下位レイヤの画像領域で選択された最適予測モードを選択したり、あらかじめ設定された予測モードの優先順位に従って、その複数の最適予測モードの中の最も優先順位の高い最適予測モードを選択したり、その複数の最適予測モードの中にレイヤ間予測で参照する予測モードがある場合には、その予測モードを選択する。

ここで、選択手段の選択した最適予測モードが前述した参照予測モードに相当することになる。

この選択手段による選択処理を受けて、決定手段は、選択手段の選択した最適予測モードの情報をキーにして対応表を参照することで、その最適予測モードに対応付けられる発生率を特定して、その特定した発生率に含まれる所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率に含まれる最も大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率に含まれるその値の大きな順に選択される所定の個数の発生率を持つ最適予測モードの組み合わせを抽出し、そして、その抽出した最適予測モードの組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する。

さらに、決定手段による決定処理が効率的な処理になることを実現するために、本発明のスケーラブル動画像符号化装置は、前もって、対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成するようにする。

この場合には、本発明のスケーラブル動画像符号化装置は、（１）予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する対応表生成手段と、（２）対応表生成手段の生成した対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成手段と、（３）上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する取得手段と、（４）取得手段の取得した最適予測モードの中から処理対象の最適予測モードを選択する選択手段と、（５）選択手段の選択した最適予測モードを組み合わせに持つ予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する決定手段と、（６）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御手段とを備えるように構成する。

この構成をとるときに、予測モード対応情報生成手段は、図６に示すように、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、図７に示すように、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成することがある。

以上の各処理手段が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

本発明では、上位レイヤのブロックと下位レイヤのブロックとが空間的に１対１に対応しないレイヤ構造を処理対象とするスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行うことから、符号化時間を削減することができるようになる。

そして、本発明では、予測モード探索候補を絞り込むことで符号化時間の削減を図るときに、符号化済みフレームにおけるレイヤ間の最適予測モードの対応関係をもとに、その絞り込みを行うことから、最適予測モードが絞り込みによって省かれてしまう危険性を回避できることで、予測モード探索候補を絞り込むことにより発生する可能性がある符号化性能の低下を抑制することができるようになる。

予測モード対応率表の生成対象となるフレームと符号化対象フレームとの一例を示す説明図である。 本発明の処理の大きな流れを示すフローチャートである。 上位レイヤと下位レイヤの空間的な位置関係の説明図である。 予測モード対応率表の生成のために作成される表の説明図である。 予測モード対応率表の説明図である。 予測モード探索候補の絞り込み結果の説明図である。 予測モード探索候補の絞り込み結果の説明図である。 本発明により実行されるスケーラブル動画像符号化処理のフローチャートである。 本発明により実行されるスケーラブル動画像符号化処理のフローチャートである。 本発明により実行されるスケーラブル動画像符号化処理のフローチャートである。 本発明を具備するスケーラブル動画像符号化装置の装置構成図である。 本発明を具備するスケーラブル動画像符号化装置の装置構成図である。 本発明を具備するスケーラブル動画像符号化装置の装置構成図である。 本発明の有効性を説明するための図である。

以下、実施の形態に従って本発明を詳細に説明する。

図８〜図１０に、本発明により実行されるスケーラブル動画像符号化処理のフローチャートを図示する。

図８は、本発明により実行されるスケーラブル動画像符号化処理の全体的なフローチャートであり、図９と図１０のそれぞれは、図８のフローチャートのステップＳ２０１で実行する処理の詳細なフローチャートの一例である。

次に、これらのフローチャートに従って、本発明により実行されるスケーラブル動画像符号化処理について詳細に説明する。

ここで、本発明の符号化処理は拡張レイヤに対する処理であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。

まず最初に、図８のフローチャートで実行するステップＳ２０１〜ステップＳ２０６の処理について説明する。

ステップＳ２０１：符号化対象マクロブロック（ＭＢ）において探索する予測モード探索候補の初期値を読み込み、最終的に符号化対象ＭＢにおいて探索する予測モードの探索候補を決定して、レジスタに格納する。本処理の詳細については、図９および図１０で後述する。

ステップＳ２０２：ステップＳ２０１の処理によって格納された予測モード探索候補の情報をレジスタより読み込み、各予測モード探索候補の探索を実行し、符号化に利用する最適予測モードを１つ決定して、その情報をレジスタに格納する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。

ステップＳ２０３：符号化対象ＭＢにおける最適予測モードの情報をレジスタより読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに格納する。

ステップＳ２０４：予測残差信号をバッファより読み込み、その予測残差信号の符号化を行い、符号化データをバッファに格納する。本処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭにおける、ＤＣＴ、量子化、可変長符号化の一連処理が挙げられる。

ステップＳ２０５：全てのＭＢの符号化が完了したのか否かの判定処理を行い、全てのＭＢの符号化が完了した場合には符号化処理を終了し、バッファより各ＭＢの符号化データおよび必要なその他のヘッダ情報を読み込み、最終的な符号化データとして出力する。一方、全てのＭＢの符号化が完了していない場合にはステップＳ２０６の処理に移る。

ステップＳ２０６：次の符号化対象ＭＢに移り、ステップＳ２０１の処理を行う。

次に、図９のフローチャートで実行するステップＳ３０１〜ステップＳ３０７の処理について説明することで、ステップＳ２０１で実行する処理の具体的な内容の一例について説明する。

ステップＳ３０１：符号化対象ＭＢが本発明を適用する予測モード探索候補絞り込み対象ＭＢであるのか否かについて指定する情報を読み込み、予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ３０２の処理に移り、予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補の初期値を最終的な予測モード探索候補として出力する。

ステップＳ３０２：予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部より読み込み、その指定フレームの予測モード情報をレジスタに格納する。

ステップＳ３０３：予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込み、符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。すなわち、前述した手順に従って、図４に示すような予測モード対応率表の生成のための表を作成して、それに基づいて、図５に示すような予測モード対応率表を生成してレジスタに格納するのである。

ステップＳ３０４：符号化対象ＭＢの直下画像領域における１つ以上の最適予測モード群を読み込み、ある規範に従って、その中から予測モード対応率表の縦軸に用いる参照予測モードを１つ決定して、それをレジスタに出力する。ここで、参照予測モード決定の規範の例としては、前述した、（ａ）累積面積が最大となる予測モード、（ｂ）優先順位が最も高い予測モード、（ｃ）レイヤ間予測で参照する予測モード、などが適用可能である。

ステップＳ３０５：参照予測モードに対応付けられる予測モード対応率表部分の情報を読み込み、それをバッファに格納する。

ステップＳ３０６：予測モード探索候補絞り込み閾値を読み込み、それをレジスタに格納する。

ステップＳ３０７：参照予測モードに対応付けられる予測モード対応率表部分の情報をバッファより読み込むとともに、予測モード探索候補絞り込み閾値をレジスタより読み込み、対応率（発生率）が予測モード探索候補絞り込み閾値以上の予測モードのみを予測モード探索候補として設定して、その情報をレジスタに格納する。ここで、この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納することになる。

このようにして、図８のフローチャートでは、図９のフローチャートの処理に従ってステップＳ２０１の処理を実行する場合には、図５に示すようなデータ構造を持つ予測モード対応率表に基づいて、図６に示すような形態で予測モード探索候補を絞り込むように処理するのである。

次に、図１０のフローチャートで実行するステップＳ４０１〜ステップＳ４０６の処理について説明することで、ステップＳ２０１で実行する処理の具体的な内容の他の一例について説明する。

ステップＳ４０１：符号化対象ＭＢが本発明を適用する予測モード探索候補絞り込み対象ＭＢであるのか否かについて指定する情報を読み込み、予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ４０２の処理に移り、予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補の初期値を最終的な予測モード探索候補として出力する。

ステップＳ４０２：予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部より読み込み、その指定フレームの予測モード情報をレジスタに格納する。

ステップＳ４０３：予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込み、符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。すなわち、前述した手順に従って、図４に示すような予測モード対応率表の生成のための表を作成して、それに基づいて、図５に示すような予測モード対応率表を生成してレジスタに格納するのである。

ステップＳ４０４：符号化対象ＭＢの直下画像領域における１つ以上の最適予測モード群を読み込み、ある規範に従って、その中から予測モード対応率表の縦軸に用いる参照予測モードを１つ決定して、それをレジスタに出力する。ここで、参照予測モード決定の規範の例としては、前述した、（ａ）累積面積が最大となる予測モード、（ｂ）優先順位が最も高い予測モード、（ｃ）レイヤ間予測で参照する予測モード、などが適用可能である。

ステップＳ４０５：参照予測モードに対応付けられる予測モード対応率表部分の情報を読み込み、それをバッファに格納する。

ステップＳ４０６：参照予測モードに対応付けられる予測モード対応率表部分の情報をバッファより読み込み、対応率（発生率）が最大の予測モードのみを予測モード探索候補として設定し、その情報をレジスタに格納する。ここで、この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納することになる。

このようにして、図８のフローチャートでは、図１０のフローチャートの処理に従ってステップＳ２０１の処理を実行する場合には、図５に示すようなデータ構造を持つ予測モード対応率表に基づいて、図７に示すような形態で予測モード探索候補を絞り込むように処理するのである。

図１１〜図１３に、本発明を具備するスケーラブル動画像符号化装置の装置構成を図示する。

図１１は、本発明を具備するスケーラブル動画像符号化装置の全体的な装置構成であり、図１２と図１３のそれぞれは、図１１に示す予測モード探索候補決定部１０２の詳細な装置構成の一例である。

次に、これらの装置構成図に従って、本発明を具備するスケーラブル動画像符号化装置について詳細に説明する。

ここで、本発明を具備するスケーラブル動画像符号化装置は、拡張レイヤに対する処理装置であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。

まず最初に、図１１に従って、本発明を具備するスケーラブル動画像符号化装置の全体構成について説明する。

予測モード探索候補初期値記憶部１０１：予測モード探索候補の初期値を読み込み、レジスタに出力する。

予測モード探索候補決定部１０２：予測モード探索候補の初期値を読み込み、最終的に探索する予測モード探索候補を決定し、その最終的に決定した予測モード探索候補の情報をレジスタに出力して、最適予測モード決定部１０３に移る。本処理部の詳細な構成については、図１２および図１３で後述する。

最適予測モード決定部１０３：予測モード探索候補をレジスタより読み込み、各予測モード探索候補について探索を実行し、符号化に利用する最適予測モードを１つ決定して、その情報を最適予測モード記憶部１０４に出力する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。

予測残差信号生成部１０５：最適予測モード記憶部１０４より符号化対象ＭＢにおける最適予測モードを読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに出力する。

予測残差信号符号化部１０６：符号化対象ＭＢにおける予測残差信号をバッファより読み込み、その予測残差信号の符号化を行い、符号化データをバッファに出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。

全ＭＢ完了判定部１０７：全てのＭＢの符号化が完了したのか否かの判定処理を行い、全てのＭＢの符号化が完了した場合には符号化処理を終了して、最終的な符号化データを出力し、全てのＭＢの符号化が完了していない場合には符号化対象ＭＢ更新部１０８の処理に移る。

符号化対象ＭＢ更新部１０８：次の符号化対象ＭＢに移り、予測モード探索候補決定部１０２の処理を行う。

次に、図１２に従って、予測モード探索候補決定部１０２の詳細な構成の一例について説明する。

予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１：予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。

予測モード探索候補絞り込み対象ＭＢ判定部２０２：予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１より予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行い、絞り込みを行うＭＢである場合には予測モード対応率表生成部２０６の処理に移り、絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。

予測モード対応率計算対象フレーム指定情報記憶部２０３：予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。

対象フレーム拡張レイヤ最適予測モード記憶部２０４：予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。

対象フレーム直下レイヤ最適予測モード記憶部２０５：予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。

予測モード対応率表生成部２０６：対象フレーム拡張レイヤ最適予測モード記憶部２０４より予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込むとともに、対象フレーム直下レイヤ最適予測モード記憶部２０５より予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込んで、符号化対象レイヤのマクロブロックとその直下の画像領域との間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部２０７に出力する。すなわち、前述した手順に従って、図４に示すような予測モード対応率表の生成のための表を作成して、それに基づいて、図５に示すような予測モード対応率表を生成して予測モード対応率表記憶部２０７に出力するのである。

参照予測モード決定部２０８：対象フレーム直下レイヤ最適予測モード記憶部２０５より、直下レイヤにおける１つ以上の最適予測モード群を読み込み、ある規範に従って、その中から予測モード対応率表の縦軸に用いる参照予測モードを１つ決定して、それを参照予測モード記憶部２０９に出力する。ここで、参照予測モード決定の規範の例としては、前述した、（ａ）累積面積が最大となる予測モード、（ｂ）優先順位が最も高い予測モード、（ｃ）レイヤ間予測で参照する予測モード、などが適用可能である。

予測モード対応率絞り込み閾値記憶部２１０：予測モード探索候補絞り込み閾値を読み込み、レジスタに出力する。

予測モード対応率閾値比較部２１１：予測モード対応率表記憶部２０７より予測モード対応率表を読み込むとともに、参照予測モード記憶部２０９より参照予測モードを読み込み、さらに、予測モード対応率絞り込み閾値記憶部２１０より予測モード対応率絞り込み閾値を読み込んで、参照予測モードに対応付けられる符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が予測モード対応率絞り込み閾値以上の予測モードのみを最終的な予測モード探索候補として設定して、出力する。

このようにして、図１２に示す装置構成では、図５に示すようなデータ構造を持つ予測モード対応率表に基づいて、図６に示すような形態で予測モード探索候補を絞り込むように処理するのである。

次に、図１３に従って、予測モード探索候補決定部１０２の詳細な構成の他の一例について説明する。

予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１：予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。

予測モード探索候補絞り込み対象ＭＢ判定部３０２：予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１より予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行い、絞り込みを行うＭＢである場合には予測モード対応率表生成部３０６の処理に移り、絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。

予測モード対応率計算対象フレーム指定情報記憶部３０３：予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。

対象フレーム拡張レイヤ最適予測モード記憶部３０４：予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。

対象フレーム直下レイヤ最適予測モード記憶部３０５：予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。

予測モード対応率表生成部３０６：対象フレーム拡張レイヤ最適予測モード記憶部３０４より予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込むとともに、対象フレーム直下レイヤ最適予測モード記憶部３０５より予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込んで、符号化対象レイヤのマクロブロックとその直下の画像領域との間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部３０７に出力する。すなわち、前述した手順に従って、図４に示すような予測モード対応率表の生成のための表を作成して、それに基づいて、図５に示すような予測モード対応率表を生成して予測モード対応率表記憶部３０７に出力するのである。

参照予測モード決定部３０８：対象フレーム直下レイヤ最適予測モード記憶部３０５より、直下レイヤにおける１つ以上の最適予測モード群を読み込み、ある規範に従って、その中から予測モード対応率表の縦軸に用いる参照予測モードを１つ決定して、それを参照予測モード記憶部３０９に出力する。ここで、参照予測モード決定の規範の例としては、前述した、（ａ）累積面積が最大となる予測モード、（ｂ）優先順位が最も高い予測モード、（ｃ）レイヤ間予測で参照する予測モード、などが適用可能である。

発生率最大予測モード特定部３１０：予測モード対応率表記憶部３０７より予測モード対応率表を読み込むとともに、参照予測モード記憶部３０９より参照予測モードを読み込んで、参照予測モードに対する符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が最大の予測モードを最終的な予測モード探索候補として設定して、出力する。

このようにして、図１３に示す装置構成では、図５に示すようなデータ構造を持つ予測モード対応率表に基づいて、図７に示すような形態で予測モード探索候補を絞り込むように処理するのである。

次に、本発明の有効性について説明する。

前述したように、本発明者は、非特許文献３で、スケーラブル動画像符号化におけるレイヤ間の予測モードの相関性を利用して、拡張レイヤにおけるマクロブロックの予測モードの探索候補を絞り込むようにするという発明を開示した。

この発明によれば、拡張レイヤにおけるマクロブロックの予測モードの探索候補を絞り込むことができることから、スケーラブル動画像符号化処理の高速化を実現できるようになる。

しかしながら、この発明は、符号化対象ブロックと空間的に対応する直下の画像領域の持つ最適予測モードが１つである場合にのみ適用できるものであり、複数の最適予測モードを持つ場合には適用できない。

上位レイヤと下位レイヤとの間に２のべき乗の解像度スケーラビリティが成立しない場合や、上位レイヤの映像から一部の映像を切り出すことで下位レイヤの映像を生成する場合には、符号化対象ブロックと空間的に対応する直下の画像領域の持つ最適予測モードが複数となるので、非特許文献３に開示した発明は適用できないことになる。

これに対して、本発明は、符号化対象ブロックと空間的に対応する直下の画像領域が複数の最適予測モードを持つ場合であっても適用可能であり、非特許文献３に開示した発明よりも、符号化対象ブロックの予測モード選択を高速に実行できることになる。

例えば、図１４に示すように、１９２０×１０８０画素サイズの映像を上位レイヤとし、それを横方向に３／４倍して生成した１４４０×１０８０画素サイズの映像を下位レイヤとする空間スケーラビリティを持つスケーラブル動画像符号化を実施したとする。

この場合、非特許文献３で開示した発明では、符号化対象ブロックと空間的に対応する直下の画像領域の持つ最適予測モードが１つのみの場合に適用可能であるという制約条件によって、上位レイヤの符号化の際に、総マクロブロック数の１／２の数のマクロブロックでしか高速予測モード探索を実施できない。これに対して、本発明では、すべてのマクロブロックに対して実施できることから、予測モード探索処理の絞り込みの行われるマクロブロックの数が非特許文献３に開示した発明と比較して２倍に増加する。

すなわち、図１４に示すように、下位レイヤの４つのブロックａ，ｂ，ｃ，ｄの内、ブロックａ，ｄについては、最適予測モードを１つしか持たないのに対して、ブロックｂについては、左のマクロブロックＡで導出された最適予測モードと右のマクロブロックＢで導出された最適予測モードとがあることで最適予測モードを２つ持つことになり、そして、ブロックｃについては、左のマクロブロックＢで導出された最適予測モードと右のマクロブロックＣで導出された最適予測モードとがあることで最適予測モードを２つ持つことになる。

これから、非特許文献３で開示した発明では、上位レイヤの符号化の際に、４つのブロックａ，ｂ，ｃ，ｄの内のブロックａ，ｄの上位に位置する２つのマクロブロックでしか高速予測モード探索を実施できないのに対して、本発明では、４つのブロックａ，ｂ，ｃ，ｄの上位に位置する４つのすべてのマクロブロックで高速予測モード探索を実施できることから、予測モード探索処理の絞り込みの行われるマクロブロックの数が非特許文献３に開示した発明と比較して２倍に増加するのである。

同様にして、本発明によれば、非特許文献３で開示した発明と比較して、予測モード探索処理の絞り込みの行われるマクロブロックの数が、
（１）１９２０×１０８０画素サイズと１２８０×７２０画素サイズとの空間スケーラ ビリティを持つスケーラブル動画像符号化では９／４倍
（２）１９２０×１０８０画素サイズと７２０×４８０画素サイズとの空間スケーラビ リティを持つスケーラブル動画像符号化では２倍
（３）１９２０×１０８０画素サイズと６４０×４８０画素サイズとの空間スケーラビ リティを持つスケーラブル動画像符号化では３／２倍
というように増加することになる。

したがって、本発明によれば、非特許文献３で開示した発明と比較して、符号化に要する計算時間を大幅に削減することができるようになる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、基本レイヤ・拡張レイヤという階層レイヤ構成に対しての適用に従って本発明を説明したが、本発明はこのような階層レイヤ構成に、その適用が限られるものではない。

また、実施形態例では、参照予測モードとして１つの予測モードを選択するという構成をとったが、参照予測モードとして複数の予測モードを選択するようにするという構成をとることも可能である。

本発明は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化に適用できるものであり、本発明を適用することで符号化時間を削減することができるようになる。

１０１ 予測モード探索候補初期値記憶部
１０２ 予測モード探索候補決定部
１０３ 最適予測モード決定部
１０４ 最適予測モード記憶部
１０５ 予測残差信号生成部
１０６ 予測残差信号符号化部
１０７ 全ＭＢ完了判定部
１０８ 符号化対象ＭＢ更新部
２０１ 予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
２０２ 予測モード探索候補絞り込み対象ＭＢ判定部
２０３ 予測モード対応率計算対象フレーム指定情報記憶部
２０４ 対象フレーム拡張レイヤ最適予測モード記憶部
２０５ 対象フレーム直下レイヤ最適予測モード記憶部
２０６ 予測モード対応率表生成部
２０７ 予測モード対応率表記憶部
２０８ 参照予測モード決定部
２０９ 参照予測モード記憶部
２１０ 予測モード対応率絞り込み閾値記憶部
２１１ 予測モード対応率閾値比較部
３０１ 予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
３０２ 予測モード探索候補絞り込み対象ＭＢ判定部
３０３ 予測モード対応率計算対象フレーム指定情報記憶部
３０４ 対象フレーム拡張レイヤ最適予測モード記憶部
３０５ 対象フレーム直下レイヤ最適予測モード記憶部
３０６ 予測モード対応率表生成部
３０７ 予測モード対応率表記憶部
３０８ 参照予測モード決定部
３０９ 参照予測モード記憶部
３１０ 発生率最大予測モード特定部

Claims (12)

1. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する過程と、
   上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する過程と、
   前記取得した最適予測モードの中から処理対象の最適予測モードを選択する過程と、
   前記選択した最適予測モードと前記対応表に記述される発生率とに基づいて、前記対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
2. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する過程と、
   前記発生率の値に基づいて、前記対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する過程と、
   上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する過程と、
   前記取得した最適予測モードの中から処理対象の最適予測モードを選択する過程と、
   前記選択した最適予測モードを組み合わせに持つ前記予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
3. 請求項２に記載のスケーラブル動画像符号化方法において、
   前記予測モード対応情報を生成する過程では、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することを、
   特徴とするスケーラブル動画像符号化方法。
4. 請求項２に記載のスケーラブル動画像符号化方法において、
   前記予測モード対応情報を生成する過程では、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出するか、あるいは、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することを、
   特徴とするスケーラブル動画像符号化方法。
5. 請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法において、
   前記最適予測モードを選択する過程では、上位レイヤのブロックと下位レイヤの画像領域との重なりの大きさに基づいて、処理対象の最適予測モードを選択することを、
   特徴とするスケーラブル動画像符号化方法。
6. 請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法において、
   前記最適予測モードを選択する過程では、あらかじめ設定された予測モードの優先順位に基づいて、処理対象の最適予測モードを選択することを、
   特徴とするスケーラブル動画像符号化方法。
7. 請求項１ないし６のいずれか１項に記載のスケーラブル動画像符号化方法において、
   前記最適予測モードを選択する過程では、前記取得した最適予測モードの中にレイヤ間予測で参照する予測モードがある場合には、その予測モードを処理対象の最適予測モードとして選択することを、
   特徴とするスケーラブル動画像符号化方法。
8. 請求項１ないし７のいずれか１項に記載のスケーラブル動画像符号化方法において、
   前記対応表を生成する過程では、上位レイヤのブロックで選択された最適予測モードのそれぞれについて、そのブロックの直下の下位レイヤの画像領域の画素数をその画像領域で選択された最適予測モード毎に集計して、その集計結果に基づいて前記対応表を生成することを、
   特徴とするスケーラブル動画像符号化方法。
9. 請求項１ないし８のいずれか１項に記載のスケーラブル動画像符号化方法において、
   前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する過程を備えることを、
   特徴とするスケーラブル動画像符号化方法。
10. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する手段と、
    上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する手段と、
    前記取得した最適予測モードの中から処理対象の最適予測モードを選択する手段と、
    前記選択した最適予測モードと前記対応表に記述される発生率とに基づいて、前記対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する手段とを備えることを、
    特徴とするスケーラブル動画像符号化装置。
11. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する手段と、
    前記発生率の値に基づいて、前記対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する手段と、
    上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する手段と、
    前記取得した最適予測モードの中から処理対象の最適予測モードを選択する手段と、
    前記選択した最適予測モードを組み合わせに持つ前記予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する手段とを備えることを、
    特徴とするスケーラブル動画像符号化装置。
12. 請求項１ないし９のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。

Images