WO2010084692A1 - 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 - Google Patents

Abstract

　画像予測符号化装置は、入力画像を複数のブロックに分割する領域分割手段と、複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し予測信号を生成する予測信号生成手段と、対象ブロックの画素信号と予測信号との残差信号を生成する残差信号生成手段と、残差信号を符号化することで圧縮信号を生成する信号符号化手段と、圧縮信号を復元し該復元された信号を再生画素信号として格納する格納手段と、を備え、予測信号生成手段は、対象ブロックを複数の小領域に再分割し、小領域の少なくとも１つが非正方形であり、非正方形の小領域の第１の辺の長さは、該第１の辺と異なる第２の辺の長さよりも長い。

Description

画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法

　本発明は、画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法に関するもので、とりわけ、画面内予測を伴う画像予測符号化・復号に関するものである。

　静止画像データや動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１～４やＨ．２６１～Ｈ．２６４の方式が広く用いられている。

　これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。ＭＰＥＧ４やＨ．２６４においては、符号化効率をさらに高めるため、画面内の予測符号化については、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データを復元されたもの）を用いて予測信号を生成した上で、予測信号を対象ブロックの画像信号から引き算して得られた残差信号を符号化する。画面間の予測符号化については、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行って予測信号を生成し、予測信号を対象ブロックの画像信号から引き算して得られた残差信号を符号化する。

　具体的には、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１５はＨ．２６４に用いられる画面内予測方法を説明するための模式図である。図１５（Ａ）では、ブロック１３０２は対象ブロックであり、その対象ブロックの境界に隣接する画素Ａ～Ｍ（隣接画素１３０１）からなる画素群は隣接領域であり、過去の処理において既に再生された画像信号である。この場合、隣接画素１３０１のうち、対象ブロック１３０２の真上にある既再生画素Ａ～Ｄを下方に引き伸ばして予測信号を生成する。また図１５（Ｂ）では、隣接画素１３０３のうち、対象ブロック１３０４の左にある既再生画素Ｉ～Ｌを右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図１５（Ａ）～図１５（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測方法とする。これらの外挿方法は図１６のようにまとめることができる。図１６の矢印は既再生画素を引き伸ばす方向を示し、各方向に記している番号は夫々の識別番号（「予測モード」ともいう）である。なお、周辺の既再生画素の平均によって予測信号を生成する方法には、図１５（Ｃ）に示すように、識別番号「２」が付与され、図１６では「ＤＣ」と示している。即ち、図１６には、既再生画素を引き伸ばす方向の無い識別番号「２」の方法（周辺の既再生画素の平均によって予測信号を生成する方法）と、矢印によって既再生画素を引き伸ばす方向が示された８つの方法、の計９つの方法が示されている。

米国特許公報第６７６５９６４号

　しかし、従来技術の画面内予測信号生成方法では、正方形のブロックを対象としているため、既再生の画素のある境界から遠く離れる画素に対する予測精度が低下してしまう課題がある。例えば、図１５（Ａ）を用いて、映像の信号が垂直方向に少しずつ変化する場合を考える。この場合、対象ブロック１３０２の中で上の方にある画素（例えば隣接画素Ｉの右にある画素）については、隣接画素Ａ～Ｄで近似しても誤差は小さいが、対象ブロック１３０２の中で下の方にある画素（例えば隣接画素Ｌの右にある画素）については、隣接画素Ａ～Ｄから遠いので、隣接画素Ａ～Ｄで近似すると誤差が大きくなってしまう。その結果、符号量が増加してしまい、圧縮の効率が低下してしまう。図１５（Ａ）以外の予測方法についても同様の傾向を示している。

　そこで、本発明は、上記の課題を解決し、対象ブロックの境界から遠く離れた画素に対する予測精度を高め、符号化効率を高めることを目的とする。

　上記目的を達成するために、本発明に係る画像予測符号化装置は、入力画像を複数のブロックに分割する領域分割手段と、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成手段と、前記残差信号を符号化することで圧縮信号を生成する信号符号化手段と、前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段と、を備える画像予測符号化装置であって、前記予測信号生成手段は、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さよりも長いことを特徴とする。

　なお、上記画像予測符号化装置では、前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成する構成とすることが望ましい。

　また、上記画像予測符号化装置では、前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しておらず、前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成する構成とすることが望ましい。

　また、上記画像予測符号化装置では、前記信号符号化手段は、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力する構成とすることが望ましい。

　上記目的を達成するために、本発明に係る画像予測復号装置は、画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元手段と、前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成手段と、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、前記復元された画素信号を再生画素信号として格納する格納手段と、を備える画像予測復号装置であって、前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする。

　なお、上記画像予測復号装置では、前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しない構成とすることが望ましい。

　また、上記画像予測復号装置では、前記予測信号生成手段は、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する構成とすることが望ましい。

　また、上記画像予測復号装置では、前記復元手段は、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて逆量子化と逆周波数変換を行うことにより、前記小領域の残差信号を前記再生残差信号に復元する構成とすることが望ましい。

　ところで、上述した画像予測符号化装置に係る発明は、画像予測符号化方法に係る発明および画像予測符号化プログラムに係る発明として、捉えることができ、以下のように記述することができる。

　本発明に係る画像予測符号化方法は、画像予測符号化装置により実行される画像予測符号化方法であり、入力画像を複数のブロックに分割する領域分割ステップと、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成ステップと、前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成ステップと、前記残差信号を符号化することで圧縮信号を生成する信号符号化ステップと、前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納ステップと、を備える画像予測符号化方法であって、前記予測信号生成ステップでは、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つは非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長いことを特徴とする。

　なお、前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することが望ましい。

　また、前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しておらず、前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することが望ましい。

　また、前記信号符号化ステップでは、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力することが望ましい。

　本発明に係る画像予測符号化プログラムは、コンピュータを、入力画像を複数のブロックに分割する領域分割手段と、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成手段と、前記残差信号を符号化することで圧縮信号を生成する信号符号化手段と、前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段、として機能させ、前記予測信号生成手段は、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さよりも長いことを特徴とする。

　一方、上述した画像予測復号装置に係る発明は、画像予測復号方法に係る発明および画像予測復号プログラムに係る発明として、捉えることができ、以下のように記述することができる。

　本発明に係る画像予測復号方法は、画像予測復号装置により実行される画像予測復号方法であり、画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元ステップと、前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成ステップと、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元ステップと、前記復元された画素信号を再生画素信号として格納する格納ステップと、を備える画像予測復号方法であって、前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする。

　なお、前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しないことが望ましい。

　また、前記予測信号生成ステップでは、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成することが望ましい。

　また、前記復元ステップでは、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて逆量子化と逆周波数変換を行うことにより、前記小領域の残差信号を前記再生残差信号に復元することが望ましい。

　本発明に係る画像予測復号プログラムは、コンピュータを、画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元手段と、前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成手段と、前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、前記復元された画素信号を再生画素信号として格納する格納手段、として機能させ、前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする。

　さらに、本発明は、符号化・復号システム、および、符号化・復号方法として、以下のように記述することができる。

　本発明に係る符号化・復号システムは、上述した画像予測符号化装置と、上述した画像予測復号装置と、を含んで構成されることを特徴とする。

　本発明に係る符号化・復号方法は、画像予測符号化装置と画像予測復号装置とを含んで構成される符号化・復号システムにおいて実行される符号化・復号方法であって、前記画像予測符号化装置により実行される上述した画像予測符号化方法の処理ステップと、前記画像予測復号装置により実行される上述した画像予測復号方法の処理ステップと、を備えることを特徴とする。

　本発明によれば、既再生の画素信号から遠く離れた小領域の画素が生じないようにして、既再生の画素信号に近い小領域の画素を予測するため、より精度の高い予測信号を生成することができ、小領域の予測残差信号を小さく抑えることができ、圧縮符号化効率を向上させる、という効果がある。

　言い換えると、対象ブロックを小領域に分割する際に、既再生の画素に接する第１の辺が、既再生の画素に接しない第２の辺よりも長くなるようにし、第１の辺に接する既再生の画素信号を使って小領域の予測信号を生成することにより、小領域の画素が既再生の画素信号に近いために、誤差の少ない予測信号を生成することができる、という効果がある。

　また、予測信号の生成方法を示す予測信号生成関連情報によって、小領域の分割形状や、小領域の残差信号の量子化方法・周波数変換方法を決定することで、小領域の分割形状や量子化方法・周波数変換方法を識別するための指示情報を受信側に送る必要がない。受信側では、予測信号生成関連情報で小領域の分割形状や量子化方法・周波数変換方法を特定することで、送信側と同様の最適な逆量子化・逆周波数変換で復号・再生処理を行うことができる。結果として、予測信号生成関連情報以外の補助情報を追加する必要がなくなるため、符号量をさらに抑えることができる、という効果がある。

本実施形態の画像予測符号化装置を示すブロック図である。 本実施形態の画像予測符号化方法を示す流れ図である。 小領域の第１の分割方法およびその小領域の予測信号の生成方法を示す模式図である。 小領域の第２の分割方法およびその小領域の予測信号の生成方法を示す模式図である。 複数の分割形状がある場合の画像予測符号化方法を示す流れ図である。 複数の分割形状がある場合の小領域の分割方法およびその小領域の予測信号の生成方法を示す模式図である。 小領域の第３の分割方法およびその小領域の予測信号の生成方法を示す模式図である。 本実施形態の画像予測復号装置を示すブロック図である。 本実施形態の画像予測復号方法を示す流れ図である。 複数の分割形状がある場合の画像予測復号方法を示す流れ図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成図である。 図１１のコンピュータの斜視図である。 予測モードと対象ブロックの分割方法との対応関係を示す表である。 本実施形態の符号化・復号システムの構成図である。 従来技術による対象ブロックの予測信号を生成する方法を示す模式図である。 従来技術による対象ブロックの予測信号を生成する複数の方法を１つにまとめたときの模式図である。

　以下、本発明の実施の形態について、図１から図１４を用いて説明する。

　［画像予測符号化装置について］
　図１は、本実施形態に係る画像予測符号化装置１００のブロック図を示す。図１に示すように、画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、及び、出力端子１１２を備えている。

　以上のように構成された画像予測符号化装置１００の動作について、以下に述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本実施形態では、８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下「対象ブロック」とよぶ）に対して、予測信号を生成する。本実施形態では、２種類の予測方法が用いられる。即ち、「画面間予測」と「画面内予測」である。

　このうち画面間予測では、過去に符号化された後に復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器１０３にて行われ、対象ブロックはラインＬ１０２経由で、参照画像はＬ１０４経由で、それぞれ予測信号生成器１０３に入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細については、従来の技術であるＭＰＥＧ－２，４、Ｈ．２６４のいずれかの方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。予測信号生成器１０３では、小領域の分割方法及びそれぞれの小領域に対応する動き情報をもとにフレームメモリ１０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ１０３経由で減算器１０５に送られる。

　一方、画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器１０３では、フレームメモリ１０４から同じ画面内にある既再生の画素信号を取得し、所定の方法で予測信号を生成する画面内予測方法を決定し、その予測方法をもとに画面内予測信号を生成する。一方、予測方法に関する情報はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。このように生成された画面内予測信号は減算器１０５に送られる。予測信号生成器１０３における画面内の予測信号生成の詳細については、後に説明する。

　上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器１０５に送られる。但し、一枚目の画像については、過去の画像がないため、全ての対象ブロックは画面内予測で処理される。なお、下記に述べる画面内予測信号生成方法は写真などの静止画像の符号化・復号にも適用できる。

　減算器１０５にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０３経由）を引き算し、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各係数は量子化器１０７にて量子化される。最後にエントロピー符号化器１１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子１１２より出力される。

　後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。即ち、量子化された変換係数は逆量子化器１０８にて逆量子化された後に逆変換器１０９にて逆離散コサイン変換され、残差信号を復元する。加算器１１０にて復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。場合によっては、変換器１０６と逆変換器１０９がなくてもよい。

　［画像予測符号化方法について］
　図２には、本実施形態に係る画像予測符号化方法の流れ図を示している。特に上述したようにブロック分割された画像の各ブロックについての画面内予測信号を生成するための処理を示している。図１における予測信号生成器１０３は、下記と同様の方法で画面予測信号を生成する。

　図２のステップ２０２では、ブロック分割器１０２は、Ｎ×Ｎ個の画素をもつ対象ブロックを複数の小領域に再分割する。本実施形態ではＮ＝８であるが、Ｎ＝１６や他の整数であってもよい。小領域は非正方形の形をとることが特徴である。本実施形態では、Ｍ個（ここでは一例として４個）のＮ（水平）×Ｎ／４（垂直）個の画素からなる長方形、または、Ｍ個（ここでは一例として４個）のＮ／４（水平）×Ｎ（垂直）個の画素からなる長方形に分割する。この分割方法は、夫々図３（Ａ）と図３（Ｃ）に示している。図３（Ａ）において、１つの升目は１つの画素を示す。それぞれ破線で囲まれた画素群３０２～３０５は、対象ブロックの画素であり、ハッチングが施された画素群３０１は、対象ブロックに隣接する既再生の画素群である。この既再生の画素群の画素信号は、過去の処理において符号化した上で復元されたもので、フレームメモリ１０４に格納されている。図３（Ａ）では対象ブロックは、８（水平）×２（垂直）個の画素からなる横長の４個の小領域３０２～３０５に分割されている。図３（Ｃ）では対象ブロックは、２（水平）×８（垂直）個の画素からなる縦長の４個の小領域３０７～３１０に分割されている。他の分割方法として、例えば、Ｎ×Ｎ／２の横長の２個の小領域や、Ｎ／２×Ｎの縦長の２個の小領域に分割してもよい。

　次に、処理対象の小領域を識別するためのカウンタｋを０に初期設定する（ステップ２０３）。

　そして、各小領域について下記のステップ２０４～２０９の処理が行われる。まず、予測信号生成器１０３は、図３（Ａ）の小領域３０２（ｋ＝０番目の小領域）について複数の候補予測信号を生成する（ステップ２０４）。本実施形態では、対象の小領域に隣接する既再生の画素を外挿することによって予測信号を生成する。具体的には既再生の画素群３０１のうち、小領域３０２の上及び左に接する既再生画素を用いる。予測方法としては、図３（Ｂ）で示されている既再生の画素の平均値（ＤＣ）を外挿する方法、及び０～８と記されている方向に沿って既再生画素を引き伸ばして外挿する方法の計９つの方法がある。具体的な計算方法は、前述した図１５の方法と同じであるが、８×２個の値のみを生成する。次のステップ２０５では、予測信号生成器１０３は、上記９つの方法で得られた９つの候補予測信号の中から、小領域３０２に対し誤差の最も小さいものを予測信号として決定し、当該決定した予測信号を生成する方法を予測モード（以下「予測信号生成関連情報」という）として定める。次のステップ２０６では、減算器１０５が、小領域３０２の画素信号と該小領域３０２の予測信号との差分を求め、得られた残差信号は、変換器１０６により周波数変換され、量子化器１０７により量子化される。量子化された信号は、エントロピー符号化器１１１により、可変長符号また算術符号でエントロピー符号化される。そして、次のステップ２０７では、エントロピー符号化された残差信号と、ステップ２０５で得られた予測信号生成関連情報とが、出力端子１１２から出力される。

　このように符号化された小領域３０２の信号は、次に処理される小領域３０３の予測に用いられる。そのために、小領域３０２の残差信号は、逆量子化器１０８により逆量子化され、逆変換器１０９により周波数逆変換された後、加算器１１０により、上記で求めた予測信号と加算され、小領域３０２の再生信号として生成される（ステップ２０８）。そして、後続の小領域３０３の予測信号を生成するため、小領域３０２の再生信号はフレームメモリ１０４に一時的に格納される（ステップ２０９）。その後、カウンタｋを１つカウントアップする（ステップ２１０）。

　上記のステップ２０４～２１０の処理は、次の小領域３０３（即ち、ｋ＝１番目の小領域）について行われる。このときに使用する既再生の画素は、図３（Ａ）において小領域３０３のすぐ上にある小領域３０２の既再生画素、及び画素群３０１に属する画素のうち小領域３０３のすぐ左にある画素が用いられる。予測信号の生成方法は、同様に図３（Ｂ）の９つのモードから最適なものを決定する。以後、ステップ２０４～２１０の処理は、ｋ＝２，３番目の小領域について順に行われる（即ち、ｋ＝４となりＭと等しくなって、ステップ２１１でｋ＜Ｍでないと判定されるまで行われる）。

　その後、上記ステップ２０２～２１１の処理は、対象ブロックそれぞれについて実行され、ステップ２１２で全ての対象ブロックが処理完了と判定されたときに、図２の処理を終了する。

　一方、図３（Ｃ）に示される縦長の小領域の場合も同様に、最初に小領域３０７について予測符号化が行われる。このとき、予測信号を生成する際に、既再生の画素群３０６のうち、小領域３０７の左及び上に接する既再生画素が用いられる。その後、小領域３０８、３０９、３１０の順に予測符号化が行われ、夫々の場合において小領域３０７、３０８、３０９の既再生の画素を用いて予測信号が生成される。

　本発明では、小領域の分割は、既再生の画素に近接する細長い形となるように行われるので、生成された予測信号と符号化対象となる画素信号との相関が高くなり、予測信号と対象信号との差分を小さく抑えることができ、符号化量を削減することができる。

　図４には、本発明の実施形態による小領域分割方法及びその小領域の予測信号の第２の生成方法を示す。図４における小領域分割方法は、図３と同じであるが、各分割方法に応じて予測信号を生成する方法が限定されている。図４（Ａ）では、対象ブロックは横長の小領域４０２～４０５に分割される。小領域４０２～４０５に対する予測信号は、図４（Ｂ）で示されているように、小領域の上方にある既再生の画素信号から下方に向かう方向に沿って外挿する方法で生成される。それに加え、小領域の上方にある画素の平均値を用いてもよい（図４（Ｂ）では「ＤＣ（Ver）」と表記する）。一方、図４（Ｃ）のように縦長の分割形状では、小領域４０７～４１０に対する予測信号は、図４（Ｄ）で示されているように、小領域の左方にある既再生の画素信号から右方に向かう方向に沿って外挿する方法で生成される。それに加え、小領域の左方にある画素の平均値を用いてもよい（図４（Ｄ）では「ＤＣ（Hor）」と表記する）。即ち、横方向で分割する場合は垂直方向で画素を外挿し、縦方向で分割する場合は水平方向で画素を外挿することになる。言い換えれば小領域の長い辺の境界に接する既再生の画素を用いて予測信号を生成することになる。

　このような形で小領域分割及び予測信号を生成することにより、対象小領域は常に既再生の画素に接近しているので、対象小領域の信号に相関の高い予測信号を生成することになる。そのため、差分を小さく抑えることができ、符号化量を削減できる、という効果がある。

　［小領域の形状として、複数の形状を切り替えて符号化する例］
　前述した図２、図３、図４は、小領域の形状が画像全体を通して常時同じ形状である場合の実施形態を示している。しかし、小領域の形状は、画像全体を通して常時同じ形状であることは必須ではない。以下、小領域の形状として、信号の性質に応じて複数の形状を切り替えて符号化する実施形態について説明する。図５は、複数の分割形状がある場合の画像予測符号化方法の流れ図を示す。

　まず、図５のステップ５０２では、分割方法を識別するためのカウンタｐを０に初期設定する。次のステップ５０３では、Ｎ×Ｎ個の画素をもつ対象ブロックを、ｐ番目の小領域分割方法（最初は０番目の小領域分割方法）に従って、複数の小領域に再分割する。本実施形態では、Ｑ種類（ここでは一例として３種類）の分割方法を用いる。図６には、それら３種類の分割方法及びそれぞれの分割方法に用いられる予測信号生成方法を示す。図６（Ａ）は、ｐ＝０に対応し、対象ブロックを４つの正方形の小領域６０２～６０５に分割する方法を示す。図６（Ｃ）は、ｐ＝１に対応し、対象ブロックを４つの横長の小領域６０７～６１０に分割する方法を示す。図６（Ｅ）は、ｐ＝２に対応し、対象ブロックを４つの縦長の小領域６１２～６１５に分割する方法を示す。なお、図６（Ｃ）、（Ｅ）の方法に代わり、対象ブロックを２つの横長の小領域に分割してもよいし、または、対象ブロックを２つの縦長の小領域に分割してもよい。本実施形態では、図６（Ａ）の分割方法に対して、図６（Ｂ）に示す予測方法（ＤＣモード、モード３、４）で予測信号を生成する。図６（Ｃ）の分割方法に対しては、図６（Ｄ）に示す予測方法（モード０、５、７）で予測信号を生成する。図６（Ｅ）の分割方法に対しては、図６（Ｆ）に示す予測方法（モード１、６、８）で予測信号を生成する。

　次のステップ５０４では、ｐ番目（ｐ＝０）の小領域分割方法に割り当てられた予測方法（外挿方法）を用いて、各小領域６０２～６０５の予測信号を生成する。ｐ＝０の場合の外挿方法は、図６（Ｂ）に示されたＤＣモード、モード３、４である。本実施形態では、全ての小領域に対し共通の方法を用いるため、第１のモード（ＤＣモード）で４つの小領域に対する第１の予測信号を生成し、第２のモード（モード３）で４つの小領域に対する第２の予測信号を生成し、第３のモード（モード４）で４つの小領域に対する第３の予測信号を生成する。このように生成した３つの予測信号それぞれについて、対象ブロックの画素信号との差分を求める。求めた３通りの差分の中で最も小さいものを与える予測方法（外挿方法）を決定し、該予測方法の場合の差分の絶対値和（即ち、４つの小領域についての差分の絶対値の和）を誤差量（ＳＡＤ）とする。なお、各小領域の予測信号は、先行する小領域の再生信号を用いて順次生成する必要があるが、このステップ５０４では、簡易な方法で小領域の再生信号を近似する。即ち、小領域とその予測信号との差分を量子化した後に逆量子化し、量子化誤差が含まれている残差信号に予測信号を加算することで小領域の再生信号として近似する。このように近似した再生信号を用いて、後続の小領域の予測信号を生成する。

　次のステップ５０５では、誤差量ＳＡＤを他の分割方法による誤差量と比較し、誤差量ＳＡＤがより小さくなった場合、ＳＡＤの最小値と最適な予測方法を更新する（ステップ５０６）。

　以後、上記のステップ５０３～５０６の処理は、分割方法の種類数であるＱ回繰り返される。即ち、ｐ＝０、１、２の場合の処理を行った上で、最適な予測信号生成方法が決定される（ステップ５０７、５０８）。

　上記のように決定された最適な予測信号生成方法に従って、対象ブロックを、互いに接するＭ個（本実施形態ではＭ＝４）の非正方形の小領域に再分割する（ステップ５０９）。

　次に、処理対象の小領域を識別するためのカウンタｋを０に初期設定する（ステップ５１０）。

　そして、各小領域について下記のステップ５１１～５１４の処理が行われる。まず、ステップ５１１では、予測信号生成器１０３は、分割された小領域のうち、ｋ番目の小領域（対象小領域）に対し、最適な予測信号生成方法に従って予測信号を生成する。次に、減算器１０５が、対象小領域の画素信号と対象小領域の予測信号との差分を求め、得られた残差信号は、変換器１０６及び量子化器１０７により、以下のように対象小領域の分割形状に合った周波数変換と量子化とが施され、その後、エントロピー符号化器１１１によりエントロピー符号化される。即ち、対象小領域の分割形状に合った周波数変換としては、例えば、対象小領域が４×４に分割されている場合は４×４の周波数変換を、対象小領域が８×２に分割されている場合は８×２の周波数変換を、対象小領域が２×８に分割されている場合は２×８の周波数変換を、それぞれ行う。一方、量子化については、分割の形状に沿った傾斜の重み係数によって量子化を行う。

　次のステップ５１２では、符号化で得られた残差信号と、最適予測方法を示す予測信号生成関連情報とが、出力端子１１２から出力される。

　上記のように符号化された対象小領域の信号は、後続する小領域の予測に用いられる。そのため、対象小領域の残差信号は、逆量子化器１０８により逆量子化され、逆変換器１０９により周波数逆変換された後、加算器１１０により、上記で求めた予測信号と加算され、対象小領域の再生信号として生成される（ステップ５１３）。そして、後続の小領域の予測信号を生成するため、対象小領域の再生信号はフレームメモリ１０４に一時的に格納される（ステップ５１４）。その後、カウンタｋを１つカウントアップする（ステップ５１５）。

　上記のステップ５１１～５１５の処理は、次の対象小領域（即ち、ｋ＝１番目の小領域）について行われる。以後、ステップ５１１～５１５の処理は、ｋ＝２，３番目の小領域について順に行われる（即ち、ｋ＝４となりＭと等しくなって、ステップ５１６でｋ＜Ｍでないと判定されるまで行われる）。

　その後、上記ステップ５０２～５１６の処理は、対象ブロックそれぞれについて実行され、ステップ５１７で全ての対象ブロックが処理完了と判定されたときに、図５の処理を終了する。

　なお、本実施形態では、符号化で得られた残差信号とともに、制御情報として予測信号生成関連情報を出力するものの、対象ブロックの分割方法や形状に関する情報、周波数変換方法や量子化方法を指定するための情報は、出力していないことに注意されたい。なぜなら、予測信号生成関連情報に基づいて、対象ブロックの分割方法が定まり、それゆえ周波数変換方法や量子化方法も自動的に決めることができるからである。例えば、図６（Ｃ）、（Ｄ）より、予測モードが０、５、７のいずれかの場合には、対象ブロックにおける小領域は横長であると判断することができ、これに伴い、横長の小領域に対する周波数変換方法や量子化方法も定まる。したがって、予測信号生成関連情報以外の追加的な指示情報を送る必要がない。

　また、本実施形態では、画像信号に応じた最適な分割方法と予測信号生成方法を用いることができるので、符号化効率をさらに高めることができる。例えば、振幅があまり変化しない平坦な信号に対しては、小領域が正方形となるように対象ブロックを分割し、周囲の既再生画素の平均値によって予測してもよい。また、信号が垂直方向で変化する場合は、図６（Ｃ）のように対象ブロックを横長の小領域に分割し、垂直方向に沿って周囲の既再生の画素を外挿し、信号が水平方向で変化する場合は、図６（Ｅ）のように対象ブロックを縦長の小領域に分割し、水平方向で周囲の既再生の画素を外挿する。これにより、対象小領域の画素は常に既再生の画素に接近することになるため、対象小領域の信号に対し相関の高い予測信号を生成することができる。そのため、差分を小さく抑え、符号化量を削減できる、という効果がある。

　なお、長方形以外に、図７に示すようなブロックの分割方法も採用できる。図７の画素群７０１は既再生の画素であるが、小領域が画素群７０１に沿った形（逆Ｌ字）となるように、対象ブロックを小領域に分割する。このようにすれば、小領域７０２においては、既再生の画素に接しない辺７０２ａ、７０２ｂの長さは１画素のみでかなり短くなり、その一方で既再生の画素に接する辺を長くすることができる。この場合、既再生の画素を用いて、該既再生の画素に隣り合う画素の予測値を生成するので、相関が非常に高い信号を生成することができる。同様に、小領域７０３についても、小領域７０２の再生信号を基に、既再生の画素との相関の高い予測信号を生成することができる。なお、図７の例では、正方形の小領域７０５が存在し、正方形の小領域と非正方形の小領域とが混在している。

　［画像予測復号装置について］
　次に、本実施形態に係る画像予測復号装置・方法について説明する。図８は、本実施形態に係る画像予測復号装置８００のブロック図を示す。図８に示すように、画像予測復号装置８００は、入力端子８０１、データ解析器８０２、逆量子化器８０３、逆変換器８０４、加算器８０５、予測信号生成器８０８、フレームメモリ８０７、及び出力端子８０６を備える。このうちデータ解析器８０２、逆量子化器８０３及び逆変換器８０４は、特許請求の範囲に記載された復号手段に対応するが、復号手段としては上記以外のものを用いてもよく、また逆変換器８０４がなくてもよい。

　以上のように構成された画像予測復号装置の動作について、以下説明する。画像予測符号化装置において上述した方法で圧縮符号化された圧縮データは、入力端子８０１から入力される。この圧縮データには、画像を複数のブロックに分割して得られた対象ブロックに対し予測符号化することで得られた残差信号と、予測信号の生成に関連する情報とが含まれている。このうち、予測信号の生成に関連する情報としては、図１６に示す、周辺の既再生の画素の平均値により予測信号を生成する方法であるＤＣモードと、所定の方向で既再生の画素を引き伸ばして画素を外挿することで予測信号を生成する方法であるモード０，１，３，４，５，６，７，８の計９つのモードのうち、何れかのモードの情報が含まれている。

　データ解析器８０２は、入力された圧縮データから、量子化された変換係数（対象ブロックの残差信号を量子化して得られた変換係数）、予測信号の生成に関連する情報、および量子化パラメータを抽出する。量子化された変換係数および量子化パラメータはラインＬ８０２経由で逆量子化器８０３に出力され、逆量子化器８０３は量子化パラメータをもとに、上記量子化された変換係数を逆量子化し、その結果を逆変換器８０４が逆離散コサイン変換する。このようにして復元された残差信号は、ラインＬ８０４経由で加算器８０５に送られる。上記の処理は、対象ブロックに含まれる小領域ごとに行われるが、詳細は後述する。

　一方、予測信号の生成に関連する情報は、ラインＬ８０２ｂ経由で予測信号生成器８０８に送られる。予測信号生成器８０８は、後述する方法で、予測信号の生成に関連する情報をもとに、フレームメモリ８０７から参照信号を取得し予測信号を生成する。この予測信号は、ラインＬ８０８経由で加算器８０５に送られ、加算器８０５は、予測信号と上記復元された残差信号とを加算することで対象ブロック信号を再生し、再生された対象ブロック信号をラインＬ８０５経由で、外部へ出力するとともにフレームメモリ８０７に格納する。

　［画像予測復号方法について］
　次に、図９を用いて本実施形態に係る画像予測復号方法に基づく処理を説明する。図９のステップ９０２では、圧縮されたデータが入力され、次のステップ９０３では、データ解析器８０２が圧縮データに対しエントロピー復号を行い、量子化された変換係数（対象ブロックの残差信号を量子化して得られた変換係数）、量子化パラメータ、および予測信号生成関連情報を抽出する。ここでは、復号対象となる対象ブロックは全て同じ方法で分割されており、図３（Ａ）、図３（Ｃ）、図７のいずれにも示されているように、対象ブロックは、互いに接する複数の小領域に分割されている。小領域は、既再生の画素に多く接するような細長い形状をしている。以下の復号・再生処理（ステップ９０４～９０８）はこれらの小領域単位で順次行われる。図９では記載を省略したが、復号・再生処理（ステップ９０４～９０８）を小領域単位で順次行うために、処理対象の小領域の各々に対し処理の順番を定めておき、現在の処理対象の小領域をｋ番目とし、このカウンタｋを順次カウントアップしていくものとする。

　ステップ９０４では、予測信号生成器８０８が予測信号生成関連情報に基づいて、現在の処理対象の小領域（ｋ番目の小領域；「対象小領域」という）に対し予測信号を生成する。具体的には、対象小領域に隣接する既再生の画素を用いて、当該既再生の画素の平均値により予測信号を生成する方法、又は、既再生の画素を所定の方向に引き伸ばして外挿することで予測信号を生成する方法を採用する。換言すれば、前述した図３（Ｂ）や図３（Ｄ）に示す９つのモードの中から、予測信号生成関連情報で特定された方法によって予測信号を生成する。また、小領域の長い辺に接する既再生の画素を主に用いながら予測信号を生成してもよい。この場合、図４（Ａ）のように対象ブロックを横方向で分割する場合は図４（Ｂ）のように垂直方向又はそれに近い方向で画素を外挿し、一方、図４（Ｃ）のように対象ブロックを縦方向で分割する場合は図４（Ｄ）のように水平方向又はそれに近い方向で画素を外挿することになる。

　次のステップ９０５では、対象小領域（ｋ番目の小領域）の量子化された変換係数および量子化パラメータが逆量子化器８０３に出力され、逆量子化器８０３は量子化パラメータをもとに、上記量子化された変換係数を逆量子化し、次のステップ９０６では、逆変換器８０４が上記逆量子化の結果に対し、対象小領域（ｋ番目の小領域）の形状に合わせた逆離散コサイン変換を行うことで、再生（復元）された残差信号を生成する。再生された残差信号は、ラインＬ８０４経由で加算器８０５に送られる。

　次のステップ９０７では、加算器８０５が対象小領域（ｋ番目の小領域）の予測信号と再生された残差信号とを加算することで再生画素信号を生成する。そして、この再生画素信号は、次の小領域の画素信号を再生するためにフレームメモリに一時的に格納される（ステップ９０８）。

　上述したステップ９０４～９０８の復号・再生処理は、対象ブロックの全ての小領域について順次実行される。対象ブロックの全ての小領域についてステップ９０４～９０８の復号・再生処理が完了すると、ステップ９０９で肯定判定され、ステップ９１０にて全ての対象ブロックについて処理が完了したか否かを判定する。全ての対象ブロックについて処理が完了していなければ、ステップ９０３へ戻り、処理未完了の対象ブロックについて処理を実行する。そして、全ての対象ブロックについて処理が完了すると、ステップ９１０で肯定判定され、図９の処理を終了する。

　ここで、復号対象となる小領域が、復号・再生処理済みの隣のブロックと接する場合は、当該隣のブロックの既再生画素を用い、復号対象となる小領域が同じブロック内の復号・再生処理済みの他の小領域と接する場合は、当該他の小領域の既再生画素を用いて予測信号を生成することが望ましい。いずれの場合においても、生成される予測信号は、既再生画素の近傍にある対象画素の再生に用いられるため、当該予測信号の近似精度は従来技術よりも高く、圧縮符号化効率を高めることができる、という効果がある。

　［複数の分割形状がある場合の画像予測復号方法］
　図１０は、複数の分割形状がある場合の画像予測復号方法に基づく処理を示す。即ち、復号対象となるブロックは全て同じ方法で分割されるのではなく、図６（Ａ）、（Ｃ）、（Ｅ）のいずれかの方法で分割される。また、分割方法によって、予測信号の生成方法は夫々、図６（Ｂ）、（Ｄ）、（Ｆ）のように決まっていることに注意されたい。

　図１０のステップ１００２では、圧縮されたデータが入力され、次のステップ１００３では、データ解析器８０２が圧縮データに対しエントロピー復号を行い、量子化された変換係数（対象ブロックの残差信号を量子化して得られた変換係数）、量子化パラメータ、および予測信号生成関連情報を抽出する。

　以下の復号・再生処理（ステップ１００４～１００８）は、前述した小領域単位で順次行われる。図１０では記載を省略したが、復号・再生処理（ステップ１００４～１００８）を小領域単位で順次行うために、処理対象の小領域の各々に対し処理の順番を定めておき、現在の処理対象の小領域をｋ番目とし、このカウンタｋを順次カウントアップしていくものとする。

　ステップ１００４では、予測信号生成器８０８が予測信号生成関連情報に基づいて、対象ブロックの分割方法を特定する。対象ブロックの分割方法を特定することによって小領域の形状が定まり、生成される予測信号の形状が決定される。ここでは、図１３に示されているように、予測信号生成関連情報により、予測モードが２（ＤＣモード）、３、４の何れかの場合は、図６（Ａ）のようにブロックが分割されていることが定まり、予測モードが０、５、７の何れかの場合は、図６（Ｃ）のようにブロックが分割されていることが定まり、予測モードが１、６、８の何れかの場合は、図６（Ｅ）のようにブロックが分割されていることが定まる。そして、予測信号生成器８０８は、定まった予測モードに従い、現在の処理対象の小領域（ｋ番目の小領域；「対象小領域」という）の形状に合わせて、該対象小領域の予測信号を生成する。

　次のステップ１００５では、対象小領域（ｋ番目の小領域）の量子化された変換係数および量子化パラメータが逆量子化器８０３に出力され、逆量子化器８０３は量子化パラメータをもとに、上記量子化された変換係数を逆量子化し、次のステップ１００６では、逆変換器８０４が上記逆量子化の結果に対し、対象小領域（ｋ番目の小領域）の形状に合わせた逆離散コサイン変換を行うことで、再生（復元）された残差信号を生成する。再生された残差信号は、ラインＬ８０４経由で加算器８０５に送られる。ここでは、小領域の形状に合わせて逆量子化の重み係数が選択され、選択された重み係数により逆量子化が行われる。また、周波数領域から画素領域への逆変換（逆離散コサイン変換）については、対象ブロックを４×４に分割した小領域の場合は４×４の逆変換が行われ、対象ブロックを８×２に分割した小領域の場合は、８×２の逆変換が行われ、対象ブロックを２×８に分割した小領域の場合は、２×８の逆変換が行われる。いずれの場合においても、追加の指示情報なしで、予測信号生成関連情報に基づいて一意に逆変換の方法が決定される。

　次のステップ１００７では、加算器８０５が対象小領域（ｋ番目の小領域）の予測信号と再生された残差信号とを加算することで再生画素信号を生成する。そして、この再生画素信号は、次の小領域の画素信号を再生するためにフレームメモリに一時的に格納される（ステップ１００８）。

　上述したステップ１００４～１００８の復号・再生処理は、対象ブロックの全ての小領域について順次実行される。対象ブロックの全ての小領域についてステップ１００４～１００８の復号・再生処理が完了すると、ステップ１００９で肯定判定され、ステップ１０１０にて全ての対象ブロックについて処理が完了したか否かを判定する。全ての対象ブロックについて処理が完了していなければ、ステップ１００３へ戻り、処理未完了の対象ブロックについて処理を実行する。そして、全ての対象ブロックについて処理が完了すると、ステップ１０１０で肯定判定され、図１０の処理を終了する。

　以上のように画像の信号に応じた複数の分割方法と予測信号生成方法を用いることにより、符号化効率を高めることができる、という効果がある。また、複数の分割方法、複数の逆量子化の方法、複数の逆変換の方法を切り替えて用いるにもかかわらず、追加の指示情報なしで、予測信号生成関連情報を用いて一意に、分割方法、逆量子化の方法、逆変換の方法が決まるため、全体的に符号量を低く抑えることができる、という効果がある。

　［画像予測符号化プログラム、画像予測復号プログラムについて］
　画像予測符号化装置に係る発明は、コンピュータを画像予測符号化装置として機能させるための画像予測符号化プログラムに係る発明として捉えることができる。また、画像予測復号装置に係る発明は、コンピュータを画像予測復号装置として機能させるための画像予測復号プログラムに係る発明として捉えることができる。上記の画像予測符号化プログラムおよび画像予測復号プログラムは、記録媒体に格納されて提供可能とされる。ここでの記録媒体としては、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、又は半導体メモリ等が挙げられる。

　図１１は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。

　図１１に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ－ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された画像予測符号化プログラムおよび画像予測復号プログラムにアクセス可能になり、当該画像予測符号化プログラムおよび画像予測復号プログラムによって、コンピュータ３０は、本実施形態に係る画像予測符号化装置および画像予測復号装置として動作することが可能になる。

　図１２に示すように、画像予測符号化プログラムおよび画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０として、ネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムおよび画像予測復号プログラムをメモリ１６に格納し、当該画像予測符号化プログラムおよび画像予測復号プログラムを実行することができる。

　なお、本発明は、上述した画像予測符号化装置１００（図１）と、上述した画像予測復号装置８００（図８）とを含んで構成される符号化・復号システムに係る発明として、捉えることができる。図１４に示すように、符号化・復号システム１は、画像予測符号化装置１００と画像予測復号装置８００とを含んで構成される。但し、画像予測符号化装置１００と画像予測復号装置８００とは、任意の通信手段により接続可能とされており、画像予測符号化装置１００から画像予測復号装置８００へビットストリームが伝送される。

　また、本発明は、符号化・復号システムにおいて実行される符号化・復号方法に係る発明として、捉えることができる。例えば、符号化・復号方法は、画像予測符号化装置１００により実行される前述した図２の画像予測符号化方法の処理ステップと、画像予測復号装置８００により実行される前述した図９の画像予測復号方法の処理ステップと、を備える。また、複数の分割形状がある場合の態様として、符号化・復号方法は、画像予測符号化装置１００により実行される前述した図５の画像予測符号化方法の処理ステップと、画像予測復号装置８００により実行される前述した図１０の画像予測復号方法の処理ステップと、を備える。

　以上説明した実施形態によれば、従来技術に用いられる外挿の方法で画面内予測信号を生成した場合、対象ブロックの境界から遠く離れた画素に対する予測精度の低下を防ぎ、雑な絵柄をもつ画像信号を効率よく予測できるようになる。

　１…符号化・復号システム、１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、８００…画像予測復号装置、８０１…入力端子、８０２…データ解析器、８０３…逆量子化器、８０４…逆変換器、８０５…加算器、８０６…出力端子、８０７…フレームメモリ、８０８…予測信号生成器、１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号。

Claims (20)

1. 　入力画像を複数のブロックに分割する領域分割手段と、
   　前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、
   　前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成手段と、
   　前記残差信号を符号化することで圧縮信号を生成する信号符号化手段と、
   　前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段と、を備える画像予測符号化装置であって、
   　前記予測信号生成手段は、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さよりも長いことを特徴とする画像予測符号化装置。
2. 　前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする請求項１記載の画像予測符号化装置。
3. 　前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しておらず、前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする請求項１記載の画像予測符号化装置。
4. 　前記信号符号化手段は、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力することを特徴とする請求項１記載の画像予測符号化装置。
5. 　画像予測符号化装置により実行される画像予測符号化方法であり、
   　入力画像を複数のブロックに分割する領域分割ステップと、
   　前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成ステップと、
   　前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成ステップと、
   　前記残差信号を符号化することで圧縮信号を生成する信号符号化ステップと、
   　前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納ステップと、を備える画像予測符号化方法であって、
   　前記予測信号生成ステップでは、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つは非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長いことを特徴とする画像予測符号化方法。
6. 　前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする請求項５記載の画像予測符号化方法。
7. 　前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しておらず、前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする請求項５記載の画像予測符号化方法。
8. 　前記信号符号化ステップでは、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力することを特徴とする請求項５記載の画像予測符号化方法。
9. 　画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、
   　前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元手段と、
   　前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成手段と、
   　前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、
   　前記復元された画素信号を再生画素信号として格納する格納手段と、を備える画像予測復号装置であって、
   　前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする画像予測復号装置。
10. 　前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しないことを特徴とする請求項９記載の画像予測復号装置。
11. 　前記予測信号生成手段は、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成することを特徴とする請求項９記載の画像予測復号装置。
12. 　前記復元手段は、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて逆量子化と逆周波数変換を行うことにより、前記小領域の残差信号を前記再生残差信号に復元することを特徴とする請求項９記載の画像予測復号装置。
13. 　画像予測復号装置により実行される画像予測復号方法であり、
    　画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力ステップと、
    　前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元ステップと、
    　前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成ステップと、
    　前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元ステップと、
    　前記復元された画素信号を再生画素信号として格納する格納ステップと、を備える画像予測復号方法であって、
    　前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成することを特徴とする画像予測復号方法。
14. 　前記非正方形の小領域の前記第１の辺は既再生の画素に接し、前記第２の辺は既再生の画素に接しないことを特徴とする請求項１３記載の画像予測復号方法。
15. 　前記予測信号生成ステップでは、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成することを特徴とする請求項１３記載の画像予測復号方法。
16. 　前記復元ステップでは、前記予測信号生成関連情報より前記小領域の形状を特定し、特定された小領域の形状に合わせて逆量子化と逆周波数変換を行うことにより、前記小領域の残差信号を前記再生残差信号に復元することを特徴とする請求項１３記載の画像予測復号方法。
17. 　コンピュータを、
    　入力画像を複数のブロックに分割する領域分割手段と、
    　前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、
    　前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成手段と、
    　前記残差信号を符号化することで圧縮信号を生成する信号符号化手段と、
    　前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段、
    　として機能させ、
    　前記予測信号生成手段は、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さよりも長い、
    　ことを特徴とする画像予測符号化プログラム。
18. 　コンピュータを、
    　画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、
    　前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元手段と、
    　前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成手段と、
    　前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、
    　前記復元された画素信号を再生画素信号として格納する格納手段、
    　として機能させ、
    　前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成する、
    　ことを特徴とする画像予測復号プログラム。
19. 　画像予測符号化装置と画像予測復号装置とを含んで構成される符号化・復号システムであって、
    　前記画像予測符号化装置は、
    　入力画像を複数のブロックに分割する領域分割手段と、
    　前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成手段と、
    　前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成手段と、
    　前記残差信号を符号化することで圧縮信号を生成する信号符号化手段と、
    　前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納手段と、を備え、
    　前記予測信号生成手段は、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さよりも長く、
    　前記信号符号化手段は、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力し、
    　前記画像予測復号装置は、
    　画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力手段と、
    　前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元手段と、
    　前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成手段と、
    　前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元手段と、
    　前記復元された画素信号を再生画素信号として格納する格納手段と、を備え、
    　前記予測信号生成手段は、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成する
    　ことを特徴とする符号化・復号システム。
20. 　画像予測符号化装置と画像予測復号装置とを含んで構成される符号化・復号システムにおいて実行される符号化・復号方法であって、
    　前記画像予測符号化装置により実行される画像予測符号化方法の処理ステップと、
    　前記画像予測復号装置により実行される画像予測復号方法の処理ステップと、
    　を備え、
    　前記画像予測符号化方法の処理ステップは、
    　入力画像を複数のブロックに分割する領域分割ステップと、
    　前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、予測信号を生成する予測信号生成ステップと、
    　前記対象ブロックの画素信号と前記生成された予測信号との残差信号を生成する残差信号生成ステップと、
    　前記残差信号を符号化することで圧縮信号を生成する信号符号化ステップと、
    　前記圧縮信号を復元し、復元された信号を再生画素信号として格納する格納ステップと、を含み、
    　前記予測信号生成ステップでは、前記対象ブロックを複数の小領域に再分割し、前記小領域の少なくとも１つは非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、
    　前記信号符号化ステップでは、前記小領域の予測信号の生成方法を示す予測信号生成関連情報を符号化し、該符号化で得られた信号を前記圧縮信号とともに出力し、
    　前記画像予測復号方法の処理ステップは、
    　画像を複数のブロックに分割し、前記ブロックをさらに複数の小領域に再分割し、前記小領域の少なくとも１つが非正方形であり、前記非正方形の小領域の第１の辺の長さは、前記第１の辺と異なる第２の辺の長さより長く、前記小領域に含まれる画素信号を予測符号化することにより生成された残差信号と、前記予測符号化における前記小領域の予測信号の生成方法を示す予測信号生成関連情報とを含む圧縮画像データを入力する入力ステップと、
    　前記圧縮画像データから前記小領域の残差信号を抽出し、再生残差信号に復元する復元ステップと、
    　前記圧縮画像データから前記予測信号生成関連情報を抽出し、前記予測信号生成関連情報に基づいて前記小領域の予測信号を生成する予測信号生成ステップと、
    　前記小領域の前記予測信号と前記再生残差信号とを加算することによって、前記小領域の画素信号を復元する画像復元ステップと、
    　前記復元された画素信号を再生画素信号として格納する格納ステップと、を含み、
    　前記予測信号生成ステップでは、前記第１の辺に接する既再生の画素信号を使って前記非正方形の小領域の予測信号を生成する
    　ことを特徴とする符号化・復号方法。

Images