JP2629997B2

JP2629997B2 - 動き補償フレーム間符号化装置

Info

Publication number: JP2629997B2
Application number: JP2011283A
Authority: JP
Inventors: 博之上保; 哲之松家; 章喜田中; 郁夫井上
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1990-01-19
Filing date: 1990-01-19
Publication date: 1997-07-16
Anticipated expiration: 2012-07-16
Also published as: JPH03214988A

Description

【発明の詳細な説明】産業上の利用分野本発明はテレビジョン信号の動き補償フレーム間符号
化装置に関する。

従来の技術近年、動画像符号化技術の発達にともない、テレビ電
話、テレビ会議システム、CD−ROM、ディジタルVTR等で
用いられるカラー動画像の高能率符号化装置として動き
補償予測フレーム間符号化装置が開発されている。例え
ば、吹抜敬彦著「TV画像の多次元信号処理」（1988年11
月15日発行、日刊工業新聞社刊、第７章高能率符号
化、pp213−pp291）に記載された動き補償予測フレーム
間符号化装置が知られている。

動き補償予測フレーム間符号化方式は、高い符号化効
率を実現できる反面、以下に述べる問題点を有してい
る。

動き補償するか否かは、１符号化ブロックの画素値と動き補償にもとずく符号
化ブロックの予測画素値との差分２符号化ブロックの画素値と前のフレームの画素値と
の差分を用いて判定している。

そのため、１、２よって、動き補償を行なうのか否か
の境界近くで判定が行なわれるブロックが数多く存在す
る部分では、動き補償されるブロックと動き補償されな
いブロックが混在することになる。特に一定値以上の大
きさを持つ画面全体の平行移動（パニング;Panning）時
に、画面上の平坦な部分で、動き補償されるブロックに
囲まれて動き補償されないブロックが存在すると画質劣
化の原因となる。

以下、第３図を参照して従来の動き補償フレーム間符
号化装置について説明する。第３図に於て、41は入力テ
レビジョン信号が入力する入力端子、43は現フレームの
符号化ブロックの画信号と前フレームの再生画信号を比
較して符号化ブロックの動ベクトルを算出する動ベクト
ル算出部、44は現フレームと前フレームの再生画信号を
蓄積する画像メモリ部、48は前フレームの再生画信号に
対して動き補償する動き補償部、50は動き補償信号に対
して２次元ローパスフィルタ処理を行なうループ内フィ
ルタ部、52は符号化ブロックの原画信号と予測信号の差
分演算を行ない予測誤差を算出する予測誤差算出部、54
は予測誤差信号を直交変換する直交変換部、56は直交変
換係数を量子化する量子化部、59は量子化した直交変換
係数を逆直交変換する逆直交変換部、61は現フレームの
再生画像を算出する再生画像算出部、63は予測誤差を通
信符号化する予測誤差符号化部、65は動ベクトルを通信
路符号化する動ベクトル符号化部、67は予測符号と動ベ
クトル符号により伝送フレームを構成するマルチプレク
サ部、69は伝送フレームを一時蓄積する符号メモリ部、
71は伝送信号を出力する出力端子である。

以上のような構成に於て、異化その動作について説明
する。図示されていないアナログディジタル変換回路で
ディジタル信号に変換され、水平方向Ｎ画素、垂直方向
Ｎラインのブロックに分割されたテレビジョン信号は、
入力端子41より入力テレビジョン信号42として入力す
る。動ベクトル算出部43は、入力テレビジョン信号42と
画像メモリ部44に蓄積されている前フレームの再生テレ
ビジョン信号45を比較し、符号化ブロックの動きを動ベ
クトルとして算出し、動ベクトル信号46に出力する。同
時に動ベクトル算出部43は、動ベクトル算出時の評価値
を用いて、符号化ブロックについて動き補償の有効・無
効を判定し、その結果を動き補償制御信号として動ベク
トル信号46に出力する。従って、動ベクトル信号46に
は、動ベクトルと動き補償信号が重畳されている。動き
補償部48は、（１）動き補償制御信号が動き補償の有効
を指示している場合には前フレームの再生テレビジョン
信号45を動ベクトルで動き補償し、（２）動き補償制御
信号が動き補償の無効を指示している場合には前フレー
ムの再生テレビジョン信号45をそのままで、動き補償信
号49として出力する。

ループ内フィルタ部50は動ベクトルを用いて動き補償
した符号化ブロックに対して、２次元ローパスフィルタ
処理を行ない、予測信号51として出力する。

予測誤差算出部52は、符号化ブロックの入力テレビジ
ョン信号42と予測信号51の差分演算を行ない、その結果
を予測誤差信号53として出力する。直交変換部54は、予
測誤差信号53に対して直交変換を行ない、予測誤差信号
53の近傍画素間が持つ高い相関性を除去して、予測誤差
直交変換係数55を算出する。直交変換方式としては、多
くの場合、高い変換効率を持ち、ハードウェア化につい
て実現性のある離散コサイン変換が用いられる。量子化
部56は発生符号量57により量子化特性が変化する量子化
器であり、予測誤差直交変換係数55を量子化し、予測誤
差直交変換量子化係数58を算出する。逆直交変換部59
は、予測誤差直交変換量子化係数58を逆直交変換し、量
子化誤差を含んだ予測誤差信号60を算出する。再生画像
算出部61は量子化誤差を含んだ予測誤差信号60と予測信
号51を加算し、符号化ブロックの再生画像62を算出す
る。画像メモリ44は現フレームの再生画像信号62を蓄積
し、前フレームの再生画像信号45を出力する。予測誤差
符号化部63は予測誤差直交変換量子化係数58を符号化
し、予測誤差符号64を算出する。動ベクトル符号化65は
動ベクトル46を符号化し、動ベクトル符号66を算出す
る。マルチプレクサ部67は予測誤差符号64と動ベクトル
符号66より、所定の形式の伝送フレーム68を算出する。
符号メモリ部69は伝送フレーム68を、一旦蓄積し、図示
していない外部より入力するクロック信号に同期して、
伝送符号70として出力端子71より、出力する。

発明が解決しようとする課題しかし、以上のような構成では、動き補償するか否か
は符号化ブロックの動き補償にもとずく予測誤差信号
と、符号化ブロックと前フレームとの差分値により判定
されるため、この２つの値によって、動き補償を行なう
か否かの境界の近くで判定が行なわれるブロックが数多
く存在する部分では、動き補償されるブロックと動き補
償されないブロックが混在することになる。一定値以上
の大きさを持つ画面全体の平行移動（パニング;Pannin
g）等が発生した場合などにおいて、画面上の平坦部分
で動き補償されるブロックに囲まれて動き補償されない
ブロックが存在すると画質劣化の原因となる。

本発明は、以上のような課題に鑑み、従来の方式では
動き補償されないブロックについても、動ベクトルが周
辺の隣接した動き補償したブロックの動ベクトルと同一
か検査し、符号化ブロックがパニング発生時の中心部の
ブロックである場合には、動き補償しないという判定を
補正し、動き補償を行い、画質の向上を図ることを目的
としたものである。

課題を解決するための手段上記目的を達成するための本発明の技術的解決手段は
テレビジョン信号をアナログディジタル変換する手段
と、ディジタル化した入力テレビジョン信号の１フレー
ムまたは１フィールドを定められた大きさのブロックに
分割する手段と、個々のブロックについてテレビジョン
画像の動きである動ベクトルを算出する手段と、フレー
ム間差分値にもとずいて符号化ブロックに対する動き補
償を行なうか否かを判定し、その結果を動き補償制御信
号として算出する第１の動き補償判定手段と、符号化ブ
ロック、及び符号化ブロックに隣接した周辺のブロック
の動ベクトル及び、動き補償制御信号を蓄積する手段
と、前記第１の動き補償判定手段で動き補償を行なわな
いと判定された符号化ブロックの動ベクトルと符号化ブ
ロックに隣接した周辺のブロックの動ベクトルを比較
し、動ベクトルが一致したとみなせるブロック数がＫ個
以上ある場合に前記動き補償制御信号を動き補償を行な
うように変更する動き補償制御信号補正手段と、符号化
ブロックの画素値と前記補正された動き補償制御信号に
もとずく予測画素値との差分を予測誤差値として算出す
る手段と、予測誤差値を直交変換し、直交変換係数を算
出する手段と、直交変換係数を量子化し、量子化した直
交変換係数を算出する手段と、量子化した直交変換係数
を符号化する手段と、量子化した直交変換係数を逆直交
変換し、量子化した予測誤差を算出する手段と、量子化
した予測誤差と予測信号より再生画像を算出する手段
と、再生画像を蓄積する手段と、動ベクトルを符号化す
る手段を具備した動き補償フレーム間符号化装置によ
り、上記目的を達成するものである。

作用従来の動き補償フレーム間符号化装置では、入力テレ
ビジョン信号と画像メモリに蓄積されている前フレーム
の再生テレビジョン信号を比較し、符号化ブロックの動
き補償ベクトルを算出し、符号化ブロックの前フレーム
と現フレームとの差分と、動き補償を用いた予測画素値
と現フレームの画素値との差分とを用いて、動き補償の
有効性を判定している。

しかし、これらの値によって、動き補償を行なうか否
かの境界の近くで判定が行なわれるブロックが数多く存
在する部分では、動き補償されるブロックと動き補償さ
れないブロックが混在することになる。特に画面全体の
平行移動が行なわれたときなどに、画面の平坦部におい
て、動き補償されるブロックに囲まれて動き補償されな
いブロックが存在すると、画質劣化の原因となる。

そこで本発明は、上記構成により符号化ブロックの動
ベクトルが隣接した周辺のブロックの動ベクトルと同一
の場合は、動き補償しないと判定されたブロックにおい
ても、その判定を補正して動き補償することにより、画
質を向上させたものである。

実施例以下、第１図を参照しながら本発明の第１の実施例に
ついて説明する。第１図は本発明の第１の実施例に於け
る動き補償フレーム間符号化装置のブロック図である。
第１図において、１は入力テレビジョン信号が入力する
入力端子、３は現フレームの符号化ブロックの画信号と
前フレームの再生画信号を比較して、符号化ブロックの
動ベクトルと第１動き補償制御信号を算出する第１動き
補償判定部、４は現フレームと前フレームの再生画信号
を蓄積する画像メモリ部、８は第１動き補償制御信号と
動ベクトルを蓄積し、最終的に符号化ブロックを動き補
償するか否かを判定し、結果を第２動き補償制御信号12
に出力する第２動き補償判定部、14は前フレームの再生
画信号に対して動き補償する動き補償部、15は第２動き
補償制御信号に対して２次元ローパスフィルタ処理する
ループ内フィルタ部、18は符号化ブロックの原画信号と
予測信号の差分演算を行ない予測誤差を算出する予測誤
差算出部、20は予測誤差信号を直交変換する直交変換
部、22は直交変換係数を量子化する量子化部、25は量子
化した直交変換係数を逆直交変換する逆直交変換部、27
は現フレームの再生画像を算出する再生画像算出部、29
は予測誤差を通信路符号化する予測誤差符号化部、31は
動ベクトルを通信路符号化する動ベクトル符号化部、33
は予測符号と動ベクトル符号より伝送フレームを構成す
るマルチプレクサ部、35は伝送フレームを一時蓄積する
符号メモリ部、37は伝送信号を出力する出力端子であ
る。

以上のような構成において、以下その動作を説明す
る。テレビジョン信号は第１図に図示されていない信号
処理部でアナログ・ディジタル変換され、水平方向Ｍ画
素、垂直方向Ｎラインのブロックに分割され、入力端子
１よりテレビジョン信号２として入力する。次に、第１
動き補償判定部３は入力テレビジョン信号２と、画像メ
モリ部４より読みだした前フレームの再生画像５を比較
し、動ベクトル６を算出する。同時に、第１動き補償判
定部３は動ベクトル算出時の評価値を用いて、処理ブロ
ックに対する動き補償が有効か無効かを判定し、その結
果を第１動き補償制御信号７として出力する。第２動き
補償判定部８は、符号化ブロックの動ベクトル６と第１
動き補償制御信号７を蓄積し、符号化ブロックについて
動き補償が有効なのか否かを最終的に判断し、第２動き
補償制御信号12に出力する。さらに第２動き補償判定部
８は符号化ブロックに対する動き補償が最終的に有効と
判断されたときは、蓄積された符号化ブロックについて
動ベクトルを第２動き補償制御信号12に出力する。

従って、第２動き補償制御信号12には、動ベクトルと
動き補償信号が重畳されている。

以下に、動き補償が有効か無効かの最終的な判定の方
法を記述する。

（１）符号化ブロックに対する第１動き補償制御信号
７が7ONであれば、第２動き補償制御信号12をONとして
判定を終了する。

（２）符号化ブロックの動ベクトル（Vx（ｉ）,Vy
（ｊ））と符号化ブロックに隣接した８個の参照ブロッ
クの動ベクトル（Vx（ｉ−１）,Vy（ｊ−１）），（Vx
（ｉ）,Vy（ｊ−１）），（Vx（ｉ＋１）,Vy（ｊ−
１）），（Vx（ｉ−１）,Vy（ｊ）），（Vx（ｉ＋１）,
Vy（ｊ）），（Vx（ｉ−１）,Vy（ｊ＋１）），（Vx
（ｉ）,Vy（ｊ＋１）），（Vx（ｉ＋１）,Vy（ｊ＋
１））で、動き補償する参照ブロックの動ベクトルを比
較し、動ベクトルが一致したブロック数を係数し、前記
一致数が予め定めた値Ｋよりも大きいか等しい場合に
は、第１動き補償制御信号７を補償し、第２動き補償制
御信号12をonし、その他の場合は第２動き補償制御信号
をoffする。

実験によればＫ＝４とすると画質の向上が確認され
た。

動き補償部14は、符号化ブロックの再生画像15に対し
動ベクトル情報12により動き補償する場合は動ベクトル
で動き補償し、動き補償しない場合は何もせずに、動き
補償信号16として出力する。ループ内フィルタ部15は、
動き補償信号16に対しループ内フィルタ処理を行い予測
信号17として出力する。

本処理方式は、符号化ブロックのループ内フィルタ処
理に隣接した周辺８ブロックの動ベクトルを必要とする
ため、符号化ブロックの処理開始が従来例に比べＮライ
ン分遅延するが、その遅延時間は処理フレーム速度;10F
RAME/SEC、１フレーム総ライン数;288ライン、Ｎ＝８と
した場合に、約3mSECであり、その影響はほとんど無視
できる。

予測誤差算出部18は、符号化ブロックの入力テレビジ
ョン信号２と予測符号17の差分演算を行ない、その結果
を予測誤差信号19として出力する。直交変換部20は、予
測誤差信号19に対して直交変換を行ない、予測誤差信号
19の近傍画素間が持つ高い相関性を除去して、予測誤差
直交変換係数21を算出する。直交変換方式としては、多
くの場合、高い変換効率を持ち、ハードウェア化につい
て実現性のある離散コサイン変換が用いられる。量子化
部22は発生符号量23により量子化特性が変化する量子化
器であり、予測誤差直交変換係数21を量子化し、予測誤
差直交変換量子化係数24を算出する。逆直交変換部25
は、予測誤差直交変換量子化係数24を逆直交変換し、量
子化誤差を含んだ予測誤差信号26を算出する。再生画像
算出部27は量子化誤差を含んだ予測誤差信号26と予測信
号17を加算し、符号化ブロックの再生画像28を算出す
る。画像メモリ４は現フレームの再生画像信号28を蓄積
し、前フレームの再生画像信号５、および15を出力す
る。予測誤差符号化部29は予測誤差直交交換量子化係数
24を符号化し、予測誤差符号30を算出する。動ベクトル
符号化部31は動き補償したブロックの動ベクトル12を符
号化し、動ベクトル符号32を算出する。マルチプレクサ
部33は予測誤差符号30と動ベクトル符号32より、所定の
形式の伝送フレーム34を算出する。符号メモリ部35は伝
送フレーム34を、一旦蓄積し、図示していない外部より
入力するクロック信号に同期して、伝送符号36として出
力端子37より、出力する。

以上の説明から明らかなように本実施例によれば、第
２動き補償判定部８で、符号化ブロックの動ベクトルと
隣接した周辺ブロックの動ベクトルを比較し、符号化ブ
ロックの動ベクトルが隣接した周辺のブロックの動ベク
トルと同一の場合は、動き補償しないと判定されたブロ
ックに対しても動き補償を行なうことにより、画面全体
の平行移動時に、画面の平坦部で動き補償されるブロッ
クと動き補償されないブロックが混在することによって
起こる画質の劣化を防ぎ、画質を向上させたものであ
る。

なお、以上の説明に於て、動き補償しないと判定され
たブロックについて、判定を補正し動き補償するか否か
を「符号化ブロックの動ベクトルと符号化ブロックに隣
接した周辺の動き補償するブロックの動ベクトルの一致
数」で判定する例を示したが、「一致したと見なせる
数」で判定してもよい。

また、以上の説明に於て、前フレームの再生画と現フ
レームの現画とを用いて、動ベクトルの検出を行なう例
を示したが、前フレームの原画と現フレームの原画とを
用いて、動ベクトルを検出してもよい。

発明の効果以上のように、本発明の効果としては、動き補償の有
効性の判定に関し、動き補償しないと判定した符号化ブ
ロックについて、符号化ブロックの動ベクトルと隣接し
た周辺ブロックの動ベクトルを一時記憶する手段と、符
号化ブロックの動ベクトルと隣接した周辺ブロックの動
ベクトルを比較し、符号化ブロックの動ベクトルが隣接
した周辺のブロックの動ベクトルと同一の場合は、動き
補償しないという判定を補正し、動き補償する手段を具
備することにより、画面全体の平行移動時などに、画面
上の平坦部で動き補償するブロックと動き補償しないブ
ロックが混在することによっておこる画質の劣化を防ぐ
ことにより、画質を向上させることができ、その効果は
大きい。

【図面の簡単な説明】

第１図は本発明の一実施例における動き補償フレーム間
符号化装置のブロック結線図、第２図は符号化ブロック
と隣接した周辺ブロックの位置関係を示した図、第３図
は従来の動き補償フレーム間符号化装置のブロック結線
図である。１、41……入力端子、３……第１動き補償判定部、43…
…動ベクトル算出部、８……第２動き補償判定部、４、
44……画像メモリ部、14、48……動き補償部、15、50…
…ループ内フィルタ部、18、52……予測誤差算出部、2
0、54……直交変換部、22、56……量子化部、25、59…
…逆直交変換部、27、61……再生画像算出部、29、63…
…予測誤差符号化部、31、65……動ベクトル符号化部、
33、67……マルチプレクサ部、35、69……符号メモリ
部、37、71……出力端子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者井上郁夫大阪府門真市大字門真1006番地松下電器産業株式会社内 (56)参考文献特開平１−229580（ＪＰ，Ａ) 特開昭61−200789（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】テレビジョン信号をアナログディジタル変
換する手段と、ディジタル化した入力テレビジョン信号
の１フレームまたは１フィールドを定められた大きさの
ブロックに分割する手段と、個々のブロックについてテ
レビジョン画像の動きである動ベクトルを算出する手段
と、フレーム間差分値にもとずいて符号化ブロックに対
する動き補償を行なうか否かを判定し、その結果を動き
補償制御信号として算出する第１の動き補償判定手段
と、符号化ブロック、及び符号化ブロックに隣接した周
辺のブロックの動ベクトル及び、動き補償制御信号を蓄
積する手段と、前記第１の動き補償判定手段で動き補償
を行なわないと判定された符号化ブロックの動ベクトル
と符号化ブロックに隣接した周辺のブロックの動ベクト
ルを比較し、動ベクトルが一致したとみなせるブロック
数がＫ（但し、Ｋは８以下の正整数）個以上ある場合
に、前記動き補償制御信号を動き補償を行なうように変
更する動き補償制御信号補正手段と、符号化ブロックの
画素値と前記補正された動き補償制御信号にもとずく予
測画素値との差分を予測誤差値として算出する手段と、
予測誤差値を直交変換し、直交変換係数を算出する手段
と、直交変換係数を量子化し、量子化した直交変換係数
を算出する手段と、量子化した直交変換係数を符号化す
る手段と、量子化した直交変換係数を逆直交変換し、量
子化した予測誤差を算出する手段と、量子化した予測誤
差と予測信号より再生画像を算出する手段と、再生画像
を蓄積する手段と、動ベクトルを符号化する手段を具備
した動き補償フレーム間符号化装置。