JP3331351B2 - 画像データ符号化方法及び装置 - Google Patents
画像データ符号化方法及び装置Info
- Publication number
- JP3331351B2 JP3331351B2 JP51156093A JP51156093A JP3331351B2 JP 3331351 B2 JP3331351 B2 JP 3331351B2 JP 51156093 A JP51156093 A JP 51156093A JP 51156093 A JP51156093 A JP 51156093A JP 3331351 B2 JP3331351 B2 JP 3331351B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- field
- encoding
- image
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
- H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
する画像データ符号化方法及び画像データ符号化装置に
関する。
謂MPEG(Moving Picture Experts Group)による標準化
案では、所謂ディジタルストレージメディア用の画像信
号の高能率符号化方式が規定されている。このMPEGによ
る画像信号の高能率符号化方式の原理は、以下に示すよ
うなものである。
の差分を取ることで時間軸方向の冗長度を落とし、その
後、所謂離散コサイン変換(DCT:Discrete Cosine Tran
sform)処理と可変長符号化(VLC:Variable Length Cod
ing)処理とを使用して空間軸方向の冗長度を落とすよ
うにしている。
る。 一般に、連続した動画では、時間的に前後の画像と、
ある注目している画像(すなわちある時刻の画像)とは
よく似ているものである。このため、例えば図1に示す
ように、今から符号化しようとしている画像と、時間的
に前方の画像との差分を取り、その差分を伝送するよう
にすれば、時間軸方向の冗長度を減らして伝送する情報
量を少なくすることが可能となる。このようにして符号
化される画像は、後述する前方予測符号化画像(Predic
tive−coded picture、Pピクチャ或いはPフレーム)
と呼ばれる。
時間的に前方或いは後方若しくは、前方及び後方から作
られた補間画像との差分を取り、それらのうちの小さな
値の差分を伝送するようにすれば、時間軸方向の冗長度
を減らして伝送する情報量を少なくすることが可能とな
る。このようにして符号化される画像は、後述する両方
向予測符号化画像(Bidirectionally Predictive−code
d picture、Bピクチャ或いはBフレーム)と呼ばれ
る。なお、この図1において、図中Iで示す画像は後述
する画像内符号化画像(イントラ符号化画像:Intra−co
ded picture、Iピクチャ或いはIフレーム)を示し、
図中Pで示す画像は上記Pピクチャを示し、図中Bで示
す画像は上記Bピクチャを示している。
われる。すなわち、この動き補償によれば、例えば8×
8画素の単位ブロックにより構成される、例えば16×16
画素のブロック(以下、マクロブロック(Macroblock)
という)を作り、前画像の当該マクロブロックの位置の
近傍で一番差分の少ないところを探索し、この探索され
たマクロブロックとの差分を取ることにより、送られな
ければならないデータを削減することができる。実際に
は、例えば、上記Pピクチャ(前方予測符号化画像)で
は、動き補償後の予測画像と差分を取ったものと、当該
動き補償後の予測画像と差分を取らないものとのうち、
データ量の少ないものを上記16×16画素のマクロブロッ
ク単位で選択して符号化する。
から出てきた部分(画像)に関しては、多くのデータを
送らなければならない。そこで、例えば上記Bピクチャ
(両方向予測符号化画像)では、既に復号化された動き
補償後の時間的に前方或いは後方の画像及び、その両者
を足して作った補間画像と上記今から符号化しようとし
ている画像との差分と、当該差分を取らないものすなわ
ち今から符号化しようとしている画像の四者のうち、一
番データ量の少ないものが符号化される。
る。 画像データの差分は、そのまま伝送するのではなく、
上記8×8画素の単位ブロック毎に離散コサイン変換
(DCT)をかける。当該DCTは、画像を画素レベルでなく
コサイン関数のどの周波数成分がどれだけ含まれている
かで表現するものであり、例えば2次元DCTにより、8
×8画素の単位ブロックのデータは、8×8のコサイン
関数の成分の係数ブロックに変換される。例えば、テレ
ビカメラで撮影したような自然画の画像信号は滑らかな
信号になることが多く、この場合、当該画像信号に対し
て上記DCT処理を施すことにより効率良くデータ量を落
とすことができる。
を図2に示す。すなわち、この図2に示すデータ構造
は、下から順に、ブロック層と、マクロブロック層と、
スライス層と、ピクチャ層と、GOP(Group of Pictur
e)層と、ビデオシーケンス層とからなる。以下、この
図2において下の層から順に説明する。
ロックは、図2Fに示すように、輝度又は色差の隣り合っ
た8×8の画素(8ライン×8画素の画素)から構成さ
れる。上述したDCT(離散コサイン変換)は、この単位
ブロック毎にかけられる。
層のマクロブロックは、図2Eに示すように、左右及び上
下に隣り合った4つの輝度ブロック(輝度の単位ブロッ
ク)Y0,Y1,Y2,Y3と、画像上では上記輝度ブロックと同
じ位置に当たる色差ブロック(色差の単位ブロック)C
r,Cbとの全部で6個のブロックで構成される。これらブ
ロックの伝送の順は、Y0,Y1,Y2,Y3,Cr,Cbの順である。
ここで、当該符号化方式において、予測画像(差分を取
る基準の画像)に何を用いるか、或いは差分を送らなく
てもよいか等は、このマクロブロック単位で判断され
る。
に連なる1つ又は複数のマクロブロックで構成されてい
る。このスライスの頭(ヘッダ)では、画像内における
動きベクトル及びDC(直流)成分の差分がリセットさ
れ、また、最初のマクロブロックは、画像内での位置を
示すデータを持っており、したがってエラーが起こった
場合でも復帰できるようになされている。そのため、上
記スライスの長さや始まる位置は任意となり、伝送路の
エラー状態によって変えられるようになっている。
の画像は、図2Gに示すように、少なくとも1つ又は複数
の上記スライスから構成される。そして、それぞれが符
号化の方式にしたがって、上述のようなイントラ符号化
画像(Iピクチャ或いはIフレーム)、上記前方予測符
号化画像(Pピクチャ或いはPフレーム)、両方向予測
符号化画像(Bピクチャ或いはBフレーム)、DCイント
ラ符号化画像(DC coded (D)picture)の4種類の画
像に分類される。
いては、符号化されるときに、その画像1枚の中だけで
閉じた情報のみを使用する。したがって、換言すると、
復号化するときにIピクチャ自身の情報のみで画像が再
構成できることになる。実際には、差分を取らずにその
ままDCT処理して符号化を行う。この符号化方式は、一
般的に効率が悪いが、これを随所に入れておけば、ラン
ダムアクセスや高速再生が可能となる。
予測画像(差分を取る基準となる画像)として、入力で
時間的に前に位置し既に復号化されたIピクチャ又はP
ピクチャを使用する。実際には、動き補償された予測画
像との差を符号化するのと、差を取らずにそのまま符号
化する(イントラ符号)のと何れか効率の良い方を上記
マクロブロック単位で選択する。
は、予測画像として時間的に前に位置し既に復号化され
たIピクチャ又はPピクチャ及び、その両方から作られ
た補間画像の3種類を使用する。これにより、上記3種
類の動き補償後の差分の符号化とイントラ符号との中で
一番効率の良いものをマクロブロック単位で選択でき
る。
みで構成されるイントラ符号化画像であり、他の3種の
画像と同じシーケンスには存在できないものである。
ピクチャと、0又は複数枚の非Iピクチャとから構成さ
れている。上記Iピクチャの間隔(例えば9)及びIピ
クチャ又はBピクチャの間隔(例えば3)は自由であ
る。またIピクチャ又はBピクチャの間隔は、当該GOP
層の内部で変わってもよいものである。
サイズ、画像レート等が同じ1又は複数のGOP層から構
成される。
標準化された動画像を伝送する場合には、先ず1枚の画
像をピクチャ内で圧縮した画像が送られ、次にこの画像
を動き補償した画像との差分が伝送される。
ある場合に、次のような問題が生じることがわかった。
して符号化処理すると、フィールドで交互に垂直位置が
異なることになる。よって動画像のうちの静止部分を伝
送する場合には、静止部分にもかかわらず、フィールド
が替わる毎に差分情報が発生し、それを伝送しなければ
ならないので、動画像のうちの静止部分では、符号化効
率が低下する。
ド単位でブロックを構成するので、フレーム単位でブロ
ックを構成する場合に比べて、画素間の間隔が広くな
り、相関が低下するので、符号化効率が低下する。
ャとして符号化処理すると、上記フレーム内で動いてい
る部分については所謂櫛形にぶれた画像を処理しなけれ
ばならなくなる。例えば、図3に示すように、静止した
動体の手前に自動車等の動体CAがある場合、Iフレーム
を見るとフィールド間で動きがあるため、そのような部
分は図4で示すような櫛型KSの画像となってしまう。こ
のため、元々の画像には存在しない高周波成分を伝送す
ることになり、符号化効率が低下する。
ームを構成する連続する2つのフィールドをまとめて符
号化するので、その2つのフィールド間では予測符号化
を用いることができない。このため、予測符号化の最小
距離が1フレーム(2フィールド)となるので、予測符
号化の最小距離が1フィールドであるフィールド単位の
符号化処理に比べると、動きの速い、若しくは動きの複
雑な画像については、フレーム単位の符号化処理は不利
である。
ーム単位の符号化処理それぞれに符号化効率が低下する
場合があり、逆にそれらは他方の符号化効率が高い場合
である。
れたものであり、本発明の目的は、インターレース画像
について、動きの少ない画像も、動きの多い画像も、ま
た、これら両者が混在した画像でも、効率良く符号化を
行うことができる画像データ符号化装置及び画像データ
符号化装置を提供することである。
タ符号化方法は、インターレース構造を有する2枚のフ
ィールドからなる1フレームの画像をブロックに細分化
し、各ブロックでフィールド単位又はフレーム単位での
離散コサイン変換等の符号化処理をする画像データ符号
化方法において、1フレームの画像の符号化処理をフレ
ーム単位で行うか、フィールド単位で行うかを判定す
る。この判定結果に基づいて、1フレームの画像をフレ
ーム単位で符号化処理するときは、各ブロックをフィー
ルド単位又はフレーム単位での離散コサイン変換等の符
号化処理を選択的に行って、符号化画像データを形成す
るとともに、フレーム単位で符号化処理するときは、各
ブロックをフィールド予測又はフレーム予測にて予測処
理を行い、1フレームの画像をフィールド単位で符号化
処理するときは、各ブロックでフィールド単位での離散
コサイン変換等の符号化処理を行うとともに、各ブロッ
クをフィールド予測にて予測処理を行い、フレーム単位
で符号化処理するフレームと、フィールド単位で符号化
処理するフレームとの間にあって、フレーム処理される
フレーム又はフィールド処理されるフィールドを用いて
予測処理を行うフィールドは、フレーム処理されるフレ
ームの2つのフィールド、又はフィールド処理されるフ
ィールドを用いて予測処理を行う。
ーレース構造を有する2枚のフィールドからなる1フレ
ームの画像の画素を、2次元配列からなるブロック毎に
フィールド単位又はフレーム単位での離散コサイン変換
等の符号化処理し、階層構造を有する符号化画像データ
を形成する画像データ符号化装置において、1フレーム
の画像の符号化処理をフレーム単位で行うか、フィール
ド単位で行うかを判定する手段と、判定に基づいて、1
フレームの画像をフレーム単位で符号化処理するとき
は、各ブロックをフィールド単位又はフレーム単位での
離散コサイン変換等の符号化処理を選択的に行って、符
号化画像データを形成するとともに、フレーム単位で符
号化処理するときは、各ブロックをフィールド予測又は
フレーム予測にて予測処理を行う手段と、1フレームの
画像をフィールド単位で符号化処理するときは、各ブロ
ックでフィールド単位での離散コサイン変換等の符号化
処理を行うとともに、各ブロックをフィールド予測にて
予測処理を行う手段と、フレーム単位で符号化処理する
フレームと、フィールド単位で符号化処理するフレーム
との間にあって、フィールド処理されるフィールドは、
フレーム処理されるフレームの2つのフィールド、又は
フィールド処理されるフィールドを用いて予測処理し、
フィールド処理を行う手段とを有する。
して説明する。
符号化/復号化処理について説明する。
場合、フィールド構造を考慮して図示すると、例えば図
5となる。この図5において、上段が第1フィールド
(例えば奇数フィールド)を表し、下段が第2フィール
ド(例えば偶数フィールド)を表す。1/60秒の間隔で時
間的に隣り合わせた2つのフィールドが、フレームを構
成する。そして、フィールド単位の符号化/復号化処理
では、各ピクチャがフィールド単位で符号化/復号化さ
れる。
像内符号化画像)/Pピクチャ(前方予測符号化画像)/B
ピクチャ(両方向予測符号化画像)の構成パターンを変
更した具体例を図6に示す。図5と図6では、GOP層内
のピクチャの構成パターンだけが異なっているだけで、
フィールド単位で符号化/復号化処理を行うことは同一
である。ところで、この図6に示すように、第1フィー
ルドと第2フィールドの符号化のタイプが同じである場
合、第1フィールドと第2フィールドをまとめて符号化
/復号化処理すると、フレーム単位の符号化/復号化処
理となり、これを図7に示す。
る動き予測/補償は、種々のバリエーションが考えられ
るが、そのうちの簡潔な具体例を図8、9、10に示す。
これらの図において、例えば図8に示すピクチャI2から
ピクチャP5、例えば図9に示すピクチャI3からピクチャ
P6等の太い破線の矢印は、Pピクチャへの動き予測を表
し、例えば図8、9に示すピクチャI2からピクチャB0等
の細い破線の矢印は、Bピクチャへの動き予測を表す。
さらに、図10A、Bでは、実線の矢印は、後述するフレ
ーム構成のマクロブロックの動き予測を表し、破線の矢
印は、フィールド構成のマクロブロックの動き予測を表
す。
Pピクチャ、例えば図8に示すピクチャP5は、予測画像
(差分を取る基準となる画像)として時間的に前に位置
し既に復号化されたピクチャI2を使用し、ピクチャP8
は、予測画像として時間的に前に位置し既に復号化され
たピクチャP5を使用する。また、例えば図9に示すピク
チャP6は、予測画像としてピクチャI3を使用し、ピクチ
ャP7は、予測画像としてピクチャP6を使用する。つぎ
に、Bピクチャ、例えば図8に示すピクチャB4は、予測
画像として時間的に前に位置し既に復号化されたピクチ
ャI2又はピクチャP5及び、その両方から作られた補間画
像の3種類を使用する。また、例えば図9に示すピクチ
ャB4は、予測画像としてピクチャI3又はピクチャP6及
び、その両方から作られた補間画像の3種類を使用す
る。
クチャ(フレーム)、例えば図10Aに示すピクチャP6、P
7から構成されるフレームは、予測画像としてピクチャI
2、I3から構成されるフレームを使用し、ピクチャP10、
P11から構成されるフレームは、予測画像としてピクチ
ャP6、P7から構成されるフレームを使用する。つぎに、
Bピクチャ(フレーム)、例えば図10Bに示すピクチャB
4、B5から構成されるフレームは、予測画像として時間
的に前に位置し既に復号化されたピクチャI2、I3から構
成されるフレーム又はピクチャP6、P7から構成されるフ
レーム及び、その両方から作られた補間画像の3種類を
使用する。
号化/復号化処理は、符号化/復号化処理手順は同一で
あるが、以下に述べるように、ブロック構成と動き予測
/補償に差異がある。
ルドと第2フィールドをまとめて符号化/復号化するの
で、第1フィールドと第2フィールドをまとめたブロッ
クを構成できるが、フィールド単位の処理では、どちら
かのフィールドのみでブロックを構成する。
ルドと第2フィールドをまとめて、符号化/復号化する
ので、第1フィールドから、同一フレームに属する第2
フィールドへの動き予測は用いられないが、フィールド
単位の処理では、第1フィールドから第2フィールドへ
の動き予測が用いられる。
測/補償の詳細について説明する。
るマクロブロックの内部のブロックの構成を示す図であ
り、この図11に示すように、フィールド単位の符号化/
復号化処理では、フィールド構成のマクロブロックは、
第1フィールドだけ、若しくは第2フィールドだけから
構成される。
処理におけるマクロブロックの内部のブロックの構成を
示す図である。フレーム単位の符号化/復号化処理で
は、図12A、Bに示すフィールド構成のマクロブロック
の他に、図12Cに示すように、フレーム構成のマクロブ
ロックをとることができる。すなわち、フィールド構成
のマクロブロックでは、図12Aに示すように、上述の図1
1に示すフィールド単位の符号化/復号化処理と同じマ
クロブロックの構成の第1フィールド、第2フィールド
の他に、図12Bに示すように、マクロブロックを上下の
2ブロックずつに分けて、上半分が第1フィールドだ
け、下半分が第2フィールドだけから構成することも可
能である。また、フレーム構成のマクロブロックは、図
12Cに示すように、マクロブロックが第1フィールドと
第2フィールドから構成される。
は、フィールド単位の符号化/復号化処理におけるフィ
ールド構成のマクロブロックの他にも、フレーム構成の
マクロブロックが可能である。
フレーム構成のマクロブロックの切換は、例えば、後述
する画像データ符号化装置を構成する符号化方式判定回
路21(図23参照)が決定したフィールド単位の符号化処
理かフレーム単位の符号化処理かを識別する識別情報
(以下符号化方式の情報という)によって、バッファメ
モリ7、8からブロックを読み出す際に、読出アドレス
をコントロールすることにより、実現することができ
る。また、後述する画像データ復号化装置では、逆可変
長符号化回路31(図27参照)において、画像データ符号
化装置等から受信される符号化ビットストリーム(Bit
stream)内に書かれている(重畳されている)フラグを
検出するとともに、このフラグに基づいて符号化方式が
フィールド単位かフレーム単位かを判断し、その情報を
動き補償回路42、43等に供給してバッファメモリ37,38
の読出アドレスをコントロールすることで実現すること
ができる。
ば図13、14に示すように480×720画素の記憶容量を有す
るメモリで構成し、フレーム構成では、図13に示すよう
に、画像データをフレームの構成で記憶し、フィールド
構成では、画像データをフィールドの構成で記憶するよ
うにする。なお、図14において、2つのフィールドは、
時間的に連続する必要はない。また、この例では、バッ
ファメモリの大きさのフレームの大きさとしたが、大き
さに制限はなく、より大きくてもよく、若しくは複数枚
のフレームを記憶する構成でもよい。さらに、図23、27
のブロック図では、バッファメモリを符号化/復号化処
理との対応をとりやすくするために、2つに分割した
が、実際の構成上では、分割する必要はないので、1つ
のバッファメモリにまとめてよい。
き予測/補償の際に、例えば図8に示すピクチャI2から
ピクチャB3への予測や、図9に示すピクチャP6からピク
チャP7への予測のように、同一フレームに属する第1フ
ィールドから第2フィールドへの動き予測を用いる。
は、図7に示すように、2つのフィールドをまとめて符
号化/復号化するので、第1フィールドから、同一フレ
ームに属する第2フィールドへの動き予測を用いない。
の動き予測は、同一フレームに属する第1フィールドか
ら第2フィールドへの動き予測を用いるので、動き予測
するピクチャ間の最小間隔が短く、フレーム単位の符号
化/復号化処理の動き予測を包含する。なお、上述の具
体例では、特にフレーム構成のマクロブロックの動き予
測を示したが、それはマクロブロック内の2つのフィー
ルドについて、同じ動き予測をすることにすぎないの
で、フィールド構成のマクロブロックの動き予測2回で
代用できる。さらに、フレーム単位での動き予測は、フ
レーム単位の符号化/復号化処理に不可欠の動き予測で
はなく、フィールド単位の動き予測だけでもよい。
化/復号化方法では、フィールド単位、フレーム単位の
符号化/復号化処理は、ブロックの構成と動き予測のコ
ントロールの方法を両方の符号化/復号化処理に対応さ
せることにより、両方法における符号化/復号化が可能
である。
囲で、どちらの符号化処理を行ったか、すなわち、フィ
ールド単位かフレーム単位かを画像データ復号化装置に
伝達する必要がある。
トリーム(符号化画像データ)の一部に、この符号化画
像のある範囲が、フィールド単位或いはフレーム単位で
処理されたかを示すフラグを設ける。なお、ある範囲と
は、例えばシーケンス、GOP、ピクチャである。具体的
には、画像データ符号化装置では、画像のある範囲が、
フィールド単位若しくはフレーム単位のどちらを単位と
して符号化処理されたかを識別する識別情報を符号化ビ
ットストリームの所定の位置にフラグとしてセット(重
畳)する。画像データ復号化装置では、符号化ビットス
トリームの所定の位置を、上述したように逆可変長符号
化回路31によって解読することによって、復号化処理の
単位を決定し、それに基づいて復号することにより、画
像を再生することができる。
号化処理における動き予測は、上述した図8、9、10に
示す具体例に限定されるものではなく、例えば図15、16
に示す動き予測を用いたフィールド単位の符号化/復号
化処理についても、フレーム単位の符号化/復号化処理
と画像のある階層毎に、切り換えることができる。
クチャの構成パターンにおける図8に示したフィールド
単位の符号化/復号化処理のPピクチャの予測方法と異
なる具体例を示す図であり、図15Bは、図8に示したフ
ィールド単位の符号化/復号化処理のBピクチャの予測
方法と異なる具体例を示す図である。すなわち、例えば
ピクチャP8の予測画像として、図8に示す具体例ではピ
クチャP5を使用しているのに対して、図15Aに示すよう
に、例えばピクチャI2等を使用するようにしてもよい。
また、例えばピクチャB4の予測画像として、図8に示す
具体例ではピクチャI2又はピクチャP5及び、その両方か
ら作られた補間画像の3種類を使用しているのに対し
て、図15Bに示すように、ピクチャI2、ピクチャP5、ピ
クチャP8又はピクチャP11及び、それらから合成される
補間画像を使用するようにしてもよい。
パターンにおける図9に示したフィールド単位の符号化
/復号化処理のPピクチャの予測方法と異なる具体例を
示す図であり、図16Bは、図9に示したフィールド単位
の符号化/復号化処理のBピクチャの予測方法と異なる
具体例を示す図である。すなわち、例えばピクチャP6の
予測画像として、図9に示す具体例ではピクチャI3を使
用しているのに対して、図16Aに示すように、例えばピ
クチャI2等を使用するようにしてもよい。また、例えば
ピクチャB4の予測画像として、図9に示す具体例ではピ
クチャI3又はピクチャP6及び、その両方から作られた補
間画像の3種類を使用しているのに対して、図16Bに示
すように、ピクチャI2、ピクチャI3、ピクチャP6又はピ
クチャP7及び、それらから合成される補間画像を使用す
るようにしてもよい。
化処理とフレーム単位の符号化/復号化処理を組み合わ
せるようにしてもよい。
/復号化処理した後、それに続くピクチャをフィールド
単位で符号化/復号化処理する場合の具体例を図17、20
に示す。この図17は、図7に示すフレーム単位の符号化
/復号化処理例と図5に示すフィールド単位の符号化/
復号化処理例の組合せを示す図であり、図20は、図7に
示すフレーム符号化/復号化処理例と図6に示すフィー
ルド符号化/復号化処理例の組合せを示す図である。
されるフレームは、図18に示すように、予測画像として
ピクチャI2,I3から構成されるフレームを用い、例えば
ピクチャP10は、予測画像として例えばピクチャP6等を
使用するようにしてもよい。一方、例えばピクチャB4,B
5から構成されるフレームは、図19に示すように、ピク
チャI2,I3から構成されるフレーム又はピクチャP6,P7か
ら構成されるフレーム及び、それらから合成される補間
画像を用い、例えばピクチャB8は、図19に示すように、
ピクチャP6、ピクチャP7又はピクチャP10及び、それら
から合成される補間画像を使用するようにしてもよい。
成されるフレームは、図21に示すように、予測画像とし
てピクチャI2,I3から構成されるフレームを用い、例え
ばピクチャP10は、予測画像として例えばピクチャP6等
を使用するようにしてもよい。一方、例えばピクチャB
4,B5から構成されるフレームは、図22に示すように、ピ
クチャI2,I3から構成されるフレーム又はピクチャP6,P7
から構成されるフレーム及び、それらから合成される補
間画像を用い、例えばピクチャB8は、図22に示すよう
に、ピクチャP6、ピクチャP7、ピクチャP10又はピクチ
ャP11及び、それらから合成される補間画像を使用する
ようにしてもよい。
符号化/復号化処理とフィールド単位の符号化/復号化
処理を組み合わせても問題がない。換言すると、本発明
に係る画像データ符号化方法及び画像データ復号化方法
では、インターレース画像について、フレーム単位の符
号化/復号化処理とフィールド単位の符号化/復号化処
理を切り換えることにより、動きの少ない画像も動きの
多い画像も、また、これら両者が混在した画像でも、効
率良く符号化を行うことができる。
体的な回路構成を示すブロック図である。
示すように、後述する画像データ復号化装置と同じ回路
構成の逆量子化回路2〜ゲート17からなる局所復号化回
路を有する。
フレーム)の画像データが入力されると、これらの画像
データは、バッファメモリ18に一旦記憶される。具体的
には、例えば、図24Aに示すように、画像データがピク
チャI0,B1,B2,P3・・・の順に入力され、図24Bに示すよ
うに、エンコーダ処理順序に並べ変えられる。この並べ
変えられたピクチャ間で、上述した図1に示すような動
き予測が行われる。なお、入力されるピクチャI0,B1,B
2,P3・・・は、図5、6ではフィールドに対応し、図7
ではフレームに対応するものである。
における動きベクトルの検出に用いられる。動きベクト
ル検出回路19は、既に符号化されたピクチャをもとにし
て、予測のためのピクチャを生成するために必要な動き
ベクトルを検出する。すなわち、バッファメモリ18に前
方ピクチャと後方ピクチャを保持して、現在の参照ピク
チャとの間で、動きベクトルの検出を行う。ここで、動
きベクトルの検出は、例えば、マクロブロック単位での
ピクチャ間差分の絶対値和が最小になるものを、その動
きベクトルとする。
間差分の絶対値和は、符号化方式判定回路21に送られ
る。符号化方式判定回路21は、後述するアルゴリズムに
より、ある階層のピクチャの符号化方式、すなわちフィ
ールド単位の符号化処理かフレーム単位の符号化処理か
を決定する。この符号化方式の情報(フィールド単位か
フレーム単位か)及び動きベクトルは、動き補償回路1
2,13,可変長符号化回路25等に送られ、バッファメモリ
7,8の管理に用いられるとともに、後述する画像データ
復号化装置に伝送される。また、符号化方式の情報は、
コントロール回路16に送られる。コントロール回路16か
らは、ゲート5,17、切換スイッチ6,9,10,15に対して、
符号化方式を制御するコントロール信号が出力される。
チャ間差分の絶対値和は、ピクチャ内/前方/後方/両
方向予測判定(以下単に予測判定という)回路20に送ら
れる。予測判定回路20は、この値をもとに、参照マクロ
ブロックの予測モードを決定する。
コントロール回路16はこの予測モードをもとに、マクロ
ブロック単位でピクチャ内/前方/後方/両方向予測の
切換を行うように、ゲート5,17等に対して、コントロー
ル信号を出力する。また、コントロール回路16は、選択
された予測モードに対応する動きベクトルを、バッファ
メモリ7,8に送り、予測画像を発生させる。具体的に
は、ピクチャ内符号化モードの場合は入力画像そのもの
を、前方/後方/両方向予測モードのときはそれぞれの
予測画像を発生させる。なお、ゲート5,17、切換スイッ
チ6,9,10,15の具体的な動作は後述する画像データ復号
化装置のゲート35,47、切換スイッチ36,39,40,45と同じ
であるので、ここでは説明を省略する。
給され、差分器22は、予測画像と現画像との差分データ
を発生する。当該差分データは、離散コサイン変換(以
下DCT:Discrete Cosine Transformという)回路23に入
力される。
て、入力画像データ又は差分データをブロック単位で離
散コサイン変換し、その結果得られるDCT変換データを
量子化回路24に供給する。
毎に定まる量子化ステップサイズ(スケール)でDCT変
換データを量子化し、その結果について、所謂ジグザグ
スキャン(Zigzag Scan)を行う。そして、得られる量
子化データを可変長符号化(以下VLC:Variable Length
Codeという)回路25及び逆量子化回路2に供給する。
ァメモリ26のバッファ残量をフィールドバックすること
によって、送信バッファメモリ26が破綻しない値に決定
される。この量子化ステップサイズも、VLC回路25及び
逆量子化回路2に、量子化データと共に供給される。
サイズ、予測モード、動きベクトル、符号化方式の情報
等を可変長符号化処理するとともに、符号化方式の情報
(フィールド単位かフレーム単位か)を所定の階層のヘ
ッダに付加し、伝送データとして送信バッファメモリ26
に供給する。
格納した後、所定のタイミングでビットストリームとし
て出力するとともに、メモリに残留している残留データ
量に応じてマクロブロック単位の量子化制御信号を量子
化回路24にフィールドバックして量子化ステップサイズ
を制御する。これにより送信バッファメモリ26は、ビッ
トストリームとして発生されるデータ量を調整し、メモ
リ内に適正な残量(オーバーフロー又はアンダーフロー
を生じさせないようなデータ量)のデータを維持するよ
うになされている。
にまで増量すると、送信バッファメモリ26は量子化制御
信号によって量子化回路24の量子化ステップサイズを大
きくすることにより、量子化データのデータ量を低下さ
せる。
が許容下限値まで減量すると、送信バッファメモリ26は
量子化制御信号によつて量子化回路24の量子化ステップ
サイズを小さくすることにより、量子化データのデータ
量を増大させる。
ァメモリ26からのビットストリームは、符号化されたオ
ーディオ信号、同期信号等と多重化され、更にエラー訂
正用のコードが付加され、所定の変調が加えられた後、
例えばレーザ光を介して所謂マスターディスク上の凹凸
のピットとして記録される。そして、マスターディスク
を利用して、所謂スタンパが形成され、さらに、そのス
タンパにより、大量の複製ディスク(例えば光ディスク
等の画像記録媒体)が形成される。また、例えば伝送路
を介して後述する画像データ復号化装置に送信される。
なお、画像記録媒体としては、光ディスク等に限定され
るものではなく、例えば磁気テープ等でもよい。
って、予測画像と加算され、局所復号が行われる。この
局所復号の動作は、後述する画像データ復号化装置と同
じなので、ここでは説明を省略する。
ンに限定されるものではなく、例えばエンコーダ処理順
序が異なると、ピクチャの構成パターンも異なる。具体
的には、Pピクチャと、その間に時間的に挟まれるBピ
クチャの符号化の処理順序には種々のバリエーションが
あるが、それらは処理の順序の変更だけであるので、バ
ッファメモリ7,8等コントロールを変えることにより、
対応することができる。
ムについて、図25に示すフローチャートを用いて説明す
る。
第1フィールド(例えば奇数フィールド)から第2フィ
ールド(例えば偶数フィールド)への動きベクトルを利
用して符号化方式を選択する。
回路21は、この動きベクトルを、符号化されるフレーム
中の全てのマクロブロックについて求め、ステップST2
に進む。
きベクトルの水平(x)成分、垂直(y)成分のメディ
アンを求め、ステップST3に進む。具体的には、水平成
分のメディアンは次のようにして計算される。まず、動
きベクトルの水平成分を降べきの順に並べる。そして、
その中央のデータの値を水平成分のメディアンMvxとす
る。同様にして垂直成分のメディアンMvyを求める。
テップST2で求めたベクトルMV(Mvx,Mvy)は画面全体の
動きを表すパラメータであることから、画面全体の動き
の大きさを表すパラメータとしてこのベクトルMVの大き
さRを求め、ステップST4に進む。このRは下記式1に
よって求められる。
テップST3で求めたRによって符号化方式の切換を行
う。動きの速い画像ではフィールド単位の符号化方式
(符号化処理)、動きの少ない画像ではフレーム単位の
符号化方式(符号化処理)が有利であるので、符号化方
式判定回路21は、Rが所定の闇値TH以下のときはステッ
プST5に進み、フレーム単位の符号化方式を選択する。
それ以外のときはステップST6に進み、フィールド単位
の符号化方式を選択する。
は、画像の動きに応じて、具体的には同一フレームの第
1フィールドと第2フィールド間の動きベクトル、ある
いはその動きベクトルのメディアンの大きさに基づい
て、符号化処理をフィールド単位で行うか、フレーム単
位で行うかを決定することにより、動きの少ない画像も
動きの多い画像も、また、これら両者が混在した画像で
も、効率良く符号化を行うことができる。
ットストリーム、すなわち画像データフォーマットの具
体例について説明する。
理がフレーム単位かフィールド単位かで行われたことを
識別するための識別情報(符号化方式の情報)をフラグ
として付加した例を示す図である。ビデオシーケンス層
は、図26Aに示すように、スタートコード、水平サイ
ズ、垂直サイズ等が所定のビット(図中数字で示す)に
て書き込まれている。この例では、フレーム周波数の後
に、符号化処理がフィールド単位又はフレーム単位で行
われたかを識別する識別情報が1ビットのフラグとして
付加されている。なお、このフラグを付加する位置は、
他の場所でもよい。
グを加えてもよい。すなわち、この例ではタイムコード
の後に識別情報が1ビットのフラグとして付加されてい
る。このフラグを付加する位置は、同様に他の場所でも
よい。
るが、MPEGで予め定められている各層の拡張用の領域を
利用して、フラグを書き込んでもよい。例えばビデオシ
ーケンス層ならば、拡張領域(Sequence Extension Byt
e)に書き込んでもよいし、ユーザデータに書き込んで
もよい。具体的には、例えば図26Cに示すように、MPEG
の規格のピクチャ層の拡張領域にフラグを付加するよう
にしてもよい。このとき、符号化方式を表すために、2
ビットのフラグを使う。この2ビットのフラグは、次の
ような情報を示す。
1フィールド 10:フィールド単位で符号化処理されたピクチャの第
2フィールド 11:予備
コーダ)の具体的な回路構成を示すブロック図である。
gth Codingという)回路31は、上述の図23に示す画像デ
ータ符号化装置(エンコーダ)から供給されるビットス
トリームや、光ディスク等の画像記録媒体を再生して得
られるビットストリームを逆可変長符号化処理して逆量
子化回路32に出力する。同時に上記逆VLC回路31は、符
号化時に画像データと共に書き込まれて(重畳されて)
いる動きベクトル、量子化幅(量子化ステップサイ
ズ)、符号化の情報等のデータを解読する。
層又はピクチャ層等のヘッダに付加されているフラグを
解読し、復号化の処理がフレーム単位か若しくはフィー
ルド単位かの情報を得る。この情報はコントロール回路
46に供給され、このコントロール回路46は、フレーム処
理若しくはフィールド処理のためのコントロール信号を
発生する。具体的には、コントロール回路46は、逆VLC
回路31の出力に対応して種々のコントロール信号を生成
し、ゲート35の他、ゲート47、切換スイッチ36,39,40,4
5等を所定の接点の方向に切り換える。
例えば720(ピクセル)×480(ライン)とし、1マクロ
ブロックを16×16画素とすれば、1350マクロブロックを
1つのピクチャ処理の完了として、次のピクチャを処理
するためのコントロール信号を発生する。一方、フィー
ルド処理の場合には、同様に675マクロブロックを1つ
のピクチャ処理の完了として、次のピクチャを処理する
ためのコントロール信号を発生する。また、バッファメ
モリ37,38のスケジューリングを管理することにより、
フレーム単位か若しくはフィールド単位の復号を行う。
単位か若しくはフィールド単位であるかのコントロール
信号は、動き補償回路42,43にも送られ、動き補償回路4
2,43が、バッファメモリ37,38のアドレスをコントロー
ルすることにより、次に述べるように、フレーム単位か
若しくはフィールド単位の復号を行う。
ンするとともに逆量子化して、逆DCT回路33に出力す
る。逆DCT回路33は入力されたデータを逆DCT(逆離散コ
サイン変換)処理して加算回路34に出力する。この加算
回路34には切換スイッチ45により切り換え選択された予
測画像データがゲート47を介して入力されており、この
予測画像データが逆DCT回路33の出力データと加算さ
れ、復号された画像データが生成される。
とき、ゲート35が開かれ、復号された画像データが切換
スイッチ36を介してバッファメモリ37又はバッファメモ
リ38に供給され、記憶される。
クチャであるとき、切換スイッチ39,40は接点a側に切
り換えられている。また、切換スイッチ36は接点aと接
点bとに交互に切り換えられ、一対のバッファメモリ3
7,38に加算回路34より出力されたピクチャ(Iピクチャ
又はPピクチャ)が交互に記憶されることになる。
2,P3,B4,B5,P6,B7,B8,P9の順で配置された画像データ
は、画像データ符号化装置(エンコーダ)において、図
24Bに示すように、ピクチャI0,P3,B1,B2,P6,B4,B5,P9,B
7,B8の順で処理されると、逆VLC回路31にも、図24Dに示
すように、この順序でデータが入力される。
復号データがバッファメモリ37に記憶されたとすると、
図24Fに示すように、バッファメモリ38にはピクチャP3
の復号データが記憶され、さらに、図24E、Fに示すよ
うに、バッファメモリ37のピクチャI0のデータはピクチ
ャP6のデータに更新され、バッファメモリ38のピクチャ
P3のデータはピクチャP9のデータに更新される。
のデータが逆DCT回路33より加算回路34に入力されたと
き、バッファメモリ37に記憶されているピクチャI0のデ
ータが動き補償回路42において、動きベクトルに対応し
て動き補償された後、補間回路44に供給される。またバ
ッファメモリ38に記憶されているピクチャP3のデータ
が、動き補償回路43において動きベクトルに対応して動
き補償された後、補間回路44に供給される。補間回路44
は逆VLC回路31より入力されるデータに対応して動き補
償回路42,43からの各入力を所定の割合で合成する。こ
の合成データが切換スイッチ45により選択され、その接
点bとゲート47を介して加算回路34に供給される。加算
回路34は逆DCT回路33からのデータと切換スイッチ45に
より選択されたデータとを加算して、ピクチャB1又はピ
クチャB2を復号する。
とき切換スイッチ45は接点a側に切り換えられ、後のピ
クチャP3のみから復号されるとき切換スイッチ45は接点
c側に切り換えられ、それぞれピクチャI0又はピクチャ
P3のデータが加算回路34に供給される。
られるようになっている。すなわち、切換スイッチ36が
接点a側(b側)に切り換えられたとき切換スイッチ39
は接点b側(a側)に切り換えられる。したがって、ピ
クチャI0がバッファメモリ37に記憶された後、切換スイ
ッチ36が接点b側に切り換えられて、ピクチャP3がバッ
ファメモリ38に記憶されるとき、切換スイッチ39は接点
a側に切り換えられ、このとき切換スイッチ40は接点a
側に切り換えられるので、図24Gに示すように、ピクチ
ャI0がバッファメモリ37から読み出され、切換スイッチ
39,40を介してディスプレイ41に供給され、このディス
プレイ41において再生画像が表示される。加算回路34よ
りピクチャB1,B2が出力されたとき、切換スイッチ40が
接点b側に切り換えられており、上述の図24Gに示すよ
うに、ピクチャB1,B2がディスプレイ41に供給される。
次に切換スイッチ39が接点b側に、切換スイッチ40が接
点a側に切り換えられて、図24G、Fに示すように、既
にバッファメモリ38に記憶されているピクチャP3が読み
出され、ディスプレイ41に供給される。
て説明する。
と、コード解読部31bとを備え、入力されたコードは、
バレルシフタ31aにより16又は32ビット単位でコード解
読部31bに送られる。コード解読部31bは、コードテーブ
ルやマッチング回路等(図示せず)により構成され、入
力されたコードとコードテーブル内のコードとのマッチ
ングを行い、一致した場合にそのコードの種類から、そ
のデータ(data)及びそのコードの長さ(CL)を出力す
る。
路に供給され、適切な処理がなされた後、上述したコン
トロール回路46、動き補償回路43等に供給される。
としてバレルシフタ31aに送られ、バレルシフタ31aはそ
のシフト量に応じて次のコードを16又は32ビット単位で
コード解読部31bに出力する。
のフラグも、上記コードテーブル内にヘッダとして他の
コードと共に書き込んである。
は、例えばビデオシーケンス層、GOP層又はピクチャ層
等のヘッダの一部に設けられた画像データがフィールド
単位又はフレーム単位で符号化処理されたことを識別す
るためのフラグを検出し、このフラグに応じて復号処理
を行うことにより、画像データを再生することができ
る。
フィールド単位とフレーム単位の両方の復号化処理を実
行することができる装置であったが、例えば何れか一方
のみの復号化処理しか実行することができない装置で
は、フラグに基づいてその装置では復号化可能か否かを
判断するようにしてもよい。
回路1から供給されるフラグに基づいて復号化可能か否
かを判断する判断回路51と、その判断結果を表示する表
示部52を設ける。
う画像データ装置では、例えば図29に示すフローチャー
トに従った動作を行い、フレーム単位のみの復号化処理
を行う画像データ復号化装置では、例えば図30に示すフ
ローチャートに従った動作を行う。
像データ装置では、判断回路51は、ステップST1におい
て、フラグを入力した後、ステップST2に進む。
ーム述位であるかを判断し、該当するときはステップST
4に進み、該当しないときはステップST3に進む。
号ができない旨を表示し、終了する。
号ができる旨を表示し、終了する。そして、ステップST
5において、復号化処理が行われる。
置では、判断回路51は、ステップST1において、フラグ
を入力した後、ステップST2に進む。
ールド単位であるかを判断し、該当するときはステップ
ST4に進み、該当しないときはステップST3に進む。
号ができない旨を表示し、終了する。
号ができる旨を表示し、終了する。そして、ステップST
5において、復号化処理が行われる。
その装置で画像データが再生できない原因を簡単に知る
ことができる。
フレーム単位で行われたかを識別する識別情報の具体例
を表1、2に示す。この具体例は、所謂ISO/ICE JTC1/S
C29/WG11により1992年11月25日にN文書として発行され
た25−NOV−92 Test Model 3,Draft Revision 1におけ
るピクチャレイヤの仕様である。
る。
図である。
示す図である。
である。
における具体的な動き予測の方法を示す図である。
における具体的な動き予測の方法を示す図である。
おける具体的な動き予測の方法を示す図である。
ブロック内のブロックの構成例を示す図である。
ロック内のブロック構成例を示す図である。
モリの具体的な構成例を示す図である。
な構成例を示す図である。
における他の具体的な動き予測の方法を示す図である。
における他の具体的な動き予測の方法を示す図である。
の符号化/復号化処理の具体的な組合せの例を示す図で
ある。
ャの具体的な動き予測の方法を示す図である。
ャの具体的な動き予測の方法を示す図である。
の符号化/復号化処理の他の具体的な組合せの例を示す
図である。
ャの具体的な動き予測の方法を示す図である。
ャの動き予測の方法を示す図である。
路構成を示すブロック図である。
係を示す図である。
路のアルゴリズムを示すフローチャートである。
ットを示す図である。
路構成を示すブロック図である。
体的な回路構成を示すブロック図である。
するためのフローチャートである。
するためのフローチャートである。
Claims (2)
- 【請求項1】インターレース構造を有する2枚のフィー
ルドからなる1フレームの画像をブロックに細分化し、
各ブロックでフィールド単位又はフレーム単位での離散
コサイン変換等の符号化処理をする画像データ符号化方
法において、 上記1フレームの画像の符号化処理をフレーム単位で行
うか、フィールド単位で行うかを判定し、 上記判定結果に基づいて、上記1フレームの画像をフレ
ーム単位で符号化処理するときは、各ブロックをフィー
ルド単位又はフレーム単位での離散コサイン変換等の符
号化処理を選択的に行って、符号化画像データを形成す
るとともに、上記フレーム単位で符号化処理するとき
は、各ブロックをフィールド予測又はフレーム予測にて
予測処理を行い、 上記1フレームの画像をフィールド単位で符号化処理す
るときは、各ブロックでフィールド単位での離散コサイ
ン変換等の符号化処理を行うとともに、各ブロックをフ
ィールド予測にて予測処理を行い、 上記フレーム単位で符号化処理するフレームと、上記フ
ィールド単位で符号化処理するフレームとの間にあっ
て、上記フレーム処理されるフレーム又は上記フィール
ド処理されるフィールドを用いて予測処理を行うフィー
ルドは、上記フレーム処理されるフレームの2つのフィ
ールド、又は上記フィールド処理されるフィールドを用
いて予測処理を行う ことを特徴とする画像データ符号化方法。 - 【請求項2】インターレース構造を有する2枚のフィー
ルドからなる1フレームの画像の画素を、2次元配列か
らなるブロック毎にフィールド単位又はフレーム単位で
の離散コサイン変換等の符号化処理し、階層構造を有す
る符号化画像データを形成する画像データ符号化装置に
おいて、 上記1フレームの画像の符号化処理をフレーム単位で行
うか、フィールド単位で行うかを判定する手段と、 上記判定に基づいて、上記1フレームの画像をフレーム
単位で符号化処理するときは、各ブロックをフィールド
単位又はフレーム単位での離散コサイン変換等の符号化
処理を選択的に行って、符号化画像データを形成すると
ともに、上記フレーム単位で符号化処理するときは、各
ブロックをフィールド予測又はフレーム予測にて予測処
理を行う手段と、 上記1フレームの画像をフィールド単位で符号化処理す
るときは、各ブロックでフィールド単位での離散コサイ
ン変換等の符号化処理を行うとともに、各ブロックをフ
ィールド予測にて予測処理を行う手段と、 上記フレーム単位で符号化処理するフレームと、上記フ
ィールド単位で符号化処理するフレームとの間にあっ
て、フィールド処理されるフィールドは、上記フレーム
処理されるフレームの2つのフィールド、又は上記フィ
ールド処理されるフィールドを用いて予測処理し、フィ
ールド処理を行う手段とを有する ことを特徴とする画像データ符号化装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34671891 | 1991-12-27 | ||
| JP3-346718 | 1991-12-27 | ||
| PCT/JP1992/001725 WO1993013626A1 (fr) | 1991-12-27 | 1992-12-28 | Procede de codage de donnees d'images, procede de decodage de donnees d'images, dispositif de codage de donnees d'images, dispositif de decodage de donnees d'images et support d'enregistrement d'images |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21744799A Division JP3496926B2 (ja) | 1999-07-30 | 1999-07-30 | 画像データ復号化方法 |
| JP2002000167A Division JP3449370B2 (ja) | 1991-12-27 | 2002-01-04 | 画像データ復号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO1993013626A1 JPWO1993013626A1 (ja) | 1994-01-06 |
| JP3331351B2 true JP3331351B2 (ja) | 2002-10-07 |
Family
ID=18385347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51156093A Expired - Lifetime JP3331351B2 (ja) | 1991-12-27 | 1992-12-28 | 画像データ符号化方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP0573665B1 (ja) |
| JP (1) | JP3331351B2 (ja) |
| KR (1) | KR100260475B1 (ja) |
| AT (1) | ATE171831T1 (ja) |
| DE (1) | DE69227185T2 (ja) |
| WO (1) | WO1993013626A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3381077B2 (ja) * | 1992-12-04 | 2003-02-24 | ソニー株式会社 | 動画像復号装置 |
| JP3257643B2 (ja) * | 1993-01-18 | 2002-02-18 | ソニー株式会社 | 画像符号化装置および画像復号化装置 |
| US7075991B1 (en) | 1993-01-18 | 2006-07-11 | Sony Corporation | Apparatus for encoding and decoding header data in picture signal transmission |
| US7558324B2 (en) | 1993-01-18 | 2009-07-07 | Sony Corporation | Apparatus for encoding and decoding header data in picture signal transmission |
| KR960007947B1 (ko) | 1993-09-17 | 1996-06-17 | 엘지전자 주식회사 | 가라오케-콤팩트 디스크(karaoke-cd) 및 이를 이용한 오디오 제어장치 |
| JP3050736B2 (ja) * | 1993-12-13 | 2000-06-12 | シャープ株式会社 | 動画像符号化装置 |
| EP0675652B1 (fr) * | 1994-03-30 | 2009-05-13 | Nxp B.V. | Procédé et circuit d'estimation de mouvement entre images à deux trames entrelacées, et dispositif de codage de signaux numériques comprenant un tel circuit |
| US5703859A (en) * | 1995-09-01 | 1997-12-30 | Sony Corporation | Digital video copy protection system |
| EP0889651B1 (en) * | 1996-12-12 | 2006-03-08 | Matsushita Electric Industrial Co., Ltd | Picture encoder and picture decoder |
| KR100495100B1 (ko) * | 1998-04-28 | 2005-10-26 | 주식회사 팬택앤큐리텔 | 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법 |
| KR100632106B1 (ko) * | 1998-06-27 | 2007-03-02 | 주식회사 팬택앤큐리텔 | 디지털 비월주사 인터픽쳐 부호화/복호화 방법 |
| KR100632105B1 (ko) * | 1998-06-27 | 2007-03-02 | 주식회사 팬택앤큐리텔 | 디지털 비월주사 인트라픽쳐 부호화/복호화 방법 |
| JP3496926B2 (ja) * | 1999-07-30 | 2004-02-16 | ソニー株式会社 | 画像データ復号化方法 |
| EP1107609A1 (en) | 1999-12-02 | 2001-06-13 | STMicroelectronics S.r.l. | Method of processing motion vectors histograms to detect interleaved or progressive picture structures |
| US6483876B1 (en) * | 1999-12-28 | 2002-11-19 | Sony Corporation | Methods and apparatus for reduction of prediction modes in motion estimation |
| KR100668302B1 (ko) * | 2004-07-28 | 2007-01-12 | 삼성전자주식회사 | 비디오 디코더/엔코더에서의 메모리 맵핑 장치 및 그 방법 |
| KR100667806B1 (ko) * | 2005-07-07 | 2007-01-12 | 삼성전자주식회사 | 영상 부호화 및 복호화 방법 및 장치 |
| KR101670954B1 (ko) | 2009-07-28 | 2016-10-31 | 삼성전자주식회사 | 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치 |
| CN102165779B (zh) * | 2009-07-29 | 2015-02-25 | 松下电器(美国)知识产权公司 | 图像编码方法、图像编码装置、程序以及集成电路 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63234788A (ja) * | 1987-03-10 | 1988-09-30 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 符号化局から復号化局へ変換符号化されたデジタル画像信号を転送するテレビジョンシステム |
| JPH031688A (ja) * | 1989-05-29 | 1991-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 高能率画像符号化装置およびその復号化装置 |
| JPH03276987A (ja) * | 1990-03-27 | 1991-12-09 | Toshiba Corp | 動き適応型画像圧縮及び伸長方式 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5555682A (en) * | 1978-10-20 | 1980-04-23 | Nec Corp | Coding unit for television signal |
| JPS58137379A (ja) * | 1982-02-10 | 1983-08-15 | Nec Corp | 動き補償フレ−ム間・フイ−ルド間符号化装置 |
| JPS61269475A (ja) * | 1985-05-23 | 1986-11-28 | Toshiba Corp | 動きベクトル検出装置 |
| NL9000424A (nl) * | 1990-02-22 | 1991-09-16 | Philips Nv | Overdrachtsysteem voor gedigitaliseerde televisiebeelden. |
| US5091782A (en) * | 1990-04-09 | 1992-02-25 | General Instrument Corporation | Apparatus and method for adaptively compressing successive blocks of digital video |
| DE4026523A1 (de) * | 1990-08-22 | 1992-02-27 | Thomson Brandt Gmbh | Verfahren und vorrichtung zur bilddaten-transformation |
| FR2670348A1 (fr) * | 1990-12-07 | 1992-06-12 | France Etat | Dispositif de codage d'images appartenant a une sequence d'images, a rearrangement des lignes avant transformation mathematique, systeme de transmission d'images, recepteur et procede de codage correspondants. |
| NL9100234A (nl) * | 1991-02-11 | 1992-09-01 | Philips Nv | Codeerschakeling voor transformatiecodering van een beeldsignaal en decodeerschakeling voor het decoderen daarvan. |
| US5347309A (en) * | 1991-04-25 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Image coding method and apparatus |
| JP2991833B2 (ja) * | 1991-10-11 | 1999-12-20 | 松下電器産業株式会社 | インターレス走査ディジタルビデオ信号の符号化装置及びその方法 |
-
1992
- 1992-12-28 AT AT93900405T patent/ATE171831T1/de active
- 1992-12-28 EP EP19930900405 patent/EP0573665B1/en not_active Expired - Lifetime
- 1992-12-28 JP JP51156093A patent/JP3331351B2/ja not_active Expired - Lifetime
- 1992-12-28 KR KR1019930702555A patent/KR100260475B1/ko not_active Expired - Lifetime
- 1992-12-28 DE DE69227185T patent/DE69227185T2/de not_active Expired - Lifetime
- 1992-12-28 WO PCT/JP1992/001725 patent/WO1993013626A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63234788A (ja) * | 1987-03-10 | 1988-09-30 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 符号化局から復号化局へ変換符号化されたデジタル画像信号を転送するテレビジョンシステム |
| JPH031688A (ja) * | 1989-05-29 | 1991-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 高能率画像符号化装置およびその復号化装置 |
| JPH03276987A (ja) * | 1990-03-27 | 1991-12-09 | Toshiba Corp | 動き適応型画像圧縮及び伸長方式 |
Non-Patent Citations (1)
| Title |
|---|
| 安田浩編「マルチメディア符号化の国際標準」,日本,1991年6月30日,p.109−110,p.130−147 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69227185D1 (de) | 1998-11-05 |
| KR100260475B1 (ko) | 2000-07-01 |
| EP0573665A4 (en) | 1994-08-17 |
| DE69227185T2 (de) | 1999-04-01 |
| ATE171831T1 (de) | 1998-10-15 |
| EP0573665B1 (en) | 1998-09-30 |
| EP0573665A1 (en) | 1993-12-15 |
| KR930703797A (ko) | 1993-11-30 |
| WO1993013626A1 (fr) | 1993-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5510840A (en) | Methods and devices for encoding and decoding frame signals and recording medium therefor | |
| JP3331351B2 (ja) | 画像データ符号化方法及び装置 | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JPH0870475A (ja) | 立体動画像の符号化・復号化方法及び装置 | |
| JP3092280B2 (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JPWO1993013626A1 (ja) | 画像データ符号化方法、画像データ復号化方法、画像データ符号化装置、画像データ復号化装置及び画像記録媒体 | |
| EP1047270B1 (en) | Efficient coding apparatus for picture signal | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JPH06350995A (ja) | 動画像処理方法 | |
| JP3449370B2 (ja) | 画像データ復号化方法及び装置 | |
| JPH0678289A (ja) | 画像信号の高能率符号化、復号化装置及び記録媒体 | |
| JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JP3496926B2 (ja) | 画像データ復号化方法 | |
| JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JPH0630332A (ja) | 動画像の符号化及び復号化装置 | |
| JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JPH0636521A (ja) | ディスクならびに動画像復号化方法および装置 | |
| JP3415390B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3481111B2 (ja) | 動画像復号化装置 | |
| JPH07255056A (ja) | 動画像再生方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080726 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100726 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100726 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110726 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120726 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130726 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130726 Year of fee payment: 11 |