JP3191922B2 - 画像復号化方法 - Google Patents
画像復号化方法Info
- Publication number
- JP3191922B2 JP3191922B2 JP11552198A JP11552198A JP3191922B2 JP 3191922 B2 JP3191922 B2 JP 3191922B2 JP 11552198 A JP11552198 A JP 11552198A JP 11552198 A JP11552198 A JP 11552198A JP 3191922 B2 JP3191922 B2 JP 3191922B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- shape
- coded
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
関し、特に、種々の規格等に対応したデジタル画像信号
を符号化して得られる、異なるデータ構造を有する画像
符号化信号を、単一の符号化方式に対応した復号化処理
により復号化する画像復号化方法に関するものである。
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、JPEG(Joint Photographic Co
ding Experts Group)やMPEG(Moving Picture Expe
rts Group)に代表される離散コサイン変換(DCT)の
他に、サブバンド、ウェーブレット、フラクタル等の波
形符号化方法がある。
おける冗長な画像情報を取り除く方法としては、動き補
償を用いた画面間予測を行い、つまり現画面の画素の画
素値を、これと前画面の画素の画素値との差分を用いて
表し、この差分信号を波形符号化する方法がある。
ー等から得られる、表示画像を2値情報により示す2値
画像信号S2の符号化には、図22(a) に示すように算
術符号化装置10aを用い、その復号化には、図22
(b) に示すように算術復号化装置10bを用いる。上記
算術符号化装置10aは、MMR(Modified ModifiedR
eed)やJBIG(Joint Bi-level Image Coding Expert
s Group)などファクシミリ信号を伝送する時に用いら
れる算術符号化処理により、上記2値画像信号S2の符
号化を行って、2値符号化信号E2を生成する構成とな
っている。また、上記算術復号化装置10bは、上記2
値符号化信号E2を、上記算術符号化処理に対応した算
術復号化処理により復号化して、2値復号化信号D2を
再生する構成となっている。
信号600a(E2)は、図22(c) に示すように、先
頭の同期信号601と、その次のヘッダ603と、これ
に続く形状データ604とを含んでいる。
像信号Stの符号化には、図23(a)に示す構成の画像
符号化装置20を用い、その復号化には、図23(b)に
示す構成の画像復号化装置25を用いる。MPEG2で
扱うデジタル画像信号Stは、カラー表示(階調表示)
を行うための輝度信号及び色差信号を含み、1表示画面
(1フレーム)上の画像の縦,横サイズを示す情報を含
む矩形画像信号であり、上記画像符号化装置20は、上
記デジタル画像信号(矩形画像信号)Stに対して情報
源符号化処理を施す情報源符号化器20aと、その出力
を可変長符号化して画像符号化信号(画素値符号化信
号)Etを生成する可変長符号化器20bとから構成さ
れており、上記画像復号化装置25は、上記画像符号化
信号Etを可変長復号化する可変長復号化器25bと、
その出力に対して情報源復号化処理を施して画像復号化
信号(画素値復号化信号)Dtを生成する情報源復号化
器25aとから構成されている。
記デジタル画像信号Stに対して、表示画面を分割する
各ブロック毎にコサイン変換処理を施すDCT処理器2
1と、該DCT処理器21の出力を量子化する量子化器
22とからなる。上記情報源復号化器25aは、上記可
変長復号化器25bの出力を逆量子化する逆量子化器2
6と、その出力に対して逆コサイン変換処理を施すID
CT処理器27とからなる。さらに、1表示画面に対応
する画像符号化信号700a(Et)は、図23(c)に
示すように、先頭の32ビット同期信号701と、その
次のヘッダ703と、これに続く、表示画面を分割する
各ブロックC1,C2,C3,・・・に対応する画素値
符号化ビット列(テキスチャー符号化ビット列)71C
1,71C2,71C3,・・・とを含んでいる。ここ
で該テキスチャー符号化ビット列71C1,71C2,
71C3はそれぞれ、5ビットの量子化幅704,70
7,710、可変長のテキスチャーMV(動きベクト
ル)705,708,711及び可変長のテキスチャー
DCT係数706,709,712を含んでいる。
せると同時に、1表示画面の画像を構成する各物体毎に
画像を再生できるよう、個々の物体に対応する画像信号
を物体毎に別々に圧縮符号化して伝送する方式が実用化
されている。この方式では、再生側で、それぞれの物体
に対応する、符号化された画像信号を復号化し、この復
号化により再生した画像信号を合成して、1表示画面に
相当する画像の表示を行っている。このように物体単位
で個々の物体に対応する画像信号を符号化することによ
り、表示すべき物体の画像を自由に組み合わせて合成す
ることが可能となり、これにより動画像を簡単に再編集
できるようになる。また、この方式では、通信路の混み
具合や再生装置の性能、さらに視聴者の好みに応じて、
比較的に重要でない物体の画像については再生を行わず
に、動画像の表示を行うことができる。言い換えると、
物体単位のスケーラビリティ,つまり物体単位で画像表
示の縮尺を変更可能とすることを実現できる。
符号化を行う場合、個々の物体はその形状が異なるもの
であるため、圧縮符号化処理は任意形状画像の画像信号
に対して行われることとなる。ここで、任意形状画像の
画像信号(以下、任意形状画像信号という。)には、輝
度信号と色差信号からなる、物体のカラー表示(階調表
示)を行うためのテキスチャー信号(画素値信号)と、
画像の形状を示す形状信号とが含まれる。この形状信号
は、表示領域を構成する各画素が物体の外部に位置する
か内部に位置するかを示すもので、2値により表され
る。
クスチャー信号及び形状信号の他に、背景画像上に前景
画素として物体を合成した場合の、物体の透過度を示す
透過度情報が含まれる場合がある。この透過度情報は通
常3ビット以上の多値透過度信号により表され、上記2
値形状信号(2値透過度信号)と該多値透過度信号とを
合わせて、透過度信号と呼ぶ。なお、この透過度信号に
おける多値透過度信号は、以下の符号化処理ではテキス
チャー信号と同様に扱われる。
2値の形状信号の両方を含む任意形状画像信号を符号化
する場合、まず、形状信号の符号化を行い、その後テキ
スチャー信号の符号化を行う。MPEG4ではこのよう
な任意形状画像信号の符号化,伝送,復号化を行う構成
に対する標準化作業が行われており、図24(a)は、M
PEG4として現在標準化されつつある符号化処理を説
明するためのブロック図であり、該符号化処理を行う装
置の構成を示している。
録再生装置(VTR)から出力されるビデオ信号Svに
基づいて、表示画像を構成する個々の物体に対応する任
意形状画像信号Spを抽出し、該任意形状画像信号に対
して符号化処理を施す画像符号化装置である。
オ信号Svに対するクロマキー処理により、背景画像信
号から、個々の物体に対応する任意形状画像信号とし
て、物体の形状を2値情報により示す形状信号Spk、
及び物体をカラー表示するための輝度信号及び色差信号
からなるテキスチャー信号(画素値信号)Sptを分離
し、さらに該両信号Spk及びSptを、表示画面上の
各物体に対応する表示領域を分割する複数のブロック毎
にまとめて順次出力するとともに、この際、該両形状信
号Spkとテキスチャー信号Sptとの切り替わりタイ
ミングを示す切替タイミング信号Tsを出力するクロマ
キー処理器201を有している。また上記画像符号化装
置200aは、上記形状信号Spkを算術符号化処理
(JBIG参照)により上記ブロック毎に符号化する算術符
号化部120aと、上記テキスチャー信号Sptに対す
るDCT処理及び量子化処理を上記ブロック毎に行う情
報源符号化部130aと、該情報源符号化部130aの
出力を可変長符号化する可変長符号化器139とを有し
ている。
記切替タイミング信号Tsにより、クロマキー処理器2
01の出力を上記算術符号化部120aの入力と上記情
報源符号化部130aの入力との間で切り換えて接続す
る切換スイッチ202と、上記算術符号化部120aの
出力である形状符号化ビット列Epkと上記可変長符号
化器139の出力であるテキスチャー符号化ビット列E
ptとを、その他の必要な信号とともに多重化する多重
器150とを有している。この多重器150からは、図
24(c) に示すように、形状符号化ビット列Epk(5
1A1,51A2,51A3)とテキスチャービット列
Ept(52A1,52A2,52A3)とを、その他
の必要な信号とともに所定の順序で配列してなる任意形
状符号化信号Ep(500a)が出力される。
信号を、MMRやJBIGなどファクシミリ信号を伝送
する時に用いられる方式にて採用されているものであ
り、また、上記DCT処理は、MPEG規格にて採用さ
れているものである。各ブロックA1,A2,A3の符
号化データは、図24(c)に示すように、形状符号化ビ
ット列Epkとテキスチャー符号化ビット列Eptとか
ら構成される。
は、ビデオ信号Svはクロマキー処理器201にて処理
され、クロマキー処理器201からは、各物体に対応し
た任意形状画像信号Spが出力される。この任意形状画
像信号Spに含まれる形状信号Spkは、上記切替タイ
ミング信号Tsにより切換スイッチ202が制御されて
算術符号化部120aに供給され、該算術符号化部12
0aにて符号化された形状符号化ビット列Epkが多重
器150に出力される。また、上記任意形状画像信号S
pに含まれるテキスチャー信号Sptは、上記切替タイ
ミング信号Tsにより切換スイッチ202が制御されて
情報源符号化部130aに供給され、該情報源処理部1
30aにてDCT処理及び量子化処理が施されたテキス
チャー符号化ビット列Eptが多重器150に出力され
る。ここで、上記形状符号化ビット列Epk及びテキス
チャー符号化ビット列Eptの符号化処理は、個々のブ
ロック毎に行われる。
ビット列Epk及びテキスチャー符号化ビット列Ept
が、他の必要な信号とともに、所定の順序で配列され
て、任意形状符号化信号Epとして出力される。また、
上記画像符号化装置200aにより符号化された任意形
状符号化信号Epの復号化には、図24(b)に示す画像
復号化装置200bを用いる。
符号化信号Epを解析して制御信号SWbを出力するデ
ータ解析器160と、上記任意形状符号化信号Epに含
まれる形状符号化ビット列Epkに対して1ブロック毎
に算術復号化処理を施すとともに、1ブロック分の算術
復号化処理が終了した時点で、終了タイミング信号Te
を発生する算術復号化部170aと、上記任意形状符号
化信号Epに含まれるテキスチャー符号化ビット列Ep
tに対して、情報源復号化処理,つまり逆DCT処理及
び逆量子化処理を施す情報源復号化部180aと、上記
データ解析器160を通して出力される任意形状符号化
信号Epを、上記制御信号SWb及び上記終了タイミン
グ信号Teにより、それぞれ上記算術復号化部170a
及び情報源復号化部180aの間で切り換えてその一方
に供給する切換スイッチ101bと、上記両符号化部の
出力Dpk及びDptを合成し、これを任意形状復号化
信号Dpとして出力する合成器190とを有している。
れた任意形状符号化信号Epをデータ解析器160が受
けると、データ解析器160では、この信号に含まれる
情報の解析が行われ、テキスチャー符号化ビット列Ep
tの最終ビットを検出した時点で、上記制御信号SWb
が切換スイッチ101bに出力される。すると、上記切
換スイッチ101bは、上記制御信号SWbにより、デ
ータ解析器160の出力が算術復号化部170aへ供給
されるよう切り換わる。そして、該算術復号化部170
aにて形状符号化ビット列Epkの復号化が行われると
ともに、1つのブロックに対応する形状符号化ビット列
Epkの処理が終了した時点で、終了タイミング信号T
eが上記算術復号化部170aから出力される。そし
て、これが上記データ解析器160に供給されると、デ
ータ解析器160から制御信号SWbが上記切換スイッ
チ101bに出力され、上記切換スイッチ101bがデ
ータ解析器160の出力が情報源復号化部180aに供
給されるよう切り換わる。すると、情報源復号化部18
0aでは、任意形状画像信号Epに含まれるテキスチャ
ー符号化信号Eptの復号化処理が1ブロック分行われ
る。そして合成器190では、上記算術復号化部170
aの出力と情報源復号化部180aの出力とを合成し
て、任意形状復号化信号Dpを再生信号として出力す
る。上記のような復号化処理が、1つの物体に対応する
任意形状符号化信号Epについて行われ、1つの物体に
対応する任意形状復号化信号Dpが生成されると、物体
の画像表示が可能となる。
a及び画像復号化装置200bの説明では、多値透過度
信号を含む任意形状画像信号(透過度情報付き任意形状
画像信号)の処理については述べていないが、任意形状
画像信号が透過度信号を含む場合は、多値透過度信号に
ついてはテクスチャー信号(画素値信号)と同様に処理
されることとなる。
画像信号の符号化方法では、2値画像信号の符号化処
理,つまり2値の形状信号のみを符号化する処理には、
JBIGなどで採用されている算術符号化方法を用い、
画像のカラー表示を行うためのデジタル画像信号の符号
化処理,つまりテキスチャー信号だけを符号化する処理
にはMPEG2などにおける情報源符号化方法を用い、
さらに、個々の物体に対応した任意形状画像信号の符号
化処理,つまり2値の形状信号及びテキスチャー信号を
含む画像信号を符号化する処理には、MPEG4におけ
る符号化方法,つまり算術符号化処理と情報源符号化処
理を組み合わせた方法を用いることになる。
式により符号化した信号の復号化処理には、それぞれの
符号化方式に対応した復号化方法を用いる必要がある。
言い換えると、従来の符号化処理では、画像信号の種類
によって異なる符号化方式を用いるため、符号化方式の
異なる符号化信号の復号化処理では、異なるデータ解析
方法を用いなければならない。
号化装置により、上記2値画像信号(JBIG),デジ
タル画像信号(MPEG2),及び任意形状画像信号
(MPEG4)の符号化信号のいずれについても復号化
できるようにすることは可能であるが、この場合、以下
のような問題が生ずる。
ロック単位で符号化して得られる任意形状符号化信号で
は、各ブロック毎に対応する形状符号化ビット列とテキ
スチャー符号化ビット列とが交互に配列されているのに
対し、2値画像信号をブロック単位で符号化して得られ
る2値符号化信号では、各ブロックに対応する形状符号
化ビット列が順次に配列されている。このため、MPE
G4に対応するデータ解析方法(データ解析器)では、
テキスチャー符号化ビット列を含まない2値符号化信号
の解析によっても、上記制御信号SWbを発生すること
ができず、2値符号化信号における各ブロックの形状符
号化ビット列を算術復号化器170aへ順次出力するこ
とができない。具体的に説明すると、画像復号化装置2
00bでは、あるブロックに対応する形状符号化ビット
列の処理が終了した時点で、算術復号化器170aから
終了タイミング信号Teが切換スイッチ101bに出力
され、これにより切換スイッチ101bでは、データ解
析器160からのビット列が情報源復号化器180aに
供給される状態となるが、2値符号化信号にはテクスチ
ャー符号化ビット列が含まれていないため、データ解析
器160では、切換スイッチ101bの状態をビット列
が算術復号化部170aへ供給される状態にするための
制御信号SWbを発生することができず、上記あるブロ
ックの次のブロックに対応する形状符号化ビット列が情
報源復号化器180aに供給されることとなる。
に、各ブロックの形状符号化ビット列の後に、対応する
ブロックの擬似テキスチャー符号化ビット列を付加し、
2値符号化信号を、擬似的に任意形状符号化信号と同じ
データ構造とすることにより、2値符号化信号をMPE
G4のデータ解析方法により解析可能となり、2値符号
化信号をMPEG4に準拠した画像復号化処理により復
号化可能となる。ところが、2値画像信号の符号化の
際、擬似テキスチャー符号化ビット列を形状符号化ビッ
ト列に付加して2値符号化信号を送り出すため、符号化
の際のビット数が無駄になり、符号化効率の低下を招く
という問題がある。
は、テキスチャー信号のみからなるMPEG2に対応し
たデジタル画像信号(矩形画像信号)を符号化して得ら
れる画像符号化信号(画素値符号化信号)については、
任意形状画像信号を符号化して得られる任意形状符号化
信号と同様、復号化可能である。これは、テキスチャー
符号化ビット列を含む画像符号化信号では、各ブロック
に対応するテキスチャー符号化ビット列の始点と終点の
検出が可能であるため、制御信号SWbにより、上記切
換スイッチ101bを、テキスチャー符号化ビット列が
常に情報源復号化部180aに供給されるよう制御する
ことが可能であるからである。
処理では、任意形状画像信号を符号化して得られる任意
形状符号化信号を復号化する際に、プロセッサの負荷に
よって、各ブロックに対応する形状符号化ビット列とテ
キスチャー符号化ビット列の両方を、予め設定された表
示時間内に復号化することができず、表示画面上での画
像の動きがスムーズでなくなったり、止まったりする場
合があるという問題もある。
になされたもので、種々の規格等に対応したデジタル画
像信号を符号化して得られる、異なるデータ構造を有す
る画像符号化信号を、単一の符号化方式に対応した復号
化処理により復号化可能とする、例えば、符号化の際の
ビット数の増大を殆ど招くことなく、1つの符号化方式
により2値画像信号と任意形状画像信号との両方に対す
る復号化処理を可能とする画像復号化方法を得ることを
目的とする。
係る画像復号化方法は、それぞれの画素が物体の外側あ
るいは内側に位置するかを示す形状信号と画素値信号と
のうち、少なくとも前記形状信号を含む画像信号を符号
化して得られる画像符号化信号として、該画像符号化信
号のデータ構造に応じた画像識別子を含む画像符号化信
号を受け、前記画像符号化信号中の、前記形状信号を符
号化して得られた形状符号化信号に対して第1の復号化
処理を施し、前記画像符号化信号中に前記画素値信号を
符号化して得られた画素値符号化信号が含まれる場合に
は、前記画素値符号化信号に対して第2の復号化処理を
施す画像復号化方法であって、前記画像符号化信号が、
前記形状符号化信号のみを含むか、あるいは、前記形状
符号化信号と前記画素値符号化信号とを含むかを、前記
画像識別子に基づいて判定し、前記画像符号化信号が形
状符号化信号のみを含む場合には、前記形状符号化信号
に対して算術復号化処理による第1の復号化処理を施
し、前記画像符号化信号が形状符号化信号と前記画素値
符号化信号とを含む場合には、前記形状符号化信号に対
して前記第1の復号化処理を施し、かつ、前記画素値符
号化信号に対して前記第1の復号化処理とは異なる第2
の復号化処理を施すものである。
画像復号化方法において、前記画像識別子を2ビットの
符号としたものである。
て説明する。 (実施の形態1)図1は、本発明の実施の形態1による
画像伝送用データ構造を説明するための図である。図1
(a) は、表示画像を構成する個々の物体に対応する任意
形状画像信号を符号化して得られる任意形状符号化信号
のデータ構造を示している。また、本実施の形態の画像
伝送用データ構造は、任意形状画像信号を圧縮符号化し
て伝送し、さらに符号化された任意形状符号化信号を復
号化して表示するシステムを対象としている。つまり、
このシステムでは、画像符号化方法及び装置は、基本的
に上記任意形状画像信号に対応した符号化処理を行う構
成となっており、また、画像復号化方法及び装置は、基
本的に上記任意形状符号化信号に対応した復号化処理を
行う構成となっている。
を構成する個々の物体に対応する任意形状画像信号の符
号化により得られる任意形状符号化信号である。この任
意形状符号化信号500は、その先頭に位置する32ビ
ットの同期信号501と、該同期信号501に続く1ビ
ットの形状識別子(画像識別子)502と、該形状識別
子502に続くその他のヘッダ503とを含んでいる。
なお、図1(a) では形状識別子はSIDとして示してい
る。
上記任意形状画像信号を構成する、個々の物体の形状を
示す形状信号を符号化して得られる形状符号化ビット列
51Aと、上記任意形状画像信号を構成する、個々の物
体をカラー表示するための輝度信号及び色差信号からな
るテキスチャー信号(画素値信号)を符号化して得られ
るテキスチャー符号化ビット列(画素値符号化ビット
列)52Aとを含んでいる。具体的には、上記任意形状
符号化信号500では、1表示画面上の物体を含むオブ
ジェクト領域を分割する各ブロック毎に、形状符号化ビ
ット列51Aとテキスチャー符号化ビット列52Aとが
配列されている。
03に続いて、ブロックA1に対応する形状符号化ビッ
ト列51A1及びテキスチャー符号化ビット列52A
1,ブロックA2に対応する形状符号化ビット列51A
2及びテキスチャー符号化ビット列52A2,ブロック
A3に対応する形状符号化ビット列51A3及びテキス
チャー符号化ビット列52A3がこの順序で配列されて
いる。
51A2,51A3は、図1(a)に示すようにそれぞ
れ、形状動きベクトルに対応する可変長の符号化データ
(図では形状MVと略記する。)504,509,51
4と、ブロック内の画素が物体内部と物体外部の何れに
位置するかを示す2値の形状信号に対応する可変長の符
号化データ(図では形状データと略記する。)505,
510,515とから構成されている。
1,52A2,52A3は、図1(a)に示すように、そ
れぞれ量子化幅に対応する5ビットの符号化データ(図
では単に量子化幅と記載する。)506,511,51
6と、テキスチャー動きベクトルに対応する可変長の符
号化データ(図ではテキスチャーMVと略記する。)5
07,512,517と、テキスチャー信号にDCT処
理及び量子化処理を施して得られる量子化信号に対応す
る可変長の符号化データ(図では単にテキスチャーDC
T係数と記載する。)508,513,518から構成
されている。
体に対応する任意形状符号化信号の始まりを示す信号で
あり、一意的な符号化信号である。また、上記形状識別
子(SID)502は、画像信号の符号化信号に、形状
符号化ビット列とテキスチャー符号化ビット列の両方が
入っているかどうかを示す信号であり、その値(SI
D)がSID=0であるときは、形状符号化ビット列と
テキスチャー符号化ビット列の両方が存在し、その値
(SID)がSID=1であるときは形状符号化ビット
列のみが存在することを示す。従って、ここでは、形状
識別子502の値(SID)はSID=0となってい
る。さらにその他のヘッダ503には、該当する物体の
画像の表示時間、画像の属性、符号化の際の予測モード
などの情報が含まれるが、その詳細については、本発明
と関係がないため省略する。
形状信号を前画面の対応するブロックの形状信号から予
測する際用いる、上記現画面及び前画面間でのブロック
内の画像の動き量を示す動きベクトルの符号化データで
ある。さらに上記形状データは、形状信号を算術符号化
して得られたものであり、上記量子化幅は、テキスチャ
ー信号にDCT処理及び量子化処理を施して得られるD
CT係数を逆量子化するためのパラメータである。ま
た、上記テキスチャーMVは、現画面のテキスチャー信
号を前画面のテキスチャー信号から予測する際用いる、
現画面及び前画面間でのブロック内の画像の動き量を示
すテキスチャー動きベクトルの符号化信号である。さら
にここで、上記テキスチャーDCT係数は、上記テクス
チャー信号に対する量子化信号に可変長符号化処理を施
して得られるものである。
は、上記テキスチャーDCT係数の前に、図に示したデ
ータのほかにも多くのサイド情報が配列されている。こ
こではこれらのサイド情報については図示していない
が、これらのサイド情報は場合によっては符号化の際に
多くのビット数を必要とする。
られる2値符号化信号のデータ構造を示している。図に
おいて、600は、1表示画面上の画像情報を2値の信
号により示す2値画像信号S2を符号化して得られる2
値符号化信号である。この2値符号化信号600は、そ
の先頭に位置する32ビットの同期信号601と、該同
期信号601に続く1ビットの形状識別子(画像識別
子)602と、該形状識別子602に続くその他のヘッ
ダ603とを含んでいる。また、上記2値符号化信号6
00は、上記2値画像信号S2を構成する形状信号を符
号化して得られる形状符号化ビット列61Bを含んでい
る。なお、図1(b) では、形状識別子をSIDとして示
す。
0では、形状符号化ビット列61Bが、表示画面を分割
する個々のブロック毎に順次配列されており、ここで
は、上記その他のヘッダ603に続いて、各ブロックB
1,B2,B3,B4,B5,・・・に対応する形状符
号化ビット列61B1,61B2,61B3,61B
4,61B5,・・・がこの順序で配列されている。
61B5は、図1(b)に示すようにそれぞれ、形状動き
ベクトルに対応する可変長の符号化データ(図では形状
MVと略記する。)604,606,608,610,
612と、表示画面の画像を2値の信号で示す形状信号
に対応する可変長の符号化データ605,607,60
9,611,613から構成されている。
(SID)602,その他のヘッダ603は、上記任意
形状符号化信号500における同期信号501,形状識
別子(SID)502,その他のベッダ503と同一の
ものであり、上記2値符号化信号600におけるブロッ
クB1以降のデータは、形状符号化ビット列のみとなっ
ている。ただし、上記2値符号化信号600にはテクス
チャー符号化ビット列が含まれていないので、上記形状
識別子602の値(SID)は、SID=1となってい
る。
号化信号500における形状識別子(SID)502、
及び2値符号化信号600における形状識別子602
は、それぞれ1フレーム毎に各符号化信号500,60
0内に配置している。
信号の符号化データのビット数は可変長である。これ
は、表示画面内あるいは表示画面のブロック内に含まれ
る画像によって、符号化に必要とするビット数が異なる
からである。このため、例えば量子化幅506が、形状
データ505の始まりから何ビットあとに位置するかを
予測できない。また、形状符号化ビット列51Aの後に
テキスチャー符号化ビット列52Aが位置するかどうか
については、形状識別子502がなければ区別できな
い。このため、形状識別子なしで形状信号のみを符号化
して伝送するときには、連続する各ブロックの形状符号
化ビット列の間に、擬似的なテキスチャー符号化ビット
列を挿入する必要があり、この擬似的なテキスチャー符
号化ビット列の挿入は、符号化時のビット数増大を招く
こととなっていた。なお、形状識別子は各画像のヘッダ
部の代わりに、画像全シーケンスの先頭においてもいい
し、または数枚の画像毎に形状識別子を配置してもよ
い。
信号及び2値画像信号の他に、各画素の透過度を示す透
過度情報についても処理可能となっている。つまり、こ
のような透過度情報は、普通3ビット以上の信号により
表され、上記任意形状画像信号と同じように、形状情報
としての2値信号(2値透過度信号)と、透過度情報か
ら形状情報を除いた情報を表す多値透過度信号とに分離
して処理できる。この場合、上記多値透過度信号はテキ
スチャー信号と同様に扱うことができる。
信号を構成する形状信号及びテキスチャー信号の符号化
処理について簡単に説明する。まず、形状信号について
は、表示画面上の物体を含むオブジェクト領域に、これ
を分割する複数のブロック(形状ブロック)を割り当
て、各ブロック毎に形状信号の符号化処理を行う。本実
施の形態では、上記形状ブロックは16×16のサンプ
ル(画素)から構成される表示領域であり、また各形状
ブロックに対応する形状信号は、JBIGにおける算術
符号化方式により符号化するようにしている。
と同様に表示画面上の物体を含むオブジェクト領域に、
これを分割する複数のブロック(テキスチャーブロッ
ク)を割り当て、各ブロック毎にテキスチャー信号の圧
縮符号化処理を行う。本実施の形態では、上記テキスチ
ャーブロックは16×16のサンプル(画素)から構成
される表示領域であり、上記圧縮符号化処理におけるD
CT処理及び量子化処理は、上記テキスチャーブロック
を、8×8のサンプル(画素)からなる4つの表示領域
(サブブロック)に分割し、各サブブロック毎にテキス
チャー信号にDCT処理及び量子化処理を施し、これら
の処理により得られた量子化信号を可変長符号化してテ
キスチャー符号化ビット列を生成するようにしている。
列とテキスチャー符号化ビット列とを、その他の所要の
信号と多重化して、上記図1(a)に示すデータ構造の任
意形状符号化信号500を作成する。
成する形状信号の符号化処理については、上記MPEG
4における形状信号の符号化処理とほぼ同様に行われ
る。つまり、表示画面に、これを分割する複数のブロッ
ク(形状ブロック)を割り当て、各ブロック毎に形状信
号の符号化処理を行う。これにより上記図1(b) に示す
データ構造の2値符号化信号600を作成する。本実施
の形態では、上記形状ブロックは16×16のサンプル
(画素)から構成される表示領域である。そして各ブロ
ックに対応する形状信号は、JBIGにおける算術符号
化方式を用いて符号化するようにしている。
信号に対応する2値符号化信号を、表示画像を2値情報
により示す形状信号を符号化して得られる形状符号化ビ
ット列61B、及び表示データとして形状符号化ビット
列のみを含むことを示す形状識別子602を含む構造と
したので、該画像識別子を参照することにより、テキス
チャー符号化ビット列を含む符号化信号に対応したデー
タ解析方法を用いて、テキスチャー符号化ビット列を含
まない2値符号化信号の解析を行うことができる。
方を含む任意形状画像信号の符号化信号(任意形状符号
化信号)を解析するデータ解析方法を用いて、表示情報
として形状信号のみを含む2値画像信号の符号化信号
(2値符号化信号)を解析することができる。この結
果、2値画像信号の符号化の際に、形状符号化ビット列
に擬似的な画素値符号化ビット列を付加しなくても、M
PEG4準拠の復号化処理により、2値信号の形状符号
化ビット列の復号化を行うことができる。つまり、符号
化の際のビット数の増大を殆ど招くことなく、1つの符
号化方式により2値画像信号と任意形状画像信号との両
方に対する復号化処理を行うことができる。
号化信号として、フレーム間予測符号化処理して得られ
るデータ構造の任意形状符号化信号500を示し、2値
符号化信号ビット列として、フレーム間予測符号化処理
して得られるデータ構造の2値符号化信号600を示し
たが、フレーム内符号化処理した任意形状符号化信号
は、上記任意形状符号化信号500における形状MV及
びテキスチャーMVを除いたデータ構造となり、また、
フレーム内符号化処理した2値符号化信号は、上記2値
符号化信号600における形状MVを除いたデータ構造
となることは言うまでもない。
号化信号としては、各ブロック毎に、対応する形状符号
化ビット列及びテキスチャー符号化ビット列を配列した
データ構造の任意形状符号化信号500を示し、2値符
号化信号として、各ブロック毎に、対応する形状符号化
ビット列を配列したデータ構造の2値符号化信号を示し
たが、本発明の画像伝送用データ構造を有する符号化信
号は、図1に示す上記実施の形態1のデータ構造に限る
ものではない。
に示す任意形状符号化信号500bのように、同期信号
501、形状識別子(SID)502,及びその他のヘ
ッダ503に続けて、形状データ部51及びテキスチャ
ーデータ部52を、1フレーム毎に配列したデータ構造
としてもよく、また、2値符号化信号は、図2(b) に示
す2値符号化信号600bのように、同期信号601、
形状識別子(SID)602,及びその他のヘッダ60
3に続けて、形状データ部61を、1フレーム毎に配列
したデータ構造としてもよい。
1(a) に示す各ブロックに対応する、任意形状符号化信
号の形状符号化ビット列を1フレーム分まとめてなるも
のであり、上記テキスチャーデータ部52は、上記図1
(a) に示す各ブロックに対応する任意形状符号化信号の
テキスチャー符号化ビット列を1フレーム分まとめてな
るものである。また、上記形状データ部61は、上記図
1(b) に示す各ブロックに対応する、2値符号化信号の
形状符号化ビット列を1フレーム分まとめてなるもので
ある。
態2による画像符号化装置の構成を示すブロック図であ
る。図において、100aは、上記実施の形態1の画像
伝送用データ構造を有する画像符号化信号を生成する画
像符号化装置であり、画像入力信号Sinとして、ファ
クシミリ装置のスキャナー等から2値画像を表示するた
めの2値画像信号S2を受けたとき、符号化画像出力E
oとして、図1(b) に示す2値符号化信号(E2)60
0を出力し、一方、画像入力信号Sinとして、ビデオ
カメラや画像再生装置からのデジタル画像信号Spを受
けたとき、符号化画像出力Eoとして、図1(a) に示す
任意形状符号化信号(Ep)500を、各物体毎に出力
する構成となっている。
上記画像入力信号Sinに符号化前処理を施して、2値
の形状信号とテキスチャー信号を生成するとともに、ス
イッチ制御信号SWaを出力する画像入力装置110
と、上記形状信号に対して算術符号化処理を施す形状符
号化部(第1の符号化手段)120と、上記テキスチャ
ー信号に対してDCT処理を含む符号化処理を施すテキ
スチャー符号化部(第2の符号化手段)130と、上記
スイッチ制御信号SWaにより、上記画像入力装置11
0の出力を、上記両符号化部の一方に供給する切換スイ
ッチ101aと、予測形状信号及び予測テキスチャー信
号を記憶するフレームメモリバンク102aとを有して
いる。
ャナー等からの2値画像信号と、カメラや画像記録再生
器(VTR)等からのデジタルビデオ信号とを区別し
て、2値画像信号については閾値処理により形状信号を
生成し、デジタルビデオ信号についてはクロマキー処理
により、表示画面上の各物体に対応する任意形状画像信
号と背景画面の画像信号とを分離し、さらに該任意形状
画像信号から、物体の形状を表す形状信号と、物体の階
調カラー表示を行うための輝度信号及び色差信号からな
るテキスチャー信号とを生成し、この際、2値画像信号
と任意形状画像信号のいずれの信号についての処理を行
ったかを示す識別信号(画像識別子)Sdisを出力す
る構成となっている。
7(a) に示すように、デジタル画像入力Sinが2値画
像信号であるか、任意形状画像信号であるかを識別して
分離する識別手段111と、2値画像信号に対して、表
示画面を分割する個々のブロック毎に閾値処理を施して
2値の形状信号を作成する閾値処理器112と、任意形
状画像信号に対して、表示画面上の個々の物体に対応す
るオブジェクト領域毎にクロマキー処理を施して、2値
の形状信号と、多値のテキスチャー信号とを作成すると
ともに、テキスチャー信号の処理終了時にタイミング信
号Tを出力するクロマキー処理器113と、上記識別手
段111からの識別信号Sdisとクロマキー処理器1
13からのタイミング信号Tに基づいて、上記切換スイ
ッチ101aをスイッチ制御信号SWaにより制御する
スイッチ制御回路114とから構成されている。
に対応する形状信号S2kあるいは任意形状画像に対応
する形状信号Spkを受け、処理対象となっている現画
面より前の画面の形状信号を参照して、各ブロック毎
に、ブロックマッチング等の方法により形状動きベクト
ルSkvを生成する形状動き検出器121と、該形状動
きベクトルSkvをフレームメモリバンク102aのア
ドレスに変換し、このアドレスに基づいて上記フレーム
メモリバンク102aから予測形状信号Ekmを取得す
る形状動き補償器123とを有している。また、上記形
状符号化部120は、各ブロック毎に、上記切換スイッ
チ101aからの形状信号Skに、該予測形状信号Ek
mを用いた算術符号化処理を施して、形状符号化ビット
列Ekを生成する算術符号化器122と、上記形状符号
化ビット列Ekを、上記予測形状信号Ekmを用いた算
術復号化処理により復号化する算術復号化器124とを
有しており、この算術復号化器124の出力Ekdが上
記フレームメモリバンク102aに格納されるようにな
っている。
テキスチャー信号Sptを受け、処理対象となっている
現画面より前の画面のテキスチャー信号を参照して、各
ブロック毎に、ブロックマッチング等の方法によりテキ
スチャー動きベクトルStvを生成するテキスチャー動
き検出器131と、該テキスチャー動きベクトルStv
をフレームメモリバンク102aのアドレスに変換し、
このアドレスに基づいて上記フレームメモリバンク10
2aから予測テキスチャー信号Epmを取得するテキス
チャー動き補償器132とを有している。また、上記テ
キスチャー符号化部130は、上記テキスチャー信号S
ptと予測テキスチャー信号Epmとを加算する第1の
加算器133と、この加算出力Sad1に対して、各ブ
ロック毎に、DCT処理を施してDCT係数Edctを
生成するコサイン変換器134と、該DCT係数Edc
tに対して各ブロック毎に量子化処理を施す量子化器1
35とを有している。
は、該量子化器135の出力Eqに各ブロック毎に、可
変長符号化処理を施して、テキスチャー符号化ビット列
Eptを生成する可変長符号化器139と、上記量子化
器135の出力Eqに逆量子化処理を施す逆量子化器1
36と、その出力Eiqに対して逆DCT処理を施す逆
コサイン変換器137と、該逆コサイン変換器137の
出力Eidctと上記予測テキスチャー信号Epmとを
加算する第2の加算器138とを有しており、該第2の
加算器138の出力Spd2が予測テキスチャー信号と
して上記フレームメモリバンク102aに格納されるよ
うになっている。
記画像入力装置110からの形状識別子Sdis、形状
符号化部120からの形状動きベクトルSkv及び形状
符号化ビット列Ek、並びに、上記テキスチャー符号化
部130からのテキスチャー動きベクトルStv及びテ
キスチャー符号化ビット列Eptを、他の必要なデータ
とともに多重化する多重器150を有している。この多
重器150は、2値画像信号S2が入力されたとき、上
記形状識別子Sdis及び形状符号化部120からの形
状符号化ビット列をその他の必要なデータとともに多重
化して、図1(b) に示す2値符号化信号(E2)600
を出力し、任意形状画像信号Spが入力されたとき、上
記形状識別子Sdis,上記形状符号化部120からの
形状符号化ビット列,及びテキスチャー符号化部130
からのテキスチャー符号化ビット列をその他の必要なデ
ータとともに多重化して、図1(a) に示す任意形状符号
化信号(Ep)500を出力するよう構成されている。
施の形態2による画像符号化装置による符号化処理のフ
ローを示している。本画像符号化装置100aにデジタ
ル画像入力Sinが供給されると(ステップSa1)、
画像入力装置110にて、該デジタル画像入力Sinが
スキャナー等からの、形状信号のみを含む2値画像信号
か、あるいはカメラや画像記録再生装置(VTR)等か
らの、形状信号とともにテキスチャー信号を含むデジタ
ルビデオ信号であるかが識別される(ステップSa
2)。
像信号である場合、上記画像入力装置110では、形状
識別子(SID)として、その値が「1」である1ビッ
ト識別信号が発生され(ステップSa3)、さらに該デ
ジタル画像入力Sinの閾値処理などによって2値の形
状信号S2kが抽出される。このとき、上記切換スイッ
チ101aは、上記画像入力装置110から出力される
スイッチ制御信号SWaより、上記形状信号S2kが上
記形状符号化部120に供給されるよう切り換わり、こ
れにより該形状符号化部120にて該形状信号S2kの
算術符号化処理が行われる(ステップSa4)。
形状動き検出器121により上記形状信号S2kから形
状動きベクトルSkvが各ブロック毎に生成される。具
体的には、処理対象となっている現画面の形状信号が、
現画面以前の前画面の形状信号とブロックマッチング等
の方法により比較され、現画面と前画面との間での画像
の動きが検出され、その動き情報が動きベクトルSkv
として求められる。なお、この動き検出の詳細につい
て、例えばUSP(米国特許公報)4897720号に
開示されている。この形状動きベクトルSkvが形状動
き補償器123に入力されると、該補償器123では、
形状動きベクトルSkvがフレームメモリバンク102
aのアドレスに変換され、該補償器123によりそのア
ドレスに基づいてフレームメモリバンク102aから予
測形状信号Ekmが取り出される。
と画像入力装置110からの形状信号S2kとが上記算
術符号化器122に入力されると、算術符号化器122
にて、上記形状信号S2kに、上記予測形状信号Ekm
に基づいた算術符号化処理が施されて、該符号化器12
2からは、形状信号S2kの符号化により得られる形状
データ(形状符号化ビット列61B)E2kが出力され
る。なお、算術符号化方法の詳細についてJBIG規格
の仕様書に開示されている。このとき、上記算術復号化
器124では、上記形状データE2kは、予測形状信号
Ekmを用いた算術復号化処理により復号化形状データ
Ekdとして再生され、フレームメモリバンク102a
に格納される。
きベクトルSkv及び形状データE2kが上記多重器1
50にて出力され、さらにその出力端子150aからデ
ータ伝送部に出力される(ステップSa5)。
御部(図示せず)により、上記ステップSa2〜ステッ
プSa5にて処理したデータ(被処理データ)が、最終
画面(フレーム)の最終ブロックのデータであるか否か
の判定が行われ(ステップSa10)、上記被処理デー
タが最終画面の最終ブロックのデータでなければ、この
画像符号化装置100aによる処理は、上記ステップS
a2における処理に戻り、上記被処理データが最終画面
の最終ブロックのデータであれば、本装置による処理は
終了する。
ジタル画像入力Sinが、形状信号とテキスチャー信号
とを含む任意形状画像信号Spである場合、上記画像入
力装置110では、形状識別子(SID)として、その
値が「0」である1ビットの識別信号(形状識別子)S
disが発生され(ステップSa6)、さらに該デジタ
ル画像入力Sinのクロマキー処理によって、形状信号
Spk及びテキスチャー信号Sptが生成される。この
とき、上記切換スイッチ101aは、上記画像入力装置
110から出力されるスイッチ制御信号SWaにより、
上記形状信号Spkが上記形状符号化部120に供給さ
れ、上記テキスチャー信号Sptが上記テキスチャー符
号化部130に供給されるよう切り換わる。
該任意形状画像信号Spの形状信号Spkに対する算術
符号化処理が、上述した2値画像信号S2の形状信号S
2kに対する算術符号化処理と全く同様に行われた後
(ステップSa7)、テキスチャー符号化部130にて
該テキスチャー信号Sptの符号化処理が行われる(ス
テップSa8)。
は、テキスチャー動き検出器131により、テキスチャ
ー信号Sptからテキスチャー動きベクトルStvを抽
出し、テキスチャー動き補償器132では、該動きベク
トルStvに基づいて予測テキスチャー信号Epmをフ
レームメモリバンク102aから取得する。そして、第
1の加算器133では、予測テキスチャー信号Epmと
入力された任意形状画像信号のテキスチャー信号Spt
との差分データSad1が求められ、この差分データが
コサイン変換器134により周波数領域のDCT係数E
dctに変換され、該DCT係数が量子化器135によ
り量子化される。さらにこのように量子化された量子化
DCT係数Eqは可変長符号化器139により可変長符
号化処理が施されて多重器150に送られる。このとき
多重器150には、該当するブロックのテキスチャー動
きベクトルStvも供給されている。
Eqは、逆量子化器136にて逆量子化され、該逆量子
化器136の出力Eiqは、逆コサイン変換器137に
より逆コサイン変換が施されて、再生テキスチャー信号
Eidctとして第2の加算器138に出力される。こ
の第2の加算器138では、再生テキスチャー信号Ei
dctと上記予測テキスチャー信号Epmとが加算さ
れ、この加算値Sad2がフレームメモリバンク102
aに格納される。
像信号である場合、多重器150には、画像入力装置1
10からは形状識別子Sdisが、形状符号化部120
からは形状動きベクトルSkv及び形状データEpk
が、さらにテキスチャー符号化部130からはテキスチ
ャー動きベクトルStv及びテキスチャーDCT係数E
ptが、その他の必要な信号とともに供給されることと
なる。これにより、多重器150からは、上記各データ
が所定の順序で配列されて、図1(a) に示す任意形状符
号化信号(Ep)500が出力される(ステップSa
9)。
この画像符号化装置100aでは、その制御部(図示せ
ず)により、上記ステップSa6〜ステップSa9にて
処理したデータ(被処理データ)が、最終画像の最終ブ
ロックのデータであるか否かの判定が行われ(ステップ
Sa10)、該被処理データが最終画面の最終ブロック
のデータでなければ、次のブロックに対応する形状信号
及びテキスチャー信号について、上記ステップSa6〜
ステップSa9の処理を行い、上記ステップで処理され
た被処理データ(形状信号及びテキスチャー信号)が最
終画面の最終ブロックのデータであれば、本画像符号化
装置100aによる符号化処理は終了する。図示してい
ないが、上記多重器150の出力端子150aは、符号
化データを伝送する伝送部や符号化データを記憶する記
録部に接続されている。
画像入力の符号化処理を行う画像符号化装置100a
を、デジタル画像入力が2値画像信号であるか任意形状
画像信号であるかを判定し、判定結果に応じた識別信号
(形状識別子)Sidsを、上記各画像信号の符号化信
号に含めて出力するよう構成したので、2値画像信号あ
るいは任意形状画像信号の符号化信号を復号化する復号
化装置では、入力される符号化信号が、テキスチャー符
号化ビット列を含まない2値符号化信号である場合に
は、これを上記形状識別子により検出し、その復号化処
理の内容を、形状符号化ビット列とテキスチャー符号化
ビット列の両方を含む任意形状符号化信号に対応した処
理内容から、2値符号化信号に対応した処理内容に変更
することができる。
号の符号化処理を行う際に、復号化側での任意形状符号
化信号に対応した復号化方式により2値形状信号の復号
化が可能となるよう、形状符号化ビット列に擬似テキス
チャー符号化ビット列を付加する必要がなくなる。この
結果、1つの符号化方式を採用した画像復号化装置によ
り、異なる符号化方式により符号化した符号化信号を復
号化できるようにしたデータ構造の画像符号化信号を、
符号化処理に必要となる符号量の増大をほとんど招くこ
となく作成することができる。
態3による画像復号化装置の構成を示すブロック図であ
る。図において、100bは、上記実施の形態1の画像
伝送用データ構造を有する符号化データに対する復号化
処理を行う画像復号化装置であり、符号化データEoと
して、図1(b) に示す2値符号化信号(E2)600を
受けたとき、復号化画像データDsynとして2値復号
化信号D2を出力し、一方、符号化データEoとして、
図1(a) に示す任意形状符号化信号(Ep)500を受
けたとき、復号化画像データDsynとして任意形状復
号化信号Dpを、各物体毎に出力する構成となってい
る。
入力端子160aに入力される符号化データEoを解析
し、該解析結果に応じたスイッチ制御信号SWbを出力
するデータ解析器160と、上記形状データ(形状信号
の符号化により得られる形状符号化ビット列)に対して
算術復号化処理を施す形状復号化部(第1の復号化手
段)170と、上記テキスチャーDCT係数Eptに対
して逆DCT処理を含む復号化処理を施すテキスチャー
復号化部(第2の復号化手段)180と、上記スイッチ
制御信号SWbにより、上記データ解析器160から出
力される解析対象となった符号化信号を、上記両復号化
部170及び180の一方に供給する切換スイッチ10
1bと、予測形状信号及び予測テキスチャー信号を格納
するフレームメモリバンク102bとを有している。
のブロックに対応する形状符号化ビット列の復号化処理
が終了した時点で、該ブロックに対応する形状符号化ビ
ット列Ek(E2korEpk)の終点を検出して、該ブ
ロックに対応する終点検出信号Teを上記データ解析器
160に出力する構成となっている。
れる符号化信号における先頭の32ビット同期信号に続
く1ビット形状識別子(図1(a) の任意形状符号化信号
500における形状識別子502,図1(b) に示す2値
符号化信号における形状識別子602)を調べ、形状識
別子の設定値(SID)がSID=0のときは、入力さ
れた符号化信号における形状符号化ビット列が形状復号
化部170へ、該符号化信号におけるテキスチャー符号
化ビット列がテキスチャー復号化部180へ供給される
よう、スイッチ制御信号SWbにより切換スイッチ10
1bを制御し、形状識別子の設定値(SID)がSID
=1のときは、入力された符号化データが形状復号化部
170へのみ供給されるよう、スイッチ制御信号SWb
により切換スイッチ101bを制御する構成となってい
る。
図7(b) に示すように、復号化参照テーブルが格納され
たテーブル格納部162と、入力された符号化信号のビ
ット列を、復号化参照テーブルのビット列と比較して、
符号化データに含まれている形状識別子,形状符号化ビ
ット列,及びテキスチャー符号化ビット列を識別する比
較器161と、該比較器161での比較結果及び上記終
点検出信号Teに基づいて、上記切換スイッチ101b
をスイッチ制御信号SWbにより制御するスイッチ制御
回路163とから構成されている。
70は、上記2値画像に対応する形状動きベクトルある
いは任意形状画像に対応する任意形状動きベクトルを受
け、該動きベクトルに基づいて、フレームメモリバンク
102bに格納されている予測形状信号のアドレスを生
成し、フレームメモリバンク102bから予測形状信号
Emkを取得する形状動き補償器172と、該予測形状
信号Emkを参照し、入力された形状データEkを復号
化して再生形状信号(形状復号化信号)Dkを生成する
算術復号化器171とを有し、再生形状信号Dkがフレ
ームメモリバンク102bに格納されるようになってい
る。ここで、上記算術復号化器171は、1つのブロッ
クに対応する形状符号化ビット列の復号化処理が終了し
た時点で、該ブロックに対応する形状符号化ビット列E
k(E2korEpk)の終点を検出して、終点検出信号
Teを出力する構成となっている。なお、上記動き補償
の詳細については、例えばUSP(米国特許公報)51
57742号に、算術復号化の詳細については例えばJ
BIGの仕様書に開示されている。
復号化手段)180は、上記テキスチャー動きベクトル
を受け、該動きベクトルに基づいて予測テキスチャー信
号を取得するためのアドレスを生成し、このアドレスを
用いてフレームメモリバンク102bから予測テキスチ
ャー信号Empを取得するテキスチャー動き補償器18
4と、テキスチャー符号化ビット列における量子化幅及
びDCT係数を受け、該DCT係数に対して逆量子化処
理を施す逆量子化器181と、逆量子化された逆量子化
DCT係数Diqに対して逆コサイン変換を施す逆コサ
イン変換器182と、予測テキスチャー信号Empと逆
コサイン変換出力Didctとを加算して再生テキスチ
ャー信号(テクスチャー復号化信号)Dptを出力する
加算器183とを有しており、該加算器183からの再
生テキスチャー信号Dptが上記フレームメモリバンク
102bに格納されるようになっている。
bは、再生したテキスチャー信号Dptと、対応する再
生形状信号Dkとを所要の画像データと合成し、任意形
状符号化信号Epに対応する任意形状再生信号Dpを含
む合成画像データDsynを表示器104に出力すると
ともに、上記2値符号化信号E2に対応する2値再生信
号D2を出力する合成器190を有している。なお、合
成器190から出力される信号は、表示器104ではな
くプリンタ(図示せず)に出力するようにしてもよい。
また、上記合成器190では、2値再生信号D2を他の
任意形状画像信号と合成することも可能である。
号の復号化処理の際は、再生形状信号がゼロである画素
については、再生テキスチャー信号における画素値を、
所定の画像の画素値と置き換えるようにしている。この
所定の画像は、受信側であらかじめ用意した画像であっ
ても、別の画像復号化装置によって再生された画像であ
ってもよい。
の実施の形態3による画像復号化装置による復号化処理
のフローを示している。図1(a) あるいは図1(b) に示
すデータ構造の画像符号化信号がこの画像復号化装置1
00bに入力されると、データ解析器160にて、該画
像符号化信号における32ビットの同期信号の後に続く
1ビットの形状識別子の解析が行われ、その値(SI
D)がSID=1であるか否かが判定される(ステップ
Sb1)。
される画像符号化信号Eoが画像情報として形状符号化
ビット列のみを含む2値符号化信号E2であるため、デ
ータ解析器160は、切換スイッチ101bを、スイッ
チ制御信号SWbにより、2値符号化信号の各ブロック
に対応する形状符号化ビット列が、常に形状復号化部1
70に送られるよう切換え制御する。これにより上記形
状復号化部170にて2値符号化信号における形状符号
化ビット列の復号化処理が行われる(ステップSb
2)。
き補償器172及び算術復号化器171に入力される。
すると、形状動き補償器172は、形状動きベクトルM
Vに基づいて、フレームメモリバンク102bにある予
測形状信号のアドレスを生成し、該フレームメモリバン
ク102bから予測形状信号Emkを取得する。この予
測形状信号Emkが算術復号化器171に送られると、
算術復号化器171では、予測形状信号Emkを参照し
て、形状符号化ビット列E2kに対する算術復号化処理
が行われて、2値復号化信号D2kが生成される。そし
て、この2値復号化信号D2kは、上記フレームメモリ
バンク102b及び合成器190に送出され、さらに合
成器190から表示器104に送出されて、画像表示さ
れる(ステップSb6)。なお、復号化された2値復号
化信号は、他の任意形状画像信号と合成して表示するよ
うにしてもよい。
最終ブロックのデータであるか否かの判定が行われ(ス
テップSb7)、上記2値符号化信号が最終画面の最終
ブロックのデータでなければ、上記ステップSb1,S
b2,Sb6における処理を、次のブロックに対する2
値符号化信号に対して行い、逆に上記2値符号化信号が
最終画面の最終ブロックのデータであれば、2値符号化
信号の復号化処理が終了する。
合、入力された画像符号化信号には、画像情報として形
状符号化ビット列とテキスチャー符号化ビット列とが含
まれるため、データ解析器160は、切換スイッチ10
1bをスイッチ制御信号SWbにより制御して、任意形
状符号化信号の各ブロックに対応する形状符号化ビット
列が形状復号化部170に供給され、各ブロックに対応
するテキスチャー符号化ビット列がテキスチャー復号化
部180に供給されるようにする。これにより任意形状
符号化信号における形状符号化ビット列とテキスチャー
符号化ビット列とが分離され(ステップSb3)、分離
された形状符号化ビット列が上記形状復号化部170に
て、分離されたテキスチャー符号化ビット列が上記テキ
スチャー復号化部180にて復号化される(ステップS
b4,Sb5)。
上記2値画像信号の形状符号化ビット列E2kと同様に
上記形状復号化部170にて復号化される。1つのブロ
ックに対応する形状符号化ビット列Epkの復号化処理
が終了した時点で、算術復号化器171では、このブロ
ックに対応する形状符号化ビット列Epkの終点が検出
され、この終点検出信号Teが上記データ解析器160
に出力される。すると、データ解析器160は、スイッ
チ制御信号SWbにより切換スイッチ101bを制御し
て、入力される画像符号化信号が上記テキスチャー復号
化部180に供給されるようにする。
ptはデータ解析器160からテキスチャー復号化部1
80に送られる。該復号化部180では、上記ビット列
における量子化幅とDCT係数が逆量子化器181に供
給されて、DCT係数の逆量子化処理が行われる。逆量
子化出力Diqは逆コサイン変換器182により、逆コ
サイン変換される。
MVはテキスチャー動き補償器184に供給されてお
り、該補償器184は、該テキスチャー動きベクトルM
Vに基づいて予測テキスチャー信号を取得するためのア
ドレスを生成し、このアドレスを用いてフレームメモリ
バンク102bから予測テキスチャー信号Empを取得
する。
ン変換器182の出力Didctと予測テキスチャー信
号Empとの加算処理が行われて、該加算器183から
はテキスチャー復号化信号Dptが出力される。このテ
キスチャー復号化信号Dptは、フレームメモリバンク
102b及び合成器190に供給される。該合成器19
0では、再生した上記テキスチャー復号化信号Dpt
と、対応する再生した形状復号化信号Dkとを、所要の
画像と合成して合成画像データDsynを生成する。な
お、上記テキスチャー符号化ビット列の符号化処理が終
了した時点で、データ解析器160は、該テキスチャー
符号化ビット列の終点を検出し、スイッチ制御信号SW
bにより切換スイッチ101bを切り換え、入力される
画像符号化信号が上記形状復号化部170に供給される
ようにする。
90から表示器104に送出されて、画像表示される
(ステップSb6)。その後、上記任意形状符号化信号
が最終画面の最終ブロックのデータであるか否かの判定
が行われ(ステップSb7)、上記任意形状符号化信号
が最終画面の最終ブロックのデータでなければ、上記ス
テップSb3〜Sb7における処理を、次のブロックの
任意形状符号化信号に対して行い、上記任意形状符号化
信号が最終画面の最終ブロックのデータであれば、任意
形状符号化信号の復号化処理を終了する。
復号化信号がゼロである画素については、再生したテキ
スチャー復号化信号の画素値を、所定の画像の画素と置
き換える。この所定の画像は受信側であらかじめ用意し
た画像であっても、別の復号化器によって再生された画
像であってもよい。
置100bでは、入力される符号化データを解析するデ
ータ解析器160を、入力される画像符号化信号が、形
状符号化ビット列のみを画像情報として含む2値符号化
信号であるか、形状符号化ビット列の他にテキスチャー
符号化ビット列を含む任意形状符号化信号であるかを示
す形状識別子を検出し、該形状識別子の値に応じて、入
力符号化信号におけるビット列を形状復号化部170と
テキスチャー復号化部180との間で切り換えてこれら
の一方に供給するよう構成したので、2値符号化信号を
作成する際、形状符号化ビット列に擬似テキスチャー符
号化ビット列を付加しなくても、任意形状符号化信号に
対応する復号化方式により2値符号化信号の復号化を行
うことが可能となる。このため、1つの符号化方式によ
り、データ構造の異なる2値画像信号と任意形状画像信
号との両方を符号化し、かつ1つの復号化方式により該
両画像信号の復号化処理を行うようにする際でも、2値
画像信号の符号化,伝送,復号化を、処理ビット数を少
なく抑えて効率よく行うことができる。
態4による画像復号化装置の構成を示すブロック図であ
る。図において、100cは本実施の形態4の画像復号
化装置であり、この画像復号化装置100cは、上記実
施の形態3における画像復号化装置100bの構成に加
えて、テキスチャー復号化部180での復号化処理にか
かる負荷を、合成器190cの動作状態に基づいてモニ
ターし、この負荷が所定値以上となったとき、過負荷検
出信号Lovを出力する制御器105を備えている。
おけるデータ解析器160に代えて、上記終点検出信号
Te及び過負荷検出信号Lovに基づいて、スイッチ制
御信号SWcを発生する機能を有するデータ解析器16
6を備えている。このデータ解析器166は、その他の
構成は上記データ解析器160と同一となっている。さ
らに、本装置100cは、実施の形態3における切換ス
イッチ101bに代えて、データ解析器166からの画
像符号化信号を受ける入力端Cinと、3つの出力接点
Co1,Co2,Co3とを有し、上記スイッチ制御信
号SWcにより切り換え動作を行う切換スイッチ101
cを備えている。ここで、上記出力接点Co1は算術復
号化器171の入力に接続され、上記出力接点Co2は
接地され、上記出力接点Co3はテキスチャー復号化部
180における逆量子化器181の入力及び動き補償器
184の入力に接続されている。
全体を管理するための複数の機能を有するものであり、
その複数の機能のうちの1つとして、予め設定された1
画面の画像表示を行う時間間隔の間に、該当する1画面
の画像の合成処理が完了しない場合には、テキスチャー
復号化部180での復号化処理にかかる負荷Ldeが重
いことを検知して、スイッチ制御信号SWcを出力する
機能を有している。
荷検出信号Lovを受けたときは、上記スイッチ制御信
号SWcにより、入力端Cinが第1出力接点Co1と
第2出力接点Co2との間で切り換えて接続されるよう
切換スイッチ101cを制御する。このときの切換スイ
ッチ101cの切換制御は、任意形状符号化信号Epの
テキスチャー符号化ビット列Eptが接地側に供給さ
れ、任意形状符号化信号Epの形状符号化ビット列Ek
tが上記算術復号化器171に供給されるよう行われ
る。
190cは、実施の形態3の合成器190の機能に加え
て、上記のようにテキスチャー符号化信号の復号化処理
に重い負荷がかかっているときには、テキスチャー復号
化信号としては、被処理対象となっている現画面に対応
するものに代えて、該現画面以前の前画面のテキスチャ
ー復号化信号を、現画面に対応する形状復号化信号と合
成する機能を有している。
荷検出信号Lovを受けていない状態,つまり、画像復
号化処理に重い負荷がかかっていない状態では、上記ス
イッチ制御信号SWcにより、入力端Cinが第1出力
接点Co1と第3出力接点Co3との間で切り換えて接
続されるよう切換スイッチ101cを制御する。これに
より、本実施の形態4の画像復号化装置100cでは、
上記実施の形態3の画像復号化装置100bにおける画
像復号化処理と同一の画像復号化処理が行われることと
なる。
形態4の画像復号化装置100cにおける基本的な動
作,つまり画像符号信号に対する画像復号化処理は、上
記実施の形態3の画像復号化装置100bと全く同じで
あり、ここでは、制御器105に関連する動作のみにつ
いて説明する。
処理が上記テキスチャー復号化部180にて行われてい
る状態で、処理対象画面の画像が表示される時刻になっ
ても、該画面に対応する画像復号化信号の合成処理が完
了しないとき、上記制御器105は、画像復号化処理に
重い負荷がかかっていることを検知し、過負荷検出信号
Lovをデータ解析器166に出力する。すると、上記
切換スイッチ101cは、上記データ解析器166から
のスイッチ制御信号SWcによりその切換動作が制御さ
れることとなり、これにより上記データ解析器166か
らの任意形状符号化信号Epについては、その形状符号
化ビット列Epkが上記切換スイッチ101cの第1出
力接点Co1を介して形状復号化部170に供給され、
そのテキスチャー符号化ビット列Eptが上記切換スイ
ッチ101cの第2出力接点Co2を介して接地側に排
出されることとなる。また、このときには、処理対象と
なっている現画面に対応するテキスチャー復号化信号に
代えて、該現画面以前の前画面に対応するテキスチャー
復号化信号を、現画面に対応する形状復号化信号と合成
する。
化装置における演算プロセッサの負荷をモニターし、各
画面に対応する任意形状画像信号の復号化処理が、各画
面に対応する画像の表示タイミングに間に合わないとき
に、任意形状符号化信号における形状符号化ビット列だ
けを再生し、テキスチャー符号化ビット列については、
以前再生されたものを用いて画像表示を行うようにした
ので、復号化処理に大きな負荷がかかっている状態で
も、表示画像の途切れがなく画像の流れがスムーズな表
示を行うことができる。
における負荷の大きさを検知する方法として、各画面に
対応する復号化画像信号が、各画面の画像の表示タイミ
ングに間に合わない場合、負荷が重いと判断する方法を
用いたが、負荷の検知方法はこれに限るものではない。
理における負荷が大きい場合、任意形状符号化信号にお
ける形状符号化ビット列の復号化処理のみを行い、任意
形状符号化信号におけるテキスチャー符号化ビット列の
復号化処理を行わないようにしたが、これは、テキスチ
ャー符号化ビット列の復号化処理のみを行い、形状符号
化ビット列の復号化処理を行わないようにしてもよい。
この場合、被処理対象となっている現画面に対応する形
状復号化信号に代えて、該現画面以前の前画面に対応す
る形状復号化信号を、現画面に対応するテクスチャー復
号化信号と合成するようにする。
態5による画像復号化装置の構成を示すブロック図であ
る。図において、100dは本実施の形態5の画像復号
化装置であり、この画像復号化装置100dは、上記実
施の形態4における画像復号化装置100cの、復号化
処理における負荷の大きさを検知する制御器105の機
能に代えて、該画像復号化装置100dに外部からマニ
ュアル制御信号Minを入力するための、マウスやリモ
ートコントローラー等の入力端末106を備え、該入力
端末106からのマニュアル制御信号Minを、上記過
負荷検知信号Lovに代えて上記データ解析器165に
供給するようにしている。その他の構成は上記実施の形
態4と同一である。
マニュアル制御信号Minを受けたときは、上記スイッ
チ制御信号SWcにより、その入力端Cinが第1出力
接点Co1と第2出力接点Co2との間で切り換えて接
続されるよう切換スイッチ101cを制御する。このと
きの切換スイッチ101cの切換制御は、任意形状符号
化信号Epのテキスチャー符号化ビット列Eptが接地
側に排出され、任意形状符号化信号Epの形状符号化ビ
ット列Ektが上記算術復号化器171に供給されるよ
う行われる。
施の形態4と同様、合成器190cは、上記のようにマ
ニュアル制御信号Minがデータ解析器165に出力さ
れているときは、被処理対象となっている現画面に対応
するテキスチャー復号化信号に代えて、該現画面以前の
前画面に対応するテキスチャー復号化信号を、現画面に
対応する形状復号化信号と合成する構成となっている。
ニュアル制御信号Minを受けていない状態では、上記
スイッチ制御信号SWcにより、入力端Cinが第1出
力接点Co1と第3出力接点Co3との間で切り換えて
接続されるよう切換スイッチ101cを制御する。これ
により、本実施の形態5の画像復号化装置100dで
は、上記実施の形態3の画像復号化装置100bにおけ
る画像復号化処理と同一の画像復号化処理が行われるこ
ととなる。
復号化装置100dでは、画像復号化装置100dに外
部からマニュアル制御信号Minを入力するための、マ
ウスやリモートコントローラー等の入力端末106を備
え、該入力端末106からのマニュアル制御信号Min
により、データ解析器165による上記切換スイッチ1
01cの制御を変更するようにしたので、使用者の操作
によって、使用者が目的とする再生画像が得られるまで
は、テキスチャー符号化ビット列の復号化処理を行わず
に、形状符号化ビット列の復号化処理のみを行うように
することができ、これにより、記録媒体に記録されてい
る符号化信号を再生する場合には、目的の画像の頭出し
を素早く行うことができる。
号化処理あるいは復号化処理として、フレーム間予測符
号化方式に対応する任意形状符号化信号500(図1
(a) )、及び2値符号化信号(図1(b) )を対象とする
ものについて説明したが、フレーム内符号化方式に対応
した符号化処理及び復号化処理においても、識別信号
(形状識別子)の発生及び検出は、上記実施の形態2な
いし5のものと同様に行われることは言うまでもない。
は、符号化処理あるいは復号化処理として、図1(a) に
示すデータ構造の任意形状符号化信号500、及び図1
(b) に示すデータ構造の2値符号化信号の処理について
説明したが、本発明の基本原理,つまり、任意形状画像
信号や2値画像信号等のデータ構造の異なる画像信号を
識別する画像識別子を、それぞれの画像信号の符号化の
際に付加して伝送し、これらの符号化信号の復号化の
際、上記画像識別子を検出して、復号化処理を、任意形
状符号化信号や2値符号化信号等のそれぞれの符号化信
号に対応したものとするという基本原理は、図2(a) に
示すデータ構造の任意形状符号化信号500b、及び図
2(b) に示すデータ構造の2値符号化信号600bを対
象とする処理についても適用できる。
ータ構造の異なる画像符号化信号を識別するための画像
識別子としては、任意形状符号化信号と2値符号化信号
を識別するための1ビットの符号からなる形状識別子
(SID=0or1)を用いているが、上記画像識別子
は、2ビットの符号からなるもの(SID=00,0
1,10,or11)でも、3ビット以上の符号からなる
ものでもよい。この場合には、さらに多くの画像符号化
信号を、画像識別子により識別することが可能となる。
子により識別する場合には、所定の画像符号化信号に対
しては他の画像符号化信号とはビット数の異なる画像識
別子を用いてもよい。例えば、2ビットの符号からなる
画像識別子を含む画像符号化信号と、3ビットの符号か
らなる画像識別子を含む画像符号化信号を1つの符号化
方式に対応したシステムで扱うようにしてもよい。この
場合、各画像識別子には効率よく符号を割り当てること
ができる。
て、上記画像識別子として2ビット以上の符号からなる
画像識別子を用いる画像伝送用データ構造及び画像復号
化方法等について説明する。
の形態6による画像伝送用データ構造を説明するための
図である。図10(a) は、表示画像を構成する個々の物
体に対応する任意形状画像信号を符号化して得られる任
意形状符号化信号のデータ構造を示し、図10(b) は、
2値画像信号を符号化して得られる2値符号化信号のデ
ータ構造を示し、さらに図10(c) は、画像をカラー表
示するためのテクスチャー信号(画素値信号)のみを表
示用データとして含む矩形画像信号を符号化して得られ
る矩形符号化信号(画素値符号化信号)のデータ構造を
示している。
構造は、上記テクスチャー信号,つまり輝度信号及び色
差信号のみを表示用データとして含む矩形画像信号を圧
縮符号化して伝送し、さらに符号化された矩形画像信号
である矩形符号化信号を復号化して表示するシステムを
対象にしている。つまり、このシステムでは、画像符号
化方法及び装置は、上記矩形画像信号に対応した符号化
処理を行う構成となっており、また、画像復号化方法及
び装置は、上記矩形符号化信号(画素値符号化信号)に
対応した復号化処理を行う構成となっている。
の画像伝送用データ構造を有する任意形状符号化信号
(図10(a) 参照)であり、この任意形状符号化信号1
500は、1表示画面の画像を構成する個々の物体に対
応する任意形状画像信号の符号化により得られるもので
ある。そして、この任意形状符号化信号1500は、上
記実施の形態1の任意形状符号化信号500における1
ビットの形状識別子502を、2ビットの画像識別子1
502に置き換えたものである。
伝送用データ構造を有する2値形状符号化信号(図10
(b) 参照)であり、この2値符号化信号1600は、1
表示画面上の画像情報を2値の信号により示す2値画像
信号を符号化して得られるものである。そして、この2
値符号化信号1600は、上記実施の形態1の2値形状
符号化信号600における1ビットの形状識別子602
を、2ビットの画像識別子1602に置き換えたもので
ある。
伝送用データ構造を有する画素値符号化信号(図10
(c) 参照)であり、この画素値符号化信号1700は、
1表示画面に対応する、1表示画面(1フレーム)の
縦,横のサイズの情報を含む矩形画像信号を符号化して
得られる矩形符号化信号である。そして、この画素値符
号化信号(矩形符号化信号)1700は、図23(c) に
示す画素値符号化信号700aにおける同期信号701
とヘッダ703の間に、2ビットの画像識別子1702
を挿入してなるものである。
D)1502,1602,1702は、それぞれその値
として01,10,00を有しており、これらの画像識
別子の値によって、各符号化信号1500,1600,
1700の識別が可能となっている。
な構成の本実施の形態6では、矩形画像信号に対応する
画素値符号化信号1700を、テクスチャー信号を符号
化して得られるテクスチャー符号化ビット列71C、及
び表示データとしてテクスチャー符号化ビット列のみを
含むことを示す2ビットの画像識別子1702を含む構
造としたので、該画像識別子1702を参照することに
より、例えば、任意形状符号化信号1500,2値符号
化信号1600,及び画素値符号化信号1700の3つ
の符号化信号に対して、画素値符号化信号1700とこ
れ以外の任意形状符号化信号1500及び2値符号化信
号1600とを識別する処理が可能となる。
化処理を行うよう構成されているMPEG2に対応した
画像復号化装置では、上記画像識別子によって、上記任
意形状符号化信号及び2値符号化信号が入力されても、
これらの符号化信号を、上記画素値符号化信号とは異な
るものとして認識することができる。このため、上記上
記任意形状符号化信号及び2値符号化信号に対して、M
PEG2に対応した復号化処理を施してしまい、復号動
作が破綻をきたすといった不具合を回避でき、また、こ
れらの符号化信号が入力された場合には、復号化処理が
できないことを表示画面上に表示するといったことも可
能となる。
号化信号,2値符号化信号,及び矩形符号化信号(画素
値符号化信号)として、それぞれ任意形状画像信号,2
値画像信号,及び矩形画像信号をフレーム間予測符号化
処理して得られるデータ構造を有するものを示したが、
上記各符号化信号は、上記各画像信号をフレーム内符号
化処理して得られるデータ構造のものでもよい。
化信号として、各ブロック毎に形状符号化ビット列とテ
クスチャー符号化ビット列の両方あるいは一方を配列し
たものを示したが、上記各符号化信号は、フレーム毎に
形状符号化ビット列とテクスチャー符号化ビット列を配
列したものでもよい。
形態7による画像復号化装置の構成を示すブロック図で
ある。図において、100eは、上記実施の形態6の画
像伝送用データ構造を有する符号化データに対する復号
化処理を行う画像復号化装置である。この画像復号化装
置100eは、符号化データEoとして、図10(a) に
示す任意形状符号化信号(Ep)1500及び図10
(b) に示す2値符号化信号(E2)1600を受けたと
き、これらの符号化信号に対する復号化処理は行わず
に、現在入力されているデータ構造の符号化信号に対し
ては復号化処理が不可能であることを表示し、符号化デ
ータEoとして、図10(c) に示す矩形符号化信号(E
t)1700を受けたとき、復号化画像データとして矩
形復号化信号Dtを出力する構成となっている。
入力端子160aに入力される符号化データEoを解析
し、該解析結果に応じたスイッチ制御信号SWeを出力
するデータ解析器160eと、上記矩形符号化信号(画
素値符号化信号)Etに対して逆DCT処理を含む復号
化処理を施すテキスチャー復号化部180eと、上記ス
イッチ制御信号SWeにより、上記データ解析器160
eから出力される解析対象となった符号化信号を、上記
復号化部180側と接地側の一方に供給する切換スイッ
チ101eと、予測テキスチャー信号を格納するフレー
ムメモリバンク102eとを有している。
力される符号化信号における先頭の32ビット同期信号
に続く2ビットの画像識別子(図10(a) の任意形状符
号化信号1500における画像識別子(SID=01)
1502,図10(b) に示す2値符号化信号における画
像識別子(SID=10)1602,図10(c) に示す
矩形符号化信号における画像識別子(SID=00)1
702)を調べ、画像識別子の設定値(SID)がSI
D=01あるいは10のときは、入力された符号化信号
が接地側に供給されるよう、スイッチ制御信号SWeに
より切換スイッチ101eを制御し、画像識別子の設定
値(SID)がSID=00のときは、入力された符号
化データが上記復号化部180eへ供給されるよう、ス
イッチ制御信号SWeにより切換スイッチ101eを制
御する構成となっている。
(b) に示す実施の形態3のデータ解析器160と同一構
成となっており、また、上記復号化部180eも、上記
実施の形態3のテクスチャー復号化部180と同一の構
成となっている。
は、再生したテキスチャー復号化信号Dt,つまり復号
化部180eの出力が直接フレームメモリバンク102
e及び表示器104に出力されるようになっている。た
だし、上記表示器104の前段に、実施の形態3におけ
る合成器190(図5参照)を設け、上記再生したテク
スチャー復号化信号を、他の任意形状復号化信号と合成
するようにしてもよい。
明の実施の形態7による画像復号化装置による復号化処
理のフローを示している。図10(a) ,図10(b) ,あ
るいは図10(c) に示すデータ構造の画像符号化信号が
この画像復号化装置100eに入力されると、データ解
析器160eにて、該画像符号化信号における32ビッ
トの同期信号の後に続く2ビットの画像識別子の解析が
行われ、その値(SID)がSID=00であるか否か
が判定される(ステップSe1)。
D=01あるいはSID=10である場合、入力される
画像符号化信号Eoが任意形状符号化信号Epあるいは
2値符号化信号E2であるため、データ解析器160e
は、切換スイッチ101eを、スイッチ制御信号SWe
により、上記符号化信号が接地側に供給されるよう切換
え制御する。これにより上記任意形状符号化信号Epあ
るいは2値符号化信号E2は廃棄される(ステップSe
3)。従って、形状符号化ビット列を含む上記各画像符
号化信号E2,Epが復号化部180eにて処理される
ことはない。
は、任意形状符号化信号Epあるいは2値符号化信号E
2が入力されている間は、現在入力中の符号化信号はこ
の復号化装置では処理できないものであることをメッセ
ージとして表示する(ステップSe4)。
画面の最終ブロックのデータであるか否かの判定が行わ
れ(ステップSe6)、上記入力符号化信号が最終画面
の最終ブロックのデータでなければ、上記ステップSe
1,Se3,Se4,及びSe6における処理を、次の
ブロックに対する入力符号化信号に対して行い、逆に上
記入力符号化信号が最終画面の最終ブロックのデータで
あれば、この入力符号化信号の復号化処理が終了する。
D=00である場合には、入力される符号化データEo
が矩形符号化信号Etあるため、データ解析器160e
は、切換スイッチ101eを、スイッチ制御信号SWe
により、この符号化信号が上記復号化部180eに供給
されるよう切換え制御する。これにより上記形状復号化
部180eにて矩形符号化信号におけるテクスチャー符
号化ビット列の復号化処理が行われる(ステップSe
2)。
ビット列における量子化幅とDCT係数が逆量子化器1
81に供給されて、DCT係数の逆量子化処理が行われ
る。逆量子化出力Diqは逆コサイン変換器182によ
り、逆コサイン変換される。また、このときテキスチャ
ー動きベクトルMVはテキスチャー動き補償器184に
供給されており、該補償器184は、該テキスチャー動
きベクトルMVに基づいて予測テキスチャー信号を取得
するためのアドレスを生成し、このアドレスを用いてフ
レームメモリバンク102eから予測テキスチャー信号
Empを取得する。
ン変換器182の出力Didctと予測テキスチャー信
号Empとの加算処理が行われて、該加算器183から
はテキスチャー復号化信号Dtが矩形復号化信号として
表示器104に送出されて画像表示される(ステップS
e5)。このとき上記テキスチャー復号化信号Dtは、
フレームメモリバンク102eに供給される。なお、復
号化部の後段に合成器を設け、上記矩形復号化信号を、
他の任意形状画像信号と合成して表示するようにするこ
ともできる。
面の最終ブロックのデータであるか否かの判定が行われ
(ステップSe6)、上記矩形符号化信号Etが最終画
面の最終ブロックのデータでなければ、上記ステップS
e1,Se2,Se5,及びSe6における処理を、次
のブロックの矩形符号化信号に対して行い、上記矩形符
号化信号が最終画面の最終ブロックのデータであれば、
矩形符号化信号に対する復号化処理を終了する。
置100eでは、入力される符号化データを解析するデ
ータ解析器160eを、入力される画像符号化信号が、
形状符号化ビット列を画像情報として含む符号化信号,
つまり2値符号化信号E2あるいは任意形状符号化信号
Epであるか、形状符号化ビット列を含まない矩形符号
化信号Etであるかを、2ビットの画像識別子により検
出し、その検出結果に応じて、入力符号化信号を接地側
と復号化部180eとの間で切り換えてこれらに供給す
るよう構成したので、矩形符号化信号Etに対応した画
像復号化装置100eにて、入力符号化データとして任
意形状符号化信号Epあるいは2値符号化信号E2を受
けた場合でも、これらの符号化信号に対する復号化処理
が行われて復号動作が破綻をきたすのを回避することが
できる。
6で挙げたデータ構造の符号化信号,つまり任意形状符
号化信号,2値符号化信号,及び矩形符号化信号から、
形状符号化ビット列を含む符号化信号を、画像識別子に
より選別する構成の画像復号化装置100eを示した
が、実施の形態2の画像符号化装置100a(図3参
照)における画像入力装置110を、任意形状画像信
号,2値画像信号,矩形画像信号を識別可能な構成とす
ることにより、これらの画像信号の符号化処理を、各画
像信号に対応する符号化信号に、これらの符号化信号を
識別するための画像識別子を付加して行う構成の画像符
号化装置を実現することができる。
発明の実施の形態8による画像伝送用データ構造を説明
するための図である。図13(a) は、形状符号化ビット
列とテクスチャー符号化ビット列を含む任意形状画像信
号を符号化して得られる任意形状符号化信号(第1の任
意形状符号化信号)のデータ構造を示し、図13(b)
は、2値画像信号を符号化して得られる2値符号化信号
のデータ構造を示している。また、図14(a) は、矩形
画像信号を符号化して得られる矩形符号化信号(画素値
符号化信号)のデータ構造を示し、図14(b) は、透過
度情報を含む任意形状画像信号を符号化して得られる透
過度情報付き任意形状符号化信号(第2の任意形状符号
化信号)のデータ構造を示している。
構造は、上記透過度情報を含む任意形状画像信号を圧縮
符号化して伝送し、さらにその符号化により得られる第
2の任意形状符号化信号を復号化して表示するシステム
を対象とするものである。つまり、このシステムでは、
画像符号化方法及び装置は、上記第2の任意形状画像信
号に対する符号化処理を行う構成となっており、また画
像復号化方法及び装置は、上記第2の任意形状符号化信
号に対する復号化処理を行う構成となっている。
の画像伝送用データ構造を有する第1の任意形状符号化
信号(図13(a) 参照)であり、この第1の任意形状符
号化信号2500は、図10(a) に示す実施の形態6の
任意形状符号化信号1500と同様、上記実施の形態1
の任意形状符号化信号500における1ビットの形状識
別子502を、2ビットの画像識別子2502に置き換
えたものである。
伝送用データ構造を有する2値形状符号化信号(図13
(b) 参照)であり、この2値形状符号化信号2600
は、図10(b) に示す実施の形態6の2値形状信号16
00と同様、上記実施の形態1の2値形状符号化信号6
00における1ビットの形状識別子602を、2ビット
の画像識別子2602に置き換えたものである。
伝送用データ構造を有する画素値符号化信号(図14
(a) 参照)であり、この画素値符号化信号(矩形符号化
信号)2700は、図10(c) に示す実施の形態6の画
素値符号化信号1700と同様、図23(c) に示す画素
値符号化信号700aにおける同期信号701とヘッダ
703の間に、2ビットの画像識別子2702を挿入し
てなるものである。
伝送用データ構造を有する第2の任意形状符号化信号
(図14(b) 参照)であり、この第2の任意形状符号化
信号2800は、その先頭に位置する32ビットの同期
信号801と、該同期信号801に続く2ビットの画像
識別子(SID)2802と、該画像識別子2802に
続くその他のヘッダ803とを含んでいる。
00は、上記透過度情報を含む任意形状画像信号を構成
する、個々の物体の形状を示す形状信号(2値透過度信
号)を符号化して得られる形状符号化ビット列81D
と、上記透過度情報を含む任意形状画像信号を構成す
る、個々の物体をカラー表示するための輝度信号及び色
差信号からなるテキスチャー信号(画素値信号)を符号
化して得られるテキスチャー符号化ビット列(画素値符
号化ビット列)82Dと、上記透過度情報を含む任意形
状画像信号を構成する、個々の物体の透過度を示す多値
透過度信号を符号化して得られる透過度符号化ビット列
83Dとを含んでいる。具体的には、上記任意形状符号
化信号2800では、1表示画面上の物体を含むオブジ
ェクト領域を分割する各ブロック毎に、形状符号化ビッ
ト列81Dと,テキスチャー符号化ビット列82Dと,
透過度符号化ビット列83Dとが配列されている。
03に続いて、ブロックD1に対応する形状符号化ビッ
ト列81D1,テキスチャー符号化ビット列82D1,
及び透過度符号化ビット列83D1と、ブロックD2に
対応する形状符号化ビット列81D2,テキスチャー符
号化ビット列82D2,及び透過度符号化ビット列83
D2と、ブロックD3に対応する形状符号化ビット列8
1D3,テキスチャー符号化ビット列82D3,及び透
過度符号化ビット列83D3とがこの順序で配列されて
いる。
81D2,81D3は、図14(b)に示すようにそれぞ
れ、形状動きベクトルに対応する可変長の符号化データ
(図では形状MVと略記する。)804,812,82
0と、ブロック内の画素が物体内部と物体外部の何れに
位置するかを示す2値の形状信号(2値透過度信号)に
対応する可変長の符号化データ(図では形状データと略
記する。)805,813,821とから構成されてい
る。
1,82D2,82D3は、図14(b) に示すように、
それぞれ量子化幅に対応する5ビットの符号化データ
(図では単に量子化幅と記載する。)806,814,
822と、テキスチャー動きベクトルに対応する可変長
の符号化データ(図ではテキスチャーMVと略記す
る。)807,815,823と、テキスチャー信号に
DCT処理及び量子化処理を施して得られる量子化信号
に対応する可変長の符号化データ(図では単にテキスチ
ャーDCT係数と記載する。)808,816,824
から構成されている。
D2,83D3は、図14(b) に示すように、それぞれ
量子化幅に対応する5ビットの符号化データ(図では単
に量子化幅と記載する。)809,817,825と、
透過度動きベクトルに対応する可変長の符号化データ
(図では透過度MVと略記する。)810,818,8
26と、多値透過度信号にDCT処理及び量子化処理を
施して得られる量子化信号に対応する可変長の符号化デ
ータ(図では単に透過度DCT係数と記載する。)81
1,819,827から構成されている。
体に対応する任意形状符号化信号の始まりを示す信号で
あり、一意的な符号化信号である。また、上記形状識別
子(SID)2802は、画像符号化信号が上記4つの
タイプの画像符号化信号のいずれであるかを示す、つま
り上記画像符号化信号に含まれるビット列の種類を示す
信号であり、その値(SID)がSID=01であると
きは、形状符号化ビット列とテキスチャー符号化ビット
列の両方が存在し、その値(SID)がSID=10で
あるときは形状符号化ビット列のみが存在し、その値
(SID)がSID=00であるときはテクスチャー符
号化ビット列のみが存在し、その値(SID)がSID
=11であるときは形状符号化ビット列,テキスチャー
符号化ビット列,及び透過度符号化ビット列が存在する
ことを示す。
る物体の画像の表示時間、画像の属性、符号化の際の予
測モードなどの情報が含まれるが、その詳細について
は、本発明と関係がないため省略する。
ックの形状信号を前画面の対応するブロックの形状信号
から予測する際用いる、上記現画面及び前画面間でのブ
ロック内の画像の動き量を示す動きベクトルの符号化デ
ータであり、さらに上記形状データは、形状信号を算術
符号化して得られたものである。上記量子化幅(テクス
チャー符号化ビット列におけるもの)は、テキスチャー
信号にDCT処理及び量子化処理を施して得られるテク
スチャーDCT係数を逆量子化するためのパラメータで
ある。また、上記テキスチャーMVは、現画面のテキス
チャー信号を前画面のテキスチャー信号から予測する際
用いる、現画面及び前画面間でのブロック内の画像の動
き量を示すテキスチャー動きベクトルの符号化信号であ
る。さらに、上記テキスチャーDCT係数は、上記テク
スチャー信号に対する量子化信号に可変長符号化処理を
施して得られるものである。さらに、上記透過度MV
は、現画面の多値透過度信号を前画面の多値透過度信号
から予測する際用いる、現画面及び前画面間でのブロッ
ク内の画像の動き量を示す透過度動きベクトルの符号化
信号である。さらにここで、上記量子化幅(透過度符号
化ビット列におけるもの)は、多値透過度信号にDCT
処理及び量子化処理を施して得られる透過度DCT係数
を逆量子化するためのパラメータである。上記透過度D
CT係数は、上記透過度信号に対する量子化信号に可変
長符号化処理を施して得られるものである。
では、上記テキスチャーDCT係数の前に、図に示した
データのほかにも多くのサイド情報が配列されている。
ここではこれらのサイド情報については図示していない
が、これらのサイド情報は場合によっては符号化の際に
多くのビット数を必要とする。
な構成の本実施の形態8では、データ構造の異なる4つ
の画像符号化信号,つまり任意形状画像信号に対応する
第1の任意形状符号化信号2500,2値画像信号に対
応する2値符号化信号2600,矩形画像信号に対応す
る画素値符号化信号(矩形符号化信号)2700,及び
透過度情報付き任意形状画像信号に対応する第2の任意
形状符号化信号2800を、それぞれこれらを特定する
ための2ビットの画像識別子2502,2602,27
02,2802を含む構造としたので、該画像識別子を
参照することにより、例えば、第1の任意形状符号化信
号,2値符号化信号,矩形符号化信号(画素値符号化信
号),及び第2の任意形状符号化信号の4つの符号化信
号を復号化側にて識別可能となる。
号化処理を行うよう構成されているMPEG4に対応し
た画像復号化装置では、上記画像識別子によって、上記
第1,第2の任意形状符号化信号の他に、2値符号化信
号及び矩形符号化信号が入力されても、これらの2値符
号化信号及び矩形符号化信号に対して、適切な復号化処
理を行うことが可能となる。このため、上記矩形符号化
信号及び2値符号化信号に対して、MPEG4に対応し
た復号化処理を施してしまい、復号動作が破綻をきたす
といった不具合を回避できる。
の任意形状符号化信号,2値符号化信号,及び矩形符号
化信号として、任意形状画像信号,透過度情報付き任意
形状画像信号,2値画像信号,及び矩形画像信号にフレ
ーム間予測符号化処理して得られるデータ構造を示した
が、上記各符号化信号は、上記各画像信号にフレーム内
符号化処理して得られるものでもよい。
化信号として、各ブロック毎に、形状符号化ビット列,
テクスチャー符号化ビット列,透過度符号化ビット列の
所定のものを配列したものを示したが、上記各符号化信
号は、フレーム毎に所定の符号化ビット列を配列したも
の(図2(a) ,(b) 参照)でもよい。
形状符号化信号(透過度情報付き任意形状画像信号の符
号化信号)のデータ構造として、透過度符号化ビット列
83Dにも、テクスチャー符号化ビット列82Dと同
様、対応する透過度MVと量子化幅が含まれているもの
を示したが(図14(b) 参照)、第2の任意形状符号化
信号2800の透過度符号化ビット列83Dには、必ず
しも透過度MVと量子化幅を含める必要はない。
の符号化信号が、透過度符号化ビット列83Dに透過度
MVと量子化幅が含まれていないデータ構造となってい
る場合には、その透過度DCT係数の復号化処理は、そ
のテクスチャー符号化ビット列におけるテクスチャーM
Vと量子化幅を用いて行われる。
形態9による画像復号化装置の構成を示すブロック図で
ある。図において、100fは、上記実施の形態8の画
像伝送用データ構造を有する符号化データに対する復号
化処理を行う画像復号化装置である。この画像復号化装
置100fは、符号化データとして入力される符号化信
号のデータ構造に応じた復号化処理を行うよう構成され
ている。
は、符号化データEoとして、図13(b) に示す2値符
号化信号(E2)2600を受けたとき、復号化画像デ
ータDsynとして2値復号化信号D2が出力され、符
号化データEoとして、図13(a) に示す第1の任意形
状符号化信号(Ep)2500を受けたとき、復号化画
像データDsynとして任意形状復号化信号Dpが各物
体毎に出力されるようになっている。また、図14(a)
に示す矩形符号化信号(Et)2700を受けたとき、
復号化画像データDsynとして矩形復号化信号Dtが
出力され、符号化データEoとして、図14(b) に示す
第2の任意形状符号化信号(Ex)2800を受けたと
き、復号化画像データDsynとして透過度情報付き任
意形状復号化信号Dxが各物体毎に出力される構成とな
っている。
置100fは、図5に示す実施の形態3の画像復号化装
置100bと同様、入力端子160aに入力される符号
化データEoを解析し、該解析結果に応じたスイッチ制
御信号SWfを出力するデータ解析器160fと、上記
形状データ(形状信号を符号化したもの)に対して算術
復号化処理を施す形状復号化部(第1の復号化手段)1
70と、上記テキスチャーDCT係数Ept及び透過度
DCT係数Egtに対して逆DCT処理を含む復号化処
理を施すテキスチャー復号化部(第2の復号化手段)1
80fと、上記スイッチ制御信号SWfにより、上記デ
ータ解析器160fから出力される解析対象となった符
号化信号を、上記両復号化部170及び180fの一方
に供給する切換スイッチ101fと、予測形状信号,予
測テクスチャー信号,及び予測透過度信号を格納するフ
レームメモリバンク102fとを有している。
力される符号化信号における先頭の32ビット同期信号
に続く2ビット画像識別子(図13(a) ,図13(b) ,
図14(a) ,図14(b) に示す符号化信号における画像
識別子2502,2602,2702,2802)を調
べ、画像識別子の設定値(SID)に応じて切換スイッ
チ101fを制御する構成となっている。
像識別子の設定値(SID)がSID=01のときは、
入力された符号化信号における形状符号化ビット列が形
状復号化部170へ、該符号化信号におけるテキスチャ
ー符号化ビット列がテキスチャー復号化部180fへ供
給されるよう、スイッチ制御信号SWfにより切換制御
される。また、切換スイッチ101fは、形状識別子の
設定値(SID)がSID=10のときは、入力された
符号化データが形状復号化部170へのみ供給されるよ
う、スイッチ制御信号SWfにより切換制御される。さ
らに、上記切換スイッチ101fは、画像識別子の設定
値(SID)がSID=00のときは、入力された符号
化信号におけるテクスチャー符号化ビット列がテキスチ
ャー復号化部180fへのみ供給されるよう、スイッチ
制御信号SWfにより切換制御される。さらにまた、上
記切換スイッチ101fは、画像識別子の設定値(SI
D)がSID=11のときは、入力された符号化信号に
おける形状符号化ビット列が形状復号化部170へ、該
符号化信号におけるテキスチャー符号化ビット列及び透
過度符号化ビット列がテキスチャー復号化部180fへ
供給されるよう、スイッチ制御信号SWfにより切換制
御される。
(b) に示す実施の形態3のデータ解析器160と同様、
テーブル格納部162,比較器161,及びスイッチ制
御回路163から構成されているが、ここでは、比較器
161は、入力された符号化信号のビット列を、テーブ
ル格納部162に格納されている復号化参照テーブルの
ビット列と比較して、符号化データに含まれている画像
識別子,形状符号化ビット列,テキスチャー符号化ビッ
ト列,及び透過度符号化ビット列を識別し、識別結果に
基づいて、上記切換スイッチ101fにスイッチ制御信
号SWfを出力する構成となっている。
手段)180fは、上記テキスチャー動きベクトルある
いは透過度動きベクトルに基づいて、予測テキスチャー
信号あるいは予測透過度信号を取得するためのアドレス
を生成し、このアドレスを用いてフレームメモリバンク
102fから予測テキスチャー信号Empあるいは予測
透過度信号Emgを取得するテキスチャー動き補償器1
84fを有している。また上記テクスチャー復号化部1
80fは、テキスチャー符号化ビット列あるいは透過度
符号化ビット列における量子化幅及びDCT係数を受
け、該DCT係数に対して逆量子化処理を施す逆量子化
器181fと、逆量子化された逆量子化DCT係数Di
qに対して逆コサイン変換を施す逆コサイン変換器18
2fとを有している。さらに上記テクスチャー復号化部
180fは、予測テキスチャー信号Empあるいは予測
透過度信号Emgと逆コサイン変換出力Didctとを
加算して再生テキスチャー信号(テクスチャー復号化信
号)Dptあるいは再生透過度信号(透過度復号化信
号)Dpgを出力する加算器183を有しており、該加
算器183fからの再生テキスチャー信号Dptあるい
は再生透過度信号Dpgが上記フレームメモリバンク1
02fに格納されるようになっている。
fは、復号化部180fの出力(再生テキスチャー信号
Dpt及び再生透過度信号Dpgの両方,あるいは再生
テクスチャー信号Dptのみ)と、復号化部170の出
力(復号化部180fの出力に対応する再生形状信号D
k)とを所要の画像データと合成し、透過度情報付き任
意形状再生信号Dxあるいは任意形状再生信号Dpを含
む合成画像データDsynを表示器104に出力する合
成器190fを有している。またここでは、この合成器
190fは、復号化部170からの2値再生信号D2あ
るいは復号化部180fからの矩形画像信号Dtは、そ
のまま表示器104に出力する構成となっているが、場
合によっては、上記合成器190fにて、2値再生信号
D2や矩形画像信号Dtを他の任意形状画像信号と合成
するようにしてもよい。なお、この合成器190fから
出力される信号は、表示器104ではなくプリンタ(図
示せず)等の情報出力装置に出力するようにしてもよ
い。
がゼロである画素については、再生テキスチャー信号及
び再生透過度信号における画素値を、所定の画像の画素
値と置き換えるようにしている。この所定の画像は、受
信側であらかじめ用意した画像であっても、別の画像復
号化装置によって再生された画像であってもよい。
明の実施の形態9による画像復号化装置による復号化処
理のフローを示している。図13(a) ,図13(b) ,図
14(a) ,あるいは図14(b) に示すデータ構造の画像
符号化信号がこの画像復号化装置100fに入力される
と、データ解析器160fにて、該画像符号化信号にお
ける32ビットの同期信号の後に続く2ビットの画像識
別子の解析が行われ、その値(SID)がSID=00
or11であるか否かが判定される(ステップSf1)。
れば、ステップSf2にて、SID=00であるか否か
の判定が行われる。このステップSf2での判定の結
果、画像識別子がSID=00である場合には、入力さ
れる画像符号化信号Eoが矩形符号化信号Etであるた
め、データ解析器160fは、切換スイッチ101f
を、スイッチ制御信号SWfにより、この符号化信号が
常に上記復号化部180fに供給されるよう切換え制御
する。これにより上記形状復号化部180fにて矩形符
号化信号におけるテクスチャー符号化ビット列の復号化
処理が行われる(ステップSf3)。このステップSf
3での復号化処理は、上記実施の形態7のステップSe
2の復号化処理は全く同一である。そして、復号化され
た矩形復号化信号が合成器190fを介して表示器10
4に供給されて表示される(ステップSf13)。この
とき合成器190fでは、矩形復号化信号Dgに他の任
意形状画像信号を合成するようにしてもよい。
面の最終ブロックのデータであるか否かの判定が行われ
(ステップSf14)、上記矩形符号化信号が最終画面
の最終ブロックのデータでなければ、上記ステップSf
1〜Sf3,Sf13,Sf14における処理を、次の
ブロックに対する矩形符号化信号に対して行い、逆に上
記矩形符号化信号が最終画面の最終ブロックのデータで
あれば、この矩形符号化信号の復号化処理が終了する。
果、画像識別子がSID=11の場合、入力された画像
符号化信号は、画像情報として形状符号化ビット列,テ
キスチャー符号化ビット列,及び透過度符号化ビット列
が含まれる第2の任意形状符号化信号Exであるため、
データ解析器160fは、切換スイッチ101fをスイ
ッチ制御信号SWfにより制御して、透過度情報付き任
意形状符号化信号Exの各ブロックに対応する形状符号
化ビット列が形状復号化部170に供給され、その各ブ
ロックに対応するテキスチャー符号化ビット列及び透過
度符号化ビット列がテキスチャー復号化部180fに供
給されるようにする。これにより第2の任意形状符号化
信号Exにおける形状符号化ビット列と、テキスチャー
符号化ビット列及び透過度符号化ビット列とが分離され
(ステップSf4)、分離された形状符号化ビット列が
上記形状復号化部170にて復号化され(ステップSf
5)、分離されたテキスチャー符号化ビット列及び透過
度符号化ビット列が上記テキスチャー復号化部180f
にて復号化される(ステップSf6,Sf7)。
上記2値画像信号の形状符号化ビット列E2kと同様に
上記形状復号化部170にて復号化される。1つのブロ
ックに対応する形状符号化ビット列の復号化処理か終了
した時点で、算術復号化器171では、このブロックに
対応する形状符号化ビット列Epkの終点が検出され、
この終点検出信号Teが上記データ解析器160fに出
力される。すると、データ解析器160fは、スイッチ
制御信号SWfにより切換スイッチ101fを制御し
て、入力される画像符号化信号が上記テキスチャー復号
化部180fに供給されるようにする。
pt及び透過度符号化ビット列Epgはデータ解析器1
60fからテキスチャー復号化部180fに送られる。
該復号化部180fでは、上記各ビット列における量子
化幅とDCT係数が逆量子化器181fに供給されて、
DCT係数の逆量子化処理が行われる。逆量子化出力D
iqは逆コサイン変換器182fにより、逆コサイン変
換される。
MV及び透過度動きベクトルMVはテキスチャー動き補
償器184fに供給されており、該補償器184fは、
これらの動きベクトルMVに基づいて予測テキスチャー
信号及び予測透過度信号を取得するためのアドレスを生
成し、このアドレスを用いてフレームメモリバンク10
2fから予測テキスチャー信号Emp及び予測透過度信
号Emgを取得する。
ン変換器182fの出力Didctと予測テキスチャー
信号Empあるいは予測透過度信号Emgとの加算処理
が行われて、該加算器183からはテキスチャー復号化
信号Dptあるいは透過度復号化信号Dpgが出力され
る。これらの復号化信号Dpt,Dpgは、フレームメ
モリバンク102f及び合成器190fに供給される。
該合成器190fでは、再生した上記テキスチャー復号
化信号Dpt及び透過度復号化信号Dpgと、対応する
再生した形状復号化信号Dkとを、所要の画像と合成し
て合成画像データDsynを生成する。なお、上記透過
度符号化ビット列の符号化処理が終了した時点で、デー
タ解析器160fは、該透過度符号化ビット列の終点を
検出し、スイッチ制御信号SWfにより切換スイッチ1
01fを切り換え、入力される画像符号化信号が上記形
状復号化部170に供給されるようにする。
報付き任意形状復号化信号)Dxが合成器190fから
表示器104に送出されて、画像表示される(ステップ
Sb13)。その後、上記第2の任意形状符号化信号が
最終画面の最終ブロックのデータであるか否かの判定が
行われ(ステップSf14)、上記第2の任意形状符号
化信号が最終画面の最終ブロックのデータでなければ、
上記ステップSf1,Sf2,Sf4〜Sf7,Sf1
3,Sf14における処理を、次のブロックに対する第
2の任意形状符号化信号に対して行い、逆に上記第2の
任意形状符号化信号が最終画面の最終ブロックのデータ
であれば、この第2の任意形状符号化信号の復号化処理
が終了する。
果、画像識別子の値SIDがSID=00or11でなけ
れば、ステップSf8にて上記画像識別子の値SIDが
SID=10であるか否かの判定が行われ、この判定の
結果、上記画像識別子がSID=10である場合は、入
力される画像符号化信号Eoが画像情報として形状符号
化ビット列のみを含む2値符号化信号E2であるため、
データ解析器160fは、切換スイッチ101fを、ス
イッチ制御信号SWfにより、2値符号化信号の各ブロ
ックに対応する形状符号化ビット列が、常に形状復号化
部170に送られるよう切換え制御する。これにより上
記形状復号化部170にて2値符号化信号における形状
符号化ビット列の復号化処理が行われる(ステップSf
9)。このステップSf9での復号化処理は、実施の形
態3のステップSb2の復号化処理と全く同一である。
そして、復号化された2値復号化信号D2が合成器19
0fを介して表示器104に供給されて表示される(ス
テップSf13)。このとき、合成器190fでは、2
値復号化信号D2を他の任意形状復号化信号と合成する
ようにしてもよい。
最終ブロックのデータであるか否かの判定が行われ(ス
テップSf14)、上記2値符号化信号が最終画面の最
終ブロックのデータでなければ、上記ステップSf1,
Sf8,Sf9,Sf13,Sf14における処理を、
次のブロックに対する2値符号化信号に対して行い、逆
に上記2値符号化信号が最終画面の最終ブロックのデー
タであれば、2値符号化信号の復号化処理が終了する。
果、画像識別子の値SIDがSID=01である場合、
入力された画像符号化信号は、画像情報として形状符号
化ビット列とテキスチャー符号化ビット列とが含まれる
第1の任意形状符号化信号であるため、データ解析器1
60fは、切換スイッチ101fをスイッチ制御信号S
Wfにより制御して、該任意形状符号化信号の各ブロッ
クに対応する形状符号化ビット列が形状復号化部170
に供給され、各ブロックに対応するテキスチャー符号化
ビット列がテキスチャー復号化部180fに供給される
ようにする。これにより任意形状符号化信号における形
状符号化ビット列とテキスチャー符号化ビット列とが分
離され(ステップSf10)、分離された形状符号化ビ
ット列が上記形状復号化部170にて、分離されたテキ
スチャー符号化ビット列が上記テキスチャー復号化部1
80にて復号化され(ステップSf11,Sf12)、
さらに表示される(ステップSf13)。このステップ
Sf11及びSf12における復号化処理は、上記実施
の形態3におけるステップSb4,Sb5の復号化処理
と全く同一であり、ステップSf13における画像表示
は、実施の形態3におけるステップSb6と同様に行わ
れる。その後、上記第1の任意形状符号化信号Epが最
終画面の最終ブロックのデータであるか否かの判定が行
われ(ステップSf14)、この符号化信号Epが最終
画面の最終ブロックのデータでなければ、上記ステップ
Sf1,Sf8,Sf10〜Sf14における処理を、
次のブロックに対する第1の任意形状符号化信号Epに
対して行い、逆にこの符号化信号Epが最終画面の最終
ブロックのデータであれば、この任意形状符号化信号E
pの復号化処理が終了する。
第1あるいは第2の任意形状符号化信号の復号化を行う
場合、再生した形状復号化信号がゼロである画素につい
ては、再生したテキスチャー復号化信号,透過度復号化
信号の画素値を、所定の画像の画素値と置き換える。こ
の所定の画像は受信側であらかじめ用意した画像であっ
ても、別の復号化器によって再生された画像であっても
よい。
置100fでは、入力される符号化データを解析するデ
ータ解析器160fを、入力される画像符号化信号が、
2値符号化信号E2,第1の任意形状符号化信号Ep,
第2の任意形状符号化信号Ex,及び矩形符号化信号E
gのいずれであるかを示す画像識別子を検出して、該画
像識別子の値に応じて、入力符号化信号におけるビット
列を形状復号化部170とテキスチャー復号化部180
fの間で切り換えていずれかに供給するよう構成したの
で、それぞれデータ構造が異なる4つの画像符号化信号
を、1つの符号化方式に対応した復号化処理により復号
化可能となる。
ビット列を形状復号化部170にて算術復号化方法(第
1の復号化方法)により復号化し、テクスチャー符号化
ビット列と透過度符号化ビット列とをともにテクスチャ
ー復号化部180fにてDCT処理を含む同一の復号化
方式で復号化する場合、つまりテクスチャー符号化ビッ
ト列に対する復号化方法(第2の復号化方法)と透過度
符号化ビット列に対する復号化方法(第3の復号化方
法)とが同一である場合を示したが、透過度符号化ビッ
ト列は、上記テクスチャー符号化ビット列に対するDC
T処理を含む復号化方法(第2の復号化方法)とは異な
る、ウエーブレット処理等を含む復号化方法(第3の復
号化方法)により復号化するようにしてもよい。
8で挙げたデータ構造の符号化信号,つまり第1,第2
の任意形状符号化信号,2値符号化信号,及び矩形符号
化信号を、それぞれの画像識別子により識別して、それ
ぞれのデータ構造に応じた復号化処理の制御を行う画像
復号化装置を示したが、図3に示す実施の形態2の画像
符号化装置100aにおける画像入力装置110を、任
意形状画像信号,2値画像信号,矩形画像信号,及び透
過度情報付き任意形状画像信号を識別可能な構成とする
ことにより、これらの画像信号の符号化処理を、各画像
信号に対応する符号化信号に、これらの符号化信号を識
別するための画像識別子を付加して行う画像符号化装置
を実現することができる。
本発明の実施の形態10による画像伝送用データ構造を
説明するための図である。図17(a) は、形状符号化ビ
ット列とテクスチャー符号化ビット列を含む任意形状画
像信号を符号化して得られる任意形状符号化信号(第1
の任意形状符号化信号)のデータ構造を示し、図17
(b) は、2値画像信号を符号化して得られる2値符号化
信号のデータ構造を示し、図17(c) は、画像をカラー
表示するためのテクスチャー信号(画素値信号)のみを
表示用データとして含む矩形画像信号を符号化して得ら
れる矩形符号化信号(画素値符号化信号)のデータ構造
を示している。また、図18(a) は、透過度情報を含む
任意形状画像信号を符号化して得られる透過度情報付き
任意形状符号化信号(第2の任意形状符号化信号)のデ
ータ構造を示し、図18(b) は、形状符号化ビット列と
透過度符号化ビット列を含む任意形状透過度信号を符号
化して得られる透過度符号化信構造を示している。
構造は、上記実施の形態8と同様、上記透過度情報を含
む任意形状画像信号を圧縮符号化して伝送し、さらに符
号化された第2の任意形状符号化信号を復号化して表示
するシステムを対象とするものである。つまり、このシ
ステムでは、画像符号化方法及び装置は、上記透過度情
報を含む任意形状画像信号に対する符号化処理を行う構
成となっており、また画像復号化方法及び装置は、上記
第2の任意形状符号化信号に対する復号化処理を行う構
成となっている。
0の画像伝送用データ構造を有する任意形状符号化信号
(図17(a) 参照)であり、この任意形状符号化信号3
500は、図13(a) に示す実施の形態8の任意形状符
号化信号2500と同様、上記実施の形態1の任意形状
符号化信号500における1ビットの形状識別子502
を、2ビットの画像識別子3502に置き換えたもので
ある。
像伝送用データ構造を有する2値形状符号化信号(図1
7(b) 参照)であり、この2値形状符号化信号3600
は、上記実施の形態1の2値形状符号化信号600にお
ける1ビットの形状識別子602を、3ビットの画像識
別子3602に置き換えたものである。
像伝送用データ構造を有する矩形符号化信号(図17
(c) 参照)であり、この矩形符号化信号(画素値符号化
信号)3700は、図17(c) に示す実施の形態8の矩
形符号化信号(画素値符号化信号)2700と同様、図
23(c) に示す画素値符号化信号700aにおける同期
信号701とヘッダ703の間に、2ビットの画像識別
子3702を挿入してなるものである。
2の任意形状符号化信号(図18(a) 参照)であり、こ
の第2の任意形状符号化信号3800は、図14(b) に
示す実施の形態8の第2の任意形状形状符号化信号28
00と全く同一のデータ構造となっており、2ビットの
画像識別子3802を有している。
透過度符号化信号(図18(b) 参照)であり、この透過
度符号化信号3900は、その先頭に位置する32ビッ
トの同期信号901と、該同期信号901に続く3ビッ
トの画像識別子(SID)3902と、該画像識別子3
902に続くその他のヘッダ903とを含んでいる。
上記任意形状透過度信号を構成する、個々の物体の形状
を示す形状信号(2値透過度信号)を符号化して得られ
る形状符号化ビット列91Eと、上記任意形状透過度信
号を構成する、個々の物体の透過度を階調表示するため
の多値透過度信号を符号化して得られる透過度符号化ビ
ット列92Eとを含んでいる。具体的には、上記透過度
符号化信号3900では、1表示画面上の物体を含むオ
ブジェクト領域を分割する各ブロック毎に、形状符号化
ビット列91Eと透過度符号化ビット列92Eとが配列
されている。
03に続いて、ブロックE1に対応する形状符号化ビッ
ト列91E1及び透過度符号化ビット列92E1,ブロ
ックE2に対応する形状符号化ビット列91E2及び透
過度符号化ビット列92E2,ブロックE3に対応する
形状符号化ビット列91E3及び透過度符号化ビット列
92E3がこの順序で配列されている。
91E2,91E3は、図18(b)に示すようにそれぞ
れ、形状動きベクトルに対応する可変長の符号化データ
(図では形状MVと略記する。)904,909,91
4と、ブロック内の画素が物体内部と物体外部の何れに
位置するかを示す2値の形状信号(2値透過度信号)に
対応する可変長の符号化データ(図では形状データと略
記する。)905,910,915とから構成されてい
る。
E2,92E3は、図18(b) に示すように、それぞれ
量子化幅に対応する5ビットの符号化データ(図では単
に量子化幅と記載する。)906,911,916と、
透過度動きベクトルに対応する可変長の符号化データ
(図では透過度MVと略記する。)907,912,9
17と、多値透過度信号にDCT処理及び量子化処理を
施して得られる量子化信号に対応する可変長の符号化デ
ータ(図では単に透過度DCT係数と記載する。)90
8,913,918から構成されている。
体に対応する透過度符号化信号の始まりを示す信号であ
り、一意的な符号化信号である。また、上記画像識別子
(SID)3902は、画像符号化信号が上記5つのタ
イプの画像符号化信号のいずれであるか、つまり上記画
像符号化信号に含まれるビット列の種類を識別するため
の信号である。上記画像識別子はその値(SID)がS
ID=10であるときは、符号化信号内に表示用データ
として形状符号化ビット列とテキスチャー符号化ビット
列の両方が存在することを示す。また、画像識別子は、
その値(SID)がSID=010であるときは、符号
化信号内に表示用データとして形状符号化ビット列のみ
が存在することを示す。また、画像識別子は、その値
(SID)がSID=00であるときは、符号化信号内
に表示用データとしてテクスチャー符号化ビット列のみ
が存在することを示す。また画像識別子は、その値(S
ID)がSID=11であるときは、符号化信号内に表
示用データとして形状符号化ビット列,テキスチャー符
号化ビット列,及び透過度符号化ビット列が存在するこ
とを示す。さらに画像識別子は、その値(SID)がS
ID=011であるときは、符号化信号内に表示用デー
タとして形状符号化ビット列及び透過度符号化ビット列
が存在することを示す。さらにその他のヘッダ903に
は、該当する物体の画像の表示時間、画像の属性、符号
化の際の予測モードなどの情報が含まれるが、その詳細
については、本発明と関係がないため省略する。
形状信号を前画面の対応するブロックの形状信号から予
測する際用いる、上記現画面及び前画面間でのブロック
内の画像の動き量を示す動きベクトルの符号化データで
ある。さらに上記形状データは、形状信号(2値透過度
信号)を算術符号化して得られたものであり、上記量子
化幅は、多値透過度信号にDCT処理及び量子化処理を
施して得られるDCT係数を逆量子化するためのパラメ
ータである。また、上記透過度MVは、現画面の多値透
過度信号を前画面の多値透過度信号から予測する際用い
る、現画面及び前画面間でのブロック内の画像の動き量
を示す透過度動きベクトルの符号化信号である。さらに
ここで、上記透過度DCT係数は、上記多値透過度信号
に対応する量子化信号に可変長符号化処理を施して得ら
れるものである。
は、上記透過度DCT係数の前に、図に示したデータの
ほかにも多くのサイド情報が配列されている。ここでは
これらのサイド情報については図示していないが、これ
らのサイド情報は場合によっては符号化の際に多くのビ
ット数を必要とする。
な構成の本実施の形態10では、データ構造の異なる5
つの画像符号化信号,つまり第1の任意形状符号化信号
3500,2値符号化信号3600,矩形符号化信号3
700,第2の任意形状符号化信号3800,及び透過
度符号化信号3900を、それぞれこれらを特定するた
めの画像識別子3502,3602,3702,380
2,3902を含む構造としたので、該画像識別子を参
照することにより、例えば、第1,第2の任意形状符号
化信号,2値符号化信号,矩形符号化信号,及び任意形
状透過度信号の5つの符号化信号を復号化側にて識別可
能となる。
号化処理を行うよう構成されているMPEG4に対応し
た画像復号化装置では、上記画像識別子によって、上記
第1,第2の任意形状符号化信号や任意形状透過度信号
の他に、2値符号化信号及び矩形符号化信号が入力され
ても、これらの2値符号化信号及び矩形符号化信号に対
して、適切な復号化処理を行うことが可能となる。この
ため、上記矩形符号化信号及び2値符号化信号に対し
て、MPEG4に対応した復号化処理を施してしまって
復号動作が破綻をきたすといった不具合を回避できる。
異なるデータ構造を有する符号化信号として、フレーム
間予測符号化処理して得られるものを示したが、これら
の符号化信号は、フレーム内符号化処理したものでもよ
い。
号化信号として、各ブロック毎に形状符号化ビット列,
テクスチャー符号化ビット列,及び透過度符号化ビット
列のうちの所要のものを配列したものを示したが、上記
各符号化信号は、所要のビット列をフレーム毎に配列し
たものでもよい。
態8と同様、第2の任意形状符号化信号(透過度情報付
き任意形状画像信号の符号化信号)のデータ構造とし
て、透過度符号化ビット列83Dにも、対応する透過度
MVと量子化幅が含まれているものを示したが(図18
(a) 参照)、上記第2の任意形状符号化信号3800の
透過度符号化ビット列83Dには、必ずしも透過度MV
と量子化幅を含める必要はなく、透過度DCT係数の復
号化処理を、テクスチャー符号化ビット列におけるテク
スチャーMVと量子化幅を用いて行うようにしてもよ
い。
の形態11による画像復号化装置の構成を示すブロック
図である。図において、100gは、上記実施の形態1
0の画像伝送用データ構造を有する符号化データに対す
る復号化処理を行う画像復号化装置である。この画像復
号化装置100gは、符号化データとして入力される符
号化信号のデータ構造に応じた復号化処理を行うよう構
成されている。
は、符号化データEoとして、図17(b) に示す2値符
号化信号(E2)3600を受けたとき、復号化画像デ
ータDsynとして2値復号化信号D2が出力されるよ
うになっている。また、符号化データEoとして、図1
7(a) に示す第1の任意形状符号化信号(Ep)350
0を受けたとき、復号化画像データDsynとして任意
形状復号化信号Dpが各物体毎に出力されるようになっ
ている。また、符号化データとして、図17(c)に示す
矩形符号化信号(Et)3700を受けたとき、復号化
画像データDsynとして矩形復号化信号Dtが出力さ
れるようになっている。また、符号化データEoとし
て、図18(a) に示す第2の任意形状符号化信号(E
x)3800を受けたとき、復号化画像データDsyn
として透過度情報付き任意形状復号化信号Dxが各物体
毎に出力され、符号化データEoとして、図18(b) に
示す透過度符号p)3900を受けたとき、復号化画像
データDsynとして透過度復号化信号Dgが各物体毎
に出力されるようになっている。
置100gは、実施の形態9の画像復号化装置100f
と同様、入力端子160aに入力される符号化データE
oを解析し、該解析結果に応じたスイッチ制御信号SW
gを出力するデータ解析器160gと、上記形状データ
(形状信号を符号化したもの)に対して算術復号化処理
を施す形状復号化部(第1の復号化手段)170と、上
記テキスチャーDCT係数Ept及び透過度DCT係数
Egtに対して逆DCT処理を含む復号化処理を施すテ
キスチャー復号化部(第2の復号化手段)180fと、
上記スイッチ制御信号SWgにより、上記データ解析器
160gから出力される解析対象となった符号化信号
を、上記両復号化部170及び180fの一方に供給す
る切換スイッチ101gと、予測形状信号,予測テクス
チャー信号,及び予測透過度信号を格納するフレームメ
モリバンク102fとを有している。
力される符号化信号における先頭の32ビット同期信号
に続く2ビット画像識別子(図17(a) ,図17(c) ,
図18(a) に示す符号化信号における画像識別子350
2,3702,3802)、及び3ビット画像識別子
(図17(b) ,図18(b) に示す符号化信号における画
像識別子3602,3902)を調べ、画像識別子の設
定値(SID)に応じて切換スイッチ101fを制御す
る構成となっている。
は、画像識別子の設定値(SID)がSID=10のと
きは、入力された符号化信号における形状符号化ビット
列が形状復号化部170へ、該符号化信号におけるテキ
スチャー符号化ビット列がテキスチャー復号化部180
fへ供給されるよう、スイッチ制御信号SWgにより切
換制御される。また、上記切換スイッチ101gは、画
像識別子の設定値(SID)がSID=010のとき
は、入力された符号化データが形状復号化部170への
み供給されるよう、スイッチ制御信号SWgにより切換
制御される。さらに、上記切換スイッチ101gは、画
像識別子の設定値(SID)がSID=00のときは、
入力された符号化信号におけるテクスチャー符号化ビッ
ト列がテキスチャー復号化部180fへのみ供給される
よう、スイッチ制御信号SWgにより切換制御される。
さらにまた、上記切換スイッチ101gは、画像識別子
の設定値(SID)がSID=11のときは、入力され
た符号化信号における形状符号化ビット列が形状復号化
部170へ、該符号化信号におけるテキスチャー符号化
ビット列及び透過度符号化ビット列がテキスチャー復号
化部180fへ供給されるよう、スイッチ制御信号SW
fにより切換制御される。また、上記切換スイッチ10
1gは、画像識別子の設定値(SID)がSID=01
1のときは、入力された符号化信号における形状符号化
ビット列が形状復号化部170へ、該符号化信号におけ
る透過度符号化ビット列がテキスチャー復号化部180
fへ供給されるよう、スイッチ制御信号SWfにより切
換制御される。
(b) に示す実施の形態3のデータ解析器160と同様、
テーブル格納部162,比較器161,及びスイッチ制
御回路163から構成されているが、ここでは、比較器
161は、入力された符号化信号のビット列を、上記テ
ーブル格納部162における復号化参照テーブルのビッ
ト列と比較して、符号化データに含まれている画像識別
子,形状符号化ビット列,テキスチャー符号化ビット
列,及び透過度符号化ビット列を識別し、識別結果に基
づいて、上記切換スイッチ101gをスイッチ制御信号
SWgにより制御する構成となっている。
gは、復号化部180fの出力(再生テキスチャー信号
Dpt及び再生透過度信号Dpg,あるいは再生テクス
チャー信号Dptまたは再生透過度信号Dgtのみ)
と、復号化部170の出力(復号化部180fの出力に
対応する再生形状信号Dk)とを所要の画像データと合
成し、透過度情報付き任意形状再生信号Dx,任意形状
再生信号Dp,あるいは透過度再生信号Dgを含む合成
画像データDsynを表示器104に出力する合成器1
90gを有している。またこの合成器190gは、復号
化部170からの2値再生信号D2あるいは復号化部1
80fからの矩形再生信号Dtは、そのまま表示器10
4に出力する構成となっている。なお、上記2値再生信
号D2あるいは矩形再生信号Dtは、その他の任意形状
画像信号と合成して出力するようにしてもよい。また、
合成器190gから出力される信号は、表示器104で
はなくプリンタ(図示せず)に出力するようにしてもよ
い。そして、その他の構成は実施の形態9の画像復号化
装置と同一である。
号がゼロである画素については、再生テキスチャー信号
における画素値を、所定の画像の画素値と置き換えるよ
うにしている。この所定の画像は、受信側であらかじめ
用意した画像であっても、別の画像復号化装置によって
再生された画像であってもよい。
明の実施の形態11の画像復号化装置による復号化処理
のフローを示している。図17(a) ,図17(b) ,図1
7(c) ,図18(a) ,あるいは図18(b) に示すデータ
構造の画像符号化信号がこの画像復号化装置100gに
入力されると、データ解析器160gにて、該画像符号
化信号における32ビットの同期信号の最終ビットに続
く2ビットの符号の解析が行われ、この2ビットの符号
が01であるか否か否かの判定が行われる(ステップS
g1)。この判定の結果、上記2ビットの符号が01で
なければ、さらにこの2ビットの符号が画像識別子の値
(SID)としてのSID=00or11であるか否かが
判定される(ステップSg2)。
れば、ステップSfg3にて、SID=00であるか否
かの判定が行われる。このステップSg3での判定の結
果、画像識別子がSID=00である場合には、入力さ
れる画像符号化信号Eoが矩形符号化信号(画素値符号
化信号)Etあるため、データ解析器160gは、切換
スイッチ101gを、スイッチ制御信号SWgにより、
この符号化信号が常に上記復号化部180fに供給され
るよう切換え制御する。これにより上記形状復号化部1
80fにて矩形符号化信号におけるテクスチャー符号化
ビット列(画素値符号化ビット列)の復号化処理が行わ
れる(ステップSg4)。このステップSg4での復号
化処理は、上記実施の形態7のステップSe2での復号
化処理と全く同一である。その後、復号化された矩形復
号化信号Dtが合成器190gを介して表示器104に
供給されて画像表示される(ステップSg18)。この
とき、矩形復号化信号を上記合成器190gにて他の任
意形状画像信号と合成するようにしてもよい。
面の最終ブロックのデータであるか否かの判定が行われ
(ステップSg18)、この符号化信号が最終画面の最
終ブロックのデータでなければ、上記ステップSg1〜
Sg4,Sg18,Sg19における処理を、次のブロ
ックに対する矩形符号化信号Etに対して行い、逆に上
記矩形符号化信号が最終画面の最終ブロックのデータで
あれば、この符号化信号の復号化処理が終了する。
果、画像識別子がSID=11の場合、入力された画像
符号化信号は、画像情報として形状符号化ビット列,テ
キスチャー符号化ビット列,及び透過度符号化ビット列
が含まれる第2の任意形状符号化信号であるため、デー
タ解析器160gは、切換スイッチ101gをスイッチ
制御信号SWgにより制御して、上記第2の任意形状符
号化信号の各ブロックに対応する形状符号化ビット列が
形状復号化部170に供給され、その各ブロックに対応
するテキスチャー符号化ビット列及び透過度符号化ビッ
ト列がテキスチャー復号化部180fに供給されるよう
にする。これにより第2の任意形状符号化信号における
形状符号化ビット列,テキスチャー符号化ビット列,及
び透過度符号化ビット列が分離され(ステップSg
5)、分離された形状符号化ビット列が上記形状復号化
部170にて復号化され(ステップSg6)、分離され
たテキスチャー符号化ビット列及び透過度符号化ビット
列が上記テキスチャー復号化部180fにて復号化され
る(ステップSg7,Sg8)。上記ステップSg5〜
Sg8の処理は、上記実施の形態9におけるステップS
f4〜Sf7の処理と全く同一である。そして、復号化
された形状復号化信号Dxk,テクスチャー復号化信号
Dxt,及び透過度復号化信号Dgtが合成器190g
にて合成されて、合成信号Dsynとして第2の任意形
状復号化信号Dxが表示器190gに供給されて画像表
示される(ステップSg18)。
xが最終画面の最終ブロックのデータであるか否かの判
定が行われ(ステップSg19)、この符号化信号が最
終画面の最終ブロックのデータでなければ、上記ステッ
プSg1〜Sg3,Sg5〜Sg8,Sg18,Sg1
9における処理を、次のブロックに対する第2の任意形
状符号化信号Exに対して行い、逆にこの任意形状符号
化信号が最終画面の最終ブロックのデータであれば、こ
の任意形状符号化信号の復号化処理が終了する。
果、画像識別子がSID=10である場合は、入力され
た画像符号化信号は、画像情報として形状符号化ビット
列,及びテクスチャー符号化ビット列が含まれる第1の
任意形状符号化信号Epであるため、データ解析器16
0gは、切換スイッチ101fをスイッチ制御信号SW
gにより制御して、上記任意形状符号化信号の各ブロッ
クに対応する形状符号化ビット列が形状復号化部170
に供給され、その各ブロックに対応するテクスチャー符
号化ビット列がテキスチャー復号化部180fに供給さ
れるようにする。これにより任意形状符号化信号におけ
る形状符号化ビット列とテクスチャー符号化ビット列と
が分離され(ステップSg9)、分離された形状符号化
ビット列が上記形状復号化部170にて復号化され(ス
テップSf10)、分離されたテクスチャー符号化ビッ
ト列が上記テキスチャー復号化部180fにて復号化さ
れる(ステップSg11)。なお、上記ステップSg9
〜Sg11における復号化処理は、上記実施の形態9に
おけるステップSf10〜Sf12の復号化処理と全く
同一である。
k,及びテクスチャー復号化信号Dptが合成器190
gにて合成されて、合成信号Dsynとして第1の任意
形状復号化信号Dpが表示器190gに供給されて画像
表示される(ステップSg18)。
pが最終画面の最終ブロックのデータであるか否かの判
定が行われ(ステップSg19)、この任意形状符号化
信号が最終画面の最終ブロックのデータでなければ、上
記ステップSg1,Sg2,Sg9〜Sg11,Sg1
8,Sg19における処理を、次のブロックに対する第
1の任意形状符号化信号Epに対して行い、逆にこの任
意形状符号化信号が最終画面の最終ブロックのデータで
あれば、この任意形状符号化信号の復号化処理が終了す
る。
果、同期信号に続く最初の2ビットの符号が01である
場合は、ステップSg12にて、画像識別子の値SID
がSID=010であるか否かの判定が行われる。この
ステップSg12での判定の結果、上記画像識別子がS
ID=010である場合は、入力される画像符号化信号
Eoが画像情報として形状符号化ビット列のみを含む2
値符号化信号E2であるため、データ解析器160g
は、切換スイッチ101fを、スイッチ制御信号SWg
により、2値符号化信号の各ブロックに対応する形状符
号化ビット列が、常に形状復号化部170に送られるよ
う切換え制御する。これにより上記形状復号化部170
にて2値符号化信号E2における形状符号化ビット列の
復号化処理が行われる(ステップSg13)。このステ
ップSg13での復号化処理は、実施の形態3のステッ
プSb2の復号化処理と全く同一である。その後、復号
化された2値復号化信号D2が合成器190gを介して
表示器104に供給されて画像表示される(ステップS
g18)。このとき、2値復号化信号D2を上記合成器
190gにて他の任意形状画像信号と合成するようにし
てもよい。
面の最終ブロックのデータであるか否かの判定が行われ
(ステップSg18)、上記2値符号化信号が最終画面
の最終ブロックのデータでなければ、上記ステップSg
1,Sg12,Sg13,Sg18,Sg19における
処理を、次のブロックに対する2値符号化信号に対して
行い、逆に上記2値符号化信号が最終画面の最終ブロッ
クのデータであれば、2値符号化信号の復号化処理が終
了する。
果、SID=010でない場合は、ステップSg14に
てSID=011であるか否かの判定が行われ、このス
テップSg14での判定の結果、SID=011でなけ
れば、本画像復号化装置100gによる復号化処理はス
テップSg1に戻る。
果、SID=011の場合、入力された画像符号化信号
には、画像情報として形状符号化ビット列Egkと透過
度符号化ビット列Egtとが含まれるため、データ解析
器160gは、切換スイッチ101fをスイッチ制御信
号SWgにより制御して、任意形状符号化信号の各ブロ
ックに対応する形状符号化ビット列Egkが形状復号化
部170に供給され、各ブロックに対応する透過度符号
化ビット列Egtがテキスチャー復号化部180fに供
給されるようにする。これにより透過度符号化信号にお
ける形状符号化ビット列Egkと透過度符号化ビット列
Egtとが分離され(ステップSg15)、分離された
形状符号化ビット列Egkが上記形状復号化部170に
て、分離された透過度符号化ビット列Egtが上記テキ
スチャー復号化部180fにて復号化される(ステップ
Sg16,Sg17)。
上記2値画像信号の形状符号化ビット列E2kと同様に
上記形状復号化部170にて復号化される。1つのブロ
ックに対応する形状符号化ビット列Egkの復号化処理
が終了した時点で、算術復号化器171では、このブロ
ックに対応する形状符号化ビット列Egkの終点が検出
され、この終点検出信号Teが上記データ解析器160
gに出力される。すると、データ解析器160gは、ス
イッチ制御信号SWgにより切換スイッチ101gを制
御して、入力される画像符号化信号が上記テキスチャー
復号化部180fに供給されるようにする。
データ解析器160gからテキスチャー復号化部180
fに送られる。該復号化部180fでは、上記各ビット
列における量子化幅とDCT係数が逆量子化器181f
に供給されて、DCT係数の逆量子化処理が行われる。
逆量子化出力Diqは逆コサイン変換器182fによ
り、逆コサイン変換される。
テキスチャー動き補償器184fに供給されており、該
補償器184fは、透過度動きベクトルMVに基づいて
予測透過度信号を取得するためのアドレスを生成し、こ
のアドレスを用いてフレームメモリバンク102fから
予測透過度信号Emgを取得する。
ン変換器182fの出力Didctと予測透過度信号E
mgとの加算処理が行われて、該加算器183からは透
過度復号化信号Dgtが出力される。この透過度復号化
信号Dgtは、フレームメモリバンク102f及び合成
器190gに供給される。該合成器190gでは、再生
した透過度復号化信号Dgtと、対応する再生した形状
復号化信号Dgkとを、所要の画像と合成して合成画像
データDsynを生成する。そして、この合成画像デー
タDsynが表示器190gに供給され、他の画像等と
合成されて表示される(ステップSg18)。なお、上
記透過度符号化ビット列の符号化処理が終了した時点
で、データ解析器160fは、該透過度符号化ビット列
の終点を検出し、スイッチ制御信号SWgにより切換ス
イッチ101fを切り換え、入力される画像符号化信号
が上記形状復号化部170に供給されるようにする。
画面の最終ブロックのデータであるか否かの判定が行わ
れ(ステップSg19)、上記入力符号化信号が最終画
面の最終ブロックのデータでなければ、上記ステップS
g1,Sg12,Sg14〜Sg19における、入力符
号化信号のデータ構造に対応した処理が、次のブロック
の入力符号化信号に対して行われ、上記入力符号化信号
が最終画面の最終ブロックのデータであれば、対応する
入力符号化信号の復号化処理が終了する。
状復号化信号がゼロである画素については、再生した第
1,第2の任意形状復号化信号,あるいは透過度復号化
信号の画素値を、所定の画像の画素値と置き換える。こ
の所定の画像は受信側であらかじめ用意した画像であっ
ても、別の復号化器によって再生された画像であっても
よい。
装置100gでは、入力される符号化データを解析する
データ解析器160gを、入力される画像符号化信号
が、2値符号化信号E2,第1,第2の任意形状符号化
信号Ep,Et,矩形符号化信号Et,及び透過度符号
化信号Egのいずれであるかを示す画像識別子を検出
し、該画像識別子の値に応じて、入力符号化信号を形状
復号化部170とテキスチャー復号化部180fの間で
切り換えて供給するよう構成したので、それぞれデータ
構造が異なる上記5つの画像符号化信号を、1つの符号
化方式に対応した復号化処理により復号化することがで
きる。
ャー符号化ビット列と透過度符号化ビット列とをテクス
チャー復号化部180fにて同一の復号化方式で復号化
する場合を示したが、上記実施の形態9でも説明したよ
うに、透過度符号化ビット列は、テクスチャー符号化ビ
ット列に対する復号化方法とは異なる復号化方法により
復号化するようにしてもよい。
態10で挙げたデータ構造の符号化信号,つまり第1,
第2の任意形状符号化信号,2値符号化信号,透過度符
号化信号,及び矩形符号化信号を、それぞれの画像識別
子により識別して、それぞれのデータ構造に応じた復号
化処理の制御を行う画像復号化装置を示したが、図3に
示す実施の形態2の画像符号化装置100aにおける画
像入力装置110を、任意形状画像信号,2値画像信
号,矩形画像信号,任意形状透過度信号,及び透過度情
報付き任意形状画像信号を識別可能な構成とすることに
より、これらの画像信号の符号化処理を、各画像信号に
対応する符号化信号に、これらの符号化信号を識別する
ための画像識別子を付加して行う画像符号化装置を実現
することができる。
号化装置及び画像復号化装置あるいは画像符号化方法及
び画像復号化方法の構成を実現するための符号化あるい
は復号化プログラムを、フロッピーディスク等のデータ
記憶媒体に記録するようにすることにより、上記各実施
の形態で示した画像処理を、独立したコンピュータシス
テムにおいて簡単に実施することが可能となる。
処理,実施の形態3ないし5,7,9,11の画像復号
化処理を、上記符号化あるいは復号化プログラムを格納
したフロッピーディスクを用いて、コンピュータシステ
ムにより実施する場合の説明図である。
からみた外観,断面構造,及びフロッピーディスク本体
を示し、図21(b) は、該フロッピーディスク本体の物
理フォーマットの例を示している。
ッピーディスク本体DをフロッピーディスクケースFC
内に収容した構造となっており、該フロッピーディスク
本体Dの表面には、同心円状に外周からは内周に向かっ
て複数のトラックTrが形成され、各トラックTrは角
度方向に16のセクタSeに分割されている。従って、
上記プログラムを格納したフロッピーディスクFDで
は、上記フロッピーディスク本体Dは、その上に割り当
てられた領域(セクタ)Seに、上記プログラムとして
のデータが記録されたものとなっている。
FDに対する上記プログラムの記録、及びフロッピーデ
ィスクFDに格納したプログラムを用いた画像処理を行
うための構成を示している。
に記録する場合は、コンピュータシステムCsから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブFDDを介してフロッピーディスクFDに書き込む。
また、フロッピーディスクFDに記録されたプログラム
により、上記画像符号化装置あるいは画像復号化装置を
コンピュータシステムCs中に構築する場合は、フロッ
ピーディスクドライブFDDによりプログラムをフロッピ
ーディスクFDから読み出し、コンピュータシステムC
sにロードする。
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる画像符号化処理あるいは画像復号化
処理を行うことができる。また、記録媒体は上記光ディ
スクやフロッピーディスクに限るものではなく、ICカ
ード、ROMカセット等、プログラムを記録できるもの
であればよく、これらの記録媒体を用いた場合でも、上
記フロッピーディスク等を用いる場合と同様にソフトウ
ェアによる画像符号化処理あるいは画像復号化処理を実
施することができる。さらに、2値符号化信号、矩形符
号化信号、第1,第2の任意形状符号化信号,及び透過
度符号化信号等のデータ構造の異なる画像符号化信号
は、光ディスク等のデータ記憶媒体に格納して利用する
ことがある。
体に格納されるデータ構造の異なる複数の画像符号化信
号を、本実施の形態1,6,8,あるいは10の画像識
別子を有する画像伝送用データ構造とすることにより、
該光ディスク等からの複数の画像符号化信号を読みだし
て復号化する場合には、1つの符号化方式に対応した画
像復号化方法あるいは画像復号化装置により、各符号化
信号を識別して、それぞれの符号化信号のデータ構造に
適した復号化処理を行うことができる。例えば2値符号
化信号及び任意形状符号化信号といったデータ構造の異
なる画像符号化信号のいずれについても復号化処理が可
能となる。この場合、特に、上記2値符号化信号につい
ては、その作成時に擬似テクスチャー符号化信号を付加
するといったことが不要となり、符号化ビット数の増大
をほぼ回避することができる。
画像復号化方法によれば、それぞれの画素が物体の外側
あるいは内側に位置するかを示す形状信号と画素値信号
とのうち、少なくとも前記形状信号を含む画像信号を符
号化して得られる画像符号化信号として、該画像符号化
信号のデータ構造に応じた画像識別子を含む画像符号化
信号を受け、前記画像符号化信号が、前記形状符号化信
号のみを含むか、あるいは、前記形状符号化信号と前記
画素値符号化信号とを含むかを、前記画像識別子に基づ
いて判定し、前記画像符号化信号が形状符号化信号のみ
を含む場合には、前記形状符号化信号に対して算術復号
化処理による第1の復号化処理を施し、前記画像符号化
信号が形状符号化信号と前記画素値符号化信号とを含む
場合には、前記形状符号化信号に対して前記第1の復号
化処理を施し、かつ、前記画素値符号化信号に対して前
記第1の復号化処理とは異なる第2の復号化処理を施す
ので、該画像識別子を参照することにより、画素値符号
化ビット列を含む符号化信号に画素値符号化ビット列を
含まない符号化信号の解析を行うことができる。
方を含む任意形状画像信号の符号化信号(任意形状符号
化信号)を解析するデータ解析方法を用いて、表示情報
として形状信号のみを含む2値画像信号の符号化信号
(2値符号化信号)を解析することができ、これにより
2値画像信号の符号化の際に、形状符号化ビット列に擬
似的な画素値符号化ビット列を付加しなくても、MPE
G4準拠の復号化処理により、形状符号化ビット列の復
号化を行うことができる。つまり、符号化の際のビット
数の増大を殆ど招くことなく、1つの符号化方式により
2値画像信号と任意形状画像信号との両方に対する復号
化処理を行うことができるという効果がある。換言すれ
ば、1つの符号化方式に対応した復号化処理によって、
異なる符号化方式により符号化されたデータ構造の異な
る画像符号化信号を復号化することができる。従って、
例えば、2値画像信号の符号化により得られる2値符号
化信号に、擬似的な画素値符号化ビット列を付加して、
該2値符号化信号が、任意形状画像信号の符号化により
得られる任意形状符号化信号と同じデータ構造となるよ
うにしなくても、任意形状符号化信号の符号化方式に対
応した復号化処理によって、2値符号化信号を復号化す
ることができ、しかもこの場合に、符号化時のビット数
増大をほとんど招くことがないという効果が得られる。
記載の画像復号化方法において、上記画像識別子を、2
ビットの符号としたので、1つの符号化方式に対応した
復号化処理により、2値符号化信号及び任意形状符号化
信号を含む4種類の画像符号化信号を復号化可能とな
る。
構造として、任意形状符号化信号(図(a))、及び2値符
号化信号(図(b))のデータ構造を示す図である。
ータ構造として、任意形状符号化信号(図(a))、及び2
値符号化信号(図(b))のデータ構造を示す図である。
構成を説明するためのブロック図である。
化処理をフローチャートにより示す図である。
構成を説明するためのブロック図である。
化処理をフローチャートにより示す図である。
像入力装置の詳細な構成(図(a))、及び上記実施の形態
3の画像復号化装置におけるデータ解析器の詳細な構成
(図(b))を示すブロック図である。
構成を説明するためのブロック図である。
構成を説明するためのブロック図である。
タ構造として、任意形状符号化信号(図(a)),2値符号
化信号(図(b)),及び矩形符号化信号(図(c) )のデー
タ構造を示す図である。
の構成を説明するためのブロック図である。
号化処理をフローチャートにより示す図である。
タ構造として、任意形状符号化信号(図(a)),及び2値
符号化信号(図(b))のデータ構造を示す図である。
造として、矩形符号化信号(図(a) )及び透過度情報付
き任意形状符号化信号(図(b) )のデータ構造を示す図
である。
の構成を説明するためのブロック図である。
号化処理をフローチャートにより示す図である。
ータ構造として、任意形状符号化信号(図(a)),2値符
号化信号(図(b)),及び矩形符号化信号(図(c) )のデ
ータ構造を示す図である。
構造として、透過度情報付き任意形状符号化信号(図
(a) )及び透過度符号化信号(図(b) )のデータ構造を
示す図である。
置の構成を説明するためのブロック図である。
復号化処理をフローチャートにより示す図である。
置あるいは画像復号化装置による処理をコンピュータシ
ステム(図(c) )により実現するためのプログラムを格
納するためのデータ記憶媒体(図(a) ,(b) )について
説明するための図である。
を用いた通信システムを説明するための図であり、図
(a),図(b) はシステムを構成する画像符号化装置及び
画像復号化装置の構成、図(c) は該システムで採用され
ている画像符号化信号のデータ構造を示している。
理を用いた通信システムを説明するための図であり、図
(a),図(b) はシステムを構成する画像符号化装置及び
画像復号化装置の構成、図(c) は該システムで採用され
ている画像符号化信号のデータ構造を示している。
理を用いた通信システムを説明するための図であり、図
(a),図(b) はシステムを構成する画像符号化装置及び
画像復号化装置の構成、図(c) は該システムで採用され
ている画像符号化信号のデータ構造を示している。
100g 画像復号化装置 101a,101b,101c,101e,101f
切換スイッチ 102a,102b,102e,102f フレームメ
モリバンク 104 表示器 105 制御器 106 入力端末 110 画像入力装置 111 識別手段 112 閾値処理器 113 クロマキー処理器 114,163 スイッチ制御回路 120 形状符号化部(第1の符号化手段) 130 テキスチャー符号化部(第2の符号化手段) 150 多重器 160,165,160e,160f,160g デー
タ解析器 161 比較器 162 復号化参照テーブル 170 形状復号化部(第1の復号化手段) 180,180e,180f テキスチャー復号化部
(第2の復号化手段) 190,190f,190g 合成器 500,500b,1500,2500,3500 任
意形状符号化信号(第1の任意形状符号化信号) 502,602 画像識別子(SID) 600,600b,1600,,2600,3600
2値符号化信号 2700,3700 矩形符号化信号(画素値符号化信
号) 2800,3800 透過度情報付き任意形状符号化信
号(第2の任意形状符号化信号) 3900 透過度符号化信号 Cs コンピュータ・システム FD フロッピディスク FDD フロッピディスクドライブ
Claims (2)
- 【請求項1】 それぞれの画素が物体の外側あるいは内
側に位置するかを示す形状信号と画素値信号とのうち、
少なくとも前記形状信号を含む画像信号を符号化して得
られる画像符号化信号を受け、 前記画像符号化信号はさらに、前記画像符号化信号のデ
ータ構造に応じた画像識別子を含み、 前記画像符号化信号中の、前記形状信号を符号化して得
られた形状符号化信号に対して第1の復号化処理を施
し、 前記画像符号化信号中に前記画素値信号を符号化して得
られた画素値符号化信号が含まれる場合には、前記画素
値符号化信号に対して第2の復号化処理を施す画像復号
化方法であって、 前記画像符号化信号が、前記形状符号化信号のみを含む
か、あるいは、前記形状符号化信号と前記画素値符号化
信号とを含むかを、前記画像識別子に基づいて判定し、 前記画像符号化信号が形状符号化信号のみを含む場合に
は、前記形状符号化信号に対して算術復号化処理による
第1の復号化処理を施し、 前記画像符号化信号が形状符号化信号と前記画素値符号
化信号とを含む場合には、前記形状符号化信号に対して
前記第1の復号化処理を施し、かつ、前記画素値符号化
信号に対して前記第1の復号化処理とは異なる第2の復
号化処理を施すことを特徴とする画像復号化方法。 - 【請求項2】 前記画像識別子は2ビットの符号である
ことを特徴とする請求項1記載の画像復号化方法。
Priority Applications (23)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11552198A JP3191922B2 (ja) | 1997-07-10 | 1998-04-24 | 画像復号化方法 |
| US09/110,458 US6466697B1 (en) | 1997-07-10 | 1998-07-07 | Data structure for image transmission, image coding method, and image decoding method |
| EP19980112642 EP0891093B1 (en) | 1997-07-10 | 1998-07-08 | Image decoding method |
| ES98112642T ES2184177T3 (es) | 1997-07-10 | 1998-07-08 | Procedimiento de decodificacion de imagenes. |
| DE1998627173 DE69827173T2 (de) | 1997-07-10 | 1998-07-08 | Bilddecodierungsverfahren und -apparat |
| EP20020007350 EP1229739B1 (en) | 1997-07-10 | 1998-07-08 | Image decoding method and apparatus |
| EP20000125952 EP1087624B1 (en) | 1997-07-10 | 1998-07-08 | Image decoding method and apparatus |
| DE1998618523 DE69818523T2 (de) | 1997-07-10 | 1998-07-08 | Bilddekodierungsverfahren und -gerät |
| ES00125951T ES2214213T3 (es) | 1997-07-10 | 1998-07-08 | Procedimiento y aparato de transmision de imagenes. |
| ES00125952T ES2207455T3 (es) | 1997-07-10 | 1998-07-08 | Procedimiento y aparato de decodificacion de imagenes. |
| EP20000125951 EP1087623B1 (en) | 1997-07-10 | 1998-07-08 | Image transmission method and apparatus |
| DE69808188T DE69808188T2 (de) | 1997-07-10 | 1998-07-08 | Bilddekodierungsverfahren |
| DE1998622002 DE69822002T2 (de) | 1997-07-10 | 1998-07-08 | Methode und Vorrichtung zur Bildübertragung |
| ES02007350T ES2229000T3 (es) | 1997-07-10 | 1998-07-08 | Procedimiento y aparato de decodificacion de imagenes. |
| TW087111115A TW417388B (en) | 1997-07-10 | 1998-07-09 | The data structure for transmitting image, the image coding method, and the image decoding method |
| CNB981178847A CN1174629C (zh) | 1997-07-10 | 1998-07-10 | 图象解码方法 |
| CNB001285335A CN1196318C (zh) | 1997-07-10 | 1998-07-10 | 图象传送用数据结构、图象编码方法和解码方法 |
| KR1019980027767A KR100312791B1 (ko) | 1997-07-10 | 1998-07-10 | 화상부호화장치및방법,화상복호화장치및방법과화상전송방법 |
| MYPI98003180A MY121290A (en) | 1997-07-10 | 1998-07-10 | Image decoding method and apparatus. |
| CNB001285343A CN1161967C (zh) | 1997-07-10 | 1998-07-10 | 图象传送用数据结构、图象编码方法和解码方法 |
| US09/752,521 US6751357B2 (en) | 1997-07-10 | 2001-01-03 | Data structure for image transmission, image coding method, and image decoding method |
| US09/752,456 US6665445B1 (en) | 1997-07-10 | 2001-01-03 | Data structure for image transmission, image coding method, and image decoding method |
| US10/028,324 US6735344B2 (en) | 1997-07-10 | 2001-12-28 | Data structure for image transmission, image coding method, and image decoding method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-185548 | 1997-07-10 | ||
| JP18554897 | 1997-07-10 | ||
| JP11552198A JP3191922B2 (ja) | 1997-07-10 | 1998-04-24 | 画像復号化方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000320357A Division JP2001186522A (ja) | 1997-07-10 | 2000-10-20 | 画像符号化方法及び画像復号化方法 |
| JP2000320356A Division JP3191925B2 (ja) | 1997-07-10 | 2000-10-20 | 画像伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1188881A JPH1188881A (ja) | 1999-03-30 |
| JP3191922B2 true JP3191922B2 (ja) | 2001-07-23 |
Family
ID=26454016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11552198A Expired - Lifetime JP3191922B2 (ja) | 1997-07-10 | 1998-04-24 | 画像復号化方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US6466697B1 (ja) |
| EP (4) | EP0891093B1 (ja) |
| JP (1) | JP3191922B2 (ja) |
| KR (1) | KR100312791B1 (ja) |
| CN (3) | CN1161967C (ja) |
| DE (4) | DE69822002T2 (ja) |
| ES (4) | ES2207455T3 (ja) |
| MY (1) | MY121290A (ja) |
| TW (1) | TW417388B (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| TW395131B (en) * | 1997-01-10 | 2000-06-21 | Matsushita Electric Industrial Co Ltd | Method and device for processing image, and date recording medium |
| WO1999022524A1 (fr) * | 1997-10-23 | 1999-05-06 | Mitsubishi Denki Kabushiki Kaisha | Codeur/decodeur d'images, systeme de communication d'images et convertisseur d'un train de binaires codes |
| US6603883B1 (en) * | 1998-09-08 | 2003-08-05 | Canon Kabushiki Kaisha | Image processing apparatus including an image data encoder having at least two scalability modes and method therefor |
| CN100407797C (zh) * | 1999-03-05 | 2008-07-30 | 株式会社东芝 | 运动图象编码装置以及运动图象译码装置 |
| US7885340B2 (en) * | 1999-04-27 | 2011-02-08 | Realnetworks, Inc. | System and method for generating multiple synchronized encoded representations of media data |
| US6766098B1 (en) * | 1999-12-30 | 2004-07-20 | Koninklijke Philip Electronics N.V. | Method and apparatus for detecting fast motion scenes |
| FR2819604B3 (fr) * | 2001-01-15 | 2003-03-14 | Get Int | Procede et equipement pour la gestion des interactions multimedias mono-ou multi-uitilisateurs entre des peripheriques de commande et des applications multimedias exploitant la norme mpeg-4 |
| US7154906B2 (en) * | 2001-01-30 | 2006-12-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code |
| US6662371B2 (en) | 2001-03-07 | 2003-12-16 | Jae Hoon Shin | Reconfigurable eyewear apparatus for headwear visor |
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| US20030151753A1 (en) * | 2002-02-08 | 2003-08-14 | Shipeng Li | Methods and apparatuses for use in switching between streaming video bitstreams |
| US20030174142A1 (en) * | 2002-03-13 | 2003-09-18 | Lund Jon C. | Method to produce textural gradations in vector and pixel based computer graphics applications using font based gradient characters |
| KR20040099371A (ko) * | 2002-03-29 | 2004-11-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 부호화 방법 및 대응하는 장치와 신호 |
| US7120786B2 (en) * | 2002-06-17 | 2006-10-10 | Microsoft Corporation | Booting from a compressed image |
| US7017144B2 (en) * | 2002-06-17 | 2006-03-21 | Microsoft Corporation | Combined image views and method of creating images |
| US20040034849A1 (en) * | 2002-06-17 | 2004-02-19 | Microsoft Corporation | Volume image views and methods of creating volume images in which a file similar to a base file is stored as a patch of the base file |
| US7464176B2 (en) * | 2002-06-17 | 2008-12-09 | Microsoft Corporation | Multicast system and method for deploying multiple images simultaneously |
| KR100604032B1 (ko) * | 2003-01-08 | 2006-07-24 | 엘지전자 주식회사 | 복수 코덱을 지원하는 장치와 방법 |
| DE20301518U1 (de) * | 2003-01-31 | 2003-06-18 | TRW Occupant Restraint Systems GmbH & Co. KG, 73553 Alfdorf | Gurtspule für einen Sicherheitsgurtaufroller |
| JP2006525722A (ja) * | 2003-05-06 | 2006-11-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化及び復号化方法、並びに対応する符号化及び復号化装置 |
| EP1727091A1 (en) * | 2004-02-27 | 2006-11-29 | Tdvision Corporation S.A. DE C.V. | Method and system for digital coding 3d stereoscopic video images |
| JP2007525907A (ja) * | 2004-02-27 | 2007-09-06 | ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. | 立体3dビデオイメージディジタルデコーディングのシステムおよび方法 |
| US20060026181A1 (en) * | 2004-05-28 | 2006-02-02 | Jeff Glickman | Image processing systems and methods with tag-based communications protocol |
| KR20050117826A (ko) * | 2004-06-11 | 2005-12-15 | 삼성전자주식회사 | 디지털 오디오 방송에서 인터랙티브 정보를 포함하는슬라이드 쇼 제공방법, 처리장치 및 dab 수신장치 |
| JP2007195117A (ja) * | 2006-01-23 | 2007-08-02 | Toshiba Corp | 動画像復号装置 |
| BRPI0711053A2 (pt) * | 2006-04-28 | 2011-08-23 | Ntt Docomo Inc | aparelho de codificação preditiva de imagem, método de codificação preditiva de imagem, programa de codificação preditiva de imagem, aparelho de decodificação preditiva de imagem, método de decodificação preditiva de imagem e programa de decodificação preditiva de imagem |
| US8102913B2 (en) * | 2006-12-22 | 2012-01-24 | Sony Corporation | DCT/Q/IQ/IDCT bypass algorithm in MPEG to AVC/H.264 transcoding |
| TWI349884B (en) | 2007-11-14 | 2011-10-01 | Pixart Imaging Inc | Data encryption method implemented on a pattern displaying medium with at least two types of ink |
| CN102595107A (zh) * | 2012-02-22 | 2012-07-18 | 南京迪威视讯技术有限公司 | 一种流媒体数据结构、解码方法及设备 |
| WO2013129585A1 (ja) * | 2012-02-29 | 2013-09-06 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| JP6191160B2 (ja) * | 2012-07-12 | 2017-09-06 | ノーリツプレシジョン株式会社 | 画像処理プログラムおよび画像処理装置 |
| US9582513B2 (en) | 2013-12-08 | 2017-02-28 | Microsoft Technology Licensing, Llc | Accessing data in a compressed container through dynamic redirection |
| US9813620B2 (en) * | 2014-03-31 | 2017-11-07 | JVC Kenwood Corporation | Image processing apparatus, image processing method, program, and camera |
| CN109644284B (zh) * | 2016-08-30 | 2022-02-15 | 索尼公司 | 发送设备、发送方法、接收设备与接收方法 |
| CN109348226B (zh) * | 2017-04-08 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种图片文件处理方法及智能终端 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2109681C (en) * | 1993-03-10 | 1998-08-25 | Donald Edgar Blahut | Method and apparatus for the coding and display of overlapping windows with transparency |
| US5608458A (en) | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
| KR100365555B1 (ko) * | 1994-10-19 | 2003-08-27 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상부호화/복호화장치 |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| EP1343328A3 (en) * | 1996-02-07 | 2005-02-09 | Sharp Kabushiki Kaisha | Moving image encoding and decoding device |
| DE69724673T2 (de) * | 1996-05-17 | 2004-07-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Videodekodierungsvorrichtung zur Dekodierung von Form- und Textursignalen unter Verwendung inter/intra Moden |
| CN1183769C (zh) * | 1996-05-28 | 2005-01-05 | 松下电器产业株式会社 | 图像预测编码/解码装置和方法以及记录媒体 |
| US6035070A (en) * | 1996-09-24 | 2000-03-07 | Moon; Joo-Hee | Encoder/decoder for coding/decoding gray scale shape data and method thereof |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| TW358296B (en) * | 1996-11-12 | 1999-05-11 | Matsushita Electric Industrial Co Ltd | Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium |
| JP3223962B2 (ja) * | 1997-01-24 | 2001-10-29 | 松下電器産業株式会社 | 画像復号化方法 |
| US6208693B1 (en) * | 1997-02-14 | 2001-03-27 | At&T Corp | Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects |
| US6078695A (en) * | 1997-06-13 | 2000-06-20 | Matsushita Electric Industrial Co., Ltd. | Shape coding method and shape decoding method |
| JPH1169356A (ja) * | 1997-08-25 | 1999-03-09 | Mitsubishi Electric Corp | 動画像符号化方式及び動画像復号方式 |
| GB2333412B (en) * | 1998-01-20 | 2002-05-15 | Daewoo Electronics Co Ltd | Context-based arithmetic encoding/decoding apparatus |
-
1998
- 1998-04-24 JP JP11552198A patent/JP3191922B2/ja not_active Expired - Lifetime
- 1998-07-07 US US09/110,458 patent/US6466697B1/en not_active Expired - Fee Related
- 1998-07-08 EP EP19980112642 patent/EP0891093B1/en not_active Expired - Lifetime
- 1998-07-08 ES ES00125952T patent/ES2207455T3/es not_active Expired - Lifetime
- 1998-07-08 DE DE1998622002 patent/DE69822002T2/de not_active Expired - Fee Related
- 1998-07-08 EP EP20020007350 patent/EP1229739B1/en not_active Expired - Lifetime
- 1998-07-08 ES ES00125951T patent/ES2214213T3/es not_active Expired - Lifetime
- 1998-07-08 DE DE1998627173 patent/DE69827173T2/de not_active Expired - Fee Related
- 1998-07-08 ES ES02007350T patent/ES2229000T3/es not_active Expired - Lifetime
- 1998-07-08 DE DE69808188T patent/DE69808188T2/de not_active Expired - Lifetime
- 1998-07-08 DE DE1998618523 patent/DE69818523T2/de not_active Expired - Fee Related
- 1998-07-08 ES ES98112642T patent/ES2184177T3/es not_active Expired - Lifetime
- 1998-07-08 EP EP20000125952 patent/EP1087624B1/en not_active Expired - Lifetime
- 1998-07-08 EP EP20000125951 patent/EP1087623B1/en not_active Expired - Lifetime
- 1998-07-09 TW TW087111115A patent/TW417388B/zh not_active IP Right Cessation
- 1998-07-10 CN CNB001285343A patent/CN1161967C/zh not_active Expired - Fee Related
- 1998-07-10 KR KR1019980027767A patent/KR100312791B1/ko not_active Expired - Fee Related
- 1998-07-10 CN CNB981178847A patent/CN1174629C/zh not_active Expired - Fee Related
- 1998-07-10 MY MYPI98003180A patent/MY121290A/en unknown
- 1998-07-10 CN CNB001285335A patent/CN1196318C/zh not_active Expired - Fee Related
-
2001
- 2001-01-03 US US09/752,456 patent/US6665445B1/en not_active Expired - Fee Related
- 2001-01-03 US US09/752,521 patent/US6751357B2/en not_active Expired - Fee Related
- 2001-12-28 US US10/028,324 patent/US6735344B2/en not_active Expired - Lifetime
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3191922B2 (ja) | 画像復号化方法 | |
| US7031532B2 (en) | Video coding and video decoding apparatus | |
| US6330364B1 (en) | Video coding and video decoding apparatus | |
| JP2008536440A (ja) | ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法 | |
| JPH11252559A (ja) | 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体 | |
| JP3191925B2 (ja) | 画像伝送方法 | |
| JP2001186522A (ja) | 画像符号化方法及び画像復号化方法 | |
| JP3776735B2 (ja) | 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体 | |
| JPH104549A (ja) | 画像符号化装置および画像復号化装置 | |
| JP2000333203A (ja) | 圧縮符号化方法、圧縮復号化方法、圧縮符号化装置及び圧縮復号化装置 | |
| JP2003179936A (ja) | 動画像符号化復号化装置 | |
| JP2001231050A (ja) | 画像予測復号化方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090525 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |