[go: up one dir, main page]

JP3002019B2 - セル廃棄補償機能を有する画像符号化伝送方式 - Google Patents

セル廃棄補償機能を有する画像符号化伝送方式

Info

Publication number
JP3002019B2
JP3002019B2 JP16442291A JP16442291A JP3002019B2 JP 3002019 B2 JP3002019 B2 JP 3002019B2 JP 16442291 A JP16442291 A JP 16442291A JP 16442291 A JP16442291 A JP 16442291A JP 3002019 B2 JP3002019 B2 JP 3002019B2
Authority
JP
Japan
Prior art keywords
data
frame
block
image
pixel area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16442291A
Other languages
English (en)
Other versions
JPH0514392A (ja
Inventor
崇 浜野
潔 酒井
喜一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP16442291A priority Critical patent/JP3002019B2/ja
Priority to CA 2073120 priority patent/CA2073120C/en
Priority to CA 2245053 priority patent/CA2245053C/en
Priority to EP19920111414 priority patent/EP0521529B1/en
Priority to DE69232803T priority patent/DE69232803T2/de
Priority to US07/909,044 priority patent/US5510839A/en
Priority to DE69225642T priority patent/DE69225642T2/de
Priority to EP19960112728 priority patent/EP0740471B1/en
Publication of JPH0514392A publication Critical patent/JPH0514392A/ja
Priority to US08/592,771 priority patent/US5627590A/en
Priority to US08/592,609 priority patent/US5844628A/en
Application granted granted Critical
Publication of JP3002019B2 publication Critical patent/JP3002019B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/04—Selecting arrangements for multiplex systems for time-division multiplexing
    • H04Q11/0428—Integrated services digital network, i.e. systems for transmission of different types of digitised signals, e.g. speech, data, telecentral, television signals
    • H04Q11/0478—Provisions for broadband connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5614—User Network Interface
    • H04L2012/5616—Terminal equipment, e.g. codecs, synch.
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5638—Services, e.g. multimedia, GOS, QOS
    • H04L2012/5646—Cell characteristics, e.g. loss, delay, jitter, sequence integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5638—Services, e.g. multimedia, GOS, QOS
    • H04L2012/5646—Cell characteristics, e.g. loss, delay, jitter, sequence integrity
    • H04L2012/5651—Priority, marking, classes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はテレビ電話、テレビ会議
等のＮＴＳＣ方式のディジタル伝送、またはハイビジョ
ン（ＨＤＴＶ）等のディジタル伝送に用いられる画像デ
ータの高能率符号化方式に係り、さらに詳しくは入力フ
レーム画像データを複数の画素を単位とするブロックに
分割して、ブロック単位で符号化を行い、その符号化デ
ータをセル単位で伝送する画像伝送システムにおけるセ
ル廃棄補償機能を有する画像符号化伝送方式に関する。
【０００２】次世代のネットワークである広帯域ＩＳＤ
Ｎの実現手段としてＡＴＭ（Asynchronous Transfer Mo
de：非同期転送モード）が合意され標準化がすすめられ
ている。ＡＴＭにおいては、情報はセル（固定長のパケ
ット）という単一のフォーマットに変換され、ラベル多
重技術を用いて伝送される。画像通信の分野では、可変
レート伝送による回線の使用効率と再生画質の向上の観
点から注目を集めている。しかし、フレーム間符号化を
基本とする高能率符号化方式では、セル廃棄により一旦
送受の画像データに誤差が生じると、それ以後の画質に
大きな劣化を与えるという問題があり、セル廃棄補償機
能を有する符号化方式が望まれている。
【０００３】
【従来の技術】最近画像機器のディジタル化、画像ディ
ジタル信号の伝送方式などが、テレビ電話など多くの応
用分野で広く開発、研究されている。一般に画像データ
はその情報量が非常に多い。例えば現在のテレビをその
ままディジタル化すると 100Mb/sの伝送容量が必要とな
り、音声の1500倍の情報量を持っている。テレビでは１
秒間に画面が30回切り替わり、１／30秒でフレームが切
り替えられる。１枚のフレームに対応する１画面上に画
素は一般的に２次元的に配置されており、１画素の濃度
を例えば８ビットで表わすとしても、１フレームに対す
る画像データは非常にその情報量が多くなる。
【０００４】しかしながら、１／30秒でフレームが切り
替えられる場合にも、各フレームの絵の内容はあまり大
きく変化しないことが多い。すなわち画像は空や背景な
どのように全体的に止まっている部分が多く、フレーム
毎に変化する部分が少ない。そこで画像データを圧縮し
て符号化する１つの方式としてフレーム間符号化方式が
ある。
【０００５】フレーム間符号化方式では時間的に連続す
る２つのフレームの間で対応する画素毎に、例えば濃度
データの差がとられ、その差が例えばハフマン符号化さ
れて伝送路上に送出される。大部分の画素に対する濃度
が変化しないとすると、それらの画素に対する差は０と
なり、その差は２ビット程度で表わすことができる。濃
度差の大きい画素に対する差は８ビット以上必要となる
が、これらの差分だけを符号化することにより、結果と
して伝送すべき情報量が大きく圧縮されることになる。
これに対して１フレーム内のデータをそのまま符号化す
る方式はフレーム内符号化方式と呼ばれる。
【０００６】フレーム間符号化、フレーム内符号化のい
ずれを用いるとしても、画像信号のディジタル表現には
標本化および量子化の２つの操作が基本的に必要にな
る。画像の標本化には２つの方法があり、その第１は画
像をフレーム内の画素に対応する離散的な点配列に対す
る濃度値で表わすことである。第２の方法はフレーム面
に対応するＸＹ平面で定義された濃度値関数（画像関
数）を正規直交展開し、その展開係数を標本値とするこ
とである。
【０００７】図１６は、例えば正規直交変換を用いた画
像伝送システムの全体構成ブロック図である。同図にお
いて、入力画像データに対しては、前処理部１において
フィルタによるノイズの除去、画素データのブロック分
割等が行われる。ここでブロック分割は、１フレーム内
の２次元のＫ×Ｎ個の画素のデータを一まとめとして直
交変換するのでなく、４×４〜16×16個の画素を１ブロ
ックとして、ブロック単位に変換係数を求めることによ
り、変換時間を短縮するために行われる。
【０００８】ソース符号化部２では、空間方向や時間方
向の冗長度を除去するための符号化として、例えばフレ
ーム間符号化、変換符号化等が行われた後に、ビット削
減のために量子化が行われる。ここで行われる直交変換
の種類としては、例えばアダマール変換、コサイン変
換、カルーネン・レーベ変換などがあるが、近年ではコ
サイン変換の離散表現であり、後述するディスクリート
コサイン変換（ＤＣＴ）がよく用いられる。
【０００９】このような直交変換符号化方式では画面内
の小領域の相関が着目され、小領域の画素を数値列とし
て直交変換が行われる。その結果得られる変換係数は周
波数成分に相当し、低周波から高周波までの各成分を表
わしている。画像信号では一般に低周波成分が多く高周
波成分は少ないため、低周波成分には多くのビット数、
高周波成分には少ないビット数を割り当てる量子化を行
うことにより、伝送すべき情報量が削減される。
【００１０】図１６において、可変長符号化部３では統
計的な冗長度を除去する符号化としてハフマン符号化、
ランレングス符号化等が行われ、セル組立部４ではセル
廃棄検出のためのサイド情報やヘッダが付与されて、組
み立てられたセルはネットワークに出力される。
【００１１】受信部において、ネットワークから入力さ
れたセルに対してセル分解部５でセル廃棄検出が行われ
ると共に、セルはデータに分解される。そして可変長復
号化部６で受信されたビット列が解読され、ソース復号
化部７でソース符号化の逆処理によって画像データが復
号され、後処理部８で逆ブロック化、およびフィルタに
よるノイズ除去等の処理が行われ、データが出力され
る。
【００１２】図１７は代表的な符号化方式の第１の従来
例としてのフレーム間ＤＣＴ符号化方式の構成ブロック
図である。同図において、送信側ではブロックに分割さ
れた入力画像データに対して、フレームメモリ９に格納
されている１枚前のフレーム内の同一位置のブロックデ
ータにリーク係数部１０のαが掛けられた値との間で減
算器１１によって差分が取られ、その差分と入力画像デ
ータはフレーム内／フレーム間（ＩＮＴＲＡ／ＩＮＴＥ
Ｒ）判定部１２に入力され、現在のフレームのデータ、
すなわちフレーム内データをそのまま符号化する場合と
現在のフレームと１枚前の対応するブロックとの間の差
分を符号化する場合のいずれが効率的かが判定れ、効率
的と判定されたデータが離散コサイン変換（ＤＣＴ）部
１３に入力された後に、量子化器１４によって量子化さ
れる。
【００１３】量子化器１４の出力と、破線で示すフレー
ム内／フレーム間の判定情報は図１６の可変長符号化部
３に出力されると同時に、量子化器１４の出力は逆離散
コサイン変換（ＩＤＣＴ）部１５によって再び画素領域
に逆変換された後に、加算器１６によってフレームメモ
リ９に格納されているデータとリーク係数部１０のαと
の積と加算され、再びフレームメモリ９に記憶される。
ただしフレーム内符号化が選択された時には、破線で示
す判定信号の入力に応じて、加算器１６は前フレームの
データを加算せず、ＩＤＣＴ部１５の出力をそのままフ
レームメモリ９に格納する。
【００１４】図１７において、受信側ではＩＤＣＴ部１
７によって入力データは画素領域に逆変換された後に、
フレームメモリ１８に格納されている１枚前のフレーム
のデータにリーク係数部１９のαを掛けた値と加算器２
０によって加算され、図１６の後処理部８に出力される
とともに、再びフレームメモリ１８に格納される。ただ
しフレーム内符号化が選択された時には、前フレームの
データの加算は行われない。またセル廃棄によりデータ
が受信できなかったブロックに対しては前フレームデー
タと入力０が加算され、加算結果がフレームメモリ１８
に格納される。すなわちセル廃棄時にはセル廃棄検出信
号のリーク係数部１９への入力によって、前フレームの
データがそのままフレームメモリ１８に格納される。
【００１５】図１７において送信側、受信側のいずれに
おいても、フレームメモリの出力と加算器の間にリーク
係数部が存在し、フレームメモリの出力にリーク係数α
を乗じた値が前フレームのデータに対する値として用い
られる。ここでリーク係数αを０と１の間に設定する
と、ある時刻に送信側と受信側のフレームメモリの格納
内容に誤差Ｅが生じてもｎフレーム後にはその誤差はＥ
×αnとなり、時間と共に誤差は小さくなり、やがて０
に収束するという特徴がある。従ってセル廃棄によって
送信側と受信側で誤差Ｅが生じ、再生画質が劣化して
も、その誤差が０に近くなれば再生画質は復帰する。
【００１６】図１８は代表的な符号化方式の第２の従来
例としてのＤＣＴフレーム間符号化方式の構成ブロック
図である。この方式を図１７と比較すると、送信側では
ディスクリートコサイン変換（ＤＣＴ）部１３がソース
符号化部２の最初に置かれ、入力画像データはＤＣＴ部
１３によって周波数領域係数に変換され、変換後の係数
データに対してフレーム内またはフレーム間の符号化方
式が選択される点を除いては、その構成はほとんど同様
である。
【００１７】また受信側では、周波数領域でのデータに
対して、フレーム内またはフレーム間の符号化方式の選
択に応じてフレームメモリ１８を用いた復号処理が行わ
れ、その結果がＩＤＣＴ部１７によって画素領域に変換
され、後処理部８に出力される。
【００１８】
【発明が解決しようとする課題】図１７および図１８で
示した従来の符号化方式においては、リーク係数αを用
いることにより、セル廃棄による画質劣化が起こって
も、ある時間後には画質が自動的に復帰するという特徴
がある。前のフレームと現在のフレームとのフレーム間
差分が小さいブロックに対しては、セル廃棄が起こって
も送信側と受信側での画像データの誤差か小さく、リー
ク係数による誤差の０への収束が早いために画質劣化は
視覚的に許容できる範囲となる。しかしながらフレーム
間差分が大きいブロックに対しては、画像データの誤差
が大きくなり、リーク係数による誤差の収束に時間がか
かるために、セル廃率が高い場合には画質の劣化が非常
に目立つという問題点があった。
【００１９】本発明は第１に画質が劣化した場合の復帰
時間、すなわち送、受信側間でのセル廃棄による画像デ
ータの誤差が０に収束するまでの時間を短縮することで
あり、第２にセル廃棄が起こった場合には動きベクトル
を用いて廃棄が起こったブロックのデータを推定するこ
とにより、送受信側間での画像データの誤差を小さくす
ることを目的とする。
【００２０】
【課題を解決するための手段】図１は本発明の原理ブロ
ック図である。同図は、入力フレーム画像データを複数
の画素を単位とするブロックに分割して、ブロック単位
で符号化を行い、その符号化データをセル単位で伝送す
る画像伝送システムにおけるセル廃棄補償機能を有する
画像符号化伝送方式の原理ブロック図である。
【００２１】図１(a) は第１の発明の原理ブロック図で
ある。同図は、差分が比較的大きいデータがセル廃棄さ
れた時に、それによる画質劣化を防止するために、差分
の比較的大きいデータを例えばフレーム間符号化によっ
て送ったとき、次のフレームのデータに対しては強制的
にフレーム内符号化を行うことによって、セル廃棄が起
こった場合の影響を最小とする画像符号化伝送方式の原
理ブロック図である。
【００２２】図１(a) において、フレーム内／フレーム
間判定手段２２は、入力フレームデータと、その入力フ
レームデータと１枚前のフレームデータに定数αを乗じ
たデータとの差分データとの入力に対して、その入力フ
レームデータとしてのフレーム内データと、差分データ
としてのフレーム間データとのいずれかを選択して出力
する。フレーム内、フレーム間のいずれを選択するか
は、例えば各ブロックに対するデータの２乗和を取り、
その２乗和がフレーム内とフレーム間とでいずれが大き
いかを判定し、２乗和が小さい方を選択して出力する。
これによって受信側へ送るデータの符号長を短くするこ
とができる。
【００２３】差分大小判定手段２３は、入力フレームデ
ータと１枚前のフレームデータの差分データの入力に対
して、その差分データを構成する個々のブロックのデー
タの１つ以上があらかじめ定められた閾値より大きい時
に、現在のフレームの次のフレームデータの入力時にフ
レーム内／フレーム間判定手段２２に強制的にフレーム
内データを出力させ、比較的大きい差分データがフレー
ム間符号化されて送信された時、そのデータがセル廃棄
されても、次のフレームデータをフレーム内符号化させ
ることにより、画質劣化を防止させる。なおフレーム内
／フレーム間判定手段２２と差分大小判定手段２３は共
に画像伝送システムの送信側に備えられる。
【００２４】図１(b) は第２の発明の原理ブロック図で
ある。同図は、画像伝送システムの受信側で、セル廃棄
のために受信できなかったブロックに対して周囲のブロ
ックのデータを使用して動きベクトルを検出し、その動
きベクトルによってデータが受信できなかったブロック
に対するデータを推定する画像符号化伝送方式の原理ブ
ロック図である。
【００２５】図１(b) において、画素領域フレームデー
タ記憶手段２４は、例えばフレームメモリであり、画素
領域の受信画像データを格納するものである。画像デー
タが伝送路上で直交変換された周波数領域の係数として
伝送される場合には、受信データがあらかじめ逆直交変
換された後、この画素領域フレームデータ記憶手段２４
に格納される。
【００２６】動きベクトル検出手段２５は、セル廃棄検
出信号が入力された時に画素領域フレームデータ記憶手
段２４に記憶されるフレームデータのうちで、セル廃棄
により符号化データを受信できなかったブロックに対し
て、その周囲のブロックのデータを用いて動きベクトル
を検出し、この動きベクトルを用いてデータの置き換え
を行う。なお画素領域フレームデータ記憶手段２４と動
きベクトル検出手段２５は画像伝送システムの受信側に
設けられる。
【００２７】
【作用】第１の発明の原理を示す図１(a) においては、
セル廃棄によって生じた送信側と受信側の間での画像デ
ータの誤差が０に収束するまでの時間を短縮するため
に、フレーム間差分が大きなブロックのデータが廃棄さ
れた時の復帰時間の短縮を目的として、例えばフレーム
間差分が比較的大きいにもかかわらず、フレーム間符号
化方式が採用された場合には、次のフレームに対しては
強制的にフレーム内符号化が行われる。これによって差
分が大きいブロックのデータが廃棄されたとしても、次
のフレームにおける符号化は前のフレームの影響を受け
ないために、画質復帰時間は最小となる。
【００２８】第２の発明の原理を示す図１(b) において
は、受信側にセル廃棄検出信号が入力された時に、廃棄
されたブロックのデータを前のフレームのどの位置のブ
ロックで置き換えるべきかを判定するために動きベクト
ルが検出され、その動きベクトルを用いてデータの置き
換えが行われる。ただし廃棄されたブロックから直接動
きベクトルを求めることは不可能であるために、周囲の
ブロックでセル廃棄の影響を受けていないブロックを用
いて間接的に動きベクトルか求められる。
【００２９】ブロックデータの置き換えのための動きベ
クトルを求める方式としては、例えば第１の方法として
セル廃棄の影響を受けていない１個以上のブロックに対
するそれぞれの動きベクトルを求め、それらの動きベク
トルの平均値を置き換えのための動きベクトルとする方
法がある。また第２の方法は、セル廃棄の影響を受けて
いない１個以上のブロックを１つのグループとして全体
としての動きベクトルを検出し、それを置き換えのため
の動きベクトルとする方法である。
【００３０】第２の発明の原理を示す図１(b) におい
て、画素領域フレームデータ記憶手段２４は画素領域の
受信画像データを格納するものであり、ここに格納され
るフレームデータのうちでセル廃棄のために受信できな
かったブロックデータの置き換えが動きベクトル検出手
段２５によって行われるが、伝送路上で直交変換された
係数領域の符号化データを伝送する場合には、画素領域
フレームデータ記憶手段２４に相当するフレームメモリ
に加えて係数領域のフレームデータを格納する第２のフ
レームメモリを受信側に備えられる。そして、セル廃棄
が起こった場合には、その第２のフレームメモリ内に格
納されている前のフレームのブロックデータが画素領域
に逆変換された後に、逆変換後のデータが画素領域フレ
ームデータ記憶手段２４に相当するフレームメモリに格
納される。
【００３１】以上のように、本発明においてはフレーム
間差分が比較的大きなデータが送信された時、次の時点
のフレームに対しては強制的にフレーム内符号化が選択
され、また受信側では廃棄されたブロックの周囲のブロ
ックに対する動きベクトルを用いて、廃棄されたブロッ
クのデータの置き換えが行われる。
【００３２】
【実施例】図２は第１の発明、すなわち強制フレーム内
符号化方式の概念の説明図である。同図(a) は従来技術
を示し、フレーム内／フレーム間符号化の判定において
フレーム内符号化が選択されない限り、差分が比較的大
きくても常に前のフレームとの差分が伝送されるため、
セル廃棄による画質劣化からの復帰時間は、最大の場合
リーク係数によって誤差が０に収束するまでの時間とな
っていた。
【００３３】図２(b) の本発明の方式では、例えばフレ
ーム間符号化が選択され、しかもその差分が比較的大き
い場合には次のフレームに対して強制的にフレーム内符
号化が選択される。そこで差分の大きいデータが廃棄さ
れたとしても、次のフレームに対する誤差は直ちに０と
なる。
【００３４】図３は強制フレーム内符号化方式における
誤差の説明図である。同図(a) は従来技術を示し、この
場合には誤差の大小にかかわらず誤差の収束の時定数は
ほぼ同一であり、差分の大きいフレーム間データが廃棄
され、誤差が大きくなった場合には、誤差が０に収束す
るまでの時間は非常に長くなる。これに対して同図(b)
の本発明の方式では、差分がある閾値より小さく、次の
フレームで強制的にフレーム内が選択されない場合には
誤差の収束の時間は従来とほぼ同様であるが、差分があ
る閾値より大きく、次のフレームで強制的にフレーム内
符号化が選択される場合には直ちに誤差は０となる。
【００３５】図４は第１の発明の実施例の構成ブロック
図である。同図は、図１８の符号化方式の第２の従来例
におけると同様に、入力データに対してまずディスクリ
ートコサイン変換が行われ、変換された係数領域のデー
タに対してフレーム内／フレーム間の判定が行われる場
合の送信側の構成を示しており、図１８と同一の部分に
は同じ符号を付してある。
【００３６】図４においては、図１８の送信側の構成に
加えて、ＤＣＴ部１３の出力とフレームメモリ９の出力
との差分、すなわちフレーム間差分を取る減算器３０、
その差分があらかじめ定められた閾値より大きいか否か
を判定する差分大小判定部３１、差分大小判定部３１の
出力を１フレーム分遅延させ、差分大小判定部３１が差
分が閾値より大きいと判定した時に、フレーム内／フレ
ーム間判定部１２に次のフレームに対して強制的にフレ
ーム内符号化を選択させる１フレーム遅延部３２を備え
ている。
【００３７】図５は図４におけるフレーム内／フレーム
間判定部１２、差分大小判定部３１、および１フレーム
遅延部３２の詳細構成ブロック図である。同図におい
て、差分大小判定部３１は比較器３３ａ〜３３ｎ、およ
びアンド回路３４に相当し、１フレーム遅延部３２は先
入れ先出しメモリ（ＦＩＦＯ）３５に相当する。
【００３８】比較器３３ａ〜３３ｎは１フレーム内のブ
ロックの数と一致する個数だけ設けられ、それぞれの比
較器においてはそれぞれのブロックデータのフレーム間
差分と閾値とが比較され、差分の絶対値が閾値以上であ
る時には０が、また閾値未満である時には１が出力され
る。そこで全てのブロックに対するフレーム間差分が閾
値より小さい時にはアンド回路３４から１が、また１つ
でも差分の絶対値が閾値より大きいブロックがある場合
には０が出力され、その値はＦＩＦＯ３５に格納され
る。
【００３９】図５において、図４の減算器１１の出力す
るフレーム間差分データに対して各ブロックのデータの
２乗和を取る２乗和器３６ａ、ＤＣＴ部１３の出力する
フレーム内データに対して各ブロックのデータの２乗和
を取る２乗和器３６ｂ、２つの２乗和器の出力を比較す
る比較器３７、アンド回路３８、減算器１１の出力を、
例えばフレーム内／フレーム間の判定時間だけ遅延させ
る遅延器３９ａ、ＤＣＴ部１３の出力を同一時間だけ遅
延させる遅延器３９ｂ、２つの遅延器の出力のいずれか
を選択して出力するセレクタ４０によって、図４のフレ
ーム内／フレーム間判定部１２が構成される。
【００４０】図５において、比較器３７はフレーム間差
分データの２乗和がフレーム内データの２乗和以上の時
には０を、逆にフレーム間差分データの２乗和がフレー
ム内データの２乗和未満である時には１を出力する。比
較器３７が０を出力した時にはアンド回路３８の出力は
０となり、この時セレクタ４０は遅延器３９ｂの出力、
すなわちフレーム内データを図１６の可変長符号化部３
に出力することになる。
【００４１】これに対して、比較器３７が１を出力した
時にはフレーム間符号化が選択される可能性があるが、
そのためにはこの時ＦＩＦＯ３５の出力も１でなければ
ならない。すなわち前のフレームに対する全てのブロッ
クのデータの差分がある閾値より小さくなければならな
い。この場合にはアンド回路３８の出力は１となり、セ
レクタ４０からは遅延器３９ａの出力、すなわち減算器
１１が出力するフレーム間差分データが可変長符号化部
３に出力される。比較器３７が１を出力してもＦＩＦＯ
３５の出力が０である時、すなわち前のフレームに対し
てフレーム間差分が閾値より大きかった場合にはアンド
回路３８の出力は０となり、強制的なフレーム内符号化
が選択される。
【００４２】図６〜８は第２の発明における動きベクト
ル検出方式の概念の説明図である。図６はセル廃棄が起
こらなかった場合、すなわち送信データが正常に受信さ
れた場合の現在のフレームと１枚前のフレーム、および
次のフレームの例である。この例は画像が右に、すなわ
ちカメラが左に移動している場合に相当する。
【００４３】図７は廃棄が起こった場合に前のフレーム
のブロックデータを用いてデータの置き換えを行う従来
方式の例である。同図において、現在のフレームに対し
てブロック１０が廃棄されたものとすると、ブロック１
０に対しては本来前のフレームのブロック９のデータが
受信されるべきであるが、これが廃棄されたために前の
フレームのブロック１０のデータがそのまま用いられ
る。また次のフレームに対しては、セル廃棄が起こらな
ければ現在のフレームのブロック９のデータ、すなわち
左上のみが欠けたデータが受信されることになるが、現
在のフレームのブロック１０に対するセル廃棄の影響が
残り、右上も欠けた形となる。
【００４４】図８は本発明の動きベクトルによる置き換
え方式の例である。図７におけると同様に、現在のフレ
ームに対してブロック１０のデータが廃棄されたものと
する。図８(b) に示すように、例えばブロック１０の上
のブロック４、下のブロック１６に対して動きベクトル
が検出され、前のフレームのブロック３が４に、ブロッ
ク１５は１６に動いたと判定されると、ブロック１０に
ついてもブロック９のデータが動くものと推定され、前
フレームのブロック９のデータをブロック１０に用いる
ことによって、同図(a) に示すようにブロック１０に対
する廃棄の影響をなくすことができる。
【００４５】図９は第２の発明に対する実施例の構成ブ
ロック図である。同図は、図１７の第１の従来例と同様
に、入力受信データをＩＤＣＴ部１７によって逆直交変
換した後に復号化を行う受信側の構成ブロック図であ
る。同図において、フレームメモリ４１は図１７におけ
るフレームメモリ１８と同様に通常の復号化に用いられ
ると共に、動きベクトルを用いた廃棄ブロックデータの
置き換え用としても兼用される。そして動きベクトルを
用いて廃棄されたブロックデータの置き換えを行う動き
補償（ＭＣ）置換部４２は、例えばセル分解部５からセ
ル廃棄検出信号が入力された時、廃棄されたブロックの
周囲のブロックデータを用いて動きベクトルを検出し、
廃棄されたブロックデータの置き換えを行う。動きベク
トルの検出とブロックデータの置き換えについては後述
する。
【００４６】図１０は第２の発明に対する他の実施例の
構成ブロック図である。同図は図１８の第２の従来例に
対応し、フレームメモリ１８は係数領域のデータを格納
するものであり、ここに格納されたデータから動きベク
トルを検出することはできない。そこでＩＤＣＴ部１７
により画素領域に変換されたデータは第２のフレームメ
モリ４３に格納され、セル廃棄が検出された時、ＭＣ置
換部４４は第２のフレームメモリ４３に格納されている
ブロックデータを用いて廃棄されたブロックに対するデ
ータの置き換えを行う。セル廃棄検出時には検出信号が
リーク係数器１９にも入力され、フレームメモリ１８に
格納されているデータにはリーク係数αが掛けられるこ
となく、再びフレームメモリ１８に格納され、同時にＩ
ＤＣＴ部１７によって画素領域のデータに変換されて第
２のフレームメモリ４３に出力される。
【００４７】図１１は動きベクトルを用いたデータ置き
換え処理実施例のフローチャートである。同図におい
て、処理がスタートとすると、まずステップ（Ｓ）５１
でブロックＢ（ｉ，ｊ）が廃棄されたか否かが判定され
る。ここでブロックＢ（ｉ，ｊ）は、同図(b) に示すよ
うにブロックの左上の頂点の横座標がｉ、縦座標がｊの
ブロックを表わす。以後、１つのブロックの大きさは８
×８画素とする。
【００４８】次にＳ５２でブロックの左上の頂点（ｉ，
ｊ）からの縦方向（例えば下方向）の座標の変化分ｙが
０とされ、またＳ５３で横方向（例えば右方向）の座標
の変化分ｘが０とされ、Ｓ５４で現在のフレームの座標
（ｉ＋ｘ，ｊ＋ｙ）におけるデータが検出された動きベ
クトルであるベクトルｘとベクトルｙとを用いて、次式
によって求められる。
【００４９】presf(ｉ＋ｘ，ｊ＋ｙ）＝prevf(ｉ＋ｘ＋
ベクトルｘ，ｊ＋ｙ＋ベクトルｙ）ここでpresf は現在
のフレーム、prevf は前のフレームを表わす。その後、
Ｓ５５でｘの値が歩進され、Ｓ５６でｘが８に等しいか
否かが判定され、等しくない場合にはＳ５４からの処理
が繰り返される。
【００５０】Ｓ５６でｘが８に等しいと判定された時に
は、横方向の座標変化分、すなわち動きベクトルによる
横方向置き換え範囲が１ブロックの横幅分に達したこと
になるので、Ｓ５７でｙの値が歩進され、Ｓ５８でｙが
８に達したか否かが判定される。８に達していない場合
にはＳ５３からの処理が繰り返され、Ｓ５８でｙが８に
達した時点で処理が終了する。なおＳ５１でブロックＢ
（ｉ，ｊ）が廃棄されていないと判定された時には、当
然直ちに処理を終了する。
【００５１】図１２は第１の動きベクトル検出全体処理
実施例のフローチャートである。同図(a) のフローチャ
ートにおいて、処理がスタートすると、Ｓ６０でブロッ
クＢ（ｉ，ｊ）が廃棄されたか否かが判定される。廃棄
されていない場合には直ちに処理を終了する。
【００５２】ブロックＢ（ｉ，ｊ）が廃棄されたと判定
された時には、Ｓ６１で有効ブロック数、すなわち動き
ベクトルの検出のために用いられる有効なブロック数 b
1kctが０とされ、Ｓ６２でブロックＢ（ｉ，ｊ−８）が
廃棄されたか否かが判定される。ここでブロックＢ
（ｉ，ｊ−８）は、同図(b) に示すように現在廃棄が検
出されたブロックＢ（ｉ，ｊ）の上のブロックである。
【００５３】Ｓ６２で上のブロックが廃棄されていない
場合には、Ｓ６３で図(b) に示す上のブロックを用いて
動きベクトルの検出が行われる。そしてＳ６４で有効ブ
ロック数 b1kctの値が歩進され、求められたベクトルが
動きベクトルｘ、およびｙとされ、Ｓ６５の処理に移行
する。なおＳ６２で上のブロックが廃棄されている場合
には動きベクトルの検出は不可能であるので、Ｓ６３，
６４の処理を行うことなく、Ｓ６５の処理に移行する。
【００５４】Ｓ６５では図１２(b) に示す廃棄ブロック
Ｂ（ｉ，ｊ）の下のブロックが廃棄されたか否かが判定
される。廃棄されていない場合には、Ｓ６６で、上のブ
ロックに対するＳ６３の処理と同様に、下のブロックを
用いての動きベクトルの検出が行われ、Ｓ６７で b1kct
の値が歩進され、Ｓ６６で求められたベクトルとＳ６４
で求められた動きベクトルｘ，ｙとを用いて、動きベク
トルｘ，ｙが求められる。なお上のブロックが廃棄さ
れ、Ｓ６４の処理が行われなかった場合には、Ｓ６７で
求められる動きベクトルｘ，ｙはＳ６６で検出された動
きベクトルそのものとなる。さらにＳ６５で廃棄が検出
された場合には、Ｓ６６，Ｓ６７の処理を行うことな
く、Ｓ６８の処理に移行する。
【００５５】Ｓ６８では有効ブロック数が０であるか否
かが判定され、０である場合には上のブロックと下のブ
ロックが共に廃棄されたことになるので動きベクトルを
求めることはできず、Ｓ６９で動きベクトルｘ，ｙを共
に０として処理を終了し、また有効ブロック数が０でな
い場合にはＳ７０ですでに求められている動きベクトル
ｘ，ｙをそれぞれ有効ブロック数で割った値が動きベク
トルｘ，ｙの最終値とされて、処理を終了する。
【００５６】図１３は図１２における動きベクトル検出
処理の詳細フローチャートである。同図は、図１２のＳ
６３における上のブロックに対する動きベクトルの検
出、およびＳ６６における下のブロックに対する動きベ
クトルの検出に、それぞれ同様に用いられる検出処理の
詳細フローチャートである。
【００５７】図１３において、処理が開始されると、ま
ずＳ７１で後述する絶対値和の最小値の初期値としてsu
m １の値が10,000とされる。そしてＳ７２で縦方向の変
数ベクトルvecyの値が−４，Ｓ７３で横方向の変数ベク
トルvecxの値が−４とされ、Ｓ７４でＳ７２とＳ７３で
設定された変数ベクトルを用いて、１枚前のフレーム内
で任意の点の座標に動きベクトルを加えた点のデータと
現在のフレーム内でその任意の点と同一の位置のデータ
との差の絶対値和 sum２がブロック内の全ての点につい
て取られ、Ｓ７５でその総和がＳ７１で設定された初期
値以下か否かが判定される。
【００５８】Ｓ７５で初期値以下である時には、Ｓ７６
で変数ベクトルがそれぞれ動きベクトルとされ、Ｓ７４
で求められた絶対値和 sum２が絶対値和の最小値 sum１
とされ、Ｓ７７の処理に移行する。Ｓ７５で初期値以下
でない場合には、変数ベクトルはまだ動きベクトルに近
づいたものとは見なせないために、Ｓ７６の処理を経る
ことなく、Ｓ７７の処理に移行する。
【００５９】Ｓ７７で横方向の変数ベクトルの値が歩進
され、Ｓ７８で横方向の変数ベクトルの値が５に達した
か否かが判定される。５に達していない場合には、まだ
ブロックの横方向の半分の位置まで調べていないことに
なるので、Ｓ７４からの処理が繰り返される。Ｓ７８で
横方向の変数ベクトルの値が５に達したと判定される
と、Ｓ７９で縦方向の変数ベクトルの値が歩進され、Ｓ
８０でその値が５に達したか否かが判定され、達してい
ない場合にはＳ７３から処理が繰り返され、５に達した
と判定された時点で処理を終了する。
【００６０】図１４は第２の動きベクトル検出全体処理
実施例のフローチャートである。この第２の実施例で
は、図１２で説明した第１の実施例と異なり、廃棄され
たブロックの上と下のブロックを全体として１つのグル
ープと見なし、その中で１つの動きベクトルを検出す
る。
【００６１】図１４(a) のフローチャートにおいて、処
理が開始されると、Ｓ８１でＢ（ｉ，ｊ）が廃棄された
か否かが判定され、廃棄されていない場合には直ちに処
理を終了する。廃棄された場合には、Ｓ８２でブロック
Ｂ（ｉ，ｊ−８）、すなわち上のブロック（同図(b) 参
照）が廃棄されたか否かが判定され、廃棄されていない
場合にはＳ８３で動きベクトルの検出範囲の上限の縦座
標 minｊの値がｊ−８とされ、廃棄されている場合には
Ｓ８４でその値がｊとされ、Ｓ８５の処理に移行する。
【００６２】Ｓ８５ではブロックＢ（ｉ，ｊ＋８）、す
なわち下のブロックが廃棄されたか否かが判定され、廃
棄されている場合にはＳ８６で動きベクトル検出範囲の
下限の縦座標 maxｊの値がｊ＋７とされ、廃棄されてい
ない場合にはＳ８７でその値がｊ＋15とされて、Ｓ８８
の処理に移行する。
【００６３】Ｓ８８では検出範囲の縦座標の最小値 min
ｊがｊに等しく、かつ範囲の下限の縦座標の maxｊがｊ
＋７に等しいか否かが判定され、これらが共に等しい場
合には上下のブロックが共に廃棄されたことになるので
動きベクトルを検出することはできず、Ｓ８９でそれら
の値を共に０として処理を終了し、これらの１つでも等
しくない場合には、Ｓ９０で縦座標の最小値と最大値と
の間で廃棄ブロックを含まないブロックを１つのグルー
プとして動きベクトルの検出が行われ、処理を終了す
る。
【００６４】図１５は図１４における動きベクトル検出
処理の詳細フローチャートである。このフローチャート
は図１３に示したフローチャートとほとんど同様である
が、Ｓ９４で差分の絶対値和を求める領域が図１３にお
けるＳ７４と異なっている。図１５のＳ９４のブロック
内の右辺第１項は上のブロックに対する差分の絶対値和
に対応し、第２項は下のブロックに対する差分の絶対値
和に対応する。そこで、これらの項において、縦座標ｙ
についての上限が下限より小さい場合には、その項の総
和の値は０とされる。
【００６５】
【発明の効果】以上詳細に説明したように、本発明によ
れば、送信側では比較的差分の大きいデータをフレーム
間符号化方式で送信した後の次のフレームに対して強制
的にフレーム内符号化を採用することにより、また受信
側では廃棄されたブロックのデータを動きベクトルを検
出して置き換えることにより、セル廃棄による大幅な画
質劣化を抑制し、画質の劣化を視覚的な許容範囲に収め
ることができ、画像伝送システムにおける画質向上に寄
与するところが大きい。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】強制フレーム内符号化方式の概念を説明する図
である。
【図３】強制フレーム内符号化方式における誤差を説明
する図である。
【図４】第１の発明の実施例の構成を示すブロック図で
ある。
【図５】図４におけるフレーム内／フレーム間判定部、
差分大小判定部、および１フレーム遅延部の詳細構成を
示すブロック図である。
【図６】第２の発明における動きベクトル検出方式の概
念を説明する図である（その１、正常受信時）。
【図７】第２の発明における動きベクトル検出方式の概
念を説明する図である（その２、従来例）。
【図８】第２の発明における動きベクトル検出方式の概
念を説明する図である（その３、本発明）。
【図９】第２の発明に対する実施例の構成を示すブロッ
ク図である。
【図１０】第２の発明に対する他の実施例の構成を示す
ブロック図である。
【図１１】動きベクトルを用いたデータ置き換え処理実
施例のフローチャートである。
【図１２】第１の動きベクトル検出全体処理実施例のフ
ローチャートである。
【図１３】図１２における動きベクトル検出処理の詳細
フローチャートである。
【図１４】第２の動きベクトル検出全体処理実施例のフ
ローチャートである。
【図１５】図１４における動きベクトル検出処理の詳細
フローチャートである。
【図１６】画像伝送システムの全体構成を示すブロック
図である。
【図１７】第１の従来例としてのフレーム間ＤＣＴ符号
化方式の構成を示すブロック図である。
【図１８】第２の従来例としてのＤＣＴフレーム間符号
化方式の構成を示すブロック図である。
【符号の説明】
２ ソース符号化部 ７ ソース復号化部 １０ リーク係数部（α） １２ フレーム内／フレーム間判定部 １３ ディスクリートコサイン変換（ＤＣＴ）部 １５，１７ 逆ディスクリートコサイン変換（ＩＤ
ＣＴ）部 ９，１８，４１，４３ フレームメモリ ２２ フレーム内／フレーム間判定手段 ２３ 差分大小判定手段 ２４ 画素領域フレームデータ記憶手段 ２５ 動きベクトル検出手段 ３１ 差分大小判定部 ３２ １フレーム遅延部 ４２，４４ 動き補償（ＭＣ）置換部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−124183（ＪＰ，Ａ) 特開 平３−124184（ＪＰ，Ａ) 特開 昭63−232691（ＪＰ，Ａ) 電子情報通信学会技術研究報告，ＩＥ 88−87，Ｐ．45−52 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 入力フレーム画像データを複数の画素を
    単位とするブロックに分割して、ブロック単位で符号化
    を行い、該符号化データをセル単位で伝送する画像伝送
    システムにおいて、 該画像伝送システムの送信側に、入力フレームデータ
    と、該入力フレームデータと１枚前のフレームデータに
    定数αを乗じたデータとの差分データ１とが入力され、
    該入力フレームデータとしてのフレーム内データと、該
    差分データ１としてのフレーム間データとのいずれかを
    選択して出力するフレーム内／フレーム間判定手段（２
    ２）と、 入力フレームデータと、該入力フレームデータと１枚前
    のフレームデータとの差分データ２が入力され、該差分
    データ２を構成する個々のブロックのデータの１つ以上
    があらかじめ定められた閾値より大きい時、現在のフレ
    ームの次のフレームデータの入力時に、該フレーム内／
    フレーム間判定手段（２２）に強制的にフレーム内デー
    タを出力させる差分大小判定手段（２３）とを備え、差
    分が大きいフレームデータのセル廃棄による画質劣化を
    防止することを特徴とするセル廃棄補償機能を有する画
    像符号化伝送方式。
  2. 【請求項２】 入力フレームデータを複数の画素を単位
    とするブロックに分割して、ブロック単位で符号化を行
    い、該符号化データをパケット単位で伝送する画像伝送
    システムにおいて、 該画像伝送システムの受信側に、 当該伝送システムの送信側から送られてくる周波数領域
    の符号化データを復号し、画素領域の画像データに変換
    する復号手段と、 上記復号手段により得られた画素領域の画像データを格
    納する画素領域フレームデータ記憶手段（２４）と、 パケットが廃棄された旨を表す信号が入力された時、そ
    のパケット廃棄により符号化データを受信できなかった
    ブロックの周囲のブロックについて上記画素領域フレー
    ムデータ記憶手段（２４）から画素領域の画像データを
    取得し、その取得した画素領域の画像データに基づいて
    上記符号化データを受信できなかったブロックの動きベ
    クトルを生成し、上記画素領域フレームデータ記憶手段
    （２４）に記憶されるフレームデータのうち、その生成
    した動きベクトルを用いて上記符号化データを受信でき
    なかったブロックに対するデータの置き換えを行う動き
    ベクトル生成手段（２５）と、 を備えたことを特徴とする画像符号化伝送方式。
  3. 【請求項３】 入力フレームデータを複数の画素を単位
    とするブロックに分割して、ブロック単位で符号化を行
    い、該符号化データをパケット単位で伝送する画像伝送
    システムにおいて、 該画像伝送システムの受信側に、 画素領域の受信画像データを格納する画素領域フレーム
    データ記憶手段（２４）と、 パケットが廃棄された旨を表す信号が入力された時、上
    記画素領域フレームデータ記憶手段（２４）に記憶され
    るフレームデータのうちで、パケット廃棄により符号化
    データを受信できなかったブロックに対してそのブロッ
    クの周囲のブロックデータを用いて動きベクトルを検出
    し、その動きベクトルを用いて上記符号化データを受信
    できなかったブロックに対するデータの置き換えを行う
    動きベクトル生成手段（２５）と、 周波数領域における画像データを格納するフレームメモ
    リを備え、 パケット廃棄により符号化データを受信できなかったブ
    ロックに対して、該フレームメモリ内に格納されている
    １枚前のフレームのブロックデータを画素領域に変換
    し、該変換後のデータを前記画素領域フレームデータ記
    憶手段（２４）に格納することを特徴とする画像符号化
    伝送方式。
  4. 【請求項４】 前記符号化データを受信できなかったブ
    ロックの周囲のブロックのうちで、パケット廃棄の影響
    を受けていない１個以上のブロックに対するそれぞれの
    動きベクトルの平均値を、前記ブロックデータの置き換
    えのための動きベクトルとして用いることを特徴とする
    請求項２記載の画像符号化伝送方式。
  5. 【請求項５】 前記符号化データを受信できなかったブ
    ロックの周囲のブロックのうちで、パケット廃棄の影響
    を受けていない１個以上のブロックを１つのグループと
    して、該グループに対して１つの動きベクトルを検出
    し、該動きベクトルを前記ブロックデータの置き換えの
    ための動きベクトルとして用いることを特徴とする請求
    項２記載の画像符号化伝送方式。
  6. 【請求項６】 フレームデータを複数の画素を単位とす
    るブロックに分割してブロック単位で符号化を行い、そ
    の符号化データをパケット単位で伝送する画像伝送シス
    テムにおいて使用される復号装置であって、 当該伝送システムの送信側から送られてくる周波数領域
    の符号化データを復号し、画素領域の画像データに変換
    する復号手段と、 上記復号手段により得られた画素領域の画像データを格
    納する画素領域フレームデータ記憶手段（２４）と、 パケットが廃棄された旨を検出したときに、そのパケッ
    ト廃棄により符号化データを受信できなかったブロック
    の周囲のブロックについて上記画素領域フレームデータ
    記憶手段（２４）から画素領域の画像データを取得し、
    その取得した画素領域の画像データに基づいて上記符号
    化データを受信できなかったブロックの動きベクトルを
    生成するベクトル生成手段と、 その動きベクトル生成手段により生成された動きベクト
    ルを用いて上記パケット廃棄により符号化データを受信
    できなかったブロックの画像データを補償する補償手段
    と、 を有する復号装置。
JP16442291A 1991-07-04 1991-07-04 セル廃棄補償機能を有する画像符号化伝送方式 Expired - Fee Related JP3002019B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP16442291A JP3002019B2 (ja) 1991-07-04 1991-07-04 セル廃棄補償機能を有する画像符号化伝送方式
CA 2245053 CA2245053C (en) 1991-07-04 1992-07-03 An image encoding and transmitting system
CA 2073120 CA2073120C (en) 1991-07-04 1992-07-03 An image encoding and transmitting system
DE69232803T DE69232803T2 (de) 1991-07-04 1992-07-06 System zur Kodierung und Übertragung von Bildern
US07/909,044 US5510839A (en) 1991-07-04 1992-07-06 Image encoding and transmitting system
DE69225642T DE69225642T2 (de) 1991-07-04 1992-07-06 System zur Kodierung und Übertragung von Bildern
EP19920111414 EP0521529B1 (en) 1991-07-04 1992-07-06 An image encoding and transmitting system
EP19960112728 EP0740471B1 (en) 1991-07-04 1992-07-06 An image encoding and transmitting system
US08/592,771 US5627590A (en) 1991-07-04 1996-01-26 Image encoding and transmitting system
US08/592,609 US5844628A (en) 1991-07-04 1996-01-26 Image encoding transmitting and receiving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16442291A JP3002019B2 (ja) 1991-07-04 1991-07-04 セル廃棄補償機能を有する画像符号化伝送方式

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP25861499A Division JP3260730B2 (ja) 1999-09-13 1999-09-13 画像符号化装置および画像伝送システム

Publications (2)

Publication Number Publication Date
JPH0514392A JPH0514392A (ja) 1993-01-22
JP3002019B2 true JP3002019B2 (ja) 2000-01-24

Family

ID=15792850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16442291A Expired - Fee Related JP3002019B2 (ja) 1991-07-04 1991-07-04 セル廃棄補償機能を有する画像符号化伝送方式

Country Status (5)

Country Link
US (3) US5510839A (ja)
EP (2) EP0740471B1 (ja)
JP (1) JP3002019B2 (ja)
CA (1) CA2073120C (ja)
DE (2) DE69225642T2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620050A (ja) * 1992-07-03 1994-01-28 Matsushita Electric Ind Co Ltd 動画像信号の復号化装置と推定動きベクトル算出方法
KR100261072B1 (ko) * 1993-04-30 2000-07-01 윤종용 디지털 신호처리시스템
JP3428697B2 (ja) * 1993-09-07 2003-07-22 キヤノン株式会社 画像復号化方法
DE69431226T2 (de) * 1993-09-28 2003-04-17 Canon K.K., Tokio/Tokyo Bildwiedergabegerät
KR0126657B1 (ko) * 1993-10-28 1997-12-29 구자홍 디지탈 영상 복원을 위한 움직임 보상장치
US6137835A (en) * 1993-11-16 2000-10-24 Canon Kabushiki Kaisha Picture coding apparatus using orthogonal transforms
JP3356516B2 (ja) * 1993-12-28 2002-12-16 シャープ株式会社 動画像符号化装置
DE4405803C2 (de) * 1994-02-23 1997-04-30 Bosch Gmbh Robert Verfahren zur Quellcodierung
EP0674448B1 (en) * 1994-03-25 2002-01-09 Nec Corporation Video image reproduction with high speed
US5668598A (en) * 1995-03-27 1997-09-16 International Business Machines Corporation Motion video compression system with guaranteed bit production limits
US5838964A (en) * 1995-06-26 1998-11-17 Gubser; David R. Dynamic numeric compression methods
US5740282A (en) * 1995-06-30 1998-04-14 Iterated Systems, Inc. System and method for contractive mapping resynchronization of a data transmission
US5990852A (en) * 1996-10-31 1999-11-23 Fujitsu Limited Display screen duplication system and method
EP0861001B1 (en) * 1997-02-07 2012-05-23 Texas Instruments Incorporated Error resilient video encoding
JP3217987B2 (ja) 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
JPH10336654A (ja) * 1997-06-02 1998-12-18 Nec Corp 画像符号化装置
US7570645B2 (en) * 2000-01-18 2009-08-04 Viasat, Inc. Frame format and frame assembling/disassembling method for the frame format
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
FR2776411B1 (fr) * 1998-03-23 2001-05-11 Canon Kk Procede et dispositif de codage et decodage de donnees, notamment de sequences d'images numeriques
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
JP2000181448A (ja) * 1998-12-15 2000-06-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
US6697430B1 (en) * 1999-05-19 2004-02-24 Matsushita Electric Industrial Co., Ltd. MPEG encoder
EP1081963B1 (en) * 1999-08-31 2005-12-07 Lucent Technologies Inc. Video signal error detection systems
US7221761B1 (en) 2000-09-18 2007-05-22 Sharp Laboratories Of America, Inc. Error resilient digital video scrambling
JP4107544B2 (ja) * 2000-10-23 2008-06-25 三菱電機株式会社 画像信号の再符号化装置
JP3932379B2 (ja) * 2001-10-02 2007-06-20 株式会社日立製作所 画像処理装置と撮像素子
US20040001547A1 (en) * 2002-06-26 2004-01-01 Debargha Mukherjee Scalable robust video compression
JP4141372B2 (ja) * 2003-11-05 2008-08-27 富士通株式会社 無線通信装置、無線通信方法および無線通信プログラム
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
KR100678050B1 (ko) * 2004-10-27 2007-02-02 삼성전자주식회사 이동 통신 시스템에서 영상 데이터를 송수신하기 위한장치 및 방법
US8774272B1 (en) 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
US7397400B2 (en) * 2005-12-02 2008-07-08 Viasat, Inc. Variable length data encapsulation and encoding
WO2008075663A1 (ja) * 2006-12-21 2008-06-26 Ajinomoto Co., Inc. 大腸癌の評価方法、ならびに大腸癌評価装置、大腸癌評価方法、大腸癌評価システム、大腸癌評価プログラムおよび記録媒体
WO2008143345A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム
JP2009182623A (ja) * 2008-01-30 2009-08-13 Panasonic Corp 画像符号化方法
US8061358B2 (en) 2008-10-20 2011-11-22 Rampup, Llc Birthing aid: method of using musculoskeletal repositioning device
US8297286B2 (en) 2008-10-20 2012-10-30 Rampup, Llc Physical rehabilitation and training aid: method of using musculoskeletal repositioning device
US7918228B2 (en) * 2008-10-20 2011-04-05 Smernoff Gerald N Musculoskeletal repositioning device
KR101345098B1 (ko) * 2009-12-18 2013-12-26 한국전자통신연구원 실시간 영상품질 측정 장치 및 방법
CN109348226B (zh) * 2017-04-08 2022-11-11 腾讯科技（深圳）有限公司 一种图片文件处理方法及智能终端
NO344797B1 (en) * 2019-06-20 2020-05-04 Pexip AS Early intra coding decision
CN116320536B (zh) * 2023-05-16 2023-08-18 瀚博半导体(上海)有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59185487A (ja) * 1983-04-05 1984-10-22 Nec Corp 多値画像信号の適応予測符号化装置
JPS60158786A (ja) * 1984-01-30 1985-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> 画像動き量検出方式
JPS6115485A (ja) * 1984-07-02 1986-01-23 Oki Electric Ind Co Ltd 画像符号化方式
JPS6248188A (ja) * 1985-08-27 1987-03-02 Fujitsu Ltd 適応符号化方式
JPS62193383A (ja) * 1986-02-20 1987-08-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号伝送方式
NL8601447A (nl) * 1986-06-05 1988-01-04 Philips Nv Werkwijze en inrichting voor het opnemen en/of weergeven van videoinformatie in respektievelijk van een registratiedrager, en een registratiedrager verkregen volgens de werkwijze.
JPH082106B2 (ja) * 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
JP2750717B2 (ja) * 1988-12-15 1998-05-13 国際電信電話 株式会社 画像伝送誤り訂正方式
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2776424B2 (ja) * 1989-10-09 1998-07-16 富士通株式会社 セル廃棄補償画像復号化方式
DE69031106D1 (de) * 1989-10-09 1997-09-04 Fujitsu Ltd System zum Übertragen von Bilddaten
JP2776425B2 (ja) * 1989-10-09 1998-07-16 富士通株式会社 セル廃棄補償画像復号化方式
JP2971094B2 (ja) * 1990-04-13 1999-11-02 沖電気工業株式会社 画像符号化装置
US5134477A (en) * 1990-12-11 1992-07-28 At&T Bell Laboratories Hdtv receiver
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
JP3217789B2 (ja) * 1992-11-17 2001-10-15 富士通株式会社 ディジタル画像通信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会技術研究報告，ＩＥ８８−８７，Ｐ．４５−５２

Also Published As

Publication number Publication date
EP0740471A3 (ja) 1996-12-11
DE69225642T2 (de) 1998-11-12
CA2073120A1 (en) 1993-01-05
US5510839A (en) 1996-04-23
DE69232803T2 (de) 2003-06-18
DE69232803D1 (de) 2002-11-07
EP0521529B1 (en) 1998-05-27
US5627590A (en) 1997-05-06
DE69225642D1 (de) 1998-07-02
EP0740471A2 (en) 1996-10-30
JPH0514392A (ja) 1993-01-22
EP0521529A3 (ja) 1994-01-05
CA2073120C (en) 1999-04-20
EP0740471B1 (en) 2002-10-02
EP0521529A2 (en) 1993-01-07
US5844628A (en) 1998-12-01

Similar Documents

Publication Publication Date Title
JP3002019B2 (ja) セル廃棄補償機能を有する画像符号化伝送方式
US7593464B2 (en) Information processing apparatus and method, and program storage medium
EP1098528B1 (en) Device for predicting and decoding image
US5438374A (en) System and method for filtering video signals
US5737022A (en) Motion picture error concealment using simplified motion compensation
JP3224465B2 (ja) 画像符号化装置
Pancha et al. A look at the MPEG video coding standard for variable bit rate video transmission
US20070002945A1 (en) Intra-coding apparatus and method
US5771081A (en) Bit system for transmitting digital video data
JP3519441B2 (ja) 動画像伝送装置
JP3260730B2 (ja) 画像符号化装置および画像伝送システム
KR100213289B1 (ko) 에이치. 263 영상 비트 스트림에서의 에러 검출방법
JPH0951538A (ja) 画像信号の符号化方法
Vetro et al. True motion vectors for robust video transmission
CN100481950C (zh) 数字信号转换装置
JP2776424B2 (ja) セル廃棄補償画像復号化方式
KR100212544B1 (ko) 에이치. 263 영상 비트 스트림에서의 에러 검출 방법
KR100213288B1 (ko) 에이치. 263 영상 비트 스트림에서의 에러 검출방법
KR0178242B1 (ko) 에이치(h).263 영상 비트 스트림에서의 에러 검출방법
KR100203711B1 (ko) 에이치. 263 영상 비트 스트림에서의 에러 검출방법
Frossard et al. Adaptive MPEG-2 information structuring
KR100220579B1 (ko) 에이치.263 영상 비트 스트림에서의 에러 검출방법
KR0178243B1 (ko) 에이치.263 영상 비트 스트림에서의 에러 검출방법
Chan et al. Fast motion estimation algorithm for an MPEG video coder
Lin et al. An Efficient Object-Based Error Concealment algorithm for MPEG-2 video transmission

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19990112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19991102

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees