JP2004363875A

JP2004363875A - 画像信号処理方法および装置

Info

Publication number: JP2004363875A
Application number: JP2003159159A
Authority: JP
Inventors: Katsuya Oshima; 勝也大島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-24

Abstract

【課題】複数の映像信号を簡単且つ安価な装置により符号化して伝送路を介して伝送し復号して出力映像信号を得る画像信号処理方法および装置を提供する。
【解決手段】複数の映像信号１〜ｎを、画面合成部１１により１つの画面２０に合成し、この合成画像信号を符号化制御部１３の制御下で符号化部１２により符号化し、伝送路１４を介して伝送し、復号化部１５にて選択されたチャネルの映像信号を再生出力する。符号化制御部１３は、外部からビットレートが設定されると共に画面合成部１１からの各映像信号の配置情報により、各映像信号の特性に応じた量子化の細かさを制御可能にする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像信号処理方法および装置に関し、特に複数の映像信号を圧縮符号化して出力する画像信号処理方法および装置に関する。
【０００２】
【従来の技術】
複数の映像信号を圧縮符号化して単一伝送路を介して伝送したい場合がある。図５は、従来の一般的な画像信号処理装置のブロック図である。この画像信号処理装置１００は、複数の映像信号１〜ｎが入力され符号化部１０１−１〜１０１−ｎ、これら符号化部１０１を制御する符号化制御信号を出力する符号化制御部１０２、符号化部１０１により符号化された信号を多重化する多重化部１０３、多重化部１０３を制御する多重化制御部１０４、多重化部１０３で多重化された画像（映像）信号を伝送する伝送路１０５、この伝送路１０５で伝送された画像信号を復号する復号化部１０６により構成されている。
【０００３】
ここで、多重化部１０３は、複数の符号化部１０１−１〜１０１−ｎにより符号化された画像信号を１つの符号化信号に多重化される。その際に、多重化制御部１０４から出力される制御信号に従って各符号化部１０１の出力信号にプログラムＩＤ（識別信号）を付ける。そして、復号化部１０６では、どの符号化部１０１で符号化された信号であるかを識別可能にする。多重化部１０３から出力される多重化信号は、伝送路１０５を介して復号化部１０６に入力されるが、復号化部１０６では、チャネル選択信号に従って該当するプログラムＩＤの信号のみを抽出し、符号化部１０１側での処理に対応した復号化処理を行い、映像信号として出力可能に構成されている。
【０００４】
斯かる技術分野における又は関連する多くの従来技術が知られている。ＶＴＲの特殊再生等において複数の画面を合成して表示する映像合成装置が開示されている（例えば、特許文献１参照。）。また、多地点から送られてくる映像符号化データを、画像合成回路を用いて１つの画面に合成してから可変長復号する映像信号多重化復号化装置が開示されている（例えば、特許文献２参照。）。更に、圧縮符号化された大画面の画像信号に対して復号化・符号化処理の反復を回避し、高画質を保持する画像符号変換方式が開示されている（例えば、特許文献３参照。）。
【０００５】
【特許文献１】
特開２００１−１５７１３８号公報（第４−６頁、第１図）
【特許文献２】
特開平４−３１７２８５号公報（第３頁、第１図）
【特許文献３】
特開平９−２１４９７０号公報（第３−４頁、第１図）
【０００６】
【発明が解決しようとする課題】
上述の如き従来技術には、幾つかの課題があった。先ず、装置が高価になることである。その理由は、入力される映像の数に対応する符号化部が必要になり且つ複数の符号化された信号を単一の伝送路で伝送するための多重化部が必要になるためである。
【０００７】
更に、各映像の符号化処理の効率が悪く且つ効率を改善するには複雑なシステムを必要とすることである。その理由は、一般に伝送路の帯域は固定である。伝送する映像信号数が多いと、それぞれビットレートを割り当てて、各符号化部は、割り当てられたビットレートの範囲で符号化処理を行う。即ち、動きの激しいスポーツ等の映像も、動きの少ない風景等の映像も同じビットレートで符号化処理する場合も想定されるが、スポーツ映像ではビットレートが不足して画質劣化が発生し、風景映像では必要以上のビットレートが割り当てられて、設定ビットレートを満たすために無駄なダミーデータを伝送するという非効率な状況が発生する可能性があるからである。また、この事態を防止するには、入力映像を予め管理してきめ細かく符号化部のビットレートを設定するか又は入力映像の特性を自動的に判断して各符号化部にビットレートを割り当てる、所謂統計多重符号化等の複雑なシステムを必要とするからである。
【０００８】
【発明の目的】
本発明は、従来技術の上述した課題に鑑みなされたものであり、斯かる課題を解消又は軽減可能な画像信号処理方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前述の課題を解決するため、本発明による画像信号処理方法および装置は、次のような特徴的な構成を採用している。
【００１０】
（１）複数の映像信号を圧縮符号化して伝送する画像信号処理方法において、前記複数の映像信号を単一画面に画面合成し、該合成された画像信号を符号化して伝送する画像信号処理方法。
【００１１】
（２）前記符号化は、前記各映像信号の性質に応じて量子化の細かさ等を制御する上記（１）の画像信号処理方法。
【００１２】
（３）更に、前記伝送された画像信号を復号して出力映像を得る上記（１）又は（２）の画像信号処理方法。
【００１３】
（４）前記伝送された画像信号の復号は、選択されたチャネルのみについて行う上記（３）の画像信号処理方法。
【００１４】
（５）前記単一画面に合成された画面データのうち有効な映像領域以外を黒データとする上記（１）、（２）、（３）又は（４）の画像信号処理方法。
【００１５】
（６）前記符号化は、前記合成された画像信号又は前記複数の映像信号から選択された信号を切替えて行う上記（１）乃至（５）の何れかの画像信号処理方法。
【００１６】
（７）複数の映像信号を符号化して伝送路を介して伝送し復号化して出力映像を得る画像信号処理装置において、
前記複数の映像信号を１つの画面に合成する画面合成部と、該画面合成部で合成された画像信号を符号化する符号化部と、前記伝送路を介して伝送され前記符号化部で符号化された画像信号を選択的に復号する復号化部とを備える画像信号処理装置。
【００１７】
（８）前記符号化部は、前記画像信号をＭＰＥＧ等の圧縮符号化する上記（７）の画像信号処理装置。
【００１８】
（９）前記符号化部は、前記画面合成部に前記複数の映像信号の画面をどのように配置したかの位置情報が入力される符号化制御部により制御される上記（７）又は（８）の映像信号処理装置。
【００１９】
【発明の実施の形態】
以下、本発明による画像信号処理方法および装置の好適実施形態の構成および動作を、添付図面を参照して詳細に説明する。
【００２０】
先ず、図１は、本発明による画像信号符号化伝送装置の好適実施形態の構成を示すブロック図である。図１に示す画像信号処理装置１０は、複数の映像信号１〜ｎが入力される画面合成部１１、この画面合成部１１で合成された信号を符号化する符号化部１２、この符号化部１２を制御する符号化制御部１３、符号化部１２で符号化された信号を伝送する伝送路１４および伝送路１４を介して伝送された信号を復号する復号化部１５により構成される。
【００２１】
本発明による画像信号処理装置１０は、入力される複数の映像信号（映像１、映像２、・・・、映像ｎ）を、画面合成部１１にて予め１つの大画面映像信号に変換されることを特徴とする。ここで、大画面映像に変換する具体例を、図２を参照して説明する。図２において、画面２０は、大きさが水平方向Ｘおよび垂直方向Ｙの映像である。ここでは、画面２０の中に、画面２１、２２、２３、２４および２５の５種類の映像を合成した例を示している。画面２１は、画面２０内での（ａｘ１、ａｙ１）の座標から（ａｘ２、ａｙ２）の座標までに配置される。同様に、画面２２は、画面２０内での（ｂｘ１、ｂｙ１）の座標から（ｂｘ２、ｂｙ２）の座標までに配置される。画面２３は、画面２０内での（ｃｘ１、ｃｙ１）の座標から（ｃｘ２、ｃｙ２）の座標までに配置される。画面２４は、画面２０内での（ｄｘ１、ｄｙ１）の座標から（ｄｘ２、ｄｙ２）の座標までに配置される。そして、画面２５は、画面２０内での（ｅｘ１、ｅｙ１）の座標から（ｅｘ２、ｅｙ２）の座標までに配置される。このように、画面２０のサイズの範囲内に、複数の画面２１〜２５を配置し、１つの画面２０の映像信号として合成するものである。尚、大画面２０のうち、画像が含まれない領域（図２中の右側の余白部）は、黒データとして、有効映像領域以外に必要な符号量を最小にするのが好ましい。
【００２２】
再度、図１を参照して、本発明による画像信号処理装置１０について更に説明する。画面合成部１１にて合成された映像信号は、符号化部１２に入力される。また、画面をどのように配置したかの位置情報は、符号化制御部１３に入力される。符号化部１２に入力された映像信号は、圧縮符号化処理される。圧縮符号化の方法は、例えばＭＰＥＧ２（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−２）方式等である。
【００２３】
ここで、符号化部１２の具体例として、ＭＰＥＧ２の圧縮符号化の構成について、図３を参照して説明する。図３に示す符号化部３０は、減算部５１、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）部５２、量子化部５３、可変長符号化部５４、バッファ５５、逆量子化部５６、逆ＤＣＴ部５７、動き検出部５８、動き補償部５９、フレーム遅延部６０および加算部６１により構成される。
【００２４】
この符号化部３０において、画像データは、減算部５１および動き検出部５８に接続されている。減算部５１は入力画像データと、動き補償部５９から出力される１フレーム前のデータとの間の差分信号を生成し、ＤＣＴ部５２に出力する。ＤＣＴ部５２は、離散コサイン変換処理を行い、画像の差分データを周波数成分に変換して変換係数データを出力する。ＤＣＴ部５２の出力は、量子化部５３に入力される。
【００２５】
量子化部５３では、符号化制御信号を用いて変換係数データを量子化し、量子化データを可変長符号化部５４および逆量子化部５６に出力する。符号化制御信号は、例えば量子化の細かさを制御するＱパラメータ等である。可変長符号化部５４は、量子化データに対してハフマン符号等を用いて可変長符号化し、入力される符号化制御信号や映像配置情報信号、動き検出部５８から供給される動ベクトル信号と共に予め規定されたフォーマットに変換し出力する。可変長符号化部５４の出力は、バッファ部５５に入力される。バッファ部５５では、フレーム毎に変動する符号量を目標となる符号量で平滑化して、圧縮データとして出力する。
【００２６】
一方、逆量子化部５６では、量子化データを逆量子化し、変換係数データに戻す処理を行っている。但し、量子化部５３での量子化処理によって失われる成分があるので、逆量子化処理によって戻される変換係数データは、ＤＣＴ部５２の出力と全く同じ変換係数データに戻るわけではない。その失われる成分は、量子化誤差と呼ばれ、これが画質の劣化となる。逆量子化部５６の出力は、逆ＤＣＴ部５７に入力され、離散コサイン逆変換が行われる。逆ＤＣＴ部５７の出力は、加算部６１に入力されて、動き補償部５９から出力される１フレーム前のデータと加算処理が行われ、画像信号に戻される。その画像信号は、上述の量子化誤差を含んでおり、復号側と同じ画質の画像データであることから局部復号データと呼ばれる。加算部６１から出力される局部復号データは、フレーム遅延部６０に入力され、１フレーム遅延が行われる。１フレーム遅延された局部復号データは、動き補償部５９に入力される。
【００２７】
動き補償部５９では、動き検出部５８から出力される動きベクトル等の動き情報を使用して入力画像データで動きのある部分の位置に、局部復号データの位置を一致させる処理を行う。これは、減算部５１において、動きがある部分でも大きな差分データが出ないようにするために行っている。動き補償部５９から出力されるデータは、減算部５１および加算部６１に入力される。また、動き検出部５８は、入力画像データを蓄積し、それぞれの画面で動きの大きさおよび方向等を検出して動きベクトルとして、動き補償部５９および可変長符号化部５４に接続されている。以上の構成により、入力の映像信号を圧縮することが可能になる。
【００２８】
図１において、符号化制御部１３では、符号化部１２での圧縮符号化処理の制御を行う。この際、例えば符号化制御部１３に入力される設定情報により、出力のビットレートが設定される。また、画面合成部１１から出力される各映像の配置情報により、各映像の特性に応じた符号化を行なう等である。即ち、設定ビットレートにより、符号化部１２の内部における量子化の細かさを制御し又は特定の映像入力の画質を上げたい場合に、その映像が配置されている場所のみ量子化を細かくする等の制御を行なう。
【００２９】
以上の方法で符号化された符号化信号は、伝送路１４を経て復号化部１５に入力される。復号化部１５では、入力される符号化信号に対して、圧縮符号化方式に対応して復号化して映像信号を出力する。このときチャンネル選択信号に従った映像信号のみを出力する。
【００３０】
次に、復号化部１５の具体例を、図４を参照して説明する。図４に示す複号化部４０は、バッファ７１、可変長復号化部７２、逆量子化部７３、逆ＤＣＴ部７４、加算部７５、動き補償部７６、フレーム遅延部７７および領域選択部７８により構成される。
【００３１】
この複号化部４０において、入力される符号化データは、バッファ部７１に入力される。バッファ部７１では、伝送路１４のビットレートで平滑化された符号を、フレーム毎に変動する符号に変換する。バッファ部７１から出力される符号データは、可変長復号化部７２で、符号化部側に対応した復号化処理がなされる。可変長復号化部７２では、量子化データ、符号化制御信号、動ベクトル信号および映像配置情報信号に変換し、それぞれ逆量子化部７３、動き補償部７６および領域選択部７８に入力される。
【００３２】
逆量子化部７３では、符号化制御信号を用いて量子化データを逆量子化し、変換係数データに戻す処理を行っている。逆量子化部７３の出力は、逆ＤＣＴ部７４に入力され、離散コサイン逆変換が行われる。逆ＤＣＴ部７４の出力は、加算部７５に入力されて、動き補償部７６から出力される１フレーム前のデータと加算処理が行われ、復号データに戻される。その復号データは、符号化部側での局部復号データと同じものになる。加算部７５から出力される復号データは、フレーム遅延部７７および領域選択部７８に入力される。
【００３３】
フレーム遅延部７７では、復号データの１フレーム遅延が行われる。１フレーム遅延された復号データは、動き補償部７６に入力される。この動き補償部７６では、可変長復号化部７２から出力される動きベクトル等の動き情報を使い、動きに応じて画面内で復号データの位置を変える処理を行う。動き補償部７６から出力されるデータは、加算部７５に戻される。また、領域選択部７８では、チャンネル選択信号に従った映像を、映像配置情報信号が示す位置から抜き出して、映像信号として出力する。以上の構成により、符号化データの復号化処理が可能になる。
【００３４】
以上、図１において複数映像を１つの画面に合成する本発明の好適実施形態について説明した。次に、本発明の他の実施形態又は変形例について説明する。１つの大画面映像をそのまま符号化処理する場合と複数の映像信号から選択された信号を切替えて符号化部１２で符号化することも可能である。例えば、時間帯によって、ハイビジョン（ＨＤＴＶ）映像を１画面で符号化して伝送し又は標準ＴＶ（ＳＤＴＶ）映像を４画面合成して符号化して伝送するといった使用形態にも本発明を適用可能である。
【００３５】
また、図３の符号化部および図４の復号化部について、ここではＭＰＥＧ２方式を具体例として説明したが、ＭＰＥＧ２以外の圧縮符号化方式、例えばＪＰＥＧ方式、ＭＰＥＧ１方式、ＭＰＥＧ４方式等の映像符号化方式でも適用することが可能である。また、動画像のみならず、静止画像の伝送にも適用可能である。
【００３６】
更に、上述した実施形態においては、画面合成した映像の配置情報を符号化データに多重して伝送する例について説明したが、予め配置する位置を規定しておいて映像の配置情報の伝送を省略することも可能である。また、インターネット等の別の伝送手段を使用して伝送してもよい。
【００３７】
更にまた、上述の好適実施形態では、復号化部側で任意のチャンネルを選択する例について説明したが、符号化側にて特定チャンネルの映像位置の情報も重畳して伝送し、復号化部側で強制的にその位置の情報を出力することも可能である。例えば、災害等の臨時映像を伝送し、臨時映像伝送時は優先的にその映像を出力したい場合等に適用可能である。また、上述の好適実施形態では、装置として説明しているが、ソフトウェアで同様の処理を行うことも可能である。
【００３８】
以上、本発明の実施形態の構成および動作を詳述した。しかし、斯かる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではない。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。
【００３９】
【発明の効果】
以上の説明から理解される如く、本発明によると、次の如き実用上の顕著な効果が得られる。先ず、装置のコストが大幅に低減可能である。その理由は、単一の符号化部（又は手段）により複数の映像信号を一気に符号化することにより、映像信号毎に符号化部を設ける必要がなくなるからである。また、複数の符号化部の出力の符号化データを１つにまとめるための多重化部も不要になるからである。
【００４０】
更に、各映像信号に対する圧縮符号化品質を、常に良好にすることが可能である。その理由は、例えば入力映像１が激しい動きの多いスポーツ映像であり、入力映像２が殆ど動きのない風景映像である場合には、画面内の符号化困難な箇所に優先的にビットを割り当て、符号両がそれほど必要でない風景映像には少ない符号を割り当てることで、全体的に効率のより符号化が可能であるからである。
【図面の簡単な説明】
【図１】本発明による画像信号符号化伝送装置の基本構成を示すブロック図である。
【図２】図１に示す画像信号符号化伝送装置における合成画像の具体例を示す図である。
【図３】図１に示す画像信号符号化伝送装置を構成する符号化部の具体例を示すブロック図である。
【図４】図１に示す画像信号符号化伝送装置を構成する復号化部の具体例を示すブロック図である。
【図５】従来の画像信号符号化伝送装置の構成を示すブロック図である。
【符号の説明】
１０画像信号処理装置
１１画面合成部
１２、３０符号化部
１３符号化制御部
１４伝送路
１５、４０復号化部
２０合成画面

Claims

複数の映像信号を圧縮符号化して伝送する画像信号処理方法において、
前記複数の映像信号を単一画面に画面合成し、該合成された画像信号を符号化して伝送することを特徴とする画像信号処理方法。
前記符号化は、前記各映像信号の性質に応じて量子化の細かさ等を制御することを特徴とする請求項１に記載の画像信号処理方法。
更に、前記伝送された画像信号を復号して出力映像を得ることを特徴とする請求項１又は２に記載の画像信号処理方法。
前記伝送された画像信号の復号は、選択されたチャネルのみについて行うことを特徴とする請求項３に記載の画像信号処理方法。
前記単一画面に合成された画面データのうち有効な映像領域以外を黒データとすることを特徴とする請求項１、２、３又は４に記載の画像信号処理方法。
前記符号化は、前記合成された画像信号又は前記複数の映像信号から選択された信号を切替えて行うことを特徴とする請求項１乃至５の何れかに記載の画像信号処理方法。
複数の映像信号を符号化して伝送路を介して伝送し復号化して出力映像を得る画像信号処理装置において、
前記複数の映像信号を１つの画面に合成する画面合成部と、該画面合成部で合成された画像信号を符号化する符号化部と、前記伝送路を介して伝送され前記符号化部で符号化された画像信号を選択的に復号する復号化部とを備えることを特徴とする画像信号処理装置。
前記符号化部は、前記画像信号をＭＰＥＧ等の圧縮符号化することを特徴とする請求項７に記載の画像信号処理装置。
前記符号化部は、前記画面合成部に前記複数の映像信号の画面をどのように配置したかの位置情報が入力される符号化制御部により制御されることを特徴とする請求項７又は８に記載の映像信号処理装置。