JP2013128188A - 画像符号化装置 - Google Patents

Abstract

【課題】
入力画像を画質の異なる２つの符号化方式で符号化する際のデータバスの負荷を軽減する。
【解決手段】
入力動画像の各画像データは、ＤＲＡＭ１０４に格納される。符号化器（１０１）は、ＤＲＡＭ１０４の画像データを読み出し、ＨＤ画質で符号化する。符号化器（１０２）は、ＤＲＡＭ１０４からＢピクチャ以外で符号化すべき画像データを読み出し、符号化器（１０１）の符号化と同時にＳＤ画質で符号化する。入力動画像の同時符号化の終了後、符号化器（１０１）は、符号化器（１０２）で符号化しなかったＢピクチャに対応する符号化画像を復号化し、符号化器（１０２）は、符号化器（１０１）で復号化した画像をＢピクチャとして符号化する。
【選択図】 図１

Description

本発明は、動画像データを圧縮符号化する画像符号化装置に関し、特に入力画像を画像サイズ又はフォーマットの異なる２系統で同時記録する画像符号化装置に関する。

近年、１９２０×１０８０画素の、いわゆるフルＨＤ（High Definition）サイズの動画像を撮影及び記録できるデジタルビデオカムコーダが広く普及している。また、インターネットにおけるブロードバンドインフラの整備と普及に伴い、インターネットを通じて動画像を配信すること、動画像を動画共有サイトにアップロードすることが、普通に行われている。

通常、保存しておきたい動画像は高画質で残しておきたいので、フルＨＤサイズ、かつ高ビットレートで記録することが多い。しかし、インターネット上の動画共有サイトにアップロードする場合などには、フルＨＤサイズかつ高ビットレートではファイルサイズが大きすぎて扱いづらい。このような場合、ファイルサイズを小さくするため、パーソナルコンピュータ等を使い、記録画像を再生し、画像サイズを小さくし、低ビットレートで再符号化を行うことがある。

このように２系統の異なる符号化処理を行いたい場合、記録画像を再符号化する手間がかかる。また、最初の符号化による劣化を含んだ画像を再符号化することで、劣化が助長される。

他方、撮影画像を高画質と低画質の２系統で同時に符号化・記録することが提案されている（特許文献１，２）。これにより、再符号化の手間を省くことができ、再符号化による画質劣化も生じない。

特開２００４−３４３５７６号公報 特開２００６−３３３９３号公報

２系統の符号化処理を同時に行う場合、１系統の符号化処理しか行わない場合に比べてデータバス上を流れるデータ量が大幅に増加する。そのため、各符号化器が十分な処理性能を持っている場合でも、バスボトルネックにより、符号化処理が所定の処理サイクル数で終了しないケースが起こりうる。このような場合、符号化が終了しなかったフレームはコマ落ちしてしまい、正しい画像を符号化処理することができない。

本発明は、少ない負荷で画質の異なる２つの動画記録を実現する画像符号化装置を提示することを目的とする。

本発明に係る画像符号化装置は、入力画像を第１の画像サイズの動画像として符号化する第１の符号化手段と、前記入力画像を前記第１の画像サイズよりも小さい第２の画像サイズの動画像として符号化する第２の符号化手段と、前記第１の符号化手段により符号化された動画像を記録媒体に記録する記録手段とを具備し、前記第２の符号化手段は、前記第１の符号化手段と同時動作をするときには、前記入力画像を構成する一部の画像を符号化し、前記同時動作の終了後に、前記入力画像を構成する前記一部の画像以外の画像に対して、前記記録媒体に記録される前記第１の符号化手段により符号化された画像を前記第１の符号化手段で復号化したものを符号化することを特徴とする。

本発明によれば、２系統の異なる符号化処理を同時に行う場合に第２の符号化手段の符号化対象画像を制限することで、データバス上に流れるデータ量を削減できる。バスボトルネックを低減することにより、コマ落ちをすることなく正常に符号化処理を行うことが可能となる。

本発明の一実施例の概略構成ブロック図である。 ２つの符号化部による各ピクチャの符号化シーケンス例を示す模式図である。 本実施例の符号化処理の動作フローチャートである。 ２つの符号化部による各ピクチャの別の符号化シーケンス例を示す模式図である。 本発明の別の実施例の概略構成ブロック図である。 図５に示す実施例の符号化制御の動作フローチャートである。 図５に示す実施例における各ピクチャの符号化シーケンス例の模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。本実施例では、２系統の符号化処理として、フルＨＤサイズのＨ．２６４符号化方式とＳＤサイズのＭＰＥＧ−２符号化方式を採用するが、符号化方式および画像サイズはこの説明例に限ったものではない。すなわち、符号化方式および画像サイズは、後に説明する条件を満たす限り、どのようなものでもよい。

第１の符号化器１０１は、フルＨＤサイズ（第１の画像サイズ）の画像をＨ．２６４符号化方式で符号化処理および復号処理を行うことのできる符号化器である。第２の符号化器１０２はＳＤ（Standard Definition：７２０×４８０画素）サイズ（第２の画像サイズ）の画像をＭＰＥＧ−２符号化方式で符号化処理および復号処理を行うことのできる符号化器である。また、第２の符号化器１０２は、フルＨＤサイズ（第１の画像サイズ）からＳＤサイズ（第２の画像サイズ）への縮小機能を持つ。

カメラ信号処理１０３は入力画像データにフィルタ処理などの画像処理を行い、データバス１０７およびメモリインターフェイス１０５を通じてＤＲＡＭ１０４に画像データを格納する。ＤＲＡＭ１０４に格納された画像データが符号化対象画像データとなる。以降、この符号化対象画像を原画像と記す。制御用ＣＰＵ１０６は、画像符号化装置の全体処理の制御を行う。

符号化器１０１，１０２は、ＤＲＡＭ１０４に格納されている原画像データをメモリインターフェイス１０５及びデータバス１０７を介して読み出し、それぞれ符号化処理を行う。符号化器１０１，１０２は、それぞれ単独で動作させた場合には所定の時間内に処理を行う能力があるとする。例えば、３０フレーム／秒の画像の場合、１フレーム当たり３３ｍｓ以内で処理を終えることができる。

符号化器１０１，１０２により符号化された動画像データは、記録媒体１０８に記録される。記録媒体１０８は、ハードディスク又は不揮発性半導体メモリ等からなる記録媒体と当該記録媒体のインタフェース（記録部）とを有する。

２系統の同時記録を行う場合、符号化器１０１，１０２の両方を同時に動作させる必要がある。符号化器１０１，１０２には十分な処理性能があるが、画像データは共通のデータバス１０７を通じて読み出すことになるので、バスの競合が起きる。すなわち、符号化器１０１が画像データをＤＲＡＭ１０４から読み出しているとき、符号化器１０２はＤＲＡＭ１−４の画像データにアクセスできない。逆も同様である。このバス競合により、画像データの読み出し動作が遅くなり、所定の処理サイクル数で符号化処理が終了しないケースが発生しうる。

本実施例では、このような問題を、以下に説明するようにデータバス１０７を介したデータアクセス量を減らすことで、解決する。

Ｈ．２６４符号化方式とＭＰＥＧ−２符号化方式には、Ｉピクチャ（Ｉｎｔｒａピクチャ）と、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅピクチャ）と、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅピクチャ）の３種類のピクチャタイプがある。Ｉピクチャは、画面内の情報だけで符号化を行う画面内符号化のピクチャである。Ｐピクチャは、前方予測により符号化を行うピクチャである。Ｂピクチャは、前方予測と後方予測の双方向予測により符号化を行うピクチャである。通常、ＩピクチャとＰピクチャは、それより後に符号化されるピクチャの参照画像となるが、Ｂピクチャは、何れの参照画像にもならない。

２系統の同時記録を行う際、符号化器１０１は全ての原画像の符号化を行うが、符号化器１０２はＩピクチャとＰピクチャのみを原画像から符号化を行う。即ち、符号化器１０２は、Ｂピクチャの原画像からの符号化を行わない。なお、符号化器１０２でのＢピクチャに該当する画像の符号化は、同時記録の符号化動作が終了した後に符号化器１０１で符号化した符号化ストリームを復号処理し、その復号画像を入力画像として再符号化することにより実現する。このような処理により、同時記録時におけるデータバス１０７を介したデータアクセス量を削減できる。Ｂピクチャは、参照画像にならないので、原画像から符号化しなくても、他のピクチャの画質に影響しない。

一般に、参照画像が劣化すると、その後段で符号化される画像に劣化が伝播するので、画質劣化の影響が大きくなる。全ての画像を再符号化する場合に比べて、参照画像となりうるＩピクチャとＰピクチャを元の原画像を用いて符号化を行うので、ＩピクチャとＰピクチャには、再符号化による画質劣化がない。本実施例では、再符号化はＢピクチャのみとなるので、ＳＤ画像に対して画質劣化を最小限に抑えた良好な符号化画像データを得ることができる。

そもそも、Ｂピクチャでは双方向予測を行うため、Ｉピクチャ及びＰピクチャと比較して、参照画像の読み込みのためのデータアクセス量が非常に多い。従って、同時記録時に符号化器１０２がＢピクチャの符号化を行わないことで、データバス１０７を介したデータアクセス量を大幅に削減できる。

図２は、本実施例の符号化シーケンス例を示す。符号化順に並ぶ原画像２０１〜２０６に対し、符号化器１０１，１０２は、ＩＢＢＰＢＢ…構成のＧＯＰ（Group Of Picture）でＩピクチャ、Ｂピクチャ及びＰピクチャを生成する。すなわち、符号化器１０１は、原画像２０１〜２０６から、Ｉピクチャ２１１、Ｂピクチャ２１２，２１３、Ｐピクチャ２１４及びＢピクチャ２１５，２１６の符号化ストリームを作成する。他方、符号化器１０２は、同時記録時には、原画像２０１からＩピクチャ２２１を、原画像２０４からＰピクチャ２２４を生成する。符号化器１０１，１０２により符号化された動画像データは、記録媒体１０８に記録される。

同時記録の終了後に、符号化器１０１がＢピクチャ２１２，２１３，２１５，２１６を復号化し、符号化器１０２が再符号化によりＢピクチャ２２２，２２３，２２５，２２６を生成する。これにより、ＳＤ画質の符号化ストリームが生成される。ここで生成されるＢピクチャ２２２，２２３，２２５，２２６の符号化画像データは、記録媒体１０８に先に記録された符号化画像データからなる符号化ストリームにマージされる。

図３は、本実施例の符号化処理の動作フローチャートを示す。２系統の同時記録処理として、符号化器１０１が原画像２０１〜２０６を符号化し、符号化器１０２が原画像２０１，２０４を符号化する（Ｓ３１）。符号化されたストリームはＤＲＡＭ１０４に格納される。

同時記録の終了後、符号化器１０２は、不足するＢピクチャの参照画像となるＩピクチャ２２１の符号化画像データを記録媒体１０８から読み出し、復号化する（Ｓ３２）。符号化器１０１は、符号化器１０２の入力画像となるＢピクチャ２１２，２１３を記録媒体１０８から読み出し、復号化する（Ｓ３３）。符号化器１０２は、符号化器１０１で復号されたＢピクチャ２１２，２１３の画像を入力画像としてＢピクチャ２２２，２２３を符号化する（Ｓ３４）。必要なＢピクチャの符号化器１０１による復号化及び符号化器１０２による符号化が完了するまで（Ｓ３５）、Ｓ３２、Ｓ３３、Ｓ３４を繰り返す。

以上の処理により、符号化器１０２による全画像の符号化ストリームが完成する。

本実施例では、符号化器１０２は、符号化器１０１と同時動作又は同時符号化をするときには、入力画像を構成する一部の画像のみを符号化する。そして、同時動作又は同時符号化の終了後に、符号化器１０２は、入力画像の前記一部の画像以外の画像、即ち未だ符号化していない画像に対して、符号化器１０１による符号化画像を再符号化する。

このような処理により、同時記録時のデータバス１０７上の転送データ量を大幅に削減でき、その結果、バスボトルネックによるコマ落ちを防止できる。Ｂピクチャのみを再符号化するので、全画像を再符号化する場合と比較して、再符号化による画質劣化を最小限に抑えることができ、処理時間も短縮できる。

同時記録時に符号化器１０２がＢピクチャだけではなく、Ｐピクチャの符号化も行わないようにしてもよい。こうすることで、同時記録時のデータバスの競合を更に緩和できる。但し、再符号化の対象となるピクチャが増えることで、相対的に，実施例１よりも画質は劣化する。

図４は、図２に対応する本実施例の符号化シーケンス例を示す。図４では、符号化順に並ぶ原画像４０１〜４０９に対し、符号化器１０１，１０２は、ＩＢＢＰＢＢ…構成のＧＯＰでＩピクチャ、Ｂピクチャ及びＰピクチャを生成する。具体的には、符号化器１０１は、原画像４０１〜４０９からＩピクチャ４１１、Ｂピクチャ４１２，４１３、Ｐピクチャ４１４、Ｂピクチャ４１５，４１６、Ｐピクチャ４１７、Ｂピクチャ４１８，２１９・・・の符号化ストリームを作成する。他方、符号化器１０２は、同時記録時には、原画像４０１からＩピクチャ４２１を、原画像４０７からＩピクチャ４２７を生成する。同時記録の終了後には、符号化器１０１がＢピクチャ２１２，２１３，２１５，２１６を復号化し、符号化器１０２が再符号化によりＢピクチャ２２２，２２３，２２５，２２６を生成する。これにより、ＳＤ画質の符号化ストリームが生成される。

実施例１の場合と比較し、同時記録時に符号化器１０２はＢピクチャだけでなく、Ｐピクチャの符号化も行わないので、データバス１０７を介したデータアクセス量をさらに削減できる。

図５は、本発明の第３実施例の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してある。図１との相違部分を主に説明する。

符号化制御部５０１が、符号化器１０１ａ及び第２の符号化器１０２ａのピクチャごとの処理サイクル数に従い、それぞれの符号化方式を変更する。具体的に説明すると、符号化制御部５０１は、同時記録時に、符号化器１０１ａの処理サイクル数（以降、「第１の処理サイクル数」と記す）との符号化器１０２ａの処理サイクル数（以降、「第２の処理サイクル数」と記す）を受け取る。符号化制御部５０１は、これらの処理サイクル数を用いて、２種類の符号化方式を制御する。一つは、同時記録時に符号化器１０１ａ，１０２ａが共に、通常どおりに全ての原画像を符号化する方式である。これを、通常符号化処理モードと記す。もう一つは、同時記録時に符号化器１０１ａは全ての原画像の符号化処理を行うが、符号化器１０２ａはＩピクチャとＰピクチャのみ、原画像の符号化処理を行い、Ｂピクチャの符号化処理を行わない方式である。これを、特殊符号化処理モードと記す。特殊符号化処理モードは実施例１として説明した符号化方式である。特殊符号化処理モードでは、符号化器１０２ａはＢピクチャの符号化処理を行わないので、通常符号化処理モードと比較し、平均の処理サイクル数を少なくすることができる。

図６は、符号化制御部５０１による符号化モード制御の動作フローチャートを示す。符号化制御部５０１は、フレームごとに符号化器１０１ａから第１の処理サイクル数を、符号化器１０２ａから第２の処理サイクル数を受け取る（Ｓ６１）。符号化制御部５０１は、第１の処理サイクル数と第２の処理サイクル数の内の多い方を選択し、現在のフレームの処理サイクル数とする（Ｓ６２）。符号化制御部５０１は、現在のフレームの処理サイクル数、およびそれ以前のフレーム単位の平均処理サイクル数から、現在のフレーム単位の平均処理サイクル数Ｃａｖｇを算出する（Ｓ６３）。

現在のモードが通常符号化処理モードか特殊符号化処理モードかによって処理が分岐する（Ｓ６４）。現在のモードが通常符号化処理モードの場合（Ｓ６４）、符号化制御部５０１は、平均処理サイクル数Ｃａｖｇを所定サイクル数αと比較する（Ｓ６５）。平均処理サイクル数Ｃａｖｇが所定サイクル数αよりも小さい場合（Ｓ６５）、符号化制御部５０１は、通常符号化処理モードを継続する（Ｓ６６）。平均処理サイクル数Ｃａｖｇが所定サイクル数α以上の場合（Ｓ６５）、符号化制御部５０１は、特殊符号化モードに変更する（Ｓ６７）。

現在のモードが特殊符号化処理モードの場合（Ｓ６４）、符号化制御部５０１は、平均処理サイクル数Ｃａｖｇを所定サイクル数βと比較する（Ｓ６８）。平均処理サイクル数Ｃａｖｇが所定サイクル数βよりも大きい場合（Ｓ６８）、符号化制御部５０１は、特殊符号化処理モードを継続する（Ｓ６９）。平均処理サイクル数Ｃａｖｇが所定サイクル数β以下の場合（Ｓ６８）、符号化制御部５０１は、通常符号化処理モードに変更する（Ｓ７０）。ここで、βはαより小さい。

全画像の符号化が終了するまで、Ｓ６１以降を繰り返す（Ｓ７１）。全画像の符号化が終了すると（Ｓ７１）、特殊符号化処理モード時に符号化器１０２ａが符号化を行わなかった画像について、符号化器１０１ａによる復号化と符号化器１０２ａによる再符号化を実行する（Ｓ７２）。これにより、符号化器１０２ａによる全画像の符号化が完成する。

図６に示すフローでは、平均処理サイクル数がαを超えると特殊符号化処理モードになるので、その後の平均処理サイクル数は小さくなっていく。十分に平均処理サイクル数が小さくなった場合、即ち、平均処理サイクル数がβよりも小さくなった場合に、通常符号化処理モードに復帰する。α、βを適切に設定することで、平均処理サイクル数を所望サイクル数以下に収めることができる。また、必要な部分しか再符号化処理を行わないので、全てのＢピクチャを再符号化する場合と比較し、良好な画像を得ることができる。

符号化制御部５０１は結局、平均処理サイクル数に従い、符号化器１０２ａが同時符号化の終了後に符号化すべき画像の符号化の有無又は範囲を制御する。

図１に示す構成において、２系統の同時記録時に符号化器１０１の符号化におけるＧＯＰ構成と、符号化器１０２の符号化におけるＧＯＰ構成を異ならせることで、データバス１０７のデータ転送量を削減できる。

実施例１との相違部分を詳細に説明する。図７は、符号化器１０１，１０２のそれぞれのＧＯＰ構成例を示す。図７に示す例では、符号化器１０１の符号化におけるＧＯＰ構成はＢＩＢＰＢＰ・・・であり、符号化器１０２の符号化におけるＧＯＰ構成はＩＢＰＢＰＢ・・・となっている。符号化器１０２がＢピクチャとして符号化を行うべき画像として、原画像の代わりに、同時記録終了後に符号化器１０１の復号画像を用いる。原画像の代替とする画像は、劣化の少ないものであるのが好ましく、この点で、ＩピクチャとＰピクチャが原画像の代替として好ましい。

換言すると、本実施例では、符号化器１０２のＢピクチャに対して符号化器１０１のＩピクチャ又はＰピクチャが対応するように、両者のＧＯＰ構成を異ならせる。これにより、符号化器１０２のＢピクチャに対し、符号化器１０１のＩピクチャ又はＰピクチャからの再符号化が可能となり、再符号化による画質劣化を低減できる。

Claims (5)

1. 入力画像を第１の画像サイズの動画像として符号化する第１の符号化手段と、
   前記入力画像を前記第１の画像サイズよりも小さい第２の画像サイズの動画像として符号化する第２の符号化手段と、
   前記第１の符号化手段により符号化された動画像を記録媒体に記録する記録手段
   とを具備し、
   前記第２の符号化手段は、前記第１の符号化手段と同時動作をするときには、前記入力画像を構成する一部の画像を符号化し、前記同時動作の終了後に、前記入力画像を構成する前記一部の画像以外の画像に対して、前記記録媒体に記録される前記第１の符号化手段により符号化された画像を前記第１の符号化手段で復号化したものを符号化する
   ことを特徴とする画像符号化装置。
2. 前記入力画像を構成する前記一部の画像は、前記第２の符号化手段が画面内符号化する画像であることを特徴とする請求項１に記載の画像符号化装置。
3. 更に、前記第１の符号化手段及び前記第２の符号化手段からそれぞれの処理サイクル数の情報を受け取り、前記第２の符号化手段による前記一部の画像の符号化の有無を制御する符号化制御手段を具備することを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記一部の画像が、前記第２の符号化手段が他の画像を符号化する際に参照画像となる画像であることを特徴とする請求項１ないし３の何れか１項に記載の画像符号化装置。
5. 前記第１の符号化手段の符号化シーケンスを表すＧＯＰ構成と前記第２の符号化手段の符号化シーケンスを表すＧＯＰ構成とが異なり、前記第２の符号化手段による符号化で参照画像とならない画像が、前記第１の符号化手段による符号化で参照画像となりうる画像と対応することを特徴とする請求項１乃至４の何れか１項に記載の画像符号化装置。

Images