JP2012049611A - 画像処理装置と画像処理方法 - Google Patents

Abstract

【課題】多視点画像を符号化処理する場合に、視点間での画質の違いを容易に少なくできるようにする。
【解決手段】ビデオ入力部２１Ｌ（２１Ｒ）のタイムコード読み取り部２２Ｌ（２２Ｒ）は、左眼用画像（右眼用画像）の各画像データからタイムコードを読みとってＣＰＵ２５Ｌ（２５Ｒ）に供給する。ＣＰＵ２５Ｌ（２５Ｒ）は、符号化処理の開始をタイムコードに基づき制御して、タイムコードが所定の値となったとき符号化処理部２４Ｌ（２４Ｒ）に対してピクチャタイプを順次通知する処理を開始する。すなわち、タイムコードに基づき左眼用画像の符号化処理と右眼用画像の符号化処理におけるピクチャタイプを同期させることができるので、視点間での画質の違いを容易に少なくできる。
【選択図】 図１

Description

この発明は、画像処理装置と画像処理方法に関する。詳しくは、多視点画像の符号化処理において視点間で画質の違いを少なくする。

近年、画像情報をディジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及している。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。さらに、ＭＰＥＧ２といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現できるＨ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０という画像符号化方式が標準化されている。

また、このような画像符号化方式を用いてステレオ画像を記録することが行われている。例えば、特許文献１では、左眼用画像を奇数フィールドおよび右眼用画像を偶数フィールドにそれぞれ配置して、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順に、順次符号化することが行われている。

特開平７−１２３４４７号公報

ところで、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを使用して高効率の圧縮を行う場合、ピクチャタイプの違いにより歪みの乗りかたが異なるため画質に違いを生じる。このため、多視点画像例えば左眼用画像と右眼用画像を個別にＬｏｎｇＧＯＰ（Group Of Pictures）構造で符号化処理して、立体画像の符号化ストリームを生成する場合、左眼用画像と右眼用画像でピクチャタイプが異なると違和感のある立体画像となってしまう。したがって、左眼用画像と右眼用画像を個別にＬｏｎｇＧＯＰ構造で符号化処理する場合、ピクチャタイプを同期させることが望ましい。

ここで、左眼用画像符号化装置と右眼用画像符号化装置が密結合とされており、左眼用画像符号化装置と右眼用画像符号化装置のピクチャタイプを１つの制御装置で指定する場合、ピクチャタイプを同期させることは容易である。しかし、左眼用画像符号化装置と右眼用画像符号化装置が疎結合とされている場合、ピクチャタイプを同期させて視点間での画質の違いを少なくすることが密結合の場合に比べて困難である。例えば、各画像符号化装置がモジュール化されて独立に動作する場合、各画像符号化装置を高速なインタフェースで接続して通信を行わなければ、一方の画像符号化装置で符号化処理を行うときのピクチャタイプを他方の画像符号化装置で識別することができない。したがって、疎結合の場合は、視点間での画質の違いを少なくすることが密結合の場合に比べて困難である。

そこで、この発明では、多視点画像を個々に符号化処理する場合に、視点間での画質の違いを容易に少なくすることができる画像処理装置と画像処理方法を提供する。

この発明の第１の側面は、
多視点画像の各画像データからタイムコードを読み取るタイムコード読み取り部と、
前記画像データを視点毎に符号化処理する符号化処理部と、
前記符号化処理の開始を前記タイムコードに基づき制御して、前記視点毎の符号化処理におけるピクチャタイプを同期させる制御部と
を有する画像処理装置にある。

この発明においては、タイムコード読み取り部によって画像データから読み取ったタイムコードが例えば所定の値となったとき、制御部は符号化処理部におけるＬｏｎｇＧＯＰ（Group Of Pictures）構造での符号化処理を開始させる。また、制御部は、符号化処理におけるピクチャタイプを設定する。このような処理を多視点画像の各画像データに対して行うことで、ピクチャタイプを同期させて符号化処理が行われる。また、シーンチェンジ検出部でシーンチェンジが検出されたとき、ＧＯＰ構造を変更してＩピクチャが挿入される。また、ＧＯＰ構造の変更前後ではＢピクチャの位相が一致される。ＧＯＰ構造の変更では、シーンチェンジが検出されたＧＯＰと次のＧＯＰのＧＯＰ長が変更されて、シーンの切り替わりでＩピクチャが挿入される。または、シーンチェンジが検出されたＧＯＰを分割して、シーンの切り替わりでＩピクチャが挿入される。

この発明の第２の側面は、
画像符号化装置で多視点画像の画像データの符号化処理を行う画像符号化方法において、
前記多視点画像の各画像データからタイムコードを読み取る工程と、
前記画像データを視点毎に符号化処理する工程と、
前記符号化処理の開始を前記タイムコードに基づき制御して、前記視点毎の符号化処理におけるピクチャタイプを同期させる工程とを
設けた画像符号化方法にある。

この発明によれば、符号化処理の開始が多視点画像の各画像データから読み取られたタイムコードに基づき制御されて、視点毎の符号化処理におけるピクチャタイプが同期したピクチャタイプに設定される。このため、多視点画像を個々に符号化処理する場合に、視点間での画質の違いを容易に少なくすることができる。

第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 ピクチャタイプ設定処理を示すフローチャートである。 第１の実施の形態の動作を例示した図である。 第２の実施の形態の構成を示すフローチャートである。 第２の実施の形態の動作を示すフローチャートである。 シーンチェンジを考慮したピクチャタイプ設定処理を示すフローチャートである。 第２の実施の形態の動作を例示した図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態

＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本発明の画像処理装置の第１の実施の形態の構成を例示している。なお、図１は、多視点画像の画像処理として、例えば左眼用画像と右眼用画像の符号化処理を行う場合の構成を例示している。

画像処理装置１０は、左眼用画像の符号化処理を行う左眼用画像符号化部２０Ｌと、右眼用画像の符号化処理を行う右眼用画像符号化部２０Ｒ、マルチプレクサ４０、コントローラ５０を有している。

左眼用画像符号化部２０Ｌは、ビデオ入力部２１Ｌと符号化処理部２４Ｌ、ＣＰＵ(Central Processing Unit)２５Ｌを有している。また、ビデオ入力部２１Ｌは、タイムコード読み取り部２２Ｌを有している。

ビデオ入力部２１Ｌは、左眼画像のベースバンド信号ＤＶ-Lを、符号化処理に対応したデータ例えば輝度データと色差データに変換して符号化処理部２４Ｌに出力する。タイムコード読み取り部２２Ｌはベースバンド信号ＤＶ-Lに含まれているタイムコードを読み取りＣＰＵ２５Ｌに出力する。

符号化処理部２４Ｌは、ＣＰＵ２５Ｌから供給された制御信号に基づき左眼画像の符号化処理を行う。符号化処理部２４Ｌは、左眼画像の符号化処理によって得られた符号化データをマルチプレクサ４０に出力する。

ＣＰＵ２５Ｌは、コントローラ５０から供給された初期設定コマンド等とタイムコード読み取り部２２Ｌから供給されたタイムコードに基づき制御信号を生成する。ＣＰＵ２５Ｌは、生成した制御信号を符号化処理部２４Ｌに供給して、符号化処理部２４Ｌの動作を制御する。

右眼用画像符号化部２０Ｒは、左眼用画像符号化部２０Ｌと同様に、ビデオ入力部２１Ｒと符号化処理部２４Ｒ、ＣＰＵ(Central Processing Unit)２５Ｒを有している。また、ビデオ入力部２１Ｒは、タイムコード読み取り部２２Ｒを有している。

ビデオ入力部２１Ｒは、右眼画像のベースバンド信号ＤＶ-Rを、符号化処理に対応したデータ例えば輝度データと色差データに変換して符号化処理部２４Ｒに出力する。タイムコード読み取り部２２Ｒはベースバンド信号ＤＶ-Rに含まれているタイムコードを読み取りＣＰＵ２５Ｒに出力する。

符号化処理部２４Ｒは、ＣＰＵ２５Ｒから供給された制御信号に基づき右眼画像の符号化処理を行う。符号化処理部２４Ｒは、右眼画像の符号化処理によって得られた符号化データをマルチプレクサ４０に出力する。

ＣＰＵ２５Ｒは、コントローラ５０から供給された初期設定コマンド等とタイムコード読み取り部２２Ｒから供給されたタイムコードに基づき制御信号を生成する。ＣＰＵ２５Ｒは、生成した制御信号を符号化処理部２４Ｒに供給して、符号化処理部２４Ｒの動作を制御する。

左眼用画像符号化部２０Ｌに供給されるベースバンド信号ＤＶ-Lと、右眼用画像符号化部２０Ｒに供給されるベースバンド信号ＤＶ-Rは、リファレンスビデオ信号ＤＶrefに同期した信号である。また、リファレンスビデオ信号ＤＶrefは、左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒに供給されて、リファレンスビデオ信号ＤＶrefに同期した動作が左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒで行われる。

マルチプレクサ４０は、左眼用画像符号化部２０Ｌから出力された符号化データと右眼用画像符号化部２０Ｒから出力された符号化データを多重化して１つの符号化ストリームＴＳとして出力する。

コントローラ５０は、初期設定コマンドの発行等を行い、左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒにおける符号化条件の設定やマルチプレクサ４０の出力設定等を行う。例えば、コントローラ５０は、符号化処理の開始タイミングの設定やＧＯＰ長の設定、出力ビットレートの設定等を行う
＜画像処理装置の動作＞
図２は、第１の実施の形態の動作を示すフローチャートである。

ステップＳＴ１でＣＰＵ２５Ｌ（２５Ｒ）は、初期設定コマンドの受け取りを行う。ＣＰＵ２５Ｌ（２５Ｒ）は、コントローラ５０から出力された初期設定コマンドを受け取る。また、ＣＰＵ２５Ｌ（２５Ｒ）は、受け取った初期設定コマンドに基づき符号化処理の設定を行う。例えばＣＰＵ２５Ｌ（２５Ｒ）は、初期設定コマンドに基づき符号化処理の開始タイミング（符号化処理を開始するタイムコード値）の設定やＬｏｎｇＧＯＰ構造の設定を行いステップＳＴ２に進む。なお、初期設定コマンドで設定されたＬｏｎｇＧＯＰ構造において、ＧＯＰ長（ＧＯＰを構成するピクチャ数）を「Ｎ」、参照画像となるＩピクチャまたはＰピクチャの間隔を「Ｍ」として、以下の説明を行う。

ステップＳＴ２でＣＰＵ２５Ｌ（２５Ｒ）は、符号化開始ピクチャが入力されたか判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、タイムコード読み取り部２２Ｌ（２２Ｒ）から供給されたタイムコードが、初期設定コマンドに基づいて設定した開始タイミング（タイムコード値）である場合にステップＳＴ３に進む。また、ＣＰＵ２５Ｌ（２５Ｒ）は、開始タイミングとなっていない場合にステップＳＴ２に戻る。

ステップＳＴ３でＣＰＵ２５Ｌ（２５Ｒ）は、ピクチャタイプ設定処理を行う。図３は、ピクチャタイプ設定処理を示すフローチャートである。

図３のステップＳＴ１１でＣＰＵ２５Ｌ（２５Ｒ）は、ＧＯＰの開始ピクチャであるか判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、符号化対象の画像がＧＯＰの開始ピクチャである場合にステップＳＴ１２に進み、開始ピクチャでない場合にステップＳＴ１３に進む。例えば、ＣＰＵ２５Ｌ（２５Ｒ）は、ＧＯＰ内においてピクチャタイプの設定がまだ行われていないピクチャ数を示すカウントダウン値ＲＮが「０」である場合、ＧＯＰの開始ピクチャと判別してステップＳＴ１２に進む。また、ＣＰＵ２５Ｌ（２５Ｒ）は、カウントダウン値ＲＮが「０」でない場合、ステップＳＴ１３に進む。なお、動作開始時のカウントダウン値ＲＮは「０」とする。

ステップＳＴ１２でＣＰＵ２５Ｌ（２５Ｒ）は、ＧＯＰのパラメータをリセットする。ＣＰＵ２５Ｌ（２５Ｒ）は、カウントダウン値ＲＮをＧＯＰのピクチャ数Ｎに設定する。また、ＣＰＵ２５Ｌ（２５Ｒ）は、Ｉピクチャ設定済みフラグをオフ状態とする。Ｉピクチャ設定済みフラグは、ＧＯＰ内において、Ｉピクチャが設定された場合にオン状態とされる。ＣＰＵ２５Ｌ（２５Ｒ）は、このようにパラメータをリセットしてステップＳＴ１３に進む。

ステップＳＴ１３でＣＰＵ２５Ｌ（２５Ｒ）は、Ｂピクチャの位相であるか判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、例えばカウントダウン値ＲＮをＩピクチャまたはＰピクチャの間隔Ｍで割った余りが「１」でない場合に、Ｂピクチャの位相と判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、符号化対象の画像がＧＯＰ内におけるＢピクチャの位相である場合にステップＳＴ１４に進み、Ｂピクチャの位相でない場合にステップＳＴ１５に進む。

ステップＳＴ１４でＣＰＵ３５Ｌ（３５Ｒ）は、符号化対象の画像をＢピクチャに設定してステップＳＴ１８に進む。

ステップＳＴ１５でＣＰＵ２５Ｌ（２５Ｒ）は、ＧＯＰ内でＩピクチャが設定されているか判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、ＧＯＰ内でＩピクチャが設定されている場合例えばＩピクチャ設定済みフラグがオン状態である場合にステップＳＴ１６に進む。また、ＣＰＵ２５Ｌ（２５Ｒ）は、Ｉピクチャが設定されていない場合、例えばＩピクチャ設定済みフラグがオフ状態である場合にステップＳＴ１７に進む。

ステップＳＴ１６でＣＰＵ２５Ｌ（２５Ｒ）は、ピクチャタイプをＰピクチャに設定する。ＣＰＵ２５Ｌ（２５Ｒ）は、Ｂピクチャの位相と異なり、ＩピクチャがＧＯＰ内で既に設定されていることから、符号化対象の画像をＰピクチャに設定してステップＳＴ１８に進む。

ステップＳＴ１７でＣＰＵ２５Ｌ（２５Ｒ）は、ピクチャタイプをＩピクチャに設定する。ＣＰＵ２５Ｌ（２５Ｒ）は、Ｂピクチャの位相と異なり、ＧＯＰ内でＩピクチャが設定されていないことから、符号化対象の画像をＩピクチャに設定してステップＳＴ１８に進む。また、ＣＰＵ２５Ｌ（２５Ｒ）は、Ｉピクチャを設定したことからＩピクチャ設定済みフラグをオン状態とする
ステップＳＴ１８でＣＰＵ２５Ｌ（２５Ｒ）は、カウントダウン値ＲＮを１つ減少させる。ＣＰＵ２５Ｌ（２５Ｒ）は、ステップＳＴ１４，１６，１７の何れかの処理でピクチャタイプの設定が完了したことから、カウントダウン値ＲＮを１つ減少させて図２のステップＳＴ４に戻る。

図２のステップＳＴ４でＣＰＵ２５Ｌ（２５Ｒ）は、符号化処理を符号化処理部２４Ｌ（２４Ｒ）で行わせる。ＣＰＵ２５Ｌ（２５Ｒ）は、ステップＳＴ３のピクチャタイプ設定処理で設定したピクチャタイプで符号化対象の画像を符号化処理するように符号化処理部２４Ｌ（２４Ｒ）を制御してステップＳＴ５に進む。

ステップＳＴ５でＣＰＵ２５Ｌ（２５Ｒ）は、符号化停止コマンドを受け取ったか判別する。ＣＰＵ２５Ｌ（２５Ｒ）は、コントローラ５０から符号化停止コマンドを受け取った場合、多視点画像の符号化処理を終了する。また、ＣＰＵ２５Ｌ（２５Ｒ）は、符号化停止コマンドを受け取っていない場合にステップＳＴ３に戻り、引き続き符号化処理を行う。

このように画像データから読み取ったタイムコードを利用することで、左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒが疎結合とされている場合でも、容易にピクチャタイプを同期させることができる。したがって、左眼用画像の符号化歪みと右眼用画像の符号化歪みが異なり違和感のある立体画像となってしまうことを防止して、画像の品質を向上させることができる。また、タイムコードに基づいてピクチャタイプを同期させることができるので、既存の画像符号化処理部を用いて立体画像システムを容易に構築できる。

図４は、第１の実施の形態の動作を例示した図であり、左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒのそれぞれで設定されたピクチャタイプを示している。なお、図４において、ＧＯＰ長を「Ｎ＝１５」、参照画像となるＩピクチャまたはＰピクチャの間隔を「Ｍ＝３」として、固定周期でピクチャタイプを設定した場合を示している。また、コントローラ５０から出力された初期設定コマンドによって、符号化処理を開始するタイムコード値は「ＴＣs」に設定されているとする。

図４の（Ａ）はＧＯＰ内におけるＢピクチャの位相、図４の（Ｂ）はピクチャタイプを設定した場合のカウントダウン値ＲＮを示している。また、図４の（Ｃ）は左眼用画像のベースバンド信号ＤＶ-Lに対して設定したピクチャタイプ、図４の（Ｄ）は右眼用画像のベースバンド信号ＤＶ-Rに対して設定したピクチャタイプを示している。

左眼用画像符号化部２０Ｌは、ベースバンド信号ＤＶ-Lのタイムコード値が「ＴＣs」となったとき、ピクチャタイプをフレーム毎に設定して符号化処理を行う。同様に、右眼用画像符号化部２０Ｒは、ベースバンド信号ＤＶ-Rのタイムコード値が「ＴＣs」となったとき、ピクチャタイプをフレーム毎に設定して符号化処理を行う。ここで、ＧＯＰの最初のフレームはＢピクチャの位相であるから、タイムコード値が「ＴＣs」のフレーム（符号化開始フレーム）をＢピクチャに設定する。また、最初のフレームのピクチャタイプを設定したことからカウントダウン値ＲＮは「１４」となる。

符号化開始フレームから１フレーム後のフレームは、Ｂピクチャの位相であるからＢピクチャに設定する。また、ピクチャタイプを設定したことからカウントダウン値ＲＮは「１３」となる。

符号化開始フレームから２フレーム後のフレームは、Ｂピクチャの位相ではなく、ＧＯＰ内において当該フレームまでにＩピクチャの設定が行われていないことから、当該フレームをＩピクチャに設定する。ピクチャタイプを設定したことからカウントダウン値ＲＮは「１２」となる。

符号化開始フレームから３フレーム後と４フレーム後のフレームは、Ｂピクチャの位相であることからＢピクチャに設定する。また、符号化開始フレームから５フレーム後のフレームは、Ｂピクチャの位相ではなく、ＧＯＰ内において当該フレームまでにＩピクチャの設定が行われていることから、当該フレームをＰピクチャに設定する。

以下同様にしてピクチャタイプの設定を行うと、符号化開始フレームから１４フレーム後のフレームに対してＰピクチャを設定したとき、カウントダウン値ＲＮは「０」となる。したがって、ＧＯＰのパラメータをリセットして、次のフレームをＧＯＰの先頭フレームとして、順次ピクチャタイプを設定できる。

したがって、左眼用画像符号化部２０Ｌと右眼用画像符号化部２０Ｒが疎結合とされている場合でも、図４の（Ｃ）と図４の（Ｄ）に示すようにピクチャタイプを容易に同期させることができる。

なお、第１の実施の形態では、符号化処理を開始するタイムコードを、左眼用画像と右眼用画像で等しい値に設定した。しかし、左眼用画像の符号化処理の開始と右眼用画像の符号化処理の開始とのフレーム差をＧＯＰ長の整数倍とすれば、左眼用画像の符号化処理と右眼用画像の符号化処理を等しいタイムコードで開始しなくとも、ピクチャタイプを同期させることができる。

＜２．第２の実施の形態＞
ところで、左眼用画像や右眼用画像でシーンチェンジが行われた場合、シーンチェンジ前とシーンチェンジ後の画像間で相関が低い。したがって、シーンチェンジが生じた場合にＩピクチャを挿入することで、符号化効率の低下や画質劣化を防止することが可能となる。そこで、第２の実施の形態では、シーンチェンジが生じた場合にも対応可能な画像処理装置について説明する。

［画像処理装置の構成］
図５は、画像処理装置の第２の実施の形態を例示している。なお、図５においても、多視点画像の画像処理として、例えば左眼用画像と右眼用画像の符号化処理を行う場合の構成を例示している。

画像処理装置１０ａは、左眼用画像の符号化処理を行う左眼用画像符号化部３０Ｌと、右眼用画像の符号化処理を行う右眼用画像符号化部３０Ｒ、マルチプレクサ４０、コントローラ５０を有している。

左眼用画像符号化部３０Ｌは、ビデオ入力部３１Ｌとシーンチェンジ検出部３３Ｌ、符号化処理部３４Ｌ、ＣＰＵ(Central Processing Unit)３５Ｌを有している。また、ビデオ入力部３１Ｌは、タイムコード読み取り部３２Ｌを有している。

ビデオ入力部３１Ｌは、左眼画像のベースバンド信号ＤＶ-Lを、符号化処理に対応したデータ例えば輝度データと色差データに変換してシーンチェンジ検出部３３Ｌと符号化処理部３４Ｌに出力する。タイムコード読み取り部３２Ｌはベースバンド信号ＤＶ-Lに含まれているタイムコードを読み取りＣＰＵ３５Ｌに出力する。

シーンチェンジ検出部３３Ｌは、ビデオ入力部３１Ｌから出力された左眼画像の輝度データや色差データに基づきシーンチェンジ検出を行い、シーンチェンジ検出信号をＣＰＵ３５Ｌに出力する。

符号化処理部３４Ｌは、ＣＰＵ３５Ｌから供給された制御信号に基づき左眼画像の符号化処理を行う。符号化処理部３４Ｌは、左眼画像の符号化処理によって得られた符号化データをマルチプレクサ４０に出力する。

ＣＰＵ３５Ｌは、コントローラ５０から供給された初期設定コマンド等とタイムコード読み取り部３２Ｌから供給されたタイムコードに基づき制御信号を生成する。ＣＰＵ３５Ｌは、生成した制御信号を符号化処理部３４Ｌに供給して、符号化処理部３４Ｌの動作を制御する。さらに、ＣＰＵ３５Ｌは、シーンチェンジ検出部３３Ｌから供給されたシーンチェンジ検出信号に基づき、シーンチェンジが検出されたと判別した場合、ＧＯＰ構造を変更してＩピクチャを挿入する。

右眼用画像符号化部３０Ｒは、ビデオ入力部３１Ｒとシーンチェンジ検出部３３Ｒ、符号化処理部３４Ｒ、ＣＰＵ(Central Processing Unit)３５Ｒを有している。また、ビデオ入力部３１Ｒは、タイムコード読み取り部３２Ｒを有している。

ビデオ入力部３１Ｒは、右眼画像のベースバンド信号ＤＶ-Rを、符号化処理に対応したデータ例えば輝度データと色差データに変換してシーンチェンジ検出部３３Ｒと符号化処理部３４Ｒに出力する。タイムコード読み取り部３２Ｒはベースバンド信号ＤＶ-Rに含まれているタイムコードを読み取りＣＰＵ３５Ｒに出力する。

シーンチェンジ検出部３３Ｒは、ビデオ入力部３１Ｒから出力された右眼画像の輝度データや色差データに基づきシーンチェンジ検出を行い、シーンチェンジ検出信号をＣＰＵ３５Ｒに出力する。

符号化処理部３４Ｒは、ＣＰＵ３５Ｒから供給された制御信号に基づき右眼画像の符号化処理を行う。符号化処理部３４Ｒは、右眼画像の符号化処理によって得られた符号化データをマルチプレクサ４０に出力する。

ＣＰＵ３５Ｒは、コントローラ５０から供給された初期設定コマンド等とタイムコード読み取り部３２Ｒから供給されたタイムコードに基づき制御信号を生成する。ＣＰＵ３５Ｒは、生成した制御信号を符号化処理部３４Ｒに供給して、符号化処理部３４Ｒの動作を制御する。さらに、ＣＰＵ３５Ｒは、シーンチェンジ検出部３３Ｒから供給されたシーンチェンジ検出信号に基づき、シーンチェンジが検出されたと判別した場合、ＧＯＰ構造を変更してＩピクチャを挿入する。

左眼用画像符号化部３０Ｌに供給されるベースバンド信号ＤＶ-Lと、右眼用画像符号化部３０Ｒに供給されるベースバンド信号ＤＶ-Rは、リファレンスビデオ信号ＤＶrefに同期した信号である。また、リファレンスビデオ信号ＤＶrefは、左眼用画像符号化部３０Ｌと右眼用画像符号化部３０Ｒに供給されて、リファレンスビデオ信号ＤＶrefに同期した動作が行われる。

マルチプレクサ４０は、左眼用画像符号化部３０Ｌから出力された符号化データと右眼用画像符号化部３０Ｒから出力された符号化データを多重化して１つの符号化ストリームＴＳとして出力する。

コントローラ５０は、初期設定コマンドの発行等を行い、左眼用画像符号化部３０Ｌと右眼用画像符号化部３０Ｒにおける符号化条件の設定やマルチプレクサ４０の出力設定等を行う。例えば、コントローラ５０は、符号化処理の開始タイミングの設定やＧＯＰ長の設定、出力ビットレートの設定等を行う
＜画像符号化装置の動作＞
図６は、第２の実施の形態の動作を示すフローチャートである。

ステップＳＴ２１でＣＰＵ３５Ｌ（３５Ｒ）は、初期設定コマンドの受け取りを行う。ＣＰＵ３５Ｌ（３５Ｒ）は、コントローラ５０から出力された初期設定コマンドを受け取る。また、ＣＰＵ３５Ｌ（３５Ｒ）は、受け取った初期設定コマンドに基づき符号化処理の設定を行う。例えばＣＰＵ３５Ｌ（３５Ｒ）は、初期設定コマンドに基づき符号化処理の開始タイミング（符号化処理を開始するタイムコード値）の設定やＬｏｎｇＧＯＰ構造の設定を行いステップＳＴ２２に進む。なお、初期設定コマンドで設定されたＬｏｎｇＧＯＰ構造において、ＧＯＰ長（ＧＯＰを構成するピクチャ数）を「Ｎ」、参照画像となるＩピクチャまたはＰピクチャの間隔を「Ｍ」として、以下の説明を行う。

ステップＳＴ２２でＣＰＵ３５Ｌ（３５Ｒ）は、符号化開始ピクチャが入力されたか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、タイムコード読み取り部３２Ｌ（３２Ｒ）から供給されたタイムコードが、初期設定コマンドに基づいて設定した開始タイミング（タイムコード値）である場合にステップＳＴ２３に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、開始タイミングとなっていない場合にステップＳＴ２２に戻る。

ステップＳＴ２３でＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジを考慮したピクチャタイプ設定処理を行う。図７は、シーンチェンジを考慮したピクチャタイプ設定処理を示すフローチャートである。

図７のステップＳＴ３１でＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰの開始ピクチャであるか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、符号化対象の画像がＧＯＰの開始ピクチャである場合にステップＳＴ３２に進み、開始ピクチャでない場合にステップＳＴ３３に進む。例えば、ＣＰＵ３５Ｌ（３５Ｒ）は、ピクチャタイプの設定がまだ行われていないピクチャ数を示すカウントダウン値ＲＮが「０」である場合、ＧＯＰの開始ピクチャと判別してステップＳＴ３２に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、カウントダウン値ＲＮが「０」でない場合、ステップＳＴ３３に進む。なお、動作開始時のカウントダウン値ＲＮは「０」とする。

ステップＳＴ３２でＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰのパラメータをリセットする。ＣＰＵ３５Ｌ（３５Ｒ）は、カウントダウン値ＲＮをＧＯＰのピクチャ数Ｎに設定する。また、ＣＰＵ３５Ｌ（３５Ｒ）は、Ｉピクチャ設定済みフラグをオフ状態とする。Ｉピクチャ設定済みフラグは、ＧＯＰ内において、Ｉピクチャが設定された場合にオン状態とされるフラグである。さらに、ＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジ検出フラグをオフ状態とする。このように、ＣＰＵ３５Ｌ（３５Ｒ）はパラメータをリセットしてステップＳＴ３３に進む。

ステップＳＴ３３でＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジを検出したか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジ検出部３３Ｌ（３３Ｒ）から供給されたシーンチェンジ検出結果に基づき、シーンチェンジ検出部３３Ｌ（３３Ｒ）でシーンチェンジが検出されたと判別したときはステップＳＴ３４に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジが検出されたと判別していないときはステップＳＴ３７に進む。

ステップＳＴ３４でＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰ内でＩピクチャが設定されているか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰ内でＩピクチャが設定されている場合例えばＩピクチャ設定済みフラグがオン状態である場合にステップＳＴ３５に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、Ｉピクチャが設定されていない場合、例えばＩピクチャ設定済みフラグがオフ状態である場合にステップＳＴ３７に進む。

ステップＳＴ３５でＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジ禁止フラグがオフ状態であるか判別する。シーンチェンジ禁止フラグは、シーンチェンジが検出された場合にＧＯＰ構造を変更するシーンチェンジ処理期間中であるかを示すフラグである。シーンチェンジ禁止フラグは、シーンチェンジ処理期間中である場合にオン状態とされるフラグである。ＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジ検出フラグがオフ状態である場合にステップＳＴ３６に進み、オン状態である場合にステップＳＴ３７に進む。

ステップＳＴ３６でＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジ処理を行う。ＣＰＵ３５Ｌ（３５Ｒ）は、シーンチェンジが検出された場合、ＧＯＰ構造の変更を行いＩピクチャを挿入してステップＳＴ３７に進む。ＣＰＵ３５Ｌ（３５Ｒ）は、例えばシーンチェンジ処理としてカウントダウン値ＲＮにＧＯＰのピクチャ数Ｎを加算して新たなカウントダウン値ＲＮとする。また、ＣＰＵ３５Ｌ（３５Ｒ）は、Ｉピクチャ設定済みフラグをオフ状態、シーンチェンジ禁止フラグをオン状態とする。さらに、ＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰ構造の変更前後でＢピクチャの位相を一致させて、Ｉピクチャの挿入を行う。

ステップＳＴ３７でＣＰＵ３５Ｌ（３５Ｒ）は、Ｂピクチャの位相であるか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、例えばカウントダウン値ＲＮをＩピクチャまたはＰピクチャの間隔Ｍで割った余りが「１」でない場合に、Ｂピクチャの位相と判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、符号化対象の画像がＧＯＰ内におけるＢピクチャの位相である場合にステップＳＴ３８に進み、Ｂピクチャの位相でない場合にステップＳＴ３９に進む。

ステップＳＴ３８でＣＰＵ３５Ｌ（３５Ｒ）は、符号化対象の画像をＢピクチャに設定してステップＳＴ４２に進む。

ステップＳＴ３９でＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰ内でＩピクチャが設定されているか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、ＧＯＰ内でＩピクチャが設定されている場合例えばＩピクチャ設定済みフラグがオン状態である場合にステップＳＴ４０に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、Ｉピクチャが設定されていない場合、例えばＩピクチャ設定済みフラグがオフ状態である場合にステップＳＴ４１に進む。

ステップＳＴ４０でＣＰＵ３５Ｌ（３５Ｒ）は、ピクチャタイプをＰピクチャに設定する。ＣＰＵ３５Ｌ（３５Ｒ）は、Ｂピクチャの位相と異なり、ＩピクチャがＧＯＰ内で既に設定されていることから、符号化対象の画像をＰピクチャに設定してステップＳＴ４２に進む。

ステップＳＴ４１でＣＰＵ３５Ｌ（３５Ｒ）は、ピクチャタイプをＩピクチャに設定する。ＣＰＵ３５Ｌ（３５Ｒ）は、Ｂピクチャの位相と異なり、ＧＯＰ内でＩピクチャが設定されていないことから、符号化対象の画像をＩピクチャに設定してステップＳＴ４２に進む。また、ＣＰＵ３５Ｌ（３５Ｒ）は、Ｉピクチャを設定したことからＩピクチャ設定済みフラグをオン状態とする
ステップＳＴ４２でＣＰＵ３５Ｌ（３５Ｒ）は、カウントダウン値ＲＮを１つ減少させる。ＣＰＵ３５Ｌ（３５Ｒ）は、ステップＳＴ１４，１６，１７の何れかの処理でピクチャタイプの設定が完了したことから、カウントダウン値ＲＮを１つ減少させて図６のステップＳＴ２４に戻る。

図６のステップＳＴ２４でＣＰＵ３５Ｌ（３５Ｒ）は、符号化処理を符号化処理部３４Ｌ（３４Ｒ）で行わせる。ＣＰＵ３５Ｌ（３５Ｒ）は、符号化対象の画像をステップＳＴ２３で設定したピクチャタイプとして符号化処理するように符号化処理部３４Ｌ（３４Ｒ）を制御してステップＳＴ２５に進む。

ステップＳＴ２５でＣＰＵ３５Ｌ（３５Ｒ）は、符号化停止コマンドを受け取ったか判別する。ＣＰＵ３５Ｌ（３５Ｒ）は、コントローラ５０から符号化停止コマンドを受け取ったとき、多視点画像の符号化処理を終了する。また、ＣＰＵ３５Ｌ（３５Ｒ）は、符号化停止コマンドを受け取っていないときステップＳＴ２３に戻る。

このように画像データから読み取ったタイムコードを利用することで、左眼用画像符号化部３０Ｌと右眼用画像符号化部３０Ｒが疎結合とされている場合でも、容易にピクチャタイプを同期させることができる。したがって、左眼用画像の符号化歪みと右眼用画像の符号化歪みが異なり違和感のある立体画像となってしまうことを防止して、画像の品質を向上させることができる。また、タイムコードに基づいてピクチャタイプを同期させることができるので、既存の画像符号化処理部を用いて立体画像システムを容易に構築できる。さらに、シーンチェンジが検出されたときＧＯＰ構造の変更が行われてＩピクチャが挿入されるので、シーンチェンジが生じて画像の相関が低下したことによる符号化効率の低下や画質劣化を防止することができる。

図８は、第２の実施の形態の動作を例示した図であり、右眼用画像でシーンチェンジが生じたとき、左眼用画像符号化部３０Ｌと右眼用画像符号化部３０Ｒのそれぞれで設定されたピクチャタイプを示している。なお、図８において、ＧＯＰ長を「Ｎ＝１５」、ＩピクチャまたはＰピクチャの間隔を「Ｍ＝３」として、固定周期でピクチャタイプを設定した場合を示している。

図８の（Ａ）はＧＯＰ内におけるＢピクチャの位相、図８の（Ｂ）はピクチャタイプを設定したときの左眼用画像符号化部３０Ｌにおけるカウントダウン値ＲＮ-L、図８の（Ｃ）は左眼用画像のベースバンド信号ＤＶ-Lに対して設定したピクチャタイプを示している。また、図８の（Ｄ）は右眼用画像のベースバンド信号ＤＶ-Rに対して設定したピクチャタイプ、図８の（Ｅ）はピクチャタイプを設定したときの右眼用画像符号化部３０Ｒにおけるカウントダウン値ＲＮ-Rを示している。

右眼用画像符号化部３０Ｒは、例えばＧＯＰ１の先頭から８フレーム目でシーンチェンジＳＣが検出されたとき、ＧＯＰ１内でＩピクチャが設定されておりシーンチェンジ検出フラグがオフ状態である場合にシーンチェンジ処理を行う。右眼用画像符号化部３０Ｒは、シーンチェンジ処理を行い、カウントダウン値ＲＮにＧＯＰのピクチャ数Ｎを加算して新たなカウントダウン値ＲＮとする。また、右眼用画像符号化部３０Ｒは、Ｉピクチャ設定済みフラグをオフ状態、シーンチェンジ禁止フラグをオン状態とする。さらに、右眼用画像符号化部３０Ｒは、ＧＯＰ構造の変更前後でＢピクチャの位相を一致させて、Ｉピクチャの挿入を行ことから、ＧＯＰ１の先頭から９フレーム目をＩピクチャに設定する。

このように、シーンチェンジが検出されたＧＯＰと次のＧＯＰのＧＯＰ長を変更して、シーンの切り替わりでＩピクチャを挿入する。すなわち、ＧＯＰ１（Ｎ＝１５、Ｍ＝３），ＧＯＰ２（Ｎ＝１５，Ｍ＝３）を、ＧＯＰ３（Ｎ＝６、Ｍ＝３），ＧＯＰ４（Ｎ＝２４，Ｍ＝３）の構造に変更して、シーンの切り替わりでＩピクチャを挿入する。この場合、２ＧＯＰ期間において左眼用画像がＰピクチャで右眼用画像がＩピクチャである１フレームと、左眼用画像がＩピクチャで右眼用画像がＰピクチャである１フレームが生じるものの、残りのフレームではピクチャタイプを同期させることができる。また、シーンチェンジの有無に係らずＧＯＰ数が等しいことから、ＧＯＰ数が増加することによる符号化効率の低下を避けることができる。

また、ピクチャタイプの同期を優先する場合、シーンチェンジが検出されたＧＯＰを分割して、シーンの切り替わりでＩピクチャを挿入する。例えば、カウントダウン値ＲＮにＧＯＰのピクチャ数Ｎを加算しないようにする。この場合、シーンチェンジが検出された右眼用画像符号化部３０Ｒにおいて、ＧＯＰ１（Ｎ＝１５，Ｍ＝３）は、ＧＯＰ（Ｎ＝６，Ｍ＝３）とＧＯＰ（Ｎ＝９、Ｍ＝３）の２ＧＯＰとされて、ＧＯＰ２（Ｎ＝１５，Ｍ＝）の構造が変更されることがない。すなわち、ＧＯＰが１つ増加するが、左眼用画像と右眼用画像でピクチャタイプが相違するフレームを１フレームのみとすることができる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。上述の実施の形態では、多視点画像として左眼用画像と右眼用画像を符号化する場合について説明した。しかし、多視点画像は、上述の画像に限られない。例えば画像符号化装置のモジュールの数を増やして多くの視点画像を符号化する場合にも適用できる。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明の画像処理装置と画像処理方法では、符号化処理の開始が多視点画像の各画像データから読み取られたタイムコードに基づき制御されて、視点毎の符号化処理におけるピクチャタイプが同期したピクチャタイプに設定される。このため、多視点画像を個々に符号化処理する場合に、視点間での画質の違いを容易に少なくすることができる。したがって、例えば多視点画像の画像データを生成する撮像装置や、多視点画像の編集処理等を行う編集装置等に適している。

１０，１０ａ・・・画像処理装置、２０Ｌ，３０Ｌ・・・左眼用画像符号化部、２０Ｒ，３０Ｒ・・・右眼用画像符号化部、２１Ｌ，２１Ｒ，３１Ｌ，３１Ｒ・・・ビデオ入力部、２２Ｌ，２２Ｒ，３２Ｌ，３２Ｒ・・・タイムコード読み取り部、２４Ｌ，２４Ｒ，３４Ｌ，３４Ｒ・・・符号化処理部、３３Ｌ，３３Ｒ・・・シーンチェンジ検出部、２５Ｌ，２５Ｒ，３５Ｌ，３５Ｒ・・・符号化処理部、４０・・・マルチプレクサ、５０・・・コントローラ

Claims (6)

1. 多視点画像の各画像データからタイムコードを読み取るタイムコード読み取り部と、
   前記画像データを視点毎に符号化処理する符号化処理部と、
   前記符号化処理の開始を前記タイムコードに基づき制御して、前記視点毎の符号化処理におけるピクチャタイプを同期させる制御部と
   を有する画像処理装置。
2. 前記画像データを用いてシーンチェンジの検出を行うシーンチェンジ検出部を有し、
   前記制御部は、前記シーンチェンジが検出されたとき、ＧＯＰ（Group Of Pictures）構造を変更してＩピクチャを挿入する請求項１記載の画像処理装置。
3. 前記制御部は、前記ＧＯＰ構造の変更前後でＢピクチャの位相を一致させる請求項２記載の画像処理装置。
4. 前記制御部は、前記シーンチェンジが検出されたＧＯＰと次のＧＯＰのＧＯＰ長を変更して、シーンの切り替わりでＩピクチャを挿入する請求項３記載の画像処理装置。
5. 前記制御部は、前記シーンチェンジが検出されたＧＯＰを分割して、シーンの切り替わりでＩピクチャを挿入する請求項３記載の画像処理装置。
6. 画像符号化装置で多視点画像の画像データの符号化処理を行う画像符号化方法において、
   前記多視点画像の各画像データからタイムコードを読み取る工程と、
   前記画像データを視点毎に符号化処理する工程と、
   前記符号化処理の開始を前記タイムコードに基づき制御して、前記視点毎の符号化処理におけるピクチャタイプを同期させる工程とを
   設けた画像符号化方法。

Images