JP4974841B2 - 映像データ記録装置 - Google Patents

Description

本発明は、複数の映像データを記録媒体に記録するための映像データ記録装置に関する。

近年、携帯電話などでは前方撮影用の撮像部と対面撮影用の撮像部の、２つの撮像部を備えた機種が登場している。このような携帯電話を用いることにより、２つの異なる映像データを同時に記録するアプリケーションが考えられる。例えば、手軽にマルチアングル映像の記録をリアルタイムに行うことが可能な携帯型映像データ記録装置の登場が予想される。

一般にマルチアングル映像の記録は、複数のアングルで撮影された映像データを個別に記録することになる。例えば前方と後方の２アングルの映像をそれぞれ撮影したとする。このような２アングルの映像を符号化してリアルタイムに記録する場合、符号化部が２系統必要になる上、記録する情報量も１アングルに比べて２倍になってしまう。

なお、立体映像記録方式として、複数の入力映像信号を水平方向へ圧縮して記録する方法は既に提案されている（例えば、特許文献１参照。）。このような方法を適用することによってマルチアングル映像を記録する際のデータ量を削減できる。
特開昭６３−３８３８６号公報

しかしながら、前述の従来技術では、マルチアングル映像として記録される映像の画質等を適切に調整することはできなかった。

また、一般的に、マルチアングル映像として記録された映像コンテンツを再生する場合、通常は視聴者がアングルの切り替えを行わない限り、１つのアングル映像が連続して再生されることになる。また、マルチアングル記録部がシーン中で間欠的に存在する場合、シングルアングル映像記録とマルチアングル映像記録の切り替わり目で急激に画質が変化するため、視聴者に違和感を与える可能性がある。

そこでシングルアングル映像の記録時にもマルチアングル映像記録に合わせて、常に水平解像度を一定に圧縮して記録することも考えられるが、シングルアングル映像記録時の画質の劣化は免れない。

本発明はこのような課題を考慮して、容易な構成で、データ量を極端に増加させることなく、マルチアングル映像への切り替わりで視覚的な違和感の発生を低減できる映像データ記録装置を提供することを目的とする。

上記目的を達成するために、本発明の映像データ記録装置は、複数の映像を合成して１つの映像データにして記録する映像データ記録装置であって、入力される第１の映像データ及び第２の映像データに対してそれぞれ水平画素数を設定する設定手段と、前記設定手段により設定された水平画素数に応じて、前記第１の映像データ及び前記第２の映像データをそれぞれ水平方向に縮小する縮小手段と、前記縮小手段により水平方向に縮小された第１の映像データと第２の映像データを合成した映像データを記録媒体に記録する記録手段と、前記第１の映像データまたは前記第２の映像データの輝度情報のゲインレベルを調整する調整手段と、を備え、前記記録手段により前記合成した映像データを記録開始すると、前記設定手段は所定の画面単位で前記水平画素数を徐々に変化させ、前記調整手段は水平画素数が少ないほうの映像データに対するゲインレベルを徐々に変化させ、前記記録手段は、前記合成映像データを前記記録媒体に記録するとともに、前記合成映像データであることを示す情報と、前記設定手段により設定された前記第１の映像データの水平画素数及び前記第２の映像データの水平画素数に関する情報と、を前記合成映像データに関連付けて前記記録媒体に記録することを特徴とする。

本発明によれば、容易な構成で、データ量を極端に増加させることなく、マルチアングル映像への切り替わりで視覚的な違和感の発生を低減できる映像データの記録が可能になる。

以下、本発明の実施形態を、図面を用いて詳細に説明する。

（第１の実施形態）
図１は、本発明の実施形態に係る映像データ記録装置（例えばディジタルビデオカメラやカメラ付き携帯端末）の構成を示したブロック図である。図１のブロック図において、操作部１０１は映像データ記録装置に対する操作ユニットであり、ＣＰＵ１０２（制御部）は映像データ記録装置に対する制御部（コントローラ）である。ユーザー操作に応じて操作部１０１から送信される信号に基づいて、ＣＰＵ１０２は、映像データ記録装置を構成する各部を制御する。なお、操作部１０１には、記録や再生等を指示する操作キーに加えて、各種設定を行うためのメニュー・ボタンが含まれる。

第１の撮像手段である撮像系Ａ１０３は、光学レンズ、絞り、フォーカス制御部及びレンズ駆動部を含むレンズ光学系、及び、レンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサー又はＣＭＯＳセンサーなどの撮像部から構成される。第２の撮像手段である撮像系Ｂ１０４も撮像系Ａ１０３と同様の構成である。撮像系Ａ１０３及び撮像系Ｂ１０４からは、それぞれ被写体を撮像して得られた複数の映像データ（第１の映像データ及び第２の映像データ）が出力される。

本実施形態の映像データ記録装置において、撮像系Ａ１０３と撮像系Ｂ１０４は異なる方向を撮影するように本体に設置される。例えば、撮像系Ａ１０３は前方撮影用の位置に、撮像系Ｂ１０４は対面撮影を目的とした後方撮影用の位置に配置される。

映像信号処理部１０５は、撮像系Ａ１０３及び撮像系Ｂ１０４、或いはそのいずれかから供給される映像データを、記録フォーマットで定義された画面解像度の映像データに変換する。また、映像信号処理部１０５では、記録時に撮像系Ａ１０３又は撮像系Ｂ１０４から供給される映像信号を水平方向に拡大縮小処理可能である。具体的に、図２（ａ）に示すように撮像系Ａ１０３及び撮像系Ｂ１０４から供給される複数の映像信号の水平解像度を個別に変換（縮小）して記録画像として１画面に合成することが可能である。一方、図２（ａ）のように変換された画像は、再生時に映像信号処理部１０５により、図２（ｂ）に示すように符号化・復号化処理部１０８から供給される再生画像から指定水平画素を任意に切り出し、水平方向へ拡大してそれぞれ１画面の再生映像として出力される。さらに、映像信号処理部１０５は、映像データに対して任意の文字情報又は図形情報を重畳可能なＯＳＤ（ｏｎ ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）処理部を内蔵する。ＯＳＤ処理部は、デジタル−アナログ変換（Ｄ／Ａ）部１０６及び表示部１０７へ出力する映像データに対して文字や図形を多重可能である。なお、Ｄ／Ａ部１０６からは撮影映像或いは再生映像が外部へ出力される。

符号化・復号化処理部１０８は、記録時には映像信号処理部１０５から入力される映像データを圧縮符号化し、符号化データを記録・再生処理部１０９へ供給する。一方、再生時には記録・再生処理部１０９から入力される符号化データを復号化し、再生画像として映像信号処理部１０５へ供給する。ここでは、記録画像サイズは水平７２０画素、垂直４８０ラインであり、符号化・復号化処理部１０８が対応する符号化方式はＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−２）であるものとする。

記録・再生処理部１０９は、符号化・復号化処理部１０８から入力する符号化データに対して誤り訂正符号を付加し、ＣＰＵ１０２により設定されるシステム情報と共に記録データを記録媒体１１０に記録する記録処理部を含む。さらに、記録・再生処理部１０９は、記録媒体１１０から記録データを読み出し、読み出された再生データに誤り訂正処理を行い、符号化・復号化処理部１０８へ符号化データを供給する再生処理部を含んで構成される。記録媒体１１０はハードディスク、光ディスク或いは半導体メモリ等である。

次に、図１の映像データ記録装置が、前方撮影用の撮像系Ａ１０３から入力される映像データを記録中に、後方撮影用（対面撮影用）の撮像系Ｂ１０４から入力される映像データを映像信号処理部１０５により１画面に合成して同時に記録する手順について説明する。なお、撮像系Ｂ１０４による記録中に、撮像系Ａ１０３の映像を同時記録する場合も同様である。以下では、先に記録を開始した撮像系Ａ（又は撮像系Ｂ）で撮像された映像を「アングルＡ映像」、後から記録を開始する撮像系Ｂ（又は撮像系Ａ）で撮像された映像を「アングルＢ映像」として、その記録方法について説明を行う。

図３は、アングルＡ映像を記録中にアングルＢ映像の記録を開始した場合、すなわち本実施形態でいうマルチアングル映像記録時の水平画素数の遷移を示す図である。図３において、アングルＢ映像の記録を開始した時点で、アングルＢ映像の水平画素数は、例えば３２画素から開始し、指定された画面単位（フレーム単位）で指定された画素数ずつ水平画素数を増加される。最終的には、記録画像１画面の半分の水平画素数である３６０画素まで変化する。同時にアングルＡ映像の水平解像度は、シングルアングル映像記録時の記録映像の水平画素数である７２０画素からアングルＢ映像の水平画素数を引いた画素数（７２０−３２＝６８８画素）から開始し、指定フレーム単位で指定画素数ずつ水平画素数が減少される。そして、１画面の半分の水平画素数である３６０画素まで遷移させる。こうしてアングルＡ映像及びアングルＢ映像のそれぞれについて、時間の経過とともに異なる画素数の比率によって水平解像度を変換した映像データを１画面に合成して記録する。

また、アングルＢ映像に関しては、記録を開始した時点から指定フレーム単位で輝度情報にゲインをかけ、元の輝度レベルまで徐々に遷移させる。図３では、ゲインレベルを１以下（例えば、ゲイン＝０）から開始し、元映像の輝度レベルであるゲインレベル＝１まで指定ステップで遷移させるイメージを示しているが、ゲインレベルは１以上から開始し、ゲインレベル＝１まで遷移させることも可能である。

続いて、図４は、アングルＡ映像及びアングルＢ映像を記録中にアングルＢ映像の記録を停止した場合、すなわちマルチアングル映像記録停止時の水平画素数の遷移を示す図である。ここでマルチアングル映像記録停止とは、シングルアングル映像の記録状態になったことを意味する。アングルＢ映像の記録停止直前までのアングルＡ映像の水平画素数は、３６０画素であるため、指定フレーム単位で指定画素数ずつ水平解像度を上げていき、記録画像１画面の水平画素数である７２０画素まで遷移させる。この時、水平画素数の遷移中の７２０画素に満たない領域については、図４中では黒レベルの画素を挿入したイメージを示しているが、任意の固定データの挿入も可能である。

ここで、ＭＰＥＧ−２のようにＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｅｒ：離散コサイン変換）処理を行う符号化方式では、例えば８×８画素のブロック単位でＤＣＴ処理が施される。そこで、前述のように指定フレーム単位で変化させるときの指定画素数については、水平方向の画素数をＤＣＴブロックの単位である８画素のｎ倍（例えば８、１６、３２画素）に設定すると良い。すなわち、アングルＡ映像とアングルＢ映像の境界部がＤＣＴブロック内に入らないようにすることで、アングルＡ映像とアングルＢ映像の境界部の符号化歪みを軽減することが可能である。

また、図５は水平画素数を調整するタイミングを示す図である。ＭＰＥＧ−２ではフレーム間圧縮が行われる。図５のようにＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）が１５フレームで構成される場合、前述の水平画素数、及び輝度信号のゲイン調整を参照画像であるＩピクチャの符号化タイミングに合わせて１５フレーム単位で行うと良い。そうすることで符号化による画質劣化を軽減することが可能となる。

本実施形態の映像データ記録装置は、アングルＡ映像を記録中にアングルＢ映像を記録するような、いわゆるマルチアングル記録を行う場合に、記録データに関連付けてマルチアングル映像を記録していることを示すマルチアングル記録情報を同時に記録する。図６はマルチアングル記録情報の例を示す図である。図６に示すように、マルチアングル記録情報は、マルチアングル記録された状態を示すマルチアングルフラグ（ＭＡＦ）、アングルＡ映像の水平画素数（ＡＨ）の情報及びアングルＢ映像の水平画素数（ＢＨ）の情報を含む。なお、ＭＡＦのビットが“０”ならばシングルアングル記録、“１”の場合は、アングルＡ映像及びアングルＢ映像が合成されて記録されたマルチアングル記録を示す。さらに、ＭＡＦのビットが“２”の場合は、シングルアングル記録であるが、アングルＡ映像が水平方向に縮小された状態で記録されていることを示す。つまり、マルチアングル映像記録中にアングルＢ映像記録が停止され、アングルＡ映像の水平画素数が記録映像の水平画素数まで遷移する区間の画像であることを示す。このマルチアングル情報を再生時に読み出すことにより、アングルＡ映像とアングルＢ映像の切り替え再生するマルチアングル映像再生を可能としている。

続いて、前述したマルチアングル映像記録処理の制御手順について図７に示すフローチャートを参照しながら説明を行う。図７は、マルチアングル映像記録方法を示すフローチャートである。

アングルＡ映像の記録が開始され、アングルＡ映像の記録中にアングルＢ映像の記録が開始されると（Ｓ７０１）、アングルＢ映像の輝度信号のゲイン初期値（Ｓ７０２）及び、アングルＢ映像の水平画素数の初期値が設定される（Ｓ７０３）。映像信号処理部１０５により、アングルＢ映像は設定された水平画素数へ変換され、輝度信号に設定されたゲインがかけられる。それと同時に、アングルＡ映像は、「記録水平画素数７２０画素−アングルＢ映像水平画素数」に変換され、アングルＡ映像及びアングルＢ映像が１画面の画像に合成される。こうして合成された画像は、符号化・復号化処理部１０８で符号化され、符号化データは、記録・再生処理部１０９により記録媒体１１０に記録される。このとき、記録・再生処理部１０９では、マルチアングル記録情報としてマルチアングルフラグ（ＭＡＦ＝１）及びアングルＡ映像の水平画素数（ＡＨ）の情報及びアングルＢ映像の水平画素数（ＢＨ）の情報が符号化データに関連付けられて記録される。

記録画像がＩピクチャの符号化タイミングである場合には（Ｓ７０４）、アングルＢ映像の輝度ゲインが１に達していない場合には（Ｓ７０５）、輝度ゲイン値が所定値アップして設定される（Ｓ７０６）。さらに、アングルＢ映像の水平画素数が記録水平画素数の半分である３６０画素に達していない場合には（Ｓ７０７）、水平画素数が所定値加算されて設定される（Ｓ７０８）。

このように参照画像であるＩピクチャ符号化タイミングでアングルＢ映像の輝度レベル、及びアングルＡ映像とアングルＢ映像の水平画素数は、指定値に達するまで段階的に変化させて１画面に合成して記録される。

ここで、アングルＢ映像の記録終了が指示されると（Ｓ７０９）、記録画像がＩピクチャの符号化タイミングであるか否かを判断する（Ｓ７１０）。記録画像がＩピクチャの符号化タイミングである場合、アングルＡ映像の水平画素数が記録映像の水平画素数と等しくないならば（Ｓ７１１）、アングルＡ映像の水平画素数が所定値加算されて設定される（Ｓ７１２）。以降、アングルＡ映像の水平画素数が７２０画素に達するまで、Ｉピクチャ符号化タイミングで段階的に変化させて記録される。このときマルチアングル記録情報としてマルチアングルフラグ（ＭＡＦ＝２）と同時にアングルＡ映像の水平画素数（ＡＨ）の情報が画像に関連付けられて記録される。以上の処理がアングルＡ映像の記録終了が指示されるまで（Ｓ７１３）、繰り返して実行される。

以上のようにマルチアングル記録情報を映像データとともに記録しておくことで、再生時にマルチアングル記録情報を検出し、図８に示すように、視聴者にマルチアングル映像であることを通知し、再生する映像の切り替えを促すことができる。図８は、マルチアングル映像再生方法を示すイメージ図である。マルチアングル記録された映像データに対して、アングルＡ映像を選択して再生すると、アングルＡ映像の再生画像とともに、アングルＢに切り替えるためのアイコン（インジケータ）を表示する。同様に、アングルＢ映像を選択して再生すると、アングルＢ映像の再生画像とともに、アングルＡに切り替えるためのアイコン（インジケータ）を表示する。それぞれのアイコンを操作部１０１等により選択指示することで映像の切り替えを可能にする構成である。

このとき、アングルＡ映像の再生が指示された場合には、アングルＡ映像の水平画素数（ＡＨ）を１画面の左側から切り出し、水平画素数を７２０画素へ変換して出力することでアングルＡの再生画像を生成する。同様に、アングルＢ映像の再生が指示された場合には、アングルＢ映像の水平画素数（ＢＨ）を１画面の右側から切り出し、水平画素数を７２０画素へ変換して出力することでアングルＢの再生画像を生成する。

図９はマルチアングル映像記録開始部分の再生画像を示すイメージ図である。図９に示すようにマルチアングル映像記録されたアングルＡ映像を再生する場合であっても、アングルＡ映像の水平画素数が徐々に減少するように記録しているため、シングルアングル映像記録とマルチアングル映像記録の切替わり時の画質変化の違和感を軽減できる。同様に、アングルＢ映像の再生画像においても、輝度レベルが黒レベルから元輝度レベルまで徐々に変化させて記録しているため、アングルＢ映像の記録開始付近の水平解像度が低いフレームに関しての画質変化の違和感も軽減される。

図１０はマルチアングル映像記録停止部分の再生画像を示すイメージ図である。本実施形態によれば、図１０に示すようにマルチアングル映像記録からシングルアングル映像記録の切り替わり目に関してもアングルＡ映像の水平画素数を徐々に増加させて記録しているため、画質変化の違和感が軽減される。

以上、本発明の実施形態として、例えばディジタルビデオカメラやカメラ付き携帯端末等の映像データ記録装置を例に説明したが、撮像部を持たない映像入力系を２系統搭載したビデオレコーダにおいても同様に適用可能である。

本発明の実施形態に係る映像データ記録装置の構成ブロック図である。 （ａ）は撮影映像の縮小及び合成の例を表わした図、（ｂ）は再生映像の拡大の例を表わした図である。 マルチアングル映像記録時の水平画素数の遷移を示す図である。 マルチアングル映像記録停止時の水平画素数の遷移を示す図である。 水平画素数を調整するタイミングを示す図である。 マルチアングル記録情報の例を示す図である。 マルチアングル映像記録方法を示すフローチャートである。 マルチアングル映像再生方法を示すイメージ図である。 マルチアングル映像記録開始部分の再生画像を示すイメージ図である。 マルチアングル映像記録停止部分の再生画像を示すイメージ図である。

符号の説明

１０１ 操作部
１０２ ＣＰＵ
１０３ 撮像系Ａ
１０４ 撮像系Ｂ
１０５ 映像信号処理部
１０６ Ｄ／Ａ（ディジタル・アナログ変換）部
１０７ 表示部
１０８ 符号化・復号化処理部
１０９ 記録・再生処理部
１１０ 記録媒体

Claims (6)

1. 複数の映像を合成して１つの映像データにして記録する映像データ記録装置であって、入力される第１の映像データ及び第２の映像データに対してそれぞれ水平画素数を設定する設定手段と、
   前記設定手段により設定された水平画素数に応じて、前記第１の映像データの映像及び前記第２の映像データの映像をそれぞれ水平方向に縮小する縮小手段と、
   前記縮小手段によりそれぞれ水平方向に縮小された前記第１の映像データの映像及び前記第２の映像データの映像を水平方向に結合するようにして合成し、所定の水平画素数を有する合成映像データに変換する変換手段と、
   前記第１の映像データと、前記合成映像データとを選択的に記録媒体に記録する記録手段と、
   前記第１の映像データまたは前記第２の映像データの輝度情報のゲインレベルを調整する調整手段と、を備え、
   前記記録手段による記録動作が、前記第１の映像データの記録から前記合成映像データの記録に切り替わるとき、前記設定手段は、前記第１の映像データに対して設定する水平画素数を前記所定の水平画素数を有する状態から前記所定の水平画素数の半分となる状態まで所定の画面単位で徐々に変化させ、且つ前記第２の映像データに対して設定する水平画素数をゼロの状態から前記所定の水平画素数の半分となる状態まで前記所定の画面単位で徐々に変化させ、前記調整手段は、前記第２の映像データに対する輝度情報のゲインレベルを前記所定の画面単位で徐々に変化させ、
   前記記録手段は、前記合成映像データを前記記録媒体に記録するとともに、前記合成映像データであることを示す情報と、前記設定手段により設定された前記第１の映像データの水平画素数及び前記第２の映像データの水平画素数に関する情報と、を前記合成映像データに関連付けて前記記録媒体に記録することを特徴とする映像データ記録装置。
2. 前記記録手段による記録動作が、前記合成映像データの記録から前記第１の映像データの記録に切り替わるとき、前記設定手段は、前記第１の映像データに対して設定する水平画素数を前記所定の水平画素数の半分の状態から前記所定の水平画素数となる状態まで所定の画面単位で徐々に変化させることを特徴とする請求項１に記載の映像データ記録装置。
3. 前記記録手段は、前記第１の映像データまたは前記合成映像データを符号化する符号化手段を有し、
   前記設定手段は、前記第１の映像データ及び前記第２の映像データの水平画素数を前記符号化手段で行われるＤＣＴ処理の処理単位であるＤＣＴブロックに含まれる水平方向の画素数のｎ倍（ｎは自然数）の単位で変化させることを特徴とする請求項１または２に記載の映像データ記録装置。
4. 複数の映像を合成して１つの映像データにして記録する映像データ記録装置であって、入力される第１の映像データ及び第２の映像データに対してそれぞれ水平画素数を設定する設定手段と、
   前記設定手段により設定された水平画素数に応じて、前記第１の映像データの映像及び前記第２の映像データの映像をそれぞれ水平方向に縮小する縮小手段と、
   前記縮小手段によりそれぞれ水平方向に縮小された前記第１の映像データの映像及び前記第２の映像データの映像を水平方向に結合するようにして合成し、所定の水平画素数を有する合成映像データに変換する変換手段と、
   前記第１の映像データまたは前記合成映像データを符号化する符号化手段と、前記符号化手段によって符号化された前記第１の映像データの符号化データと、前記符号化手段によって符号化された前記合成映像データの符号化データとを選択的に記録媒体に記録する記録手段と、を備え、
   前記記録手段による記録動作が、前記第１の映像データの符号化データの記録から前記合成映像データの符号化データの記録に切り替わるとき、前記設定手段は、前記第１の映像データに対して設定する水平画素数を前記所定の水平画素数を有する状態から前記所定の水平画素数の半分となる状態まで、前記符号化手段で行われるＩピクチャの符号化タイミングに従って徐々に変化させ、且つ前記第２の映像データに対して設定する水平画素数をゼロの状態から前記所定の水平画素数の半分となる状態まで、前記符号化手段で行われるＩピクチャの符号化タイミングに従って徐々に変化させ、
   前記記録手段は、前記合成映像データを前記記録媒体に記録するとともに、前記合成映像データであることを示す情報と、前記設定手段により設定された前記第１の映像データの水平画素数及び前記第２の映像データの水平画素数に関する情報と、を前記合成映像データに関連付けて前記記録媒体に記録することを特徴とする映像データ記録装置。
5. 複数の映像を合成して１つの映像データにして記録する映像データ記録装置であって、入力される第１の映像データ及び第２の映像データに対してそれぞれ水平画素数を設定する設定手段と、
   前記設定手段により設定された水平画素数に応じて、前記第１の映像データの映像及び前記第２の映像データの映像をそれぞれ水平方向に縮小する縮小手段と、
   前記縮小手段によりそれぞれ水平方向に縮小された前記第１の映像データの映像及び前記第２の映像データの映像を水平方向に結合するようにして合成し、所定の水平画素数を有する合成映像データに変換する変換手段と、
   前記第１の映像データと、前記合成映像データとを選択的に記録媒体に記録する記録手段と、
   前記第１の映像データまたは前記第２の映像データの輝度情報のゲインレベルを調整する調整手段と、を備え、
   前記合成映像データを記録する場合、前記設定手段は、前記第１の映像データに対して設定する水平画素数を所定の画面単位で減少させ、且つ前記第２の映像データに対して設定する水平画素数を前記所定の画面単位で増加させ、前記調整手段は、前記第２の映像データに対する輝度情報のゲインレベルを、前記設定手段によって設定される前記第２の映像データの水平画素数に応じて前記所定の画面単位で徐々に変化させることを特徴とする映像データ記録装置。
6. 前記調整手段は、前記第２の映像データに対して設定する水平画素数が増加するに従って、前記第２の映像データに対する輝度情報のゲインレベルの値が大きくなるように調整することを特徴とする請求項５に記載の映像データ記録装置。

Images