JP5166650B2 - 立体撮像装置、画像再生装置及び編集ソフトウエア - Google Patents

Description

本開示内容は立体撮像装置に係り、特に互いに視差を有する複数の視差画像を撮像する立体撮像装置に関する。

特許文献１には、右眼用の撮影情報を得るためのＣＣＤを有する第１レンズ鏡筒と、左眼用の撮影情報を得るためのＣＣＤを有する第２レンズ鏡筒と、これら第１レンズ鏡筒と第２レンズ鏡筒の焦点距離を検出するカメラ検出回路と、各焦点距離における上記第１レンズ鏡筒と第２レンズ鏡筒のそれぞれの光軸中心のずれ量を予め記憶したＥＥＰＲＯＭ等からなるＲＯＭと、このＲＯＭからの出力に基づき各焦点距離における上記左右一対のＣＣＤの内の少なくとも一方における画像切出しエリアを制御するＣＰＵと、を備えた立体撮影装置が開示されている。

特許文献２には、ステレオカメラのレンズ特性に対して、レンズ中心を基準とする座標補正のための近似式を設定し、この近似式に基づいてカメラにより捉えた対象画像の投影座標を補正する画像処理装置が開示されている。

一方、特許文献３には、複数の撮像素子を用いて高精細な撮像を行い、それらの各撮像出力に対してデジタル画像にした後、画像分割回路で複数の画像領域に分割し、各画像領域に対して並列に画像処理を行うことにより、高精細な画像の場合においても動画レートで高速の画像処理ができる画像処理装置が開示されている。

特開平８−８−３１７４２４号公報 特開２００４−１２６９０５号公報 特開２００２−２４７５９３号公報

特許文献１には、２つの撮影レンズ間の個体差による光軸ずれを、画像切り出しエリアを変更することにより、立体視に好適な左右視点画像を生成する技術が開示され、また、特許文献２には、レンズ歪による画像の歪を補正する技術が開示されている。

静止画の撮影時には、撮影レンズ間の個体差による光軸ずれを補正するための画像切り出し処理やレンズ歪による画像の歪補正処理は、撮影後、メモリカードへの書き込みまでの間に行えばよい。しかし、動画の撮影時には、リアルタイムにメモリカードに書き込む必要がある。ところが、撮像処理、画像処理及び圧縮処理が集中する動画撮影時には、負荷の重いレンズ歪補正処理を動画で行うことは難しく、特に高精細（ＨＤ）な動画を高フレームレートで撮影記録する場合には困難である。

特許文献３には、高精細な画像の場合においても動画レートで高速の画像処理ができる画像処理装置が開示されているが、引用文献３に記載の画像処理装置は、処理領域を分割して並列処理するため、回路構成が複雑になり、高価になる。また、特許文献３に記載の画像処理は、シェーディング補正であり、計算が複雑な画像の歪補正処理ではなく、更に３次元（３Ｄ）動画に対する処理ではない。

本開示内容はこのような事情に鑑みてなされたもので、高精細な３Ｄ動画を高フレームレートで撮影記録することができ、かつ負荷の重いレンズ歪等の収差の補正処理が可能な立体撮像装置と、その立体撮像装置により撮影された３Ｄ動画の画像再生装置及び編集ソフトウエアを提供することを目的とする。

前記目的を達成するために第１の態様に係る立体撮像装置は、撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する視差画像を撮像する複数の撮像部と、各撮影光学系の光軸中心位置及び切り出しサイズ、又は各撮影光学系の光軸中心位置を中心にした切り出しエリアを示す第１の情報と、各撮影光学系の収差を示す第２の情報とが記憶された記憶部と、前記複数の撮像部から立体動画となる時系列の複数の視差画像を出力させる撮像制御部と、動画撮影時に前記複数の撮像部から出力される時系列の複数の視差画像を記録媒体に記録するとともに、前記記憶部から読み出した前記第１の情報及び第２の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する記録部と、を備える。

前記第１の情報は、製品出荷前に予め複数の撮像部の各撮影光学系の検査により取得された、各撮影光学系の光軸中心のずれ量を補正するための情報であり、各撮影光学系の光軸中心位置及び切り出しサイズを示す情報、又は各撮影光学系の光軸中心位置を中心にした切り出しエリア（例えば、切り出しエリアの対角の位置座標）を示す情報である。また、前記第２の情報も同様に製品出荷前に予め複数の撮像部の各撮影光学系の検査により取得された情報であり、各撮影光学系のディストーション、色収差等の収差を示す情報である。これらの第１、第２の情報は、予めＥＥＰＲＯＭ等の不揮発性の記憶部に記憶されている。

第１の態様に係る立体撮像装置は、前記第１の情報と第２の情報とを、動画撮影した時系列の複数の視差画像（３Ｄ動画）に関連付けて記録し、動画撮影中にレンズ歪補正等の重い処理を行わないようにし、これにより高精細な３Ｄ動画を高フレームレートで撮影記録できるようにしている。

第２の態様によれば、第１の態様に係る立体撮像装置において、前記第１の情報は、前記撮影光学系の収差を補正する前の視差画像、又は収差を補正した後の視差画像に対する情報である。即ち、前記第１の情報は、撮影光学系の収差に対応する補正処理がされる前の視差画像（収差を含む視差画像）を前提にした情報でもよいし、撮影光学系の収差に対応する補正処理がされた視差画像（収差のない視差画像）を前提にした情報でもよい。

第３の態様によれば、第１の態様又は第２の態様に係る立体撮像装置は、前記複数の撮像部から出力される複数の視差画像間の視差量を調整する視差量調整部を更に備え、前記記録部は、前記視差量調整部により調整された視差量を示す第３の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する。前記第３の情報は、複数の視差画像間の左右方向のずらし量を示す情報であり、視差の強弱を調整するための情報である。

第４の態様によれば、第１の態様から第３の態様のいずれかに係る立体撮像装置において、前記撮影光学系はズームレンズであり、前記記憶部は、前記ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶し、前記記録部は、前記記憶部に記憶された前記ズーム位置毎の第１の情報及び第２の情報の全情報と動画撮影時の前記ズームレンズの時系列のズーム位置を示す情報、又は動画撮影時の前記ズームレンズのズーム位置に基づいて前記記憶部から読み出した時系列の前記第１の情報及び第２の情報を、前記複数の視差画像に関連付けて前記記録媒体に記録する。

複数の撮影光学系の光軸中心のずれをメカ的（機械的）に調整することは難しく、特にズームレンズの全ズーム範囲において光軸中心のずれを調整するには限界がある。また、複数の撮影光学系の収差は、そのズーム位置に応じて変化する。そこで、前記記憶部には、ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶させておき、動画撮影時にズーム位置毎の第１の情報及び第２の情報の全情報と、時系列のズームレンズのズーム位置を示す情報とを３Ｄ動画に関連付けて記録し、又は動画撮影時のズームレンズのズーム位置に基づいて前記記憶部から読み出した時系列の第１の情報及び第２の情報を３Ｄ動画に関連付けて記録するようにしている。

第５の態様によれば、第１の態様、第２の態様又は第４の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。

第５の態様に係る立体撮像装置は、再生時に前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出し、前記読み出した時系列の複数の視差画像を第１の情報に基づいて立体表示用の視差画像として切り出すことにより、複数の視差画像の光軸ずれを補正し、また、前記第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成し、光軸ずれが補正され、かつ収差が補正された時系列の複数の視差画像（３Ｄ動画）を装置内の立体表示部又は外部の立体表示部に出力するようにしている。

尚、動画再生時には、動画撮影時に比べて動画撮影処理や伸張処理よりも時間を要する圧縮記録処理がないため、上記収差等の補正処理を行いながら３Ｄ動画を表示させることができる。

第６の態様によれば、第３の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。

第６の態様に係る立体撮像装置は、更に、前記第３の情報に基づいて３Ｄ動画の視差量を調整して出力する点で、第５の態様に係る立体撮像装置と相違する。

第７の態様によれば、第３の態様に係る立体撮像装置は、前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力部と、をさらに備える。

第７の態様に係る立体撮像装置は、前記第３の情報を複数の視差画像の画像ずらしに使用する点（立体表示時のオフセット量として使用する点）で、第６の態様に係る立体撮像装置と相違する。

第８の態様によれば、第５から第７の態様のいずれかに係る立体撮像装置は、前記出力部の代わりに、又は前記出力部とともに前記画像処理部により生成された時系列の複数の視差画像を前記記録媒体に記録する記録部をさらに備える。

即ち、第８の態様に係る立体撮像装置は、前記画像処理部により収差等の処理済みの３Ｄ動画を前記記録媒体に記録するようにしている。このとき、未処理の３Ｄ動画に代えて処理済みの３Ｄ動画を記録するようにしてもよいし、未処理の３Ｄ画像とは別に処理済みの３Ｄ動画を記録するようにしてもよい。

第９の態様に係る画像再生装置は、第１、第２又は第４の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、を備える。

第１０の態様に係る画像再生装置は、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、を備える。

第１１の態様に係る画像再生装置は、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして立体動画を表示する立体表示部と、を備える。

即ち、第９、第１０又は第１１の態様に係る画像再生装置は、前記記録媒体から収差等の補正処理が施されていない未処理の３Ｄ動画と、それに関連付けられて記録された第１、２の情報、又は第１、第２、第３の情報とを読み出し、未処理の３Ｄ動画を補正処理して立体表示部に出力するようにしたため、光軸ずれやレンズ歪等が補正処理された３Ｄ動画を再生することができる。

第１２の態様に係る編集ソフトウエアは、第１、第２又は第４の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、をコンピュータにより実現させる。

第１３の態様に係る編集ソフトウエアは、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報及び第３の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、をコンピュータにより実現させる。

第１４の態様に係る編集ソフトウエアは、第３の態様に係る立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいて画像ずらして装置内の立体表示部又は外部の立体表示部に出力する出力機能と、をコンピュータにより実現させる。

これにより、再生時に光軸ずれやレンズ歪等の補正処理を行わずに済み、再生処理を簡略化することができ、また、リアルタイムに補正処理する必要がないため、高性能なコンピュータでなくても補正処理が可能である。

本開示内容によれば、負荷の重いレンズ歪等の収差の補正処理が行われていない３Ｄ動画と、その３Ｄ動画に関連付けて前記補正処理に必要な情報とを記録媒体に記録するようにしている。従って、動画撮影時に負荷の重い補正処理を行わずに済み、これにより高精細な３Ｄ動画を高フレームレートで撮影記録することができる。

また、３Ｄ動画の再生時又は変換時に、前記記録媒体から読み出した未処理の３Ｄ動画とそれに関連付けて記録された補正処理用の情報とに基づいて光軸ずれやレンズ歪等の補正処理を行うようにしている。これにより、立体視に適した高品質の３Ｄ動画の再生又は変換を行うことができる。

図１Ａは、本開示内容に係る立体撮像装置の外観を示す図（その１）である。 図１Ｂは、本開示内容に係る立体撮像装置の外観を示す図（その２）である。 図２は、本開示内容に係る立体撮像装置の実施形態を示すブロック図である。 図３は、本開示内容に係る立体撮像装置の３Ｄ動画撮影時の動作を示すフローチャートである。 図４は、出荷前の検査で取得したカメラ固有の補正パラメータの一例を示す図表である。 図５は、ズームポジションがワイド端のときの左右の全画角の画像と画像切り出しエリアとの関係を示す図である。 図６は、ズームポジションがテレ側に移動したときの左右の全画角の画像と画像切り出しエリアとの関係を示す図である。 図７は、３Ｄ動画を記録する記録ファイルのファイル構造の一例を示す図である。 図８は、本開示内容に係る立体撮像装置の３Ｄ動画の再生時の動作を示すフローチャートである。 図９Ａは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その１）。 図９Ｂは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その２）。 図９Ｃは、左右の撮影光学系の光軸ずれ等を補正するための画像の切り出しを説明する図である（その３）。 図１０は、本開示内容に係る立体撮像装置による３Ｄ動画の変換処理を示すフローチャートである。

以下、添付図面に従って本開示内容に係る立体撮像装置の実施の形態について説明する。

［立体撮像装置の外観］
図１Ａ及び１Ｂは本開示内容に係る立体撮像装置の外観を示す図であり、図１Ａは立体撮像装置を前面側から見た斜視図であり、図１Ｂは背面図である。

この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１Ａ及び１Ｂに示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

図１Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右目用画像、左目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。

上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右目用画像と左目用画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮影と３Ｄ撮影とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作部）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

尚、図１Ａ上で、参照符号１５はステレオマイクを示す。

［立体撮像装置の内部構成］
図２は上記立体撮像装置１０の実施形態を示すブロック図である。

図２に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ（Video ＲＡＭ）５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ（Electrically Erasable and Programmable ＲＯＭ）５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。尚、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の検査時の検査結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータやテーブル等が記憶されている。尚、ここに記憶される各種の情報の詳細については後述する。

また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

ＣＰＵ３２は、３Ｄ撮影モード時には左目用画像を撮像する撮像部20-1と同様に右眼用画像を撮像する撮像部20-2を制御する。

ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。

ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等の第１の画像処理部を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して第１の画像処理部により第１の画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

また、デジタル信号処理部４４は、３Ｄ動画再生時に、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するレンズ歪補正処理回路等の第２の画像処理部を含み、この第２の画像処理部は、前記第１の画像処理部により処理されたＹＣ信号に対して第２の画像処理を行う。尚、第２の画像処理部の処理内容の詳細については後述する。

圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄの静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。

液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するための電子ファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左目用画像と右眼用画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

尚、図２には図示されていないが、この立体撮像装置１０は、図１Ａ及び１Ｂに示したステレオマイク１５により取得した音声情報（オーディオデータ）を記録再生する機能も有している。

［３Ｄ動画撮影時の動作］
次に、本開示内容に係る立体撮像装置１０の３Ｄ動画撮影時の動作について、図３に示すフローチャートを参照しながら説明する。

図１Ｂに示した操作スイッチ１８Ａにより動画撮影モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮影モードに切り替えることにより、３Ｄ動画を撮影する撮影モード（以下、「３Ｄ動画撮影モード」という）に設定することができる。

３Ｄ動画撮影モードに設定された立体撮像装置１０は、動画記録前又は動画記録中に３Ｄのスルー画を液晶モニタ１６に表示させることができるようになっており、ユーザはこの３Ｄのスルー画を見ながら視差量調整スイッチ１８Ｂ（図１Ｂ参照）を操作することにより、３Ｄ動画（左目用画像と右眼用画像）の視差量を調整できる。

即ち、視差量調整スイッチ１８Ｂを＋方向、又は−方向に操作することにより、３Ｄ動画の視差量を増減することができる。

図３において、ＣＰＵ３２は、視差量調整スイッチ１８Ｂの操作を監視し、視差量調整スイッチ１８Ｂの操作があると(「No」の場合)、視差調整値H_SHIFTを内部メモリ（ＲＡＭ５４）に設定する（ステップＳ１０、Ｓ１２）。尚、視差量調整スイッチ１８Ｂが操作されない場合には、視差調整値は０に設定される。

続いて、ＣＰＵ３２は、動画撮影の指示（シャッタボタン１１の全押し）の有無を判別する（ステップＳ１４）。シャッタボタン１１が全押しされると、ＣＰＵ３２は、まずメモリカード４０に３Ｄ動画記録用の記録ファイルを作成し、そのヘッダに図４に示す表のデータを記録する（ステップＳ１６）。

ここで、図４にしめす表のデータについて説明する。

図２に示したＥＥＰＲＯＭ５８には、図４の表に示すような、出荷前の検査で取得したカメラ固有のデータが格納されている。この実施形態では、ズームレンズの６段のズームポジションZP1〜ZP6ごとに、ＣＣＤの全撮影画角の画像（以下、「全画像」という）から画像を切り出すための切り出し中心（光軸中心）の座標及び切り出しサイズ（縦横の画素数）を示す情報（第１の情報）と、レンズ歪補正パラメータ及び計算式を示す情報（第２の情報）とが、左右の撮影光学系別にそれぞれ格納されている。

図５及び図６は、それぞれズームポジションZP1(ワイド端;35mm画角)とズームポジションZP3(Tele側;45mm画角)における左右の全画像に対する切り出し中心及び切り出しサイズ等を示している。

図５に示すように、左眼用の全画像に対する切り出し中心(Lx1,Ly1)と、右眼用の全画像に対する切り出し中心(Rx1,Ry1)は、それぞれ左右の撮影光学系の光軸中心を示しており、ＣＣＤ撮像面の中心（×印）からずれている。

左眼用の全画像から切り出し中心(Lx1,Ly1)を中心に切り出しサイズ(LH1,LV1)の画像を切り出し、同様に右眼用の全画像から切り出し中心(Rx1,Ry1)を中心に切り出しサイズ(RH1,RV1)の画像を切り出すことにおり、このズームポジションZP1における左右の撮影光学系の光軸ずれに伴う画像ずれを補正すること、即ち、光軸ずれを補正することができる。

また、図５に示すレンズ歪は樽型歪の例が示されているが、この種のレンズ歪をもつ画像は、予めレンズ歪を検査してそれを補正するための情報（第２の情報）を使用することによりレンズ歪を補正することができる。即ち、レンズ歪を補正するための計算式（図４に示す表の例では６次多項式）の各項の係数にレンズ歪補正パラメータを代入した計算式を使用し、この計算式に切り出し中心を基準にした各画素の座標値を代入して得た座標位置に画素を再配置することより、レンズ歪が補正された画像を生成することができる。

尚、計算式の次数が大きいほど、高精度の歪補正を行うことができるが、計算量が増加する。

図６に示す左眼用の全画像に対する切り出し中心(Lx3,Ly3)と、右眼用の全画像に対する切り出し中心(Rx3,Ry3)は、それぞれ図５に示した切り出し中心(Lx1,Ly1)、切り出し中心(Rx1,Ry1)と異なっている。これは、ズームレンズのズームポジション毎に左右の撮影光学系の光軸中心のずれが異なることに起因している。

従って、図４に示す表に示したように左右の撮影光学系のそれぞれのズームレンズのズームポジション毎に切り出し中心の情報を保持している。

また、ズームレンズのズームポジション毎に撮影光学系のレンズ歪も変化するため、図４の表に示したように左右の撮影光学系のそれぞれのズームレンズのズームポジション毎にレンズ歪補正パラメータを保持している。

尚、この実施形態の切り出し中心及び切り出しサイズは、レンズ歪補正が行われた画像上の値である。また、左右の撮影光学系のレンズ特性が同じ場合には、レンズ歪補正パラメータは、左右で共通のものを使用してもよい。
図３に戻って、ＣＰＵ３２は、ズームボタン１２によるズーム操作が行われたかを判別する（ステップＳ１８）。ズーム操作が行われた場合(「Yes」の場合)には、左右のズームレンズをズーム操作により指示されたズームポジションZPxに移動させる（ステップＳ２０）。ズーム操作が行われない場合(「No」の場合)には、ステップＳ２２に遷移させる。尚、ＣＰＵ３２は、ズーム操作の有無にかかわらず、常に現在のズームポジションZPxを把握している。

ステップＳ２２では、ＣＰＵ３２は、ＡＥ検出部４６を動作させて被写体の明るさを示す撮影ＥＶ値を取得するとともに、ＡＦ検出部４８を動作させてＡＦエリアの被写体像のコントラストを示すＡＦ評価値を取得し、このＡＦ評価値が最大値に維持されるように左右のフォーカスレンズを駆動させる。

続いて、ＣＰＵ３２は、ステップＳ３２で取得した撮影ＥＶ値に基づいて左右の撮像部20-1,20-2における撮影条件（絞り値、シャッタ速度、撮影感度）をそれぞれ決定する（ステップＳ24-1,Ｓ24-2）。尚、左右の撮像部20-1,20-2の性能にバラツキがあったり、異なるレンズ等が使用されている場合には、上記のように個別に撮影条件を決定する必要があるが、左右の撮像部20-1,20-2が同一の性能を有するものである場合には、共通の撮影条件を使用してもよい。

ＣＰＵ３２は、上記のようにして決定した撮影条件にしたがって左右の撮像部20-1,20-2における露光制御を行い、１フレーム分の左右の視点画像（CCDRAWデータ）を取得する（ステップＳ26-1,Ｓ26-2）。

前記取得されたCCDRAWデータは、デジタル信号処理部４４の第１の画像処理部によりホワイトバランス補正、ガンマ補正、ＹＣ変換等の画像処理が行われるが（ステップＳ28-1,Ｓ28-2）、ここでは、デジタル信号処理部４４の第２の画像処理部（画像切り出し処理回路、レンズ歪補正処理回路）による負荷の重い処理は行われない。

ステップＳ28-1,Ｓ28-2によりCCDRAWデータからＹＣ変換されたレンズ歪補正前のＹＣ信号は、一旦ＲＡＭ５４に蓄えられ、規定のフレーム数（例えば、フレームレートが６０／秒の場合には、６０フレーム）に達すると、フレーム毎にＹＣ信号が圧縮された補正前の全画角の画像と、その画像に関連付けて現在のズームレンズのズームポジションZPx、ステップＳ１２で設定した視差調整値H_SHIFTとを、ステップＳ１６で作成した記録ファイルに格納する（ステップＳ３０）。尚、動画の圧縮方式としては、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４−ＭＶＣなどが適用できる。

図７は前記記録ファイルのファイル構造の一例を示す図である。同図に示すように、記録ファイルのタグには、撮影情報、撮影条件、撮影日時等の通常の付属情報の他に、図４の表に示したズームポジション毎の切り出し中心（光軸中心）、切り出しサイズ、レンズ歪補正パラメータ（計算式含む）のテーブル、３Ｄ動画のサムネイル（３Ｄ動画を代表する３Ｄ静止画の左右の縮小画像）、各サムネイルの視差調整値が記録される。また、記録ファイルの本体には、１秒毎に３Ｄ動画の視差調整値H_SHIFT、ズームポジションZPxの情報のパケット（１秒間の各フレーム毎のパケット）、圧縮された３Ｄ動画（例えば、６０フレーム分の時系列の左右の視差画像）、及び１秒間のオーディオデータが記録される。

上記記録ファイルの本体には、上記１秒毎の３Ｄ動画等の情報が、任意の動画撮影時間だけ連続して記録される。

図３に戻って、ステップＳ３２では、ＣＰＵ３２は、３Ｄ動画の撮影終了指示があったか否かを判別する。例えば、ＣＰＵ３２は、ステップＳ１４でシャッタボタン１１が全押しされた後、再びシャッタボタン１１が全押しされた場合、「撮影終了指示あり」と判別する。

そして、「撮影終了指示あり」が判別されない場合(「No」の場合)には、ステップＳ１０に戻り、上記３Ｄ動画の撮影と記録を繰り返す。

一方、「撮影終了指示あり」と判別された場合(「Yes」の場合)には、ステップＳ３２に遷移し、ここで１秒未満の３Ｄ動画等を記録ファイルに記録した後、３Ｄ動画の撮影記録を終了する。

［３Ｄ動画再生時の動作］
次に、本開示内容に係る立体撮像装置１０の３Ｄ動画再生時の動作について、図８に示すフローチャートを参照しながら説明する。

MENU／OKボタンと再生ボタンとを兼ねた操作スイッチ１８Ｄにより再生モードが設定されると、立体撮像装置１０はメモリカード４０に記録された画像の再生を行うことができる。

図８において、３Ｄ動画が記録された記録ファイルが選択されてその再生が指示されると（ステップＳ５０）、ＣＰＵ３２は、記録ファイルのタグ（図７参照）に基づいて図４に示す表のデータを読み出し、これを内部メモリ（ＲＡＭ５４）に記憶させる（ステップＳ５２）。

続いて、ＣＰＵ３２は、記録ファイルの本体から３Ｄ動画と、それに関連付けられて記録されているズームポジションZPx、視差調整値H_SHIFTとを読み出す（ステップＳ５４）。

読み出された３Ｄ動画（圧縮されたＹＣ信号）は、圧縮／伸張処理部４２により伸張処理されて非圧縮のＹＣ信号に復元され（ステップＳ５６）、その後、デジタル信号処理部４４の第２の画像処理部により画像処理が行われる（ステップＳ５８〜Ｓ６４）。

即ち、復元されたＹＣ信号は、まずレンズ歪補正処理回路により左右の視点画像に対してそれぞれレンズ歪補正が行われる。このレンズ歪補正処理は、フレーム毎に対応付けて記録されたズームポジションZPxに基づいて、ＲＡＭ５４に記憶させた図４に示す表から対応するレンズ歪補正パラメータ、及び切り出し中心（光軸中心）座標を読み出し、このレンズ歪補正パラメータを係数とする計算式に視点画像の各画素の光軸中心を基準にした座標値を代入することにより新たな座標値を取得し、その座標値に画素を移動させることで、レンズ歪が補正された視差画像を得る（ステップＳ５８、図５、図６参照）。

レンズ歪補正された左右の全画角の視差画像は、画像切り出し処理回路によりそれぞれ切り出しエリアが調整されて切り出され、左右の撮影光学系の光軸ずれが補正される。即ち、画像切り出し処理回路は、全画角の視差画像のズームポジションZPxに対応してＲＡＭ５４から切り出し中心（光軸中心）の座標及び切り出しサイズの情報を読み出し、これらの情報に基づいて左右の全画角の視差画像から３Ｄ表示用の光軸ずれが補正された左右の視差画像を切り出す（ステップＳ６０）。

図９Ａに示すレンズ歪が補正された左右の全画角の視差画像から、図９Ｂに示すように光軸ずれが補正された左右の視差画像を切り出す。

次に、画像切り出し処理回路は、前記切り出した左右の視差画像からステップＳ５４で読み出した視差調整値H_SHIFTに基づいて、図９Ｃに示すように左右方向に視差調整値H_SHIFTの２分の１だけオフセットした切り出しエリアで切り出す（ステップＳ６２、Ｓ６４）。尚、図９Ｃに示す例では、視差量が大きくなる方向に切り出しているが、視差調整値H_SHIFTの符号が逆転している場合には、視差量が小さくなる方向に切り出される。

上記のようにして切り出された左右の視差画像は、表示制御部３６を介して液晶モニタ１６（立体表示部）に出力され、ここで３Ｄ画像として表示される（ステップＳ６６）。

ステップＳ６８では、映像フレームが終了したか、又は動画再生の終了が指示されたかが判別され、「No」の場合には、ステップＳ５４に戻る。

これにより、上記再生処理がフレーム毎に繰り返され、液晶モニタ１６には３Ｄ動画が表示される。尚、上記３Ｄ動画の出力先は、液晶モニタ１６に限らず、外部の３Ｄ表示装置でもよい。

映像フレームが終了し、又は動画再生の終了が指示されると(「Yes」の場合)、３Ｄ動画の再生処理を終了させる（ステップＳ７０）。

上記実施形態の画像切り出し処理は、光軸ずれを補正するための切り出しを行った後、その切り出された画像から更に視差調整値H_SHIFTに基づいて視差調整した画像を切り出すようにしたが、これに限らず、左右の視差画像の切り出し中心の座標を、視差調整値H_SHIFTの２分の１の値でオフセットし、このオフセットした切り出し中心と切り出しサイズにより、全画角の画像から一度に切り出すようにしてもよい。

あるいは、光軸ずれを補正するための切り出しを行った後、その切り出された画像を視差調整値H_SHIFTに基づいて（画像をずらす）視差調整をしてもよい。それを立体表示する場合、表示画像の左右端のH_SHIFT/2を黒等で塗りつぶしてもよい。もちろん塗り潰さずそのまま表示してもよい。

［３Ｄ動画の変換処理］
次に、本開示内容に係る立体撮像装置１０の３Ｄ動画の変換処理について、図１０に示すフローチャートを参照しながら説明する。尚、図８に示した動画再生時にフローチャートと共通する部分については、共通のステップ番号を付し、その詳細な説明は省略する。

図１０において、まず、立体撮像装置１０の操作スイッチ１８Ｄ（MENU／OKボタン）を操作し、液晶モニタ１６に動画変換メニューを表示させ、その動画変換メニューの選択実行が指示されると、３Ｄ動画の変換処理が開始される（ステップＳ８０）。

ステップＳ８２では、変換処理を行う３Ｄ動画の選択が行われる。この３Ｄ動画の選択は、３Ｄ動画のサムネイルを表示させ、所望のサムネイルを選択することにより行うことができる。尚、変換処理前のサムネイルと変換処理後のサムネイルとをマーカや文字等により識別可能に表示させることにより、変換処理済みの３Ｄ動画が選択されないようにすることができる。

上記選択した３Ｄ動画の変換指示があると、前述したステップＳ５２からＳ６４により１フレームずつレンズ歪補正処理、光軸ずれを補正の画像切り出し処理等が行われる。

１秒分の規定のフレーム数の画像処理が終了すると、左右の視差画像をそれぞれ圧縮処理し（ステップＳ８６）、記録ファイルに上書きし、又は新規の記録ファイルを作成して保存する（ステップＳ８８）。

そして、映像フレームが終了するまで、ステップＳ５４からステップＳ８８までの処理を繰り返す。これにより、レンズ歪補正、光軸中心のずれ等が補正された変換済みの３Ｄ動画の記録ファイルを生成することができる。

［その他］
この実施形態では、立体撮像装置１０が、図８に示した３Ｄ動画の再生処理を行うようにしたが、これに限らず、３Ｄディスプレイを有する３Ｄ再生装置が、図８に示した３Ｄ動画の再生処理を行うようにしてもよい。この場合、３Ｄ再生装置は、立体撮像装置１０により記録された３Ｄ動画の記録ファイルを記録メディアから直接又は通信手段を介して取得するようにする。

また、この実施形態では、立体撮像装置１０が、図１０に示した３Ｄ動画の変換処理を行うようにしたが、これに限らず、図１０に示した３Ｄ動画の変換処理を行う編集ソフトウエアがインストールされたパーソナルコンピュータ、その他の外部機器が、未処理の３Ｄ動画を入力して３Ｄ動画の変換処理を行うようにしてもよい。

この実施形態では、光軸中心のずれを補正するための情報として、レンズ歪補正後の画像における切り出し中心の座標、及び切り出しサイズの情報を記憶保持するようにしたが、これに限らず、レンズ歪補正前の画像における切り出し中心の座標、及び切り出しサイズの情報を記憶保持するようにしてもよい。この場合、前記記憶保持した情報に基づいて最初にレンズ歪補正前の画像から光軸中心のずれを補正する画像の切り出しを行い、その後、切り出した画像に対してレンズ歪を補正する処理を行う。

また、この実施形態では、光軸中心のずれを補正するための情報として、図４に示したようにズームポジションZPに応じて切り出し中心（光軸中心）の座標値と切り出しサイズの情報をもつようにしたが、これに限らず、切り出しエリアの対角の座標値をもつようにしてもよい。

また、本開示内容は撮影光学系のレンズ歪補正に限らず、色収差等の他の収差を補正する場合にも適用できる。

更に、図７に示したように記録ファイルのタグに図４に示す表を格納し、各動画のフレームに関連付けてズームポジションZPｘの情報を記録するようにしたが、これに限らず、ズームポジションZPxに基づいて図４に示す表から選択されたデータを、直接動画のフレームに関連付けて記録するようにしてもよい。この場合には、図４に示す表のズームポジションZPｘの情報の記録は不要になる。

また、本開示内容は上述した実施形態に限定されず、本開示内容の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１１…シャッタボタン、１２…ズームボタン、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４４…デジタル信号処理部、５４…ＲＡＭ、５６…ＲＯＭ、５８…ＥＥＰＲＯＭ

Claims (20)

1. 立体撮像装置であって、
   撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像部であって、互いに視差を有する視差画像を撮像する複数の撮像部と、
   前記立体撮像装置に固有の、前記撮影光学系間の光軸ズレに関する第１及び第２の情報であって、各撮影光学系について撮影画角から画像を切り出す光軸中心位置及び切り出しサイズ、又は前記光軸中心位置を中心にした切り出しエリアを示す第１の情報と、各撮影光学系の収差を示す第２の情報とが前記立体撮像装置の出荷前に予め記憶された記憶部と、
   前記複数の撮像部から立体動画となる時系列の複数の視差画像を出力させる撮像制御部と、
   前記立体動画の撮影時に前記複数の撮像部から出力される時系列の複数の視差画像を記録媒体に記録するとともに、前記第１の情報及び第２の情報を前記記憶部から読み出し、読み出した前記第１の情報及び第２の情報を前記複数の視差画像に関連付けて前記記録媒体に記録する記録部と、
   を備える立体撮像装置。
2. 前記第１の情報は、前記撮影光学系の収差を補正する前の視差画像、又は前記収差を補正した後の視差画像に対する情報である、請求項１に記載の立体撮像装置。
3. 前記複数の撮像部から出力される複数の視差画像間の視差量を調整する指示を出力する視差量調整部をさらに備え、
   前記記録部は、前記視差量調整部から出力された前記指示に基づく視差量調整値を第３の情報として前記複数の視差画像に関連付けて前記記録媒体に記録する、請求項１又は２に記載の立体撮像装置。
4. 前記撮影光学系はズームレンズであり、
   前記立体撮像装置は、前記立体動画の撮影時に前記ズームレンズのズーム位置を示す情報を時系列に取得する撮影情報取得部をさらに備え、
   前記記憶部は、前記ズームレンズのズーム位置毎に前記第１の情報及び第２の情報を記憶し、
   前記記録部は、前記記憶部に記憶された前記ズーム位置毎の第１の情報及び第２の情報の全情報と前記立体動画の撮影時の前記ズームレンズの時系列のズーム位置を示す情報、又は前記立体動画の撮影時の前記ズームレンズの位置を示す情報に基づいて前記記憶部から読み出した時系列の前記第１の情報及び第２の情報を、前記複数の視差画像に関連付けて前記記録媒体に記録する、請求項１から３のいずれかに記載の立体撮像装置。
5. 前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、
   前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
   前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、
   をさらに備える請求項１、２又は４に記載の立体撮像装置。
6. 前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
   前記読み出した第３の情報に基づいて、前記読み出した第１の情報により示される光軸中心、切り出しエリア、切り出しサイズの少なくとも１つを変更することにより前記第１の情報を調整し、前記調整された第１の情報に基づいて前記読み出した時系列の複数の視差画像を立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
   前記画像処理部により生成された時系列の複数の視差画像を、装置内の立体表示部又は外部の立体表示部に出力する出力部と、
   をさらに備える請求項３に記載の立体撮像装置。
7. 前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
   前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
   前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいてずらした後、前記立体撮像装置に備えられた立体表示部又は外部の立体表示部に出力する出力部と、
   をさらに備える請求項３に記載の立体撮像装置。
8. 前記出力部の代わりに、又は前記出力部とともに前記画像処理部により生成された時系列の複数の視差画像を前記記録媒体に記録する記録部をさらに備える請求項５から７のいずれかに記載の立体撮像装置。
9. 請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出部と、
   前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
   前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、
   を備える画像再生装置。
10. 請求項３に記載の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    前記読み出した第３の情報に基づいて、前記読み出した第１の情報により示される光軸中心、切り出しエリア、切り出しサイズの少なくとも１つを変更することにより前記第１の情報を調整し、前記調整された第１の情報に基づいて前記読み出した時系列の複数の視差画像を立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    前記画像処理部により生成された時系列の複数の視差画像に基づいて立体動画を表示する立体表示部と、
    を備える画像再生装置。
11. 請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出部と、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理部と、
    前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいてずらした後、立体動画を表示する立体表示部と、
    を備える画像再生装置。
12. 請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出機能と、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    をコンピュータにより実現させる編集ソフトウエア。
13. 請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    前記読み出した第３の情報に基づいて、前記読み出した第１の情報により示される光軸中心、切り出しエリア、切り出しサイズの少なくとも１つを変更することにより前記第１の情報を調整し、前記調整された第１の情報に基づいて前記読み出した時系列の複数の視差画像を立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    をコンピュータにより実現させる編集ソフトウエア。
14. 請求項５の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいてずらした後、立体表示部に出力する出力機能と、
    をコンピュータにより実現させる編集ソフトウエア。
15. 請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出す読出機能と、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の 複数の視差画像を生成する画像処理機能と、
    前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    をコンピュータにより実現させる編集ソフトウエアを記録した記録媒体。
16. 請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    前記読み出した第３の情報に基づいて、前記読み出した第１の情報により示される光軸中心、切り出しエリア、切り出しサイズの少なくとも１つを変更することにより前記第１の情報を調整し、前記調整された第１の情報に基づいて前記読み出した時系列の複数の視差画像を立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    前記生成された時系列の複数の視差画像を記録媒体に記録する記録機能と、
    をコンピュータにより実現させる編集ソフトウエアを記録した記録媒体。
17. 請求項５の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出す読出機能と、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成する画像処理機能と、
    前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいてずらした後、立体表示部に出力する出力機能と、
    をコンピュータにより実現させる編集ソフトウエアを記録した記録媒体。
18. 請求項１、２又は４の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報及び第２の情報とを読み出すステップと、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成するステップと、
    前記生成された時系列の複数の視差画像を記録媒体に記録するステップと、
    をコンピュータが実行する編集方法。
19. 請求項３の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出すステップと、
    前記読み出した第３の情報に基づいて、前記読み出した第１の情報により示される光軸中心、切り出しエリア、切り出しサイズの少なくとも１つを変更することにより前記第１の情報を調整し、前記調整された第１の情報に基づいて前記読み出した時系列の複数の視差画像を立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成するステップと、
    前記生成された時系列の複数の視差画像を記録媒体に記録するステップと、
    をコンピュータが実行する編集方法。
20. 請求項５の立体撮像装置により記録された前記記録媒体から時系列の複数の視差画像と前記第１の情報、第２の情報及び第３の情報とを読み出すステップと、
    前記読み出した時系列の複数の視差画像を、前記読み出した第１の情報に基づいて立体表示用に切り出すとともに、前記読み出した第２の情報に基づいて収差を補正した時系列の複数の視差画像を生成するステップと、
    前記画像処理部により生成された時系列の複数の視差画像を、前記第３の情報に基づいてずらした後、立体表示部に出力するステップと、
    をコンピュータが実行する編集方法。

Images