JP6570327B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、３Ｄデータをモデリング可能な撮像装置に関する。

手持ちカメラにより取得した画像情報や２次元奥行き情報を利用して、３Ｄモデリングや空間マッピングを実現することが望まれている。このとき、光学防振制御（ＩＳ制御）を用いると、手振れによる像の動きボケや動き歪を低減することができ、これによる３Ｄモデルや空間マップの劣化を抑制可能である。光学防振制御は、特に、光量が不足している室内、曇天、夜間などの撮影シーンで有効である。

特許文献１には、光学防振制御を用いてローリングシャッタ歪を補正し、かつ、動きボケを抑制する撮像システムが開示されている。特許文献２には、１つの視野に収まらないような大きな被写体を撮影、または接写する必要がある場合、複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する装置が開示されている。特許文献３には、画像や奥行き情報を撮影した瞬間のカメラの位置や姿勢情報またはある起点からの変化情報を計測もしくは計算し、統合処理に利用する方法が開示されている。撮影画像やカメラに組み込まれた姿勢センサ情報を利用して、撮影時のカメラの位置や姿勢を計算する手法は、自己位置推定と呼ばれる。

米国特許第８４７１９１５号 特開２０１４−１１００４３号公報 特表２０１４−５１１５９１号公報

しかし、特許文献２、３に開示されているようにカラー画像と奥行き距離情報を含む画像を統合して３Ｄモデリングを行う場合、光学防振制御をオンにすると、各視点で撮影したＲＧＢデータを統合座標空間に逆射影してマージしようとしてもずれが生じる。これは、透視投影により生じて光学防振の状態に依存するパースが幾何学的におかしくなるためである。また、カメラの位置姿勢変化を画像から推定する場合、正しく推定できなくなるため、光学防振制御を実行しながら３Ｄモデリングの品質を向上することは難しい。

そこで本発明は、手持ち撮影における動きブレやローリングシャッタ歪による影響を低減した、高品質かつ高精度な３Ｄモデリングや空間マッピングを実現可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、被写体像の奥行き情報を取得する奥行き情報取得部と、装置の位置情報または姿勢情報を取得する位置姿勢取得部と、前記装置の光学防振状態に関する情報と、前記奥行き情報と、前記位置情報または前記姿勢情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成する画像処理部とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された被写体像を光電変換して画像信号を出力する撮像素子と、前記被写体像の奥行き情報を取得する奥行き情報取得部と、撮像装置の位置情報または姿勢情報を取得する位置姿勢取得部と、前記撮像装置の光学防振状態に関する情報と、前記奥行き情報と、前記位置情報または前記姿勢情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成する画像処理部とを有する。

本発明の他の側面としての制御方法は、被写体像の奥行き情報を取得するステップと、装置の位置情報または姿勢情報を取得するステップと、前記装置の光学防振状態に関する情報を取得するステップと、前記奥行き情報と、前記位置情報または前記姿勢情報と、前記光学防振状態に関する情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成するステップとを有する。

本発明の他の側面としてのプログラムは、被写体像の奥行き情報を取得するステップと、装置の位置情報または姿勢情報を取得するステップと、前記装置の光学防振状態に関する情報を取得するステップと、前記奥行き情報と、前記位置情報または前記姿勢情報と、前記光学防振状態に関する情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、手持ち撮影における動きブレやローリングシャッタ歪の影響を低減した、高品質かつ高精度な３Ｄモデリングや空間マッピングを実現可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

第１実施形態における撮像装置のブロック図である。 第１実施形態におけるボクセル生成による３Ｄデータ生成の説明図である。 第１実施形態における光学防振のピンホールカメラモデルに及ぼす影響の説明図である。 各実施形態における撮像素子の単位画素セルの構成図である。 各実施形態における撮像素子のカラーフィルタの配列図である。 第１実施形態における光学防振の影響を考慮した逆射影の説明図である。 第１実施形態における逆射影による３Ｄモデル統合の説明図である。 第１実施形態におけるＲＧＢＤ画像データから３Ｄモデルを復元する処理を示すフローチャートである。 第２実施形態における撮像装置のブロック図である。 第２実施形態におけるＲＧＢＤ画像情報を用いた撮像装置の姿勢の算出処理を示すフローチャートである。 第２実施形態におけるブロックマッチングの説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置１００のブロック図である。撮像装置１００は、３次元データをモデリング可能であり、光学系１、撮像素子２、奥行き情報取得部３、振れ情報取得部４、光学防振制御部５、光学防振制御監視部６、前処理部７、位置姿勢取得部８、および、３次元情報復元部９を有する。本実施形態において、主に画像情報を対象とした処理を行う前処理部７および３次元情報復元部９により、画像処理部が構成される。また撮像装置１００は、各部を制御するＣＰＵ１２（制御部）を有する。

光学系１（撮影光学系）は、被写体１０からの光を撮像素子２上に結像させるコンポーネントであり、例えば、複数のレンズおよびミラーから構成される。光学系１は、複数のレンズのうちの一部のレンズからなる補正部材１１（補正レンズなどの防振機構）を含む。補正部材１１は、撮像装置１００の手振れなどに起因する像ブレを光学的に補正する光学防振機構を構成する。撮像装置１００は、補正部材１１を光軸ＯＡと直交する方向に移動（平行移動）させることにより、撮像素子２上に形成される光学像（被写体像）の位置を移動（平行移動）させ、撮像装置１００の揺れ（振れ）による像の揺れ（像ブレ）を低減する。光学系１がズームレンズの場合、焦点距離などの可変パラメータは、ＣＰＵ１２の内部メモリなどに記録され保持されている。

撮像素子２は、光学系１を介して撮像面上に結像（形成）された光学像を光電変換して、電子像（画像信号）を出力する。撮像装置１００は、光学系１に設けられた補正部材１１を用いて像ブレ補正を行うが、本実施形態はこれに限定されるものではない。例えば、補正部材１１に代えて、撮像素子２がピエゾ素子などの機械的駆動部品からなる像ブレ補正を行う補正部材（防振機構）を含むように構成してもよい。このとき撮像素子２は、光学系１の光軸ＯＡに直交する面内において平行移動を行うことにより、像ブレ補正（防振動作）が可能である。また、撮像素子２から画像信号として出力される像の範囲を制御し、電子的に手振れによる振動を防振する防振機構を代替的に備えてもよい。

奥行き情報取得部３は、撮像素子２と組み合わせて、画像情報の画素ごとに対応する２次元奥行き情報を取得する。例えば、撮像素子２は、１つのマイクロレンズＭＬに対して複数の画素を有し、マイクロレンズＭＬが２次元状に配列されている。このような構成において、撮像素子２は、瞳分割された一対の光束を光電変換して、一対の信号（瞳分割像）を出力可能である。奥行き情報取得部３は、撮像素子２から出力された瞳分割像を取得し、取得した２つの瞳分割像の間の位相差に基づいて画像信号の相関演算を行い、２次元奥行き情報を決定する。

続いて、図４を参照して、撮像素子２の構造について説明する。図４は、撮像素子２の単位画素セル（画素群）の構成図である。本実施形態において、撮像素子２は、１つのマイクロレンズＭＬを共有する複数の光電変換部ＰＤを有する。図４（ａ）は、単位画素セルの断面図である。図４（ｂ）、（ｃ）はそれぞれ、１つのマイクロレンズＭＬを共有する光電変換部の数が２つまたは４つの場合（２分割または４分割した光電変換部ＰＤが１つのマイクロレンズＭＬを共有する場合）における単位画素セルの正面図である。

図４（ａ）に示されるように、１つのマイクロレンズＭＬに対応する画素群により構成される単位画素セル４０１は、光電変換部４０２、４０３、マイクロレンズＭＬ、カラーフィルタＣＦ、および、配線層ＷＬを有する。画素群を２分割した場合、単位画素セル４０１において、図４（ｂ）に示されるように２つの光電変換部４０２、４０３が配列される。また、画素群を４分割した場合、単位画素セル４０１において、図４（ｃ）に示されるように４つの光電変換部４０２、４０３、４０４、４０５が配列される。図４（ｂ）、（ｃ）のいずれの配列においても、光学系１を介して撮像素子２に入射した光（入射光）は、マイクロレンズＭＬを通過し、カラーフィルタＣＦにより分光特性を持ち、それぞれの光電変換部に照射される。カラーフィルタＣＦは、一定周期の繰り返しで単位画素セル単位ごとに配列される。

図５は、カラーフィルタＣＦの配列図であり、図４（ｂ）に示されるように画素群を２分割した場合（光電変換部４０２、４０３が１つのマイクロレンズＭＬを共有する場合）の例を示している。カラーフィルタＣＦの配列は、赤（Ｒ）、緑（Ｇ）、緑（Ｇ）、青（Ｂ）のセットが周期的に配列された、一般的なベイヤー配列の場合を示している。光電変換部４０２（１つのマイクロレンズＭＬを共有する一方の分割ＰＤ）から出力される像をＡ像、光電変換部４０３（１つのマイクロレンズＭＬを共有する他方の分割ＰＤ）から出力される像をＢ像とする。図５において、例えば赤のカラーフィルタに対応して配置された光電変換部４０２、４０３は、それぞれ、ＲＡ、ＲＢと表記されている。なお、撮像素子２の構造および特徴は、単位画素セル４０１が分割構造であることを除いて、一般的な撮像素子と同様である。

光学系１により構成される主光学系（主レンズ）に対し、マイクロレンズＭＬは視野レンズの役割を果たす。このため、各光電変換部（分割ＰＤ）に到達する射出瞳からの光束は制限され、それぞれ各光電変換部上に射出瞳の互いに異なる領域（瞳分割領域）を通過した光束が到達する。このため、単位画素セル４０１において、同一配列の画素、例えば光電変換部４０２のみの画素を受光領域の全体から集めて構成した画像と、光電変換部４０３のみの画素を集めて構成した画像との間には、視差が生じる。このような画像間の視差を利用することにより、焦点検出やステレオ画像処理が可能となる。このように視差を有する画像は視差画像と呼ばれる。

また、一般的な太陽光などのコヒーレンスの低い光を照明とする撮影照明条件、および、民生光学素子を利用する条件の下では、分割瞳間の空間コヒーレンシーは低いとみなすことが可能である。このため、単位画素セル４０１中の各光電変換部、例えば２分割した光電変換部４０２、４０３の間、または、４分割した光電変換部４０２、４０３、４０４、４０５の間の画素値を加算して得られる画像は、従来の非瞳分割光学系で撮影した像と略等価となる。このような加算画像（分割ＰＤの画素値を加算して得られた画像）は、前処理部７などの画像処理部による画像処理を介することにより、従来の撮像素子を用いた場合と同様の画像（撮影画像）として得られる。

本実施形態において、奥行き情報取得部３から出力される２次元奥行き情報は、撮像素子２からの通常の出力である輝度または例えばＲＧＢカラー画像に対して縮小されたサイズであってもよい。奥行き情報取得部３は、ＴＯＦ法、構造化光法、または、ＤＦＤ法などの手法により２次元奥行き情報を決定するが、本実施形態はこれらに限定されるものではない。

例えば、奥行き情報取得部３が赤外線（ＩＲ）パルスを飛ばす飛行時間（ＴＯＦ）法を用いる場合、撮像装置１００は発光部（不図示）を備え、赤外光を撮像空間に向けて発光し、撮像空間における１つ以上の物体表面からの後方散乱光を検出するように構成される。また例えば、撮像素子２は、Ｒ、Ｇ、Ｂ画素以外に感度を持つＩＲ画素を設けてもよい。そして奥行き情報取得部３は、例えば、パルス状の赤外光を発光部から発光し、撮像素子２に到着して検波された射出光パルスと対応する到着光パルスとの間の時間を算出し、撮像装置１００から被写体空間における物体位置までの物理的な距離を測定する。または、奥行き情報取得部３は、例えば、発光部からの射出光の位相を、到着光の位相と比較して、位相ずれを判定してもよい。この位相ずれを用いて、例えば散乱光パルス撮像（ｓｈｕｔｔｅｒｄ ｌｉｇｈｔ ｐｕｌｓｅ ｉｍａｇｅｎｇ）を含む種々の手法により、経時的に反射光ビームの強度を分析することができる。これにより、撮像装置１００から物体位置までの物理距離をさらに精度よく測定することが可能となる。

また例えば、奥行き情報取得部３は、構造光に基づいて奥行き情報を決定する方法を採用してもよい。この手法では、パターン化光（例えば、スポット、格子、または、縞模様パターンなどの既知のパターンを有する光であり、これらは時間的に可変であってもよい）を、発光部（不図示）を用いて撮像空間に向けて投影する。シーン中の物体表面に衝突すると、このパターンは変形する。奥行き情報取得部３は、このようなパターンの変形像を分析して、撮像装置１００からシーンまでの絶対的な距離または相対的な距離を測定する。

また例えば、奥行き情報取得部３は、同一画角のピント位置の異なる２つ以上の画像を比較し、画像の画角領域ごとの被写体の距離情報を取得する方法を採用してもよい。このような方法としては、エッジ差分で距離を推定する方法や、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）を用いる方法などがある。

また奥行き情報取得部３は、撮像素子２の通常の画素配列中に、位相差による焦点検出が可能な瞳分割された画素（焦点検出用画素）を設け、焦点検出用画素からの出力に基づいて距離を測定し、補完により２次元距離情報を形成してもよい。または、撮像素子２とは別に距離測定のための測距センサ（焦点検出センサ）を設けていてもよい。例えば、レーザレンジファインダなどの距離測定のための測距センサを設けることができる。

振れ情報取得部４は、ジャイロ、加速度センサ、地磁気コンパス、または、傾斜センサなどの姿勢センサを備え、撮像装置１００の位置や姿勢の変化情報を計測する。姿勢センサは、光学系１の複数の軸方向における位置や姿勢の変化を検出する。例えばジャイロは、光軸ＯＡに直交するヨー方向とピッチ方向、および、光軸ＯＡに平行なロール方向のそれぞれにおける姿勢の変化を検出する。軸ごとの姿勢センサを設ける代わりに、複数の軸方向における姿勢を検出可能な多軸姿勢センサを用いてもよい。ＣＰＵ１２を用いて姿勢センサの出力信号を積分し、振れ情報取得部４は、画像出力のフレームレートに同期させて姿勢変化量（位置変化量）を出力するように構成してもよい。または、ジャイロや加速度センサの情報を組み合わせることにより、振れ情報取得部４は、より精度を高めた姿勢変化量（位置変化量）を出力してもよい。位置精度を向上させるため、ＧＰＳなどを組み合わせてもよい。

光学防振制御部５は、変位素子を備えて構成され、光学防振を行うレンズ（補正レンズとしての補正部材１１）を光軸ＯＡに直交する方向においてシフトさせる。光学防振制御部５は、振れ情報取得部４により得られた撮像装置１００の姿勢変化（位置変化）、換言するとカメラワークに基づいて、光学系１の一部のレンズ（補正部材１１）をシフトさせて防振制御を行う。具体的には、光学防振制御部５は、電磁素子などを用いて防振制御を行う。光学防振制御部５は、振れ情報取得部４から出力された姿勢変化（位置変化）に関する情報（位置や姿勢の変化情報）に対して、時系列処理、具体的には積分を行い、画像上の動きを打ち消すように開ループ処理を行うことにより光学防振制御を実現する。積分処理には、例えばＩＩＲなどのフィルタ処理が用いられる。光学防振制御部５は、カットオフ周波数や還流（フィードバック）ゲインなどを調整し、または、オフセット減算を施すことにより、防振周波数特性や低域成分逃しの特性などを調整することができる。補正部材１１が撮像素子２に設けられる場合、光学防振制御部５は、光学系１の一部のレンズ（補正レンズ）に代えて、撮像素子２の平行移動（光軸ＯＡに直交する方向における移動）を制御する。

光学防振制御監視部６は、ホール素子やエンコーダなどを備えて構成され、補正部材１１の平行移動（移動量）を計測し、計測値を出力する。なお、計測値として高い精度が必要とされない場合、光学防振制御部５から出力される補正部材１１の制御情報を直接変換して計測値を取得してもよい。光学防振制御情報（計測値）は、撮像素子２における画像取得タイミングに同期してサンプリングされ、画像情報とセットで記録される。

前処理部７は、撮像素子２から出力された画像信号を１枚もしくは１フレームの輝度画像、または、ＲＧＢカラー画像に変換する処理を行う。前処理部７は、フロントエンド処理を行うフロントエンド部と、バックエンド処理を行うバックエンド部とを備えて構成されている。フロントエンド部は、撮像素子２からの画像信号（アナログ画像信号）に対して、相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換などの基礎的な処理を行う。これにより、フロントエンド部は、アナログ画像信号をデジタル信号に変換し、デジタル画像信号を生成する。フロントエンド部は、主に、アナログ画像信号に対する前処理を行うため、フロントエンド部の主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。また、デジタル出力センサと対で用いられるフロントエンド部は、ＤＦＥ（デジタルフロントエンド）と呼ばれる。

前処理部７のバックエンド部は、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・諧調・コントラスト補正、エッジ強調などのデジタル画像信号に対するバックエンドの画像処理（バックエンド処理）を行う。バックエンド部は、更に、複数枚の画像合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張処理や超解像処理などの画像処理を行ってもよい。バックエンド処理は、フロントエンド部のＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。前処理部７は、フロントエンド処理およびバックエンド処理を行うことにより、１枚の画像（静止画）または動画を形成する出力画像情報を生成する。本実施形態において、前処理部７により生成された輝度画像またはカラー画像（ＲＧＢ画像）と、奥行き情報取得部３により取得された２次元奥行き情報とをまとめて、ＲＧＢＤ画像情報という。

位置姿勢取得部８（カメラ位置姿勢取得部）は、振れ情報取得部４により取得された撮像装置１００（カメラ）の姿勢変化量（位置変化量）に基づいて、各フレーム撮影の際における撮像装置１００の姿勢（姿勢情報）または位置（位置情報）を決定する。また位置姿勢取得部８は、前処理部７から出力されるＲＧＢＤ画像情報を用いて、撮像装置１００の姿勢または位置の精度を向上させてもよい。その際、ＲＧＢＤ画像情報に施されている光学防振の影響を除くため、位置姿勢取得部８は、光学防振制御監視部６から出力される光学防振制御情報を用いる。以降、本実施形態では、各フレーム撮影の際における撮像装置１００の姿勢（位置）は、ある撮影フレームを基点として撮像装置１００の姿勢変化量（位置変化量）の単純積分により得られる姿勢（位置）として説明する。

３次元情報復元部９は、３次元（３Ｄ）モデルデータまたは環境マップデータを生成する。このデータは、前処理部７から出力されるＲＧＢＤ画像情報、位置姿勢取得部８から出力される各フレーム撮影の際における撮像装置１００の姿勢情報（位置情報）、および、光学防振制御監視部６から出力される光学防振制御情報に基づいて生成される。

次に、３次元環境の再現について説明する。一例としては、現実世界環境の３Ｄモデルを、メモリー・デバイス上に格納されているボクセルで構成された３Ｄ立体空間において生成する。このモデルは、撮像装置１００の位置および方向を記述するデータ、ならびに撮像装置１００から被写体環境における１点までの距離を示す画素を有する奥行き画像から構築される。立体空間である被写体空間を形成するボクセルごとに、その存在や値を順次計算する。ボクセルごとに、ＲＧＢＤ画像データを撮影した撮像装置１００を総当たりし、撮像装置１００の位置および方向を用いて、それと関連付けられるボクセルについて対応する奥行き画像およびその画素位置を判定する。そして、関連付けられたボクセルと被写体空間内の対応する位置における点との間の距離に関係する係数を決定し、この係数を用いて、関連付けられたボクセルにおいて格納されている値を更新する。このとき、撮影の際における過程を透視投影と仮定したピンホールモデルに基づき、その逆プロセスである逆射影により、ボクセル位置との関係を判定する。撮像装置１００の総当たり処理により、ボクセルが可視状態にあるＲＧＢＤ画像データにより更新され、最終的なボクセル値が得られる。そして、立体空間の残りの空間における同等のボクセルごとに反復し、格納されている値を更新するプロセスを繰り返すことにより、現実世界環境の３Ｄモデルをボクセル表現として得ることができる。

一般に、３Ｄモデル表現には様々な表現方法がある。例えば、ボクセルの集合体として再構成した３Ｄ離散モデルであるヴォリュームモデルや、幾何モデルの中で３Ｄ形状を単純な立体形状の組み合わせで表すソリッドモデルがある。また、自由曲面をスプライン曲線による曲線パッチの多面体で近似するスプラインパッチや、頂点と三角形で物体表面を近似する３Ｄメッシュモデルなどがある。これらの表現方法は、一般に相互に変換可能であり、また本実施形態におけるボクセル表現のように、ＲＧＢＤ画像からの生成が可能である。このため本実施形態においては、他の３Ｄ表現方法による作成に関する説明は省略する。

図２は、本実施形態におけるボクセル生成による３Ｄデータ生成の説明図である。図２は、空間点であるボクセル２０１、カメラ２０２（撮像装置１００に相当）、および、ＲＧＢＤ画像である各画素２０３の関係を示している。ボクセル２０１、カメラ２０２、および、画素２０３に関して総当たりの探索を行うことにより、２．５Ｄデータを統合した３Ｄモデルデータを生成することができる。

なお、光学防振を併用しない基本的なＲＧＢＤ画像および同期記録したカメラ位置姿勢データからの現実世界環境の３Ｄモデルデータの生成、特にボクセルデータ生成に関しては、特表２０１４−５１１５９１号公報に詳述されているため、その詳細は省略する。また、前述の３Ｄモデルデータの生成については、説明の単純化のため、空間中の３次元点（ボクセル）、撮影したＲＧＢＤ画像、撮影した各ＲＧＢＤ画像中の各画素について、総当たりでループを回し、順次処理する手順にて説明を行った。ただし、特表２０１４−５１１５９１号公報に示されるように、ボクセルごとに並列処理を行う場合や、データの類似計算をまとめて実施する場合、処理の軽量化が可能であり、処理のバリエーションは本実施形態に限定されるものではない。

３次元情報復元部９における現実世界環境の３Ｄモデルデータ生成の説明に関して、奥行き画像の画素と、３次元空間の画素に相当するボクセルとの対応付けにおいては、撮影時の過程を透視投影と仮定し、ボクセル位置との関係を逆射影により関係付けている。光学防振制御を行わない場合、これは光学的に正しく動作する。一方、光学防振制御を行う場合、図３に示されるように、撮影時に光学防振が想定通りに動作しない。

図３は、本実施形態における光学防振のピンホールカメラモデルに及ぼす影響の説明図である。図３（ａ）は、防振制御を実行していない光学系１の状態、図３（ｂ）は防振制御を実行し、画像を光軸ＯＡと直交する方向にシフトさせた状態をそれぞれ示している。図３（ｃ）は、図３（ａ）に示される状態（防振制御を実行していない状態）において、光学系１をピンホールモデルに置き換えた図を示している。光線３０１の交点３０２が撮像装置１００の視点に相当する。図３（ｄ）は、図３（ｂ）に示される状態（防振制御を実行している状態）において、光学系１をピンホールモデルに置き換えた図を示している。図３（ｃ）、（ｄ）を比較すると、図３（ｃ）においては、画像の両端から視点（交点３０２）までの距離および方位がそれぞれ等しいため、立体像を撮影したときのパースなどは等しく撮影される。一方、図３（ｄ）においては、画像の両端から視点までの距離および方位がそれぞれ等しくない。このように、立体像を撮影した場合、等距離の同じ大きさの奥行きある被写体を撮影した場合でも、画像の左端と右端のそれぞれでパースの影響は互いに異なる。

図６は、光学防振の影響を考慮した逆射影の説明図である。３Ｄモデル（３Ｄモデルデータ）を統合するために逆射影により空間の３次元点とＲＧＢＤ画像点との対応付けを行うと、光学防振制御を実行していない場合（光学防振ＯＦＦ時）、図６（ａ）に示されるように一般的なピンホール想定で正しく逆射影できる。一方、光学防振制御を実行している場合（光学防振ＯＮ時）、図６（ｂ）に示されるように、撮影時の視点の偏心を考慮した視点とＲＧＢＤ画像の配置関係に基づいて、空間に逆射影して空間の３次元点との対応点を決定する必要がある。

図７は、逆射影による３Ｄモデル統合の説明図である。図７（ａ）は、光学防振ＯＦＦの場合および光学防振ＯＮの場合に、撮影時の補正部材１１の偏心量を逆射影時に考慮して視点に対するＲＧＢＤ画像配置を補正し、光学防振制御の影響を考慮した逆射影を行い、３Ｄモデルを生成する例を示す。２次元奥行き情報および撮像時の撮像装置１００の姿勢（位置）が正しく計測できていれば、幾何学的に整合のとれた状態できれいに統合が実現できる。

一方、図３（ｂ）に示されるように撮影時に光学防振制御による偏心が生じている状態でＲＧＢＤ画像を撮影し、かつ、３Ｄモデルの統合時に撮影時の光学防振状態を考慮しない場合を考える。このとき、図６（ａ）に示されるように非偏心の防振ＯＦＦ時のカメラモデルを想定して逆射影を行うと、図７（ｂ）に示されるように、統合した３Ｄモデルにずれが発生する。このため３次元情報復元部９は、逆射影のよる３Ｄモデルを統合する際に、撮影時に光学防振制御監視部６により計測された光学防振制御情報を用い、逆射影における視点とＲＧＢＤ画像面とのカメラモデルにおける関係を偏心させて逆射影を行う。この結果、３次元情報復元部９は、光学防振制御による影響を受けない３次元モデルの復元を行うことができる。

次に、図８を参照して、ＲＧＢＤ画像データ（撮影ＲＧＢＤ画像データ）から３Ｄモデルを復元する処理について説明する。図８は、ＲＧＢＤ画像データから３Ｄモデルを復元する処理を示すフローチャートである。図８のフローは、動きボケ・諧調・ノイズ補正を行うステップＳ８０１、ローリングシャッタ（ＲＳ）歪・歪曲補正を行うステップＳ８０２、逆射影（光学防振状態考慮）を行うステップＳ８０３、および、統一座標空間での統合を行うステップＳ８０４からなる。各ステップは、ＣＰＵ１２の指令に基づいて、３次元情報復元部９により実行される。

まずステップＳ８０１において、３次元情報復元部９は、ＲＧＢＤ画像中の特にＲＧＢ画像データに対する劣化を補正する。３次元情報復元部９は、主に、諧調補正、フィルタ処理、単純な複数枚の画像合成により、画像の劣化を補正する。

諧調補正としては、３次元情報復元部９は、例えば、周辺光量落ちによる諧調、または、色に関する劣化を補正する。３次元情報復元部９は、ＣＰＵ１２に保持された焦点距離やフォーカス距離などのカメラパラメータに基づいて、補正テーブルをメモリ（不図示）から取り出し、周辺光量落ちによる周辺部における諧調の低下、色ずれ、および、色収差を補正する。ノイズ処理としては、３次元情報復元部９は、例えば動画の場合、前後のフレーム、または短時間露光した過大な露光量分のフレームとの加重平均を取り、ランダムなノイズ成分を抑制するなどのノイズリダクション処理を行う。

動きボケ補正としては、３次元情報復元部９は、短時間露光で撮影した複数の低露出画像を、オフセットずれを考慮して、加算合成または平均加算合成を行い、動きボケを低減したＲＧＢ画像を取得する。または、３次元情報復元部９は、振れ情報取得部４から取得される撮像装置１００の動き情報に基づいてブレカーネルを作成し、デコンボリューションフィルタ処理により、動きボケを低減したＲＧＢ画像を取得する。以上のように、３次元情報復元部９は、諧調・ノイズ・動きボケ補正のような、諧調補正、加算平均、フィルタ処理により対応可能な補正を行い、撮影ＲＧＢＤ画像の質を改善する。

続いてステップＳ８０２において、３次元情報復元部９は、各撮影ＲＧＢＤ画像に関し、フレーム内のＲＳ歪や光学系の歪曲収差に依存して生じる放射歪曲や接線歪曲、光学防振の駆動により生じる偏心歪曲などの画素の幾何学的な位置に関する歪みを補正する。このように３次元情報復元部９は、撮影ＲＧＢＤ画像を、ＲＳ歪や歪曲などの画素の幾何学的な位置に関する歪みのないＲＧＢＤ画像に補正する。この歪みは、ＣＰＵ１２に保持された焦点距離やフォーカス距離などのカメラパラメータ、および、このカメラパラメータを引数として選択される光学系１の歪曲補正情報に基づいて補正される。更に、この歪みは、振れ情報取得部４により取得された撮像装置１００の姿勢（位置）の変化情報、および、光学防振制御監視部６により計測された光学防振制御情報に基づいて補正される。

光学防振制御による収差の影響や光学防振により部分的に抑制および補正されたブレや歪に関しても、３次元情報復元部９は、ＲＧＢＤ画像単体のレベルで補正を行う。２次元奥行き画像データに関しては、各奥行き画素に対応するＲＧＢＤ画素に基づいて、幾何学的な補正が行われる。各撮影ＲＧＢＤ画像単体で見た場合、ここまでの処理で諧調劣化および歪のない画像データが生成される。なお、光学防振制御によるパースに関する影響に対しては、後述のステップＳ８０３にて対応可能である。

続いてステップＳ８０３において、３次元情報復元部９は、光学防振状態を考慮した逆射影を行う。具体的には、図６（ｂ）を参照して説明したように、３次元情報復元部９は、光学防振制御による透視投影カメラモデルのずれを考慮してＲＧＢＤ画像に対する逆射影を行い、特定の撮影ＲＧＢＤ画像データに対応する３次元点を生成する。３次元情報復元部９は、光学防振制御によりＲＧＢＤ画像に対して相対的に変動する撮像装置１００（カメラ２０２）の視点であるカメラ投影中心の位置変化を考慮する。このように、ある物体の３次元的形状を１つの方向から見える範囲で表すデータは、２．５Ｄデータとも呼ばれる。２．５Ｄデータにおいては、物体の裏側や内部に関する情報は欠如している。ボクセルに基づく３Ｄモデルを生成する際に、各カメラ２０２のＲＧＢＤ画像における各画素と空間中のボクセルデータとの対応を、カメラ２０２の姿勢（位置）およびＲＧＢＤ画像の奥行きデータに基づいて関連付けし、ボクセルデータへの寄与係数を算出する。

続いてステップＳ８０４において、３次元情報復元部９は、統一座標空間での統合を行う。図７（ａ）に示されるように、３次元情報復元部９は、各撮影ＲＧＢＤ画像から生成された３次元点からなる２．５次元データ（２．５次元データの各々の３次元点データ）を、統一座標空間での３Ｄモデルデータに合成して統合する。このとき３次元情報復元部９は、ステップＳ８０３にて算出した寄与係数に基づいて、２．５次元データの各々の３次元点データを、統一座標空間での３Ｄモデルデータに合成する。

以上のように、本実施形態の撮像装置は、ＲＧＢＤ画像データの撮影時の光学防振状態を考慮し、３Ｄモデル空間に３次元点データを逆射影する。これにより、３Ｄモデル生成のためのＲＧＢＤデータ画像の撮影と光学防振とを組み合わせることができる。このため、手持ち撮影の際に動きブレやローリングシャッタ歪影響のない高品質かつ高精度なモデルや３Ｄ空間マップ生成を実現可能となる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。図９は、本実施形態における撮像装置２００のブロック図である。撮像装置２００は、メモリ１３および動きベクトル探索部１４を有する点で、第１実施形態における撮像装置１００とは異なる。撮像装置２００の他の構成は、撮像装置１００と同様であるため、それらの説明は省略する。

メモリ１３（記憶部）は、撮影済みのＲＧＢＤ画像データを記録する画像メモリである。例えば動画像の場合、動きベクトル探索対象となるＲＧＢＤ画像データに対する、隣接の過去２フレーム、または、直前および直後のフレームを記録する。動きベクトル探索部１４は、メモリ１３から出力された一対のＲＧＢＤ画像データの間の動きベクトル、換言すると対応点を探索する。

第１実施形態において、位置姿勢取得部８は、説明の単純化のため、基本的には振れ情報取得部４から取得される撮像装置１００の姿勢変化量（位置変化量）に基づいて、単純に撮像装置１００の位置を算出する。一方、本実施形態においては、撮像装置２００の姿勢（位置）をより高精度に算出するため、位置姿勢取得部８は、前処理部７から出力されるＲＧＢＤ画像情報を用いる。

ジャイロや加速度センサなどの姿勢センサを備えて構成される振れ情報取得部４の出力情報は、加速度や角速度などの撮像装置２００の姿勢（位置）に関する変化量である。姿勢センサを有する振れ情報取得部４の性能は、センサデバイス素子のダイナミックレンジや敏感度に影響され易く、また、積分された長期間撮影における撮像装置２００の姿勢（位置）の絶対的な精度は得られにくい。このため、撮影ＲＧＢＤ画像データ間の対応を用いて、任意のフレーム間に生じた姿勢変化の算出量を高精度化することが好ましい。ここで、任意のフレーム間とは、隣接フレーム間、または、メモリ１３に保持された、互いに離れたフレーム間であってもよい。

次に、図１０を参照して、動きベクトルおよびＲＧＢＤ画像情報を用いた撮像装置２００の姿勢（位置）の算出処理について説明する。図１０は、ＲＧＢＤ画像情報を用いた撮像装置２００の姿勢の算出処理を示すフローチャートである。図１０の各ステップは、ＣＰＵ１２の指令に基づいて、メモリ１３、動きベクトル探索部１４、または、位置姿勢取得部８により実行される。

まず、説明の単純化のため、光学防振制御を実行しない場合について、図１０（ａ）を参照して説明する。図１０（ａ）に示されるフローチャートは、動きベクトルを算出するステップＳ１００１、初期位置姿勢を算出するステップＳ１００４、および、高精度位置姿勢変化を算出するステップＳ１００５からなる。

ＲＧＢＤ画像情報を効率的に活用するため、ＲＧＢＤ画像間の相対的な撮像装置２００の姿勢変化量（位置変化量）の初期値を求めることを目的とする。このため、まずステップＳ１００１において、動きベクトル探索部１４は、画像間の動きベクトル、換言すると対応点を求める。続いてステップＳ１００４において、位置姿勢取得部８は、あるＲＧＢＤ画像対、および、そのＲＧＢＤ画像間の相対的な撮像装置２００の姿勢変化量の初期値を求めるための対応点を利用して、初期値となる撮像装置の姿勢変化（初期位置姿勢）を求める。続いてステップＳ１００５において、位置姿勢取得部８は、ＲＧＢＤ画像対を用いて３次元的なレジストレーションにより、高精度な位置姿勢変化量を決定する。

図１０（ｂ）は、光学防振制御を実行する場合に必要となる処理を、図１０（ａ）のフローに加えたフローチャートである。図１０（ａ）のステップＳ１００１に続いて、動きベクトルを補正するステップＳ１００２、および、ＲＧＢＤ画像を補正するステップＳ１００３が付加されている。ステップＳ１００３の後に、図１０（ａ）と同様のステップＳ１００４、Ｓ１００５が続く。このように、図１０（ｂ）のフローには、抽出したベクトルおよび撮影ＲＧＢ画像に含まれる光学防振制御の影響を、ベクトルおよび画像からそれぞれ除去する処理が追加で含まれている。

まずステップＳ１００１において、動きベクトル探索部１４は、入力された任意のＲＧＢＤ画像間の動きベクトルまたは対応点を算出する。動きベクトルは、通常、ＲＧＢ画像間で算出される。動きベクトルの算出の際には、テンプレートマッチング、各フレームで算出した特徴点間のキーポイントマッチング、または、勾配法に基づく動きベクトル推定などにより、フレーム間の動きベクトルまたは特徴点間の軌跡が算出される。

ここで、図１１を参照して、動きベクトル探索部１４により実行されるテンプレートマッチングの一種であるブロックマッチングについて説明する。図１１は、ブロックマッチングの説明図である。図１１中の左側の画像１１０１を基準画像とし、図１１中の右側の画像１１０２を探索画像とする。例えば、先に入力された映像フレームを基準画像、後から入力されたカレント映像フレームを探索画像とし、探索画像において動きベクトルを検出する。

基準画像（画像１１０１）中でグリッド状に配置された注目点１１０４を中心とした所定サイズの部分領域を、テンプレート１１０３とする。また、探索画像（画像１１０２）中において任意の探索範囲１１０７（探索領域）を設定し、順次移動しながらテンプレート１１０３が最も合致する位置を探索する。そして、探索画像中の注目画素１１０５を基準とした部分領域１１０６と基準画像中のテンプレート１１０３との類似度を計算する。類似度の指標としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、または、正規相互相関などの相関演算が用いられる。

実写映像のようにフレーム間の輝度変動が激しい場合、正規相互相関が主に用いられる。正規相互相関の類似度スコアの算出式は、以下の式（１）のように表される。

式（１）において、（ｘ，ｙ）および（ｘ’，ｙ’）は、基準画像Ｉおよび探索画像Ｉ’内におけるテンプレート１１０３の位置（座標）を示す。Ｉ_{（ｘ，ｙ）}（ｉ，ｊ）およびＩ’_{（ｘ’，ｙ’）}（ｉ，ｊ）はそれぞれ、部分画像を示す。

探索領域の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなし、動きベクトルを算出する。オクルージョンがなければ、基準画像上で設定した注目点１１０４の数だけ動きベクトルが算出される。動きベクトルは、それぞれ基準画像中の注目点位置を始点とし、探索画像中の対応点位置を終点とするベクトルにより、以下の式（２）のように表される。

また、探索範囲１１０７内の相関スコアに対し多項式フィッティングを行い、高精度に類似度のピーク位置を算出し、またはテンプレート１１０３と探索画像を高画素化するなどの処理により、サブピクセル精度で動きベクトルまたは対応点の軌跡を算出してもよい。

以上、注目点１１０４をグリッド状に固定的に配置したブロックマッチングの例を示したが、動きベクトルを算出しやすい特徴点を基準画像上で抽出し、その位置を注目点としてベクトル探索してもよい。注目点の抽出には、通常、Ｈａｒｒｉｓオペレータなどの画像処理フィルタが用いられる。Ｈａｒｒｉｓオペレータは、文献「Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”，Ｆｏｕｒｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．１４７−１５１，１９８８．」に記載されている。

Ｈａｒｒｉｓオペレータは、まず、ウィンドウサイズＷを決定し、水平および垂直方向についての微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を計算する。微分画像の計算には、Ｓｏｂｅｌフィルタなどを用いればよい。例えば、フィルタは、ｈ＝［１，√２，１］／（２＋√２）を横方向にし、縦方向に３つにならべた３×３フィルタｈ_ｘ、および縦方向にし、横方向に３つならべた３×３フィルタｈ_ｙを画像に適用し、微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を得る。

そして、画像内の全ての座標（ｘ，ｙ）について、ウィンドウサイズＷを用いて、以下の式（３）で表されるマトリクスＧを計算する。

マトリクスＧの最小特異値が大きい座標（ｘ，ｙ）の順に、特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。そこで、既に特徴点が抽出済みの座標（ｘ，ｙ）のウィンドウサイズＷの周辺に関しては特徴点を算出しないなどの制約を設けてもよい。

連続するフレーム間では、再度、特徴点を求めてテンプレートマッチングを行ってもよく、または、得られた動きベクトルの終端を注目点として、新たなフレーム間でテンプレートマッチングを行い特徴点の軌跡を追跡してもよい。または、各フレームで算出した特徴点間で特徴量をキー情報としてキーポイントマッチングを実施し、対応付けを行ってもよい。例えば、グラフアルゴリズムを活用することにより、冗長な対応付け作業を削減することができるため、効率的な対応付けが可能である。効率的なマッチングとして、ランダム決定木などの学習アルゴルが用いられることが多い。

算出された動きベクトルは、対応点に変換可能である、動きベクトル探索部１４によるベクトルを算出する際に利用した注目点の座標情報ｘ→を用い、フレームごとの対応位置を表す対応点に変換可能である。以下の式（４）で表されるように、動きベクトルΔｘ→＝（Δｘ，Δｙ）を、注目点ｘ→＝（ｘ，ｙ）と、対応点ｘ’→＝（ｘ’，ｙ’）に変換する（ここでは、ｘのベクトルを、ｘ→として示している）。

図９（ｂ）のステップＳ１００４において、ステップＳ１００１にて算出された動きベクトルに基づいて、位置姿勢取得部８は、初期位置姿勢変化を算出する。例えば、振れ情報取得部４により取得された微分的な撮像装置２００の位置姿勢変化量を、この処理フローに入力のＲＧＢＤ画像の撮影間の動きの総和となるように積分して得られる位置姿勢変化を初期値として取得する。この位置姿勢変化量は、非線形最適化、または、５点法などの確定的もしくは繰り返し算出手法により得られる。これらの算出手法は、文献「Ｄ．Ｎｉｓｔｅｒ，”Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ Ｆｉｖｅ−Ｐｏｉｎｔ Ｒｅｌａｔｉｖｅ Ｐｏｓｅ Ｐｒｏｂｌｅｍ”，ＰＡＭＩ Ｔｒａｎｓ．Ｖｏｌ２６，Ｉｓｓｕｅ６，ｐ．ｐ．７５６−７７０」、文献「Ｆ．Ｋａｈｌ，Ｒ．Ｈａｒｔｌｅｙ，”Ｃｏｎｔｉｎｕｏｕｓ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，ＥＣＣＶ２００６−Ｔｕｔｏｒｉａｌ ｐｒｏｇｒａｍ」に記載されている。

また、動きベクトルから撮像装置２００の位置姿勢変化を求める際には、画像の動きから撮像装置２００以外の動物体の動きや間違った動きベクトルを除く必要がある。ＲＡＮＳＡＣなどを併用して誤ベクトルや画像中で小領域からなる動物体の動きベクトルを除く。また、奥行き情報取得部３から取得される撮像装置２００の位置姿勢変化量、または、ＲＧＢＤ画像撮影間の撮像装置２００の動きを表す積分値を、カメラパラメータを用いて画像動きに変換する。このとき、画像動きと動きベクトルの類似性を比較し、かけ離れたものを動体の動きベクトルとして除去する。また、ベクトルの大半が合致しない場合や、静止物体や静止シーンを前提とした３Ｄモデリングや空間マッピングが成立しない場合、被写体の大部分が移動体と判定する。このときＣＰＵ１２は、処理を停止し、または、エラーや警告を提示する。

続いてステップＳ１００５において、ステップＳ１００４にて算出された位置姿勢変化を初期値として、ＲＧＢＤ画像を用いた３次元的なレジストレーションにより、高精度な入力ＲＧＢＤ画像間の位置姿勢変化を算出する。ＲＧＢＤ画像間を入力として、例えばＩＣＰアルゴリズムを用い、３次元的に画像間の位置および姿勢変化に対する３次元剛体フィッティングを行う。この手法は、文献「増田健，“ＩＣＰアルゴリズム”，コンピュータビジョン最先端ガイド３，アドコムメディア社，ｐ．ｐ．３３−６０」に記載されている。

以上の処理により、任意のＲＧＢＤ画像間の相対的な位置姿勢変化を高精度に求めることができる。すなわち、入力となる任意のＲＧＢＤ画像対の一方を固定するとあるＲＧＢＤ画像撮影時点のカメラ位置姿勢を基準とした、各ＲＧＢＤ画像に対する相対的なカメラ位置姿勢量の算出が可能となる。このような処理は、自己位置推定と呼ばれ、環境の３Ｄモデル推定においては重要な要素技術である。光学防振を実行しない場合の自己位置推定技術については、特表２０１４−５１１５９１号公報に記載されているように、一般的な技術である。

一方、光学防振を実行する場合、図１０（ｂ）に示されるような追加ステップを含む処理により、高精度の入力ＲＧＢＤ画像間の位置姿勢変化を求めることができる。ステップＳ１００２において、動きベクトルに含まれる光学防振の影響を除く。光学防振制御監視部６により得られた光学防振機構の効果を表す光学防振制御情報を用いて、対応点情報を加工する。これにより、光学防振の効果、すなわち抑振のために行われた映像の平行移動をキャンセルすることができる。そして、動きベクトルを対応点に変換してから補正を行う。

光学防振制御情報とは、光学防振の効果による映像の平行移動による座標変化の量を表す物理量である。しかしながら、光学系１がズームレンズの場合、焦点距離が変化すると、姿勢センサを有する振れ情報取得部４から与えられる撮像装置２００の回転量が同一であっても、映像の平行移動量が変化する。このため、制御の扱いやすさを鑑み、撮像装置２００の回転量や平行移動量、焦点距離からなる複数の制御物理量の組として扱ってもよい。例えば、光学防振制御情報の一つを、それ自体に光学系１の焦点距離を乗算すると、センサ面上での画像の平行移動量となるようにスケーリングする値と取り決める。すなわち、撮像装置２００の回転をθとすると、以下の式（５）で表されるように角度として扱ってもよい。

この際、光学防振機構がニュートラルな位置にある場合を、レンズのシフト量０とする。式（５）において、焦点距離を画像のピクセル単位で扱うことにより、補正角を画像上での平行移動量として扱うことができる。

撮像装置２００の光軸ＯＡに対し、Ｙａｗ方向へのレンズシフト量をＳｈｙ、Ｐｉｔｃｈ方向へのレンズシフト量をＳｈｐとする。このときシフト後の位置ｘ_ｒｅｖ、ｙ_ｒｅｖ、ｘ’_ｒｅｖ、ｙ’_ｒｅｖは、以下の式（６−１）、（６−２）、（６−３）、（６−４）のようにそれぞれ表される。

この結果、光学防振制御による表示領域の移動をキャンセルすることができる。ここで、Ｓｈｘ、Ｓｈｙは、カレントフレーム（現在のフレーム）における防振シフト量、Ｓｈｘ_−１、Ｓｈｙ_−１は、１つ前のフレームにおける防振シフト量を示す。本ステップにおいては、このような平行移動演算を算出した動きベクトルに適用する。動きベクトルを対応点化し、ベクトルを算出した１対のＲＧＢＤ画像のそれぞれにおける光学防振制御情報を用い、注目点および対応点の座標における光学防振の影響を差引きし、再度動きベクトルに戻す。この結果、動きベクトル情報から光学防振の影響をキャンセルすることができる。

続いてステップＳ１００３において、位置姿勢取得部８は、ＲＧＢＤ画像から光学防振の影響を補正する。光学防振制御情報から求まる画像面上での光学防振の影響による像のシフト量をキャンセルするように画像を左上などの基準点からシフトする。式（４）に基づいて画像を平行移動することにより、光学防振の影響をキャンセルすることができる。このときの演算は、ステップＳ１００２の座標に対する演算とは逆符号となる。

続いてステップＳ１００４において、位置姿勢取得部８は、ステップＳ１００２にて光学防振制御の影響をキャンセルした動きベクトルに基づいて、初期位置姿勢変化を算出する。光学防振を用いない場合と同様に、ＲＡＮＳＡＣなどを併用して誤ベクトルや画像中で小領域からなる動物体の動きベクトルを除く。また、奥行き情報取得部３から求められる撮像装置２００の位置姿勢変化量またはＲＧＢＤ画像撮影間の撮像装置２００の動きを表す積分値を、カメラパラメータを用いて画像動きに変換する。そして、画像動きと動きベクトルの類似性を比較し、かけ離れたものを動体の動きベクトルとして除去する。また、ベクトルの大半が合致しない場合や、静止物体や静止シーンを前提とした３Ｄモデリングや空間マッピングが成立しない場合、被写体の大部分が移動体と判定する。このときＣＰＵ１２は、処理を停止し、または、エラーや警告を提示する。

以上の処理により、光学防振制御を実行する際にも、センサ信号からの撮像装置の位置姿勢情報だけでなく、画像動きを併用して精度の高い撮像装置の自己位置姿勢推定を実現し、品質の高い３Ｄモデルデータの生成を可能とする。

このように、各実施形態の制御装置は、奥行き情報取得部３、位置姿勢取得部８、および、画像処理部（前処理部７および３次元情報復元部）を有する。奥行き情報取得部３は、被写体像の奥行き情報を取得する。位置姿勢取得部８は、装置の位置情報または姿勢情報を取得する。画像処理部は、装置の光学防振状態に関する情報（光学防振制御監視部６からの出力信号）と、奥行き情報と、位置情報または姿勢情報とに基づいて、３次元情報を生成する。

好ましくは、画像処理部は、３次元情報として、３次元データ（３Ｄモデルデータ）をモデリングするためのデータ（２．５Ｄデータなどの元データ）を生成する。また好ましくは、画像処理部は、３次元データをモデリングすることにより３次元情報を生成する。

好ましくは、画像処理部は、光学防振制御により生じる装置の投影中心の位置ずれ（撮影した被写体像の視点ずれ）を低減するように、被写体像に関する画像信号と奥行き情報とを含む像データに対して逆射影を行い、３次元情報を生成する。より好ましくは、画像処理部は、逆射影を行う際に、光学防振状態に応じて逆射影の基準点としての主点（ｎｏｄａｌ）を移動する。より好ましくは、光学防振状態に関する情報は、光学防振制御により生じる像ブレ補正手段（補正部材１１）の偏心量に関する情報であり、位置ずれは、偏心量に応じて変化する被写体像の視点ずれである。

好ましくは、画像処理部は、光学防振状態に関する情報と、奥行き情報と、位置情報または姿勢情報とに基づいて、像データとボクセルデータ（空間中の３次元点に関するデータ）とを関連付けてボクセルデータへの寄与係数を決定する（Ｓ８０３）。そして画像処理部は、寄与係数に基づいて像データを合成して３次元情報を生成する（Ｓ８０４）。また好ましくは、画像処理部は、像データの劣化を補正し（Ｓ８０１、Ｓ８０２）、補正後の像データに対して逆射影を行う。

好ましくは、画像処理部は、光学系１のパラメータ（カメラパラメータ）および光学防振状態に関する情報に基づいて、光学防振制御により生じる撮像装置の投影中心の位置を算出する。そして画像処理部は、３次元空間座標に、撮像装置の各視点において撮像素子から出力される画像信号と奥行き情報とを含む像データを、投影中心の位置を基準として逆射影を行うことにより、３次元情報を生成する。また好ましくは、画像処理部は、３次元情報として、３次元データをモデリングするためのデータを記録可能な記録部（３次元情報復元部９）を有する。そして記録部は、ＲＧＢの各色に関する諧調データおよび撮像素子の各画素に対応する奥行き情報に同期して、光学防振状態に関する情報を記録する。

好ましくは、撮像装置は、撮像装置の位置変化量または姿勢変化量を取得する振れ情報取得部４と、像データに基づいて動きベクトルを探索する動きベクトル探索部１４とを更に有する。そして画像処理部は、光学防振制御の実行中に、振れ情報取得部および動きベクトルの少なくとも一つから得られる振れ情報に基づいて、光学防振制御により生じる収差および歪を低減するように逆射影を行う。より好ましくは、位置姿勢取得部は、振れ情報取得部から得られる撮像装置の姿勢変化情報を初期情報として算出し、初期情報および動きベクトルに基づいて、撮像装置の最終的な姿勢変化情報を算出する。より好ましくは、位置姿勢取得部は、光学防振制御に関する情報および振れ情報取得部から得られる情報を用いて、撮像装置の振れに関連しない情報（撮像装置の振れに関する情報以外の情報）を除去する。より好ましくは、撮像装置は、画像処理部を制御する制御部（ＣＰＵ１２）を更に有する。そして制御部は、動きベクトル探索部により得られた動きベクトルに基づいて、画像処理部に対して３次元情報を生成させるか否かを判定する。

なお、各実施形態の制御装置は、撮像装置にのみ適用されるものではなく、例えば撮像装置が取り付けられた携帯情報端末、撮影した映像に対し後処理として加工を加える画像処理装置、このような画像処理装置を含んだ画像表示装置にも適用可能である。また各実施形態において、撮像装置はレンズ一体型の撮像装置であるが、これに限定されるものではない。各実施形態は、撮像装置本体と、撮像装置本体に着脱可能な交換レンズとにより構成される撮像装置にも適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、手持ち撮影における動きブレやローリングシャッタ歪の影響を低減した、高品質かつ高精度な３Ｄモデリングや空間マッピングを実現可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３ 奥行き情報取得部
７ 前処理部
８ 位置姿勢取得部
９ ３次元情報復元部

Claims (18)

1. 被写体像の奥行き情報を取得する奥行き情報取得部と、
   装置の位置情報または姿勢情報を取得する位置姿勢取得部と、
   前記装置の光学防振状態に関する情報と、前記奥行き情報と、前記位置情報または前記姿勢情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成する画像処理部と、を有することを特徴とする制御装置。
2. 前記画像処理部は、前記３次元情報として、３次元データをモデリングするためのデータを生成することを特徴とする請求項１に記載の制御装置。
3. 前記画像処理部は、３次元データをモデリングすることにより前記３次元情報を生成することを特徴とする請求項１に記載の制御装置。
4. 前記画像処理部は、前記光学防振制御により生じる前記装置の投影中心の位置ずれを低減するように、前記被写体像に関する画像信号と前記奥行き情報とを含む像データに対して逆射影を行い、前記３次元情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記画像処理部は、前記逆射影を行う際に、前記光学防振状態に応じて該逆射影の基準点としての主点を移動することを特徴とする請求項４に記載の制御装置。
6. 前記光学防振状態に関する情報は、前記光学防振制御により生じる像ブレ補正手段の偏心量に関する情報であり、
   前記位置ずれは、前記偏心量に応じて変化する前記被写体像の視点ずれである、ことを特徴とする請求項４または５に記載の制御装置。
7. 前記画像処理部は、
   前記光学防振状態に関する情報と、前記奥行き情報と、前記位置情報または前記姿勢情報と、に基づいて、前記像データとボクセルデータとを関連付けて該ボクセルデータへの寄与係数を決定し、
   前記寄与係数に基づいて前記像データを合成して、前記３次元情報を生成する、ことを特徴とする請求項４乃至６のいずれか１項に記載の制御装置。
8. 前記画像処理部は、
   前記像データの劣化を補正し、補正後の像データに対して前記逆射影を行うことを特徴とする請求項４乃至７のいずれか１項に記載の制御装置。
9. 光学系を介して形成された被写体像を光電変換して画像信号を出力する撮像素子と、
   前記被写体像の奥行き情報を取得する奥行き情報取得部と、
   撮像装置の位置情報または姿勢情報を取得する位置姿勢取得部と、
   前記撮像装置の光学防振状態に関する情報と、前記奥行き情報と、前記位置情報または前記姿勢情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成する画像処理部と、を有することを特徴とする撮像装置。
10. 前記画像処理部は、
    前記光学系のパラメータおよび前記光学防振状態に関する情報に基づいて、光学防振制御により生じる前記撮像装置の投影中心の位置を算出し、
    ３次元空間座標に、前記撮像装置の各視点において前記撮像素子から出力される前記画像信号と前記奥行き情報とを含む像データを、前記投影中心の位置を基準として逆射影を行うことにより、前記３次元情報を生成する、ことを特徴とする請求項９に記載の撮像装置。
11. 前記画像処理部は、前記３次元情報として、３次元データをモデリングするためのデータを記録可能な記録部を有し、
    前記記録部は、ＲＧＢの各色に関する諧調データおよび前記撮像素子の各画素に対応する前記奥行き情報に同期して、前記光学防振状態に関する情報を記録することを特徴とする請求項９または１０に記載の撮像装置。
12. 前記撮像装置の位置変化量または姿勢変化量を取得する振れ情報取得部と、
    前記像データに基づいて動きベクトルを探索する動きベクトル探索部と、を更に有し、
    前記画像処理部は、前記光学防振制御の実行中に、前記振れ情報取得部および前記動きベクトルの少なくとも一つから得られる振れ情報に基づいて、該光学防振制御により生じる収差および歪を低減するように前記逆射影を行う、ことを特徴とする請求項１０に記載の撮像装置。
13. 前記位置姿勢取得部は、
    前記振れ情報取得部から得られる前記撮像装置の姿勢変化情報を初期情報として算出し、
    前記初期情報および前記動きベクトルに基づいて、前記撮像装置の最終的な姿勢変化情報を算出する、ことを特徴とする請求項１２に記載の撮像装置。
14. 前記位置姿勢取得部は、前記光学防振制御に関する情報および前記振れ情報取得部から得られる情報を用いて、前記撮像装置の振れに関連しない情報を除去する、ことを特徴とすることを特徴とする請求項１２または１３に記載の撮像装置。
15. 前記画像処理部を制御する制御部を更に有し、
    前記制御部は、前記動きベクトル探索部により得られた前記動きベクトルに基づいて、前記画像処理部に対して前記３次元情報を生成させるか否かを判定する、ことを特徴とする請求項１２乃至１４のいずれか１項に記載の撮像装置。
16. 被写体像の奥行き情報を取得するステップと、
    装置の位置情報または姿勢情報を取得するステップと、
    前記装置の光学防振状態に関する情報を取得するステップと、
    前記奥行き情報と、前記位置情報または前記姿勢情報と、前記光学防振状態に関する情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成するステップと、を有することを特徴とする制御方法。
17. 被写体像の奥行き情報を取得するステップと、
    装置の位置情報または姿勢情報を取得するステップと、
    前記装置の光学防振状態に関する情報を取得するステップと、
    前記奥行き情報と、前記位置情報または前記姿勢情報と、前記光学防振状態に関する情報とに基づいて、光学防振制御により生じる影響を低減するように３次元情報を生成するステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。