JP5526733B2 - 画像合成装置、画像再生装置、および撮像装置 - Google Patents

Description

本発明は、画像合成装置、画像再生装置、および撮像装置に関するものである。

従来より、撮像素子の撮像面に結像した被写体像を撮像信号として出力する撮像装置が知られている。このような撮像装置において、１回の撮影で得られた撮像信号に基づいて、光学系の任意の像面に焦点の合った画像を合成する技術が開示されている（特許文献１）。

特開２００７−４４７１号公報

しかしながら、従来技術では、特定の被写体について焦点の合った画像を取得するための像面をいかにして決定するかについては何ら提案されていなかった。

本発明が解決しようとする課題は、撮影画像中の特定の被写体について焦点の合った画像を適切に得ることができる画像合成装置を提供することである。

この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

［１］本発明に係る画像合成装置は、１回の露光動作において光束を受光して得られた受光信号を入力する入力手段（１０１）と、前記受光信号に基づく画像内から部分領域を選択するための領域選択手段（１０４）と、前記部分領域に対応する前記受光信号に基づいて、前記部分領域の第１の像面位置における第１画像信号と、前記第１の像面位置とは異なる、前記部分領域の第２の像面位置における第２画像信号とを生成するとともに、前記第１画像信号のコントラストに関する評価値と、前記第２画像信号のコントラストに関する評価値とに基づいて、前記評価値が最大値近傍の値となる像面位置に対応する画像信号を生成する画像信号を生成する画像生成手段（１０４）と、を備えることを特徴とする。

［２］上記画像合成装置に係る発明において、前記画像生成手段（１０４）は、少なくとも３つの画像信号の評価値に基づいて、前記評価値が最大となる像面位置に対応する画像信号を生成するように構成することができる。

［３］上記画像合成装置に係る発明において、前記領域選択手段（１０４）は、前記受光信号に基づく画像のシーンを認識する認識手段（１０４）を備え、前記画像生成手段（１０４）は、前記認識手段により認識されたシーンに応じて、前記部分領域を決定するように構成することができる。

［４］本発明に係る画像再生装置は、上記画像合成装置と、前記画像信号に基づく画像を表示する表示部（１０２）と、を備えることを特徴とする。

［５］本発明に係る撮像装置は、上記画像合成装置と、複数のマイクロレンズ（２１２ａ）を二次元状に配列したマイクロレンズアレイ（２１２）、および前記複数のマイクロレンズに対して設けられた複数の光電変換素子（２１３ａ）を有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られた前記受光信号を、前記入力手段（１０１）に入力する撮像素子（２１１）と、を備えることを特徴とする。

本発明によれば、撮影画像中の特定の被写体について焦点の合った画像を適切に得ることができる。

図１は、本実施形態に係るパソコン１００の構成を示すブロック図である。 図２は、本実施形態に係るカメラ２００の構成を示すブロック図である。 図３は、表示部１０２のディスプレイに表示される画像の一例である。 図４は、撮像素子２１１の撮像面の部分拡大図である。 図５は、撮像素子２１１の構成を説明するための図である。 図６は、本実施形態に係る画像合成システムの動作例を示すフローチャートである。 図７は、マイクロレンズ２１２ａを介して、光電変換素子アレイ２１３を構成する複数の光電変換素子２１３ａのうち、特定の光電変換素子ｃ_１に入射する光束の一例を示す図である。 図８は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの画像合成方法の一例を説明するための図である。 図９は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_１）であるときの画像合成方法の一例を説明するための図である。 図１０は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_２）であるときの画像合成方法の一例を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態の画像合成システムは、図１に示すパーソナルコンピュータ（パソコン）１００と図２示すカメラ２００とから構成される。また、本実施形態の画像合成システムは、カメラ２００により撮影された撮影画像の画像データをパソコン１００に取り込み、パソコン１００において、取り込まれた撮影画像の画像データに基づいて、画像合成処理を行うシステムである。

図１は、本実施形態に係るパソコン１００の構成を示すブロック図である。図１に示すように、パソコン１００は、入力部１０１と、表示部１０２と、操作部１０３と、制御部１０４とを備えている。

入力部１０１は、カメラ２００で撮影された撮影画像の画像データを取得して、パソコン１００に取り込み、取り込んだ撮影画像の画像データを、制御部１０４に送信する。ここで、入力部１０１としては、例えば、ＵＳＢケーブルを介して外部機器を接続するためのＵＳＢインターフェースを用いることができる。この場合、入力部１０１に、ＳＤカードなどのメモリカードにデータを入出力するためのメモリカードリーダーを接続し、カメラ２００で撮影された撮影画像の画像データを保存したメモリカードを、接続したメモリカードリーダーに挿入することで、入力部１０１は、カメラ２００で撮影された撮影画像の画像データを取得することができる。なお、入力部１０１は、上述のＵＳＢインターフェースに限定されず、例えば、メモリカードを直接挿入可能なインターフェースであってもよいし、有線または無線の通信回線（不図示）を介して、カメラ２００から撮影画像の画像データを受信可能なインターフェースであってもよいし、あるいは所定のケーブルを介してカメラ２００と直接接続することが可能なインターフェースであってもよい。

表示部１０２は、カメラ２００で撮影された撮影画像の画像データに基づく画像を、表示部１０２が備えるディスプレイに表示する。なお、図３に、表示部１０２により表示される画像の一例を示す。

操作部１０３は、使用者が焦点を合わせたい被写体を選択する操作などの各種操作を行うために、使用者によって用いられるキーボード、マウス、およびタッチパネルなどの各種操作装置で構成される。例えば、操作部１０３を介して、使用者により、表示部１０２のディスプレイ上に表示される撮影画像中の被写体のうち、焦点を合わせたい被写体が選択された場合、選択された被写体に対応する撮影画像中の領域の情報が制御部１０４に送信され、後述する被写体領域として設定される。

制御部１０４は、メモリ、ＣＰＵその他の周辺部品から構成され、カメラ２００で撮影された撮影画像の画像データを入力部１０１から取得し、取得した画像データに基づき、コントラストに関する焦点評価値の算出および評価を行う。さらに、制御部１０４は、焦点評価値の評価の結果に基づき、焦点評価値が最大となる像面位置に対応する画像の合成を行い、合成画像を得る。

また、制御部１０４は、操作部１０３を介して、使用者により、表示部１０２のディスプレイに表示された撮影画像中の被写体のうち焦点を合わせたい被写体が選択された場合には、撮影者により選択された被写体に対応する撮影画像中の領域を、被写体領域として設定する。例えば、図３に示す例において、使用者により焦点を合わせたい被写体として、表示部１０２のディスプレイに表示された街灯（ランプ）が選択された場合、制御部１０４は、図３に示すように、撮影画像中の街灯（ランプ）に対応する領域を、被写体領域として設定する。

次に、パソコン１００において合成画像の合成に用いられる撮影画像を撮影するカメラ２００について説明する。図２は、カメラ２００の構成を示すブロック図である。図２に示すように、カメラ２００は、カメラボディ２１０とレンズ鏡筒２２０とを備えている。

レンズ鏡筒２２０には、レンズ２２１，２２２，２２３、および絞り２２４を含む撮影光学系が内蔵されている。

フォーカスレンズ２２２は、レンズ鏡筒２２０の光軸Ｌ１に沿って移動可能に設けられ、カメラボディ２１０側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、このフォーカスレンズ２２２の移動は、レンズ制御部２２７からの指令に基づいて制御され、レンズ駆動モータ２２６によりその位置が調節される。

絞り２２４は、上記撮影光学系を通過して、カメラボディ２１０に備えられた撮像素子２１１に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２４による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、レンズ制御部２２７を介して、カメラ制御部２１５から絞り駆動部２２５へ送信されることにより行われる。

一方、カメラボディ２１０には、被写体からの光束を受光する撮像素子２１１が、光軸Ｌ１上であって、撮影光学系の予定焦点面に設けられている。撮像素子２１１は二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどのデバイスから構成され、受光した光信号を受光信号に変換する。ここで、図４は、撮像素子２１１の撮像面の部分拡大図である。図４に示すように、撮像素子２１１は、複数のマイクロレンズ２１２ａを二次元状に稠密に配列したマイクロレンズアレイ２１２を備えている。また、撮像素子２１１は、各マイクロレンズ２１２ａに対して、複数の光電変換素子２１３ａから構成される各光電変換素子アレイ２１３を有している。なお、図４において、光電変換素子アレイ２１３を構成する光電変換素子２１３ａの数（画素密度）は、縦方向および横方向ともに５個となっているが、これらの数は、特に限定されるものではない。

さらに、図５は、撮像素子２１１の構成を説明するための図であり、図４と同様に、撮像素子２１１の撮像面を拡大した斜視図である。図５に示すように、光電変換素子アレイ２１３は、マイクロレンズアレイ２１２の後方に配置されおり、マイクロレンズアレイ２１２と光電変換素子アレイ２１３との間には、マイクロレンズ２１２ａの焦点距離に対応する間隔が設けられている。そして、被写体からの光束（光軸Ｌ１）は、まずマイクロレンズ２１２ａへと入射され、マイクロレンズ２１２ａを通過して光電変換素子２１３ａで受光される。各光電変換素子２１３ａは受光した光の強度に応じた受光信号を出力し、出力された受光信号は、カメラ制御部２１５に送信される。

カメラ操作部２１４は、例えば、シャッターレリーズボタン、カメラ１の各種動作モードを設定するためのモード設定スイッチなどを備えており、カメラ操作部２１４により、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。

カメラ制御部２１５は、撮像素子２１１から得た受光信号について、Ａ／Ｄ変換などの各種処理を施し、画像データとしてメモリ２１６に記憶させる他、撮像素子２１１から得た受光信号に基づいて、フォーカスレンズ２１２の駆動量を算出し、算出したフォーカスレンズ２１２の駆動量をレンズ制御部２２７に送信することにより、フォーカスレンズ２１２の駆動制御を行うなどカメラ１全体の動作の制御を行う。

次に、本実施形態に係る画像合成システムの動作例を説明する。図６は、本実施形態に係る画像合成システムの動作例を示すフローチャートである。なお、以下においては、カメラ２００で撮影された撮影画像の画像データが、パソコン１００に取り込まれているものとして説明する。また、以下に説明する処理は、画像合成システムを構成するパソコン１００により行われる。

まず、ステップＳ１０１では、カメラ２００で撮影された撮影画像が表示部１０２のディスプレイ上に表示される。例えば、操作部１０３を介して、使用者により、パソコン１００に取り込まれた複数の撮影画像のうち、いずれかの撮影画像が選択された場合、選択された撮影画像が表示部１０２のディスプレイ上に表示される。なお、ここで用いられる画像データは、上述したように、図５に示すカメラ２００の撮像素子２１１のマイクロレンズ２１２ａを通過した光束を、各光電変換素子２１３ａで受光することにより得られた受光信号に基づくものである。

続いて、ステップＳ１０２では、制御部１０４により、操作部１０３を介して、焦点を合わせたい被写体が選択されたか否かの判断が行われる。使用者により被写体が選択された場合はステップＳ１０３に進み、選択された被写体に対応する撮影画像中の領域が、被写体領域として設定される。このように被写体領域を設定することで、撮影画像中の全体の領域ではなく、使用者に選択された被写体に対応する被写体領域、すなわち、撮影画像中の一部の領域に対応する画像データに基づいて、後述する画像合成処理が行われることになる。例えば、図３に示す例において、使用者により、焦点を合わせたい被写体として撮影画像中の街灯（ランプ）が選択された場合、ステップＳ１０３に進み、図３に示すように、撮影画像中の街灯（ランプ）に対応する領域が、被写体領域として設定される。一方、使用者により被写体が選択されていない場合は、ステップＳ１０１に戻り、使用者により被写体が選択されるまで、待機する。

ステップＳ１０４では、制御部１０４により、撮影画像の画像データに基づいて、画像合成範囲（合成画像信号を合成可能な範囲。詳細は後述する。）内の複数の像面位置に対応する像面の異なる複数の画像信号が、それぞれ合成画像信号として合成される。

ここで、本実施形態で合成される複数の合成画像信号は、後述するステップＳ１０５における焦点評価値の算出、および、ステップＳ１０６の焦点評価値におけるピークの検出に用いられる。本実施形態においては、画像合成範囲内において合成される合成画像信号の数は、特に限定されないが、焦点評価値のピークを検出できる数であればよく、通常、３点以上である。

また、本実施形態において、合成画像信号は、撮影画像中の全ての領域ではなく、撮影画像中の全ての領域のうちステップＳ１０３で設定された被写体領域、すなわち、撮影画像中の一部の領域に対応する画像データに基づいて合成される。例えば、図３に示す例において、ステップＳ１０３で、図３に示す街灯（ランプ）に対応する撮影画像中の領域が被写体領域として設定された場合、ステップＳ１０４では、撮影画像中の全ての領域に対応する画像データではなく、画像データのうち、図３に示す被写体領域に対応するデータに基づいて、合成画像信号が合成される。

さらに、本実施形態においては、それぞれ異なる複数の像面位置に対応する（像面位置に焦点の合った）複数の合成画像信号が、撮影画像の画像データに基づいて合成されるが、合成画像信号が合成される像面の範囲は、以下に説明する画像合成範囲となる。図７は、合成画像信号を合成可能な範囲である画像合成範囲について説明するための図であり、光電変換素子アレイ２１３を構成する複数の光電変換素子２１３ａのうちの特定の光電変換素子ｃ_１に対してマイクロレンズ２１２ａを介して入射する光束を示す図である。なお、図７においては、光電変換素子アレイ２１３を構成する各光電変換素子２１３ａをａ_１，ｂ_１，ｃ_１，ｄ_１，ｅ_１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図７に示すように、光電変換素子２１３ａのマイクロレンズ２１２ａによる逆投影像の大きさが、マイクロレンズ２１２ａの有効径Ｄとほぼ同じになるマイクロレンズ２１２ａからの距離Ｌとすることができる。すなわち、マイクロレンズ２１２ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ２１２ａを通過して１つの光電変換素子ｃ_１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。よって、この距離Ｌを画像合成範囲となり、この画像合成範囲内の像面位置であれば、異なる複数の像面位置について、合成画像信号を合成することが可能となる。そのため、ステップＳ１０４においては、制御部１０４により、上述した画像合成範囲内において、複数の像面位置に対応する像面の異なる複数の合成画像信号が、以下に説明する画像合成方法に従って合成される。

図８〜図１０は、本実施形態における画像合成方法の一例を説明するための図である。図８に示す場面例では、マイクロレンズアレイ２１２からの像面の高さ（マイクロレンズアレイ２１２から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合である。図８においては、撮像素子２１１の各光電変換素子アレイ２１３について、各光電変換素子アレイ２１３を構成する光電変換素子２１３ａのうち、５つの光電変換素子２１３ａに入射する各光線（マイクロレンズアレイ２１２を構成するマイクロレンズ２１２ａの中心を通る主光線のみ）を示した。また、図８中においては、各光電変換素子２１３ａを識別するために、それぞれの光電変換素子２１３ａを、ａ_１〜ｅ_１、ａ_２〜ｅ_２、ａ_３〜ｅ_３、ａ_４〜ｅ_４、ａ_５〜ｅ_５で示すとともに、像面の高さＺ＝０における各座標Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４、Ｘ_５のうち、Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）を実線で示し、それ以外のＸ_１、Ｘ_２、Ｘ_４、Ｘ_５からの射出光束を点線で示した（以下、図９、図１０においても同様。）。

図８に示すように、像面の高さＺ＝０における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、各光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ_３における画素値Ｌ（Ｚ＝０、Ｘ_３）は、これら光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３における出力を合成することにより求めることができる（下記式（１）参照）。
Ｌ（Ｚ＝０、Ｘ_３）＝Ｏｕｔ（ａ_３）＋Ｏｕｔ（ｂ_３）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_３）＋Ｏｕｔ（ｅ_３） …（１）

また、同様に、座標Ｘ_３に隣接する座標Ｘ_４における画素値Ｌ（Ｚ＝０、Ｘ_４）は、下記式（２）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ_４）＝Ｏｕｔ（ａ_４）＋Ｏｕｔ（ｂ_４）＋Ｏｕｔ（ｃ_４）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_４） …（２）

したがって、座標Ｘ_ｉにおける画素値Ｌ（Ｚ＝０、Ｘ_ｉ）は、下記式（３）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ａ_ｉ）＋Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ）＋Ｏｕｔ（ｅ_ｉ） …（３）

なお、上記式（３）は、使用者による指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、使用者による指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_３のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（４）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｃ_ｉ） …（４）

また、絞り値が中間値（開口サイズ中間）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_２、ｒ_３、ｒ_４のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（５）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ） …（５）

なお、上記説明においては、或る１方向に並ぶ５つの光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３のみに着目し、それら５つの光電変換素子の出力値の和をとったが、実際は、２方向に並ぶ２５個の光電変換素子の出力値の和をとる必要がある（後述する図９、図１０に示す場合においても同様。）。

次いで、図９に示すように、像面の高さＺ＝ｈ_１である位置に画像合成の対象となる被写体が存在する場合について説明する。図９に示すように、像面の高さＺ＝ｈ_１における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８の場合と異なり、各光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ_１における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_１、Ｘ_３）は、これら光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５における出力を合成することにより求めることができる（下記式（６）参照）。
Ｌ（Ｚ＝ｈ_１、Ｘ_３）＝Ｏｕｔ（ａ_１）＋Ｏｕｔ（ｂ_２）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_５） …（６）

さらに、図１０に示すように、像面の高さＺ＝ｈ_２である位置に合成対象となる被写体が存在する場合について説明する。図１０に示すように、像面の高さＺ＝ｈ_２における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８、図９の場合と異なり、複数の光電変換素子にまたがって入射することとなる。具体的には、図１０に示すように、光線ｒ_１は光電変換素子ａ_１、ｂ_１に、光線ｒ_２は光電変換素子ｂ_２、ｃ_２に、光線ｒ_４は光電変換素子ｃ_４、ｄ_４に、光線ｒ_５は光電変換素子ｄ_５、ｅ_５に、それぞれまたがって入射する。なお、光線ｒ_３は、図１０に示すように光電変換素子ｃ_３にのみ入射する。そのため、光線ｒ_１に着目すると、光線ｒ_１の光量は、光電変換素子ａ_１の出力値Ｏｕｔ（ａ_１）と、光電変換素子ｂ_１の出力値Ｏｕｔ（ｂ_１）との重み付け和によって求めることができる（下記式（７）参照）。ここで、下記式（７）において、ｗ_１１、ｗ_１２は、重み係数であり、マイクロレンズアレイ２１２からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２ …（７）

そして、光線ｒ_２、光線ｒ_４、光線ｒ_５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ_２における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_２、Ｘ_３）は、下記式（８）に従って求めることができる。なお、下記式（８）において、Ｗ_２１、Ｗ_２２、Ｗ_４１、Ｗ_４２、Ｗ_５１、Ｗ_５２は、重み係数であり、マイクロレンズアレイ２１２からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ_２、Ｘ_３）＝〔Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２〕＋〔Ｏｕｔ（ｂ_２）×Ｗ_２１＋Ｏｕｔ（ｃ_２）×ｗ_２２〕＋Ｏｕｔ（ｃ_３）＋〔Ｏｕｔ（ｃ_４）×Ｗ_４１＋Ｏｕｔ（ｄ_４）×Ｗ_４２〕＋〔Ｏｕｔ（ｄ_５）×Ｗ_５１＋Ｏｕｔ（ｅ_５）×Ｗ_５２〕 …（８）

このように、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子２１３ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、制御部１０４の備えるメモリなどに予め記憶させておき、これを利用するような構成とすればよい。

以上のように、制御部１０４は、複数の光電変換素子１１２ａから得られた受光信号に基づく画像データを用いて、所定の像面位置Ｚに対応する合成画像信号を合成することができる。そのため、ステップＳ１０４においては、制御部１０４により、上述した画像合成方法に従い、画像合成範囲内の複数の像面に位置対応する像面の異なる複数の合成画像信号の合成が行われる。

次に、ステップＳ１０５では、制御部１０４により、ステップＳ１０４で合成された複数の合成画像信号のそれぞれについて、合成画像信号のコントラストに関する焦点評価値が算出される。焦点評価値は、例えば、合成した合成画像信号の空間周波数から高周波成分を、高周波透過フィルタを用いて抽出し、抽出された高周波成分の絶対値を積算することで求められる。また、焦点評価値は、遮断周波数が異なる２つの高周波透過フィルタを用いて高周波成分を抽出し、抽出された高周波成分の絶対値のそれぞれを積算することで求めてもよい。

ステップＳ１０６では、制御部１０４により、画像合成範囲内において焦点評価値のピークの検出が行われ、画像合成範囲内において焦点評価値のピークが検出されたか否か判断される。具体的には、ステップＳ１０６において、制御部１０４は、ステップＳ１０５で算出した少なくても３つの焦点評価値に基づいて、３点内挿法により、焦点評価値のピークの検出を行う。そして、画像合成範囲内において焦点評価値のピークを検出できた場合は、画像合成範囲内に被写体に対応する像面位置が存在すると判断し、ステップＳ１０７に進み、一方、焦点評価値のピークを検出できない場合は、画像合成範囲内に被写体に対応する像面位置が存在しないと判断し、ステップＳ１１０に進む。

ステップＳ１０７では、制御部１０４により、焦点評価値のピークに基づいて、焦点評価値が最大となる像面位置の検出が行われる。具体的には、まず、制御部１０４により、撮影画像の画像データに基づき、複数の合成画像信号（被写体領域に対応する合成画像信号）が合成される。ここで、ステップＳ１０７では、焦点評価値が最大となる像面位置を得るため、通常、ステップＳ１０４で合成した合成画像信号よりも多くの像面位置に対応する合成画像信号が合成される。そして、合成された合成画像信号の焦点評価値に基づいて、焦点評価値が最大となる像面位置の検出が行われる。また、ステップＳ１０７では、使用者により選択された被写体に焦点の合った画像を得るため、使用者により選択された被写体に対応する被写体領域について、焦点評価値が最大となる像面位置の検出が行われる。

そして、ステップＳ１０８では、ステップＳ１０７で検出された焦点評価値が最大となる像面位置に対応する画像が合成画像として合成され、続くステップＳ１０９では、ステップＳ１０８で合成された合成画像が、表示部１０２のディスプレイに表示される。これにより、使用者は、選択した被写体について焦点の合った画像を得ることができる。

一方、ステップＳ１０６で焦点評価値のピークを検出できない場合はステップＳ１１０に進む。ステップＳ１１０では、制御部１０４により、焦点評価値のピークの探索を終了するか否か判断される。例えば、画像合成範囲の全ての範囲において焦点評価値のピークを検出できない場合は、焦点評価値のピークの探索を終了すると判断し（ステップＳ１１０＝ＹＥＳ）、ステップＳ１１２に進み、焦点評価値のピークの検出を終了し、使用者が選択した被写体に焦点を合わせることができない旨のエラーを、表示部１０２のディスプレイに表示する。これに対して、画像合成範囲の全ての範囲において焦点評価値のピークの検出が行われていない場合は、焦点評価値のピークの探索を続行すると判断し（ステップＳ１１０＝ＮＯ）、ステップＳ１１１に進む。例えば、画像合成範囲のうちの一部の範囲において焦点評価値のピークを検出できなかった場合であり、かつ、画像合成範囲において焦点検出のピークの検出が行われていない範囲がある場合には、画像合成範囲のうち焦点評価値のピークの検出が行なわれていない残りの範囲について、焦点評価値のピークの検出を行うため、焦点評価値のピークの探索を続行すると判断し（ステップＳ１１０＝ＮＯ）、ステップＳ１１１に進む。

ステップＳ１１１では、画像合成範囲のうち既に合成された合成画像信号の像面位置とは異なる新たな像面位置についての合成画像信号の合成が行われる。そして、新たな像面位置に対応する合成画像信号について焦点評価値が算出され（ステップＳ１０５）、新たな像面位置に対応する合成画像信号の焦点評価値を用いて、焦点評価値のピークの検出が行われる（ステップＳ１０６）。このように、本実施形態では、焦点評価値のピークが検出されるまで、画像合成範囲内の異なる像面位置に対応する合成画像信号の合成（ステップＳ１１１）と、焦点評価値のピークの検出（ステップＳ１０６）とが、繰り返し行われる。そして、焦点評価値のピークが検出された場合（ステップＳ１０６＝ＹＥＳ）は、焦点評価値のピークに基づいて、焦点評価値が最大となる像面位置が検出され（ステップＳ１０７）、焦点評価値が最大となる像面位置に対応する合成画像の合成および表示が行われる（ステップＳ１０８、Ｓ１０９）。一方、画像合成範囲の全ての範囲において焦点評価値のピークが検出されなかった場合（ステップＳ１１０＝ＹＥＳ）は、その旨のエラーが表示部１０２のディスプレイに表示される（ステップＳ１１２）。

以上のように、本実施形態では、カメラ２００において撮影された撮影画像の画像データをパソコン１００に取り込み、パソコン１００において、取り込んだ撮影画像の画像データに基づいて、複数の像面位置に対応する像面の異なる複数の合成画像信号を合成し、合成した合成画像信号の焦点評価値に基づいて、画像合成範囲内において焦点評価値が最大となる像面位置の検出を行い、焦点評価値が最大となる像面位置に対応する合成画像を合成する。このように、本実施形態では、撮影画像の画像データに基づいて、複数の像面位置に対応する像面の異なる複数の合成画像信号を合成し、合成画像信号の焦点評価値に基づく焦点検出を行うことで、撮影画像中の被写体に焦点の合う像面位置を検出することができ、撮影画像中の被写体に焦点の合った画像を適切に合成することができる。

特に、本実施形態では、使用者により選択された被写体に対応する撮影画像中の領域を、被写体領域として設定し、この被写体領域に対応する画像データに基づいて、合成画像信号を合成する。そして、この被写体領域において合成画像信号の焦点評価値が最大となる像面位置を検出し、被写体領域において焦点評価値が最大となる像面位置に対応する合成画像を合成する。これにより、本実施形態では、使用者により選択された特定の被写体について焦点の合った画像を得ることができる。さらに、撮影画像中の領域のうち被写体領域について合成画像信号を合成することで、撮影画像中の全ての領域について合成画像信号を合成する場合と比べて、処理負担を軽減し、使用者により選択された特定の被写体について焦点が合った画像を迅速に合成することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、本実施形態では、操作部１０３を介して、使用者により選択された画像内の所定の領域を被写体領域として設定しているが、被写体領域を設定する方法は特に限定されず、例えば、制御部１０４が、撮影画像の画像データに基づいてシーンを認識し、認識したシーンに応じた画像内の所定の領域を被写体領域として設定してもよい。具体的には、制御部１０４が、撮影画像の画像データに基づいて、人物を撮像しているシーンと認識した場合、テンプレートマッチングなどにより、その人物の顔部分を認識し、認識した顔部分を被写体領域として設定することができる。また、操作部１０３を介して使用者がシーンを選択可能な場合は、使用者により選択されたシーンに応じて、被写体領域を設定してもよい。なお、シーンを認識する際に、撮影画像の画像データに基づいて、焦点深度の深いパンフォーカスの画像信号を合成し、このパンフォーカスの画像信号に基づいて、シーン認識を行ってもよい。これにより、シーンをより適切に認識することができる。

また、本実施形態では、単一の画像データを用いて、図６に示す画像合成処理を行う例を示したが、カメラ１の動作はこれに限定されるものではなく、例えば、同じ構図を異なるフォーカスレンズ位置で連続して撮影して得られた複数の撮影画像の画像データが、互いに関連付けられた状態で、パソコン１００に取り込まれている場合には、これら複数の画像データを用いて画像合成処理を行う構成としてもよい。この場合、あるフォーカスレンズ位置において得られた画像データに基づく画像合成範囲内において、焦点評価値のピークを検出することができない場合でも、焦点評価値のピークの探索を終了すると判断する（ステップＳ１１０＝ＹＥＳ）ことなく、関連付けられた他の画像データ（異なるフォーカスレンズ位置で得られた別の画像データ）を用いて、焦点評価値のピークの検出を行う構成とすることができる。これにより、使用者は、撮影画像中の被写体に焦点の合った画像をより適切に得ることができる。

さらに、上述した実施形態のステップＳ１０５〜ステップＳ１１１において、偽合焦を防止するための処理やフィルタ処理などの焦点評価値を用いた焦点検出処理において行われる公知の処理を、適宜行ってもよい。

なお、本実施形態では、パソコン１００において、撮影画像に基づいて、所定の被写体に焦点の合った画像を合成しているが、このような処理を行う装置はパソコン１００に限られず、例えば、上述した方法により、所定の被写体に焦点の合った画像を合成可能なカメラ、またはプリンタ（画像出力装置）などであってもよい。

また、本実施形態のカメラ２００も特に限定されず、例えば、一眼レフデジタルカメラ、レンズ一体型のデジタルカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。

１００…パーソナルコンピュータ（パソコン）
１０１…入力部
１０２…表示部
１０３…操作部
１０４…制御部
２００…カメラ
２１０…カメラボディ
２１１…撮像素子
２１２…マイクロレンズアレイ
２１２ａ…マイクロレンズ
２１３…光電変換素子アレイ
２１３ａ…光電変換素子
２１４…カメラ操作部
２１５…カメラ制御部
２１６…メモリ
２２０…鏡筒
２２２…フォーカスレンズ
２２４…絞り
２２５…絞り駆動部
２２６…レンズ駆動モータ
２２７…レンズ制御部

Claims (5)

1. １回の露光動作において光束を受光して得られた受光信号を入力する入力手段と、
   前記受光信号に基づく画像内から部分領域を選択するための領域選択手段と、
   前記部分領域に対応する前記受光信号に基づいて、前記部分領域の第１の像面位置における第１画像信号と、前記第１の像面位置とは異なる、前記部分領域の第２の像面位置における第２画像信号とを生成するとともに、
   前記第１画像信号のコントラストに関する評価値と、前記第２画像信号のコントラストに関する評価値とに基づいて、前記評価値が最大値近傍の値となる像面位置に対応する画像信号を生成する画像生成手段と、を備えることを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記画像生成手段は、少なくとも３つの画像信号の評価値に基づいて、前記評価値が最大となる像面位置に対応する画像信号を生成することを特徴とする画像合成装置。
3. 請求項１または２に記載の画像合成装置において、
   前記領域選択手段は、前記受光信号に基づく画像のシーンを認識する認識手段を備え、
   前記画像生成手段は、前記認識手段により認識されたシーンに応じて、前記部分領域を決定することを特徴とする画像合成装置。
4. 請求項１〜３のいずれかに記載の画像合成装置と、
   前記画像信号に基づく画像を表示する表示部と、を備えることを特徴とする画像再生装置。
5. 請求項１〜３のいずれかに記載の画像合成装置と、
   複数のマイクロレンズを二次元状に配列したマイクロレンズアレイ、および前記複数のマイクロレンズに対して設けられた複数の光電変換素子を有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られた前記受光信号を、前記入力手段に入力する撮像素子と、を備えることを特徴とする撮像装置。
   

Images