JP5647751B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、特性が異なる複数の画像を取得可能な撮像装置及び撮像方法に関するものである。

撮像装置の技術分野では、撮影条件を変化させて複数回撮影したり、複数の特性を有するレンズ系を用いて撮影したりすることにより特性が異なる複数の画像の取得を取得し、得られた画像を目的に応じて処理する技術が知られている（例えば、特許文献１，２参照）。特許文献１に記載の光学システムでは、撮像レンズにおいて曲率半径が異なる２以上の曲面を同心円状に配置することにより単一のレンズで複数の焦点距離領域が得られるようにし、そのような撮像レンズを用いて取得した画像を復元処理することにより各焦点距離に対応した画像を取得することが記載されている。また特許文献２に記載の撮像光学系でも同様に、結像レンズの内側領域と外側領域とで曲率を変化させることで各領域が異なる焦点距離を有するようにし、複数の焦点距離に対応した画像を取得できるようにしている。

特開２００７−１２２０５５号公報 特開２００３−２７０５２６号公報

しかしながらこのような従来の技術では各焦点距離に対応した画像の画質が良好でなく、多数の特性（焦点距離、合焦距離等）を有するレンズの特徴を活かしきれていなかった。例えば上記特許文献１に記載の技術ではイメージセンサの出力に複数の焦点距離に対応する信号が重畳されているため、異なる焦点距離に対応する信号の影響を分離しきれず各焦点距離に対応する画像の画質が低下するという問題があった。また上記特許文献２に記載の技術でも特許文献１と同様にイメージセンサの出力には複数の焦点距離に対応する信号が重畳されている。特許文献２に記載の技術において、この重畳をそのままにして画像を取得・利用する態様では各焦点距離に対応する画像の画質が低下する。また被写体光がいずれかの焦点領域のみを通過するような形状可変の絞りをレンズ付近に配置して当該いずれかの焦点距離に対応する画像のみを取得する態様では複数の焦点距離に対応する複数の画像が同時に取得できない、等の問題があった。

また上述のような画質の低下を避けるために撮像レンズの焦点距離を変えて複数回の撮影を行うようにすると、撮影に時間がかかる。さらに、撮影の間に被写体が動いたり被写体の明るさが変化したりして画像間で撮影条件が異なったりする等の問題が生じるおそれがある。

本発明はこのような事情に鑑みてなされたもので、複数の画像を、良好な画質を確保しつつ同時に取得できる撮像装置を提供することを目的とする。

上記目的を達成するために本発明の第１の態様に係る撮像装置は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域にそれぞれ対応して設けられた複数の受光センサであって、複数の領域のいずれかを通過した光束を選択的に受光する複数の受光センサを有する撮像素子と、複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成部と、生成された画像の補正を行う画像補正部と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方であり、画像生成部は、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する。

第１の態様において「合焦距離」とは以下の式で表される距離ＦＤ、即ち受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいう。

ＦＤ＝ａ＋ｂ
ＦＤ：合焦距離
ａ ：レンズと受光センサの受光面との距離
ｂ ：レンズと合焦位置との距離
なお焦点距離をｆとすると１／ｆ＝（１／ａ）＋（１／ｂ）であり、焦点距離ｆが同じでも距離ａ，ｂの組み合わせ方により合焦距離ＦＤは異なる。逆に焦点距離ｆが異なっていても、距離ａ，ｂの組み合わせ方で合焦距離ＦＤを同じにすることもできる。

第１の態様では複数の画像を同時に取得することが可能であり、複数の画像を取得するために何度も撮影を繰り返して時間を費やしたり画像間で被写体位置がずれたりすることがない。なお第１の態様において各領域の特性（焦点距離と合焦距離とのうちの少なくとも一方）が「独立した」とは一の領域の特性が他の領域の特性に依存しないことをいい、具体的な焦点距離や合焦距離は等しくてもよいし異なっていてもよい。

第１の態様のような、複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、撮影レンズの各領域が受光センサ上に形成する被写体像が異なると、異なる被写体像が重なることで生じる被写体像間の特性のずれが画質の低下として感じられる。被写体像が異なる要因は主として（１）被写体像間のサイズ差、（２）被写体像間のボケ量の差、（３）被写体像間の視差ズレ、であり、各領域の特性（焦点距離，合焦距離）との関係は以下の通りである。

（i）領域間で焦点距離・合焦距離のいずれもが異なる場合、それら領域に対応する画像間でサイズ差、ボケ量の差、及び視差ズレが生じる。

（ii）領域間で焦点距離は等しいが合焦距離が異なる場合、それら領域に対応する画像間でボケ量の差及び視差ズレが生じる。

（iii）領域間で焦点距離が異なり合焦距離が等しい場合、それら領域に対応する画像間で被写体像のサイズ差及び視差ズレが生じる。

（iv）領域間で焦点距離・合焦距離のいずれもが等しい場合、それら領域に対応する画像間で視差ズレが生じる。

そして複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、従来の技術では、上記（i）〜（iv）のように各領域の特性に応じて生じる被写体像の相違、即ち一の領域に対応する画像における他の領域を通過した光束の影響（領域間のクロストーク）により画質が低下してしまうという問題があった。

そこで本発明の第１の態様に係る撮像装置では、上述した撮影レンズの一の領域を通過した光束を瞳分割して選択的に受光する受光センサ（瞳指向センサ）を有する撮像素子を用いる、という今までにない手法により領域間のクロストークの影響を除去し、特性が独立した複数の画像を良好な画質で取得できるようにしている。なお受光センサによる光束の瞳分割及び選択的な受光は、受光面あるいはその前方に設けた遮光部材、液晶シャッタ、液晶プリズム等の光学要素により実現することができる。

さらに第１の態様に係る撮像装置では瞳指向センサに加えて画像補正部によりクロストーク成分を除去するので、いっそう良好な画質の画像を取得することができる。

このようにして第１の態様に係る撮像装置では、特性が独立した複数の画像を、良好な画質を確保しつつ同時に取得することができる。なお第１の態様において撮影レンズは１枚でもよいし、複数枚のレンズを組み合わせて構成し全体として複数の領域を有するようにしてもよい。また第１の態様において特性（焦点距離，合焦距離）は固定されていてもよいし、変更できるようにしてもよい。

本発明の第２の態様に係る撮像装置は第１の態様において、画像補正部は、一の領域以外の領域を通過した光束の影響の度合の生成された画像中での位置依存性を考慮して除去を行う。上述したクロストーク成分の混入具合は画像中の場所にも依存することを考慮したものである。これにより第２の態様に係る撮像装置ではクロストーク成分の除去を正確に行うことができ、さらに良好な画質の画像を取得することができる。

本発明の第３の態様に係る撮像装置は第２の態様において、画像補正部は、一の領域に対応して生成された画像から、当該一の領域を通過した光束に対するシェーディングの影響を除去する。第３の態様に係る撮像装置では、着目する一の領域に対する他の領域からのクロストークのみならず、当該一の領域を通過した光束自身についてのシェーディング（主ゲインに対するシェーディング）の影響を除去することで、さらに良好な画質の画像を取得することができる。

本発明の第４の態様に係る撮像装置は第１から第３の態様のいずれかにおいて、画像補正部は、シェーディングの影響の度合の、生成された画像中での位置依存性を考慮して除去を行う。第４の態様は、クロストークの場合と同様にシェーディングの影響が画像中の場所にも依存することを考慮したものである。これによりシェーディングの影響の除去を正確に行うことができ、さらに良好な画質の画像を取得することができる。

本発明の第５の態様に係る撮像装置は第１から第４の態様のいずれかにおいて、画像生成部は以下の（式１）に基づいて除去を行う。

（Ａ_１，Ａ_２，・・・，Ａ_Ｎ）^Ｔ＝Ｘ^−１・（Ａ_１’，Ａ_２’，・・・，Ａ_Ｎ’）^Ｔ・・・（式１）
ただし、
Ｎ ：撮影レンズの領域数（２以上の整数）
Ａ_ｉ（ｘ，ｙ） ：領域ｉに対応する、他の領域を通過した光束の影響の補正後の撮像信号（ｉ＝１〜Ｎ）
Ａ_ｉ’（ｘ，ｙ）：領域ｉに対応する、他の領域を通過した光束の影響の補正前の撮像信号（ｉ＝１〜Ｎ）
Ｘ^−１ ：主ゲイン及びクロストーク成分からなる行列Ｘの逆行列
Ｘ_ｉｉ＝Ｓ_ｉ（ｘ，ｙ） （領域ｉの主ゲイン；ｉ＝１〜Ｎ）
Ｘ_ｊｉ＝Ｃ_ｊｉ（ｘ，ｙ）（領域ｊから領域ｉへのクロストーク成分；ｊ＝１〜Ｎ、ｊ≠ｉ）
（ｘ，ｙ） ：領域ｉに対応する画像の画素位置
第５の態様は上述した除去の具体的態様を示すものである。仮に主ゲインのシェーディングが全くないとすると上記Ｘ_ｉｉ（＝Ｓ_ｉ）は画素位置によらず１となり、また仮にクロストーク成分が全くないとするとＸ_ｊｉ（＝Ｃ_ｊｉ）は画素位置によらず０となる。シェーディングもクロストークも全くなければ行列Ｘは単位行列となり、この場合（Ａ_１，Ａ_２，・・・，Ａ_Ｎ）^Ｔ＝（Ａ_１’，Ａ_２’，・・・，Ａ_Ｎ’）^Ｔ・・・となる。

本発明の第６の態様に係る撮像装置は第１から第５の態様のいずれかにおいて、画像生成部は、除去を行って得られた複数の画像を合成した画像を生成する。上述のように本発明の撮像装置では撮影レンズの各領域に対応した複数の画像を良好な画質で取得できるので、第６の態様に係る撮像装置では、それらの画像を目的に応じて合成し所望の画像を得ることができる。例えば複数の画像から特定の領域を抽出して合成したり、複数の画像をそれぞれ重みづけして合成したりすることができる。これにより第６の態様に係る撮像装置では、特定の被写体に正確に合焦しその他の被写体は所望の度合でボケている画像や、全ての被写体に正確に合焦した画像等を生成することができる。

本発明の第７の態様に係る撮像装置は第１から第６の態様のいずれかにおいて、撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する。上述のように本発明に係る撮像装置において撮影レンズは複数枚のレンズで構成されていてもよく、第７の態様はそのような複数枚のレンズからなる撮影レンズの一態様を示すものである。第７の態様における撮影レンズとしては例えば、複数の領域のそれぞれに対応する複数枚のレンズを光軸方向位置を離間させて配置し、当該複数枚のレンズがそれぞれ独立した焦点距離を有するようなレンズが挙げられる。

本発明の第８の態様に係る撮像装置は第１から第７の態様のいずれかにおいて、撮影レンズの特性を変更する特性変更部を備える。撮影目的等に応じ特性（合焦距離と焦点距離との内少なくとも一方）を変化させて所望の画像が得られるようにしたものである。

上記目的を達成するため本発明の第９の態様に係る撮像方法は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域にそれぞれ対応して設けられた複数の受光センサであって、複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方である撮像装置における撮像方法であって、複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成工程と、生成された画像の補正を行う画像補正工程であって、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する画像補正工程と、を有する。第９の態様では第１の態様と同様に、複数の画像を、良好な画質を確保しつつ同時に取得することができる。

以上説明したように本発明によれば、複数の画像を、良好な画質を確保しつつ同時に取得できる。

図１は、本発明に係る撮像装置１０の外観斜視図である。 図２は、撮像装置１０の要部構成を示すブロック図である。 図３は、撮影レンズ１２の正面図である。 図４は、撮像素子１６における光束の選択的な受光の様子を示す図である。 図５は、撮像素子１６における受光セルの配置の例を示す図である。 図６は、撮像装置１０による撮影の様子を示す図である。 図７Ａは、各焦点領域に対応する撮像信号が完全に分離された場合の画像（遠合焦領域に対応する画像）の例を示す図である。 図７Ｂは、各焦点領域に対応する撮像信号が完全に分離された場合の画像（近合焦領域に対応する画像）の例を示す図である。 図８Ａは、各焦点領域に対応する撮像信号が完全に分離されていない場合の画像（遠合焦領域に対応する画像）の例を示す図である。 図８Ｂは、各焦点領域に対応する撮像信号が完全に分離されていない場合の画像（近合焦領域に対応する画像）の例を示す図である。 図９は、撮像装置１０で取得した画像の例を示す図である。 図１０Ａは、物理的に分離した２枚以上のレンズからなる撮影レンズの例を示す平面図である。 図１０Ｂは、物理的に分離した２枚以上のレンズからなる撮影レンズの例を示す側面図である。

以下、添付図面に従って本発明に係る撮像装置及び撮像方法を実施するための形態について詳細に説明する。

＜撮像装置の構成＞
図１は本発明の第１の実施の形態に係る撮像装置１０（撮像装置）の外観斜視図であり、図２は撮像装置１０の要部構成を示すブロック図である。図１に示すように、撮像装置１０の前面には撮影レンズ１２（撮影レンズ），ストロボ１８等が配置され、上面にはレリーズボタン３８−１が設けられている。Ｌ１は撮影レンズ１２の光軸を表す。

図２は撮像装置１０の要部構成を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述する撮像処理や画像生成・合成処理等に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６に記憶されている。

撮像装置１０には、レリーズボタン３８−１に加えて、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。

レリーズボタン３８−１は撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段である。

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０（ＬＣＤ：Liquid Crystal Display）に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像合成の際に必要な操作にも用いることができる。

撮影モード時において被写体を示す画像光は、撮影レンズ１２（撮影レンズ）、絞り１４を介して固体撮像素子（撮像素子：以下「ＣＣＤ（Charge Coupled Device）」という）１６の受光面に結像される。

図３は、撮影レンズ１２の外観図である。撮影レンズ１２は、合焦距離が長い領域（以下、遠合焦領域という）１２ａと、遠合焦領域１２ａより短い合焦距離を有する領域（以下、近合焦領域という）１２ｂと、を有する。図３に示すように正面から見て半月型の領域がレンズ中心Ｏ１の上下に設けられており、下部から順に遠合焦領域１２ａ、近合焦領域１２ｂ、となっている。なお撮影レンズ１２において各領域の焦点距離は等しいものとするが、本発明の撮像装置において撮影レンズの各領域の特性はこのような条件に限定されるものではない。各領域間で合焦距離と焦点距離との内少なくとも一方が独立していれば、具体的な値は同じであっても異なっていてもよい。またこれらの領域において、合焦距離や焦点距離の具体的な値は撮影目的等に合わせて設定してよい。

なお図３の例では各領域を半月型に形成しているが、レンズ中心に配置した円形の領域とその周辺の円環状の領域（いずれかが遠合焦領域、他方が近合焦領域）とを形成するようにしてもよい。また図３の例では遠合焦領域１２ａ、近合焦領域１２ｂの面積を等しくしているが、これら領域の面積比は光学系の特性や撮影目的・撮影条件等に応じて上記と異なる比率に設定してもよい。また領域数は２に限らず３以上でもよい。

このような構成により本実施の形態に係る撮像装置１０では、合焦距離の異なる２つの画像を同時に取得することができ、何度も撮影を繰り返して時間を費やしたり画像間で被写体位置がずれたりすることがない。

撮影レンズ１２の遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束は、ＣＣＤ１６（撮像素子）の各フォトセンサ（受光センサ）に入射する。図４に示すようにＣＣＤ１６は、撮影レンズ１２の遠合焦領域１２ａを通過した光束を受光する遠画像用受光セル１６ａと、近合焦領域１２ｂを通過した光束を受光する近画像用受光セル１６ｂとを有する。受光セル１６ａ，１６ｂは、マイクロレンズＭＬ、及び受光部１７の前面に設けられた遮光膜１８ａ，１８ｂにより遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束をそれぞれ瞳分割して選択的に受光するようになっており、そのため遮光膜１８ａ，１８ｂはそれぞれ異なる形状をしている。なお受光部１７の前面に遮光膜を設ける代わりに、マイクロレンズＭＬの前面に遮光部材や液晶シャッタを設けるようにしてもよい。

撮像装置１０ではこのような選択的受光が可能なＣＣＤ１６により遠合焦領域１２ａ、近合焦領域１２ｂの一方から他方へのクロストークの影響を除去し、良好な画質の画像が取得できるようにしている。

受光セル１６ａ，１６ｂの数の比は、受光セル１６ａ，１６ｂに対応する遠合焦領域１２ａ，近合焦領域１２ｂの面積比と略等しくなるようにすることが好ましい。図５は撮像素子１６における受光セルの配置例であり、本実施形態では遠合焦領域１２ａと近合焦領域１２ｂの面積が等しいので、受光セル１６ａ，１６ｂの数も等しくなっている。受光セル１６ａ，１６ｂは生成された画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の焦点領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。

ＣＰＵ４０は、絞り駆動部（不図示）を介して絞り１４を制御するとともに、ＣＣＤ制御部（不図示）を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。

アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素の画像信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。なおＣＣＤ１６に代えてＭＯＳ（metal-oxide semiconductor）型撮像素子を用いることができるが、その場合Ａ／Ｄ変換器２１は撮像素子内に内蔵されていることが多く、また上記相関二重サンプリングは必要としない。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。液晶モニタ３０はタッチパネルを採用しており、取得した画像を表示するとともに、画面を介したユーザの操作が可能になっている。

ＣＰＵ４０は、レリーズボタン３８−１の第１段階の押下（半押し）があるとＡＥ（Automatic Exposure）動作を開始する。また、レリーズボタン３８−１の半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいて絞り１４及びＣＣＤ１６での電荷蓄積時間を制御する。

ＡＥ動作が終了し、レリーズボタン３８−１の第２段階の押下（全押し）があると、その押下に応答して遠合焦領域１２ａ，近合焦領域１２ｂに対応した画像データがＡ／Ｄ変換器２１から出力されて画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に入力され、一時的に記憶される。

メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのＪＰＥＧ（joint photographic experts group）形式への圧縮処理等を経て画像ファイルが生成される。それらの画像ファイルは、メディア・コントローラ５２により読み出されて着脱可能な記録媒体（例えば、メモリカード５４）に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。

＜画像取得＞
次に、撮像装置１０での画像取得について説明する。図６は、撮影レンズ１２の遠合焦領域１２ａ，近合焦領域１２ｂでの合焦画像ｉ１，ｉ２（遠合焦画像，近合焦画像）の取得の様子を示す図であり、各参照符号の示す内容は以下の通りである。

図６において、各参照符号が示す内容は以下の通りである。

ａ１，ａ２ ：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−受光面間距離
ｂ１，ｂ２ ：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−被写体間距離
ＦＤ１，ＦＤ２：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂの合焦距離
Ｑ１Ａ，Ｑ１Ｂ，Ｑ２：被写体
なお本実施の形態において「合焦距離」とは受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいい、図６ではＦＤ１＝ａ１＋ｂ１、ＦＤ２＝ａ２＋ｂ２である。また遠合焦領域１２ａ，近合焦領域１２ｂの焦点距離をそれぞれｆ１，ｆ２とすると、１／ｆ１＝（１／ａ１）＋（１／ｂ１），１／ｆ２＝（１／ａ２）＋（１／ｂ２）である。

図６の状況において遠合焦領域１２ａ，近合焦領域１２ｂに対応する画像を取得する場合、クロストークもシェーディングもなければ図７Ａ及び図７Ｂの例に示すような画像が取得できるはずである。図７Ａは遠合焦領域１２ａに対応する画像ｉ１を示している。図７Ａでは、距離ｂ１にある被写体Ｑ１Ａ，Ｑ１Ｂが正確に合焦し、距離ｂ２にある被写体Ｑ２は距離ｂ１，ｂ２の差に応じてボケている。一方図７Ｂは近合焦領域１２ｂに対応する画像ｉ２を示している。図７Ｂでは、距離ｂ２にある被写体Ｑ２が正確に合焦し、距離ｂ１にある被写体Ｑ１Ａ，Ｑ１Ｂは距離ｂ１，ｂ２の差に応じてボケている。

しかしながら実際には遠合焦領域１２ａの撮像信号において、近合焦領域１２ｂを通過した光束の影響（クロストーク）や、遠合焦領域１２ａの撮像信号自体（主ゲイン）のシェーディングが存在する。近合焦領域１２ｂに対応する画像ｉ２についても同様である。図８Ａは遠合焦領域１２ａに対応する現実の画像ｉ１’の例を示し、図８Ｂは近合焦領域１２ｂに対応する現実の画像ｉ２’の例を示す。これらの画像ｉ１’，ｉ２’はボケ量の差及び視差ズレを有する複数の画像が重畳され画質が低下している。

このような事情に鑑み撮像装置１０では、上述した選択的受光が可能なＣＣＤ１６に加え、以下のように補正を行ってクロストークやシェーディングの影響を除去し、良好な画質の画像が得られるようにしている。この補正の内容を以下に説明する。

＜補正の内容＞
まず、遠合焦領域１２ａ，近合焦領域１２ｂに対応する理想的な信号分布（クロストークもシェーディングもないとした場合の信号分布）をそれぞれＡ(ｘ，ｙ)，Ｂ(ｘ，ｙ)とし、クロストークや主ゲインのシェーディングが影響している現実の信号分布をそれぞれＡ’(ｘ，ｙ)，Ｂ’(ｘ，ｙ)とする。また、クロストーク及び主ゲインを以下のように表す。

Ｓ_ａ(ｘ，ｙ) ：遠合焦領域１２ａのゲイン分布
Ｓ_ｂ(ｘ，ｙ) ：近合焦領域１２ｂのゲイン分布
Ｃ_ｂａ(ｘ，ｙ)：近合焦領域１２ｂから遠合焦領域１２ａへのクロストークの分布
Ｃ_ａｂ(ｘ，ｙ)：遠合焦領域１２ａから近合焦領域１２ｂへのクロストークの分布
ここで（ｘ，ｙ）は各領域に対応する画像の画素位置であり、本実施形態ではこのようにクロストークや主ゲインのシェーディングの影響の位置依存性を考慮している。

すると、本来の信号分布Ａ(ｘ，ｙ)，Ｂ(ｘ，ｙ)と現実の信号分布Ａ’(ｘ，ｙ)，Ｂ’(ｘ，ｙ)との関係は以下のように表される。

Ａ’(ｘ，ｙ)＝Ｓ_ａ(ｘ，ｙ)Ａ(ｘ，ｙ)＋Ｃ_ｂａ(ｘ，ｙ)Ｂ(ｘ，ｙ)・・・（式２）
Ｂ’(ｘ，ｙ)＝Ｃ_ａｂ(ｘ，ｙ)Ａ(ｘ，ｙ)＋Ｓ_ｂ(ｘ，ｙ)Ｂ(ｘ，ｙ)・・・（式３）
上記（式２），（式３）よりＡ(ｘ，ｙ)，Ｂ(ｘ，ｙ)は、以下のように導かれる。

Ａ(ｘ，ｙ)＝｛Ｓ_ｂ(ｘ，ｙ)Ａ’(ｘ，ｙ)−Ｃ_ｂａ(ｘ，ｙ)Ｂ’(ｘ，ｙ)｝／｛Ｓ_ａ(ｘ，ｙ)Ｓ_ｂ(ｘ，ｙ)−Ｃ_ａｂ(ｘ，ｙ)Ｃ_ｂａ(ｘ，ｙ)｝・・・（式４）
Ｂ(ｘ，ｙ)＝｛Ｓ_ａ(ｘ，ｙ)Ｂ’(ｘ，ｙ)−Ｃ_ａｂ(ｘ，ｙ)Ａ’(ｘ，ｙ)｝／｛Ｓ_ｂ(ｘ，ｙ)Ｓ_ａ(ｘ，ｙ)−Ｃ_ｂａ(ｘ，ｙ)Ｃ_ａｂ(ｘ，ｙ)｝・・・（式５）
したがって、撮影レンズ１２やＣＣＤ１６の特性に基づく計算や、テストパターンやサンプル画像を用いた測定によりクロストーク及び主ゲインの分布（上述したＳ_ａ，Ｓ_ｂ，Ｃ_ａｂ，Ｃ_ｂａ）のデータをあらかじめ取得しておくことで、Ａ(ｘ，ｙ)，Ｂ(ｘ，ｙ)を求めることができる。このように取得したクロストーク及び主ゲインの分布のデータはＥＥＰＲＯＭ４６に記憶しておくようにしてもよいし、メモリカード５４を介して読み込むようにしてもよい。そしてそのようにしてあらかじめ取得されたクロストーク及び主ゲインの分布のデータを用いて、ＣＰＵ４０（画像補正部）が必要に応じアナログ信号処理部２０（画像補正部）やデジタル信号処理部２４（画像補正部）を制御し、メモリ４８を作業領域として補正の処理が行われる。

撮像装置１０では、上述した選択的受光が可能なＣＣＤ１６に加えてこのような補正処理を行うことによりクロストークや主ゲインのシェーディングの影響をまとめて除去することができる。また処理に際してこれらの影響の位置依存性を考慮し、除去を正確に行うことができるようにしている。したがって遠合焦領域１２ａ，近合焦領域１２ｂの一方に対応する画像において他方の領域の影響を除去し、合焦距離の異なる複数の画像を、良好な画質で同時に取得することができる。

なお上記（式２）〜（式５）は領域数がＮ（２以上の整数）の場合に拡張でき、一般的には上述した（式１）のように表される。

本実施の形態に係る撮像装置１０ではクロストークや主ゲインのシェーディングの影響を除去した画像を取得できるのに加えて、そのような画像を合成した画像を生成することもできる。図９はそのような合成画像の例を示す図であり、クロストークや主ゲインのシェーディングの影響を除去した画像を合成することで全ての被写体Ｑ１Ａ，Ｑ１Ｂ，Ｑ２がはっきりと映った画像ｉ３を示している。

上述したクロストークや主ゲインのシェーディングの影響は、上記行列Ｘの単位行列からのずれとなって現れる。これらの影響の度合いが小さく画像の使用目的上影響を無視できる場合やクロストークと主ゲインとの内どちらか一方のみを除去する場合は、目的に応じ行列Ｘにおいて主ゲインに相当するＸ_ｉｉ成分（行列Ｘの対角成分）を１とし、クロストークに相当するＣ_ｊｉ成分（行列Ｘの非対角成分）を０とすればよい。

なお補正を行うに当たり、クロストーク及び主ゲインの分布のデータの算出精度（誤差）を考慮しフィルタを用いて統計的処理を行うようにしてもよい。

＜撮像装置の変形例＞
上述した実施形態では撮影レンズが図３に示すようなレンズである場合について説明したが、本発明に係る撮像装置において撮影レンズはこのような態様に限定されるものではない。図１０Ａ及び図１０Ｂは撮影レンズの他の態様を示す図である。図１０Ａ及び図１０Ｂに示す撮影レンズ１２’は物理的に分離した２枚以上のレンズからなる撮影レンズであって、撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性（合焦距離と焦点距離との内少なくとも一方）を有するレンズである。撮影レンズ１２’では図１０Ａに示すように、正面から見て半月型の領域がレンズ中心Ｏ１’の上下に設けられており、下部から順に遠合焦領域１２ａ’、近合焦領域１２ｂ’、となっている。そしてこれら２つの焦点領域が物理的に分離した２枚のレンズとして作用し、全体として撮影レンズ１２’を構成する。これらの領域において、焦点距離の具体的な値は撮影目的等に合わせて設定してよい。なお図１０Ｂに示すように、遠合焦領域１２ａ’，近合焦領域１２ｂ’は光軸Ｌ１方向（Ｚ方向）の異なる位置に配置してよい。

また本発明に係る撮像装置において、撮影レンズの特性（合焦距離と焦点距離との内少なくとも一方）を変更できるようにしてもよい。特性の変更は例えば、撮影レンズ全体の移動や、複数のレンズで構成した撮影レンズの内一部のレンズを移動する等、種々の手法で実現できる。また図１０Ａ及び図１０Ｂに示すような２枚以上のレンズからなる撮影レンズの内いずれかのレンズを回転・移動させるようにしてもよい。このようなレンズの移動や回転は撮影者によるレンズ鏡筒の回転に応じて行われるようにしてもよいし、モータやＰＺＴ（ピエゾ素子）を備えるレンズ駆動部をＣＰＵ４０が制御することにより行われるようにしてもよい。このように特性を変更することで、所望の特性及びその組み合わせで、複数の画像を同時に取得することができる。

なお合焦距離や焦点距離を変更すると、変更後の各領域の合焦距離・焦点距離の組合せ（異なるか等しいか）に応じて、被写体像の相違の様子が異なる状態になる（本発明の第１の態様についての記載を参照）。また合焦距離や焦点距離を変更できるようにする場合、クロストーク及び主ゲインの分布のデータを合焦距離・焦点距離に対応してあらかじめ取得・記憶しておくか、所望の合焦距離・焦点距離に対応したデータが得られるように定式化しておくことが好ましい。

以上本発明を実施形態及びその変形例により説明したが、本発明の実施の態様は上記態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０…撮像装置、１２，１２’…撮影レンズ、１２ａ，１２ａ’…遠合焦領域、１２ｂ，１２ｂ’…近合焦領域、１６…固体撮像素子（ＣＣＤ）、１６ａ…遠画像用受光セル、１６ｂ…近画像用受光セル、１８ａ，１８ｂ…遮光膜、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、ａ１，ａ２…レンズ−受光面間距離、ｂ１，ｂ２…レンズ−被写体間距離、ＦＤ１，ＦＤ２…合焦距離、Ｑ１Ａ，Ｑ１Ｂ，Ｑ２…被写体、ｉ１〜ｉ３，ｉ１’，ｉ２’…画像

Claims (9)

1. 複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、
   前記複数の領域にそれぞれ対応して設けられた複数の受光センサであって、前記複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
   前記複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成部と、
   前記生成された画像の補正を行う画像補正部と、
   を備え、
   前記特性は焦点距離と合焦距離とのうち少なくとも一方であり、
   前記画像補正部は、前記一の領域に対応して生成された画像から前記一の領域以外の領域を通過した光束の影響を除去する、
   撮像装置。
2. 前記画像補正部は、前記一の領域以外の領域を通過した光束の影響の度合の前記生成された画像中での位置依存性を考慮して前記除去を行う、請求項１に記載の撮像装置。
3. 前記画像補正部は、前記一の領域に対応して生成された画像から、前記一の領域を通過した光束に対するシェーディングの影響を除去する、請求項１に記載の撮像装置。
4. 前記画像補正部は、前記シェーディングの影響の度合の、前記生成された画像中での位置依存性を考慮して前記除去を行う、請求項３に記載の撮像装置。
5. 前記画像生成部は以下の式（１）に基づいて前記除去を行う、請求項１から４のいずれかに記載の撮像装置。
   （Ａ_１，Ａ_２，・・・，Ａ_Ｎ）^Ｔ＝Ｘ^−１・（Ａ_１’，Ａ_２’，・・・，Ａ_Ｎ’）^Ｔ・・・（式１）
   ただし、
   Ｎ ：撮影レンズの領域数（２以上の整数）
   Ａ_ｉ（ｘ，ｙ） ：領域ｉに対応する、他の領域を通過した光束の影響の補正後の撮像信号（ｉ＝１〜Ｎ）
   Ａ_ｉ’（ｘ，ｙ）：領域ｉに対応する、他の領域を通過した光束の影響の補正前の撮像信号（ｉ＝１〜Ｎ）
   Ｘ^−１ ：主ゲイン及びクロストーク成分からなる行列Ｘの逆行列
   Ｘ_ｉｉ＝Ｓ_ｉ（ｘ，ｙ） （領域ｉの主ゲイン；ｉ＝１〜Ｎ）
   Ｘ_ｊｉ＝Ｃ_ｊｉ（ｘ，ｙ）（領域ｊから領域ｉへのクロストーク成分；ｊ＝１〜Ｎ、ｊ≠ｉ）
   （ｘ，ｙ） ：領域ｉに対応する画像の画素位置
6. 前記画像生成部は、前記除去を行って得られた複数の画像を合成した画像を生成する、請求項１から５のいずれかに記載の撮像装置。
7. 前記撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域が、前記２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する、請求項１から６のいずれかに記載の撮像装置。
8. 前記撮影レンズの前記特性を変更する特性変更部を備える、請求項１から６のいずれかに記載の撮像装置。
9. 複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、前記複数の領域にそれぞれ対応して設けられた複数の受光センサであって、前記複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、を備え、前記特性は焦点距離と合焦距離とのうち少なくとも一方である撮像装置における撮像方法であって、
   前記複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成工程と、
   前記生成された画像の補正を行う画像補正工程であって、前記一の領域に対応して生成された画像から前記一の領域以外の領域を通過した光束の影響を除去する画像補正工程と、
   を有する撮像方法。

Images