JP4983271B2

JP4983271B2 - 撮像装置

Info

Publication number: JP4983271B2
Application number: JP2007010230A
Authority: JP
Inventors: 洋介日下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-01-19
Filing date: 2007-01-19
Publication date: 2012-07-25
Anticipated expiration: 2027-01-19
Also published as: JP2008177903A

Description

本発明は撮像装置に関する。

瞳分割位相差検出方式の焦点検出用画素を撮影素子の中央部に配列し、この焦点検出用画素列で撮影光学系の焦点検出を行うとともに、焦点検出用画素列の周囲に二次元状に配列した撮像用画素で撮像を行うようにした撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０１−２１６３０６号公報

しかしながら、上述した従来の撮像装置では、焦点検出用画素位置の画像出力を周囲の撮像用画素の画素出力を用いて補間により求めなけらばならないので、撮影画面内の多くの位置で焦点検出を行うために多くの焦点検出用画素列を配置するほど画像品質が劣化するという問題がある。

請求項１の発明による撮像装置は、光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中の、前記光学系による画面上の前記第１焦点検出用画素とは異なる位置に配置された第２焦点検出用画素とを有する第２の撮像素子とを備えたことを特徴とする。
請求項１５の発明による撮像装置は、光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中に配置された第２焦点検出用画素とを有する第２の撮像素子と、前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成する画像生成手段とを備えたことを特徴とする。

本発明によれば、撮像用画素中に焦点検出用画素を配列した固体撮像素子において、焦点検出用画素位置の画像データを補間による画質の劣化を防止することができる。

図１は一実施の形態の構成を示す。一実施の形態のデジタルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、マウント部２０４を介して交換レンズ２０２がカメラボディ２０３に装着される。

交換レンズ２０２はレンズ駆動制御装置２０６、ズーミングレンズ２０８、レンズ２０９、フォーカシングレンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６はマイクロコンピューターとメモリなどの周辺部品から構成され、フォーカシングレンズ２０８と絞り２１１の駆動制御、ズーミングレンズ２０８、フォーカシングレンズ２１０および絞り２１１の状態検出、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信などを行う。

一方、カメラボディ２０３はボディ駆動制御装置２１４、液晶表示装置駆動回路２１５、液晶表示素子２１６、メモリカード２１９、撮像素子２２０、２２１、光分割プリズム２２３などを備えている。光分割プリズム２２３は、交換レンズ２０２から到来する光束を反射光束と透過光束に１：１に分割するハーフミラー面２２２を備えている。撮像素子２２０は光分割プリズム２２３を透過した光束を受光する固体撮像素子であり、交換レンズ２０２の予定結像面（撮像面）に配置される。一方、撮像素子２２１は光分割プリズム２２３を反射した光束を受光する固体撮像素子であり、交換レンズ２０２の他の予定結像面（撮像面）に配置される。

ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成され、固体撮像素子２２０、２２１からの画像信号の読み出しと補正、レンズ駆動制御装置２１４との通信（レンズ情報の受信、デフォーカス量などのカメラ情報の送信）、交換レンズ２０２の焦点調節状態（デフォーカス量）の検出、およびカメラ全体の動作制御を行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６はマウント部２０４に設けられた電気接点２１３を介して通信を行い、レンズ情報、デフォーカス量、絞り情報などの各種情報の授受を行う。

この一実施の形態のカメラでは、液晶表示素子駆動回路２１５と液晶表示素子２１６によりＥＶＦ（Electric View Finder）を構成し、固体撮像素子２２０、２２１による撮像画像を液晶表示素子２１６に表示して接眼レンズ２１７を介して撮影者に視認させる。なお、撮像画像はメモリカード２１９に記録される。

固体撮像素子２２０、２２１には撮像用画素が２次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出用画素列が組み込まれている。交換レンズ２０２を透過して光分割プリズム２２３により分割された光束により固体撮像素子２２０、２２１上に形成された被写体像は、固体撮像素子２２０,２２１により光電変換され、それらの出力はボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、焦点検出用画素の出力に基づき焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像画素の出力に基づき生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、画像信号を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を伝達し、絞り開口の大きさを制御させる。

レンズ駆動制御装置２０６は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、ズーミングレンズ２０８、フォーカシングレンズ２１０の位置と、絞り２１１の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。また、レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動するとともに、受信した絞り制御情報に基づいて絞り２１１を不図示のモーター等の駆動源により駆動する。

図２は固体撮像素子２２０の平面図である。固体撮像素子２２０は、単一の基板上において行方向とそれに直交する方向の列方向に二次元正方配列された撮像用画素および焦点検出用画素から構成される。すなわち、撮像用画素は行方向と列方向に稠密に配列されており、固体撮像素子２２０では画素の稠密配列方向は行方向と列方向になる。図２において、点１００は撮影画面中心（交換レンズ２０２の光軸と固体撮像素子２２０の交点）であり、直線１０１は点１００を通る行方向（水平方向）の直線であり、直線１０２は点１００を通る列方向（垂直方向）の直線である。

直線１０２の上方向が図１に示すＡの方向であり、下方向が図１に示すＢの方向である。直線１０３は点１００を中心に直線１０１を反時計回りに４５度回転した直線であり、直線１０４は点１００を中心に直線１０１を時計回りに４５度回転した直線である。固体撮像素子２２０は直線１０３と直線１０４により４つの区域に分割され、区域１１０と区域１３０は点１００から行方向で右方向および左方向に広がる区域であり、区域１５０と区域１７０は点１００から列方向で上方向および下方向に広がる区域である。

点１００を中心とする楕円１０５、１０６において、点１００を含む楕円１０５の内側が画面中心近傍の領域１０７であり、楕円１０５の外側でかつ楕円１０６の内側の領域は中間的な領域１０８であり、楕円１０６の外側の領域は画面周辺の領域１０９である。

図２おいて、小さな長方形で示した領域に焦点検出画素が配列されている。この領域が焦点検出領域（焦点検出エリア）となる。長方形の長手方向が焦点検出画素の配列方向を示しており、焦点検出画素が行方向に配列された領域を黒く塗りつぶした長方形で示している。長方形の長手方向の長さは焦点検出領域の長さ（焦点検出画素の配列画素数）を示しており、領域１２２、１４２は他の領域よりその長さが短く設定されている。焦点検出領域以外には撮像用画素が配列されており、複数の焦点検出領域の間の領域は撮像用画素のみの領域となっている。

図３は固体撮像素子２２１の平面図である。固体撮像素子２２１は、単一の基板上において行方向とそれに直交する方向の列方向に二次元正方配列された撮像用画素および焦点検出用画素から構成される。すなわち、撮像用画素は行方向と列方向に稠密に配列されており、固体撮像素子２２１では画素の稠密配列方向は行方向と列方向になる。図３において、点１００は撮影画面中心（交換レンズ２０２の光軸と固体撮像素子２２１の交点）であり、直線１０１は点１００を通る行方向（水平方向）の直線であり、直線１０２は点１００を通る列方向（垂直方向）の直線である。

直線１０２の上方向が図１に示すＡの方向であり、下方向が図１に示すＢの方向である。直線１０３は点１００を中心に直線１０１を反時計回りに４５度回転した直線であり、直線１０４は点１００を中心に直線１０１を時計回りに４５度回転した直線である。固体撮像素子２２１は直線１０３と直線１０４により４つの区域に分割され、区域１１０と区域１３０は点１００から行方向で右方向および左方向に広がる区域であり、区域１５０と区域１７０は点１００から列方向で上方向および下方向に広がる区域である。

点１００を中心とした楕円１０５、１０６において、点１００を含む楕円１０５の内側が画面中心近傍の領域１０７であり、楕円１０５の外側でかつ楕円１０６の内側の領域は中間的な領域１０８であり、楕円１０６の外側の領域は画面周辺の領域１０９である。

図３おいて、小さな長方形で示した領域に焦点検出画素が配列されている。この領域が焦点検出領域（焦点検出エリア）となる。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が列方向に配列された領域を白抜きにした長方形で示している。長方形の長手方向の長さは焦点検出領域の長さ（焦点検出用画素の配列画素数）を示しており、領域１６２、１８２は他の領域よりその長さが短く設定されている。焦点検出領域以外には撮像用画素が配列されており、複数の焦点検出領域の間の領域は撮像用画素のみの領域となっている。

図４は交換レンズの撮影画面の平面図である。上述したように、交換レンズ２０２から到来する光束は、光分割プリズム２２３により透過光束と反射光束に分割される。透過光束により被写体像が結像される交換レンズ２０２の一方の予定結像面には固体撮像素子２２０が配置され、反射光束により被写体像が結像される交換レンズ２０２の他方の予定結像面には固体撮像素子２２１が配置される。したがって、透過光束側の予定結像面と反射光束側の予定結像面とに交換レンズ２０２の撮影画面が存在することになるが、この一実施の形態では二つの固体撮像素子２２０と２２１の撮像画像を合成して一つの画像を生成するので、二つの撮影画面を同一のものとして取り扱う。固体撮像素子２２０の各画素と固体撮像素子２２１の各画素とは一つの撮影画面を介してそれぞれ対応関係にある。

つまり、図４は、図２に示す固体撮像素子２２０の焦点検出領域の配置と、図３に示す固体撮像素子２２１の焦点検出領域の配置とを同一の撮影画面上で表した図である。撮影画面上において、固体撮像素子２２０により設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１により設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０の焦点検出領域における画像データを、固体撮像素子２２１の対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１の焦点検出領域における画像データを固体撮像素子２２０の対応する領域の撮像用画素の画像データで代用可能になる。

点１００に対して水平方向の右にある区域１１０内においては、画面中心近傍領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１１、１１２、１１３と、焦点検出用画素が水平方向に配列された焦点検出領域１２１が配置される。また、画面中間領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１４、１１５、１１６と、焦点検出用画素が水平方向に配列された焦点検出領域１２２が配置される。さらに、画面周辺領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１７、１１８、１１９が配置され、焦点検出用画素が水平方向に配列された焦点検出領域は配置されない。

点１００に対して水平方向の左にある区域１３０内においては、画面中心近傍領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３１、１３２、１３３と、焦点検出用画素が水平方向に配列された焦点検出領域１４１が配置される。また、画面中間領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３４、１３５、１３６と、焦点検出用画素が水平方向に配列された焦点検出領域１４２が配置される。さらに、画面周辺領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３７、１３８、１３９が配置され、焦点検出用画素が水平方向に配列された焦点検出領域は配置されない。

点１００に対して垂直方向の上にある区域１５０内においては、画面中心近傍領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５１、１５２、１５３と、焦点検出用画素が垂直方向に配列された焦点検出領域１６１が配置される。また、画面中間領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５４、１５５、１５６と、焦点検出用画素が垂直方向に配列された焦点検出領域１６２が配置される。さらに、画面周辺領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５７、１５８、１５９が配置され、焦点検出用画素が垂直方向に配列された焦点検出領域は配置されない。

点１００に対して垂直方向の下にある区域１７０内においては、画面中心近傍領域には、焦点検出用画素が水平方向に配列された焦点検出領域１７１、１７２、１７３と、焦点検出用画素が垂直方向に配列された焦点検出領域１８１が配置される。また、画面中間領域には、焦点検出用画素が水平方向に配列された焦点検出領域１７４、１７５、１７６と、焦点検出用画素が垂直方向に配列された焦点検出領域１８２が配置される。さらに、画面周辺領域には焦点検出用画素が水平方向に配列された焦点検出領域１７７、１７８、１７９が配置され、焦点検出用画素が垂直方向に配列された焦点検出領域は配置されない。

図５は撮像用画素配列の拡大図である。なお、図５では固体撮像素子２２０、２２１の撮像用画素のみで構成される領域を拡大して示す。撮像用画素は緑画素３１０、赤画素３１１、青画素３１２の３種類の画素からなり、これらの画素がベイヤー配列で２次元配列されている。図８に示すように、撮像用画素（緑画素３１０、赤画素３１１、青画素３１２）は、マイクロレンズ１０、光電変換部１１および不図示の色フィルタからなる。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図１０に示すものとなっている。

図６、図７は焦点検出用画素配列の拡大図である。図６では固体撮像素子２２０の焦点検出用画素が配列された領域を拡大して示し、図７では固体撮像素子２２１の焦点検出用画素が配列された領域を拡大して示す。図６は、図２において焦点検出用画素が行方向に配列された領域（黒く塗りつぶした長方形で示した領域）に対応しており、図７は、図３において焦点検出用画素が列方向に配列された領域（白抜きの長方形で示した領域）に対応している。図６において、焦点検出用画素３２０は行方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３２０の配列の周囲は撮像用画素により取り囲まれている。図７において、焦点検出用画素３３０は列方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３３０の配列の周囲は撮像用画素により取り囲まれている。

図９に示すように、焦点検出用画素３２０，３３０は、マイクロレンズ１０および一対の光電変換部１２，１３からなる。焦点検出用画素３３０は、焦点検出用画素３２０を９０度回転した構成となっている。焦点検出用画素３２０、３３０には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と赤外カットフィルタ（不図示）の分光特性を総合した分光特性（図１１参照）となり、図１０に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

撮像用画素の光電変換部１１は、マイクロレンズ１０により所定の絞り開口径（例えばＦ１．０）の光束をすべて受光するような形状に設計される。一方、焦点検出用画素の一対の光電変換部１２、１３は、マイクロレンズ１０により所定の絞り開口径（例えばＦ２．８）の光束をすべて受光するような形状に設計される。

図１２は撮像用画素の断面図である。撮像用画素において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。不図示の色フィルタはマイクロレンズ１０と光電変換部１１の中間に配置される

図１３は焦点検出用画素の断面図である。焦点検出用画素において、焦点検出用の光電変換部１２、１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２、１３が前方に投影される。光電変換部１２、１３は半導体回路基板２９上に形成される。

図１４はマイクロレンズを用いた瞳分割方式による焦点検出の説明図である。９０は、交換レンズ２０２の予定結像面に配置されたマイクロレンズの前方ｄ０の距離に設定された射出瞳である。なお、距離ｄ０はマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離という。５０，６０はマイクロレンズ、(５２,５３)、(６２,６３)は焦点検出用画素の一対の光電変換部、７２,７３、８２,８３は焦点検出光束、９２はマイクロレンズ５０、６０により投影された光電変換部５２、６２の領域（以下では、測距瞳という）、９３はマイクロレンズ５０、６０により投影された光電変換部５３、６３の領域（測距瞳）である。

図１４では、便宜的に光軸上にある焦点検出用画素（マイクロレンズ５０と一対の光電変換部５２、５３からなる）と、隣接する焦点検出用画素（マイクロレンズ６０と一対の光電変換部６２、６３からなる）を模式的に例示しているが、焦点検出用画素が画面周辺の光軸から離れた位置にあった場合においても、一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出用画素の配列方向は、一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、マイクロレンズ５０によりその背後に配置された一対の光電変換部５２、５３の形状がマイクロレンズ５０、６０から投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。マイクロレンズ６０によりその背後に配置された一対の光電変換部６２、６３の形状が投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ０にある射出瞳９０上で各焦点検出用画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素の投影方向が決定されている。つまり、一対の測距瞳９２，９３と、一対の光電変換部（５２、５３）およびは一対の光電変換部（６２、６３）は、マイクロレンズ５０，６０を介して共役な関係となっている。

光電変換部５２は測距瞳９２を通過し、マイクロレンズ５０に向う焦点検出光束７２によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部５３は測距瞳９３を通過し、マイクロレンズ５０に向う焦点検出光束７３によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部６２は測距瞳９２を通過し、マイクロレンズ６０に向う焦点検出光束８２によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。光電変換部６３は測距瞳９３を通過し、マイクロレンズ６０に向う焦点検出光束８３によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。

上記のような焦点検出用画素を直線状に複数個配置し、各画素の一対の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。これらの情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことにより、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

なお、上記説明では測距瞳は交換レンズの開口制限要素（絞り開口、レンズ外形、フードなど）によって制限されていない（けられていない）状態として説明を行ったが、交換レンズの開口制限要素によって測距瞳が制限される場合には、焦点検出用画素の光電変換部は制限を受けた測距瞳を通過する光束を焦点検出光束として受光することになる

図１５は撮像用画素と射出瞳の関係を説明する図である。なお、図１４に示す要素と同様な要素については説明を省略する。７０はマイクロレンズ、７１は撮像画素の光電変換部、８１は撮像光束、９４はマイクロレンズ７０により投影された光電変換部７１の領域である。図１５では、光軸上にある撮像画素（マイクロレンズ７０と光電変換部７１からなる）を模式的に例示しているが、その他の撮像画素においても光電変換部はそれぞれ領域９４から各マイクロレンズに到来する光束を受光する。

マイクロレンズ７０は光学系の予定結像面近傍に配置されており、マイクロレンズ７０によりその背後に配置された光電変換部７１の形状がマイクロレンズ７０から投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は領域９４を形成する。光電変換部７１は領域９４を通過し、マイクロレンズ７０に向う焦点検出光束８１によりマイクロレンズ７０上に形成される像の強度に対応した信号を出力する。上記のような撮像用画素を２次元状に多数配置することにより、各画素の光電変換部に基づいて画像情報が得られる。

図１６、図１７は射出瞳面における測距瞳の正面図である。図１６において、焦点検出用画素３２０から一対の光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳９２２，９３３の外接円は、結像面から見た場合に所定の開口Ｆ値（測距瞳Ｆ値と称する。ここではＦ２．８）となる。破線で示す領域９０１は絞り値Ｆ２．８よりも大きな絞り値（例えばＦ２）に対応した領域を示し、測距瞳９２２，９３３を内部に含んでいる。測距瞳９２２，９３３の並び方向（図では水平方向)における測距瞳９２２、９３３を通過する光束(焦点検出光束)の重心９５２，９５３の間隔は、Ｇとなる。

図１７において、焦点検出用画素３３０から一対の光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳８２２，８３３の外接円は、結像面から見た場合に所定の開口Ｆ値（測距瞳Ｆ値と称する。ここではＦ２．８）となる。破線で示す領域９０１は絞り値Ｆ２．８よりも大きな絞り値（例えばＦ２）に対応した領域を示し、測距瞳８２２，８３３を内部に含んでいる。測距瞳８２２，８２３の並び方向（図では垂直方向)における測距瞳８２２、８３３を通過する光束(焦点検出光束)の重心８５２，８５３の間隔はＧとなる。

交換レンズの絞り値がＦ２．８よりも小さな絞り値（例えばＦ４）になると測距瞳の一部が遮光され（ケラレ）、交換レンズの射出瞳の位置が測距瞳の位置（ｄ０）と異なる場合は、画面周辺において一対の測距瞳のケラレ方がアンバランスになる。ケラレにより測距瞳の面積の比がアンバランスになると、結果的に一対の測距瞳によって形成される一対の像の強度比がアンバランスになって一致性（同一性）が崩れるため焦点検出精度が低下し、ケラレの程度が大きい場合には焦点検出不能になってしまう。

一対の測距瞳の並び方向が水平方向の場合は、画面中心近傍および画面中心に対し上下方向の領域では一対の測距瞳のケラレ方のアンバランス量は少なく、焦点検出精度の維持が可能であるが、画面中心に対し左右方向の周辺領域では一対の測距瞳のケラレ方のアンバランス量が大きくなり、焦点検出精度の維持が困難である。一対の測距瞳の並び方向が垂直方向の場合は、画面中心近傍および画面中心に対し左右方向の領域では一対の測距瞳のケラレ方のアンバランス量は少なく、焦点検出精度の維持が可能であるが、画面中心に対し左上下向の周辺領域では一対の測距瞳のケラレ方のアンバランス量が大きくなり、焦点検出精度の維持が困難である。

以上のように、図４に示す画面中心に対して水平方向に分離した区域１１０および区域１３０では、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の方が、焦点検出用画素３２０を水平方向に配列した焦点検出領域に比較して焦点検出性能を維持し易い。逆に、図４に示す画面中心に対して垂直方向に分離した区域１５０および区域１７０では、焦点検出用画素３２０を水平方向に配列した焦点検出領域の方が、焦点検出用画素３３０を垂直方向に配列した焦点検出領域に比較して焦点検出性能を維持し易い。

図１８は、図１に示すデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、この撮像動作を開始する。ステップ１１０において、各固体撮像素子２２０、２２１の撮像用画素の画像データに基づいて被写体輝度を検出し、各固体撮像素子２２０、２２１の電荷蓄積時間を決定して独立に電荷蓄積制御を行う。

このとき、例えば、撮影画面中心に対し上下方向の区域１５０と１７０の画像データが最適なレベルになるように固体撮像素子２２０の電荷蓄積時間を決定し、撮影画面中心に対し左右方向の区域１１０と１３０の画像データが最適なレベルになるように固体撮像素子２２１の電荷蓄積時間を決定する。つまり、焦点検出領域が配置される区域の撮像用画素の画像データが最適なレベルになるように各固体撮像素子２２０、２２１の電荷蓄積時間を決定する。また、一方の固体撮像素子２２０に対して、その撮像画像における高輝度領域の撮像用画素の画像データが最適なレベルとなる電荷蓄積時間を決定するとともに、他方の固体撮像素子２２１に対して、その撮像画像における低輝度領域の撮像用画素の画像データが最適なレベルとなる電荷蓄積時間を決定するようにしてもよい。なお、専用の測光素子を設け、被写界を複数の領域に分割して測光するようにしてもよい。

ステップ１２０において、２つの固体撮像素子２２０、２２１から撮像用画素のデータおよび焦点検出用画素のデータを読み出す。続くステップ１３０で撮像用画素のデータを合成し、合成データを電子ビューファインダーに表示させる。データ合成の際には、電荷蓄積時間の相違を考慮して合成する。例えば基準電荷蓄積時間（一方の固体撮像素子の電荷蓄積時間、２つの固体撮像素子の電荷蓄積時間の平均など）での画像データとなるように、２つの固体撮像素子の画像データを補正してから合成する。合成処理は例えば加算平均処理である。一方の固体撮像素子の焦点検出領域における画像データは、他方の固体撮像素子の画像データを上記と同様に補正して使用する。

ステップ１４０では、焦点検出用画素列に対応した一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行う。複数の焦点検出領域において像ズレ量を演算し、さらにデフォーカス量を算出する。複数の焦点検出領域において算出されたデフォーカス量に基づき、最終的にひとつのデフォーカス量を求める。例えば複数のデフォーカス量の平均値、あるいは最も近距離の被写体に対応するデフォーカス量などを最終的なデフォーカス量とする。ステップ１５０において合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップ１６０へ分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近間でスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。

一方、合焦近傍であると判定された場合はステップ１７０へ進み、不図示のレリーズボタンの操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ１１０へ戻って上述した動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップ１８０へ進み、レンズ駆動制御装置２０６へ絞り制御情報を送信し、交換レンズ２０２の絞り値を撮影絞り値にする。絞り制御が終了した時点で、上記ステップ１１０で検出した被写界輝度に応じて２つの固体撮像素子２２０、２２１の電荷蓄積時間を決定し、独立に電荷蓄積制御を行う。この実施の形態では、画面内の高輝度領域の画像データが最適なレベル（高輝度重視）になるように固体撮像素子２２０の電荷蓄積時間を決定し、画面内の低輝度領域の画像データが最適なレベル（低輝度重視）になるように固体撮像素子２２１の電荷蓄積時間を決定し、２つの固体撮像素子に電荷蓄積を行わせる。

ステップ１９０で２つの固体撮像素子２２０、２２１から撮像用画素のデータおよび焦点検出用画素のデータを読み出す。続くステップ２００では低輝度重視の撮像用画素のデータと高輝度重視の撮像用画素のデータを合成し、ダイナミックレンジを拡大した高品質な画像データを生成する。その際一方の固体撮像素子の焦点検出領域における画像データは、他方の固体撮像素子の画像データを補正して使用する。ステップ２１０で画像データをメモリーカード２１９に保存し、ステップ１１０へ戻って上述した動作を繰り返す。

図１９は、図１８のステップ１４０における焦点検出演算の詳細を説明するための図である。焦点検出用画素列から出力される一対のデータ列（α１〜αＭ、β１〜βＭ：Ｍはデータ数）に対し、下記（１）式に示すような高周波カットフィルター処理を施し、第１データ列（Ａ１〜ＡＮ）、第２データ列（Ｂ１〜ＢＮ）を生成することによって、データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去する。
Ａｎ＝αｎ＋２×αｎ＋１＋αｎ＋２，
Ｂｎ＝βｎ＋２×βｎ＋１＋βｎ＋２・・・（１）
（１）式において、ｎ＝１〜Ｎである。また、α１〜αＭは図１４において測距瞳９２を通る焦点検出光束により形成された像の画像データに相当し、β１〜βＭは測距瞳９３を通る焦点検出光束により形成された像の画像データに相当する。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、この処理を省略することもできる。

データ列Ａｎ、Ｂｎに対し（２）式に示す相関演算を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａｎ−Ｂｎ＋ｋ｜・・・（２）
（２）式において、Σ演算はｎについて累積される総和演算である。ｎのとる範囲は、ずらし量ｋに応じてＡｎ、Ｂｎ＋ｋのデータが存在する範囲に限定される。ずらし量ｋは整数であり、データ列のデータ間隔（画素ピッチ）を単位とした相対的シフト量である。（２）式の演算結果は、図１９(ａ)に示すように、一対のデータの相関が高いシフト量（図１９(ａ)ではｋ＝ｋj＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。

次に、（３）〜（６）式による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ・・・（３），
Ｃ（ｘ）＝Ｃ（ｋj）-｜Ｄ｜・・・（４），
Ｄ＝｛Ｃ(ｋj-１)−Ｃ(ｋj＋１)｝／２・・・（５），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj＋１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝・・・（６）
（３）式で算出されたずらし量ｘの信頼性があるかどうかは、以下のようにして判定される。図１９(ｂ)に示すように、一対のデータの相関度が低い場合は内挿された相関量の極小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。さらにはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図１９(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ(ｘ)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

算出されたずらし量ｘの信頼性があると判定された場合は、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（７）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ・・・（７）
（７）式において、ＰＹは検出ピッチ（焦点検出画素のピッチ）であり、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさ（測距瞳重心間隔と測距瞳距離によって決まる）によって決まる変換係数である。

《以上説明した撮像装置の構成の特徴》
以上の説明に基づいて、図４の固体撮像素子の構成すなわち焦点検出領域の配置の特徴を説明する。まず、撮影光束を２つに分割し、分割された各光束を２つの固体撮像素子にて撮像するようにし、各固体撮像素子上に焦点検出用画素を配列することによって焦点検出領域を設定するとともに、撮影画面上において各固体撮像素子の焦点検出領域が互いに重ならないように設定したため、一方の固体撮像素子の焦点検出領域における画素データとして、焦点検出領域に重なっている他方の固体撮像素子の撮像用画素の画像データを使用できるようになり、焦点検出領域における画像データを焦点検出領域の周囲の撮像用画素の画像データから補間する場合に比較して、画像品質が向上する。

また、複数の焦点検出領域を備えた２つの固体撮像素子に対して独立に電荷蓄積時間の制御が可能となるため、１つの固体撮像素子に対して一律に電荷蓄積時間を設定した場合に比較して、明暗差の大きな画像においても焦点検出に用いる画像データの出力レベルの飽和や不足の問題が少なくなり、確実に焦点検出ができる。

さらに、１つの撮像画面に対し２つの固体撮像素子で撮像および焦点検出を行うため、１つの固体撮像素子で撮像および焦点検出を行う場合に比較して、焦点検出領域を撮影画面上で密に配置でき焦点検出性能が向上するとともに、解像度も向上するので画像品質も向上する。

区域１１０、１３０、１５０および１７０のそれぞれに、焦点検出用画素３２０を水平方向に配列した焦点検出領域、および焦点検出用画素３３０を垂直方向に配列した焦点検出領域をそれぞれ複数配置することによって、焦点検出対象を画面上において可能な限り多く位置で捕捉できるようにするとともに、像コントラストの方向による焦点検出性能の低下を防止している。

焦点検出対象が存在する可能性の高い画面中心領域１０７においては、焦点検出用画素３２０および焦点検出用画素３３０、あるいは焦点検出用画素３２０を水平方向に配列した焦点検出領域および焦点検出用画素３３０を垂直方向に配列した焦点検出領域を、中間領域１０８と周辺領域１０９に比較して単位面積あたりの密度を高くして配置することによって、焦点検出性能が効率的に発揮できるように焦点検出用画素３２０と焦点検出用画素３３０を配分している。

画面中心に対して水平方向に分離した区域１１０および区域１３０においては、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数が、焦点検出用画素３２０を水平方向に配列した焦点検出領域の数より多くなるようにするともに、画面中心に対して垂直方向に分離した区域１５０および区域１７０においては、焦点検出用画素３２０を水平方向に配列した焦点検出領域の数が、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数より多くなるようにすることによって、ケラレに対する焦点検出性能維持を図り、焦点検出用画素数の制限の中で焦点検出性能が効率的に発揮できるように焦点検出用画素３２０と焦点検出用画素３３０を配分している。

画面中心近傍においては焦点検出性能に与えるケラレの影響が少なく、画面中心から離れるにつれてその影響が増大するので、画面中心に対して水平方向の左右にある区域１１０、１３０内においては、画面中心からの距離が大きくなるにつれて、焦点検出用画素３２０および焦点検出用画素３２０を水平方向に配列した焦点検出領域の数を少なくするとともに、単位面積当たりの密度を低くしている。また、焦点検出用画素３３０および焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数および密度との相対比も、画面中心から離れるにつれて小さくなるようにしている。さらに、画面中心に対して垂直方向の上下にある区域１５０、１７０内においては、画面中心からの距離が大きくなるにつれて、焦点検出用画素３３０および焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数を少なくするとともに、単位面積当たりの密度を低くしている。さらにまた、焦点検出用画素３２０および焦点検出用画素３２０を水平方向に配列した焦点検出領域の数および密度との相対比も、画面中心から離れるにつれて小さくなるようにしている。これにより、ケラレに対する焦点検出性能維持を図っている。

画面中心に対して水平方向の左右にある区域１１０、１３０内においては、周辺領域に焦点検出性能がケラレの影響を受けにくい焦点検出用画素３３０を垂直方向に配列した焦点検出領域のみを配置している。一方、画面中心に対して垂直方向の上下にある区域１５０、１７０内においては、周辺領域に焦点検出性能がケラレの影響を受けにくい焦点検出用画素３２０を水平方向に配列した焦点検出領域のみを配置している。結果的に、複数の焦点検出領域を包括する範囲の水平方向の外周領域においては、焦点検出用画素３３０を垂直方向に配列した焦点検出領域のみが配置され、垂直方向の外周領域においては焦点検出用画素３２０を水平方向に配列した焦点検出領域のみが配置される。これにより、ケラレに対する焦点検出性能維持を図っている。

《その他の実施の形態》
図２０〜図２２は変形例の固体撮像素子２２０Ａ、２２１Ａの撮像画面の平面図である。図２および図３に示す固体撮像素子２２０、２２１では、一方の固体撮像素子２２０に、測距瞳の並び方向が水平方向の焦点検出用画素を水平方向に配列した焦点検出領域を主として画面中心１００の垂直方向に配置し、もう一方の固体撮像素子２２１に、測距瞳の並び方向が垂直方向の焦点検出用画素を垂直方向に配列した焦点検出領域を主として画面中心１００の水平方向に配置した例を示したが、２つの固体撮像素子における焦点検出領域の配分はこのような配置に限られることはなく、良好な焦点検出を行うために異なる配置をとることができる。

以下では、図２〜図４に示す固体撮像素子２２０、２２１と同様な要素に対しては説明を省略する。図２０に示す固体撮像素子２２０Ａにおいて、小さな長方形で示す領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の上半分に複数の焦点検出領域が配置されている。また、長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を黒く塗りつぶした長方形で示している。図２１に示す固体撮像素子２２１Ａにおいて、小さな長方形で示す領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の下半分に複数の焦点検出領域が配置されている。また、長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を白抜きにした長方形で示している。

図２２は、図２０に示す固体撮像素子２２０Ａの構成と、図２１に示す固体撮像素子２２１Ａの構成とを同一の撮像画面上で重ね合わせて示す。撮像画面上において固体撮像素子２２０Ａにより設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１Ａにより設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０Ａの焦点検出領域における画像データを、固体撮像素子２２１Ａの対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１Ａの焦点検出領域における画像データを、固体撮像素子２２０Ａの対応する領域の撮像用画素の画像データで代用可能になる。

この変形例の固体撮像素子２２０Ａ、２２１Ａの構成においては、複数の焦点検出領域が撮影画面の上半分と下半分で独立に電荷蓄積時間の設定ができる。通常の撮影では、上部と下部の明るさが異なるシチュエーション（例えば風景写真で上部に明るい空部分や日向部分となり、下部が日陰部分）が多く、画面上部と下部の電荷蓄積時間を独立に制御することによって、複数の焦点検出領域における焦点検出用画素の出力レベルを適正化でき、飛躍的に焦点検出能力が向上する。

図２３〜図２５は他の変形例の固体撮像素子２２０Ｂ、２２１Ｂの撮像画面の平面図である。図２３に示す固体撮像素子２２０Ｂにおいて、小さな長方形で示した領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の周辺部分に複数の焦点検出領域が配置されている。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を黒く塗りつぶした長方形で示している。一方、図２４に示す固体撮像素子２２１Ｂにおいて、小さな長方形で示した領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の中心部分に複数の焦点検出領域が配置されている。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を白抜きにした長方形で示している。

図２５は、図２３に示す固体撮像素子２２０Ｂの構成と、図２４に示す固体撮像素子２２１Ｂの構成とを同一の撮像画面上で重ね合わせて示す。撮像画面上において固体撮像素子２２０Ｂにより設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１Ｂにより設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０Ｂの焦点検出領域における画像データを、固体撮像素子２２１Ｂの対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１Ｂの焦点検出領域における画像データを、固体撮像素子２２０Ｂの対応する領域の撮像用画素の画像データで代用可能になる。

この変形例の固体撮像素子２２０Ｂ、２２１Ｂのような構成においては、複数の焦点検出領域が撮影画面の中心部分と周辺部分で独立に電荷蓄積時間の設定ができる。通常の撮影では、中心部分と周辺部分の明るさが異なるシチュエーション（例えば人物写真で中心部分に明るい人物、周辺部分が暗い背景）が多く、画面中心部分と周辺部分の電荷蓄積時間を独立に制御することによって、複数の焦点検出領域における焦点検出画素の出力レベルを適正化でき、飛躍的に焦点検出能力が向上する。

図２６、図２７は焦点検出用画素配列の拡大図である。図６、図７に示す固体撮像素子おいては、１つの焦点検出用画素が一対の測距瞳に対応する一対の光電変換部を備えているが、１つの焦点検出用画素が一対の測距瞳の片方に対応する一つの光電変換部を備え、隣接する焦点検出用画素が一対の測距瞳のもう一方に対応する一つの光電変換部を備えるようにし、対となった焦点検出用画素を配列することにより焦点検出領域を形成するようにしてもよい。図２６、図２７はこのようにして形成された焦点検出用画素が配列された領域を拡大した図である。図２６は、図２に示す焦点検出用画素が行方向に配列された領域（黒く塗りつぶした長方形で示した領域）に対応しており、図２７は、図２に示す焦点検出用画素が列方向に配列された領域（白抜きの長方形で示した領域）に対応している。

図２６において、焦点検出用画素３２１、３２２のペアは行方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３２１、３２２の配列の周囲は撮像用画素により取り囲まれている。一方、図２７において、焦点検出用画素３３１、３３２のペアは列方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３３１、３３２の配列の周囲は撮像用画素により取り囲まれている。以上のように、焦点検出用画素が１つの光電変換部を備えるように構成することによって、単位画素の回路構成が撮像用画素の回路構成と同一にできるので、固体撮像素子全体の回路をシンプルに構成することができる。

図２８は変形例の撮影光路を示す図である。図１ではハーフミラー面２２２を備えた光分割プリズム２２３により交換レンズ２０２から到来する光束が２分割され、別個に設置された固体撮像素子２２０と固体撮像素子２２１上に光束を導いているが、図２８に示すような光学構成により１つの基板２４０上に形成された２つの固体撮像素子２３０，２３１に光束を導くようにすることもできる。交換レンズから到来する光束は、ハーフミラーＭ１により透過光と反射光に分割され、透過光束は全反射ミラーＭ４で反射されて固体撮像素子２３０へ導かれる。ハーフミラーＭ１により反射された光束は、全反射ミラーＭ２とＭ３で反射されて固体撮像素子２３１に導かれる。なお、ハーフミラーＭ１から全反射ミラーＭ４を経て固体撮像素子２３０に至る光路長と、ハーフミラーＭ１から全反射ミラーＭ２、Ｍ３を経て固体撮像素子２３１に至る光路長は等しく設定される。このような構成によれば、固体撮像素子を１つの基板（パッケージ）としてボディに組み込めるので、固体撮像素子間の相対的な位置調整が不要になるとともに、電気系の構成を簡易化することができる。

《一実施の形態の変形例》
上述した一実施の形態では、２つの固体撮像素子の電荷蓄積時間を独立に制御する例を示したが、電荷蓄積時間を共通に制御し、２つの固体撮像素子の画素出力の増幅度を独立に制御するようにしてもよい。

上述した一実施の形態では、低輝度重視の撮像用画素のデータと高輝度重視の撮像用画素のデータを合成し、ダイナミックレンジを拡大した高品質な画像データを生成する例を示したが、単純に加算平均して画像データを生成してもよい。

上述した一実施の形態では、ハーフミラーを用いて撮影光路を２分割するとともに、各光路に固体撮像素子を配置していたが、光路を３分割以上に分割し、各光路中にそれぞれ焦点検出画素を備えた固体撮像素子を配置するようにしてもよい。

上述した一実施の形態では、ハーフミラーを用いて撮影光路を２分割するとともに、各光路の予定焦点面に固体撮像素子を配置していたが、予定焦点面からずらして固体撮像素子を配置してもよい。例えば、一方の固体撮像素子を予定焦点面より前方に微小距離離れた位置に配置し、もう一方の固体撮像素子を予定焦点面より後方に微小距離離れた位置に配置し、２つの固体撮像素子の撮像用画素の出力のコントラスト評価を行い、２つの固体撮像素子の撮像用画素の出力のコントラスト評価値が等しくなるようにフォーカス制御を行うことによって、固体撮像素子に組み込まれた焦点検出用画素の出力による位相差方式によるオートフォーカスの他にコントラスト方式でもオートフォーカスが可能になる。

図１に示す一実施の形態の構成では、固体撮像素子２２０，２２１の撮像用画素を緑画素、赤画素、青画素のベイヤー配列とした例を示したが、一方の固体撮像素子の撮像用画素を全て緑画素とし、他方の固体撮像素子の撮像用画素を市松模様に配置された赤画素と青画素とすることによって、合成画像の解像度を２倍にすることができる。

図１に示す一実施の形態の構成では、ハーフミラー２２２により波長依存がないように光束を分割しているが、分光ミラーにより光束を分割することもできる。例えば図１０のＧの分光特性の光を透過し、それ以外を反射する分光ミラーを配置し、透過側に配置する固体撮像素子の撮像用画素を全て緑画素とし、反射側に配置する固体撮像素子の撮像用画素を市松模様に配置された赤画素と青画素とすることによって、合成画像の解像度を２倍にすることができる。

図１に示す一実施の形態の構成では、光分割プリズム２２３により光束を分割しているが、薄板ガラスを用いたハーフミラーやペリクルハーフミラーを用いることもできる。

図１に示す一実施の形態の構成において、ハーフミラー２２２を多層膜によって形成してもいいし、偏光ミラー（例えば図１の紙面に平行な偏光成分を反射し、紙面に垂直な偏光成分を透過する）として形成してもよい。

図１に示す一実施の形態の構成では、光分割プリズム２２３により透過された光束の予定結像面（撮像面）に固体撮像素子２２０を配置し、光分割プリズム２２３により反射された光束の予定結像面に固体撮像素子２２１を配置した例を示したが、透過側に固体撮像素子２２１を配置し、反射側に固体撮像素子２２０を配置することもできる。

図２０〜図２２に示す変形例においては、撮影画面の上半分の焦点検出領域を一方の固体撮像素子上に形成し、下半分の焦点検出領域をもう一方の固体撮像素子上に形成した例を示したが、撮影画面の右半分の焦点検出領域を一方の固体撮像素子上に形成し、左半分の焦点検出領域をもう一方の固体撮像素子上に形成することもできる。

図５〜図７に示す固体撮像素子において、撮像用画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）を採用してもよい。

図６、図７に示す固体撮像素子において、焦点検出用画素には色フィルターを設けない例を示したが、撮像用画素と同色の色フィルターのうち一つのフィルター（たとえば緑フィルター）を備えるようにした場合でも、本発明を適用することができる。このようにすれば、画像データの補間において焦点検出用画素の画像データも利用することができるので、画像品質が向上する。

図６、図７に示す固体撮像素子において、焦点検出用画素が連続して配列された例を示したが、画像品質の劣化を防止するために、焦点検出用画素の間に撮像用画素を挟んで配列するようにしてもよい。固体撮像素子における焦点検出用画素の配列は、図６、図７に示す配列に限定されず、本発明の意図を反映した形でこれ以外の配列にも応用することができる。

図２〜図４に示す固体撮像素子において、水平線１０１、垂直線１０２に対して４５度傾斜されて画面中心を通る直線１０２および１０３により画面を上下左右の４つの区域に区分し、それぞれの区域において画像品質と焦点検出性能のバランスがとれるように焦点検出用画素を配列しているが、これは撮像用画素および焦点検出用画素を正方配列としたためである。撮像用画素および焦点検出用画素を正方配列以外の配列とすることもできる。例えば撮像用画素および焦点検出用画素を六方稠密配列（ハニカム配列）とした場合には、画素が稠密に配列する方向が３方向（相対角度が６０度）となるので３方向を挟んで画面中心を通る３つの直線（相対的な角度が６０度）の直線により画面を６つの区域に区分でき、それぞれの区域において、ＡＦ性能の維持と画像品質のバランスをとって３つの方向に対して焦点検出画素を配列することが可能である。

本発明はマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出用画素を有する固体撮像素子に限定されず、他の方式の瞳分割型位相差検出方式の焦点検出用画素を有する固体撮像素子に適用が可能である。例えば偏光を利用した瞳分割型位相差検出方式の焦点検出用画素を備えた固体撮像素子にも適用可能である。

上述した一実施の形態においては、撮影時には２つの固体撮像素子の出力を合成して画像データを合成しているが、一方の固体撮像素子の出力で画像データを生成するようにしてもよい。例えば２つの固体撮像素子の出力を交互に用いて画像データを生成することにより、高速連続撮影を行うことができる。

上述した一実施の形態において、固体撮像素子はＣＣＤイメージセンサーであってもいいし、ＣＭＯＳイメージセンサーであってもよい。ＣＭＯＳイメージセンサーを採用した場合には、ローリングシャッター方式で電荷蓄積制御と出力読み出しが行われるので、同一の行または列においては電荷蓄積タイミングが同一となるが、異なる行または列においては電荷蓄積タイミングがずれを生ずる。焦点検出に用いる出力は電荷蓄積タイミングが揃っていないと、移動する被写体に対して焦点検出誤差を生ずる。同一の焦点検出領域に属する焦点検出画素の並び方向は、ローリングシャッターの進行方向に対して垂直な方向に並べると電荷蓄積時間がそろうので、移動被写体に対する焦点検出誤差を生じない。したがって、同じ固体撮像素子内においては複数の焦点検出領域の延在方向（焦点検出画素の並び方向）を揃えるとともに、その方向をローリングシャッターの進行方向と垂直にしておくと良好に焦点検出を行うことができる。

例えば図２に示す固体撮像素子２２０をＣＭＯＳイメージセンサーで構成した場合、ローリングシャッターの進行方向を垂直方向になるように固体撮像素子を構成すれば、同一の焦点検出領域に属する焦点検出用画素の電荷蓄積タイミングを揃えることができる。また、図３の固体撮像素子２２１をＣＭＯＳイメージセンサーで構成した場合、ローリングシャッターの進行方向を水平方向になるように固体撮像素子を構成すれば、同一の焦点検出領域に属する焦点検出用画素の電荷蓄積タイミングを揃えることができる。

なお、本発明の撮像装置は交換レンズとカメラボディから構成されるデジタルスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラやビデオカメラにも適用できる。また、携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも適用できる。さらに、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。

一実施の形態の構成を示す図固体撮像素子の平面図固体撮像素子の平面図交換レンズの撮影画面の平面図撮像用画素配列の拡大図焦点検出用画素配列の拡大図焦点検出用画素配列の拡大図撮像用画素の正面図焦点検出用画素の正面図撮像用画素の色フィルターの分光感度を示す図焦点検出用画素の分光特性を示す図撮像用画素の断面図焦点検出用画素の断面図マイクロレンズを用いた瞳分割方式による焦点検出の説明図撮像用画素と射出瞳の関係を説明する図射出瞳面における測距瞳の正面図射出瞳面における測距瞳の正面図一実施の形態の撮影動作を示すフローチャート焦点検出演算の詳細を説明するための図変形例の固体撮像素子の撮像画面の平面図変形例の固体撮像素子の撮像画面の平面図変形例の固体撮像素子の撮像画面の平面図他の変形例の固体撮像素子の撮像画面の平面図他の変形例の固体撮像素子の撮像画面の平面図他の変形例の固体撮像素子の撮像画面の平面図焦点検出用画素配列の拡大図焦点検出用画素配列の拡大図変形例の撮影光路を示す図

符号の説明

２０２交換レンズ
２０６レンズ駆動制御装置
２１４ボディ駆動制御装置
２２０、２２０Ａ、２２０Ｂ、２２１、２２１Ａ、２２１Ｂ、２３０、２３１固体撮像素子
２２３、Ｍ１〜Ｍ４光分割プリズム
３１０、３１１、３１２撮像用画素
３２０、３２１、３２２、３３０、３３１、３３２焦点検出用画素

Claims

光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、
前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、
前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中の、前記光学系による画面上の前記第１焦点検出用画素とは異なる位置に配置された第２焦点検出用画素とを有する第２の撮像素子とを備えたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記複数の撮像素子の前記撮像用画素の出力に基づいて画像情報を生成する画像生成手段を備え、
前記画像生成手段は、前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成することを特徴とする撮像装置。
請求項１または請求項２に記載の撮像装置において、
前記第１および第２焦点検出用画素は、前記光学系による画面内の互いに異なる区域に対応する位置に配置されていることを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記各撮像素子における電荷蓄積動作を独立に制御する蓄積制御手段とを備えることを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記蓄積制御手段は、前記第１および第２の撮像素子ごとに蓄積制御の基準とする像の明るさを異ならせたことを特徴とする撮像装置。
請求項５に記載の撮像装置において、
前記蓄積制御手段は、前記光学系による像の明るさが所定値よりも明るい部分の明るさを基準に、前記第１の撮像素子に対する蓄積制御を行うことを特徴とする撮像装置。
請求項５に記載の撮像装置において、
前記蓄積制御手段は、前記光学系による像の明るさが所定値よりも暗い部分の明るさを基準に、前記第２の撮像素子に対する蓄積制御を行うことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記光学系による画面を前記光学系の光軸を中心とした第３方向に沿った第１区域と前記第３方向と直交する第４方向に沿った第２区域に区分した場合に、前記第１の撮像素子は、前記第１区域に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記第２区域に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記光学系による画面を上下に分割した第１区域と第２区域に区分した場合に、前記第１の撮像素子は、前記第１区域に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記第２区域に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記光学系による画面の中央部と周辺部に区分した場合に、前記第１の撮像素子は、前記中央部に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記周辺部に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。
請求項１〜１０のいずれか一項に記載の撮像装置において、
前記焦点検出用画素で検出される前記焦点検出信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段を備えたことを特徴とする撮像装置。
請求項１１に記載の撮像装置において、
前記第１焦点検出用画素は、前記光学系の射出瞳の一対の領域の一方からの光束を受光する第１の光電変換部を有し、前記第２焦点検出用画素は、前記一対の領域の他方からの光束を受光する第２の光電変換部を有し、
前記焦点検出手段は、前記第１および第２の焦点検出用画素の出力を組として前記焦点調節状態を検出することを特徴とする撮像装置。
請求項１〜１２のいずれか１項に記載の撮像装置において、
前記撮像素子は単一の基板上に形成されることを特徴とする撮像装置。
請求項１〜１３のいずれか１項に記載の撮像装置において、
前記各撮像素子はローリングシャッター方式で画素の電荷蓄積が制御されるＣＭＯＳイメージセンサーであり、ローリングシャッター方式により電荷蓄積タイミングが同一となる配列に同一の焦点検出領域を構成する焦点検出用画素を配置することを特徴とする撮像装置。
光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、
前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、
前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中に配置された第２焦点検出用画素とを有する第２の撮像素子と、
前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成する画像生成手段とを備えたことを特徴とする撮像装置。