JP2012008424A - 撮像システム - Google Patents
撮像システム Download PDFInfo
- Publication number
- JP2012008424A JP2012008424A JP2010145818A JP2010145818A JP2012008424A JP 2012008424 A JP2012008424 A JP 2012008424A JP 2010145818 A JP2010145818 A JP 2010145818A JP 2010145818 A JP2010145818 A JP 2010145818A JP 2012008424 A JP2012008424 A JP 2012008424A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- pixel
- signal
- image
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
- G03B3/10—Power-operated focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/805—Coatings
- H10F39/8057—Optical shielding
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
- H10F39/8063—Microlenses
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
Abstract
【課題】画像処理で補正することを前提とした撮影レンズ系に対しても、良好なフォーカスが可能な、撮像素子からの信号から位相差情報を取り出すAFシステムを提供する。
【解決手段】光電変換セルが2次元的に配列された撮像装置を有し、光電変換セルのうちの少なくとも一部が、ディフォーカス量検出のための信号を出力するように構成され、ディフォーカス量検出のための信号を出力する光電変換セルは、それぞれ異なった領域を有する瞳領域からの光束を受光する少なくとも二つの光電変換セル群を構成し、光電変換セル群はそれぞれが複数の光電変換セル列を有し、二つの光電変換セル群から出力されたディフォーカス量検出のための信号を互いに比較することにより、ディフォーカス信号を生成するAFモードを有する算出部と、撮影レンズの歪曲収差に関わる情報から、ディフォーカス量検出のための信号を補正する補正部と、を備える。
【選択図】図1
【解決手段】光電変換セルが2次元的に配列された撮像装置を有し、光電変換セルのうちの少なくとも一部が、ディフォーカス量検出のための信号を出力するように構成され、ディフォーカス量検出のための信号を出力する光電変換セルは、それぞれ異なった領域を有する瞳領域からの光束を受光する少なくとも二つの光電変換セル群を構成し、光電変換セル群はそれぞれが複数の光電変換セル列を有し、二つの光電変換セル群から出力されたディフォーカス量検出のための信号を互いに比較することにより、ディフォーカス信号を生成するAFモードを有する算出部と、撮影レンズの歪曲収差に関わる情報から、ディフォーカス量検出のための信号を補正する補正部と、を備える。
【選択図】図1
Description
本発明は、撮像システムに関するものである。
従来のデジタルスチルカメラでは以下のようなAF方式が実現されている。
すなわち、撮像素子とは別にAFのためのセンサをもたせたものである。代表的なものが、一眼レフカメラで用いられる位相差式AFである。この方式のメリットは、撮影レンズを通過した光束を使いパララックスの問題を解決し、一回のディフォーカス量検出信号で焦点ズレを検出し、撮影レンズを被写体に合焦させることが可能であり、合焦までの時間を短くすることができる点である。
すなわち、撮像素子とは別にAFのためのセンサをもたせたものである。代表的なものが、一眼レフカメラで用いられる位相差式AFである。この方式のメリットは、撮影レンズを通過した光束を使いパララックスの問題を解決し、一回のディフォーカス量検出信号で焦点ズレを検出し、撮影レンズを被写体に合焦させることが可能であり、合焦までの時間を短くすることができる点である。
一方、この方式では、撮影レンズと撮像素子の間に光路の切り替え又は分割手段を配置する必要があり、さらに光路の切り替え又は分割手段とAF用センサの間にAF用の光学系が必要となる。このデメリットは、(1)光路切り換え手段のスペースの確保、及び(2)AF用の光学系と専用センサのためのスペースの確保の点から大型化を招く。さらに、(3)光路の切り替え手段を配置する場合は、切り替え機構と切り替えによるタイムラグが生じ、(4)光路分割手段を配置する場合には、光路分割による光量ロスが生じる。
これに対して、撮像素子そのものの出力を利用するAF方式も存在する。代表的なものが、所謂コンパクトデジタルカメラや動画カメラ(ビデオカメラ)に用いられているコントラストAFである。この方式のメリットは、撮像素子とAFセンサが一体化しているので、スペース的なメリットや、構成部材が少ないという点である。
一方、この方式では、複数回のコントラスト信号を比較する必要があることと、ウォブリングにより、合焦までに時間がかかるというデメリットがある。さらに、動画撮影においては、ウォブリングによる像のボケが撮影されてしまい、画質を損なう。この傾向は高画素になるほど顕著になる。
更に近年、クイックリターンミラーとダハプリズムを使った光学式ファインダーを備えた一眼レフカメラに対して、クイックリターンミラーとダハプリズムを必要としない電子ビューファインダーを前提とした交換レンズ式カメラが発売されており、静止画撮影、動画撮影とも高画質であることが要求されている。この交換レンズ式カメラでは、上記2つのAF方式のそれぞれのメリットをもち、かつ、両者のデメリットを解決したAFが求められている。また、撮影レンズがカメラボディに固定されている撮像システムでも、フォーカス時間の短いものが求められている。
以上のような課題や要求に対して、特許文献1の固体撮像装置では、撮像素子の画素の一部を測距のための信号を出力するように構成し、この測距用画素は光電変換部上に配置されたマイクロレンズと、該マイクロレンズと光電変換部との間に配置された特定の開口部を有する遮光膜層とを有している。前記光電変換部は、前記遮光膜層の開口がマイクロレンズの光学中心に対して偏りをもつ第1の画素と、前記遮光膜層の開口がマイクロレンズの光学中心に対して第1の光電変換セルと逆方向に偏りをもつ第2の画素と、を構成し、この2種類の画素の出力信号の位相差情報を用いて合焦を行う。この測距用画素の周囲に、画像信号を形成するための信号を出力する複数の画素で囲むように配置し、測距用画素の位置の画像情報を周辺の画像形成用の画素情報で補間して画像形成を行っている。
特許文献1の提案では、従来の一眼レフ用カメラに用いられている瞳分割による位相差AFの測距原理を採用している。
特許文献1の提案では、従来の一眼レフ用カメラに用いられている瞳分割による位相差AFの測距原理を採用している。
また、特許文献2の撮像装置では、測距用画素の構成として瞳を分割した光束をそれぞれ独立して受光できるように光電変換部を複数配置することを提案している。この構成によれば、画像形成時は1つの測距用画素内に構成された複数の光電変換部からの出力を加算することで、実質的に画像形成用画素との開口効率の差を小さくできる。一方で、実質的に撮像素子の画素数を増やすことと同じなので構成が難しくなる。
ところで、従来の一眼レフカメラでは、焦点検出光学系で比較する2像は、一次結像面の同一の位置から形成されているので、撮影レンズの歪曲収差の影響を受けにくかった。また、撮影レンズによって形成される像を直接観察する光学ファインダーが搭載されているので、直接観察による違和感を無くすためにも、魚眼レンズ等特殊なレンズを除き、撮影レンズの歪曲収差は光学的にかなり良好に補正されている。
したがって、従来の一眼レフカメラの位相差AFシステムでは、撮影レンズの歪曲収差を考慮する必要がなかった。ここで、魚眼レンズは、深度が深いため高いAF精度が求められていない。また、魚眼レンズその他の特殊レンズを含め、特に軸外のAFを行わない仕様のカメラもある。また、位相差型AF光学系自体の歪曲収差を補正して位相差情報を得るものはあるが、この歪曲収差は、撮影レンズや、ズームする場合の撮影レンズの焦点距離、フォーカス位置に対して不変であるので固定値にしたり、相関演算式そのものに組み込むことが可能である。
また、所謂コンパクトデジタルカメラでは、特許文献3で示されるように撮影光学系の歪曲収差を大きくする代わりに撮影光学系の小型化や歪曲収差以外の画質パラメーターを良好にすることが提案されている。この場合、コントラストAFを用いるのが一般的であり、撮影レンズを透過した光束を用いた位相差AFシステムは適用されていない。
コントラストAFは、画像のコントラスト値や鮮鋭度を評価するので歪曲収差の影響を受けない。また、歪曲収差を画像処理で補正した画像に対してコントラストAFの評価値を求めると、歪曲収差を補正することで像のコントラストや鮮鋭度等が劣化してしまうため、歪曲収差を画像処理で補正しない方が好ましい。なお、歪曲収差を大きい撮影光学系の記録画像は画像処理により歪曲を補正され、観察画像は良好な歪曲収差で記録される。
また、カメラシステムに装着されているディスプレーに表示される画像も画像処理により歪曲を補正されていることが望ましい。換言すると、コントラストAFを行う場合は、画像処理により歪曲を補正されていることが望ましく、画像情報を表示や記録する処理と変える必要があり、処理が複雑になる。
また、カメラシステムに装着されているディスプレーに表示される画像も画像処理により歪曲を補正されていることが望ましい。換言すると、コントラストAFを行う場合は、画像処理により歪曲を補正されていることが望ましく、画像情報を表示や記録する処理と変える必要があり、処理が複雑になる。
しかしながら、上述のように撮像素子からの信号から位相差情報を取り出すAFシステムにおいては、歪曲収差の影響を緩和する手法は提案されてこなかった。特に、焦点検出画素が離散的に配置され、比較する2像が厳密には1次結像面の同一点でないことを考慮した提案もされてこなかった。
本発明は、上記に鑑みてなされたものであって、画像処理で補正することを前提とした撮影レンズ系に対しても、良好なフォーカスが可能な、撮像素子からの信号から位相差情報を取り出すAFシステムを提供するものである。
上述した課題を解決し、目的を達成するために、本発明に係る撮像システムは、撮影レンズにより結像された光学像を電気信号に変換する光電変換セルが2次元的に配列された撮像装置を有し、光電変換セルのうちの少なくとも一部が、ディフォーカス量検出のための信号を出力するように構成され、ディフォーカス量検出のための信号を出力する光電変換セルは、それぞれ異なった領域を有する瞳領域からの光束を受光する少なくとも二つの光電変換セル群を構成し、光電変換セル群はそれぞれが複数の光電変換セル列を有し、二つの光電変換セル群から出力されたディフォーカス量検出のための信号を互いに比較することにより、ディフォーカス信号を生成するAFモードを有する算出部と、撮影レンズの歪曲収差に関わる情報から、ディフォーカス量検出のための信号を補正する補正部と、を備えることを特徴としている。
本発明に係る撮像システムにおいて、補正部は、光電変換セル群の1つの光電変換セル列の信号情報を補正して1組の信号情報とし、これとは別の1つの光電変換セル群の光電変換セル列の信号情報を補正して1組の信号情報とし、これら2組の信号情報から位相差情報を算出することが好ましい。
本発明に係る撮像システムにおいて、補正部は、ディフォーカス信号を検出するための信号をレンズ情報記録部が記憶する撮影レンズの記録画像の歪曲を補正するための情報によって補正補正することが好ましい。
本発明に係る撮像システムにおいて、ディフォーカス信号を検出するための信号の補正量と記録する画像データの補正値が異なるモードを有することが好ましい。
本発明に係る撮像システムにおいて、撮影レンズが以下の条件式(1)を満足することが好ましい。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内で中心から最も遠い点までの距離を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内で中心から最も遠い点までの距離を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
本発明に係る撮像システムにおいて、撮影レンズが着脱可能であり、装着した撮影レンズより、撮影レンズの像の歪曲に関わる情報が所定の形式で読み取れないとき、歪曲収差の補正を行わないことが好ましい。
本発明に係る撮像システムにおいて、ディフォーカス信号を検出するための信号の補正は、像高が0.5よりも高いところで行うことが好ましい。
本発明に係る撮像システムは、画像処理で補正することを前提とした撮影レンズ系に対しても、良好なフォーカスが可能な、撮像素子からの信号から位相差情報を取り出すAFシステムを提供することができる、という効果を奏する。
以下に、本発明に係る撮像システムの実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
まず、本発明に係る撮像システムによる作用、効果について説明する。
まず、本発明に係る撮像システムによる作用、効果について説明する。
本発明に係る撮像システムは、撮影レンズにより結像された光学像を電気信号に変換する光電変換セルが2次元的に配列された撮像装置を有し、光電変換セルのうちの少なくとも一部が、ディフォーカス量検出のための信号を出力するように構成され、ディフォーカス量検出のための信号を出力する光電変換セルは、それぞれ異なった領域を有する瞳領域からの光束を受光する少なくとも二つの光電変換セル群を構成し、光電変換セル群はそれぞれが複数の光電変換セル列を有し、二つの光電変換セル群から出力されたディフォーカス量検出のための信号を互いに比較することにより、ディフォーカス信号を生成するAFモードを有する算出部と、撮影レンズの歪曲収差に関わる情報から、ディフォーカス量検出のための信号を補正する補正部と、を備えることを特徴としている。
この構成によれば、二つの光電変換セル群からの信号情報を比較することにより、ディフォーカス信号を生成するAFモードでは、歪曲収差の情報を考慮することで2像の情報の比較精度が向上し、AFの精度の向上が図れる。このとき、各光電変換セル群を複数の光電変換セル列で構成することで、補正後の信号情報の質を確保しやすくなる。
本発明に係る撮像システムにおいて、補正部は、光電変換セル群の1つの光電変換セル列の信号情報を補正して1組の信号情報とし、これとは別の1つの光電変換セル群の光電変換セル列の信号情報を補正して1組の信号情報とし、これら2組の信号情報から位相差情報を算出することが好ましい。
歪曲収差は直線の被写体が曲線に結像する現象でもあるため、以上の構成を取れば、複数の光電変換セル列の信号情報を用いることで、曲線になった直線の被写体の補正を効果的にできる。
歪曲収差は直線の被写体が曲線に結像する現象でもあるため、以上の構成を取れば、複数の光電変換セル列の信号情報を用いることで、曲線になった直線の被写体の補正を効果的にできる。
本発明に係る撮像システムにおいて、補正部は、ディフォーカス信号を検出するための信号をレンズ情報記録部が記憶する撮影レンズの記録画像の歪曲を補正するための情報によって補正されることが好ましい。
記録画像の歪曲収差補正情報と共有化することで、システムの簡易化ができる。また、記録画像の歪曲収差補正情報をもつ撮影レンズも位相差情報を補正できる。
記録画像の歪曲収差補正情報と共有化することで、システムの簡易化ができる。また、記録画像の歪曲収差補正情報をもつ撮影レンズも位相差情報を補正できる。
本発明に係る撮像システムにおいて、ディフォーカス信号を検出するための信号の補正量と記録する画像データの補正値が異なるモードを有することが好ましい。
記録する画像データの補正は、より自然に観察させるように調整され、ディフォーカス信号の信号情報の補正は、より正確なディフォーカス量を算出されるように調整されるのが望ましい。この二つの補正は一致する必要はないので、異なる補正モードにするのが望ましい。
記録する画像データの補正は、より自然に観察させるように調整され、ディフォーカス信号の信号情報の補正は、より正確なディフォーカス量を算出されるように調整されるのが望ましい。この二つの補正は一致する必要はないので、異なる補正モードにするのが望ましい。
本発明に係る撮像システムにおいて、撮影レンズが以下の条件式(1)を満足することが好ましい。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内で中心から最も遠い点までの距離を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内で中心から最も遠い点までの距離を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
条件式(1)の下限値を下回ると、歪曲収差の補正効果に対して、補正によるデメリットが大きくなるので好ましくない。
また、条件式(1)の上限値を上回ると歪曲収差の補正による信号劣化が大きくなり好ましくない。
また、条件式(1)の上限値を上回ると歪曲収差の補正による信号劣化が大きくなり好ましくない。
本発明に係る撮像システムにおいて、撮影レンズが着脱可能であり、装着した撮影レンズより、撮影レンズの像の歪曲に関わる情報が所定の形式で読み取れないとき、歪曲収差の補正を行わないことが好ましい。
撮影レンズの像の歪曲に関わる情報が所定の形式で読み取れないときは、この撮影レンズの歪曲収差が小さいと推定される場合が多いので、固定の補正量を設定するより、歪曲収差の補正を行わないことが望ましい。
撮影レンズの像の歪曲に関わる情報が所定の形式で読み取れないときは、この撮影レンズの歪曲収差が小さいと推定される場合が多いので、固定の補正量を設定するより、歪曲収差の補正を行わないことが望ましい。
次に、歪曲収差補正について説明する。
本実施形態に係る撮像システムは、意図的に歪曲収差を有した像を電子撮像素子(撮像装置)に形成させ、画像処理により歪曲収差を除去するための構成を備えている。この撮像システムのレンズ系は、設計上の歪曲収差の許容値を大きくできるために、大きさ、重さ、生産容易性、コスト等の点でのメリットを享受できる。特に、大きな樽型の歪曲収差を持たせることで光学系を肥大化させずに広い画角の情報を取り込むことが可能となる。以下、より具体的に説明する。
本実施形態に係る撮像システムは、意図的に歪曲収差を有した像を電子撮像素子(撮像装置)に形成させ、画像処理により歪曲収差を除去するための構成を備えている。この撮像システムのレンズ系は、設計上の歪曲収差の許容値を大きくできるために、大きさ、重さ、生産容易性、コスト等の点でのメリットを享受できる。特に、大きな樽型の歪曲収差を持たせることで光学系を肥大化させずに広い画角の情報を取り込むことが可能となる。以下、より具体的に説明する。
樽型に歪んだ像は、電子撮像素子を介して光電変換されて画像データとなる。この画像データは、電子撮像素子に内蔵されている信号処理系等を介して、電気的に形状変化(画像の歪み)に相当する修正加工が施される。このようにすれば、最終的に電子撮像素子より出力された画像データを、例えば表示装置にて再生したときに、画像の歪みがデジタル補正されて被写体形状にほぼ相似した画像が得られる。
ここで、像の歪曲をデジタル補正するための基本的概念について説明する。図1は、撮像面上におけるデジタル補正を説明するための平面図である。
例えば、図1に示すように、撮像素子の光軸と撮像面S10との交点10を中心として有効撮像面S20の短辺に内接する半径Rの円周上(像高)での倍率を固定し、この円周を補正の基準とする。そして、それ以外の任意の半径r(ω)の円周上(像高)の各点をほぼ放射方向に移動させて、半径r’(ω)となるように同心円状に移動させることで補正する。
例えば、図1に示すように、撮像素子の光軸と撮像面S10との交点10を中心として有効撮像面S20の短辺に内接する半径Rの円周上(像高)での倍率を固定し、この円周を補正の基準とする。そして、それ以外の任意の半径r(ω)の円周上(像高)の各点をほぼ放射方向に移動させて、半径r’(ω)となるように同心円状に移動させることで補正する。
例えば、図1において、交点10を中心とする半径Rの円20の内側に位置する、半径r1(ω)の同心円上の点P1については、円20の中心点10側へ向けて、補正後の半径r’1(ω)の同心円上の点P2に移動させる。また、半径Rの円20の外側に位置する半径r2(ω)の同心円上の点Q1については、円20の中心点10から離れる方向に向けて、補正後の半径r’2(ω)の同心円上の点Q2に移動させる。なお、これらの半径は、r’1(ω)<r1(ω)<R<r2(ω)<r’2(ω)の関係があり、r’1(ω)、r1(ω)、r2(ω)、r’2(ω)はこの関係を満たしつつ任意の値をとる。
ここで、r’(ω)は次式(2)で表わすことができる。
r’(ω)=α・f・tanω ・・・(2)
ここで、
0≦α≦1、
ωは被写体半画角、
fは結像光学系の焦点距離、
半径Rの円20上に対応する理想像高をYとすると、
α=R/Y=R/(f・tanω) ・・・(3)
である。
r’(ω)=α・f・tanω ・・・(2)
ここで、
0≦α≦1、
ωは被写体半画角、
fは結像光学系の焦点距離、
半径Rの円20上に対応する理想像高をYとすると、
α=R/Y=R/(f・tanω) ・・・(3)
である。
光学系は、理想的には光軸に対して回転対称であり、この場合、歪曲収差も光軸に対して回転対称に発生する。従って、上述のように、光学的に発生した歪曲収差を電気的に補正する場合には、まず、再現画像上で光軸と撮像面S10との交点10を中心とした有効撮像面S20の長辺に内接する半径Rの円20の円周上(像高)の倍率を固定する。次に、半径Rの円20以外の半径r(ω)の円周上(像高)の各点をほぼ放射方向に移動させて、半径r’(ω)となるように同心円状に移動させることで補正することができれば、データ量や演算量の点で有利と考えられる。
ところが、光学像は、電子撮像素子で撮像された時点で、サンプリングのため連続量ではなくなる。従って、厳密には前記光学像上に描かれる上記半径Rの円も、電子撮像素子上の画素が放射状に配列されていない限り正確な円ではなくなる。つまり、離散的座標点毎に表わされる画像データの形状補正においては、上記倍率を固定できる円は存在しない。
そこで、画素(Xi,Yj)毎に、移動先の座標(Xi’,Yj’)を決める方法を用いる。なお、座標(Xi’,Yj’)に(Xi,Yj)の2点以上が移動してきた場合には、各画素が有する値の平均値をとる。また、移動してくる点がない場合には、周囲のいくつかの画素の座標(Xi’,Yi’)の値を用いて補間すればよい。この方法は、特に光学系や電子撮像素子の製造誤差などのために光軸に対して歪みが著しく、前記光学像上に描かれる上記半径Rの円20が非対称になった場合の補正に有効である。また、撮像素子或いは各種出力装置において信号を画像に再現する際に幾何学的歪みなどが発生する場合などの補正に有効である。
例えば、補正量「r’(ω)−r(ω)」を計算するために、r(ω)、即ち、半画角と像高との関係、或いは、実像高rと理想像高r’/αとの関係が、電子撮像装置に内蔵された記録媒体に記録されている。
また、ズームレンズにおいては、補正が必要な焦点距離区間については、いくつかの焦点ゾーンに分割してもよい。一般的には、望遠端から広角端に焦点距離が変化すると樽型の歪曲収差が大きくなる。そして、該分割された焦点ゾーン内の望遠端近傍で次式(4)をほぼ満足する補正結果が得られる場合と同じ補正量で補正してもよい。
r’(ω)=α・f・tanω ・・・(4)
また、ズームレンズにおいては、補正が必要な焦点距離区間については、いくつかの焦点ゾーンに分割してもよい。一般的には、望遠端から広角端に焦点距離が変化すると樽型の歪曲収差が大きくなる。そして、該分割された焦点ゾーン内の望遠端近傍で次式(4)をほぼ満足する補正結果が得られる場合と同じ補正量で補正してもよい。
r’(ω)=α・f・tanω ・・・(4)
ただし、その場合、分割された焦点ゾーン内の広角端において樽型歪曲量がある程度残存してしまう。また、分割ゾーン数を増加させてしまうと、補正のために必要な固有データを記録媒体に余計に保有する必要が生じ、あまり好ましくない。そこで、分割された焦点ゾーン内の各焦点距離に関連した1つ又は数個の係数を予め算出しておく。この係数は、シミュレーションや実機による即手に基づいて決定しておけば良い。そして、前記分割されたゾーン内の望遠鏡近傍で上式(4)をほぼ満足する補正結果が得られる場合の補正量を算出し、この補正量に対して焦点距離毎に前記係数を一律に掛けて最終的な補正量にしてもよい。
ところで、無限遠物体を結像させて得られた像に歪曲がない場合は、次式(5)が成立する。
f=y/tanω ・・・(5)
ここで、
yは像点の光軸からの高さ(像高)、
fは結像系(本発明ではズーム光学系)の焦点距離、
ωは前記撮像面上の中心からyの位置に結ぶ像点に対応する物点方向の光軸に対する角度(被写体半画角)、
である。
f=y/tanω ・・・(5)
ここで、
yは像点の光軸からの高さ(像高)、
fは結像系(本発明ではズーム光学系)の焦点距離、
ωは前記撮像面上の中心からyの位置に結ぶ像点に対応する物点方向の光軸に対する角度(被写体半画角)、
である。
一方、結像系に樽型の歪曲収差がある場合は、次式(6)が成り立つ。
f>y/tanω ・・・(6)
つまり、結像系の焦点距離fと、像高yとを一定とすると、ωの値は大きくなる。
f>y/tanω ・・・(6)
つまり、結像系の焦点距離fと、像高yとを一定とすると、ωの値は大きくなる。
次の条件式(1)は撮影レンズ系の歪曲収差の度合いを規定したものである。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内(撮像可能な面内)で中心から最も遠い点までの距離(最大像高)を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
より詳しくは、図2に示すように、ωimは、像高Yimの位置を通過する主光線30と光軸Oとがなす物体側における角度であって、物体側からズーム光学系31の前側主点位置FPに向かう主光線30が光軸となす角度である。図2は、像高Yimと角度ωimの関係を示す図である。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内(撮像可能な面内)で中心から最も遠い点までの距離(最大像高)を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。
より詳しくは、図2に示すように、ωimは、像高Yimの位置を通過する主光線30と光軸Oとがなす物体側における角度であって、物体側からズーム光学系31の前側主点位置FPに向かう主光線30が光軸となす角度である。図2は、像高Yimと角度ωimの関係を示す図である。
なお、このような歪曲収差の画像処理による補正は、電子撮像素子で撮像された時点でサンプリングのため連続量でない情報を補正することになるので、補正前に対して歪曲収差以外の信号の劣化が生じる。また、補正量が大きくなると実質的に画像の伸張/圧縮量の処理が大きくなるので、歪曲収差以外の信号の劣化が生じる。これらの処理においては、総合的なディフォーカス量算出性能を考慮する必要がある。
条件式(1)の下限値を下回ると、歪曲収差の補正効果に対して、補正によるデメリットが大きくなるので、好ましくない。
また、条件式(1)の上限値を上回ると歪曲収差の補正による信号劣化が大きくなり好ましくない。
また、条件式(1)の上限値を上回ると歪曲収差の補正による信号劣化が大きくなり好ましくない。
図3は本実施形態の画素の概略構造を示す断面図である。図4は、図3に示す画素を光軸100L、100R、110L、110Rの方向から見た平面図である。なお、図4においては、マイクロレンズ101L、101R、111L、111Rの図示を省略している。また、これらの画素はそれぞれが光電変換セルを有している。
図3、図4では、並びあう画素を示しており、光電変換領域105L、105R、115L、115Rの面積は同じであり、それぞれの面積重心位置の間隔(面積重心間距離)ds−n、ds−wと、画素ピッチの間隔dpと、が異なっている。
ここで、光電変換領域105L、105R、115L、115Rの面積は概ね同じであればよい。
ここで、光電変換領域105L、105R、115L、115Rの面積は概ね同じであればよい。
図3、図4において、マイクロレンズ(オンチップレンズと称されることもある)101L、101R、111L、111Rは、センサの各画素104L、104R、114L、114Rに対応するように、それぞれ配置されている。マイクロレンズ101L、101R、111L、111Rの間隔は画素ピッチに従うが、撮影レンズの射出瞳位置を考慮して、中心から周辺に向けて画素ピッチより狭い間隔で配置されてもよい。
画素104L、104R、114L、114Rの有する光電変換セルは光電変換面103L、103R、113L、113Rをそれぞれ備える。それぞれの画素において、マイクロレンズ101Lと光電変換面103Lの間には遮光部材102Lが配置され、マイクロレンズ101Rと光電変換面103Rの間には遮光部材102Rが配置され、マイクロレンズ111Lと光電変換面113Lの間には遮光部材112Lが配置され、マイクロレンズ111Rと光電変換面113Rの間には遮光部材112Rが配置されている。遮光部材102L、102R、112L、112Rは、平面視矩形の光電変換面103L、103R、113L、113Rの4辺に沿うようにそれぞれ配置されている。遮光部材102L、102R、112L、112Rの平面形状は、図4に示すように、画素中心に対して左右非対称の矩形形状である。
なお、概略構成を示す図3では、遮光部材102L、102R、112L、112Rが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
なお、概略構成を示す図3では、遮光部材102L、102R、112L、112Rが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
各画素の光電変換領域105L、105R、115L、115Rは、想定する撮影レンズ、マイクロレンズ101L、101R、111L、111R、遮光部材102L、102R、112L、112R、及び、光電変換面103L、103R、113L、113Rの関係で定まる。図4に示す光電変換領域105L、105R、115L、115Rでは、光電変換面103L、103R、113L、113R上において遮光部材102L、102R、112L、112Rによって形成される開口に対応する。
マイクロレンズ101L、101R、111L、111Rは、その光軸100L、100R、110L、110Rが、対応する画素の画素中心107L、107R、117L、117Rをそれぞれ通るように配置されている。
画素104L、104R、114L、114Rは、光軸100L、100R、110L、110Rから見て、同一の矩形形状を備え、画素ピッチは画素の大きさに等しい。画素104L、104R、114L、114Rの画素中心107L、107R、117L、117Rは、その矩形状の平面形状の対角線の交点である(図4)。
また、平面視矩形の光電変換領域105L、105R、115L、115Rの面積重心106L、106R、116L、116Rも、それぞれの対角線の交点である(図4)。
また、平面視矩形の光電変換領域105L、105R、115L、115Rの面積重心106L、106R、116L、116Rも、それぞれの対角線の交点である(図4)。
遮光部材102L、102R、112L、112Rの平面形状を左右非対称の矩形形状とすることにより、各画素の画素中心107L、107R、117L、117Rと、各光電変換領域の面積重心106L、106R、116L、116Rと、を左右方向(図3、図4の左右方向)にずらしている。したがって、隣り合う画素の画素中心107L、107R、117L、117R間の距離に等しい画素ピッチdpと、隣り合う光電変換領域の面積重心106L、106R、116L、116R間の距離である面積重心間距離ds−n、ds−wと、は同一でない。
ここで、面積重心間距離ds−nは、隣り合う光電変換領域の面積重心が互いに近づく左右方向にずれている場合の面積重心間の距離であり、図3、図4の例では、画素104Lの面積重心106Lと画素104Rの面積重心106Rとの間の距離、及び、画素114Lの面積重心116Lと画素114Rの面積重心116Rとの間の距離である。これに対して、面積重心間距離ds−wは、隣り合う光電変換領域の面積重心が互いに離れる左右方向にずれている場合の面積重心間の距離であり、図3、図4の例では、画素104Rの面積重心106Rと画素114Lの面積重心116Lとの距離である。
図5は、本実施形態のイメ−ジャ(電子撮像素子)における画素配置を概念的に示す平面図である。図5に示すイメ−ジャは、図3、図4で示した2種類の画素とそれぞれ同じ構成の画素から構成されている。図5は、各画素の光軸方向から望んだときの光電変換領域を示したものである。ここでは、縦16画素横16画素合計256画素を示しているが、画素数はこれに限るものでなく、合計画素が1000万画素を超えるものでも構わない。この例では、画素の中心に対し光電変換領域の中心のずれている方向が右側の画素121と左側の画素122の2種類ある。ここでは、それぞれを右画素121、左画素122と称する。また、特定の画素を示すときに、行番号L01〜16と列番号F01〜16を並べて表す。例えば、L01の行のうち、F01の列に対応する画素を「L01F01」で表す。
図5に示す画素は、L01からL16の各行において、F01からF16へ右画素121、左画素122の順に繰り返すパターンで配置されている。これを言い換えるとF01、F03、...の奇数の列には右画素121が配置され、F02、F04、...の偶数の列には左画素122が配置される。
この例では、L05F01とL05F02は、画素ピッチから算出される画素間距離より、重心間距離が狭い構成となる。また、L05F02とL05F03は、画素ピッチから算出される画素間距離より、重心間距離が広い構成となる。
左画素122から構成される光電変換セル群と右画素121から構成される別の光電変換セル群を想定し、それぞれの出力から位相差情報を算出することにより光学系のディフォーカスを調整させることができる。ここで、右画素121から構成される光電セル群は、複数の光電変換セル列F01、F03、F05、...を有し、左画素122から構成される光電セル群は、複数の光電変換セル列F02、F04、F06、...を有する。
左画素122から構成される光電変換セル群と右画素121から構成される別の光電変換セル群を想定し、それぞれの出力から位相差情報を算出することにより光学系のディフォーカスを調整させることができる。ここで、右画素121から構成される光電セル群は、複数の光電変換セル列F01、F03、F05、...を有し、左画素122から構成される光電セル群は、複数の光電変換セル列F02、F04、F06、...を有する。
ここで、歪曲収差の小さい撮影レンズであれば、従来の一眼レフ光学系に使われているAF用光学系で生じる歪曲収差が発生しない。このため、例えば、被写体側で直線上に並んだ情報は、図6の領域125で示すように、直線上に並んだまま、撮像素子上へ投影される。ここで、図6は、本実施形態のイメ−ジャにおける画素配置と、歪曲収差が発生しない場合にイメ−ジャ上に投影される情報と、を重ねて示す平面図である。
撮像素子に投影された情報を、L03の行の右画素121であるF03、F05、F07、F09、F11、F13から得られる出力からえられる波形と、左画素122であるF04、F06、F08、F10、F12、F14から得られる出力からえられる波形と、に分けて互いに比較すると、所謂位相差検出式によりディフォーカス情報や合焦点位置情報が取得できる。即ち、ディフォーカスにより、右側波形(右画素121から得られる波形)と左側波形(左画素122から得られる波形)は逆の方向に動くことになる。
一方、歪曲収差の大きい撮影レンズの場合、歪曲収差の補正を行うことにより精度の高い補正が可能である。図7は、イメ−ジャにおける画素配置と、歪曲収差が大きい場合にイメ−ジャ上に投影される情報と、を重ねて示す平面図である。例えば、図7に示す領域126の形状は、被写体側で直線上にあった情報が、歪曲収差の大きい撮影レンズによって撮像素子上に投影された結果、曲線上になったものである。
図7に示す歪曲収差が大きい場合、コントラスト検出によるAFであれば、撮影レンズのフォーカスを変えながらL03の行のコントラスト情報を評価することでピント位置の検出が可能となる。また、ピントがあっているかどうかの判断は、L03の行の右画素121であるF03、F05、F07、F09、F11、F13から得られる出力からえられる波形と、左画素122であるF04、F06、F08、F10、F12、F14から得られる出力からえられる波形と、を比較することで可能となる。
一方、ディフォーカス量を算出するときは、前述の様に位相差情報を用いるのが有利であるが、図7に示すように歪曲収差が大きい場合、L04F03、L03F05、L02F07、L02F09、「L02F11とL03F11の合成出力」、及び、L03F13から得られる右画素121の波形と、L03F04、「L02F06とL03F06の合成出力」、L02F08、L02F10、L03F12、及び、L04F14から得られる左画素122の波形と、を互いに比較することで精度のよい焦点検出ができる。
ここで、合成出力は、歪曲収差による直線の歪曲、すなわち、図7に示す領域126の曲線の歪曲の程度に応じて、対象とする画素それぞれからの出力の比率を決定する。例えば、L02F11とL03F11の合成出力を算出する場合、領域126が、L02F11とL03F11に等分にかかっているならば、L02F11の出力信号とL03F11の出力信号の平均値となる。
さらに、得られた波形を撮影レンズの歪曲収差量から変形させることで良好な焦点検出精度を得ることができる。
また、焦点検出画素の列が、L02、L03、L04と複数列配置されていることで、歪曲収差のない撮影レンズから、歪曲収差の大きい撮影レンズまで、良好に補正することができる。
また、焦点検出画素の列が、L02、L03、L04と複数列配置されていることで、歪曲収差のない撮影レンズから、歪曲収差の大きい撮影レンズまで、良好に補正することができる。
なお、撮像素子の配置は、図5に示した配置例に限るものでない。例えば図8や図9に示すような構成でも適用可能である。
図8は、本実施形態の第1変形例に係るイメージャにおける画素配置を概念的にに示す平面図である。図9は、本実施形態の第2変形例に係るイメージャにおける画素配置を概念的に示す平面図である。
図8は、本実施形態の第1変形例に係るイメージャにおける画素配置を概念的にに示す平面図である。図9は、本実施形態の第2変形例に係るイメージャにおける画素配置を概念的に示す平面図である。
第1変形例では、瞳の分割方向を、図5に示す右側、左側に加え、上側、下側としている。図8では、縦16画素(L01〜16)、横16画素(F01〜16)で合計256画素の例を示しているが、画素数はこれに限るものでなく、例えば合計画素が1000万画素を超えるものでも構わない。
図8に示す例では、画素中心に対し光電変換領域の面積中心のずれている方向が右側と左側と上側と下側の4種類がある。以下の説明では、それぞれを右画素131、左画素132、上画素133、下画素134と称することとする。
図8において、L01の行では、左から(F01から)順に、右画素131、左画素132、下画素134、下画素134、が繰り返し配置されている。L02の行では、左から順に、右画素131、左画素132、上画素133、上画素133、が繰り返し配置されている。L03の行では、左から順に、下画素134、下画素134、右画素131、左画素132、が繰り返し配置されている。L04の行では、左から順に、上画素133、上画素133、右画素131、左画素132が、繰り返し配置されている。L05以降の行は、L01、L02、L03、L04のパターンを繰り返す配置になっている。
一方、図9に示す第2変形例では、位相差AF用の焦点検出に使う画素141、142、143、144と、位相差AF用の焦点検出には使わない画素150と、を配置している。位相差AF用の焦点検出に使う画素は、画素中心に対し光電変換領域の面積中心のずれている方向が右側と左側と上側と下側の4種類があり、それぞれを右画素141、左画素142、上画素143、下画素144と称する。
図9において、L01、L02の行では、それぞれ、左から(F01から)順に、右画素141、左画素142、焦点検出には使わない画素150、及び、画素150が繰り返し配置されている。L03の行では、左から順に、画素150、画素150、下画素144、及び、下画素144が繰り返し配置されている。L04の行では、左から順に、画素150、画素150、上画素143、及び、上画素143が繰り返し配置されている。L05以降の行は、L01、L02、L03、L04のパターンを繰り返す配置になっている。
第1変形例及び第2変形例のいずれも、位相差AF用の波形をつくるための画素150の離散度は増すが、撮像素子の総画素数を、例えば1000万個増やすことで、厳密には比較する2つの像は異なる像点から形成されるが、歪曲収差情報による補正をすることで良好な焦点検出が行える。なお、ディフォーカス信号を検出するための信号の補正は、像高が0.5よりも高いところで行うとよい。
また、撮像素子の画素は、図10と図11、又は、図12と図13に示すように遮光部材の構成により受光する瞳領域をずらしてもよいし、図14、図15に示すようにオンチップレンズの構成により受光する瞳領域をずらしても良い。
図10は、本実施形態の第3変形例に係る画素の概略構造を示す断面図である。図11は、図10に示す画素を光軸200L、200Rの方向から見た平面図である。
図10、図11では、並びあう画素を示しており、光電変換領域205L、205Rの面積は同じであり、それぞれの面積重心位置の間隔と、画素ピッチの間隔と、が異なるのは図3、図4に示す例と同様である。
図10、図11では、並びあう画素を示しており、光電変換領域205L、205Rの面積は同じであり、それぞれの面積重心位置の間隔と、画素ピッチの間隔と、が異なるのは図3、図4に示す例と同様である。
図10、図11において、マイクロレンズ201L、201Rは、センサの各画素204L、204Rに対応するように、それぞれ配置されている。マイクロレンズ201L、201Rの間隔は画素ピッチに従うが、撮影レンズの射出瞳位置を考慮して、中心から周辺に向けて画素ピッチより狭い間隔で配置されてもよい。
画素204L、204Rの有する光電変換セルは、光電変換面203L、203Rをそれぞれ備える。マイクロレンズ201Lと光電変換面203Lの間には遮光部材202Lが配置され、マイクロレンズ201Rと光電変換面203Rの間には遮光部材202Rが配置されている。遮光部材202L、202Rの平面形状は、図11に示すように、画素中心に対して左右非対称である。
なお、概略構成を示す図10では、遮光部材202L、202Rが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
なお、概略構成を示す図10では、遮光部材202L、202Rが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
各画素の光電変換領域205L、205Rは、想定する撮影レンズ、マイクロレンズ201L、201R、遮光部材202L、202R、及び、光電変換面203L、203Rの関係で定まる。図11に示す光電変換領域205L、205Rでは、光電変換面203L、203R上において遮光部材202L、202Rによって形成される開口に対応する。
マイクロレンズ201L、201Rは、その光軸200L、200Rが、対応する画素の画素中心をそれぞれ通るように配置されている。
画素204L、204Rは、光軸200L、200Rから見て、同一の矩形形状を備え、画素ピッチは画素の大きさに等しい。画素204L、204Rの画素中心は、その矩形状の平面形状の対角線の交点である。
画素204L、204Rは、光軸200L、200Rから見て、同一の矩形形状を備え、画素ピッチは画素の大きさに等しい。画素204L、204Rの画素中心は、その矩形状の平面形状の対角線の交点である。
遮光部材202L、202Rの平面形状を左右非対称形状とすることにより、各画素の画素中心と、各光電変換領域の面積重心と、を左右方向(図10、図11の左右方向)にずらしている。別言すると、遮光部材202L、202Rの平面形状により、受光する瞳領域をずらしている。
図12は、本実施形態の第4変形例に係る画素の概略構造を示す断面図である。図13は、図12に示す画素を光軸300L、300R、310L、310Rの方向から見た平面図である。
図12、図13では、並びあう画素を示しており、光電変換領域305L、305R、315L、315Rの面積は同じであり、それぞれの重心位置の間隔(面積重心間隔)ds−n、ds−wと、画素ピッチの間隔dpと、が異なっている。
ここで、光電変換領域305L、305R、315L、315Rの面積は概ね同じあればよい。面積が概ね同じであるとき、以下の条件式(7)を満足することが好ましい。
0.9<SA/LA≦1 ・・・(7)
ただし、
LAは、画素群を構成する光電変換セル群のうち、Aの受光分光感度をもつ光電変換セルのもっとも大きい光電変換領域の面積、
SAは、画素群を構成する光電変換セル群のうち、Aの受光分光感度をもつ光電変換セルのもっとも小さい光電変換領域の面積、
である。
0.9<SA/LA≦1 ・・・(7)
ただし、
LAは、画素群を構成する光電変換セル群のうち、Aの受光分光感度をもつ光電変換セルのもっとも大きい光電変換領域の面積、
SAは、画素群を構成する光電変換セル群のうち、Aの受光分光感度をもつ光電変換セルのもっとも小さい光電変換領域の面積、
である。
図12、図13において、マイクロレンズ301L、301R、311L、311Rは、センサの各画素304L、304R、314L、314Rに対応するように、それぞれ配置されている。マイクロレンズ301L、301R、311L、311Rの間隔は画素ピッチに従うが、撮影レンズの射出瞳位置を考慮して、中心から周辺に向けて画素ピッチより狭い間隔で配置されてもよい。
画素304L、304R、314L、314Rの有する光電変換セルは、光電変換面303L、303R、313L、313Rをそれぞれ備える。それぞれの画素において、マイクロレンズ301Lと光電変換面303Lの間には遮光部材302L、302MLが配置され、マイクロレンズ301Rと光電変換面303Rの間には遮光部材302R、302MRが配置され、マイクロレンズ311Lと光電変換面313Lの間には遮光部材312L、312MLが配置され、マイクロレンズ311Rと光電変換面313Rの間には遮光部材312R、312MRが配置されている。
遮光部材302L、302R、312L、312Rは、平面視矩形の光電変換面303L、303R、313L、313Rの4辺に沿うように、それぞれ配置されている。遮光部材302L、302R、312L、312Rの平面形状は、図13に示すように、均一の幅を備えた左右対称、上下対称の矩形枠状である。
遮光部材302ML、302MR、312ML、312MRは、遮光部材302L、302R、312L、312Rの内部を左右非対称に分割するように配置されている。
なお、概略構成を示す図12では、遮光部材302L、302ML、302R、302MR、312L、312ML、312R、312MRが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
なお、概略構成を示す図12では、遮光部材302L、302ML、302R、302MR、312L、312ML、312R、312MRが同一平面上に構成されているが、同一画素内において同一平面上に構成させなくてもよい。
各画素の光電変換領域305L、305R、315L、315Rは、想定する撮影レンズ、マイクロレンズ301L、301R、311L、311R、遮光部材302L、302ML、302R、302MR、312L、312ML、312R、312MR、及び光電変換面303L、303R、313L、313Rの関係で定まる。図13に示す光電変換領域305L、305R、315L、315Rは、光電変換面303L、303R、313L、313R上において、遮光部材302L、302ML、302R、302MR、312L、312ML、312R、312MRによって形成される開口に対応する。
マイクロレンズ301L、301R、311L、311Rは、その光軸300L、300R、310L、310Rが、対応する画素の画素中心307L、307R、317L、317Rをそれぞれ通るように配置されている。
画素304L、304R、314L、314Rは、光軸300L、300R、310L、310Rから見て、同一の矩形形状を備え、画素ピッチは画素の大きさに等しい。画素304L、304R、314L、314Rの画素中心307L、307R、317L、317Rは、その矩形状の平面形状の対角線の交点である(図13)。
第4変形例では、遮光部材302ML、302MR、312ML、312MRにより、遮光部材302L、302R、312L、312Rで囲まれる領域を左右非対称にそれぞれ分割している。このため、これらの遮光部材によって定まる光電変換領域305L、305R、315L、315Rの面積重心は、各画素の画素中心307L、307R、317L、317Rからずれた位置となる。したがって、隣り合う画素の画素中心307L、307R、317L、317R間の距離に等しい画素ピッチdpと、隣り合う光電変換領域の面積重心306L、306R、316L、316R間の距離である面積重心間距離ds−n、ds−wと、が異なるように構成される。
図14は、本実施形態の第5変形例に係る画素の概略構造を示す断面図である。
図14の撮像素子においては、それぞれの画素の上のオンチップレンズ361、362、363、364が独立して構成されている。
図14においては、画素集合Aの画素のオンチップレンズ361、363の光軸361a、363aは、画素の中心から左側にずれている。また、画素集合Bの画素のオンチップレンズ362、364の光軸362a、364aは画素の中心から右側にずれている。2つの画素集合A、Bからの出力を比較することで、レンズのフォーカス量を算出することができる。
図14の撮像素子においては、それぞれの画素の上のオンチップレンズ361、362、363、364が独立して構成されている。
図14においては、画素集合Aの画素のオンチップレンズ361、363の光軸361a、363aは、画素の中心から左側にずれている。また、画素集合Bの画素のオンチップレンズ362、364の光軸362a、364aは画素の中心から右側にずれている。2つの画素集合A、Bからの出力を比較することで、レンズのフォーカス量を算出することができる。
オンチップレンズ361、362、363、364では、屈折力と光軸361a、362a、363a、364aの位置等の形状という2つのパラメーターを独立してコントロールすることができる。画素数が十分多ければ、画素集合Aと画素集合Bは、同様の光の強度分布を得ることができ、これを利用して位相差AFを行うことができる。このとき、画面全体でのディフォーカス量を検出できるので、被写体の3次元情報を取得することができる。
図14に示す例では、オンチップレンズを画素の中心に対して偏心させている。このため、光線L61、L62は、オンチップレンズ361、362にそれぞれ入射し、これにより射出瞳が分割される。
図15は、本実施形態の第6変形例に係る撮像素子の内部構造を示す断面図である。
図15に示す撮像素子では、オンチップレンズを屈折率分布型レンズで構成している。画素370と画素380はそれぞれ異なる領域からの光束を受光する隣り合った画素である。
図15に示す撮像素子では、オンチップレンズを屈折率分布型レンズで構成している。画素370と画素380はそれぞれ異なる領域からの光束を受光する隣り合った画素である。
図15において、撮像素子は、DML(デジタルマイクロレンズ)としての屈折率分布レンズ371、381、カラーフィルタ372、アルミニウム配線373、信号伝送部374、平坦化層375、受光素子376、386(例えばSiフォトダイオード)、及び、Si基板377を備える。図15に示すように、アルミニウム配線373、信号伝送部374、平滑化層375、受光素子376、386、及び、Si基板377は、半導体集積回路378を構成する。ここで、画素370と画素380の構成は、屈折率分布レンズ371、381以外は同様である。
図15は、入射光束全体のうち、受光素子376、386にそれぞれ入射する光束の様子を示している。屈折率分布レンズ371、381を用いることにより、光束L71、L81は、画素370の受光素子376と画素380の受光素子386にそれぞれ入射し、射出瞳が分割される。
図16は、本実施形態の第7変形例に係るイメージャにおける画素配置と、偏光フィルタの配置と、を重ねて示す平面図である。
図16に示す偏光フィルタ404においては、8行8列の画素に対応させて、透明領域404Aと遮光領域404Bが市松模様状に配置されている。このような配置の偏光フィルタ404を用いることにより、瞳領域をずらすことができる。
図16に示す偏光フィルタ404においては、8行8列の画素に対応させて、透明領域404Aと遮光領域404Bが市松模様状に配置されている。このような配置の偏光フィルタ404を用いることにより、瞳領域をずらすことができる。
図17は、本実施形態の第8変形例に係るイメ−ジャにおける画素配置を概念的に示す平面図である。図18は、図17に対応させたカラーフィルタの配置を概念的に示す平面図である。
図17に示す画素配置は、右画素521、左画素522、上画素523、及び下画素524の4種類を組み合わせたものであり、隣り合う2行2列の画素ごとに同一の種類の画素が配置されている。例えば、L01F01、L01F02、L02F01、及びL02F02の隣り合う2行2列の画素はいずれも左画素522であり、L01F03、L01F04、L02F03、及びL02F04の隣り合う2行2列の画素はいずれも上画素523である。
図17に示す画素配置は、右画素521、左画素522、上画素523、及び下画素524の4種類を組み合わせたものであり、隣り合う2行2列の画素ごとに同一の種類の画素が配置されている。例えば、L01F01、L01F02、L02F01、及びL02F02の隣り合う2行2列の画素はいずれも左画素522であり、L01F03、L01F04、L02F03、及びL02F04の隣り合う2行2列の画素はいずれも上画素523である。
図18のカラーフィルタの配置は、L01F01画素を緑色のフィルタG、L01F02画素を赤色のフィルタR、L02F01を青色フィルタB、L02F02を緑色フィルタGとし、以下横方向及び縦方向に、これらの組合せパターンを繰り返している。この組合せパターンは、図17において同一種類の画素が配置された、隣り合う2行2列の画素に対応して配置されている。図17の画素配置と図18のカラーフィルタの配置を対応させることにより、被写体の色に関わらず精度の高い焦点検出を行うことができる。尚、カラーフィルタと光電変換領域の画素中心からのズレ方向の組み合わせはこれに限る必要ない。
また、図17、図18において、測距のために、左画素522と右画素521、又は、上画素523と下画素524を選択すると、重心間距離は画素ピッチから計算される間隔とは異なる。図18において、隣り合う2行2列のフィルタG、R、B、Gが繰り返して配置されるため、測距のために二つの画素を選ぶときに同じ色のフィルタを選択することができる。例えば、L06F01の画素(左画素522)とL04F03の画素(右画素521)は、同じ青色フィルタBであり、光電変換領域の重心間距離は画素ピッチから計算される間隔より長くなる。また、L03F03とL05F05は、同じ緑色フィルタで、光電変換領域の重心間距離は画素ピッチから計算される間隔より短くなる。
歪曲収差情報は、例えば、図20に示すカメラシステムにおいて、図19に示す処理の流れにおいて取得することができる。図19は、本実施形態の撮像システムの処理の流れを示すフローチャートである。図20は、本実施形態のレンズ交換式のカメラシステム(撮像システム)の構成をより詳細に示すブロック図である。
このとき、記録画像(静止画像/動画像問わない)を補正する歪曲収差情報と位相差AFへの歪曲収差情報を共有してもよい。このように構成することで、記録画像用の歪曲収差情報しかない撮影レンズでも高い精度で焦点検出することができる。また、補正を同じ演算で行えれば、処理の負担を軽くすることができる。
また、記録画像用の歪曲収差情報と共有化された情報より、記録画像用の歪曲収差と異なる演算を行っても良い。例えば、位相差AFの波形の補正を行っても良い。このような波形の補正は、記録画像用の歪曲収差補正で行う必要のないものである。
さらにまた、記録画像用の歪曲収差情報と独立した歪曲収差補正情報を持っても良い。これにより効率的に位相差AFの波形の補正が行える。また、記録画像用の歪曲収差補正は、魚眼レンズ効果や、パースペクティブ効果を考慮して、補正効果を弱める場合がある。独立した情報があれば、精度の良い焦点合わせで、自然な像の歪みをもった良質な記録画像を得ることができる。パースペクティブ効果を考慮する場合、記録画像用の補正量はAF用の補正量より小さくするのが望ましい。
また、交換レンズから歪曲収差情報を得られない場合、換言すると平均的な補正量を設定し補正する手段もあるが、撮影レンズの歪曲収差は小さいとして補正を行わないような処理にしても良い。すなわち、歪曲収差が十分補正されたレンズと想定する。これは、従来の一眼レフカメラ用の交換レンズは歪曲収差が十分補正されていることを考慮するのが望ましい。また、別途補正値を入力してもよい。さらにまた、ディフォーカス信号を検出するための信号の補正量と記録する画像データの補正値が異なるモードを備えていても良い。
なお、ボディ内にデーターベースを持たせ、レンズを判別して適切な歪曲収差情報を使えるようにすることが好ましい。
交換レンズ式でなく固定式の撮影レンズの場合、あらかじめボディに情報を持たせるとよい。
補正の方法は、2像の信号を比較し、位相差情報を取得したあとに補正を行っても良い。
交換レンズ式でなく固定式の撮影レンズの場合、あらかじめボディに情報を持たせるとよい。
補正の方法は、2像の信号を比較し、位相差情報を取得したあとに補正を行っても良い。
以下、本実施形態の撮像システムとしてレンズ交換式のカメラシステムを用いた場合の処理の流れについて説明する。
まず、図20に示す、レンズ交換式のカメラシステムで、カメラボディ(カメラ本体)700のボディマウント/レンズマウント結合部701に交換レンズ800が装着されると、カメラボディ700側でレンズの装着が検知される(ステップS011)。
次に、交換レンズ800内のレンズ情報記録部806に記憶された、ディストーション情報、繰り出し量情報等がカメラボディ700内のレンズ情報格納部703へ転送、記録される(ステップS021)。このとき、レンズ情報記録部806にディストーションデータがない場合、ディストーション量を0としてレンズ情報格納部703に記録しても良い。
まず、図20に示す、レンズ交換式のカメラシステムで、カメラボディ(カメラ本体)700のボディマウント/レンズマウント結合部701に交換レンズ800が装着されると、カメラボディ700側でレンズの装着が検知される(ステップS011)。
次に、交換レンズ800内のレンズ情報記録部806に記憶された、ディストーション情報、繰り出し量情報等がカメラボディ700内のレンズ情報格納部703へ転送、記録される(ステップS021)。このとき、レンズ情報記録部806にディストーションデータがない場合、ディストーション量を0としてレンズ情報格納部703に記録しても良い。
使用者がレリーズボタン(シャッターボタン)702を半押しにする等の操作をすることにより測距開始の指示信号がカメラコントローラ710へ出力される(ステップS031)。このとき、測距部位を設定する処理をいれてもよい。この測距部位の設定は使用者がマニュアルで設定してもよいし、カメラであらかじめ設定された規則に従い設定しても良い。
ステップS031により、撮像素子721の各画素が光電変換を実施する(ステップS041)。このとき、必要に応じて選択的に光電変換する画素を設定しても良い。
光電変換された信号は、ADC(アナログデジタル変換回路)722によりデジタル信号に変換され、前処理部717へ出力される。この信号は、前処理部717において、画像処理部715、711での処理に適した形式に変換処理される。また、撮像素子721は、カメラコントローラ710によって制御されたTG(タイミングジェネレータ)からの出力にしたがって動作する。
光電変換された信号は、ADC(アナログデジタル変換回路)722によりデジタル信号に変換され、前処理部717へ出力される。この信号は、前処理部717において、画像処理部715、711での処理に適した形式に変換処理される。また、撮像素子721は、カメラコントローラ710によって制御されたTG(タイミングジェネレータ)からの出力にしたがって動作する。
ステップS031により、交換レンズ800のズーム状態算出部812に記憶されたフォーカスレンズ位置情報がカメラボディ700内のレンズ状態記録部704へ転送、記録される(ステップS051)。ここで、交換レンズ800がズームレンズの場合、フォーカスレンズ位置情報に加えて焦点距離の状態の情報を転送しても良い。フォーカスレンズ位置情報は、ズームレンズ群位置検出部804が検出した、フォーカスレンズ801を含む撮影レンズ系802の位置情報に基づいて、ズーム状態算出部812が所定の方法により算出した情報である。
ステップS041で実施された光電変換により、画像処理部711は、測距部位の第1の画素集合Aの光電変換情報を取得し、A像を形成する(ステップS061)。
さらに、画像処理部711(補正部)は、形成したA像を、ステップS021で取得したディストーション情報を用いて補正することにより、A1像に変換する(ステップS071)。
また、ステップS041で実施された光電変換により、画像処理部711は、測距部位の第2の画素集合Bの光電変換情報を取得し、B像を形成する(ステップS081)。
ここで、第1の画素集合Aは1つの光電変換セル群を構成し、第2の画素集合Bは、別の光電変換セル群を構成する。
ここで、第1の画素集合Aは1つの光電変換セル群を構成し、第2の画素集合Bは、別の光電変換セル群を構成する。
さらに、画像処理部711は、形成したB像を、ステップS021で取得したディストーション情報を用いて補正することにより、B1像に変換する(ステップS091)。
位相差量算出部713は、A1像とB1像を比較し、ディフォーカス量を算出する位相差量S1を算出する(ステップS101)。
位相差量算出部713は、A1像とB1像を比較し、ディフォーカス量を算出する位相差量S1を算出する(ステップS101)。
レンズ駆動量算出部714は、ステップS101で算出した位相差量S1が所定量内である場合、合焦状態と判断し、所定量を超えていると非合焦状態と判断する(ステップS111)。ここで、所定量は、最小錯乱円径から算出される像面深度から設定してもよいし、撮影レンズからの情報を参照しても良い。
ステップS111で位相差量S1が所定量を超えていると判断した場合(ステップS111でNO)、位相差量S1と、レンズ情報格納部703に記録した繰り出し量情報と、レンズ状態記録部704に記録したフォーカスレンズ位置等の情報と、から、レンズ駆動量算出部714は、レンズ繰り出し量D1を算出する(ステップS121)。繰り出し量D1の算出方法は、従来の位相差AFと同じ方法を使用できる。なお、繰り出し量D1は、繰り出し方向の量であってもよいし、フォーカスレンズ801を駆動するフォーカスレンズ駆動部803(モータ)の駆動パルス等の制御値であっても良い。
カメラコントローラ710は、ステップS121で算出された繰り出し量D1の情報を交換レンズ800のレンズコントローラ810へ転送する。転送された繰り出し量D1に基づいて、フォーカスレンズ制御部811は、フォーカスレンズ駆動部803によりフォーカスレンズ801を繰り出し量D1だけ駆動させる(ステップS131)。このとき、フォーカスレンズ制御部811は、フォーカスレンズ位置検出部805が検出したフォーカスレンズ801の位置情報に基づいてフォーカスレンズ駆動部803を制御する。なお、カメラコントローラ710とレンズコントローラ810との間の通信は、カメラコントローラ710内の通信制御部718によって制御される。
ステップS131でフォーカスレンズ801を駆動した後は、ステップS041、S051のステップに戻り、カメラコントローラ710は、合焦状態になったかどうかを確認する。
一方、ステップS111で、レンズ駆動量算出部714が、位相差量S1は所定量以内であると判断した場合(ステップS111でYES)、撮像素子721の各画素で光電変換が行われる(ステップS141)。画像処理部715は、光電変換した信号に基づいて、画像形成を行う(ステップS151)。すなわち、715は撮影画像を生成する。形成された画像は、圧縮部716で所定の形式で圧縮され、画像記録部731(画像記録手段)に記録される(ステップS161)。また、圧縮された画像は、画像表示部732に表示される。
ステップS151においては、画像形成のほか、レンズ情報格納部703に記録された情報で画像全体に適した画像処理を行っても良い。
画像記録部731は、カメラボディ700内に設けたメモリでも良いし、カメラボディ700に装着された外部メモリでもよい。
画像記録部731は、カメラボディ700内に設けたメモリでも良いし、カメラボディ700に装着された外部メモリでもよい。
以上のとおり、図19においては、ステップS131の後にステップS041、ステップS051に戻り、位相差量S1が所定量以内(ステップS111でYES)になったところでステップS141に進むことにしている。これに対して、AFスピードを優先する場合は、ステップS131の後、ステップS041、ステップS051にもどることなく、直接ステップS141に進んでも良い。また、ステップS131の後にステップS041、ステップS051にもどる場合でも、ステップS111での判断が規定回数を超えたらステップS141に進んで確実に撮影画像を得るようにしても良い。
次に、第1実施形態の撮像システムとしてレンズ一体型のカメラを用いた場合の処理の流れについて、図21、図22を参照して説明する。図21は、撮像システムの処理の流れを示すフローチャートである。図22は、レンズ一体型のカメラ(撮像システム)の構成をより詳細に示すブロック図である。
まず、図21に示すフローが始まる前に、カメラボディ900のレンズ情報記録部903には、ディストーション情報、繰り出し量情報等のデータが格納される。
例えば動画像を撮影する場合、使用者がレリーズボタン902を半押しにするなどの操作をすることにより、測距開始の指示信号がカメラコントローラ910へ出力される(ステップS1031)。
例えば動画像を撮影する場合、使用者がレリーズボタン902を半押しにするなどの操作をすることにより、測距開始の指示信号がカメラコントローラ910へ出力される(ステップS1031)。
次に、撮影レンズのフォーカスレンズ位置情報をレンズ状態記録部974に記録する(ステップS1051)。撮影レンズがズームレンズの場合、加えて焦点距離の状態を記憶しても良い。
つづいて、撮像素子の各画素が光電変換を実施する(ステップS1041)。光電変換された信号は、ADC(アナログデジタル変換回路)922によりデジタル信号に変換され、前処理部917へ出力される。この信号は、前処理部917において、画像処理部915、911での処理に適した形式に変換処理される。また、撮像素子971は、カメラコントローラ910によって制御されたTG(タイミングジェネレータ)からの出力にしたがって動作する。
つづいて、撮像素子の各画素が光電変換を実施する(ステップS1041)。光電変換された信号は、ADC(アナログデジタル変換回路)922によりデジタル信号に変換され、前処理部917へ出力される。この信号は、前処理部917において、画像処理部915、911での処理に適した形式に変換処理される。また、撮像素子971は、カメラコントローラ910によって制御されたTG(タイミングジェネレータ)からの出力にしたがって動作する。
ステップS1041で実施された光電変換に基づいて、画像処理部915は、画像形成を行う(ステップS1151)。形成された画像は、圧縮部916で所定の形式で圧縮され、画像記録部931(画像記録手段)に記録される(ステップS1161)。また、圧縮された画像は、画像表示部732に表示される。
なお、ここでは動画撮影を前提として説明しているが、図21に示すステップは、静止画の場合にも適用できる。
なお、ここでは動画撮影を前提として説明しているが、図21に示すステップは、静止画の場合にも適用できる。
ステップS1031により、レンズ部950のズーム状態算出部962に記憶されたフォーカスレンズ位置情報がレンズ状態記録部974へ転送、記録される。ここで、レンズ部950がズームレンズの場合、フォーカスレンズ位置情報に加えて焦点距離の状態の情報を転送しても良い。フォーカスレンズ位置情報は、ズームレンズ群位置検出部954が検出した、フォーカスレンズ951を含む撮影レンズ系952の位置情報に基づいて、ズーム状態算出部962が所定の方法により算出した情報である。
一方、ステップS1041で実施された光電変換により、画像処理部912は、測距部位の第1の画素集合Aの光電変換情報を取得し、A像を形成する(ステップS1061)。このとき、測距部位の設定は、使用者がマニュアルで設定してもよいし、カメラであらかじめ設定された規則に従い設定しても良い。
さらに、画像処理部912(補正部)は、形成したA像を、ディストーション情報を用いて補正することにより、A1像に変換する(ステップS1071)。
また、ステップS1041で実施された光電変換により、画像処理部912は、測距部位の第2の画素集合Bの光電変換情報を取得し、B像を形成する(ステップS1081)。さらに、画像処理部912は、形成したB像を、ディストーション情報を用いて補正することにより、B1像に変換する(ステップS1091)。
次に、位相差量算出部913は、A1像とB1像を比較し、ディフォーカス量を算出する位相差量S1を算出する(ステップS1101)。
つづいて、位相差量S1と、レンズ情報記録部903に記録した繰り出し量情報と、レンズ状態記録部974に記録したフォーカスレンズ位置等の情報と、から、レンズ駆動量算出部914は、レンズ繰り出し量D1を算出する(ステップS1121)。繰り出し量D1の算出方法は、従来の位相差AFと同じで方法を使用できる。なお、繰り出し量D1は繰り出し方向の量であってもよいし、フォーカスレンズ951を駆動するフォーカスレンズ駆動部953(モーター)の駆動パスル等の制御値であっても良い。また、動画においては、移動速度を考慮して駆動量を決定しても良い。
カメラコントローラ910は、ステップS1121で算出された繰り出し量D1の情報をレンズ部950のレンズコントローラ960へ転送する。転送された繰り出し量D1に基づいて、フォーカスレンズ制御部961は、フォーカスレンズ駆動部953によりフォーカスレンズ951を繰り出し量D1だけ駆動させる(ステップS1131)。このとき、制御部961は、フォーカスレンズ位置検出部955が検出したフォーカスレンズ951の位置情報に基づいてフォーカスレンズ駆動部953を制御する。
フォーカスレンズ951の駆動後、カメラボディ900上のスイッチ等の操作により撮影終了指示があった場合(ステップS1171でYES)、撮影を終了する(ステップS1181)。撮影終了指示がなければ(ステップS1171でNO)、ステップS1051のステップに戻り、フォーカスレンズ位置の記録以降の処理を行う。
なお、ステップS1041からステップS1131までの処理は、ステップS1151、S1161を複数回行うサイクルで一回進む形態としても良い。
また、条件によっては、これらのフローにコントラストAFのフローをいれてもよい。
なお、その他の作用、効果、変形例については、上述のレンズ交換式のカメラシステムの場合と同様である。
また、条件によっては、これらのフローにコントラストAFのフローをいれてもよい。
なお、その他の作用、効果、変形例については、上述のレンズ交換式のカメラシステムの場合と同様である。
以上のように、本発明に係る撮像システムは、画像処理で補正することを前提とした撮影レンズ系を備えた撮像システムに有用である。
10 中心点(交点)
20 円
30 主光線
31 ズーム光学系
100L、100R、110L、110R 光軸
101L、101R、111L、111R マイクロレンズ
102L、102R、112L、112R 遮光部材
103L、103R、113L、113R 光電変換面
104L、104R、114L、114R 画素
105L、105R、115L、115R 光電変換領域
106L、106R、116L、116R 面積重心
107L、107R、117L、117R 画素中心
121 右画素
122 左画素
125、126 領域
131 右画素
132 左画素
133 上画素
134 下画素
141 右画素
142 左画素
143 上画素
144 下画素
150 画素
200L、200R 光軸
201L、201R マイクロレンズ
202L、202R 遮光部材
203L、203R 光電変換面
204L、204R 画素
205L、205R 光電変換領域
300L、300R、310L、310R 光軸
301L、301R、311L、311R マイクロレンズ
302L、302ML、302MR、302R 遮光部材
312L、312ML、312MR、312R 遮光部材
303L、303R、313L、313R 光電変換面
304L、304R、314L、314R 画素
305L、305R、315L、315R 光電変換領域
306L、306R、316L、316R 面積重心
307L、307R、317L、317R 画素中心
361、362、363、364 オンチップレンズ
361a、362a、363a、364a 光軸
370、380 画素
371、381 屈折率分布レンズ
372 カラーフィルタ
376、386 受光素子
404 偏光フィルタ
404A 透明領域
404B 遮光領域
521 右画素
522 左画素
523 上画素
524 下画素
700 カメラボディ
703 レンズ情報格納部
704 レンズ状態記録部
710 カメラコントローラ
711、715 画像処理部
713 位相差量算出部
714 レンズ駆動量算出部
721 撮像素子
800 レンズ
801 フォーカスレンズ
802 撮影レンズ系
803 フォーカスレンズ駆動部
804 ズームレンズ群位置検出部
805 フォーカスレンズ位置検出部
806 レンズ情報記録部
810 レンズコントローラ
811 フォーカスレンズ制御部
812 ズーム状態算出部
900 カメラボディ
903 レンズ情報記録部
910 カメラコントローラ
911、912、915 画像処理部
913 位相差量算出部
950 レンズ部
951 フォーカスレンズ
952 撮影レンズ系
953 フォーカスレンズ駆動部
954 ズームレンズ群位置検出部
955 フォーカスレンズ位置検出部
956 レンズ情報記録部
960 レンズコントローラ
961 フォーカスレンズ制御部
962 ズーム状態算出部
971 撮像素子
974 レンズ状態記録部
20 円
30 主光線
31 ズーム光学系
100L、100R、110L、110R 光軸
101L、101R、111L、111R マイクロレンズ
102L、102R、112L、112R 遮光部材
103L、103R、113L、113R 光電変換面
104L、104R、114L、114R 画素
105L、105R、115L、115R 光電変換領域
106L、106R、116L、116R 面積重心
107L、107R、117L、117R 画素中心
121 右画素
122 左画素
125、126 領域
131 右画素
132 左画素
133 上画素
134 下画素
141 右画素
142 左画素
143 上画素
144 下画素
150 画素
200L、200R 光軸
201L、201R マイクロレンズ
202L、202R 遮光部材
203L、203R 光電変換面
204L、204R 画素
205L、205R 光電変換領域
300L、300R、310L、310R 光軸
301L、301R、311L、311R マイクロレンズ
302L、302ML、302MR、302R 遮光部材
312L、312ML、312MR、312R 遮光部材
303L、303R、313L、313R 光電変換面
304L、304R、314L、314R 画素
305L、305R、315L、315R 光電変換領域
306L、306R、316L、316R 面積重心
307L、307R、317L、317R 画素中心
361、362、363、364 オンチップレンズ
361a、362a、363a、364a 光軸
370、380 画素
371、381 屈折率分布レンズ
372 カラーフィルタ
376、386 受光素子
404 偏光フィルタ
404A 透明領域
404B 遮光領域
521 右画素
522 左画素
523 上画素
524 下画素
700 カメラボディ
703 レンズ情報格納部
704 レンズ状態記録部
710 カメラコントローラ
711、715 画像処理部
713 位相差量算出部
714 レンズ駆動量算出部
721 撮像素子
800 レンズ
801 フォーカスレンズ
802 撮影レンズ系
803 フォーカスレンズ駆動部
804 ズームレンズ群位置検出部
805 フォーカスレンズ位置検出部
806 レンズ情報記録部
810 レンズコントローラ
811 フォーカスレンズ制御部
812 ズーム状態算出部
900 カメラボディ
903 レンズ情報記録部
910 カメラコントローラ
911、912、915 画像処理部
913 位相差量算出部
950 レンズ部
951 フォーカスレンズ
952 撮影レンズ系
953 フォーカスレンズ駆動部
954 ズームレンズ群位置検出部
955 フォーカスレンズ位置検出部
956 レンズ情報記録部
960 レンズコントローラ
961 フォーカスレンズ制御部
962 ズーム状態算出部
971 撮像素子
974 レンズ状態記録部
Claims (7)
- 撮影レンズにより結像された光学像を電気信号に変換する光電変換セルが2次元的に配列された撮像装置を有し、
前記光電変換セルのうちの少なくとも一部が、ディフォーカス量検出のための信号を出力するように構成され、
前記ディフォーカス量検出のための信号を出力する前記光電変換セルは、それぞれ異なった領域を有する瞳領域からの光束を受光する少なくとも二つの光電変換セル群を構成し、
前記光電変換セル群はそれぞれが複数の光電変換セル列を有し、
二つの前記光電変換セル群から出力された前記ディフォーカス量検出のための信号を互いに比較することにより、ディフォーカス信号を生成するAFモードを有する算出部と、
前記撮影レンズの歪曲収差に関わる情報から、前記ディフォーカス量検出のための信号を補正する補正部と、
を備えることを特徴とする撮像システム。 - 前記補正部は、前記光電変換セル群の1つの光電変換セル列の信号情報を補正して1組の信号情報とし、これとは別の1つの前記光電変換セル群の光電変換セル列の信号情報を補正して1組の信号情報とし、これら2組の信号情報から位相差情報を算出することを特徴とする請求項1に記載の撮像システム。
- 前記補正部は、ディフォーカス信号を検出するための信号をレンズ情報記録部が記憶する前記撮影レンズの記録画像の歪曲を補正するための情報によって補正することを特徴とする請求項1又は請求項2に記載の撮像システム。
- 前記ディフォーカス信号を検出するための信号の補正量と記録する画像データの補正値が異なるモードを有することを特徴とする請求項1から請求項3のいずれか1項に記載の撮像システム。
- 前記撮影レンズが以下の条件式(1)を満足することを特徴とする請求項1から請求項4のいずれか1項に記載の撮像システム。
0.05≦|(1−Yim/(f・tan(ωim)))|≦0.35 ・・・(1)
ここで、
fは、撮影レンズの焦点距離、
Yimは、電子撮像素子の有効撮像面内で中心から最も遠い点までの距離を1としたときに0.4から0.8の任意の像高、
ωimは電子撮像素子の有効撮像面上の中心からYimの位置に結ぶ像点に対応する物点方向の光軸に対する角度、
である。 - 前記撮影レンズが着脱可能であり、装着した前記撮影レンズより、前記撮影レンズの像の歪曲に関わる情報が所定の形式で読み取れないとき、歪曲収差の補正を行わないことを特徴とする請求項1から請求項5のいずれか1項に記載の撮像システム。
- 前記ディフォーカス信号を検出するための信号の補正は、像高が0.5よりも高いところで行うことを特徴とする請求項3から請求項6のいずれか1項に記載の撮像システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010145818A JP2012008424A (ja) | 2010-06-28 | 2010-06-28 | 撮像システム |
| US13/163,472 US8823838B2 (en) | 2010-06-28 | 2011-06-17 | Image pickup system with auto focus mode |
| CN2011101769756A CN102298246A (zh) | 2010-06-28 | 2011-06-28 | 摄像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010145818A JP2012008424A (ja) | 2010-06-28 | 2010-06-28 | 撮像システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012008424A true JP2012008424A (ja) | 2012-01-12 |
Family
ID=45352202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010145818A Withdrawn JP2012008424A (ja) | 2010-06-28 | 2010-06-28 | 撮像システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8823838B2 (ja) |
| JP (1) | JP2012008424A (ja) |
| CN (1) | CN102298246A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013219551A (ja) * | 2012-04-09 | 2013-10-24 | Nikon Corp | 撮像素子および撮像装置 |
| JP2014048459A (ja) * | 2012-08-31 | 2014-03-17 | Canon Inc | 距離算出装置 |
| JP2014123050A (ja) * | 2012-12-21 | 2014-07-03 | Canon Inc | 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置 |
| JP2014186227A (ja) * | 2013-03-25 | 2014-10-02 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
| JP2014202954A (ja) * | 2013-04-05 | 2014-10-27 | キヤノン株式会社 | 撮像装置および撮像システム |
| JP2017009815A (ja) * | 2015-06-23 | 2017-01-12 | オリンパス株式会社 | 焦点検出装置、焦点検出方法、およびカメラシステム |
| JP2017021052A (ja) * | 2016-10-06 | 2017-01-26 | キヤノン株式会社 | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 |
| WO2017111171A1 (ja) * | 2015-12-25 | 2017-06-29 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP2018141908A (ja) * | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム |
| WO2018168551A1 (ja) * | 2017-03-16 | 2018-09-20 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
| WO2018203507A1 (ja) * | 2017-05-02 | 2018-11-08 | キヤノン株式会社 | 信号処理装置 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5566457B2 (ja) * | 2010-06-18 | 2014-08-06 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
| JP5956782B2 (ja) * | 2011-05-26 | 2016-07-27 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| KR101853817B1 (ko) * | 2011-07-20 | 2018-05-02 | 삼성전자주식회사 | 촬상 소자 |
| KR101773168B1 (ko) * | 2011-07-21 | 2017-09-12 | 삼성전자주식회사 | 위상차이 촬상 소자에 의한 초점 조절 장치 및 방법 |
| JP5635584B2 (ja) * | 2012-12-20 | 2014-12-03 | オリンパスイメージング株式会社 | 撮影機器、カメラシステム及びフォーカス制御のための情報を算出する方法 |
| JP5901801B2 (ja) * | 2013-01-04 | 2016-04-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| JP6289017B2 (ja) * | 2013-03-27 | 2018-03-07 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| JP6317548B2 (ja) * | 2013-04-10 | 2018-04-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| CN105230000B (zh) * | 2013-05-31 | 2019-03-22 | 株式会社尼康 | 摄像元件以及摄像装置 |
| JP6192428B2 (ja) * | 2013-08-20 | 2017-09-06 | オリンパス株式会社 | 撮像装置 |
| JP6351231B2 (ja) * | 2013-10-18 | 2018-07-04 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
| KR20150088139A (ko) * | 2014-01-23 | 2015-07-31 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 처리 시스템 |
| EP3595008B1 (en) * | 2014-12-18 | 2024-09-25 | Sony Group Corporation | Solid-state image pickup device and electronic apparatus |
| JP6483432B2 (ja) * | 2014-12-22 | 2019-03-13 | オリンパス株式会社 | 撮影装置 |
| JP6518071B2 (ja) * | 2015-01-26 | 2019-05-22 | キヤノン株式会社 | 固体撮像装置およびカメラ |
| CN107657595B (zh) * | 2015-06-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种畸变校正方法及移动终端和相关介质产品 |
| JP6682336B2 (ja) * | 2016-04-20 | 2020-04-15 | オリンパス株式会社 | カメラシステム、及びカメラ本体 |
| CN106506969B (zh) | 2016-11-29 | 2019-07-19 | Oppo广东移动通信有限公司 | 摄像模组、通过其进行人像追踪的方法以及电子设备 |
| KR102375887B1 (ko) * | 2017-06-13 | 2022-03-18 | 삼성전자주식회사 | 반도체 장치 및 이미지 센서 |
| KR20220156332A (ko) | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 오토 포커스 픽셀을 포함하는 이미지 센서 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0616131B2 (ja) * | 1987-01-12 | 1994-03-02 | キヤノン株式会社 | オート フォーカスカメラ |
| JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP2004264343A (ja) | 2003-01-10 | 2004-09-24 | Olympus Corp | ズームレンズを有する電子撮像装置 |
| JP5133533B2 (ja) | 2006-08-04 | 2013-01-30 | 株式会社ニコン | 撮像装置 |
| JP5300414B2 (ja) * | 2008-10-30 | 2013-09-25 | キヤノン株式会社 | カメラ及びカメラシステム |
| JP5173954B2 (ja) * | 2009-07-13 | 2013-04-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5506573B2 (ja) * | 2010-07-01 | 2014-05-28 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US8837853B2 (en) * | 2011-09-06 | 2014-09-16 | Sony Corporation | Image processing apparatus, image processing method, information recording medium, and program providing image blur correction |
-
2010
- 2010-06-28 JP JP2010145818A patent/JP2012008424A/ja not_active Withdrawn
-
2011
- 2011-06-17 US US13/163,472 patent/US8823838B2/en not_active Expired - Fee Related
- 2011-06-28 CN CN2011101769756A patent/CN102298246A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013219551A (ja) * | 2012-04-09 | 2013-10-24 | Nikon Corp | 撮像素子および撮像装置 |
| JP2014048459A (ja) * | 2012-08-31 | 2014-03-17 | Canon Inc | 距離算出装置 |
| JP2014123050A (ja) * | 2012-12-21 | 2014-07-03 | Canon Inc | 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置 |
| JP2014186227A (ja) * | 2013-03-25 | 2014-10-02 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
| JP2014202954A (ja) * | 2013-04-05 | 2014-10-27 | キヤノン株式会社 | 撮像装置および撮像システム |
| US9325896B2 (en) | 2013-04-05 | 2016-04-26 | Canon Kabushiki Kaisha | Image pickup apparatus for performing focus detection in which an influence of a focus shift caused by an aberration is suppressed, lens unit, and methods of controlling image pickup apparatus and lens unit |
| JP2017009815A (ja) * | 2015-06-23 | 2017-01-12 | オリンパス株式会社 | 焦点検出装置、焦点検出方法、およびカメラシステム |
| JPWO2017111171A1 (ja) * | 2015-12-25 | 2018-11-08 | 株式会社ニコン | 撮像装置 |
| WO2017111171A1 (ja) * | 2015-12-25 | 2017-06-29 | 株式会社ニコン | 撮像素子および撮像装置 |
| US12197106B2 (en) | 2015-12-25 | 2025-01-14 | Nikon Corporation | Image sensor and image-capturing device that selects pixel signal for focal position |
| US11747714B2 (en) | 2015-12-25 | 2023-09-05 | Nikon Corporation | Image sensor and image-capturing device that selects pixel signal for focal position |
| US11353775B2 (en) | 2015-12-25 | 2022-06-07 | Nikon Corporation | Image sensor and image-capturing device that selects pixel signal for focal position |
| US10778879B2 (en) | 2015-12-25 | 2020-09-15 | Nikon Corporation | Image sensor and image-capturing device that selects pixel signal for focal position |
| JP2017021052A (ja) * | 2016-10-06 | 2017-01-26 | キヤノン株式会社 | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 |
| JP2018141908A (ja) * | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム |
| JP2020113992A (ja) * | 2017-03-16 | 2020-07-27 | 富士フイルム株式会社 | 撮像装置 |
| JP2020099055A (ja) * | 2017-03-16 | 2020-06-25 | 富士フイルム株式会社 | 撮像装置 |
| JP2020113991A (ja) * | 2017-03-16 | 2020-07-27 | 富士フイルム株式会社 | 撮像装置 |
| JP2020025305A (ja) * | 2017-03-16 | 2020-02-13 | 富士フイルム株式会社 | 撮像装置 |
| US10819900B2 (en) | 2017-03-16 | 2020-10-27 | Fujifilm Corporation | Imaging element and imaging apparatus |
| US11184523B2 (en) | 2017-03-16 | 2021-11-23 | Fujifilm Corporation | Imaging apparatus with phase difference detecting element |
| JPWO2018168551A1 (ja) * | 2017-03-16 | 2019-11-07 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
| US11496666B2 (en) | 2017-03-16 | 2022-11-08 | Fujifilm Corporation | Imaging apparatus with phase difference detecting element |
| WO2018168551A1 (ja) * | 2017-03-16 | 2018-09-20 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
| WO2018203507A1 (ja) * | 2017-05-02 | 2018-11-08 | キヤノン株式会社 | 信号処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102298246A (zh) | 2011-12-28 |
| US8823838B2 (en) | 2014-09-02 |
| US20110317042A1 (en) | 2011-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012008424A (ja) | 撮像システム | |
| US9313469B2 (en) | Image capturing apparatus and method of controlling the same | |
| JP4961993B2 (ja) | 撮像素子、焦点検出装置および撮像装置 | |
| US9167148B2 (en) | Image capture apparatus that performs focus detection with a phase difference detection method | |
| JP5619294B2 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
| US20080208506A1 (en) | Focus detection device, imaging apparatus, method for manufacturing a focus detection device and focus detection method | |
| US9681042B2 (en) | Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus | |
| JPWO2008032820A1 (ja) | 撮像素子および撮像装置 | |
| JP2011221290A (ja) | 撮像装置及びカメラ | |
| US20120099006A1 (en) | Image pickup apparatus | |
| US10778879B2 (en) | Image sensor and image-capturing device that selects pixel signal for focal position | |
| US20120113313A1 (en) | Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus | |
| CN104508531A (zh) | 拍摄元件和拍摄装置 | |
| JP2015203783A (ja) | 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 | |
| JP5381646B2 (ja) | 撮像装置 | |
| JP6854619B2 (ja) | 焦点検出装置及び方法、撮像装置、レンズユニット及び撮像システム | |
| US20150077585A1 (en) | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit | |
| JP6234097B2 (ja) | 撮像装置およびその制御方法 | |
| JP2012128101A (ja) | 撮像装置 | |
| JP7019442B2 (ja) | 撮像装置およびその制御方法 | |
| JP2018046563A (ja) | 撮像素子 | |
| JP5737356B2 (ja) | 焦点調節装置及びカメラ | |
| JP6541477B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
| JP6221327B2 (ja) | 撮像素子およびカメラ | |
| JP2012042863A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130903 |