JP3999321B2

JP3999321B2 - 電子カメラ

Info

Publication number: JP3999321B2
Application number: JP35018597A
Authority: JP
Inventors: 実柿沼; 英寿福田; 広明小関; 修稲垣
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1997-12-05
Filing date: 1997-12-05
Publication date: 2007-10-31
Anticipated expiration: 2017-12-05
Also published as: JPH11168659A

Description

【０００１】
【発明の属する技術分野】
この発明は、単一の撮像素子から露光量の異なる複数の撮像信号を読み出し合成を行うことにより、広ダイナミックレンジ画像を得るようにした電子カメラ（デジタルスチルカメラと呼ばれている）に関する。
【０００２】
【従来の技術】
一般に、テレビカメラ、ビデオカメラ、電子カメラ等の撮像装置においては、ＣＣＤ撮像素子等の固体撮像素子が用いられているが、固体撮像素子のダイナミックレンジは銀塩写真フィルムに比べ極めて狭いという問題点がある。
【０００３】
従来、この問題点を解消するため、単一の撮像素子から露光量の異なる２つの撮像信号を読み出し、合成を行うことによって拡大されたダイナミックレンジを有する画像を得る手法が提案されており、例えば特開平４−２０７５８１号公報には、次のような構成のものが開示されている。
【０００４】
すなわち、光情報を光電変換する複数の受光素子からなる受光部と、該受光部からの信号を転送する手段とを有する撮像素子を備え、前記受光部で第１露光を行い、該第１露光による信号を前記転送手段に送った後、直ちに前記第１露光より露光時間が長い第２露光を開始し、前記第１露光による信号を撮像素子より出力した後、前記第２露光による信号を前記転送手段に送り、第２露光による信号を撮像素子より出力させるようにし、これにより第１露光による信号を撮像素子から出力させる期間に、第２露光を行い、複数回の露光による撮像時間のずれを小さくするようにしたものが開示されている。また、この際、第１露光時間を、受光部から転送手段へ露光による信号を送る動作で制御し、すなわち電子シャッタ機能で制御し、第２露光時間を撮像素子の露光時間を制御する遮光手段で制御するようにし、第２露光時間を第１露光信号の転送動作とは独立して制御できるようにしたものについても、開示がなされている。
【０００５】
また、２つの露光量の異なる撮像信号を合成して広ダイナミックレンジ画像を合成する手法としては、特開平６−１４１２２９号公報には、図22に示すような構成のものが開示されている。すなわち、ＣＣＤ101 から読み出した短い電荷蓄積期間ＣＳ１の信号をメモリ102 に記録し、長い電荷蓄積期間ＣＬ１の信号がＣＣＤ101 から読み出されるのとほぼ同じタイミングでメモリ102 から読み出す。メモリ102 から読み出した信号を、乗算器103 を用いて、ＣＬ１／ＣＳ１倍、例えば４倍する。この倍率を掛けることにより、電荷蓄積期間の異なる信号での、同じ被写体の信号レベルを原理的に同じレベルとする。
【０００６】
次に、信号レベルに対応した重みを、レベル重み手段Ｈ105 で付ける。電荷蓄積期間ＣＬ１に対応する信号に対しても、レベル重み手段Ｌ104 で重みを付ける。それぞれの重みの特性は図23に示され、横軸は入力信号レベルであり、縦軸は信号に付する重み係数である。レベル重みＬは入力信号レベルの80％までは１の重みとし、80％から 100％までは直線的に重みの値を下げ、入力レベル 100％で重み係数を０とする。これに対し、レベル重みＨは入力信号レベルの80％までは０の重みとし、80％から 100％までは直線的に重みの値を上げ、入力レベル 100％で重み係数を１とする。入力レベル 100％以上は重み係数は全て１とする。このようにしてダイナミックレンジの異なる画像信号に重みを付け、加算器106 で加算することにより合成し、１枚の画像とする。この重み付けにより画像の状態のよい部分（Ｓ／Ｎがよく、飽和していない部分）を抽出し、ダイナミックレンジの広い画像を合成する。合成された画像は、ＣＣＤ101 の信号読み出しの段階で、通常の約２倍の速度としているため、標準テレビ信号の走査に対応するように、速度変換器107 で信号の走査速度を１／２に変換する。また、合成された画像の信号レベルは、最大で 400％となるが、レベル圧縮手段108 でレベルを 100％に圧縮する。なお、図22において、109 はタイミング制御部である。
【０００７】
このように、電荷蓄積期間の異なる２つの信号に対して電荷蓄積期間の違いによる信号レベルの違いを補正し、これらの画像信号から信号が飽和せずまた十分なＳ／Ｎを保った部分に、大きな重みを付けることにより、選択すると同時に２つの画像信号を滑らかに合成し、ダイナミックレンジが広く、信号振幅の大きくなった信号を圧縮して標準信号レベルに変換して出力することにより、ダイナミックレンジの狭いＣＣＤの電荷蓄積期間を制御した２つの画像信号から、ダイナミックレンジを拡大した画像を合成する。
【０００８】
【発明が解決しようとする課題】
ところで、上記特開平４−２０７５８１号公報には、露光量の異なる２つの撮像信号のうち、先に露光量の小さい画像を撮像素子の電子シャッタ機能を用いて撮影し、その後、露光量の大きい画像を遮光手段（シャッタ）で電荷蓄積時間を制御して撮影する手法が開示されているが、電子カメラにおいて遮光手段を用いた場合、遮光手段は通常開状態であり、この開状態を閉状態へ移行させて電荷蓄積時間を制御させるようになっており、この場合、撮像素子の受光面の位置により電荷蓄積時間に差異が生じ、これによりシェーディングが発生する。しかし、この点については上記公報開示のものにおいては何も考慮がなされていないし、またシェーディングが発生しないような手段についても考慮がなされていない。更に、遮光手段による蓄積期間の制御は、撮像素子の電子シャッタに比べて精度が余りよくないという問題点がある。
【０００９】
また、上記公報開示の技術においては、異なる露光量の２つの撮像信号を得る際に、２つの撮像信号の露光量比を正確に設定することについては、やはり何も考慮がなされておらず、また閃光発光手段を用いた場合の問題点についても考慮がなされていない。更には、電子カメラ等の撮像装置において、露出設定手段（ＡＥ）、ホワイトバランス設定手段（ＷＢ）、ゲインコントロール手段、絞り制御手段等を備えている場合において、露光量の異なる２つの撮像信号を合成して広ダイナミックレンジ画像を得る場合に、それらをどのように対応させるかについても考慮がなされていない。
【００１０】
また、上記特開平６−１４１２２９号公報には、２つの露光量の異なる撮像信号を合成して広ダイナミックレンジ画像を合成する際に、重み係数を変化させながら滑らかに合成する手法が示されているが、カラー画像を合成した場合の偽色の問題については考慮がなされていないし、また、ストロボ使用時の問題点についても開示するところがない。
【００１１】
本発明は、従来の露光量の異なる複数の撮像信号を合成して広ダイナミックレンジ画像を形成する撮像装置における上記問題点を解消するためになされたもので、請求項１記載の発明は、電子シャッタ機能を有する単一の撮像素子と、該撮像素子の受光面を遮光する遮光手段を備え、同一被写体の露光量の異なる２つの撮像信号を合成し、広ダイナミックレンジ画像を得るようにした電子カメラにおいて、長時間の撮像素子の電荷蓄積時間を制御する場合においても、高精度に電荷蓄積時間を制御できるようにした電子カメラを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、電荷蓄積時間を制御して露光量を任意に制御できる電子シャッタ機能を有する単一の撮像素子と、該撮像素子の受光面を遮光する遮光手段を備え、前記撮像素子から同一被写体の露光量の異なる２つの撮像信号を読み出し合成を行うことにより、拡大された広ダイナミックレンジ画像を得るようにした電子カメラにおいて、露光量の大きい撮像信号を得るための撮像素子の電荷蓄積時間が、該撮像素子の全画素読み出しに要する期間よりも短く設定される場合は、撮像素子の電子シャッタ機能を用いて露光量の小さい撮像信号を生成したのち、遮光手段で撮像素子の電荷蓄積時間を制御して露光量の大きい撮像信号を生成するようにし、露光量の大きい撮像信号を得るための撮像素子の電荷蓄積時間が、該撮像素子の全画素読み出しに要する期間よりも長く設定される場合は、前記遮光手段に代え、撮像素子の電子シャッタ機能を用いて露光量の大きい撮像信号を生成するように、前記電子シャッタ機能と前記遮光手段を制御する如く構成するものである。このように構成することにより、露光量の大きい撮像信号を生成するための撮像素子の電荷蓄積時間が、該撮像素子の全画素読み出しに要する期間よりも長く設定される場合は、電荷蓄積時間の設定に電子シャッタを用いることが可能となるので、その場合に遮光手段より高精度の電子シャッタを用いることにより、電荷蓄積時間を高精度に制御することができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。まず、本発明を適用する電子カメラの基本的な全体構成を、図１に示すブロック構成図に基づいて説明する。図１において、１は光信号を電気的な信号に光電変換する単板カラーＣＣＤ撮像素子で、電子シャッタ機能をもつものであり、該ＣＣＤ撮像素子１には、レンズ２及び絞り・シャッタ機構３を通って、被写体光が入力されるようになっている。ＣＣＤ撮像素子１の出力は、相関二重サンプリング回路等でノイズを除去されたのちアンプ４で増幅される。５はアナログデータであるアンプ４の出力をデジタルデータに変換するＡ／Ｄ変換器で、６はＣＣＤ撮像素子１からの信号を映像データとして処理するカメラ信号処理回路である。７は、本来の撮影に先立ってＣＣＤ撮像素子１からの撮像信号等を用いて、フォーカスを制御するためにＡＦ情報を取り出すＡＦ検波回路、露出を制御するためにＡＥ情報を取り出すＡＥ検波回路及びホワイトバランスを設定するためにＡＷＢ情報を取り出すＡＷＢ検波回路であり、このＡＦ，ＡＥ，ＡＷＢ検波回路７からの出力信号はＣＰＵ８を介して、レンズ２へＡＦ情報を、絞り・シャッタ機構３へＡＥ情報を、カメラ信号処理回路６へＡＷＢ情報を与えるようになっている。
【００１４】
９はデータ量を圧縮処理する圧縮回路（ＪＰＥＧ）で、該圧縮回路９で圧縮処理された画像データが、メモリカードＩ／Ｆ14を介してメモリカード15へ記録されるようになっている。10はメモリコントローラで、11はＤＲＡＭであり、これらは映像データの色処理等を行う際に作業用メモリとして用いられるものである。12は表示回路で、13はＬＣＤ表示部であり、これらはメモリカード15に記録されたデータを読み出し表示させ、撮影状態の確認などに用いられる。16はメモリカード15に記録されているデータをパソコン17へ転送するために用いるパソコンＩ／Ｆである。なお、図１において、18はＣＣＤ撮像素子１を駆動するタイミングパルスを発生するタイミングジェネレータであり、ＣＰＵ８の制御にしたがってＣＣＤ撮像素子１を駆動するものである。19はストロボ機構で、ＡＥ情報によりＣＰＵ８を介して制御される。20はＣＰＵの入力キーで、各種撮影モードの設定、トリガースイッチの駆動等が行えるようになっている。
【００１５】
次に、このように構成されている電子カメラにおいて、露光量の異なる２つの撮像信号を読み出し合成することによって、拡大された広ダイナミックレンジ画像を得る手法における、本発明にかかる具体的な第１の実施の形態について説明する。先に説明した特開平４−２０７５８１号公報に開示されている従来例においては、図２に示すように、露光量の小さい撮像信号を得るための第１の撮影は、ＣＣＤ撮像素子の電子シャッタ機能を用いて行い、露光量の大きい撮像信号を得るための第２の撮影は、遮光手段（シャッタ）を用いて行うようにしている。なお、図２において、(1) は第１の撮影、(2) は第２の撮影、ＶＤは垂直同期信号、Ｔ₂は第２の撮影の電荷蓄積時間を示している。
【００１６】
これに対して、本発明の第１の実施の形態においては、図３に示すように、露光量の小さい撮像信号を得るための第１の撮影(1) は、従来例と同様にＣＣＤ撮像素子の電子シャッタ機能を用いて行うが、露光量の大きい撮像信号を得るための第２の撮影(2) のＣＣＤ撮像素子の電荷蓄積時間Ｔ₂が、ＣＣＤ撮像素子の全画素読み出しに要する時間（通常１垂直同期信号期間）Ｔ₀よりも長く設定される場合（この設定は被写体の態様に応じて行われる）、ＣＣＤ撮像素子の電子シャッタ機能を用いて露光量の大きい撮像信号を生成するように構成するものである。
【００１７】
すなわち、この露光量の大きい撮像信号を得るためのＣＣＤ撮像素子の電荷蓄積時間の終了時点では、露光量の小さい撮像信号の読み出し動作が完了しているので、この露光量の大きい撮像信号を得るための電荷蓄積時間の設定に電子シャッタ機能を用いることが可能となり、このように電子シャッタ機能を用いることにより、遮光手段を用いた場合よりも、電荷蓄積時間を高精度に制御することができ、２つの撮像信号の露光量比を正確に設定することが可能となる。なお、上記ＣＣＤ撮像素子及び遮光手段等の動作は、全てＣＰＵからの制御信号によって制御されるようになっている。
【００１８】
次に、第２の実施の形態について説明する。電子カメラにおいて遮光手段を備えている場合、通常遮光手段を開状態にして使用されており、電荷蓄積時間を設定して撮影する場合は、遮光手段を閉状態とすることによって蓄積時間を設定するようにしている。なお、電荷蓄積時間の開始は、電子シャッタと同様にＣＣＤ撮像素子へシャッタパルスを印加し不要電荷を排出して光電変換を開始することにより行う。したがって、遮光手段としてフォーカルプレーンシャッタを用いた場合は、後幕のみが動作して電荷蓄積時間を設定することになるが、後幕の動きにより、図４に示すように、ＣＣＤ撮像素子の受光面21においては、その位置（例えば先端と後端）により各画素の電荷蓄積時間に差異が生じ、それに伴い撮像信号には一定の傾きのシェーディング22の発生が避けられない。なお、図４において、シャッタ位置Ａ，Ｂは後幕の先端部の位置を示している。
【００１９】
本実施の形態においては、この点を解消するため、前記傾きの逆数の特性をもつシェーディング補正手段を設け、シェーディング補正を行うものである。なお、このシェーディング補正手段は、カメラ信号処理回路中等に設けられ、信号処理によりシェーディング補正が行われる。
【００２０】
次に、第３の実施の形態について説明する。この実施の形態は、電荷蓄積時間の設定を行う遮光手段としてフォーカルプレーンシャッタを用いた場合に、シェーディングの発生を阻止できるようにしたものである。すなわち、図５に示すように、まずＣＣＤ撮像素子の電子シャッタ機能を用いて露光量の小さい第１の撮影(1) を行い、第１の撮像信号を生成する。そして、上記電子シャッタ動作の終了直後に、一旦ＣＣＤ撮像素子への電荷蓄積動作を停止させる。これは不要電荷の排出動作を継続させることなどにより行われる。この電荷蓄積の停止期間ｔ₁に、フォーカルプレーンシャッタの先幕及び後幕の両方の幕を使える状態にするため、フォーカルプレーンシャッタのシャッタチャージを行う。そしてシャッタチャージの完了後、ＣＣＤ撮像素子の電荷蓄積動作を開始させ、次いでフォーカルプレーンシャッタの、両方の幕が動作する通常のシャッタ動作を行わせて、露光時間（実際の電荷蓄積時間）ｔ₂の制御を行って第２の撮影(2) を行い、第２の撮像信号を生成する。この第２の撮像信号は、通常のフォーカルプレーンシャッタ動作により得られるものであるから、シェーディングの発生はなく、したがって、シェーディング補正手段も不要となる。なお、図５において、Ａ，Ｂは後幕の先端部の位置（図４のＡ，Ｂに対応する位置）を示している。
【００２１】
次に、第４の実施の形態について説明する。この実施の形態は、図６に示すように、ＣＣＤ撮像素子１とは別個の測光素子31をＣＣＤ撮像素子１の近傍に配設し、１回目の撮影時に前記測光素子31により測定された実測露光量に基づいて、予め設定された２回の撮影における露光量比に対応するように、２回目の撮影時におけるＣＣＤ撮像素子１の電荷蓄積時間を設定するように構成するものである。
【００２２】
すなわち、２回の撮影における露光量比は、予め例えば１：８又は１：16に設定されている。そこで撮影に先立って求められたＡＥ値の１／８又は１／16の露光量となるように、電荷蓄積時間を設定して、図７に示すように１回目の撮影(1) を行い、第１の撮像信号を生成する。その際、測光素子31により実際の露光量を測定する。そして、その実測露光量に基づいて、予め設定されている２回の撮影における露光量比（例えば１：８又は１：16）に対応するように、２回目の撮影時におけるＣＣＤ撮像素子の電荷蓄積時間を設定して、２回目の撮影(2) を行い第２の撮像信号を生成する。そして、２つの撮像信号を合成処理して広ダイナミックレンジ画像を形成する。この場合、測光素子により測定された実測露光量に基づいて２回目の撮影(2) における電荷蓄積時間を設定するようにしているので、２つの撮像信号の実際の露光量比を高精度に制御することができる。
【００２３】
次に、第５の実施の形態について説明する。この実施の形態は、ストロボを併用して撮影を行う場合のストロボ発光タイミングを適切にして、合成画像における偽色の発生を極力阻止できるようにしたものである。すなわち、図８に示すように、ストロボを１回目の撮影(1) における電荷蓄積時間の後半ｔ₃のタイミング及び２回目の撮影(2) の電荷蓄積時間の前半ｔ₄のタイミングの、いずれか一方又は両方のタイミングで発光させるように構成するものである。
【００２４】
これにより、２回の撮影において時間差が生じるのは避けられないが、これを最小限に抑え、合成画像における偽色の発生を極力低減することができる。また、時間差を小さくすることにより、手ぶれの影響も低減することができる。
【００２５】
次に、第６の実施の形態について説明する。この実施の形態もストロボ発光を用いて露光量の異なる２つの撮像信号を生成するものであるが、実際のストロボの発光量にはばらつきがあるので、測光素子を用いて発光量比を実測し、その発光量比に対応して露光量比を設定するようにしたものである。すなわち、図９に示すように、ＣＣＤ撮像素子１の近傍に測光素子31を配設し、ストロボ機構19により２回の撮像時の両方の撮影において発光させる。この２回のストロボ発光量は、予め設定される露光量比、例えば１：８又は１：16になるように設定され、図10に示すように、１回目の撮影時の後半のタイミング及び２回目の撮影時の前半のタイミングで発光される。しかしながら、実際のストロボ発光にはばらつきがあるので、前記測光素子31により２回のストロボ発光量比を測定し、その実測発光量比に対応するように、２回目の撮影時における電荷蓄積時間を設定する。これにより、ストロボ発光を用いて２つの露光量の異なる撮像信号を生成する場合においても、ストロボ発光にばらつきがあってもストロボ発光量比に対応させて露光量比を高精度に制御することができる。なお、この場合、２つの撮像信号の合成処理は、実測発光量比に対応する露光量比に基づいて行われる。
【００２６】
次に、第７の実施の形態について説明する。一般に、ストロボ発光には余剰発光が伴う。すなわち、図11の（Ａ）に示すように、ストロボ発光は発光停止後も余剰発光が伴い山なりの形状となるが、これを積分値で表すと図11の（Ｂ）に示すように飽和して行く形状となる。この余剰発光による発光量の誤差は発光量が小さいほど、その割合が大きく現れる。そこで、本実施の形態においては、２回の発光のうち、１回目の小発光のときには、発光停止タイミング（発光停止信号のタイミング）とＣＣＤ撮像素子の電子シャッタ動作の終了タイミングとを同じにして、露光量比の設定に余剰発光の影響をなくすようにするものである。
【００２７】
次に、第８の実施の形態について説明する。この実施の形態は、２つの露光量の異なる撮像信号を生成するときに、２回の撮影時にレンズの絞り値を一定にして、被写界深度の等しい撮像信号を得るようにするものである。これにより、ピントの合っている画像と合っていない画像を合成することで生じる偽色を防ぐことができる。
【００２８】
絞り値としては、撮影に先立って露出設定手段によって求められた最適絞り値とシャッタ速における絞り値を用いる。そして、上記最適絞り値とシャッタ速は、露光量の大なる撮像信号の撮影時に用い、露光量の小さな撮像信号の撮影時には、上記同一の絞り値を用い、シャッタ速は予め設定されている露光量比に対応させて設定する。
【００２９】
また、露出設定手段において最適絞り値及びシャッタ速を求める際の測光は、ＣＣＤ撮像素子を用いて行ってもよいし、またＣＣＤ撮像素子とは別個に設けた外部測光素子を用いて行ってもよい。
【００３０】
次に、第９の実施の形態について説明する。この実施の形態は、２つの異なる露光量の撮像信号を生成し合成する場合、合成を行う前の２つの撮影信号に対して、同一のホワイトバランス補正値を用いてホワイトバランス補正を行うものである。これにより合成画像における偽色の発生を防止することができる。
【００３１】
そして、上記ホワイトバランス補正に用いる補正値としては、撮影に先立ってホワイトバランス設定手段により求められたホワイトバランス補正値を用い、合成を行う前の２つの撮像信号に対してホワイトバランス補正を行う。また、ホワイトバランス補正値は、実際に求められた２つの撮像信号に基づいて設定してもよい。
【００３２】
また、一般にホワイトバランスは画像の主被写体となる部分において設定する必要があり、画像の主被写体となる部分は大なる露光量の撮像信号に含まれている可能性が大きい。したがって、ホワイトバランス補正値を２つの撮像信号のうち、大なる露光量の撮像信号に基づいて求めることにより、効率的にホワイトバランス補正値を求めることができ、主被写体のホワイトバランスを最適にして合成処理を行うことができる。
【００３３】
次に、第10の実施の形態について説明する。この実施の形態では、合成処理を行う前の２つの露光量の異なる撮像信号に対して、それぞれホワイトバランスの補正を行うのではなく、合成処理後の画像に対してホワイトバランスの補正を行うように構成するものである。これにより、効率的にホワイトバランスの補正を行うことができる。そして、この場合に用いるホワイトバランス補正値も、撮影に先立ってホワイトバランス設定手段により求められたホワイトバランス補正値でもよいし、また合成を行った後の画像に基づいて求めたものでもよい。また合成を行う前の２つの撮像信号に基づいて設定したものでもよく、またこの場合は、合成を行う前の２つの撮像信号のうち、露光量を大きい撮像信号に基づいてホワイトバランス補正値を設定してもよい。
【００３４】
次に、第11の実施の形態について説明する。通常、露光量の異なる２つの撮像信号はゲインを固定して合成処理を行うが、かかる合成処理を行う電子カメラにおいて、例えば１：８の露光量比で撮影して２つの撮像信号を生成する場合、１／４：１／32のシャッタ速比が必要となるが、シャッタ機構においては通常１／４，１／８，１／15，１／30，１／60，１／125,１／250,１／500 ・・・・・のシャッタ速を備えており、１／４：１／30のシャッタ速で対応させると、正確な露光量比の撮像信号を生成することはできない。
【００３５】
そこで、本実施の形態においては、図12に示すように、アンプ４の後段にゲインコントロール手段35を設け、２つの露光量の異なる撮像信号に対して、それぞれ異なるゲイン値を設定できるように構成するものである。そして、その際、２つの撮像信号の露光量比が予め設定された露光量比（画像合成比）に対応するように、２つの撮像信号に対するゲイン値を設定する。これにより、シャッタ速が露光量比に正確に適合できない場合でも、例えば、上記例示の場合では１／30のシャッタ速で撮影した撮像信号のゲイン値を変えて、１／32のシャッタ速で撮影した場合と等価な撮像信号を得ることができ、高精度で露光量比に設定された２つの撮像信号を生成することができる。
【００３６】
次に、第12の実施の形態について説明する。この実施の形態では、２つの露光量の異なる撮像信号を生成する際に、電荷蓄積時間は一定にしておいてレンズの絞り値を変えて、露光量の異なる撮像信号を生成するように構成するものである。これにより、電荷蓄積時間を高精度に制御することなく予め設定された露光量比の撮像信号を得ることができる。
【００３７】
この際、レンズの絞り値を変えることにより、周辺減光（画角のCOS の４乗に比例して照度が低下する現象）の度合いが変化する。この周辺減光を除去するために、図13に示すように、絞り制御回路41による絞り制御に対応させて周辺減光を補正するための周辺減光補正回路42を配設する。これにより、レンズ絞り値の変化により生じる周辺減光を補正することができる。
【００３８】
また、図13に示すように、ストロボ発光を用いて２つの露光量の異なる撮像信号を生成する場合にも、発光量の等しい２回の発光を行わせ、レンズの絞り値を変えて露光量の異なる撮像信号を生成する。これにより、ストロボの発光量を精度よく制御する必要がなく、ストロボ発光量比と周囲光の露光量比とを等しく設定することができる。
【００３９】
次に、第13の実施の形態について説明する。この実施の形態は、２つの露光量の異なる撮像信号を合成して広ダイナミックレンジの合成画像を形成する際における画像の合成手法に関するものである。
【００４０】
先に述べたように、特開平６−１４１２２９号公報開示の画像合成手法は、基本的には露光量の大なる撮像信号における飽和した部分を、露光量の小さな撮像信号で置き換え、その置き換えに際して、露光量比によるゲイン補正を行って、線形で広ダイナミックレンジの合成画像信号を得るようにしているものであるが、その合成処理時に、傾斜重み係数をもたせることによって、オーバーラップするような滑らかな切り換えが行われるようにしている。
【００４１】
しかしながら、カラー画像信号にこの手法を単純に適用した場合、次のような問題点が生じる。すなわち、図14に示すように、輝度に対して出力レベルが異なるＧ，Ｒ信号があるとし、そして、 100％というレベルを決めて上記のような重み係数で合成した場合には、実際には素子のばらつきにより、露光量比に対応させて合成処理を行っても、線形の合成出力が得られない場合が多い。なお図14において実線がＧ，Ｒ信号の合成画像データを示しており、図示の場合は露光量の小さい画像データが露光量比よりも実際のレベルが小さいことを示している。このような場合に、線形性がくずれている部分の範囲αにおいて、Ｇ信号とＲ信号の比率が変わってくるので、色が正しく再現されず偽色となって現れる。上記公報開示のものにおいては、この点については何も考慮がなされていない。
【００４２】
これに対して、特開平７−１３１７０８号公報においては、実際に合成するときの露光量の大なる撮像信号と露光量の小なる撮像信号の合成比率を、実際の画像データから求めたものを用いて合成する手法が開示されており、この合成手法を適用すれば、基本的には前記特開平６−１４１２２９号公報開示の手法における問題点は解消される。
【００４３】
しかしながら、この特開平７−１３１７０８号公報開示の合成手法に対して、ストロボ発光を適用した場合には、次のような問題点が生じる。すなわち、ここで、ストロボ発光撮影のシーンとして、図15に示すように、室内の左側に壁があって該壁に対してストロボを発光させた場合、ストロボ光に対して手前が明るく奥へ行くほど暗くなるという輝度のグラデーションが生じるような態様を考える。このような態様において、周辺光は一定レベルと仮定し、ストロボを発光させて長時間露光（露光量大）で撮影した場合、位置に対する画像データのレベルの様子は、図16の（Ａ）の模式図に示すように表される。一方、露光量及びストロボ発光量の比率（例えば１：４）を変えて短時間露光（露光量小）で撮影した場合は、図16の（Ｂ）において点線で示すような画像データとなり、この画像データのゲイン補正（例えば４倍）したものが実線で示すように表される。
【００４４】
このゲイン補正した周辺光レベルは、図16の（Ａ）に示した長時間露光における周辺光レベルと同じになる。しかし、ストロボ光は実際には正確な比率（例えば１：４）で発光させることは困難で、ばらつきが生じる。この図示例では、短時間露光におけるストロボ発光量が多めの場合を示している。このような図16の（Ａ），（Ｂ）に示した長時間露光の撮像信号と短時間露光の撮像信号を合成した場合、図17に示すように、周辺光に依存している部分は正しく合成されるが、ストロボ光のグラデーションが生じている部分では、発光量比のばらつきにより、図示のように合成画像に輝度の段差が生じてしまう。この段差部分では擬似輪郭が発生し、壁などで滑らかに輝度が変化する場合でも輪郭があるように合成されてしまうという問題がある。
【００４５】
そこで、本実施の形態では、このような問題点を解消しようとするもので、長時間露光（露光量大）の撮像信号におけるＲ，Ｇ，Ｂ色信号のいずれかの色信号で飽和が生じて、短時間露光（露光量小）の信号に置き換える状態が生じたとき、同時に全ての色信号に対して同様に置き換えを行うようにし、そして置き換えを行うときには、全ての色信号に同じ重み付けを行いながら加算処理して、置き換えを行うものである。
【００４６】
すなわち、図18に示すように、例えば長時間露光のＧ信号が 100％の飽和レベルに達すると、重み付け加算によりゲイン補正された短時間露光の信号に置き換えられる。それと同時に、Ｒ信号も同じ重み係数を用いてゲイン補正された短時間露光の信号に切り換える。その際、多少の誤差があっても全ての色信号に対して同じ重み係数を用いて切り換えを行うようにしているので、その切り換わり点で偽色が発生するという問題は解消される。そして、重み係数を、先に示した特開平６−１４１２２９号公報に開示されている重み係数（図23参照）と同様に、切り換わり部分でオーバーラップするように変化させて滑らかに合成し、長時間露光の信号を短時間露光の信号に置き換えることにより、図19に示すように合成信号においても、輝度変化が徐々に生じ、ストロボ発光を用いた場合でも擬似輪郭の発生を防止することができる。
【００４７】
具体的な合成処理回路としては、図20に示すように、ＣＣＤ撮像素子１からの撮像信号をＡ／Ｄ変換器５でＡ／Ｄ変換し、合成回路51で合成処理を行い、圧縮回路52で圧縮処理して、出力系のダイナミックレンジに合わせるような動作を行わせるような構成のものであればよい。そして合成回路は、例えば図21に示すように、長時間露光のカラー撮像信号における色信号Ｒ_L, Ｇ_L, Ｂ_Lのうち、最大（輝度）のものを出力させる最大値検出回路61と、この最大値検出回路61を介して出力された最大値をもつ色信号の輝度に対応して重み係数を発生させる重み係数発生回路62と、該重み係数発生回路62で設定されたそれぞれ同一の重み係数を、長時間露光のカラー撮像信号の各色信号Ｒ_L, Ｇ_L, Ｂ_L並びに短時間露光のカラー撮像信号の各色信号Ｒ_S, Ｇ_S, Ｂ_Sにそれぞれ乗じるための乗算器63，64と、重み係数を乗じた各色信号を、色信号毎にそれぞれ加算する加算器65とで構成される。なお、色信号Ｒ_S, Ｇ_S, Ｂ_Sは電荷蓄積時間の違いによる信号レベルの違いを電荷蓄積時間の比、又は実際の画像データから求めた係数でゲイン補正した信号である。
【００４８】
このように構成された合成回路では、長時間露光のカラー撮像信号の各色信号Ｒ_L, Ｇ_L, Ｂ_Lのうち最大値を有するものを、最大値検出回路61で検出して出力し、その検出出力された最大値の色信号の輝度値に応じて、重み係数発生回路62で長時間露光及び短時間露光の各色信号に対する重み係数を発生させ、長時間露光の撮像信号の各色信号Ｒ_L, Ｇ_L, Ｂ_L及び短時間露光の撮像信号の各色信号Ｒ_S, Ｇ_S, Ｂ_Sに対してそれぞれ同一の重み付け係数を、乗算器63，64で乗算したのち、各重み付けされた色信号をそれぞれ加算器65で加算し、広ダイナミックレンジのＲ, Ｇ, Ｂ合成信号を生成する。なお、この実施の形態では色信号としてＲ, Ｇ, Ｂ信号を用いて説明したが、これに限らず、補色系など他の色信号に対しても、同様に適用することができる。
【００４９】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１記載の発明によれば、撮像素子の電子シャッタ機能と遮光手段とを用いて露光量の異なる２つの撮像信号を生成し合成して広ダイナミックレンジ画像を形成する電子カメラにおいて、大なる露光量の撮像信号を得るための電荷蓄積時間が全画素読み出しに要する時間よりも長く設定される場合に、電子シャッタ機能を用いて撮影するように構成しているので、露光量の大なる撮影時における電荷蓄積時間を高精度で制御することができる。
【図面の簡単な説明】
【図１】本発明を適用する電子カメラの基本的な全体構成を示すブロック構成図である。
【図２】従来の電子シャッタ機能と遮光手段を用いて露光量の異なる２つの撮像信号を生成する態様を説明するためのタイミングチャートである。
【図３】本発明に係る電子カメラの第１の実施の形態における露光量の異なる２つの撮像信号を生成する態様を説明するためのタイミングチャートである。
【図４】露光量の異なる２つの撮像信号を生成する際に、遮光手段を用いた場合の問題点を説明するための説明図である。
【図５】本発明の第３の実施の形態において、露光量の異なる２つの撮像信号を生成する態様を説明するためのタイミングチャートである。
【図６】本発明の第４の実施の形態の主要部の構成を示す概略ブロック図である。
【図７】図６に示した第４の実施の形態における動作を説明するためのタイミングチャートである。
【図８】本発明の第５の実施の形態において、露光量の異なる２つの撮像信号を生成する態様を説明するためのタイミングチャートである。
【図９】本発明の第６の実施の形態の主要部の構成を示す概略ブロック図である。
【図10】図９に示した第６の実施の形態の動作を説明するためのタイミングチャートである。
【図11】ストロボの余剰発光の態様を説明するための説明図である。
【図12】本発明の第11の実施の形態の主要部の構成を示す概略ブロック図である。
【図13】本発明の第12の実施の形態の主要部の構成を示す概略ブロック図である。
【図14】従来の画像合成手法を用いて露光量の異なるカラー画像信号を合成して広ダイナミックレンジ合成画像を生成する場合に発生する問題点を説明するための説明図である。
【図15】壁面に対してストロボ光を発光させた場合にグラデーションが生じる態様を説明するための説明図である。
【図16】図15に示した態様で発光量を変えてストロボを発光させた場合の、位置に対する画像データのレベルの変化及びそのゲイン補正の態様を示す図である。
【図17】図16に示した画像データを合成して合成画像を生成した場合の問題点を説明するための説明図である。
【図18】本発明の第13の実施の形態におけるカラー合成画像の合成された各色信号の態様を示す図である。
【図19】図15に示した態様の壁面空間にストロボを発光させて、第13の実施の形態により合成処理した場合のカラー合成画像信号を示す図である。
【図20】本発明の第13の実施の形態による合成処理を実現するための構成を示す概略ブロック図である。
【図21】図20における合成回路の構成例を示す回路構成図である。
【図22】従来の２つの露光量の異なる撮像信号を合成して広ダイナミックレンジ画像を形成する合成処理手段の回路構成図である。
【図23】図22の合成処理手段における入力レベルに対する重みの特性を示す図である。
【符号の説明】
１ＣＣＤ撮像素子
２レンズ
３絞り・シャッタ機構
４アンプ
５Ａ／Ｄ変換器
６カメラ信号処理回路
７ＡＥ，ＡＦ，ＡＷＢ検波回路
８ＣＰＵ
９圧縮回路
10 メモリコントローラ
11 ＤＲＡＭ
12 表示回路
13 ＬＣＤ
14 メモリカードＩ／Ｆ
15 メモリカード
16 パソコンＩ／Ｆ
17 パソコン
18 タイミングジェネレータ
19 ストロボ機構
21 ＣＣＤ撮像素子の受光面
22 一定傾きのシェーディング
31 測光素子
35 ゲインコントロール手段
41 絞り制御回路
42 周辺減光補正回路
51 合成回路
52 圧縮回路
61 最大値検出回路
62 重み係数発生回路
63，64 乗算器
65 加算器

Claims

電荷蓄積時間を制御して露光量を任意に制御できる電子シャッタ機能を有する単一の撮像素子と、該撮像素子の受光面を遮光する遮光手段を備え、前記撮像素子から同一被写体の露光量の異なる２つの撮像信号を読み出し合成を行うことにより、拡大された広ダイナミックレンジ画像を得るようにした電子カメラにおいて、露光量の大きい撮像信号を得るための撮像素子の電荷蓄積時間が、該撮像素子の全画素読み出しに要する期間よりも短く設定される場合は、撮像素子の電子シャッタ機能を用いて露光量の小さい撮像信号を生成したのち、遮光手段で撮像素子の電荷蓄積時間を制御して露光量の大きい撮像信号を生成するようにし、露光量の大きい撮像信号を得るための撮像素子の電荷蓄積時間が、該撮像素子の全画素読み出しに要する期間よりも長く設定される場合は、前記遮光手段に代え、撮像素子の電子シャッタ機能を用いて露光量の大きい撮像信号を生成するように、前記電子シャッタ機能と前記遮光手段を制御する如く構成したことを特徴とする電子カメラ。