JP5532621B2 - 電子カメラ及び画像処理プログラム - Google Patents

Description

本発明は、閃光などの補助光を用いた撮影時に取得された画像に対してホワイトバランス補正を施す電子カメラ及び画像プログラムに関する。

デジタルカメラ等の電子カメラにおいては、閃光などの補助光を発光させた撮影を行ったときに取得される画像に対しては、環境光の色温度又閃光の色温度のいずれか一方に基づいたホワイトバランス補正が実行される。例えば環境光が白色光の場合、環境光の色温度に基づいたホワイトバランス補正を行うと、閃光が届く範囲の被写体が青味を帯びた画像となり、閃光の色温度に基づいたホワイトバランス補正を行うと、閃光が届かない範囲の被写体が色味のない画像となる。このため、閃光を予備発光させた前後に取得される画像から、これら画像における被写体の輝度値の変化量と閃光が被写体輝度に及ぼす影響度とをそれぞれ算出し、これら値からストロボ撮影時に得られる画像に対して施されるホワイトバランス補正を求める技術が提案されている（特許文献１参照）。

上述した技術を用いることで、例えば輝度分布のばらつきが少ない環境下における撮影で得られる画像に対しては、適切なホワイトバランス補正を施すことが可能となる。しかしながら、逆光時のストロボ撮影などのコントラストの高い（輝度分布にばらつきが大きい）環境下での撮影においては、主要被写体の微妙な変化によって生じる輝度分布の変化が閃光の影響によるものであるか否かを正確に反映することができないこともあり、撮影により取得される画像に対して、適切なホワイトバランス補正を施すことができない。

本発明は、被写界における輝度分布のばらつきに関係なく、撮影時に取得された画像に対して適切なホワイトバランス補正を施すことができるようした電子カメラ及び画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の電子カメラは、補助光を発光させて画像を取得する際に、前記補助光が発光される前後の被写界の輝度を求め、前記補助光が発光される前後の前記被写界の輝度から前記補助光の有無に伴う前記被写界の輝度の変化量を求める算出部と、前記算出部によって求められた前記輝度の変化量に基づいて、前記補助光の影響度に基づく色バランス補正を設定する設定部と、前記補助光が発光される前の前記被写界の輝度分布を算出する輝度分布算出部と、前記輝度分布算出部によって求められた前記補助光が発光される前の前記被写界の輝度分布のばらつきに基づいて、前記設定部により設定された色バランス補正における前記補助光の影響度を調整する調整部と、前記調整部によって調整された前記補助光の影響度に基づき色バランス補正を調整し、取得された画像に対する色バランス補正を行う色バランス補正部と、を備えたことを特徴とする。なお、補助光としては、閃光装置によって発光する閃光が挙げられる。

また、前記補助光が発光される前後の画像を取得する画像取得部を備え、前記算出部は、前記補助光が発光される前後の画像を用いて、前記補助光が発光される前後の前記被写界の輝度を求めることが好ましい。

また、前記被写界に対する測光を行う測光部と、前記補助光の発光時に前記画像を取得する画像取得部と、を備え、前記輝度分布算出部は、前記測光部の測光結果及び前記画像取得部により取得された画像を用いて、前記補助光が発光される前後の前記被写界の輝度分布を求めることが好ましい。

また、前記調整部は、前記補助光が発光される前の前記被写界の輝度分布にばらつきが所定値以上である場合、前記設定部により設定された色バランス補正における前記補助光の影響度を調整し、前記補助光が発光される前の前記被写界の輝度分布にばらつきが所定値未満である場合、前記設定部により設定された色バランス補正における前記補助光の影響度を調整しないことが好ましい。
また、前記調整部は、前記補助光が発光される前の前記被写界の輝度分布を参照して、被写界の輝度分布におけるばらつきが大きいほど、前記設定部によって設定される前記色バランス補正を前記補助光の影響度を重視した色バランス補正に調整することが好ましい。

また、前記輝度分布算出部は、前記補助光が発光される前の前記被写界の輝度分布の他に、前記補助光が発光された後の前記被写界の輝度分布を求め、前記調整部は、前記補助光が発光される前後の前記被写界の輝度分布の変化量が大きいほど、前記設定部によって設定される前記色バランス補正を前記補助光の影響度を重視した色バランス補正に調整することが好ましい。

また、本発明の画像処理プログラムは、補助光を発光させて画像を取得する際に、前記補助光が発光される前後の被写界の輝度を求め、前記補助光が発光される前後の前記被写界の輝度から、前記補助光の有無に伴う前記被写界の輝度の変化量を求める算出工程と、前記算出工程によって求められた前記輝度の変化量に基づいて、前記補助光の影響度に基づく色バランス補正を設定する設定工程と、前記補助光が発光される前の前記被写界の輝度分布を算出する輝度分布算出工程と、前記輝度分布算出工程によって求められた前記補助光が発光される前の前記被写界の輝度分布のばらつきに基づいて、前記設定工程により設定された色バランス補正における前記補助光の影響度を調整する調整工程と、前記調整工程によって調整された前記補助光の影響度に基づき色バランス補正を調整し、取得された画像に対する色バランス補正を行う色バランス補正工程と、をコンピュータに実行させることが可能なものである。

本発明によれば、被写界における輝度分布のばらつきに関係なく適切なホワイトバランス補正を実行することができる。

本発明のデジタルカメラの構成を示す図である。 閃光の有無に伴う被写界の輝度比と、閃光の影響度と定常光の影響度との混合比との関係を示す図である。 輝度分布のばらつきが大きい場合に調整される、閃光の有無に伴う被写界の輝度比と、閃光の影響度と定常光の影響度との混合比との関係を示す図である。 撮像からホワイトバランス補正までの流れを示すフローチャートである。

図１は、本発明を用いたデジタルカメラの構成を示す図である。図１に示すように、デジタルカメラ１０は、撮像光学系１５を介して取り込まれる被写体光を撮像素子２７により光電変換し、光電変換後の信号電荷を画像信号として出力する。以下では、デジタルカメラ１０を用いて画像データを取得する行為を撮影と称し、該撮影時にデジタルカメラの内部の処理を撮像と称して説明する。

撮像光学系１５は、撮像レンズ２１、ズームレンズ２２やフォーカスレンズ２３などを含むレンズ群から構成される。ズームレンズ２２は選択された撮影倍率となるように光軸Ｌに沿って移動する。フォーカスレンズ２３は被写体像の焦点調節の際に光軸Ｌに沿って微小移動する。このレンズ群を構成するズームレンズ２２やフォーカスレンズ２３などは、レンズ駆動機構２５によって駆動制御される。

撮像素子２７は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子２７は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。

ドライバ２９は、撮像素子２７を駆動制御する。撮像素子２７の駆動制御とは、撮像素子２７の各画素に対する信号電荷の蓄積及び蓄積された信号電荷の出力の他に、被写体光を受光する画素と、受光しない画素とを制御する、所謂間引き制御を行うことが挙げられる。なお、間引き制御が行われることで得られる画像データは、後述するＬＣＤ４４にスルー画像を表示させる際に用いられる。以下、撮像素子２７から出力される信号電荷を画像信号と称して説明する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路３１は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路３１は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。このアナログ処理が施された画像信号は、ＤＦＥ回路３２に出力される。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路３２は、ＡＦＥ回路３１によってアナログ処理が施された画像信号をデジタル信号に変換する。符号は、タイミングジェネレータ（ＴＧ）３３であり、このＴＧ３３により、ドライバ２９、ＡＦＥ回路３１及びＤＦＥ回路３２の駆動タイミングが制御される。バッファメモリ３５は、ＤＦＥ回路３２によってデジタル化された画像信号を１コマ毎にまとめた画像データが記憶される。以下、撮像時にＤＦＥ回路３２から出力される画像データを撮影画像データとして説明する。

画像処理回路４１は、バッファメモリ３５に記憶された撮影画像データに対して、画像処理を実行する。この画像処理については、周知であることから詳細は記載しないが、ベイヤー補間処理、ホワイトバランス補正処理、輪郭補償処理、ガンマ処理などが挙げられる。これら画像処理の後、画像処理済みの撮影画像データに対して、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）を施す。このフォーマット処理が施された撮影画像データを用いて、サムネイル画像データや、予め設定された圧縮率を用いて圧縮された例えばＪＰＥＧ方式の記録用の画像データが生成される。これらサムネイル画像データや記録用の画像データは、デジタルカメラ１０の機種情報や、撮影時に設定される撮像条件などを付帯情報とした画像ファイルとしてまとめられ、メディアスロット４２を介して記憶媒体４３に記録される。

ＬＣＤ４４は表示装置の一形態であって、撮影待機状態時に取り込まれる画像データや撮像により得られた撮影画像データに基づく画像を表示する他に、デジタルカメラの設定を行う際の設定用の画像を表示する。なお、符号４５は、ＬＣＤ４４の駆動制御を行う表示制御回路である。

測光センサ４６は、上述したＣＣＤやＣＭＯＳなどの光電変換素子が用いられ、例えばレリーズボタン５５が半押し操作されたときに、ＣＰＵ５１によって駆動制御される。この測光センサ４６は、例えば撮像素子２７の撮像範囲と略同一の範囲を対象とした測光を実行する。この測光センサ４６からの出力信号（測光信号）は、Ａ／Ｄ変換部４７に出力される。

Ａ／Ｄ変換部４７は、測光センサ４６から出力された測光信号をアナログ信号からデジタル信号に変換する。このＡ／Ｄ変換部４７によりデジタル信号に変換された測光信号は、測光画像データとして例えばバッファメモリ３５に記録される。

閃光装置４８は、被写界に向けて閃光を発光する。閃光装置４８は、ＣＰＵ５１によって発光制御される。この閃光装置４８は、例えば測光センサ４６からの測光信号から被写界の輝度値が低いと判定された場合や、後述する設定操作部５４によって撮影時に閃光を発光する旨の設定が施された場合に、後述するレリーズボタン５５が全押し操作されたときに、被写界に向けて閃光を発光する。

ＣＰＵ５１は、内蔵メモリ５２に記憶された制御プログラムを実行することで、デジタルカメラの各部を統括的に制御する。このＣＰＵ５１は、バス５３を介して、バッファメモリ３５、画像処理回路４１、メディアスロット４２、表示制御回路４５及び内蔵メモリ５２に接続される。ＣＰＵ５１には、設定操作部５４やレリーズボタン５５からの操作信号の入力が可能となっている。設定操作部５４は、デジタルカメラの基本設定や撮影モードなどの撮影条件の設定を行う際に操作される。内蔵メモリ５２には、上述した制御プログラムが記憶される他、制御プログラムを実行する際の演算子等が記憶される。

レリーズボタン５５は、半押しスイッチＳＷ１及び全押しＳＷ２を備えている。半押しスイッチＳＷ１はレリーズボタン５５が半押し操作されたときに、全押しスイッチＳＷ２はレリーズボタン５５が全押し操作されたときにそれぞれオンとなり、そのオン信号が操作信号としてＣＰＵ５１に入力される。例えば半押しスイッチＳＷ１のオン信号がＣＰＵ５１に入力されると、ＣＰＵ５１は測光センサ４６を駆動させる。この測光センサ４６を用いて、自動露出（ＡＥ）制御を行う。また、ＣＰＵ５１は、半押しスイッチＳＷ１のオン信号が入力されたときに得られる画像データや図示を省略したＡＦセンサから出力される出力信号を用いて、自動焦点（ＡＦ）制御を行う。その後、全押しスイッチＳＷ２からのオン信号がＣＰＵ５１に入力されると、ＣＰＵ５１は、先に実行されたＡＥ処理により決定された撮像条件に基づき撮像処理を実行する。

このＣＰＵ５１は、上述した制御プログラムを実行することで、輝度比算出部６１、輝度分布算出部６２、補正設定部６３、補正調整部６４の機能を有している。輝度比算出部６１は、測光画像データ及び撮影画像データから輝度値をそれぞれ求め、求めた輝度値から、測光画像データと撮影画像データとにおける輝度の変化量である輝度比を算出する。輝度値を求める方法としては、画像データの各画素の各色成分を、輝度成分の構成比率（例えばＲ：Ｇ：Ｂ＝０．２９：０．５８７：０．１１４）に従って加算して、輝度成分を生成することが挙げられる。また、この他に、輝度成分を多く含む色成分（光電変換素子に設けられる各色成分のフィルタがベイヤー配列されている場合にはＧ色成分）を、そのまま輝度成分としてもよい。

また、測光画像データと撮影画像データとの輝度比は、例えば測光画像データにおける輝度値の平均値（以下、平均輝度値）と撮影画像データにおける平均輝度値とから求められる。上述した測光画像データは閃光が発光されていないときに得られる画像データであり、撮影画像データは閃光が発光されたときに得られる画像データであることから、これら画像データから得られる輝度比は、閃光の有無に伴う被写界の輝度の変化量であると言い換えることができる。

輝度分布算出部６２は、レリーズボタン５５が半押し操作されたときに取得される測光画像データを用いて、被写界の輝度分布を算出する。また、輝度分布算出部６２は、レリーズボタン５５が全押し操作されたときに撮像素子２７によって得られる撮影画像データを用いて、閃光を発光させたときの被写界の輝度分布を算出する。

補正設定部６３は、ホワイトバランス補正時に用いるゲイン値を設定する。図２は、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を示す。図２においては、閃光の有無に伴う被写界の輝度比を横軸に、「閃光の影響度と定常光の影響度との混合率」を縦軸にしている。実線は閃光の影響度の比率を、点線は定常光の影響度の比率を示す。閃光の影響度の比率と定常光の影響度の比率は、それぞれを加算した場合に１となるように設定される。ここで示す定常光とは、閃光が照射されていないときにデジタルカメラ１０によって取り込まれる光、つまり、環境光が被写体によって反射した光であり、閃光とは、閃光装置４８によって発光された閃光のうち、被写体によって反射した閃光である。例えば閃光の有無に伴う被写体の輝度比が１に近い場合には、閃光の影響度は小さく、定常光の影響度が高くなる。一方、閃光の有無に伴う被写体の輝度比が大きくなると、閃光の影響度が高くなり、定常光の影響度が低くなる。この「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係は、予め実験や設計等により求められるものであり、予め内蔵メモリ５２に記憶されている。この関係は、後述する補正調整部６４によって調整される。

補正設定部６３は、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を用いて、閃光の有無に伴う被写体の輝度比に対応する「閃光の影響度と定常光の影響度との混合率」を求める。補正設定部６３は、求めた「閃光の影響度と定常光の影響度の混合率」から、画像処理回路４１におけるホワイトバランス補正時に用いるゲイン値Ｇwbを算出する。ホワイトバランス補正時に用いるゲイン値をＧwb、定常光用のゲイン値Ｇab、閃光用のゲイン値をＧstとし、また、「閃光の影響度と定常光の影響度との混合率」から求められる定常光の影響度の比率をｍ、閃光の影響度の比率をｎ（ｎ＝１−ｍ）とした場合、ホワイトバランス補正時に用いるゲイン値Ｇwbは下記に示す（１）式によって求められる。
Ｇwb＝ｍＧab＋ｎＧst・・・（１）

このホワイトバランス補正時に用いるゲイン値Ｇwbは、画像処理回路４１に出力される。

補正調整部６４は、補正設定部６３により設定されたホワイトバランス補正における「輝度比」と「閃光の影響度と定常光の影響度との混合率」の関係を調整する。補正調整部６４は、測光画像データから求められる輝度分布のばらつきに基づいて調整する。上述した輝度分布のばらつきとしては、例えば標準偏差にて求められる。この標準偏差が０となる場合には、一様の光が照射されている環境下での撮影であり、測光画像データから求められる輝度分布と撮影画像データから求められる輝度分布とにおける輝度分布の変化は閃光に起因するものであると判断できるので、この場合には、図２に示す「輝度比」と「閃光の影響度と定常光の影響度との混合率」の関係を調整せずに、そのまま用いる。

一方、測光画像データから求められる輝度分布においてばらつきが生じている場合には、上述した標準偏差は０とならない。つまり、このような輝度分布となる場合には、逆光撮影や撮影範囲における被写体が小さい状態での撮影であり、測光画像データから求められる輝度分布と撮影画像データから求められる輝度分布とにおける輝度分布の変化は、必ずしも閃光に起因するものではないと判断できる。このような場合、補正調整部６４は、測光画像データから求められる輝度分布と撮影画像データから求められる輝度分布とを用いて、「輝度比」と「閃光の影響度と定常光の影響度との混合率」の関係を調整する。

補正調整部６４は、測光画像データから求められる輝度分布のばらつきが大きいほど、閃光の影響度の比率を高くするように調整する。詳細には、補正調整部６４は、測光画像データから求められる輝度分布と、撮影画像データから求められる輝度分布との変化量を求め、測光画像データから求められる輝度分布のばらつきと、測光画像データ及び撮影画像データにおける輝度分布の変化量とに基づいて、閃光の影響度の比率ｎを高くする（図３参照）。上述したように、「閃光の影響度と定常光の影響度との混合率」は、定常光の影響度の比率ｍと閃光の影響度の比率ｎとを加算すると１となることから、閃光の影響度の比率を高くする（上げる）ときには、補正調整部６４は、定常光の影響度の比率を低くする（下げる）。なお、閃光の影響度の比率ｎに対する調整量と、定常光の影響度の比率ｍに対する調整量は同一の値となる。

閃光の影響度の比率を高くする際に用いる調整量は、例えば輝度値を対数化することで得られるＢｖ値を用いた輝度分布を考えたときに、その標準偏差が３〜５となるときに、その調整量が最大となるように設定されることが考えられる。また、調整量は、例えば標準偏差が３〜５の場合に閃光の影響度の比率を０．５や１とするような調整量が考えられる。この閃光の影響度の比率を高くする際の調整量は、適宜設定されるものであり、例えば閃光の色温度やガイドナンバーなどに依存した値であってもよい。この補正量は、「輝度比」と「閃光の影響度と定常光の影響度との混合率」の関係とともに、予め内蔵メモリ５２に記憶されている。

また、この他に、測光画像データから求められる輝度分布のばらつきに応じた補正量を予め記憶させておき、測光画像データから求められる輝度分布と測光画像データ及び撮影画像データにおける輝度分布との変化量に応じて、上述した調整量を調整すればよい。

次に、デジタルカメラ１０による撮像からホワイトバランス補正までの流れを図４のフローチャートに基づいて説明する。図４に示すフローチャートは、撮像を行うことが可能であるが、レリーズボタン５５の操作が行われない、所謂、撮影待機状態を契機にして実行される。また、以下では、上述した輝度比算出部６１、輝度分布算出部６２、補正設定部６３、補正調整部６４は、ＣＰＵ５１で実行される機能であることから、これら機能の名称は用いずに説明する。

ステップＳ１０１は、半押しスイッチＳＷ１がオンであるか否かを判定する処理である。この半押しスイッチＳＷ１は、レリーズボタン５５が半押し操作されるとオンとなり、ＣＰＵ５１にそのオン信号を出力する。ＣＰＵ５１は、この半押しスイッチＳＷ１からのオン信号が入力されたか否かによって、半押しスイッチＳＷ１がオンであるか否かを判定する。例えば半押しスイッチＳＷ１からのオン信号が入力された場合には、ＣＰＵ５１は、半押しスイッチＳＷ１がオンであると判定し、ステップＳ１０２に進む。一方、半押しスイッチＳＷ１からのオン信号が入力されない場合には、ＣＰＵ５１は、半押しスイッチＳＷ１がオフであると判定し、半押しスイッチＳＷ１がオンであると判定されるまで、このステップＳ１０１の処理を実行する。

ステップＳ１０２は、測光を行う処理である。ステップＳ１０１において、ＣＰＵ５１は、レリーズボタン５５が半押し操作されたと判定していることから、ＣＰＵ５１は、測光センサ４６を駆動させて、被写界の測光を行う。この測光センサ４６による被写界の測光の際に得られる測光画像データはバッファメモリ３５に記録される。なお、ＣＰＵ５１は、この測光画像データを用いてＡＥ処理を行い、また、同時にＡＦ処理も実行する。

ステップＳ１０３は、輝度分布を算出する処理である。ＣＰＵ５１は、バッファメモリ３５に記憶された測光画像データを読み出して、画素毎の輝度値を求める。ＣＰＵ５１は、画素毎の輝度値を求めた後、測光画像データにおける輝度分布を生成する。なお、この輝度分布は内蔵メモリ５２に記録される。

ステップＳ１０４は、全押しスイッチＳＷ２がオンであるか否かを判定する処理である。全押しスイッチＳＷ２は、レリーズボタン５５が全押し操作されるとオンとなり、ＣＰＵ５１にそのオン信号を出力する。ＣＰＵ５１は、この全押しスイッチＳＷ２からのオン信号が入力されたか否かによって、全押しスイッチＳＷ２がオンであるか否かを判定する。例えば全押しスイッチＳＷ２からのオン信号が入力された場合には、ＣＰＵ５１は、全押しスイッチＳＷ２がオンであると判定し、ステップＳ１０２に進む。一方、全押しスイッチＳＷ２からのオン信号が入力されない場合には、ＣＰＵ５１は、全押しスイッチＳＷ２がオフであると判定する。この場合には、ステップＳ１０２に戻り、全押しスイッチＳＷ２がオンと判定されるまで、ＣＰＵ５１はステップＳ１０２〜ステップＳ１０４の処理を繰り返し実行する。なお、この際、ステップＳ１０３において新たに輝度分布が生成された場合には、内蔵メモリ５２に記録された輝度分布は、新たに生成された輝度分布に更新される。

ステップＳ１０５は、撮像処理である。ＣＰＵ５１は、ステップＳ１０２の処理時に実行されるＡＥ処理に基づいた撮像条件を用いて撮像処理を実行する。なお、このステップＳ１０５における撮像処理時に、ＣＰＵ５１は、ＡＥ処理で求められた露出条件となるように閃光装置４８を駆動させて閃光を発光させる。このステップＳ１０５の処理を実行することで、閃光を用いた撮像が行われ、撮影画像データが取得される。なお、ステップＳ１０６の処理を実行することで得られる撮影画像データは、バッファメモリ３５に記録される。

ステップＳ１０６は、撮像により得られた撮影画像データから輝度分布を算出する処理である。なお、このステップＳ１０６の処理は、ステップＳ１０３と同一の処理手順で実行されるので、ここでは、その詳細を省略する。このステップＳ１０６の処理を実行することで、画像データに基づく輝度分布が求められる。この画像データに基づく輝度分布も内蔵メモリ５２に記録される。

ステップＳ１０７は、輝度比を算出する処理である。ＣＰＵ５１は、内蔵メモリ５２に記憶された測光画像データと撮影画像データとを読み出して、例えば平均輝度値をそれぞれ算出する。この算出の後、ＣＰＵ５１は、これら平均輝度値を用いて測光画像データと撮影画像データの輝度比を求める。

ステップＳ１０８は、輝度比に基づいて混合率を設定する処理である。まず、ＣＰＵ５１は、測光画像データから求められる輝度分布を読み出す。この測光画像データから得られる輝度分布がばらつきのない（標準偏差が０）である場合には、ＣＰＵ５１は、図２に示す「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整せずに、ステップＳ１０７の処理において算出された輝度比に対応する「閃光の影響度と定常光の影響度との混合率」を求める。

一方、逆光撮影など、被写界が高コントラストである場合には、被写界における輝度分布は一様になりにくく、測光画像データから求められる輝度分布のばらつきが大きいことから、測光画像データから求められる輝度分布の標準偏差は０にはならない。このような場合には、ＣＰＵ５１は、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整し、閃光の影響度の比率を高くする。詳細には、ＣＰＵ５１は、測光画像データから求められる輝度分布と撮影画像データから求められる輝度分布との変化量を求め、この変化量に基づいて「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整する（図３参照）。

つまり、測光画像データから求められる輝度分布と、撮影画像データから求められる輝度分布との変化量を求め、この変化量が大きいほど、閃光の影響度の比率を高くし、定常光の影響度の比率を低くする。このようにして、ＣＰＵ５１は「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整する。その後、ＣＰＵ５１は、調整された「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を参照して、ステップＳ１０７の処理において算出された輝度比に対応する「閃光の影響度と定常光の影響度との混合率」を求める。

ステップＳ１０９は、ホワイトバランス補正を行う処理である。ＣＰＵ５１は、ステップＳ１０８によって求めた「閃光の影響度と定常光の影響度との混合率」と、上述した（１）式とを用いて、ホワイトバランス補正時に用いるゲイン値Ｇwbを算出し、算出したゲイン値Ｇwbを画像処理回路４１に出力する。画像処理回路４１は、入力されたゲイン値Ｇwbを用いて、撮影画像データに対するホワイトバランス補正を実行する。このホワイトバランス補正の後、画像処理回路４１では、他の画像処理を実行する。この画像処理回路４１によって画像処理が施された撮影画像データを用いてサムネイル画像データや記録用の画像データ等が生成され、これら画像データと撮影条件やカメラの機種名などの情報とがまとめられた画像ファイルが記憶媒体４３に記録される。

これにより、閃光が発光される前に得られる測光画像データにおける輝度分布によって、撮影環境を把握することができ、また、閃光の影響度に基づくホワイトバランス補正を適切に設定することができる。これにより、得られる撮影画像データに対するホワイトバランス補正を適切に実行することができる。また、測光センサ４６の分光特性と撮像素子１５の分光特性が異なる場合であっても、輝度分布を求めることで、撮影環境を把握することが可能となるので、撮影時に発光する閃光の影響度をホワイトバランス補正に適切に反映させることが可能となる。また、デジタルカメラ１０における撮影時に手ブレが生じている場合であっても、上述した画像データから求められる輝度分布には影響しないことから、撮影時に発光する閃光の影響度をホワイトバランス補正時に正確に反映させることができる。

本実施形態では、半押し操作に合わせて測光画像データを取得しているが、これに限定される必要はない。つまり、本実施形態においては、閃光が発光されたときの被写界の輝度分布と、該閃光が発光されないときの被写界の輝度分布とを得ることを目的にしているので、上述した測光画像データは、半押し操作に合わせて取得される必要はなく、撮影待機状態にて取得されるスルー画像データを測光画像データとしてもよい。

本実施形態においては、ホワイトバランス補正について述べているが、この他に、Ｒ，Ｇ，Ｂの各色成分の色バランス補正を行う場合であっても、本形態を用いることが可能である。

本実施形態では、測光画像データと撮影画像データとの輝度の変化量として、これら画像データにおける平均輝度値を算出し、算出された平均輝度値を用いた輝度比を挙げて説明しているが、この他に、主要被写体となる領域（被写体領域）の平均輝度値を測光画像データと撮影画像データからそれぞれ算出し、これら平均輝度値から測光画像データと撮影画像データとの輝度比を求めてもよい。この場合、被写体領域は、パターンマッチングや特徴量検出など、周知の被写体認識技術を用いることによって抽出することができる。

また、輝度の変化量としては、被写界中の被写体領域と背景領域、或いはＡＦ処理の際に用いるＡＦ測距エリアと他のエリアなど、異なる２つの領域における輝度比をそれぞれ求め、これら輝度比の変化量（差分や比率）を求め、求めた輝度の変化量に基づいて「閃光の影響度と定常光の影響度との混合率」を求めることも可能である。また、被写体までの距離を測定し、測定された被写体までの距離や被写体の位置における輝度の変化量に基づいて閃光の影響度の比率を調整することも可能である。

さらに、主要被写体が動きのある被写体の場合には、主要被写体の動きベクトルを算出することで、撮影時の被写体の位置を特定し、該主要被写体における輝度の変化量に基づいて、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整することも可能である。この場合、得られた画像を複数の領域に分割し、分割された複数の領域のうち、被写体となる領域における輝度の変化量に基づいて上述した関係を調整することも可能である。

本実施形態においては、閃光装置に関してはその詳細は記載していないが、デジタルカメラに内蔵されていてもよいし、デジタルカメラに着脱自在な閃光装置であってもよい。例えばデジタルカメラに着脱自在な閃光装置の場合には、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係や該関係を補正する際に用いる補正量は、デジタルカメラの内蔵メモリに予め記憶させておいてもよいし、閃光装置に内蔵メモリを設け、この内蔵メモリに、これら情報を記憶させておいてもよい。

本実施形態においては、測光画像データから求められる輝度分布のばらつき及び測光画像データと撮影画像データとの輝度分布の変化量に応じて「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を補正しているが、これに限定される必要はなく、予め標準偏差の閾値を予め用意しておき、閾値以下か超過するかによって、補正量を求めることも可能である。

本実施形態では、補正調整部６４においては、測光画像データから求められる輝度分布のばらつき及び測光画像データと撮影画像データとの輝度分布の変化量に応じて、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係を調整しているが、この他に、補正設定部６３によって設定された閃光の影響度の比率と、定常光の影響度の比率を直接調整することも可能である。

本実施形態では、撮影画像データを取得する撮像素子の他に、測光画像データを取得する測光センサが搭載されたデジタルカメラを例に取り上げているが、必ずしも測光センサは必要ではない。つまり、半押し操作及び全押し操作時に、撮像素子によって画像データを取得し、これら取得した画像データに基づいて、閃光が発光する前の被写界の輝度分布と、閃光が発光した後の被写界の輝度分布とを算出すればよい。

本実施形態では、デジタルカメラを例に取り上げているが、この他に、カメラ機能付きの携帯型電話機など、カメラ機能が付加された携帯型の電子機器に本発明を用いることが可能である。また、デジタルカメラとコンピュータとを電気的に接続したカメラシステムに用いることも可能である。このようなカメラシステムの場合、デジタルカメラにおいては閃光を発光する前の測光画像データと、撮影時に得られる撮影画像データとをそれぞれ取得し、これら画像データをコンピュータに入力する。コンピュータにおいては、入力される画像データから、ホワイトバランス補正時の設定を行った後、撮影画像データに対するホワイトバランス補正を施す。この場合、「輝度比」と「閃光の影響度と定常光の影響度との混合率」との関係や、この関係の補正量などのデータは、デジタルカメラではなく、コンピュータに記憶させておけばよい。

また、この他に、図１に示す輝度比算出部６１、輝度分布算出部６１、補正設定部６３、補正調整部６４の機能や、図４のフローチャートをコンピュータに実行させるためのプログラムであってもよい。このプログラムは、メモリーカードや、光学ディスクや磁気ディスクなどのコンピュータにて読み取り可能な記憶媒体に記憶されていることが好ましい。なお、このプログラムは、予めコンピュータにインストールしておけばよい。

１０…デジタルカメラ、２７…撮像素子、４１…画像処理部、４６…測光センサ、４８…閃光装置、５１…ＣＰＵ、６１…輝度比算出部、６２…輝度分布算出部、６３…補正設定部、６４…補正調整部

特開２００３−３０９８５４号公報

Claims (7)

1. 補助光を発光させて画像を取得する際に、前記補助光が発光される前後の被写界の輝度を求め、前記補助光が発光される前後の前記被写界の輝度から前記補助光の有無に伴う前記被写界の輝度の変化量を求める算出部と、
   前記算出部によって求められた前記輝度の変化量に基づいて、前記補助光の影響度に基づく色バランス補正を設定する設定部と、
   前記補助光が発光される前の前記被写界の輝度分布を算出する輝度分布算出部と、
   前記輝度分布算出部によって求められた前記補助光が発光される前の前記被写界の輝度分布のばらつきに基づいて、前記設定部により設定された色バランス補正における前記補助光の影響度を調整する調整部と、
   前記調整部によって調整された前記補助光の影響度に基づき色バランス補正を調整し、取得された画像に対する色バランス補正を行う色バランス補正部と、
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラであって、
   前記補助光が発光される前後の画像を取得する画像取得部を備え、
   前記算出部は、前記補助光が発光される前後の画像を用いて、前記補助光が発光される前後の前記被写界の輝度を求めることを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記被写界に対する測光を行う測光部と、
   前記補助光の発光時に前記画像を取得する画像取得部と、
   を備え、
   前記輝度分布算出部は、前記測光部の測光結果及び前記画像取得部により取得された画像を用いて、前記補助光が発光される前後の前記被写界の輝度分布を求めることを特徴とする電子カメラ。
4. 請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
   前記調整部は、前記補助光が発光される前の前記被写界の輝度分布にばらつきが所定値以上である場合、前記設定部により設定された色バランス補正における前記補助光の影響度を調整し、前記補助光が発光される前の前記被写界の輝度分布にばらつきが所定値未満である場合、前記設定部により設定された色バランス補正における前記補助光の影響度を調整しないことを特徴とする電子カメラ。
5. 請求項１から請求項４のいずれか１項に記載の電子カメラにおいて、
   前記調整部は、前記補助光が発光される前の前記被写界の輝度分布を参照して、被写界の輝度分布におけるばらつきが大きいほど、前記設定部によって設定される前記色バランス補正を前記補助光の影響度を重視した色バランス補正に調整することを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記輝度分布算出部は、前記補助光が発光される前の前記被写界の輝度分布の他に、前記補助光が発光された後の前記被写界の輝度分布を求め、
   前記調整部は、前記補助光が発光される前後の前記被写界の輝度分布の変化量が大きいほど、前記設定部によって設定される前記色バランス補正を前記補助光の影響度を重視した色バランス補正に調整することを特徴とする電子カメラ。
7. 補助光を発光させて画像を取得する際に、前記補助光が発光される前後の被写界の輝度を求め、前記補助光が発光される前後の前記被写界の輝度から、前記補助光の有無に伴う前記被写界の輝度の変化量を求める算出工程と、
   前記算出工程によって求められた前記輝度の変化量に基づいて、前記補助光の影響度に基づく色バランス補正を設定する設定工程と、
   前記補助光が発光される前の前記被写界の輝度分布を算出する輝度分布算出工程と、
   前記輝度分布算出工程によって求められた前記補助光が発光される前の前記被写界の輝度分布のばらつきに基づいて、前記設定工程により設定された色バランス補正における前記補助光の影響度を調整する調整工程と、
   前記調整工程によって調整された前記補助光の影響度に基づき色バランス補正を調整し、取得された画像に対する色バランス補正を行う色バランス補正工程と、
   をコンピュータに実行させることが可能な画像処理プログラム。

Images