JP4996491B2

JP4996491B2 - 撮像装置

Info

Publication number: JP4996491B2
Application number: JP2008018138A
Authority: JP
Inventors: 康洋森; 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-01-29
Filing date: 2008-01-29
Publication date: 2012-08-08
Anticipated expiration: 2028-01-29
Also published as: JP2009182461A

Description

本発明は、対象空間を撮像する撮像装置、特に対象空間に存在する対象物の認識に利用される撮像装置に関するものである。

従来から、対象空間に存在する対象物の認識（例えば顔認証など）を行う画像処理装置が種々提供されており、この種の画像処理装置では、固体撮像素子（一例としてはイメージセンサ）を用いた撮像装置が広く用いられている。対象物の認識を行うにあたっては、濃淡画像が広く用いられているが、濃淡画像は対象空間の明暗を反映した画像であるので、環境光（周囲光）の変動（環境光の光量変化）の影響を受ける。そのため、濃淡画像を出力する撮像装置を利用した画像処理装置では、環境光の変動が大きい場所では対象物の認識率が低下するという問題が生じていた。

このような問題に鑑み、発光ダイオード（ＬＥＤ）などの対象空間に光を照射する光源部を備え、光源部が点灯しているときに撮像した濃淡画像（光源点灯時画像）と、光源部が消灯しているときに撮像した濃淡画像（光源消灯時画像）との差分画像（振幅画像）を出力する撮像装置を利用した画像処理装置が提案されている（例えば、特許文献１参照）。

光源点灯時画像は対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光が反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部より対象空間に照射した光のみが反映された画像となるから、差分画像を用いて対象物の認識を行うことにより、環境光の変動が大きい場所であっても、認識率を低下させることなく対象物の認識を行うことができる。
特開２００６−１５５４２２号公報

しかしながら、光源点灯時画像は上述したように対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であるから、対象空間が明るい（環境光の光量が多い）場合には、ＣＣＤイメージセンサなどの固体撮像素子で蓄積可能な電荷量を越えて、画素の輝度値（濃度値、輝度値）が飽和してしまうおそれがある。そして、画素の輝度値が飽和したときには、差分画像の一部が潰れてしまい、差分画像の画質が悪くなるという問題があった。

本発明は上述の点に鑑みて為されたもので、その目的は、環境光の変動の影響を抑制することができ、かつ画質を向上できる撮像装置を提供することにある。

上記の課題を解決するために、請求項１の発明では、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像部と、上記対象空間に光を照射する光源部と、光源部の点灯時に撮像部より得られた光源点灯時画像と光源部の消灯時に撮像部より得られた光源消灯時画像との差分画像を生成する演算処理部と、撮像部の露光量を調整する露光量調整手段とを備え、演算処理部は、上記光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるＳ／Ｎ比を算出し、上記Ｓ／Ｎ比が判定値以下である画素の数をカウントする画素数カウント部と、画素数カウント部のカウント結果において、上記Ｓ／Ｎ比が上記判定値以上である画素の数が規定数以上である場合に露光量を減じるように、露光量調整手段を制御する自動露出制御部とを有していることを特徴とする。

請求項１の発明によれば、光源点灯時画像は対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光のみが反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部より対象空間に照射した光のみが反映された画像となるから、環境光の変動の影響を抑制することができる。また、上記光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから算出されたＳ／Ｎ比が判定値以上である画素の数が規定数以上である場合に露光量を減じることによって、撮像部の露光量を適正な範囲に設定することができるから、画質を向上できる。

請求項２の発明では、請求項１の発明において、上記自動露出制御部は、光源点灯時画像における輝度値が状態判定用の閾値以上となる画素の数が所定時間にわたって継続して規定数を上回る場合、上記規定数を増加させることを特徴とする。

請求項２の発明によれば、光源点灯時画像における輝度値が状態判定用の閾値以上となる画素の数が所定時間にわたって継続して規定数を上回る場合には、障害物その他の不必要な物体が写りこんでいる可能性が高く、このような不必要な物体に合わせて露光量が調整されることがないように、規定数を増加させるから、画質の劣化を抑制することができる。

請求項３の発明では、請求項１又は請求項２記載の発明において、上記画素数カウント部は、光源消灯時画像において輝度値の最大値が暗所判定用の判定値以下であり且つ所定時間経過しても暗所判定用の判定値を越えない場合であって、差分画像において輝度値の最大値が露光量不足判定用の判定値以上であり且つ所定時間経過しても露光量不足判定用の判定値未満とならない場合、上記判定値を下げることを特徴とする。

請求項３の発明によれば、光源消灯時画像において輝度値の最大値が暗所判定用の判定値以下であり、かつ所定時間経過しても暗所判定用の判定値を越えないことから環境光が弱いと判断され、差分画像において輝度値の最大値が露光量不足判定用の判定値以上であり、かつ所定時間経過しても露光量不足判定用の判定値未満とならないことから光源部の光量が多いと判断されるような場合においては、判定値を下げることによって、撮像部の露光量を減少させて、撮像部の露光量を適正な範囲に設定することができるから、画質を向上できる。

請求項４の発明では、請求項１〜３のうちいずれか１項の発明において、上記演算処理部は、上記差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて上記差分画像の明るさを調整する自動利得制御部を有していることを特徴とする。

請求項４の発明によれば、差分画像の明るさを適度な明るさに調整することができる。

本発明は、環境光の変動の影響を抑制することができ、かつ画質を向上できるという効果を奏する。

（実施形態１）
本実施形態の撮像装置１は、図１に示すように、受光光量に応じた受光出力を発生する複数個の感光部（図示せず）が配列され対象空間を撮像する撮像部２と、撮像部２の近傍に配置され上記対象空間に光を照射する光源部３と、対象空間を撮像部２の撮像面に結像するためのレンズ部４と、光源部３の点灯時に撮像部２より得られた光源点灯時画像と光源部３の消灯時に撮像部２より得られた光源消灯時画像との差分画像を生成する演算処理部５と、撮像部２を制御する駆動制御部６０と、光源部３の点灯制御を行う点灯制御部６１と、レンズ部４から撮像部２の撮像面に入射する入射光量を調整する入射光量調整部６２と、差分画像に基づいて顔認証を行う顔認証部７とを備えた、所謂顔認証装置である。

光源部３は、例えば複数個の発光ダイオード（ＬＥＤ）を一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなど、種々のものを用いることができる。光源部３が放射する光としては、赤外線や可視光を採用することができる。例えば、光源部３が放射する光を赤外線とすれば、夜間でも光源部３の点灯に気付かれることがないから監視カメラなどの目的に適した構成となり、可視光とすれば人が目で見るときの状態に近い画像を得ることが可能となる。このような光源部３の点灯状態は点灯制御部６１により制御される。

点灯制御部６１は、所定の変調周波数の変調信号により光源部３を駆動する。上記変調信号には方形波を用い、変調周波数は例えば１０〜１００ｋＨｚから選択し、デューティは５０％としてある。したがって、光源部３は１０〜１００μｓの周期で点灯と消灯とを同じ時間ずつ交互に繰り返すことになる。なお、光源部３が点灯と消灯とを繰り返す周期は人の目では認識できない程度の短い周期にする。つまり、光源部３は実際には点灯と消灯とを繰り返しているが、人の目には連続して点灯しているように見えることになる。ただし、これらの数値は一例であり、変調周波数は適宜に設定可能である。

撮像部２は、例えば、１個の感光部（図示せず）と１個の電荷集積部（図示せず）とを形成する単位構成の受光素子（一例としては、電荷を蓄積可能なフォトダイオード）を１枚の半導体基板などに複数個配列したイメージセンサ（一例としては、ＣＣＤイメージセンサ）を想定している。なお、この種のイメージセンサは、ＣＣＤイメージセンサに限定されず、ＣＭＯＳイメージセンサなど従来周知のものを採用することができるから詳細な説明は省略する。

また、撮像部２は電荷の取り出し（画像信号の取り出し）のタイミングや電子シャッタのタイミングなどが制御可能なものであって、電荷の取り出しのタイミングや電子シャッタのタイミングは駆動制御部６０が出力する制御信号によって決定される。本実施形態では、駆動制御部６０は、光源部３の点滅に同期して撮像部２に画像信号を出力させる。したがって、撮像部２からは、光源部３が点灯しているときに撮像した濃淡画像よりなる光源点灯時画像と、光源部３が消灯しているときに撮像した濃淡画像よりなる光源消灯時画像とが出力される。

撮像部２から出力された画像信号（撮像信号）は、ＡＦＥ部８によってアナログ形式からディジタル形式の画像信号に変換された後に演算処理部５に入力される。なお、ＡＦＥ部８では、必要に応じてＣＣＤイメージセンサのリセットノイズを除去してベースバンドの画像信号に変換する相関二重サンプリング（Correlated Double Sampling；ＣＤＳ）なども行われる。この種のＡＦＥ部８は従来周知のものであるから詳細な説明は省略する。

レンズ部４は、例えば対象空間に存在する被写体を撮像部２の撮像面に結像するためのレンズ（図示せず）と、入射光量を調整するための図示しない絞り（アイリス）とで構成される。ここで、絞りとしては、外部信号により開口径が調整可能なものを採用しており、上記外部信号は、入射光量調整部６２により与えられる。なお、レンズ部４は、レンズと絞りとによって構成されたものに限定されず、例えば、絞りの代わりに、透過率の異なる減光フィルタを複数備え、上記外部信号によってどの減光フィルタを用いるかを選択する構成のものや、上記外部信号により透過率が変化する液晶フィルタからなる減光フィルタなどを採用することができる。

本実施形態の撮像装置１では、駆動制御部６０によって撮像部２の電子シャッタのタイミングが決定され、点灯制御部６１によって光源部３の明るさが決定され、入射光量調整部６２によってレンズ部４を通過する光量（撮像部２の各受光素子に入射する光量）が決定されるようになっている。つまり、駆動制御部６０、点灯制御部６１、および入射光量調整部６２により、撮像部２の露光量を調整する露光量調整手段６が構成される。

演算処理部５は、例えばメモリに格納されたプログラムをマイコンで実行することによって各種の機能を実現するものであり、光源点灯時画像と光源消灯時画像との差分画像を生成する画像生成部５０と、光源点灯時画像において露光量調整用に設定した条件を満たす画素の数をカウントする画素数カウント部５１と、画素数カウント部５１のカウント結果に基づいて露光量調整手段６を制御する自動露出制御部５２と、差分画像の明るさを調整する自動利得制御部５３とを有し、自動利得制御部５３で明るさが調整された差分画像は顔認証部７に出力される。

画像生成部５０は、光源部３の点灯時（点灯期間）における感光部の受光出力と、光源部３の消灯時（消灯期間）における感光部の受光出力との差分（換言すれば、光源部３から対象空間へ光を照射していないときの各感光部の受光出力と、光源部３から対象空間へ光を照射したときの各感光部の受光出力との差分）を各感光部（受光素子）の輝度値とする差分画像（振幅画像）を生成する。ここで、光源部３は１０〜１００μｓの周期で点灯と消灯とを同じ時間ずつ交互に繰り返しているので、互いに隣接した点灯期間と消灯期間とでは、環境光は実質的に変化しないと考えることができるから、光源点灯時画像と当該光源点灯時画像を撮像した点灯期間に隣接する消灯期間に撮像された光源消灯時画像とから差分画像を作成することにより、差分画像から環境光の変動の影響を除去できる。

画素数カウント部５１は、上述の露光量調整用に設定した条件として、画素の輝度値が露光量飽和判定用（露光量減少判定用）の閾値以上であるという条件と、画素の輝度値が露光量不足判定用（露光量増加判定用）の閾値以上であるという条件とを設定する。つまり、画素数カウント部５１は、光源点灯時画像において輝度値が露光量飽和判定用の閾値以上の画素の数と、輝度値が露光量不足判定用の閾値以上の画素の数とをそれぞれカウントする。ただし、露光量飽和判定用の閾値は露光量不足判定用の閾値より大きい値としている。

自動露出制御部（ＡＥ部）５２は、画素数カウント部５１のカウント結果に基づいて露光量調整手段６を制御することで、撮像部２の露光量を調整する。本実施形態では、自動露出制御部５２は、画素数カウント部５１でカウントされた画素の数（輝度値が露光量飽和判定用の閾値以上の画素の数）が露光量減少判定用の規定値以上であるときに、露光量調整手段６を制御して露光量を減少させ、画素数カウント部５１でカウントされた画素の数（輝度値が露光量不足判定用の閾値以上の画素の数）が露光量増加判定用の規定値以下であるときに、露光量調整手段６を制御して露光量を増加させる。また、撮像部２の露光量の調整は、駆動制御部６０による電子シャッタのタイミング、点灯制御部６１による光源部３の調光制御、入射光量調整部６２による入射光量の調整のなかから選択された少なくとも１つにより行うことができる。なお、露光量の調整は、上述したように、駆動制御部６０による電子シャッタのタイミング、点灯制御部６１による光源部３の調光制御、入射光量調整部６２による入射光量の調整のいずれか１つにより行うことができるが、複数組み合わせることにより、幅広い調整が可能である。

自動利得制御部（ＡＧＣ部）５３は、差分画像の輝度値（差分画像の明るさ）を調整する。すなわち、画像生成部５０で作成された差分画像は、光源点灯時画像から環境光が除去されることで光源部３の光のみが反映された画像となっているから、光源点灯時画像に比較して画素の輝度値が低く、全体的に暗い画像になる傾向があるため（図２（ａ）参照）、自動利得制御部５３により明るさの調整を行うのである。自動利得制御部５３は、差分画像の明るさを調整するにあたっては、差分画像における輝度値の度数分布（ヒストグラム）を作成する。自動利得制御部５３は、度数分布として、例えば図３に示すグラフように輝度値が所定範囲に含まれる画素の度数分布を示すものを作成する（なお、図３に示す度数分布は、１２ｂｉｔで表される輝度値を５つに場合分けして示したものである）。さらに詳しく説明すると、自動利得制御部５３は、最初に利得（ゲイン）を所定値に設定した差分画像の度数分布を作成する。ここで、利得を増やせば、差分画像の各画素の輝度値が増加するため、図２（ａ）〜（ｃ）に示すように差分画像が明るくなり、これによって図２（ｄ）〜（ｆ）の度数分布に示すように輝度値が高い画素の数が増加する。なお、図２（ａ）は利得が１倍の差分画像、（ｂ）は利得が４倍の差分画像、（ｃ）は利得が１６倍の差分画像を示している。また図２（ｄ）は利得が１倍の差分画像の度数分布のグラフ、（ｅ）は利得が４倍の差分画像の度数分布のグラフ、（ｆ）は利得が１６倍の差分画像の度数分布のグラフである。

自動利得制御部５３は、作成した度数分布において輝度値が利得上限判定用の閾値以上となる画素の数（図３に示す例にあっては、輝度値が２０４８〜４０９６である画素の数）が利得上限判定用の規定値Ｔｈを越えているか否かを判定し、その結果、利得上限判定用の規定値Ｔｈを越えていなければ利得を増やし、利得上限判定用の規定値Ｔｈを越えていれば利得を減じる。自動利得制御部５３は、上記のような度数分布を用いた判定を繰り返し行うことによって、輝度値が利得上限判定用の閾値以上となる画素の数が利得上限判定用の規定値Ｔｈを越えない利得のなかから最大のものを選択する。そして自動利得制御部５３は、選択した利得で差分画像の明るさを調整した後に、調整後の差分画像を顔認証部７に出力する。

顔認証部７は、撮像部２で撮像した画像に、認証対象者本人の顔が写っているか否かを判定することにより認証（顔認証）を行い、認証結果を出力する。顔認証部７は、例えば、自動利得制御部５３より与えられた差分画像に、ソーベルフィルタなどを利用して局所空間微分を行った後に二値化して得られた画像から所定の特徴量（本実施形態では人物の顔の特徴量）を抽出し、抽出した特徴量と、予め登録されたテンプレートとの類似度を算出し、算出した類似度が所定値以上である場合に、撮像部２で撮像した画像に認証対象者本人が写っていると判定する。なお、顔認証部７における認証方法は上記の例に限定されず、従来周知の方法を採用することができるから、詳細な説明は省略する。

以上述べたように本実施形態の撮像装置１によれば、光源点灯時画像は対象空間の環境光と光源部３より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光のみが反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部３より対象空間に照射した光のみが反映された画像となるから、環境光の変動の影響を抑制することができ、しかも光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した１つの画像においてカウントした露光量調整用に設定した条件を満たす画素の数に基づいて撮像部の露光量を調整するので、撮像部２の露光量を適正な範囲に設定することが可能となるから、差分画像に白トビや黒ツブレなどが生じることを抑制できて、画質を向上できる。

特に、輝度値が露光量飽和判定用の閾値以上の画素、例えば受光出力が飽和もしくは飽和に近い画素の数が露光量減少判定用の規定値以上であるときには、撮像部２の露光量を減少させることで受光出力が飽和もしくは飽和に近い画素の数を少なくするので、差分画像に白トビなどが生じることを抑制できるから、画質を向上することができる。また、輝度値が露光量不足判定用の閾値以上の画素の数が露光量増加判定用の規定値以下であるときには、露光量を増加させて、輝度値が不足する画素の数を少なくするから、差分画像を明るくすることができ、黒ツブレの発生などを低減できる。なお、上記閾値（露光量飽和判定用の閾値および露光量不足判定用の閾値）や、上記規定値（露光量減少判定用の規定値および露光量増加判定用の規定値）は、実際に差分画像を作成する試験などを行うことによって、好適な値に設定すればよい。

また、演算処理部５は、差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて差分画像の明るさを調整する自動利得制御部５３を有し、画像生成部５０で作成した差分画像に対して明るさの調整を行うから、差分画像の明るさを適度な明るさに調整することができる。

ところで、光源部３の点灯時に撮像部２に入射する光源部３の反射光（被写体で反射された光源部３の光）の光量は、光源部３と被写体との距離の２乗に反比例するので、対象空間に存在する被写体は光源部３に近いものほど、すなわち撮像部２に近いものほど明るくなる。例えば図４に示すように、人物Ｍ、植物Ｐ、および物体Ｏが対象空間に存在し、物体Ｏが人物Ｍおよび植物Ｐよりも撮像部２に近い場合には、光源点灯時画像においては物体Ｏに対応する画素の輝度値が人物Ｍおよび植物Ｐに対応する画素の輝度値よりもはるかに大きくなり、物体Ｏに対応する画素の輝度値は飽和するものの、人物Ｍおよび植物Ｐに対応する画素の輝度値は飽和しないといった状況が生じることがある。

このような場合、物体Ｏに対応する画素の数が輝度値が上記露光量飽和判定用の閾値以上の画素の数に計上されるから、たとえ物体Ｏに対応する画素以外に、輝度値が上記露光量飽和判定用の閾値以上となる画素が存在しない場合であっても、物体Ｏに対応する画素の数が上記露光量飽和判定用の規定値以上であれば、自動露出制御部５２によって露光量を減じる制御が行われ、その結果、差分画像では物体Ｏに対応する画素以外の画素（人物Ｍや植物Ｐに対応する画素）の輝度値が過度に低くなって、黒ツブレなどが生じ、差分画像が劣化するおそれがある。

上記の点を鑑みると、画素数カウント部５１は、輝度値が露光量飽和判定用の閾値よりある程度大きい画素については、無効な画素であるとしてカウントしないようにすることが好ましい。つまり、画素数カウント部５１は、露光量飽和判定用の閾値より大きい無効画素判定用の閾値以上の輝度値を有する画素をカウントしないようにすることが好ましい。

このようにすれば、無効画素判定用の閾値以上の輝度値を有する画素、例えば正反射（例えば人物Ｍがかけている眼鏡や周囲のガラスなど）や撮像部２に近すぎる物体Ｏなどにより受光出力が飽和してしまった画素をカウントしないようにすることができるから、正反射や撮像部２に近すぎる物体Ｏなどにより受光出力が飽和してしまった画素に合わせて撮像部２の露光量が調整されることによって、差分画像が暗くなり過ぎてしまうことを抑制することができ、撮像部２の被写体として適しない被写体によって差分画像の画質が劣化させられてしまうことを抑制することができる。

なお、本実施形態における画素数カウント部５１は、光源点灯時画像において露光量調整用に設定した条件を満たす画素の数をカウントするようにしているが、光源消灯時画像や差分画像においても露光量調整用に設定した条件を満たす画素の数をカウントするようにしてもよいし、光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した少なくとも１つの画像において露光量調整用に設定した条件を満たす画素の数をカウントするようにしてもよい。この点は後述する実施形態２〜４においても同様である。

（実施形態２）
本実施形態の撮像装置１は、自動露出制御部５２が光源点灯時画像における輝度値が状態判定用の閾値以上となる画素の数の時間変化に基づいて上記規定値（露光量減少判定用の規定値）を調整する点で実施形態１と異なっている。なお、本実施形態の撮像装置１における自動露出制御部５２以外の構成については実施形態１と同様であるから、同様の構成については同一の符号を付して説明および図示を省略する。

上記状態判定用の閾値は、例えば上述した物体Ｏ（図４参照）が光源点灯時画像に写っているか否かを判定するための値であり、本実施形態における自動露出制御部５２は、輝度値が状態判定用の閾値以上となる画素の数が所定時間経過してもほとんど変化しない（規定数を下回らない）場合には、つまり、上記所定時間内に撮像された光源点灯時画像のいずれにおいても、輝度値が状態判定用の閾値以上となる画素の数が規定数以上である場合には、光源点灯時画像に物体Ｏが写っていると判断する。そして、自動露出制御部５２は、光源点灯時画像に物体Ｏが写っていると判断したときには、当該物体Ｏに対応する画素の数を露光量減少判定用の規定値に計上することで、物体Ｏに対応する画素の数を無視する。

したがって、本実施形態の撮像装置１によれば、例えば輝度値が上記状態判定用の閾値以上となる画素の数が所定時間経過してもほとんど変化しないような場合には、障害物その他の差分画像に不必要な物体が写りこんでいると判断し、このような不必要な物体に合わせて露光量が調整されることがないように、規定値（本実施形態の場合は露光量減少判定用の規定値）を調整するので、画質の劣化を抑制することができる。

なお、本実施形態では、露光量減少判定用の規定値を調整するようにしているが、露光量増加判定用の規定値を調整するようにしてもよい。また、上記状態判定用の閾値は、障害物その他の差分画像に不必要な物体が写っているか否かの判断に使用する値であり、状況に応じて適宜設定すればよい。

（実施形態３）
本実施形態の撮像装置１は、画素数カウント部５１が光源消灯時画像および差分画像それぞれにおける輝度値の最大値およびその時間変化に基づいて上記閾値を調整する点で実施形態１と異なっている。なお、本実施形態の撮像装置１における画素数カウント部５１以外の構成については実施形態１と同様であるから、同様の構成については同一の符号を付して説明および図示を省略する。

以下、本実施形態における画素数カウント部５１についてさらに詳しく説明する。本実施形態における画素数カウント部５１は、光源消灯時画像において輝度値の最大値が暗所判定用の判定値以下であり、かつ所定時間経過しても暗所判定用の判定値を越えない場合には、環境光の光量が少ない（環境光が弱い）と判断する。また、本実施形態における画素数カウント部５１は、差分画像において輝度値の最大値が露光量不足判定用の判定値以上であり、かつ所定時間経過しても露光量不足判定用の判定値未満とならない場合には、光源部３の光量が過多である（光源部３の光が強過ぎる）と判断する。

そして、本実施形態における画素数カウント部５１は、環境光の光量が少ないと判断し、かつ光源部３の光量が多いと判断した場合には、露光量飽和判定用の閾値を下げる。露光量飽和判定用の閾値を下げた場合には、光源点灯時画像の各画素の輝度値は同じでも、輝度値が露光量飽和判定用の閾値以上となる画素の数が増えることになる。そのため、露光量飽和判定用の閾値を下げる前は、輝度値が露光量飽和判定用の閾値以上となる画素の数が露光量減少判定用の規定値を越えなかった場合でも、露光量飽和判定用の閾値を下げたことによって、輝度値が露光量飽和判定用の閾値以上となる画素の数が露光量減少判定用の規定値を越えるようになり、自動露出制御部５２により露光量を減じる制御が為される。

したがって、本実施形態の撮像装置１によれば、環境光の光量が少なく、光源部３の光量が多すぎる場合には、撮像部２の露光量を減少させて、撮像部２の露光量を適正な範囲に設定することができる。このとき、光源部３の明るさを暗くすることで撮像部２の露光量を減少させれば、光源部３の点灯に必要な電力を小さくできるから、消費電力を低減することができるとともに、光源部３の発熱量を低減することができる。その結果、長期的な視点で見た際に、光源部３の劣化を抑制することが可能となり、光源部３の劣化に起因する画質の劣化を抑制することができる。

また、本実施形態における画素数カウント部５１は、光源消灯時画像において輝度値の最大値が明所判定用の判定値以上であり、かつ所定時間経過しても明所判定用の判定値を下回らない場合には、環境光の光量が多い（環境光が強い）と判断して、露光量飽和判定用の閾値を上げるようにしてもよい。この場合、輝度値が露光量飽和判定用の閾値以上となる画素の数が増えた場合でも、露光量減少判定用の規定値を越え難くなり、撮像部２の露光量が減じられ難くなる。これは、露光量飽和判定用の閾値などを撮像部２の受光素子の容量に対してある程度余裕を見て設定していた場合に有用である。つまり、撮像部２の露光量が減じられ難くすることで、撮像部２の受光素子の容量を限界まで使用することが可能となり、環境光が多い場面では限界まで露光量を維持して画質を劣化させ難くすることができる。

さらに、光源点灯時画像の最大値およびその時間変化を参照すれば、撮像部２がどの程度の露光量で飽和するかを知ることができ、これによって、撮像部２に用いるイメージセンサの製品毎の飽和量やダイナミックレンジなどの違いに応じて、露光量を調整することが可能となる。すなわち、本実施形態における画素数カウント部５１は、光源消灯時画像と、差分画像とにおける輝度値の最大値およびその時間変化だけではなく、光源点灯時画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整するようにしてもよい。要するに、本実施形態における画素数カウント部５１は、光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した少なくとも１つの画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整するものであればよい。また、調整する上記閾値も、露光量飽和判定用の閾値に限定されず、露光量不足判定用の閾値を調整するようにしてもよい。

なお、本実施形態における画素数カウント部５１に関する事項は上記実施形態２にも適用可能である。

（実施形態４）
本実施形態の撮像装置１は、画素数カウント部５１および自動露出制御部５２の動作が実施形態１と異なっており、その他の構成については実施形態１と同様であるから同様の構成については同一の符号を付して説明および図示を省略する。

本実施形態における画素数カウント部５１は、光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるＳ／Ｎ比を算出し、算出したＳ／Ｎ比が露光量調整用に設定した条件を満たす画素の数をカウントする。具体的には、本実施形態における画素数カウント部５１は、光源点灯時画像の輝度値を光源消灯時画像の輝度値で除算した値をＳ／Ｎ比として採用する。そして、本実施形態における画素数カウント部５１は、Ｓ／Ｎ比が第１の判定値以下である画素の数と、Ｓ／Ｎ比が第１の判定値より大きい第２の判定値以上である画素の数とをそれぞれカウントする。

本実施形態における自動露出制御部５２は、Ｓ／Ｎ比が第１の判定値以下である画素の数が規定数以上であれば、露光量調整手段６を制御して露光量を増やし、Ｓ／Ｎ比が第２の判定値以上である画素の数が規定数以上であれば、露光量調整手段６を制御して露光量を減じる。

以上述べた本実施形態の撮像装置１によれば、撮像部２の露光量を適正な範囲に設定することができて、光源部３の光を正確に反映した差分画像を得ることができるようになり、差分画像の画質を向上できる。

ところで、本実施形態および上述した実施形態１〜３の撮像装置１は、例えば図５に示すような集合住宅用セキュリティシステムに組み込まれる。

図５に示す集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置１の他に、ロビーインターホン１００、警報監視盤１１０、電気錠制御装置１２０、エレベータ制御盤１３０、宅配ボックス制御盤１４０、システム制御盤１５０、テンキー装置１６０、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホン１００は、来訪者を撮像するカメラ、警報監視盤１１０や住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関２００の外に設置されている。来訪者がロビーインターホン１００のテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホン１００から警報監視盤１１０を経由して、呼出信号並びにロビーインターホン１００のカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホン１００から受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホン１００および住宅情報盤を用いて通話することができる。なお、この種のロビーインターホン１００、警報監視盤１１０、住宅情報盤については従来周知であるから詳細な構成についての図示ならびに説明は省略する。

電気錠制御盤１２０は、共同玄関２００に設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤１３０は、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤１４０は、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤１５０は、住宅情報盤から伝送される制御指令や撮像装置１における認証結果に応じて、電気錠制御盤１２０に電気錠を解錠させたり、エレベータ制御盤１３０にエレベータを運転させたり、宅配ボックス制御盤１４０に宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置１１０を操作して当該住人に割り当てられているＩＤ番号を入力すると、撮像装置１では、テンキー装置１１０から受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の認証を行い、認証できればシステム制御盤１５０に認証可の情報を伝送する。そしてシステム制御盤１５０は、撮像装置１から認証可の情報を受け取ると電気錠制御盤１２０に電気錠を解錠させたり、エレベータ制御盤１３０にエレベータを運転させたり、宅配ボックス制御盤１４０に宅配ボックスを解錠させる。一方、撮像装置１による認証が不可であった場合、システム制御盤１５０では、撮像装置１から認証不可の情報を受け取ると電気錠制御盤１２０に電気錠を解錠させず、エレベータ制御盤１３０にエレベータの運転を行わせず、かつ宅配ボックス制御盤１４０に宅配ボックスを解錠させない。なお、電気錠制御装置１２０、エレベータ制御盤１３０、宅配ボックス制御盤１４０は従来周知のものであるから、詳細な構成の図示ならびに説明は省略する。

実施形態１の撮像装置のブロック図である。（ａ）〜（ｃ）は差分画像の概略図、（ｄ）〜（ｆ）は度数分布を示すグラフである。度数分布の一例を示すグラフである。光源点灯時画像を示す概略図である。集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

１撮像装置
２撮像部
３光源部
５演算処理部
６露光量調整手段
７顔認証部
５０画像生成部
５１画素数カウント部
５２自動露出制御部

Claims

受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像部と、上記対象空間に光を照射する光源部と、光源部の点灯時に撮像部より得られた光源点灯時画像と光源部の消灯時に撮像部より得られた光源消灯時画像との差分画像を生成する演算処理部と、撮像部の露光量を調整する露光量調整手段とを備え、
演算処理部は、上記光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるＳ／Ｎ比を算出し、上記Ｓ／Ｎ比が判定値以下である画素の数をカウントする画素数カウント部と、画素数カウント部のカウント結果において、上記Ｓ／Ｎ比が上記判定値以上である画素の数が規定数以上である場合に露光量を減じるように、露光量調整手段を制御する自動露出制御部とを有していることを特徴とする撮像装置。
上記自動露出制御部は、光源点灯時画像における輝度値が状態判定用の閾値以上となる画素の数が所定時間にわたって継続して規定数を上回る場合、上記規定数を増加させることを特徴とする請求項１記載の撮像装置。
上記画素数カウント部は、光源消灯時画像において輝度値の最大値が暗所判定用の判定値以下であり且つ所定時間経過しても暗所判定用の判定値を越えない場合であって、差分画像において輝度値の最大値が露光量不足判定用の判定値以上であり且つ所定時間経過しても露光量不足判定用の判定値未満とならない場合、上記判定値を下げることを特徴とする請求項１又は請求項２記載の撮像装置。
上記演算処理部は、上記差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて上記差分画像の明るさを調整する自動利得制御部を有していることを特徴とする請求項１〜３のうちいずれか１項記載の撮像装置。