JP4341695B2 - 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法 - Google Patents

Description

本発明は、被写体を撮像し、発生した撮像信号のノイズ成分を信号処理により抑圧する画像入力処理装置と、撮像信号処理回路、および、撮像信号のノイズ低減方法に関する。

動画や静止画を撮影するカメラ装置において、例えばＩＳＯ感度を上げて撮像すると、自動露光機能が働いて、センサ（撮像デバイス）の露光時間が短くなり、且つ、センサから出力される信号のゲインが増幅されるため、センサ自身や周辺ＩＣの発するノイズの影響を大きく受け、信号対ノイズ比（Ｓ／Ｎ比）が低いノイズィな画になる。
ノイズはセンサ自身の要因、さらには、周辺ＩＣの動作周波数など、さまざまな周辺から受ける影響により発生する。また信号源（センサ）自体の特性変化や時間変化のばらつきなどもあって、低周波から高周波まで様々なノイズパターンが画に影響を及ぼす。
ノイズを低減または抑圧するためにカメラ装置が内部で行う信号処理では、タップ数の大きなフィルタを使ったノイズ低減(Noise Reduction)のための回路を用いたものが知られ、当該回路の処理によって表示画像のＳ／Ｎ比向上を図っている。

しかし、タップ数の大きな通常のローパスフィルタ（例えばガウシアンフィルタ）で処理を行うと、これに伴ってエッジ情報が拡散してしまうため、エッジの急峻性が低下し、解像感が低くなった画が出力されてしまう。これを解決するためカメラ信号処理において、入力画像に対して解像度を維持しながらフィルタ処理を施して、Ｓ／Ｎ比を良くするノイズ低減(ＮＲ)手法が必要である。

ノイズ低減(ＮＲ)のアプローチの一つとして、不可視光の、特に近赤外線領域をカットするＩＲ(Infrared Radiation)カットフィルタを通った被写体からの光を、赤(Ｒ),緑(Ｇ),青(Ｂ)等の所定のカラーフィルタを備える撮像デバイスで受光し、当該撮像デバイスから出力される色再現性が高い画像以外に、より情報量が多い画像としてＩＲカットフィルタを通さないで同一被写体を撮像した画像を取得し、当該ＩＲカットフィルタを通さないことで多い情報量が維持された画像でエッジ情報を検出する手法が知られている（例えば、特許文献１参照）。

上記特許文献１において、エッジ情報を取得するための画像は不可視光画像（実施例では赤外光画像）と称され、ＩＲカットフィルタを通す前の、低域から高域までの幅広い周波数成分を含む画像情報を保持している。

上記特許文献１では、不可視光画像（赤外光画像）をハイパスフィルタに通すことにより高周波成分を抽出する一方、可視光画像、即ちＩＲカットフィルタを通して撮像した色再現性が高い画像をゲイン調整した後、ローパスフィルタを通してノイズを除去する。ただし、ローパスフィルタを通すと解像度情報が拡散し、エッジの急峻性が低下する。よって、上記特許文献１では、このローパスフィルタリング後の可視光画像と、エッジ情報を含む上記ハイパスフィルタ後の赤外光画像とを合成している。これにより、ノイズ低減とエッジ情報拡散（エッジの急峻性低下）の防止とを両立させている。

ＩＲフィルタに関し、単一の撮像デバイスのカラーフィルタ層に、赤外光成分を透過する、遮断することを選択する機能を持たせることができる。
例えば特許文献２には、赤(Ｒ),緑(Ｇ),青(Ｂ)の３原色の透過フィルタと、赤外領域に感度を持ち、赤外光を透過する赤外通過フィルタとから、繰り返し最小単位（画素ユニット）が構成されているカラーフィルタが開示されている。そして、特許文献２には、赤外フィルタは白(Ｗ)のフィルタであってよいことが記載されている。

一方、ホワイトバランス時におけるゲイン調整や色補正およびノイズ低減ついては、赤外光成分を持つ撮像信号に対する処理が知られている（特許文献３、４参照）。
特開２００６−１８０２６９号公報 特開２００５−００６０６６号公報 特開２００１−０７８２０４号公報 特開２００５−３０３７０４号公報

例えば特許文献２に示す撮像デバイスのように、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のカラーフィルタを有する画素を２×２の配列として、この配列を２次元で繰り返し配置し、そのうち白(Ｗ)の画素のみに赤外光（ＩＲ）を通過する赤外通過フィルタを設けることが可能である。これにより、Ｒ／Ｇ／Ｂの可視光画像と、（Ｗ＋ＩＲ）の赤外光画像（以下Ａ(Allの略)画像という）とを１つの撮像デバイスから出力可能である。

特許文献１に記載された技術は、例えば、このようにして得られたＲ／Ｇ／Ｂ画像を可視光画像(Visible)として用い、Ａ画像を赤外光画像(infr)として用いて、可視光画像(Visible)に対するＮＲ処理を行うことが可能である。

図１３に、特許文献１に記載された画像処理部の構成を示す。
図解した画像処理部１００は、ゲイン調整部１０１、ＮＲ処理部としてのローパスフィルタ１０２、ハイパスフィルタ１０３、および、画像合成部１０４を有する。

ゲイン調整部１０１は、入力される可視光画像(Visible)のゲインを調整する。これにより、露出不足で暗く撮像された可視光画像(Visible)の画素ごとの階調値（画素値）を増大し、適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像(Visible)の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。

ローパスフィルタ１０２は、エッジ検出部を含んでおり、当該エッジ検出部で、より情報量が多い赤外光画像(infr)からエッジを検出する。ノイズ低減部としてのローパスフィルタ１０２は、検出したエッジで情報を保存しつつローパスフィルタ処理を行うことにより、可視光画像(Visible)からノイズを除去し、基礎画像(Base)を画像合成部１０４に出力する。
一方、ハイパスフィルタ１０３は、入力される赤外光画像(infr)からエッジ近傍の詳細部分を抽出し、得られた詳細画像(Edge)を画像合成部１０４に出力する。
画像合成部１０４は、ローパスフィルタ１０２からの基礎画像(Base)と、ハイパスフィルタ１０３からの詳細画像(Edge)を合成し、出力画像(OUT)を得る。

被写体が暗い場合、可視光画像(Visible)の情報量は少なく、これをそのままローパスフィルタ１０２を通してＮＲ処理すると、出力画像(OUT)も暗いままである。そこでゲイン調整部１０１により信号レベルを増幅してからローパスフィルタ１０２によるＮＲ処理を行う。このとき信号増幅によりノイズレベルも増幅されるが、その後に、ＮＲ処理を行うので、色信号レベルが増幅された分、出力画像(OUT)のＳ／Ｎ比は向上する。
一方、情報量が多い赤外光画像(infr)からエッジを検出して、そのエッジ部分は局所定にＮＲ処理を弱くかける等の処理により、出力画像(OUT)のエッジ階調差を保存することができる。しかし、エッジ部分のＳ／Ｎ比を上げることができず、かえってＳ／Ｎ比が低下する場合がある。このため、ハイパスフィルタ１０３でエッジ部分の詳細画像(Edge)を抽出し、画像合成部１０４で基礎画像(Base)と合成することにより画面全体のＳ／Ｎ比を高くすることができる。

以上より、特許文献１に記載の画像処理部１００を用いると、赤外光の波長域まで光を取り込むことで、被写体が暗い場合にも、エッジの情報を保存しつつ画面全体のＳ／Ｎ比が高い明るい出力画像(OUT)が取得可能なカメラ装置を実現できる。

上述したようにＲ／Ｇ／Ｂの可視光画像(Visible)と、Ａ画像からなる赤外光画像(infr)とを用いて図１３に示す画像処理部１００で処理を行った場合、Ａ画像（赤外光画像(infr)）には可視光以外の成分（特に多く割合で近赤外光）が含まれるが、近赤外光成分のＡ画像に占める割合は、光源の違いによって大きく変動する。例えば、同じ太陽光でも明け方、真昼、夕方では、特に近赤外光の含まれる割合が変化する。また、屋内照明でも光源の色温度が違うと、例えば電球は蛍光灯より近赤外光を格段に多く含む。

図１４は、色温度３０００［Ｋ]の電球と、蛍光灯の光源分光特性を相対的に比較するグラフである。
電球を光源とする場合、図示のように赤外光成分を多く含むために、画面が暗くＲ／Ｇ／Ｂの可視光画像(Visible)の情報量が少ない場合でも、Ａ画像の情報量は比較的多く、Ａ画像自身が持つＳ／Ｎ比も比較的高い。よって、画面が明るい場合は勿論、暗い場合でもエッジ検出の参照画像としてＡ画像を用いれば、エッジ情報を保存したままＲ／Ｇ／Ｂ画像（可視光画像(Visible)）に対し、有効にＮＲを行える。

一方、蛍光灯を光源とする場合、蛍光灯からの光は、図示のように赤外光成分を殆ど含まない。この場合でも、画面が明るいときは、エッジ検出の参照画像としてのＡ画像が必要な情報量を有している。
ところが、画面が暗くなると、エッジ検出に必要な情報量がＡ画像で不足するため、Ｒ／Ｇ／Ｂ画像に対しエッジ保存が働いたＮＲができなくなる。また、画面が暗いとＲ／Ｇ／Ｂ画像に対して大きなゲインがかけられるため、ゲインアップ後のＲ／Ｇ／Ｂ画像が持つノイズレベルが極端に大きくなる。このレベルが大きなノイズは、ＮＲ部（図１３ではローパスフィルタ１０２）で、ある程度減衰されるが完全には除去しきれず、ＮＲ処理後のＳ／Ｎ比が比較的低くなる。その結果、ＮＲを行ってもノイズィな画面が出力されてしまう。
このような不都合を回避するには、ＮＲ部の前では無理してゲインアップを行わずに、ＮＲ処理後に画面を明るくするためにゲインアップすることが望まれる。

このようにＮＲ処理前に無理してゲインアップをしないほうが望ましい場合は、蛍光灯か電球かという屋内光源の違いに限らず、屋外で時刻や天候が異なる撮影、屋外と屋内の撮影など、光源の分光特性に違いが生じる他の要因によって、あるいは、例えば被写体の赤外吸収特性が異なる等の光源以外の要因によっても発生する可能性がある。

このように、特許文献１に示すようなノイズ低減のための画像処理部およびそれを用いたカメラ装置では、赤外光成分が含まれる程度に応じてノイズ低減の能力差が生じ、時としてノイズィな画面が出力され、この点が改善点として残されている。

本発明に係る画像入力処理装置は、撮像信号発生部、ゲイン調整部、および、ノイズ低減部を有する。
前記撮像信号発生部は、色選択と近赤外光成分の遮断を行う多層フィルタをオンチップで有する撮像デバイスで被写体を撮像し、前記近赤外光成分が前記多層フィルタにより抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、前記多層フィルタの前記近赤外光成分の遮断を行う部分が形成されていない箇所で前記被写体を撮像することで前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号とを発生する。なお、撮像信号発生部が撮像デバイスの場合と、撮像信号発生部に撮像デバイスと信号処理部を含む場合がある。第１および第２撮像信号は、撮像信号発生部からゲイン調整部に送られる。
前記ゲイン調整部は、第１および第２撮像信号を入力する。そしてゲイン調整部は、前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得し、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定し、当該設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行う。このとき前記ゲイン調整部は、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる。ゲイン調整後の第１撮像信号は、ゲイン調整部からノイズ低減部に送られる。
前記ノイズ低減部は、前記第１撮像信号を入力し、前記第１撮像信号のノイズを、前記エッジ情報に基づいて認識される画像箇所でエッジの情報を保存しつつ色ごとに低減する。

本発明に係る撮像信号処理回路は、近赤外光成分が遮断または抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、遮断または抑圧されていない前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号と、をそれぞれ入力し、前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得し、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定し、当該設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うゲイン調整部と、前記ゲイン調整後の第１撮像信号のノイズを色ごとに低減するノイズ低減部と、を有し、前記ゲイン調整部は、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる。

本発明に係る撮像信号のノイズ低減方法は、近赤外光成分が遮断または抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、遮断または抑圧されていない前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号と、を取得するステップと、前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得するステップと、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定するステップと、前記設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うステップと、前記ゲイン調整後の第１撮像信号のノイズを低減するステップと、を含み、前記ゲイン調整を行うステップでは、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる。

本発明では好適に、前記第２撮像信号からエッジ情報を取得するエッジ情報取得部をさらに有し、前記ノイズ低減部は、前記第１撮像信号のノイズを、前記エッジ情報に基づいて認識される画像箇所でエッジの情報を保存しつつ色ごとに低減する。

上記本発明の構成では、第１および第２撮像信号に基づいて、第１撮像信号に対して行われるゲイン調整時の最大ゲイン値の設定が行われる。より詳細には、まず、第１比較値と第２比較値の相対的な大きさに関するパラメータが算出される。ここで第１比較値は、第１映像信号の可視光成分から得られ、当該可視光成分の大きさに関係する。第２比較値は、第１比較値と等価な第２撮像信号の可視光成分に、当該第２撮像信号の可視光成分に対応する近赤外光成分を加えた値に関係する。
このパラメータＫの値を大きくすることは、第１または第２比較値の一方を他方より相対的に大きくすることを、逆に、パラメータの値を小さくすることは、第１または第２比較値の一方を他方より相対的に小さくすることを、それぞれ意味する。

本発明でノイズ低減の前に行われるゲイン調整で、第２撮像信号に含まれる近赤外光成分が多いか少ないかは、例えば、パラメータの大きさに応じて決まり、そのパラメータの大きさに応じて、ゲイン調整時の最大ゲイン値が設定（ゲインが制限）される。そして本発明では、最大ゲイン値を上記パラメータに応じて異なる値に変化させることができる。

通常、ノイズ低減では、入力ダイナミックレンジ等によってノイズ低減の限界が存在し、その限界を超えると出力画像のノイズが急激に増大する。その限界は、入力信号レベルのほかに、ノイズレベルの大きさによって変化する。撮像からノイズ低減までの信号処理経路で信号増倍率が大きいほど、当該信号に含まれるノイズレベルは高くなる。ただし一般的には撮像デバイスで生じるノイズ低減はデバイス内部の信号処理である程度抑圧されることが多いため、撮像デバイスからノイズ低減処理までの間にあるアンプで発生するノイズが、上記ノイズ低減の限界を決めるノイズレベルを主に支配する。
つまり、ノイズレベルが急激に増大するノイズ低減の限界は、実際にノイズ低減される前の信号レベルと、その信号レベルに調整されたときの信号増倍率（ゲイン）とに関係する。

本発明の画像入力処理装置では、撮像信号発生部が、可視光成分を含む第１撮像信号と、近赤外光成分を含む第２撮像信号とを発生できるように構成されている。この第１撮像信号の可視光成分と、第２撮像信号の近赤外光成分との相対的な大きさが分かれば、上記ノイズレベルが急激に増大するノイズ低減の限界の相対的な大小関係程度は予測がつく。ゲイン調整部は、この光成分の相対的な大きさを、例えばパラメータとして算出でき、それにより最大ゲイン値を、ノイズ低減能力の限界を超えないように変更可能に設定することができる。

以上より、被写体を撮像する際の光源が異なる、あるいは、光源の色温度が変化する等の環境変化があっても、ゲイン低減処理でノイズ低減能力に破綻がないため、当該ノイズ低減処理から常に高品質な画像が出力される。

本発明によれば、赤外光成分が含まれる程度に応じてノイズ低減の能力差が生じ、時としてノイズ低減の限界を超える結果、ノイズィな画面が出力されるという不都合を有効に防止できる。

以下、本発明の実施形態を、図面を参照して説明する。
《第１実施形態》
図１は、本発明の実施形態に係る撮像信号処理回路を内蔵したカメラ装置のブロック図である。
当該カメラ装置が、本発明の「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体としたデジタルスチルカメラの何れでもよい。

図解するカメラ装置は、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの撮像信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの撮像信号をデジタル信号にＡ／Ｄ変換し、デジタルの映像信号として各種信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、および、各種信号処理がされた映像信号をアナログ信号にＤ／Ａ変換し、ビデオ信号１４として出力するＤＡコンバータ（ＤＡＣ）１２を有する。

なお、光学部品１に含まれる光学フィルタは、例えば、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。光学フィルタには、赤外カットフィルタの機能を備えてもよいし、備えなくてもよい。光学フィルタが赤外カットフィルタの機能を備えない場合、赤外カットフィルタの機能は、撮像デバイス２のオンチップ・多層フィルタが有する。

図２に、本実施形態で用いる、オンチップ・多層フィルタを備える撮像デバイスの出力分光特性を示す。このグラフは、横軸が入射光の波長を示し、縦軸が、各色の撮像信号が例えば８ビットの場合の出力レベル、即ち０〜１０２４の出力階調値を示す。
この撮像デバイスは、近赤外光領域の下限（７００〜８００［nm］、図では７５０［nm］で表示）より周波数が高い領域でも、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のそれぞれで感度を有することが図２から分かる。

また、図解するカメラ装置は、ＡＤＣ５からのデジタル信号を処理する信号処理部４を有する。
信号処理部４は、ゲイン調整部４ＡとＮＲ部４Ｂを含む、本発明の「撮像信号処理回路」の一態様である。信号処理部４は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。信号処理部４は、ＡＤＣ５とＤＡＣ１２間に接続され、前述した各種信号処理として、前処理としての信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等を行う。信号処理部４とＤＡＣ１２との間に、処理後の輝度信号と色信号の混合回路（ＹＣ＿ＭＩＸ）９が接続されている。信号処理部４と混合回路９を含めて信号処理部４としてよく、また、ＩＣ化またはモジュール化をしてよい。

図３（Ａ）に、本実施形態の特徴部分である、図１に示すゲイン調整部４Ａとノイズ低減部４Ｂを含めた、信号処理部４の一部（ＮＲ処理部）の構成例を示す。
図解するＮＲ処理部５４Ａは、可視光成分を含む第１撮像信号と、近赤外光成分を含む第２撮像信号とを、別々に入力する。
ここでは原色の撮像信号を例としており、第１撮像信号が、赤(Ｒ),緑(Ｇ),青(Ｂ)の画素ごとの撮像信号（以下、Ｒ,Ｇ,Ｂ信号と表記する）である。また、第２撮像信号は、上記第１撮像信号の可視光成分（Ｒ信号＋Ｇ信号＋Ｂ信号）と等価な可視光成分としての白(Ｗ)の撮像信号（以下、Ｗ信号という）と、近赤外光成分の撮像信号（以下、ＩＲ信号という）とを含んでいる。ここでは、Ｗ信号とＩＲ信号を合計した信号（Ａ信号またはＡ画素信号）で、第２撮像信号を表記している。
なお、ＩＲ信号は、被写体からの光の近赤外線成分の殆どを含んでいる。つまり、図１に示す光学部品１および撮像デバイス２には、少なくとも、このＴＲ信号を受光する経路にＩＲカットフィルタを有していないため、多少のロスを除くと、被写体からの近赤外光成分の殆ど全部をＩＲ信号に含んでいる。

図３（Ａ）に示すように、ＮＲ処理部５４Ａは、ゲイン調整部４Ａ、ノイズ低減（ＮＲ）部４Ｂ、および、エッジ情報取得部４Ｃを有する。
ゲイン調整部４Ａは、少なくともゲインアンプ（可変利得アンプ）ＧＡを有し、ゲインアンプＧＡで、Ｒ,Ｇ,Ｂ信号を、与えられたゲイン値に応じて増幅（または減衰）する（ゲイン調整）。また、ゲイン調整部４Ａは、ゲインアンプＧＡの最大ゲイン値Ｇmaxを変更可能に設定する機能を有する。この機能の詳細は後述する。

エッジ情報取得部４Ｃは、Ａ画素信号からエッジ情報（例えば近接画素の画素値差分）ＥＤを取得し、ＮＲ部４Ｂに出力する。
ＮＲ部４Ｂは、ゲイン調整後のＲ,Ｇ,Ｂ信号に対しノイズ低減処理を施す。このときＮＲ部４Ｂは、取得されたエッジ情報ＥＤに基づいて認識される画像箇所（エッジ部）でエッジ階調差を保存しつつ、エッジ部以外でＮＲ処理を実行する。エッジ階調差を保存するためには、ＮＲ部４Ｂはエッジ部でノイズ低減処理を殆ど行わない、あるいは、ＮＲ処理をより弱くかける。

エッジ情報取得部４Ｃは、より望ましくは、エッジ部の局部詳細情報（エッジ・テクスチャ情報ＥＴ）をＡ画素信号から抽出する機能を備える。また、抽出したエッジ・テクスチャ情報ＥＴをＲ,Ｇ,Ｂ画像に反映させるために、エッジ・テクスチャ情報ＥＴを、ＮＲ処理後のＲ,Ｇ,Ｂ信号に合成する合成処理部４Ｄが、ＮＲ処理部５４Ａ内に設けられている。
このため合成処理部４Ｄからの出力信号が示す画像は、エッジ階調が保存されてノイズが低減され、かつ、エッジ部分の画質低下が防止された高品質画像となる。

本実施形態では、図３（Ａ）に示すＮＲ処理部５４Ａよりも、信号処理順における前段の構成すべてが、本発明の「撮像信号発生部」の一態様に該当する。
すなわち、図１では、信号処理部４内の、ゲイン調整部４Ａより前段の構成、ＡＤＣ５、ＡＦＥ回路３、撮像デバイス２および光学部品１が、本発明の「撮像信号発生部」に該当する。

光学部品１は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１内に含まれる。

撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２は、光センサをマトリックス状に多数配置させた画素アレイと、当該画素アレイの撮像面の光入射側に、隣接した数個の光センサの集合（画素ユニット）で一定の配列となるように形成された多層フィルタとを有している。

撮像デバイス２がＣＣＤセンサの場合、撮像デバイス２にタイミングジェネレータ（ＴＧ）１３が接続されている。撮像デバイス２は、ＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。
ＴＧ１３は、これらのタイミング制御のための信号を、マイクロコンピュータ１０の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２がＣＭＯＳセンサの場合、ＴＧ１３の機能は撮像デバイス２内に持たせることができる。

撮像デバイス２は本発明の「撮像信号発生部」に含まれるが、「撮像信号発生部」が、図３（Ａ）に示す構成より前段すべてを含むため、撮像デバイス２が１つの場合と、２つの場合がある。
撮像デバイス２が１つの場合は、第１撮像信号（例えばＲ,Ｇ,Ｂ信号）の各色信号をそれぞれ出力する画素と、第２撮像信号（例えばＡ画素信号）を出力する画素が１つの画素ユニット（繰り返し最小単位）に所定の配列で含まれる。この配列は、色選択とＩＲカットの機能が複合化された多層フィルタの構成で決められる。

撮像デバイス２が２つの場合は、上記第１撮像信号を出力する撮像デバイスと、上記第２撮像信号を出力する撮像デバイスとが、別に設けられる。この場合、同一の被写体からの光（像）をダイクロイックプリズム等の光学部品で２方向に分岐して、分岐方向にそれぞれ設けられた２つの撮像デバイスで、それぞれ受光する。
第１撮像信号を発生させるための撮像デバイスには色（選択）フィルタを設け、その撮像面と上記光学部品との間の光路にＩＲカットフィルタを設ける、または、ＩＲカットフィルタと色（選択）フィルタとの機能を複合した多層フィルタを撮像デバイスに設けるとよい。
一方、第２撮像信号を発生させるための撮像デバイスは色（選択）フィルタ、ＩＲカットフィルタを設けないことにより、Ａ（＝Ｗ＋ＩＲ）信号の発生が可能である。

図４（Ａ）および図４（Ｂ）に、撮像デバイス２の多層フィルタの色配列を持つ１つの画素ユニットを、２例示す。色配列は、撮像デバイスが１つの場合に適したものであり、撮像デバイスが２つの場合、その１つに、よく知られている「原色ベイヤ」あるいは「ナイト(Knight)」等の色配列を持つフィルタを用いてよい。
なお、色配列は、この２例に限定されないが、ここでは原色フィルタについて代表的なものを説明する。なお、色フィルタは、原色フィルタでは図示例以外の配列でもよいし、あるいは、種々提案されているように、任意に選択された複数の補色を規則的に配列した補色フィルタであってもよい。

多層フィルタの色（選択）層は、例えば図４（Ａ）または図４（Ｂ）に示す色配列となっている。
図４（Ａ）に示す色配列は「Ｗ市松」と称される。また、図４（Ｂ）に示す色配列は「Ｗ市松ジグザグ(Zigzag)」と称される。「Ｗ市松」や「Ｗ市松ジグザグ」では、Ｇ画素、Ｒ画素、Ｂ画素のすべて検出波長領域をカバーする波長領域に感度を持つ白(Ｗ)画素を含み、当該Ｗ画素が市松に配置されている。
一方、多層フィルタのＩＲカット層は、Ｇ画素、Ｒ画素、Ｂ画素でＩＲカット、Ｗ画素でＩＲ透過となるように構成されている。

一般に、近赤外線は、０.７〜０.８[μm]（可視赤色光の長波長側の限界）から２.５[μm]（または１.５〜３[μm]）の波長を有する。近赤外光成分は、色を白っぽくするなどの弊害があるため、第１撮像信号（Ｒ,Ｇ,Ｂ信号）においては除去する必要がある。しかし、ＩＲカットフィルタによって近赤外光成分を完全に遮断することが難しく、通常、撮像デバイスの出力分光特性は、図２に示すように、近赤外光領域にも赤(Ｒ),緑(Ｇ),青(Ｂ),白(Ｗ)それぞれに感度を持つ。波長が７００［nm］より少し低い波長領域から長波長側は、人間の視覚感度がほとんどない。よって、図示した出力分光特性をもつ撮像デバイス２では、ＩＲカット層（またはＩＲカットフィルタ）が、例えば、太い一点破線により示す６５０［nm］付近から長波長側を抑圧するように設計されている。

図１に戻ると、撮像デバイス２からの撮像信号（アナログ信号）が入力されるＡＦＥ回路３は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（ＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。

ＡＤＣ５は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。このデジタル信号は、画素ごとに上記所定ビットの階調値を有する画素信号列が含まれる。即ち、ＡＤＣ５から出力されるデジタル信号には、Ａ画素と他の色の画素との交互の画素信号列が含まれる。

信号処理部４内に、すでに説明した図３（Ａ）に示す構成のＮＲ処理部５４Ａが設けられている。単板式の場合、撮像デバイス２から、赤(Ｒ),緑(Ｇ),青(Ｂ),All(Ａ＝Ｗ＋ＩＲ)の各画素信号が、表示時の走査順に時系列のシリアル信号として排出される。この信号から、第１撮像信号（例えばＲ,Ｇ,Ｂ信号）と、第２撮像信号（例えばＡ画素信号）を分離する構成が、信号処理部４内のＮＲ処理部５４Ａより前段に必要である。

ＮＲ部４Ｂは、分離後の第１撮像信号（Ｒ,Ｇ,Ｂ信号）を色ごとに入力し、色および画素ごとにノイズ低減を行うための回路である。詳細は後述するが、このときＲ,Ｇ,Ｂ信号を構成する各画素信号（Ｒ信号,Ｇ信号,Ｂ信号）に対し処理を実行する際に、当該処理のターゲット画素を順次変更して処理を繰り返す。ＮＲ部４Ｂは、各ターゲット画素及びその周囲にエッジが存在していないと、エッジ情報取得部４Ｃで取得されたエッジ情報に基づいて判断されるときはノイズ低減を行い、各ターゲット画素及びその周囲にエッジが存在すると判断されるときはノイズ低減を有効に行わない。
このような処理は、ローパスフィルタにより実行できる。このとき、特にエッジ階調差を保存するには、例えばクロスバイラテラルフィルタのようなエッジ保存フィルタが用いられる。クロスバイラテラルフィルタについては、次の第２実施形態で詳述する。

ＮＲ処理後のＲ,Ｇ,Ｂ信号は、輝度信号と色信号に分離され、分離後の各信号に所定の処理が行われた後、信号処理部４から出力される。
混合回路９は、信号処理部４により処理された輝度信号と色信号を混合（合成）して、ビデオ信号を発生する回路である。
ＤＡＣ１２は、ビデオ信号をアナログのビデオ信号１４に変換して出力する回路である。

マイクロコンピュータ１０は、撮像デバイス２、ＡＦＥ回路３、信号処理部４ＴＧ１３、および、その他のすべての構成を制御する回路である。
マイクロコンピュータ１０には、制御パラメータ等を保持する書き換え可能なメモリ、例えば不揮発性メモリ（ＮＶＭ）１１が接続されている。
なお、モニタ表示部、ビデオ信号１４をさらにエンコードしてモニタ表示部に出力する回路、音声の処理および出力のための回路等は、図１で図示を省略している。

《第２実施形態》
以下、特徴部であるＮＲ処理部５４Ａを含めた、より詳細な実施形態を説明する。なお、ここでは単板式の撮像デバイス２を有することを前提とする。

［信号処理部の構成］
図５は、信号処理部４の一構成例を示すブロック図である。
図解する信号処理部４は、大別すると、前処理を行うＰＲＥブロック４１、輝度信号（Ｙ）を抽出し処理するＹブロック４２、色信号（Ｃ）を抽出し処理するＣブロック４３、画面の明るさを検出するためのＯＰＤ（Optical Detector）ブロック４４とから構成され、各ブロックはパラレルインターフェース（ＰＩＯ）４５を介して、マイクロコンピュータ１０（図５ではＣＰＵブロックと記す）に接続されている。マイクロコンピュータ１０の制御により、図示した各ブロックが制御され、これによりＰＲＥブロックの処理、自動露光（ＡＥ）、自動ホワイトバランス（ＡＷＢ）等の処理が実行される。

ＰＲＥブロック４１は、デジタル自動ゲイン制御（ＡＧＣ）回路５１、シェーディング・欠陥補正回路５２、ディレイライン部（図では「Ｄ」により表示）５３、ＮＲ(Noise Reduction)ブロック５４、パターン発生回路５６、および、黒積分回路５７を有する。

ＡＧＣ回路５１は、入力されるデジタルの撮像信号のゲインを調整する回路である。ＡＧＣ回路５１は、通常、次段以降の処理に適した信号振幅を得るために設けられ、単一の撮像信号全体に対し、即ち可視光成分と近赤外光成分に対し一律に増幅が行われる。
なお、本例ではＮＲブロック５４にゲイン調整部を含むため、Ｙブロック４２やＣブロック４３の処理に必要な信号振幅は得られる。よって、ＮＲブロック５４より前段の、例えばシェーディング・欠陥補正回路５２で入力振幅が小さすぎて必要な処理精度が得られない等の、特段の事情がない場合はＡＧＣ回路５１を省略可能である。

シェーディング・欠陥補正回路５２は、センサ（撮像デバイス２）の受光面における中心部と辺部とで受光位置が異なることにより生じる明るさの差を補正するシェーディング補正と、センサからの撮像信号の欠落データの補正を行う回路である。

ディレイライン部５３は、ＮＲブロック５４の処理のために、水平および垂直の方向に所定の画素数を持つ映像信号規格のライン（水平方向の画素信号列）を単位として数ライン分の遅延を行う回路である。例えばＮＲブロック５４の処理に５ライン分の遅延が必要な場合は、１ライン遅延部を４つ直列接続し、１ライン遅延部の各出力と、遅延させないライン（入力をそのまま出力するライン）とから５ライン分の画素信号列を並列にＮＲブロック５４に入力させることができる。
なお、ディレイライン部５３に代わるものとして画像メモリを設けて、必要なライン数分のデータを読み出す構成でもよい。また、ＮＲブロック５４の具体的な構成および動作は後述する。

ここでは図１に示す撮像デバイス２が単板式であり、図４に示す色配列がされているため、撮像デバイス２から出力される撮像信号は、色ごとに見れば、赤(Ｒ),緑(Ｇ),青(Ｂ)の何れかの色の情報を持つ画素信号と、白(Ｗ)の画素信号とが時間軸上で交互に混合されている。したがって、この撮像信号が表す画像は、各色についてはモザイク状配置となる。このようなモザイク状の色配置を有する画像を「モザイク画像」という。
モザイク画像をＮＲ処理にそのまま用いると、情報の欠落部分があり精度よい処理が行えない。そこで、ＮＲブロック５４内部にモザイク画像をデモザイクする機能を有する。「デモザイク」は、色ごとのモザイク画像（特定色のモザイク画像）において、その特定色の情報がない部分の色情報を、特定色の情報を有する周辺画素から補間処理等により発生させて全ての画素対応部分に色情報を有する「デモザイク画像」に変換する処理である。デモザイクのための詳細な構成は図示しないが、一般に、簡易な線形補間処理、あるいは、色推定と合成とを繰り返すことによる高精度補間処理のための回路構成が採られる。

パターン発生回路５６は、撮像デバイス２を接続しない状況でのテストパターンを発生する回路である。
黒積分回路５７は、デジタルの撮像信号の黒レベルを検出する回路である。

Ｙブロック４２は、ＰＲＥブロック４１から出力されるデモザイク撮像信号のうち、最も情報量が多いＡ画素のデモザイク撮像信号を入力し、処理する回路である。
Ｙブロック４２は、Ａ画素のデモザイク撮像信号から輝度信号（Ｙ）を発生させるＹ発生部６１、輝度信号（Ｙ）からアパチャーコントロール（アパコンと略記する）信号を発生するアパコン発生部６２と、アパコン信号に対するガンマ（γ）補正部６３とを有する。
Ｙ発生部６１で発生した輝度信号（Ｙ）はＯＰＤブロック４４に供給される。アパコン発生部６２では、Ｙ発生部６１で発生した輝度信号(Ｙ)から、画の輪郭部分のみを強調した輝度信号（Ｙ）に修正を施して、修正後の輝度信号（Ｙ）をγ補正部６３に供給する。γ補正部６３からはガンマ補正後の輝度信号（Ｙ）が、図１の混合回路９に出力される。

Ｃブロック４３は、Ｒ,Ｇ,Ｂ画素のデモザイク撮像信号を入力し処理する回路である。
Ｃブロック４３は、ＲＧＢマトリクス回路７１、ホワイトバランス（ＷＢ）およびガンマ（γ）補正回路（「ＷＢ／γ補正」と記す）７２、色差信号（Ｒ−Ｇ）と（Ｂ−Ｇ）の変換回路（色差変換回路という）７３、ならびに、クロマ信号Ｃｒ,Ｃｂの発生回路（クロマ発生回路という）７４を有する。

ＲＧＢマトリクス回路７１は、Ｒ,Ｇ,Ｂ画素のデモザイク撮像信号を入力し、同一の画素ユニットごとに同時化処理（同期）された色信号（Ｒ／Ｇ／Ｂ信号）を出力する回路である。Ｒ／Ｇ／Ｂ信号はＯＰＤブロック４４およびＷＢ／γ補正回路７２に出力される。
ＷＢ／γ補正回路７２は、入力されるＲ／Ｇ／Ｂ信号から、色ごとのゲインバランスをとり、ホワイトバランス（ＷＢ）調整を行う。このときＯＰＤブロック４４からの明るさ情報が参照される。また、ホワイトバランス後のＲ／Ｇ／Ｂ信号の各画素強度に対して、色ガンマ（γ）補正がかけられる。このとき画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。この数値は、例えば図１に示す不揮発性メモリ１１あるいはマイクロコンピュータ１０内の記憶領域等に保持され、これが図５のＰＩＯ４５を介してＷＢ／γ補正回路７２に供給される。ガンマ補正とは、表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。

色差変換回路７３は、ガンマ補正後のＲ／Ｇ／Ｂ信号を色差信号（Ｒ−Ｇ）,（Ｂ−Ｇ）に変換する回路である。
クロマ発生回路７４は、色差変換回路７３の出力から、さらにクロマ信号Ｃｒ,Ｃｂを発生させる回路である。発生したクロマ信号Ｃｒ,Ｃｂは、図１に示す混合回路９に送られる。

ＯＰＤブロック４４は、例えば自動露光制御（ＡＥ）に用いられる輝度積分値を発生させる輝度積分回路４４Ａと、例えばホワイトバランスに用いられる色ごとのＲ／Ｇ／Ｂ積分値を発生させるＲ／Ｇ／Ｂ積分回路４４Ｂとを含む。
輝度積分回路４４Ａは、輝度信号（Ｙ）を、例えば1画面分、積分することにより輝度積分値を発生させる。輝度積分値はマイクロコンピュータ１０を介して図１の光学部品１内に設けられている絞り制御回路及び撮像デバイス２に内蔵されているアナログゲイン回路に供給される。
Ｒ／Ｇ／Ｂ積分回路４４Ｂは、ＲＧＢマトリクス回路７１からの色ごとのＲ／Ｇ／Ｂ信号を、例えば１画面分、色ごとに積分することによりＲ／Ｇ／Ｂ積分値を発生させる。Ｒ／Ｇ／Ｂ積分値はＰＩＯ４５を介してマイクロコンピュータ１０に供給され、そこでＷＢゲインを計算した結果が、ＷＢ／γ補正回路７２に供給される。
なお、これらの積分回路は、ＮＲブロック５４内に設けられる各種積算部（後述）により代用することもできる。その場合、ＯＰＤブロック４４を省略可能である。

［ＮＲブロックの詳細］
図６は、ＮＲブロック５４のさらに詳細なブロック図である。
図解するＮＲブロック５４は、分離部５４１、同時化（同期）処理部５４２、Ａデモザイク処理部５４３、ＲＧＢデモザイク処理部５４５、ゲイン調整部４Ａ、ＮＲ部４Ｂ、エッジ情報取得部４Ｃ、および、合成処理部４Ｄを含む。このうちＡデモザイク処理部５４３、ＲＧＢデモザイク処理部５４５、ゲイン調整部４Ａ、ＮＲ部４Ｂ、エッジ情報取得部４Ｃ、および、合成処理部４Ｄが、図３（Ａ）に示すＮＲ処理部５４Ａに含まれる。

分離部５４１は、Ａ（Ｗ＋ＩＲ）画素のモザイク画像を構成するＡ画素信号と、その他の色の画素信号（Ｒ,Ｇ,Ｂ画素信号）とを分離する回路である。
同時化処理部５４２は、分離後のＡ画素信号と、Ｒ,Ｇ,Ｂ画素信号とをそれぞれ入力し、同時化（同期）処理して出力する回路である。Ａ画素信号はＡデモザイク処理部５４３に入力され、Ｒ,Ｇ,Ｂ画素信号はゲイン調整部４Ａに入力される。

Ａデモザイク処理部５４３は、入力したＡ画素信号にデモザイク処理を施し、デモザイクＡ画像を発生させる回路である。同様に、ＲＧＢデモザイク処理部５４５は、入力したＲ,Ｇ,Ｂ画素信号の各画素信号に対しデモザイク処理を施し、デモザイクＲ,Ｇ,Ｂ画像を発生させる回路である。
これらのデモザイク処理は、例えば線形補間法等の簡易デモザイク処理でもよいが、より望ましくは、例えば、色推定と合成とを繰り返すことが可能な高精度な補間処理のための回路で実行される。具体的には、補間処理専用回路のほかに、ＤＳＰなどのコンピュータベースの制御部と、これを動作させるプログラムの機能から、デモザイク処理を実現してよい。

エッジ情報取得部４Ｃは、所定の手法によりデモザイクＡ画像からエッジ情報ＥＤを取得する。このときエッジ情報取得部４Ｃは、ターゲット画素を中心として、例えば３×３,５×５,…等の水平および垂直に任意数（通常、水平と垂直が同じ奇数）の画素群からなる周辺画素範囲においてエッジ情報取得を行う。ターゲット画素とは、ＮＲ部４Ｂでフィルタ処理によりノイズ低減を行う処理対象画素のことである。ターゲット画素は、入力順に一方の向き、例えば映像信号の水平方向の並びに沿ってその一方に順次変化する。エッジ情報取得部４Ｃは、ターゲット画素が順次、隣の画素に変更されるたびに、その周辺画素範囲を、変更後のターゲット画素が中心となるように認識し直してエッジ情報取得を繰り返す。取得されたエッジ情報ＥＤは、エッジ情報取得部４ＣからＮＲ部４Ｂに与えられる。
エッジ情報取得の具体的な手法としては、ターゲット画素と、当該ターゲット画素を中心とする周辺画素範囲内の他の画素との画素値の差分を求める方法が採用できる。

ＮＲ部４Ｂは、本例ではクロスバイラテラルフィルタから構成される。基本的なフィルタ構成は、よく知られている２次元ＬＰＦであり、例えば、特許文献１に示されるＬＰＦ構成を採用できる。
このとき、取得されたエッジ情報ＥＤからエッジ判定を行い、エッジ判定結果に基づいて、エッジ階調差をより多く保存するようにフィルタ係数の変更を行う。このとき元のエッジ階調差を強調することも可能である。そして、変更後のフィルタ係数を、Ｒ,Ｇ,Ｂ画像の２次元フィルタ処理に適用する。
このようにＡ画素からなるデモザイク後の画像のエッジ情報ＥＤからエッジ判定を行い、エッジ判定結果を用いてＲ,Ｇ,Ｂ画像の２次元フィルタ処理を行うと、画素値差分に応じたエッジ階調差を保存でき、より望ましい。このようなフィルタ処理対象と異なる画像情報を参照する２次元フィルタを、特にクロスバイラテラルフィルタと称する。クロスバイラテラルフィルタ処理の概要は後述するが、エッジ検出（エッジ情報取得とエッジ判定）がデモザイク後のＡ画像を用いて行われるため、エッジ検出精度が高く、その結果、クロスバイラテラルフィルタの出力でエッジ情報が効果的に保存される。処理後のＲ,Ｇ,Ｂ画素信号は、合成処理部４Ｄに出力される。

エッジ情報取得部４Ｃは、Ａ画素信号（厳密には、デモザイク後のＡ画像の信号）からエッジ・テクスチャ情報ＥＴを抽出する機能を有する。抽出範囲は、例えば、エッジと判定され画素値差分を含む周辺画素領域の全てをＡＮＤ処理で一つにまとめた（マージした）領域としてよい。エッジ・テクスチャ情報ＥＴは、エッジ情報取得部４Ｃから合成処理部４Ｄに出力される。

合成処理部４Ｄは、ＮＲ部４Ｂから入力されるＲ,Ｇ,Ｂ画素信号のエッジ部の情報を、エッジ情報取得部４Ｃから入力されるエッジ・テクスチャ情報ＥＴで置き換えることにより画像合成（信号混合）を行う。
合成処理部４ＤからのＲ,Ｇ,Ｂ画像は色信号処理のためにＣブロック４３に送られ、Ａデモザイク処理部５４３からのデモザイクＡ画像ＡＤは輝度信号処理のためにＹブロック４２に送られる。

［ゲイン調整部の詳細・動作］
本実施形態の特徴部分であるゲイン調整部４Ａは、ゲインアンプＧＡと積算ブロック５８を含む。
ゲインアンプＧＡは、ＲＧＢデモザイク処理部５４５からのデモザイクＲ,Ｇ,Ｂ画像を入力し、デモザイクＲ画像、デモザイクＧ画像、デモザイクＢ画像を構成する各色の画素信号（Ｒ画素信号、Ｇ画素信号、Ｂ画素信号）にゲイン値Ｇをかけて信号振幅を一律に変化させる回路である。なお、このとき色ごとにゲイン値を変えてもよいが、本例では色バランス補正のための回路が後段に存在するため、ここでは同じゲイン値Ｇを用いる。

積算ブロック５８は、Ａデモザイク処理部５４３からのデモザイクＡ画像ＡＤと、ＲＧＢデモザイク処理部５４５からのデモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤとを入力し、色ごとに所定期間の画素データの積算値、即ちＡ積算値、Ｒ積算値、Ｇ積算値、Ｂ積算値を求める回路である。
なお、積算ブロック５８は、同時化処理部５４２の出力から上記４つの積算値を算出してよい。デモザイクの前と後では積算値の相対的な大きさの比率は殆ど変化しないためである。むしろ、早い段階で積算値を算出する点では、同時化処理部５４２の出力から積算値を算出するほうが望ましい。

図７に、積算ブロック５８の構成図を示す。図７では、同時化処理部５４２の出力から積算値を算出する場合を示す。
撮像デバイス２からの撮像信号がＡ／Ｄ変換された後、図５のＰＲＥブロック４１に入力され、幾つかの処理を経てＮＲブロック５４に入力される。ＮＲブロック５４では、当該撮像信号が最初に、図７に示すように分離部５４１に入力される。分離部５４１は、入力される撮像信号のデジタルの画素値（Ａ／Ｄ変換値）を、４系統の出力に順次、高速クロック信号に同期して振り分ける動作を行う。４系統の出力からは、Ａ画素値、Ｒ画素値、Ｇ画素値、Ｂ画素値が同時化処理部５４２を経て積算ブロック５８にそれぞれ入力される。

積算ブロック５８は、図７に示すように、系統ごとに設けられた４つの積算部５８Ａ,５８Ｒ,５８Ｇ,５８Ｂを備える。各積算部は、加算器５８１と遅延手段、例えばラッチ回路５８２を有する。加算器５８１の一入力に同時化処理部５４２からの画素値が入力可能となっており、加算器５８１の出力がラッチ回路５８２の入力と接続されている。ラッチ回路５８２の出力は加算器５８１の他の入力に接続されている。

加算器５８１と加算器５８１は高速クロック信号により同期し、ラッチ回路５８２は、ある画素値と次の画素値との入力間隔に応じた時間だけ同一データの保持を行う。このため、加算器５８１で画素値が積算され、さらに次の入力間隔で、次の画素値が積算される。この動作を所定期間、例えば１画面分の期間行うと、Ａ画素値を入力する積算部５８Ａからは「Ａ（Ｗ＋ＩＲ）積算値ΣＡ」が得られる。同様にして、Ｒ画素値を入力する積算部５８Ｒからは「Ｒ積算値ΣＲ」が得られ、Ｇ画素値を入力する積算部５８Ｇからは「Ｇ積算値ΣＧ」が得られ、Ｂ画素値を入力する積算部５８Ｂからは「Ｂ積算値ΣＢ」が得られる。

図６に示すゲイン調整部４Ａは、マイクロコンピュータ１０の機能の一部を含むものであり、上記４つの積算値（以下、積算値Σと表記する）に基づいて、パラメータＫを算出する。パラメータＫは、撮像画像の可視光成分と近赤外光成分の相対的な大きさに応じて変化する係数であり、以下の式(1-1)または式(1-2)に従って、マイクロコンピュータ１０によって算出される。なお、マイクロコンピュータ１０は、本発明の「制御部」の一態様に該当する。また、式(1-1)と(1-2)は例であり、パラメータＫは、撮像画像の可視光成分と近赤外光成分の相対的な大きさに応じて変化する変数であれば、どのようなものでもよい。

［数１］
Ｋ＝ΣＡ−α*ΣＲ−β*ΣＧ−γ*ΣＢ …(1-1)
Ｋ＝(ΣＡ)／(α*ΣＲ−β*ΣＧ−γ*ΣＢ)…(1-2)

ここで符号α,β,γは、色ごとの補正係数を表しており、それぞれ、任意の１以下の数値をとる。

これらの式が意味するところは、以下の如くである。
Ａ（Ｗ＋ＩＲ）積算値ΣＡは、Ａ画素（図４参照）から出力されるＡ画素データの１画面分の和であり、可視光成分と近赤外光成分との両方を含む撮像画面全体の明るさを表している。一方、Ｒ積算値ΣＲは、Ｒ画素から出力されるＲ画素データの１画面分の和であり、Ｒ可視光成分の大きさを表している。同様に、Ｇ積算値ΣＧはＧ可視光成分の大きさ、Ｂ積算値ΣＢはＢ可視光成分の大きさをそれぞれ表している。よって、（ΣＡ＋ΣＧ＋ΣＢ）は可視光成分の大きさを表している。そして白(Ｗ)の大きさ、即ちＷ可視光成分の大きさをΣＷとすると、通常、（ΣＡ＋ΣＧ＋ΣＢ）＝ΣＷが成り立つ。

上述した式(1-1)は、近赤外光成分の１画面分の和をΣＩＲ、補正係数α,β,γ＜１とすると、Ｋ＝η1*ΣＷ＋ΣＩＲ（η1＜１）と変形できる。
また、上述した式(1-2)は、Ｋ＝η2＋ΣＩＲ／ΣＷ（η2＜１）と変形できる。
つまり、上記２つの式は両方とも、可視光成分ΣＷと、近赤外光成分ΣＩＲの大きさに応じて変化するパラメータＫを表す。そして、両式とも可視光成分ΣＩＲの割合が大きいほど、パラメータＫも大きいここと表している。

なお本発明との対応では、「第１撮像信号（Ｒ,Ｇ,Ｂ画素信号）の可視光成分から得られる第１比較値」が「（ΣＡ＋ΣＧ＋ΣＢ）」であり、「第１比較値（ΣＡ＋ΣＧ＋ΣＢ）と等価な第２撮像信号（Ａ画素信号）の可視光成分（ΣＷ）に、当該可視光成分（ΣＷ）に対応する近赤外光成分（ΣＩＲ）を加えた第２比較値」が「ΣＡ」である。そして、パラメータＫは第１比較値（ΣＡ＋ΣＧ＋ΣＢ）と第２比較値ΣＡの大きさに関係するパラメータであることは、前述した式(1-1)と(1-2)から明らかである。

以上より、パラメータＫの値を大きくすることは、第１または第２比較値の一方を他方より相対的に大きくすること、逆に、パラメータの値を小さくすることは、第１または第２比較値の一方を他方より相対的に小さくすることを、それぞれ意味する。

制御部としてのマイクロコンピュータ１０は、さらに、算出したパラメータＫに基づいて、図３（Ａ）または図６に示すゲインアンプＧＡの最大ゲイン値Ｇmaxを変更可能に設定する。

その制御の一例を、図３（Ｂ）のグラフに示す。
前述したようにパラメータＫが大きいほど近赤外光成分ΣＩＲが相対的に多く含まれることを意味するので、マイクロコンピュータ１０は、ゲインアンプＧＡに、大きな第１最大ゲイン値Ｇmax1を設定する。逆に、パラメータＫが小さいほど近赤外光成分ΣＩＲが相対的に少ないことを意味するので、マイクロコンピュータ１０は、ゲインアンプＧＡに、第１最大ゲイン値Ｇmax1より小さい第２最大ゲイン値Ｇmax2を設定する。

望ましくは、第１最大ゲイン値Ｇmax1の設定領域Ｒ１を、パラメータＫの第１基準Ｐ１以上と規定し、第２最大ゲイン値Ｇmax2の設定領域Ｒ２を、パラメータＫの第２基準Ｐ２（Ｐ２＜Ｐ１）以下と規定する。

そして、さらに望ましくは、パラメータＫの第１基準Ｐ１と第２基準Ｐ２の間の中間領域Ｒｍで、第１最大ゲイン値Ｇmax1から第２最大ゲイン値Ｇmax2まで、設定すべき最大ゲイン値Ｇmaxを線形（段階的でも可）に変化させる。
中間領域Ｒｍがないと、第１最大ゲイン値Ｇmax1と第２最大ゲイン値Ｇmax2がパタパタと切り替わることが生じ得る。上記したように線形（または段階的）に最大ゲイン値Ｇmaxを変化させることにより、最大ゲイン値が大きく、かつ、頻繁に切り替わることを防止して、画面のノイズ感が急激に変化することを防止することができる。
なお、頻繁に切り替わることだけを防止するのであれば、最大ゲイン値Ｇmaxにヒステリシス特性を持たせる方法を採用することも可能である。

一方、ゲイン値Ｇ自体は、図６に示すように制御部としてのマイクロコンピュータ１０から変更可能に与えられる。
ゲイン値Ｇの値は、例えば画面の明るさ調整に用いられる。例えば自動露光制御（ＡＥ）を、図６のＯＰＤブロック４４からの明るさ情報ではなく、この積算ブロック５８からの明るさ情報（積算値Σ）に基づいて行う。このとき、暗い被写体を明るくする逆光補正や、光源の色温度により可視光成分が少ないときに画面全体を明るくする色温度に応じた明るさ補正を、マイクロコンピュータ１０が実行する。

制御の一例を挙げると、以下の如くである。
マイクロコンピュータ１０は、画面全体の明るさは十分なのに画面内の合焦位置での明るさが不足する場合、例えば不揮発性メモリ１１が保持する逆光補正テーブルを参照して適切なゲイン値Ｇを読み出す。また、マイクロコンピュータ１０は、近赤外光成分ΣＩＲの相対的大きさを表すパラメータＫの値に応じて、例えば不揮発性メモリ１１が保持する色温度明るさ補正テーブルを参照して適切なゲイン値Ｇを読み出す。
読み出されたゲイン値Ｇは、マイクロコンピュータ１０の制御によりゲインアンプＧＡに設定され、例えば画面の明るさ情報が変化するたびに、上記適切なゲイン値Ｇの再読み出し、ゲインアンプＧＡの再設定（ゲイン値Ｇ更新）が繰り返される。

このような動的なゲイン制御において、常に、例えば図３（Ｂ）に示す最大ゲイン値Ｇmaxの設定変更制御が、例えば１画面を最小単位として動的に繰り返される。
本実施形態で、このように最大ゲイン値Ｇmaxの動的な制御を行う理由は、これがＮＲ処理と密接に関係するからである。

つぎに、まず、クロスバイラテラルフィルタによるＮＲ処理の概要（本発明のノイズ低減方法の一例を含む）を説明し、その後、ＮＲ処理と最大ゲイン値制御の関係について説明する。

［ＮＲ処理（ノイズ低減方法を含む）］
図８は、エッジ判定とノイズ低減を模式的に詳示した撮像以後の処理フロー図である。
図８に示すステップＳＴ０にて、Ａ,Ｒ,Ｇ,Ｂの色画素を同一画素ユニットに含む撮像デバイス２にて、被写体の撮像が行われる。
その後、得られた撮像信号に対し、図１に示すＡＤＣ５によりＡ／Ｄ変換が行われ（ステップＳＴ１）、さらにその後に、図６のＡデモザイク処理部５４３およびＲＧＢデモザイク処理部５４５によりデモザイク処理が行われる（ステップＳＴ２）。なお、ＡＦＥ回路３によるＡＦＥ処理、分離部５４１による分離処理、同時化処理部５４２による同時化処理、その他の処理は、作図の都合上、図示を省略している。

ステップＳＴ３にて、図６に示すエッジ情報取得部４Ｃによりエッジ情報取得が行われ、続いてステップＳＴ４にて、フィルタ処理が行われる。ステップＳＴ４のフィルタ処理は、エッジ判定（ステップＳＴ４１）、ＬＰＦ係数の設定（ステップＳＴ４２）、および、フィルタリング（ステップＳＴ４３）を含んで構成される。
なお、ステップＳＴ３の開始と並行して、ステップＳＴ５のゲイン調整処理が開始されるが、まず、ステップＳＴ３とＳＴ４を説明する。

エッジ情報取得（ＳＴ３）は、例えばエッジ情報取得部４Ｃが有する、減算器等の差分算出回路（不図示）が、マイクロコンピュータ１０の制御を受けて実行する。
この差分算出はマイクロコンピュータ１０自身の演算で行ってもよいが、ハードウエアによる場合、差分演算回路が必要である。差分算出回路は、図８のデモザイクＡ画像ＡＤにおいて示すように、ターゲットＡ画素Ａｔを含む、例えば３×３の周辺画素範囲において、当該ターゲットＡ画素Ａｔの画素値と、ターゲットＡ画素Ａｔの周辺に位置する周辺Ａ画素Ａｐの画素値とで、Ｄ差分を算出する。

図８には、デモザイク後の３×３の周辺画素範囲に相当するデモザイクＡ画像ＡＤの他に、当該３×３のデモザイクＡ画像ＡＤに対応する、デモザイクＲ画像ＲＤ、デモザイクＧ画像ＧＤ、デモザイクＢ画像ＢＤも、併せて示す。
３×３デモザイクＲ画像ＲＤの中心画素がターゲットＲ画素Ｒｔである。同様に、３×３デモザイクＧ画像ＧＤの中心画素がターゲットＧ画素Ｇｔ、３×３デモザイクＢ画像ＢＤの中心画素がターゲットＢ画素Ｂｔである。
これら４つのターゲット画素は、クロック信号で規定される同時刻には、撮像デバイス２の画素配列において、常に、図４（Ａ）または図４（Ｂ）に示す同一の画素ユニット内で得られたものである。処理対象が順次変化すると、４つのターゲット画素が順次、例えば水平方向に１画素分ずつシフトし、これに応じて各色で３×３周辺画素範囲も同じ方向に１画素分ずつシフトするように制御される。

差分値算出回路は、デモザイクＡ画像ＡＤで図示する８方向の差分diff(px,py)を算出する。ここで座標(px,py)は、図示のように取られた(x,y)絶対位置座標系（表示画面の画素アドレスに対応）内の局部相対座標を表し、デモザイクＡ画像ＡＤ内のターゲットＡ画素Ａｔに対する相対的な位置（１画素分の距離を「１」で表示）を表している。
絶対位置座標でデモザイクＡ画像ＡＤの中心画素（ターゲットＡ画素Ａｔ）をＡ０(x,y)としたときに、周辺画素はＡｐ(x-xp,y-yp)と表すことができ、その差分を取ると差分diff(px,py)となる。
このような差分の８回の計算によって、図示のような差分の配列（数値行列）が得られる。
得られたエッジ情報ＥＤ（差分配列）は、エッジ情報取得部４ＣからＮＲ部４Ｂに送られ、フィルタ処理に供せられる。

図９は、フィルタ処理のエッジ判定（ＳＴ４１）とフィルタリング（ＳＴ４３）の概念を説明するための図である。また、図１０は、フィルタ処理のＬＰＦ係数設定（ＳＴ４２）とフィルタリングの概念を説明するための図である。
図９および図１０に示すように、ＮＲ部４Ｂ内に、クロスバイラテラルフィルタのエッジ判定部５４４、フィルタ部５４６、および、フィルタ係数設定部５４７を有している。
エッジ判定部５４４はハードウエア（専用回路）で構成してよいし、あるいは、その処理手順を、マイクロコンピュータ１０によるソフトウエア処理で実現するものでもよい。フィルタ部５４６は、それぞれシフトレジスタと加算器、乗算器等からなる、Ｘ方向フィルタ部とｙ方向フィルタ部からなるハードウエアで構成される。また、フィルタ設定部５４７は、例えば不揮発性メモリ１１から基本フィルタ係数セットを読み出して、これに変更を加えるもので、その処理手順は、マイクロコンピュータ１０によるソフトウエア処理で実現される。

フィルタ係数の設定（ＳＴ４２）では、まず、マイクロコンピュータ１０等のフィルタ設定部５４７が、基本のＬＰＦ係数Ｗ０を、例えば不揮発性メモリ１１から読み出す。フィルタ設定部５４７は、上記エッジ判定部５４４が「エッジ有り」と判定した場合に、その該当箇所で、上記読み出した基本のＬＰＦ係数Ｗ０に修正を加える。
具体的には、図１０に示すように、「エッジ有り」の判定箇所で、基本のＬＰＦ係数Ｗ０を下げて、修正後のｘ方向のＬＰＦ係数Ｗ(x,px)を算出し、算出したＬＰＦ係数Ｗ(x,px)で、基本のＬＰＦ係数Ｗ０の対応部分を置き換える。同様にして、ｙ方向のＬＰＦ係数Ｗ(y,py)を算出し、算出したＬＰＦ係数Ｗ(y,py)で基本のＬＰＦ係数Ｗ０の対応部分を置き換える。

ＬＰＦ係数を下げる割合は、フィルタ設定部５４７が予め決めたものでもよいし、差分値の大きさによって動的に変更して制御してもよい。
ＬＰＦ係数の求め方の一例を、ｘ方向を例として演算式により表すと、次式(2)のようになる。なお、ｙ方向の演算式は次式(2)の「x」を「y」で置き換えたものとなる。この演算式は、係数の下げ方を分散（σ^２）に応じて一義的に決めている。

ここでＡ画素データのｘ方向の各階調値を、「edge(x)」と表記している（図９および図１０参照）。

フィルタ部５４６は、図８のフィルタリング（ＳＴ４３）を行うものであり、例えば図９に示すようにＸ方向フィルタリングにおいては、Ｒ,Ｇ,Ｂ画素データ（入力in(x)）を入力し、出力out(x)を排出する。ここでフィルタ部５４６の入力in(x)は、図６に示すゲインアンプＧＡによるゲイン調整後のＲ画素データ、Ｇ画素データ、Ｂ画素データの何れかであるため、ノイズレベルが大きく、エッジ階調差がノイズにより不明瞭となっている。

一方、Ａ画素データは、Ｗ画素データ（Ｒ,Ｇ,Ｂ画素データの合計と等価）と、さらに近赤外光成分ＩＲを含むため、元々の情報量が大きく、ゲイン調整する必要がない。よって、図９に示すように、Ｓ／Ｎ比が高くエッジ階調差が明瞭である。フィルタ入力でエッジが不明瞭、Ａ画像で明瞭なことは、ｙ方向フィルタリングの入力in(y)と、Ａ画素データのｙ方向階調値edge(y)でも同じである。これが、上述したＬＰＦ係数の設定でＡ画素信号データを用いる理由である。前述した式(2)で、破線で示す部分でＡ画素信号データの差分情報がＬＰＦ係数Ｗに反映されていることが分かる。

フィルタ部５４６は、フィルタ設定部５４７で設定されたフィルタ係数（重み付け係数）を用いてバイラテラル、即ちｘ方向とｙ方向のそれぞれについて、色ごとに入力in(x)（または入力in(y)）のターゲット画素値とその周辺の８画素値とを重み付けして、ターゲット画素値の階調値を変化させて出力する回路である。フィルタ部５４６が行う処理を、ｘ方向を例として演算式に表すと、次式(3)のようになる。なお、ｙ方向の演算式は次式(3)の「x」を「y」で置き換えたものとなる。

このときフィルタ処理部５４６は、ターゲット画素を、隣の画素に順送りしながら、そのターゲット画素が変更されるたびにＬＰＦ係数の演算および変更とフィルタリングとを繰り返し行う。ターゲット画素の変更は、エッジ情報取得部４Ｃと完全に同期している。あるターゲット画素を中心とした周辺画素範囲で上記式(3)により表されるフィルタリングを行い、当該フィルタリングが終了すると、次のターゲット画素への変更を行って、同様な処理を変更後のターゲット画素とその周囲の８画素に対して実行する。

図８には、基本のＬＰＦ係数Ｗ０の数値を概念的に示している。図８では、係数を作図の便宜上、比較的に大きな整数で表記するが、実際の係数のレベルとは異なる。
「１」「３」「１」と係数がカラム方向（表示画素の垂直方向）に並ぶとき、その隣のカラムとの間付近がエッジ中心と判定された場合、「１」「３」「１」の係数が下げられる。ここでは説明の都合上、例えば「０.２」倍にされて、よりエッジが鮮明となる係数への変更が行われている。そして、このように修正後のＬＰＦ係数セットを用いてフィルタ処理が実行される。

通常の２次元フィルタ（バイラテラルフィルタ）では、フィルタリングを行うとエッジ情報が周辺画素に拡散する。
これに対し本実施形態のクロスバイラレテラルフィルタでは、エッジの急峻性を保存するため、Ａ画素信号データを用い、かつ、ノイズ除去のための基本のＬＰＦ係数に一部修正を加える。ノイズ除去のため最適化されたＬＰＦ係数を変更すると、ノイズ除去能力が低下する場合もあるが、エッジが検出されるのは画面全体から見れば局所的であるため、このようにエッジ判定箇所で強くノイズリダクションをかけなくても全体のノイズ低減は十分可能である。

以上の処理を、ある色についてターゲット画素を画素信号の入力順、即ち表示走査順に変更しながら繰り返すと、当該色の画像は、その色情報を保持しながら、図９および図１０のｘ方向で出力out(x)により示すように、Ａ画素分布に近いものとなる。つまり、緩やかな変化は色情報として保持されるが、突発的あるいはランダムな変化が平滑化され、ノイズ成分が低減（除去または抑圧）される。
これは、ｙ方向についても、また、他の残りの２色についても同様である。

ノイズ低減後のＲ,Ｇ,Ｂ信号（デモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤの信号）は、ＮＲ部４Ｂから合成処理部４Ｄに送られる。
一方、エッジ情報取得部４Ｃからはエッジ・テクスチャ情報ＥＴが合成処理部４Ｄに出力され、当該エッジ・テクスチャ情報ＥＴに対応する、デモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤの一部が、当該エッジ・テクスチャ情報ＥＴに置き換えられて画像合成処理が実行される。

画像合成後のＲ,Ｇ,Ｂ画像はＣブロック４３に、デモザイクＡ画像ＡＤはＹブロック４２に出力される。
図８には、画像合成以後の処理を示すが、図示のように、画像合成後の画像にホワイトバランス、ガンマ（γ）補正をまず行って、そのγ補正後のＲ,Ｇ,Ｂ画像を、図５に示す、Ｙ処理のためＹブロック４２と、Ｃ処理のためのＣブロック４３に出力する構成でもよい。

図１１に、ゲイン調整（ＳＴ５）の詳細なフロー図を示す。
撮像（ＳＴ０）後に所定の処理が実行され、ステップＳＴ３の最初の処理である分離、同時化、ＲＧＢデモザイク等の所定の処理(図１１ではＳＴ３０で１つにまとめている)が実行される。その後、当該ステップＳＴ５が開始される。

ステップＳＴ５１で、分離後の撮像信号のうち、ゲイン調整の対象であるＲ,Ｇ,Ｂ信号からデモザイクにより得られたデモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤの信号がゲイン調整部４Ａに入力される。

続くステップＳＴ５２では、最大ゲイン値Ｇmaxの設定が行われる。
具体的には、図６の積算ブロック５８が、Ａ,Ｒ,Ｇ,Ｂの色ごとに、例えば図７に示す回路構成で、Ａ（Ｗ＋ＩＲ）積算値ΣＡ、Ｒ積算値ΣＲ、Ｇ積算値ΣＧ、および、Ｂ積算値ΣＢを、例えば１画面分の画素値累積加算により求める。

つぎに、制御部としてのマイクロコンピュータ１０が、これらの積算値から、例えば、前述した式(1-1)または式(1-2)等の所定の演算式を用いてパラメータＫを算出し、例えば図３（Ｂ）に示す、所定の関係を参照して、適切な最大ゲイン値Ｇmaxを求める。この図３（Ｂ）の関係は、例えば不揮発性メモリ１１にテーブルとして保存されており、マイクロコンピュータ１０は、このテーブルを参照して、求めたパラメータＫに対応する最大ゲイン値Ｇmaxを決める。
マイクロコンピュータ１０は、得られた最大ゲイン値Ｇmaxを、図６のゲインアンプＧＡにゲインの上限値として与える。

図１１におけるステップＳＴ５３（ゲイン調整）では、前述した自動露光（ＡＥ）の制御が行われ、画面の明るさに応じたゲイン値Ｇがマイクロコンピュータ１０からゲインアンプＧＡに与えられる。そして、最大ゲイン値Ｇmaxによる制限の下で、ゲインアンプＧＡによる入力信号のゲイン調整（通常増幅、減衰も含む）が施される。
ゲイン調整後のＲ,Ｇ,Ｂ信号は、ステップＳＴ４３のフィルタリングのためにゲインアンプＧＡからＮＲ部４Ｂへ出力される。

以上のように、本実施形態でノイズ低減のフィルタリング（ステップＳＴ４３）の前に行われるゲイン調整（ＳＴ５）で、第２撮像信号としてのＲ,Ｇ,Ｂ信号に含まれる近赤外光成分が多いか少ないかは、例えば、パラメータＫの大きさに応じて決まり、そのパラメータＫの大きさに応じて、ゲイン調整時の最大ゲイン値Ｇmaxが設定（ゲインが制限）される。そして本実施形態では、最大ゲイン値ＧmaxをパラメータＫに応じて異なる値に変化させることができる（図３（Ｂ））。

ノイズ低減のフィルタリング（ステップＳＴ４３）では、入力ダイナミックレンジ等によってノイズ低減の限界が存在し、その限界を超えると出力画像（図９および図１０のフィルタ部５４６の出力out）のノイズが急激に増大する。その限界は、フィルタ部５４６の入力inの信号レベルのほかに、ノイズレベルの大きさによって変化する。撮像からノイズ低減までの信号処理経路で信号増倍率が大きいほど、当該信号に含まれるノイズレベルは高くなる。ただし一般的には撮像デバイスで生じるノイズ低減はデバイス内部の信号処理である程度抑圧されることが多いため、撮像デバイスからノイズ低減処理までの間にあるアンプ、例えばゲインアンプＧＡで発生するノイズが、上記ノイズ低減の限界を決めるノイズレベルを主に支配する。
つまり、ノイズレベルが急激に増大するノイズ低減の限界は、実際にノイズ低減される前の信号レベルと、その信号レベルに調整されたときの信号増倍率（ゲイン）とに関係する。

本実施形態のカメラ装置（画像入力処理装置）では、撮像信号発生部（信号入力順でゲイン調整部４Ａより前段の構成）が、可視光成分を含む第１撮像信号であるＲ,Ｇ,Ｂ画像と、近赤外光成分を含む第２撮像信号であるＡ画像とを発生できるように構成されている。この第１撮像信号（Ｒ,Ｇ,Ｂ信号）の可視光成分（Σ（Ｒ＋Ｇ＋Ｂ）≒ΣＷと、第２撮像信号（Ａ信号）の近赤外光成分（ΣＩＲ）との相対的な大きさが分かれば、上記ノイズレベルが急激に増大するノイズ低減の限界の相対的な大小関係程度は予測がつく。ゲイン調整部４Ａは、この光成分の相対的な大きさを、例えばパラメータＫとして算出でき、それにより最大ゲイン値Ｇmaxを、ノイズ低減能力の限界を超えないように変更可能に設定することができる。

以上より、被写体を撮像する際の光源が異なる、あるいは、光源の色温度が変化する等の環境変化があっても、ゲイン低減処理でノイズ低減能力に破綻がないため、当該ノイズ低減処理から常に高品質な画像が出力される。

また、エッジ部の詳細画像がエッジ・テクスチャ情報ＥＴとして抽出され、合成されるため、エッジ部でノイズ低減の効果が得られない場合、フィルタリングにより色が異なる場合でも、元のノイズレベル、色情報の保存が可能である。

なお、図１２に示すように、近赤外光照射部としての赤外ランプ１５を、光学部品１と同じ当該カメラ装置の被写体側の面（前面）に設ける変形が可能である。
この赤外ランプ１５は、例えば、近赤外光成分（ΣＩＲ）が所定の基準より少ないとゲイン調整部４Ａで判断されるときは、例えばマイクロコンピュータ１０の制御により点灯される。
このため、近赤外光が十分にない光源下においては、被写体からの撮像デバイス２に入射される光量そのものをアップする制御が可能となる。その結果、低Ｓ／Ｎ比の画像による無理な処理を行わないため、安定した画質の高感度画像を得ることが可能となる。

以上の本実施形態によれば、赤外光成分が含まれる程度に応じてノイズ低減の能力差が生じ、時としてノイズ低減の限界を超える結果、ノイズィな画面が出力されという不都合を有効に防止できる。また、赤外光成分が多いか少ないか野検出結果を利用して、近赤外光を増やすことで高感度画像を得ることで、無理のないノイズ低減処理が可能となる。

本発明の実施形態に係る撮像信号処理回路を内蔵したカメラ装置のブロック図である。 本実施形態の説明に用いた、撮像デバイスの出力分光特性を示すグラフである。 （Ａ）は、ＮＲ処理部の構成図である。（Ｂ）は、パラメータと最大ゲイン値との関係を示す図である。 （Ａ）と（Ｂ）は多層フィルタの色配列を１画素ユニット分示す図である。 信号処理部のブロック図である。 ＮＲブロックの詳細を示すブロック図である。 積算ブロックの構成図である。 エッジ判定とノイズ低減を模式的に詳示した撮像以後の処理フロー図である。 エッジ判定とフィルタリングの関係を概念的に示す図である。 フィルタ係数設定とフィルタリングの関係を概念的に示す図である。 ゲイン調整の詳細を示すフロー図である。 変形例に関わるカメラ構成の一部を示す図である。 特許文献１に記載された画像処理部の構成を示すブロック図である。 電球と蛍光灯の光源分光特性の相違を示すグラフである。

符号の説明

１…光学部品、２…撮像デバイス、３…ＡＦＥ回路、４…信号処理部、４Ａ…ゲイン調整部、４Ｂ…ＮＲ部、４Ｃ…エッジ情報取得部、４Ｄ…合成処理部、５…ＡＤＣ、９…混合回路、１０…マイクロコンピュータ、１１…不揮発性メモリ、１２…ＤＡＣ、１３…ＴＧ、１４…ビデオ信号、４１…ＰＲＥブロック、４２…Ｙブロック、４３…Ｃブロック、５３…ディレイライン部、５４…ＮＲブロック、５４Ａ…ＮＲ処理部、５８…積算ブロック、５８Ａ,５８Ｒ,５８Ｇ,５８Ｂ…積算部、５４１…分離部、５４２…同時化処理部、５４３…Ａデモザイク処理部、５４４…エッジ判定部、５４５…ＲＧＢデモザイク処理部、５４６…フィルタ部、５８１…加算器、５８２…ラッチ回路、Ｇ…ゲイン値、Ｇmax…最大ゲイン値、Σ…積算値、ＥＴ…エッジ・テクスチャ情報

Claims (9)

1. 色選択と近赤外光成分の遮断を行う多層フィルタをオンチップで有する撮像デバイスで被写体を撮像し、前記近赤外光成分が前記多層フィルタにより抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、前記多層フィルタの前記近赤外光成分の遮断を行う部分が形成されていない箇所で前記被写体を撮像することで前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号とを発生する撮像信号発生部と、
   前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得し、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定し、当該設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うゲイン調整部と、
   前記ゲイン調整後の第１撮像信号のノイズを低減するノイズ低減部と、
   を有し、
   前記ゲイン調整部は、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる
   画像入力処理装置。
2. 近赤外光成分の遮断を行うＩＲカットフィルタと、
   色選択を行う色選択フィルタを有し、前記ＩＲカットフィルタを通して被写体を撮像し、前記近赤外光成分が前記ＩＲカットフィルタにより遮断され、かつ色選択された可視光成分を含む第１撮像信号を出力する第１の撮像デバイスと、
   色選択を行う色選択フィルタを有し、前記ＩＲカットフィルタを通さないで被写体を撮像し、前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号を発生する第２の撮像デバイスと、
   前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得し、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定し、当該設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うゲイン調整部と、
   前記ゲイン調整後の第１撮像信号のノイズを低減するノイズ低減部と、
   を有し、
   前記ゲイン調整部は、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる
   画像入力処理装置。
3. 前記ゲイン調整部は、
   前記第１撮像信号の可視光成分と、前記第２撮像信号の近赤外光成分とに対し、それぞれ所定期間の積算値を算出する複数の積算部と、
   前記第１撮像信号を入力し、入力した第１撮像信号に対しゲイン調整を行う可変利得アンプと、
   前記複数の積算部で得られた複数の積算値から前記パラメータを算出し、当該パラメータの大きさに基づいて前記可変利得アンプの最大ゲイン値を変更可能に設定する制御部と、
   を含む請求項１に記載の画像入力処理装置。
4. 前記複数の積算部に、前記被写体からの光に対応した、可視光成分と近赤外光成分の合計値を、所定数の撮像画面分、積算して撮像画面の明るさを検出可能な露光積算部を含み、
   前記制御部は、前記露光積算部からの積算値に応じて前記可変利得アンプのゲイン値を制御する
   請求項３に記載の画像入力処理装置。
5. 前記第２撮像信号からエッジ情報を取得するエッジ情報取得部をさらに有し、
   前記ノイズ低減部は、前記第１撮像信号のノイズを、前記エッジ情報に基づいて認識される画像箇所でエッジの情報を保存しつつ色ごとに低減する
   請求項１に記載の画像入力処理装置。
6. 前記近赤外光成分が所定の基準より少ないと前記ゲイン調整部で判断されるときは、前記被写体に所定光量の近赤外光を照射する近赤外光照射部を、
   さらに有する請求項１に記載の画像入力処理装置。
7. 近赤外光成分が遮断または抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、遮断または抑圧されていない前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号と、をそれぞれ入力し、前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得し、前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定し、当該設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うゲイン調整部と、
   前記ゲイン調整後の第１撮像信号のノイズを色ごとに低減するノイズ低減部と、
   を有し、
   前記ゲイン調整部は、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる
   撮像信号処理回路。
8. 近赤外光成分が遮断または抑圧され、かつ色選択された可視光成分を含む第１撮像信号と、遮断または抑圧されていない前記近赤外光成分、および、色選択された可視光成分を含む第２撮像信号と、を取得するステップと、
   前記第１撮像信号と前記第２撮像信号から前記可視光成分と前記近赤外光成分の相対的な大きさを取得するステップと、
   前記可視光成分と前記近赤外光成分の相対的な大きさに応じて最大ゲイン値を変更可能に設定するステップと、
   前記設定された最大ゲイン値の制限下で前記第１撮像信号に対しゲイン調整を行うステップと、
   前記ゲイン調整後の第１撮像信号のノイズを低減するステップと、
   を含み、
   前記ゲイン調整を行うステップでは、前記相対的な大きさを表すパラメータを算出し、当該パラメータが第１基準以上の、近赤外光成分が比較的多く含まれる領域で第１最大ゲイン値を設定し、前記パラメータが第２基準以下の、近赤外光成分が比較的少ない領域で前記第１最大ゲイン値より小さい第２最大ゲイン値を設定し、前記パラメータが前記第１基準より小さく、前記第２基準より大きい領域で、前記第１最大ゲイン値から前記第２最大ゲイン値まで、前記設定すべき最大ゲイン値を線形または段階的に変化させる
   撮像信号のノイズ低減方法。
9. 前記近赤外光成分が所定の基準より少ないと判断されるときは、前記被写体に所定光量の近赤外光を照射するステップを、
   さらに含む請求項８に記載の撮像信号のノイズ低減方法。

Images