JP5677040B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には画像中のノイズや偽色を抑圧可能な画像処理装置に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の単板式カラー撮像素子を備え、光学像をデジタル画像データとして記憶する、デジタルカメラ等の撮像装置が知られている。このような撮像装置には、高画質な撮像画像が望まれるが、暗い場所や夜間のように十分なＳ／Ｎ比(signal/noise ratio)が得られない環境下では、色成分のノイズ（色ノイズ）が画質を大きく低下させる。また、画質低下の要因として、撮像素子の例えば暗電流などに起因するノイズ成分の重畳が挙げられる。

しかしながら、特に近年は高感度撮影に対する要求が高く、暗所や夜間においてもノイズが少なく、高画質な撮像画像が得られることが望まれている。

このような技術的背景から、色ノイズを抑圧するための様々な方法が提案されている。例えば、特許文献１には、高周波成分について、エッジ成分を保存しつつノイズを除去した後に低周波成分と合成する方法が提案されている。また、特許文献２には、輝度成分、色差成分それぞれについて、解像度の異なる低周波画像および高周波画像を生成し、異なるノイズ抑圧を行った後に合成する方法が提案されている。
特許文献１，２に記載された方法はいずれも、輝度成分、色成分を高周波成分と低周波成分に分け、個別にノイズ抑圧処理した後で合成するという構成である。

また、カラーフィルタを用いた単板式カラー撮像素子で撮像された画像を処理する過程では、空間周波数の高い被写体を撮像した部分に、本来無いはずの色が出現する偽色という問題が生ずる。そのため、従来、被写体の高周波領域に発生する偽色を抑圧する方法として、着目画素の色補間を、着目画素の周囲の画素を用いて行なうことが行われている。

特許文献３及び４では、ベイヤ配列のカラーフィルタを備えた撮像素子から得られる画像に対し、偽色を抑制した色補間を行う方法を提案している。原色ベイヤ配列の単位パターンは、
Ｒ ｜Ｇ１
−−＋−−
Ｇ２｜ Ｂ
である。なお、単位パターン中２つ含まれる緑（Ｇ）フィルタのうち、赤（Ｒ）フィルタと水平方向に、青（Ｂ）フィルタと垂直方向に隣接するＧフィルタをＧ１フィルタ、Ｒフィルタと垂直方向に、Ｂフィルタと水平方向に隣接するＧフィルタをＧ２フィルタとする。

特許文献３では、着目画素の色補間を行う際、着目画素の上下に隣接するＧ１またはＧ２画素の値の相関度と、左右に隣接するＧ１またはＧ２画素の値の相関度の大小関係により、Ｇ１画素とＧ２画素のどちらの値を用いて色差成分を求めるかを決定している。

また、特許文献４では、（Ｒ−Ｇ１）の値と（Ｒ−Ｇ２）の値とを、その差に応じた加重平均して色差成分Ｒ−Ｇを、（Ｂ−Ｇ１）の値と（Ｂ−Ｇ２）の値とを、その差に応じた加重平均して色差成分Ｂ−Ｇを、それぞれ求めている。

また、特許文献５には、着目画素の水平方向および垂直方向に位置する画素の相関に応じて、補間に用いる画素を適応的に選択して輝度成分を生成することで、モアレを抑圧し、画像全体で違和感がない画像を生成することが提案されている。

特開２００８−０１５７４１号公報 特開２００７−２７２５３６号公報 特開２００２−３００５９０号公報 特開平８−０２３５４１号公報 特開２００７−３３６３８４号公報

特許文献１，２では、色ノイズの抑圧については考慮されているものの、偽色の抑制については考慮されていない。また、引用文献３〜５では、偽色の抑制については考慮されているが、色ノイズの抑圧については考慮されていない。

色ノイズの抑圧と偽色の抑圧はどちらか一方を行えばよいものではなく、色ノイズと偽色の双方が抑圧された画像が要求されている。しかしながら、従来は、色ノイズの抑圧と偽色の抑圧の両方を効率的に実行するための方法についての提案はされていなかった。

従って、本発明は、偽色と色ノイズの双方を効果的に抑圧可能な画像処理装置およびその制御方法を提供することを目的とする。

また、上述の目的は、単板式カラー撮像素子を用いて撮像された第１の画像から、第１の画像よりも周波数帯域の低い第２の画像を生成する低減手段と、第１の画像と第２の画像の各々について、偽色及び色ノイズを抑圧する抑圧手段と、抑圧手段で処理された第１の画像の画素における色信号と、当該画素に対応する、第２の画像の画素における色信号とを、重み付け合成するための比率係数を算出する算出手段と、比率係数に従って、抑圧手段で処理された第１の画像の画素における色信号と、当該画素に対応する、第２の画像の画素における色信号とを重み付け合成する合成手段と、を有し、算出手段は、第１の画像から検出される輝度エッジの度合いに基づく第１の係数と、第１の画像から検出される色エッジの度合いに基づく第２の係数とを算出し、第１の係数と第２の係数に基づいて、比率係数を求めることを特徴とする画像処理装置によって達成される。

本発明によれば、偽色と色ノイズの双方を効果的に抑圧可能な画像処理装置およびその制御方法が実現できる。

本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図。 図１の色差信号処理部１０９の構成例を示すブロック図。 図２のＭＩＸ比率演算部２０５の構成例を示すブロック図。 ＣＺＰ（円形ゾーンプレート）を示す図。 ＣＺＰの中心部から水平に延びた軸上に位置するＧ１，Ｇ２信号の例を示す図。

以下、図面を参照しながら、本発明をその例示的な実施形態を用いて詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。しかしながら、本発明に係る画像処理装置において、撮像を行うための構成は必須でなく、撮像画像を処理可能な任意の装置において実施可能である。

制御部１００は、例えばＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵで実行することにより、撮像装置の各部の動作を制御する。なお、図１においては、図が煩雑にならないよう、制御部１００と各機能ブロックとの接続線を省略している。また、図１において、１０７〜１１３の機能ブロックはハードウェアで実現されても良いが、以下の説明においては、制御部１００のＣＰＵがソフトウェアを実行することによって実現されるものとする。

例えば操作部１１６に含まれる撮影ボタンが半押しされるなど、撮影スタンバイの指示が与えられると、制御部１００は、同期信号生成部１０１に対し、画像信号を取得するためのフレーム同期信号（水平同期信号および垂直同期信号）の発生を指示する。

この指示に応答して、同期信号生成部１０１は、アナログ信号の処理に係るブロックに対するタイミングパルスの供給を、タイミングパルス発生部１０２に指示する。タイミングパルス発生部１０２は、同期信号生成部１０１の指示を受けて、アナログ信号の処理に係る撮像処理部１０３、ＣＤＳ／ＡＧＣ１０４、Ａ／Ｄ変換部１０５にタイミングパルスを供給する。

ＣＤＳ／ＡＧＣ１０４は、単板式カラー撮像素子を有する撮像処理部１０３が出力するアナログ画像信号から暗電流成分を除去したり、ゲイン調整を行うことにより画像信号のＳ／Ｎ比を改善する。Ａ／Ｄ変換部１０５はタイミングパルス発生部１０２より供給されるタイミングに従い、アナログ画像信号をデジタル画像データに変換し、ＦＩＦＯ１０６に出力する。

ＦＩＦＯ１０６は、デジタル画像データの一時バッファとして機能する。ＦＩＦＯ１０６の後段の機能ブロックはデジタル信号処理に係るブロックである。ＷＢ処理部１０７以降のデジタル信号処理に要する時間は一定でなく、Ａ／Ｄ変換部１０５の出力タイミングで直ちにデジタル信号処理を開始できるとは限らないため、ＦＩＦＯ１０６によりタイミングのずれを吸収する。

ＷＢ処理部１０７は、カラー画像における各色画素間でのゲイン調整（ホワイトバランス調整）を行う。画素補間部１０８は、カラーフィルタを有する撮像素子で撮像された画像の各画素について、不足する色成分の情報を補間する。例えば、撮像処理部１０３が上述したベイヤ配列のカラーフィルタを備えた撮像素子を有する場合、着目画素がＲ画素であればＢ，Ｇの色成分をそれぞれ周囲のＢ，Ｇ（Ｇ１，Ｇ２）画素から補間する。色補間処理は同時化処理とも呼ばれる。補間方法に特に制限はなく、公知の方法のいずれかを採用しうる。

色差信号処理部１０９は、着目画素のＲＧＢ信号から色差信号（Ｃｒ，Ｃｂ）を生成する。色γ処理部１１０は、色差信号に対してガンマ処理を施す。Ｃｈｒｏｍａ・ｋｎｅｅ処理部１１１は、ガンマ処理後の彩度ゲインを調整する。輝度信号処理部１１２は輝度信号（Ｙ）を生成する。輝度信号処理部１１２は、例えばＹ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂという式により輝度信号を生成することができる。輝度γ処理部１１３は輝度信号をガンマ補正する。

なお、色差信号Ｃｒ（Ｃｂ）はＲ−Ｙ（Ｂ−Ｙ）で定義されるが、人間が緑色光を最も明るく感じるという比視感度特性を有することから、Ｇを簡易輝度として、ＣｒをＲ−Ｇ、ＣｂをＢ−Ｇとして求めても良い。

生成された輝度信号・色差信号（色信号）それぞれは、一時記憶部１１４に記憶される。記憶制御部１１５は、制御部１００に従い、一時記憶部１１４の書き込み／読み出しを制御する。

次に、色差信号処理部１０９の構成及び動作について、図２を用いて説明する。
色差信号処理部１０９は、入力される着目画素の信号にローパスフィルタ（ＬＰＦ）とダウンサンプル部（解像度低減手段）を繰り返し適用することで、空間周波数と解像度（画素数）が段階的に低くなる画像を逐次生成する。例えば、水平、垂直方向とも１／２にサイズを縮小していく様なダウンサンプリングを適用する場合、フィルタ係数［１，２，１］のローパスフィルタのように、ナイキスト点の周波数特性を０にする様なローパスフィルタを適用する。

図２では、ローパスフィルタ２０６及びダウンサンプル部２０７を適用した水平、垂直とも１／２の解像度の画像と、さらにローパスフィルタ２２６及びダウンサンプル部２２７を適用した水平、垂直とも１／４の解像度の画像を生成する構成を例示している。しかし、より低い周波数かつ解像度の画像を生成するようにしても良い。何段階の画像を生成するかは元画像の解像度などを考慮して適宜定めることができる。すなわち、図２では元の解像度を含めた３つの画像のそれぞれについて偽色および色ノイズを抑制したのち、合成する構成を例示しているが、４つ以上の異なる解像度を有する画像を処理するように構成することもできる。

以下の説明では、ある解像度の画像を処理する機能ブロック群２４０〜２４２の各々を「階層」として取り扱う。従って、図２は３階層の構成を有する。なお、図２において、元の１／４の解像度を有する画像を処理する階層２４２については、１／２の解像度を有する画像を処理する階層２４１と同様の構成を有するため、簡略化して図示している。

以下、各階層の構成及び動作を説明する。第１階層２４０は、画素補間部１０８が出力する画像を処理する階層である。偽色抑圧部２０１は、着目画素の色成分（ＲＧＢ成分）から、偽色を抑圧した色差信号Ｃｒ，Ｃｂを生成する。また、色ノイズ抑圧部２０２は、偽色抑圧部２０１が出力する色差信号Ｃｒ，Ｃｂに対し、例えば上述の特許文献１や２において帯域分離された画像の１つに実施されるようなノイズ低減処理により、ノイズ抑制を行う。なお、ある画像に対して偽色抑圧及び色ノイズ抑圧を行う方法は本技術分野において周知であり、本発明においてもこれら周知の方法を適宜採用することができるため、偽色抑圧部２０１及び色ノイズ抑圧部２０２の処理の具体的な説明は省略する。

ＭＩＸ比率演算部２０５は、Ｇ信号と、色ノイズ抑圧部２０２からの色差信号Ｃｒ，Ｃｂから、現階層で偽色抑圧及び色ノイズ抑圧を行った色差信号Ｃｒ，Ｃｂと、下位階層から供給される色差信号Ｃｒ，Ｃｂを合成する比率係数Ｋを算出する。ＭＩＸ比率演算部２０５は、着目画素（もしくは領域）が色変化の少ない領域もしくは偽色の発生している領域に属する画素であると判断される場合には、下位階層からの色差信号Ｃｒ，Ｃｂの合成比率が高くなるような比率係数Ｋを算出する。ＭＩＸ比率演算部２０５の構成及び動作の詳細については、図３を参照して後述する。

加算器２０９は、ＭＩＸ比率演算部２０５が出力する比率係数Ｋを１から減じ、係数（１−Ｋ）を算出する。乗算器２１０は、現階層で偽色抑圧及び色ノイズ抑圧を行った着目画素の色差信号Ｃｒ，Ｃｂに対し、比率係数Ｋを乗じて出力する。乗算器２１１は、下位階層２４１から供給される着目画素の色差信号Ｃｒ，Ｃｂに対し、係数（１−Ｋ）を乗じて出力する。加算器２１２は、乗算器２１０及び２１１の出力を加算し、合成された色差信号Ｃｒ，Ｃｂを色差信号処理部１０９の出力として色γ処理部１１０へ供給する。

第２階層２４１は、画素補間部１０８が出力する画像にローパスフィルタ２０６及びダウンサンプル部２０７を適用し、帯域制限された低解像度の画像（第１低解像度画像）を処理する階層である。第２階層における偽色抑圧部２２１、色ノイズ抑圧部２２２、ＭＩＸ比率演算部２２５、加算器２２９、乗算器２３０、乗算器２３１、加算器２３２は、第１階層における対応する構成と同様の構成および動作を行うため、説明を省略する。解像度増加手段としてのアップサンプル部２０８は、加算器２３２が出力する合成色差信号Ｃｒ、Ｃｂの解像度を第１階層で処理した画像と同じ解像度に増加させる。アップサンプル部２０８は、ダウンサンプル部２０７により低減された解像度を元に戻す機能を有する。アップサンプル部２０８は例えば、水平方向、垂直方向それぞれについて、既存画素Ａ，Ｂ間に１画素Ｃを内挿する場合、Ｃ＝（Ａ／２＋Ｂ／２）の様な線形補間を用いることができる。なお、解像度を増加させるための画素補間方法に制限はなく、双三次補間法（バイキュービック法）などの周知の補間方法を適宜採用することができる。

第３階層２４２は、第２階層２４１のダウンサンプル部２０７の出力する画像にローパスフィルタ２２６及びダウンサンプル部２２７を適用し、さらに帯域制限された低解像度の画像（第２低解像度画像）を処理する階層である。第３階層２４２の構成及び動作は、処理対象の画像の帯域及び解像度が異なる以外、第２階層２４１と同様であるため、説明を省略する。第３階層２４２で処理された色差信号Ｃｒ，Ｃｂは、アップサンプル部２２８により第２階層２４１で処理される画像と同じ解像度に変換され、乗算器２３１に供給される。

なお、図２の例では、第３階層２４２が再下位階層として記載したが、さらに下位の階層を設けることも可能であることは上述したとおりである。また、第３階層が無くても良い。階層数の決定方法に特に制限はないが、元画像の解像度や、マルチレート信号処理のための帯域分離数によって決定することができる。マルチレート信号処理は、各階層で処理する画像のうち、解像度の低い画像はＳＮ比が高く、解像度の高い画像はＳＮ比が低いという特性を利用し、目的に応じた階層の画像を利用して画像処理を行う技術である。このようなマルチレート信号処理は本技術分野において周知であり、また本発明には直接関係しないため、詳細な説明は省略する。

図３は、図２のＭＩＸ比率演算部２０５，２２５の構成例を示すブロック図である。
色エッジ検出部２０５１は、着目画素の色差信号Ｃｒ、Ｃｂを入力としてそれぞれ信号の急峻な変化の度合いを検出する。色エッジ検出部２０５１は、例えば、フィルタ係数［−１，２，−１］を有する空間フィルタで実現可能である。係数Ｋｂ算出部２０５２は、色エッジの検出結果としてのフィルタ適用結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって０〜１の間の係数Ｋｂ（第２の比率係数）にマッピングする。例えば係数Ｋｂ算出部は、色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近く、度合いが低いと考えられるフィルタ適用結果ほど０に近い値のＫｂを出力する。

係数Ｋｂは、値が小さいほど合成時に下位階層の信号に大きな重みを与える。従って、Ｋｂ＝０であれば、下位階層の（アップサンプルされた）色信号がそのまま上位階層に供給される。また、Ｋｂ＝１なら自身の階層の色信号がそのまま上位階層に供給される。０＜Ｋｂ＜１の範囲では、自身の階層の信号：下位階層の信号＝Ｋｂ：１−Ｋｂの比率で重み付け合成される。この重み付け合成は、例えば階層２４１では加算器２２９，２３２及び乗算器２３０，２３１によって実行される。

検出される色エッジの度合いが小さい部分は、色の変化が小さい平坦な領域である。このような領域では、色ノイズ抑制部での処理によるノイズ抑制効果より、低周波画像である下位階層の信号を用いた方が良好なノイズ抑制効果が得られる。そのため、検出される色エッジの度合いが小さいほど、下位階層からの画像信号の比率が高い合成がなされるよう、係数Ｋｂの値を小さくする。

簡易輝度演算部２０５３は、輝度信号を生成する。ここでは、上述の通り、人間の比視感度特性を利用し、Ｇ信号を用いて輝度信号を生成する。例えば、簡易輝度演算部２０５３は、画素補間部１０８での同時化処理で得られたＧ信号をそのまま用いても良いし、処理する画素を含んだフィルタパターンに含まれるＧ１，Ｇ２画素の信号の平均値（Ｇ１＋Ｇ２）／２を輝度信号Ｙとして生成してもよい。

輝度エッジ検出部２０５４は、輝度信号Ｙのエッジ（立ち上がり及び立ち下がりエッジ）を検出する。輝度エッジ検出部２０５４は、例えば、フィルタ係数［−１，０，１］の空間フィルタで実現可能である。係数Ｋａ’算出部２０５５は、輝度エッジの検出結果を０〜１の間の係数Ｋａ’にマッピングする。例えば係数Ｋａ’算出部は、検出された輝度エッジの度合いが高いほど１に近く、度合いが低いほど０に近い値のＫａ’を出力する。

係数Ｋａ’は、値が小さいほど合成時に下位階層の信号に大きな重みを与える。従って、Ｋａ’＝０であれば、下位階層の信号がそのまま（アップサンプリングされて）上位階層に供給される。また、Ｋａ’＝１なら自身の階層の信号がそのまま上位階層に供給される。０＜Ｋａ’＜１の範囲では、自身の階層の信号：下位階層の信号＝Ｋａ’：１−Ｋａ’の比率で重み付け合成される。この重み付け合成は、例えば階層２４１では加算器２２９，２３２及び乗算器２３０，２３１によって実行される。

係数Ｋｂは色ノイズの抑制に関し、下位階層の画像と現階層の画像のどちらに重み付けして合成すべきかという指標であったが、係数Ｋａ’は、偽色の抑制に関して下位階層の画像と現階層の画像のどちらに重み付けして合成すべきかという指標である。偽色領域である可能性が高いほど係数Ｋａ’を小さい値にする。

ここで、偽色領域の推定の方法について説明する。図４はＣＺＰ（円形ゾーンプレート）と呼ばれる画像を示し、画像の中心を原点とする同心円が、ピッチを狭めながら幾重にも並んだ画像である（中心から外側に向かって空間周波数が高くなる）。図５はＣＺＰの中心部から水平に延びた軸上に位置するＧ１，Ｇ２信号値をプロットしたものである。ここでいうＧ１，Ｇ２信号値は、Ｇ１画素値を補間して得られた値と、Ｇ２画素値を補間して得られた値である。

図５において、ＣＺＰの原点は右端であり、左に向かって空間周波数が増加している。図５（ａ）の曲線１００１及び１００２は、図２の色差信号処理部１０９の入力信号であるＧ１及びＧ２信号の変化を示している。また、図５（ｂ）の曲線１００３及び１００４は、同じＧ１及びＧ２信号について、ローパスフィルタ２０６及びダウンサンプル部２０７の適用後の状態を示している。さらに、図５（ｃ）の曲線１００５及び１００６は同じＧ１及びＧ２信号について、ローパスフィルタ２２６及びダウンサンプル部２２７の適用後の状態を示している。なお、図５においては、説明及び理解を容易にするため、ダウンサンプル部２０７，２２７によるダウンサンプルが行われた画像のＧ１及びＧ２信号を、それぞれ、図２の色差信号処理部１０９の入力信号と同じ大きさになるよう拡大して補間したものとする。従って、図５（ａ），（ｂ），（ｃ）の横軸は共通である。

また、図５に示すＦ０〜Ｆ４は、ＣＺＰにおける空間周波数の任意の値を示すものであり、画像（ＣＺＰ）の中心の空間周波数をＦ０とし、画像の外側に向かうにつれ、Ｆ１，Ｆ２，Ｆ３，Ｆ４の順で空間周波数が高くなる。

図５（ａ）〜（ｃ）のそれぞれで、Ｇ１とＧ２信号との関係をみると、高周波領域において位相差が生じていることが分かる。Ｇ１信号とＧ２信号とに位相差が発生している領域は偽色領域（偽色信号の発生する領域）と判断できるため、位相差の有無の判定により偽色領域かどうかを判断することができる。

具体的には、ベイヤ配列におけるＧ１，Ｇ２画素それぞれについて隣接する（又は、近傍の）同種画素との傾き（差分で良い）ΔＧ１，ΔＧ２を算出し、その傾きの関係が、
ΔＧ１×ΔＧ２ ＜ ０・・・（式１）
を満たす場合、偽色領域であると判断することができる。つまり、同方向における傾きの関係が反転している場合には位相差が存在すると判断できる。

なお、傾きを例えば水平および垂直の両方向について算出し、例えば水平方向、垂直方向のいずれかにおいて式１の関係を満たす場合に偽色領域と判断してもよい。また、偽色領域かどうかの判定は、画素単位ではなく複数画素からなる領域単位で求めても良い。例えば、ある領域について、式１を満たす画素の割合が所定の閾値以上であれば、その領域を偽色領域と判断しても良い。

このような方法を適用すると、図５（ａ）において、色差信号処理部１０９に入力された時点の画像におけるＧ１及びＧ２信号については、空間周波数がＦ１よりも高くなる領域２〜４が、偽色領域であると判断できる。また、ローパスフィルタ２０６適用後の画像のＧ１及びＧ２信号（図５（ｂ））については、空間周波数がＦ２よりも高くなる領域３〜４が偽色領域であると判断できる。また、さらにローパスフィルタ２２６適用後のＧ１及びＧ２信号（図５（ｃ））については、空間周波数がＦ３より高くなる領域４が偽色領域であると判断できる。従って、ＭＩＸ比率演算部２０５，２２５において偽色領域と判断される場合には、色差信号においてもより下位階層の信号の合成比率を高めた方が、偽色の影響を抑圧できる。

位相検出部２０５６は、式１の関係を利用してＧ１，Ｇ２信号の位相差の発生を検出し、位相差が検出された画素を（又は上述のように領域単位で）偽色領域と判断する。位相検出部２０５６の出力は０又は１であり、偽色領域と判断したときには１を、偽色領域と判断しないときは０を出力する。

セレクタ２０５７は、位相検出部２０５６の判断結果に応じて、算出部２０５５が算出した係数Ｋａ’か、固定値１のいずれかを、偽色の抑圧を目的とした係数Ｋａ（第１の比率係数）として選択する。これにより、偽色領域でないと判断された画素（又は領域）については、係数Ｋａ’ではなく固定値１、すなわち現階層を１００％とする合成比率が係数Ｋａとして選択される。

係数Ｋａと、係数Ｋｂ算出部２０５２が算出した係数Ｋｂは、比較器２０５８とセレクタ２０５９に入力される。比較器２０５８は係数Ｋａ及び係数Ｋｂを比較し、Ｋａ＜Ｋｂなら０を、Ｋｂ＜Ｋａなら１をセレクタ２０５９に出力する。セレクタ２０５９は、比較器２０５８からの値が０であれば係数Ｋａを、１であれば係数Ｋｂを、現階層の合成係数Ｋとして選択する。つまり、係数ＫａとＫｂのうち、小さい値を有する係数（下位階層により大きく重み付けする係数）が、現階層の合成係数Ｋとして選択される。

このように、本実施形態においては、原画像から、原画像よりも解像度及び空間周波数帯域が低い低解像度画像を生成する。そして、原画像と低解像度画像の各々に対して色差信号に偽色及び色ノイズの抑制処理を適用した後に、低解像度画像の解像度を戻して原画像と合成する。この際、原画像において少なくとも偽色領域もしくは色変化の少ない領域（画素）については、低解像度画像の合成比率を高くすることにより、効果的に偽色及び色ノイズを抑制した色差信号を生成することができる。

（他の実施形態）
なお、上述の実施形態において階層をより多くした場合、２番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層２４１と同様に、最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層２４２と同様に行う。次に、３番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層２４１と同様に、２番目に最も解像度及び周波数帯域が低減された低解像度画像の処理を、階層２４２と同様に行う。この処理を順に実行することで、任意の数の階層に対応可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 単板式カラー撮像素子を用いて撮像された第１の画像から、該第１の画像よりも周波数帯域の低い第２の画像を生成する低減手段と、
   前記第１の画像と前記第２の画像の各々について、偽色及び色ノイズを抑圧する抑圧手段と、
   前記抑圧手段で処理された前記第１の画像の画素における色信号と、当該画素に対応する、前記第２の画像の画素における色信号とを、重み付け合成するための比率係数を算出する算出手段と、
   前記比率係数に従って、前記抑圧手段で処理された前記第１の画像の画素における色信号と、当該画素に対応する、前記第２の画像の画素における色信号とを重み付け合成する合成手段と、を有し、
   前記算出手段は、前記第１の画像から検出される輝度エッジの度合いに基づく第１の係数と、前記第１の画像から検出される色エッジの度合いに基づく第２の係数とを算出し、前記第１の係数と前記第２の係数に基づいて、前記比率係数を求めることを特徴とする画像処理装置。
2. 前記算出手段は、前記第１の係数と前記第２の係数のうち、前記第２の画像の色信号の重みがより大きくなる係数を前記合成に用いる比率係数とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記第１の画像から偽色が発生している偽色領域を判断し、着目画素が前記偽色領域に属していると判断した場合に、前記着目画素における前記第１の係数を、前記着目画素について検出される輝度エッジの度合いに基づいて算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、前記着目画素が前記偽色領域に属していないと判断した場合に、前記着目画素における前記第１の係数を、前記第１の画像の前記着目画素における色信号の重みを１とする値にすることを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像素子が、ベイヤ配列のカラーフィルタを備え、
   前記算出手段は、
   前記着目画素が、前記ベイヤ配列のカラーフィルタにおけるＧ１画素から得られる信号と、Ｇ２画素から得られる信号との位相差が存在する領域に属すると判断される場合には、前記着目画素が前記偽色領域に属すると判断することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記低減手段が、段階的に周波数帯域が低減された複数の画像を生成し、
   前記抑圧手段、前記算出手段、および前記合成手段が、前記複数の画像の各々について、最も周波数帯域が低減された画像と、その次に最も周波数帯域が低減された画像との組み合わせから順に動作を実行するように構成されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 単板式カラー撮像素子を用いて撮像された第１の画像から、該第１の画像よりも周波数帯域の低い第２の画像を生成する低減工程と、
   抑圧手段が、前記第１の画像と前記第２の画像の各々について、偽色及び色ノイズを抑圧する抑圧工程と、
   算出手段が、前記抑圧工程で処理された前記第１の画像の画素における色信号と、当該画素に対応する、前記第２の画像の画素における色信号とを、重み付け合成するための比率係数を算出する算出工程と、
   合成手段が、前記比率係数に従って、前記抑圧工程で処理された前記第１の画像の画素における色信号と、当該画素に対応する、前記第２の画像の画素における色信号とを重み付け合成する合成工程と、を有し、
   前記算出工程において前記算出手段は、前記第１の画像から検出される輝度エッジの度合いに基づく第１の係数と、前記第１の画像から検出される色エッジの度合いに基づく第２の係数とを算出し、前記第１の係数と前記第２の係数に基づいて、前記比率係数を求めることを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。