JP5595585B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は画像のコントラストを補正する画像処理装置及び方法に関するものであり、特に霧・霞などの悪天候条件で撮影したコントラストの低い画像の視認性を向上させるために画像のコントラスト及び鮮鋭度を改善する処理、並びにそれに伴って強調されるノイズを低減する処理に関するものである。

従来から、低コントラストの画像を補正して鮮明な画像を生成する技術として、種々のコントラスト改善手法が提案されている。

例えば、特許文献１に記載された階調補正装置では、原色信号から輝度信号を生成し、生成した輝度信号の画面全体での分布情報を検出し、度数分布が輝度レベルの全範囲にわたって平滑化されるような階調補正変換テーブルを作成し、階調補正変換テーブルの入力と出力の比率に基づいて補正係数を算出し、各原色信号に同じ補正係数を乗算することにより画像全体の高コントラスト化を行っている。

また、特許文献２に記載された画像処理装置では、入力画像データのエッジ成分を保存した平滑化画像データを生成し、入力画像データと平滑化画像データの差分を増幅して平滑化画像データに加算することにより、画像の高域成分のコントラスト強調を行っている。

一般に、上述したコントラスト改善処理は、画像の全体または局所的な領域において、輝度分布のレンジを広げることを目的としている。しかしながら、輝度分布のレンジの伸長を行うと、伸長を行った輝度レベルでは、信号だけでなくノイズまで増幅してしまい、画質を損なうという問題があった。

そこで、特許文献３に記載された撮像装置では、階調補正した後の画像を、ウェーブレット変換により複数の周波数成分に分離し、分離された複数の周波数成分に対してコアリングを行うことでノイズ低減を行うようにし、コアリング閾値を階調補正カーブに基づいて設定することによって、階調補正を行う際に生じるノイズ増幅の度合いに応じたノイズ成分の抑制を行っている。

特開２００４−３４２０３０号公報（段落００３６から００７２） 特開２００１−２９８６２１号公報（段落０００８から００４１） 特開２００８−１９９４４８号公報（段落００２５から００８３）

しかしながら、特許文献３に記載された撮像装置では、画像信号のコントラストが極端に低く、信号の振幅がノイズの振幅とほぼ同程度であるような場合には、ノイズ低減において適切なコアリング閾値が設定できず、ノイズをクリップして信号だけを十分に増幅することができない。特に、霧・霞がかかった画像において、遠景など極端にコントラストが低下した箇所では、被写体の信号の振幅を視認レベルまで増幅させるためにレンジを１０倍以上にも伸長する必要があるが、被写体の信号の振幅とノイズの振幅が同程度の場合にはノイズも１０倍以上に増幅され、本来目立たないはずのノイズが視認され画質が低下する問題があった。

また、特許文献３に記載された撮像装置では、ノイズ低減のために高域成分を除去するため、エッジ部分のぼけが発生する。したがって、特許文献２に記載されているような画像の局所的な領域においてコントラスト改善を行う手法と組み合わせた場合に、画像の高域成分のコントラスト強調を行ったにもかかわらず、ノイズ低減するために高域成分を減衰させることになり、効果を打ち消してしまうという問題があった。特に、霧・霞がかかった画像においては、コントラスト強調により霞を除去したような効果が得られるのに対し、ノイズ低減によってエッジ部分がぼけることによって再び霞んだように見えることになる。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、霧・霞などの悪天候条件で撮影したような低コントラスト画像に対して、コントラストが低下した部分の視認性を適切に改善し、かつ、コントラスト改善に伴って強調されるノイズを低減することによって高品位な画像を得ることができる画像処理装置及び方法を提供することにある。

本発明の一つの態様の画像処理装置は、
入力画像の各画素を補正対象画素として、前記入力画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
前記強調係数決定手段で決定された前記強調係数に応じて前記入力画像の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像を出力する局所コントラスト強調手段と、
前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
前記局所コントラスト強調画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行う３次元ノイズ低減手段を備え、
前記３次元ノイズ低減手段は、前記ノイズ低減係数生成手段で生成されたノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
ことを特徴とする。

本発明の他の態様の画像処理装置は、
入力画像の各画素を補正対象画素として、前記入力画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行い３次元ノイズ低減画像を出力する３次元ノイズ低減手段と、
前記３次元ノイズ低減画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
前記強調係数決定手段で決定された前記強調係数に応じて前記３次元ノイズ低減画像の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像信号を出力する局所コントラスト強調手段と、
前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
前記ノイズ低減係数生成手段で生成された各画素についての前記ノイズ低減係数を１フレーム分格納する第１のフレームメモリを備え、
前記３次元ノイズ低減手段は、前記第１のフレームメモリに格納された１フレーム前の各画素についての前記ノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
ことを特徴とする。

本発明によれば、ノイズ低減を行うためのノイズ低減係数を局所コントラスト強調の強調係数に応じて設定できるので、局所コントラスト強調に伴うノイズ増幅の度合いに応じて適切にノイズを低減することができる。
また、画像の複数フレームにわたってノイズ成分を時間方向に平滑化する３次元ノイズ低減手段を備えたので、強調された被写体の信号の振幅を減衰させることなく、ランダムノイズ成分のみを低減することができる。また、静止画像においてエッジ部分のぼけを発生させることなくノイズ低減を行うことができる。
従って、霧・霞などの悪天候条件で撮影したような低コントラスト画像に対して、コントラストが低下した部分のコントラストを適切に改善し、かつ、コントラスト改善に伴って強調されるノイズを低減することによって高品位な画像を得ることができる。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図１の強調係数決定手段２におけるコントラスト相関値ＣＴに対する強調係数Ｋｅｎの関係の一例を示す図である。 図１の非線形ＬＰＦ手段３２における周辺画素の値Ｄｓを修正画素値Ｄｓｔに変換するための非線形関数を示す図である。 図１の局所コントラスト強調手段３における、非線形ＬＰＦ手段３２の出力がＤ３２のときの入力信号Ｓｉｎと出力信号Ｓｏｕｔの関係を示す図である。 図１のノイズ低減係数生成手段４における強調係数Ｋｅｎに対するノイズ低減係数Ｋｎｒの関係を示す図である。 実施の形態１に係る画像処理装置の動作を示すフローチャートである。 （ａ）〜（ｄ）は、実施の形態１に係る画像処理装置の各部に現れる信号の一例を示す図である。 本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る画像処理装置の動作を示すフローチャートである。 （ａ）〜（ｅ）は、実施の形態２に係る画像処理装置の各部に現れる信号の一例を示す図である。 本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。

実施の形態１．
図１は本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置は、低コントラスト部分検出手段１と、強調係数決定手段２と、局所コントラスト強調手段３と、ノイズ低減係数生成手段４と、３次元ノイズ低減手段５とを有する。

低コントラスト部分検出手段１は、入力画像Ｄｉｎを表す入力画像信号を受け、該入力画像Ｄｉｎの画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを検出する。入力画像と該入力画像を表す入力画像信号を同じ符号Ｄｉｎで表す。以下、他の信号についても同様である。

強調係数決定手段２は、低コントラスト部分検出手段１で検出されたコントラスト相関値ＣＴに応じて画素毎のコントラストの強調係数Ｋｅｎを決定する。

局所コントラスト強調手段３は、強調係数決定手段２で決定された強調係数Ｋｅｎに応じて入力画像Ｄｉｎの画素毎に局所的なコントラストを強調した中間画像Ｄ３を生成する。

局所コントラスト強調手段３は、例えば、図示のように、遅延手段３１と、非線形ＬＰＦ手段３２と、ゲイン決定手段３３と、乗算器３４とを備える。

遅延手段３１は、入力画像信号Ｄｉｎを所定量だけ遅延させて、遅延画像信号Ｄ３１を出力する。
非線形ＬＰＦ手段３２は、入力画像Ｄｉｎの補正対象画素の値と周辺画素の値との差分に応じて周辺画素の値を非線形変換した値を用いて画素毎に周辺領域の平滑化を行って、非線形平滑化信号Ｄ３２を生成する。

ゲイン決定手段３３は、非線形平滑化信号Ｄ３２と入力画像信号Ｄｉｎを遅延させた信号（遅延画像信号）Ｄ３１及び強調係数Ｋｅｎを用いて入力画像Ｄｉｎの画素毎に局所的なコントラストを強調するためのゲインＧを決定する。
乗算器３４は、遅延画像信号Ｄ３１の画素毎にゲインＧを乗算して中間画像Ｄ３を生成する。

ゲイン決定手段３３と乗算器３４とで、強調係数Ｋｅｎに応じた混合比で、遅延画像信号Ｄ３１と、非線形平滑化信号Ｄ３２とを混合する混合手段３５が構成されている。
また、遅延手段３１と、非線形ＬＰＦ手段３２と、ゲイン決定手段３３とで、遅延画像信号Ｄ３１と、非線形平滑化信号Ｄ３２と、強調係数Ｋｅｎとに応じてゲインＧを生成するゲイン生成手段３６が構成されている。

ノイズ低減係数生成手段４は、強調係数決定手段２で決定された強調係数Ｋｅｎに応じて３次元ノイズ低減手段５がノイズ低減を行うためのノイズ低減係数（ＮＲ係数）Ｋｎｒを設定する。

３次元ノイズ低減手段５は、中間画像Ｄ３の複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された出力画像Ｄｏｕｔを生成する。

３次元ノイズ低減手段５は、例えば、図示のように、減算器５１及び５３と、乗算器５２と、フレームメモリ５４を備えて、フレーム巡回型のノイズ低減装置を構成する。

以下、各部材についてより詳しく説明する。
入力画像信号Ｄｉｎは、輝度信号Ｙや色差信号Ｃｂ、Ｃｒ、あるいは３原色信号Ｒ，Ｇ，Ｂなどのコンポーネント信号である。

低コントラスト部分検出手段１は、画像中のコントラストが低い部分を検出するために、入力画像Ｄｉｎの画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを算出する。コントラスト相関値ＣＴは、補正対象画素を中心とする周辺領域に含まれる画素間のコントラスト、すなわち輝度分布のレンジの広さに相関する量である。
即ち、局所的にコントラストが低い領域では小さな値となり、局所的にコントラストが高い領域では大きな値となるコントラスト相関値ＣＴを求める。言い換えると、各補正対象画素についてのコントラスト相関値として、該補正対象画素を中心とする周辺領域のコントラストが低い場合には小さな値となり、該補正対象画素を中心とする周辺領域のコントラストが高い場合には大きな値となるものを求める。

コントラスト相関値ＣＴは、例えば、補正対象画素を中心とする第１の所定の大きさのウィンドウ、例えば１１×１１画素のウィンドウ内の各画素を中心とする、第２の所定の大きさのウィンドウ、例えば５×５画素のウィンドウにおいてウィンドウ内の全画素の値の標準偏差を求め、求めた標準偏差をさらに上記第１の所定の大きさのウィンドウ、即ち１１×１１画素のウィンドウで平均することによって算出する。より詳しく言えば、補正対象画素（その位置を座標（ｈ，ｖ）で表す）を中心とする第１の所定の大きさのウィンドウ、例えば１１×１１画素のウィンドウ内の１１×１１個の画素（座標（ｈ−５，ｖ−５）、（ｈ＋５，ｖ−５）、（ｈ−５、ｖ＋５）、（ｈ＋５，ｖ＋５）で表される位置を４隅とする矩形のウィンドウ内の画素）の各々について、それを中心とする第２の所定の大きさのウィンドウ、例えば５×５画素のウィンドウ（例えば座標（ｈ−５，ｖ−５）で表される位置の画素については、座標（ｈ−７，ｖ−７）、（ｈ−３，ｖ−７）、（ｈ−７，ｖ−３）、（ｈ−３，ｖ−３）で表される位置を４隅とするウィンドウ）内の全画素（５×５個の画素）の標準偏差を求め、上記の第１の所定の大きさのウィンドウの１１×１１個の画素についてこれらの標準偏差（１１×１１個の標準偏差）の平均を求め、該平均を当該補正対象画素についてのコントラスト相関値ＣＴとして用いる。

なお、標準偏差の代わりに、上記第２の所定の大きさのウィンドウ内の画素値の最大値ＭＡＸと最小値ＭＩＮの差（ＭＡＸ−ＭＩＮ）を求め、これを上記第１の所定の大きさのウィンドウ内で平均することで、コントラスト相関値ＣＴを求めることとしても良い。
また、ウィンドウの大きさは、５×５画素や１１×１１画素に限定するものではない。さらに、上記の「第１の所定の大きさ」と、「第２の所定の大きさ」は同じ大きさであっても良い。

なお、低コントラスト部分検出手段１の役割は、画像中のコントラストが低い部分を検出して、後述する処理によりコントラストが低い部分でコントラストの強調度合いを大きくすることである。したがって、上述した以外の他の指標によってコントラストを強調したい部分を検出できるのであれば、そのような指標を用いてコントラスト相関値ＣＴを求めても良い。例えば、霧・霞などの悪天候条件で撮影した画像の場合、霧がかかった部分は、輝度分布のレンジが狭くなっているだけではなく、高周波成分の量が少ない、輝度レベルが明るめである、彩度が低下しているなどの傾向がある。これを利用して、図示しない手段により画素毎に補正対象画素を中心とする周辺領域の高周波成分の量や輝度レベル、彩度を検出し、コントラスト相関値ＣＴに反映させても良い。

具体的には、高周波数成分の量は、補正対象画素を中心とする１１×１１画素のウィンドウ内の各画素を中心とする３×３画素や５×５画素のラプラシアンフィルタ等により高周波成分を検出し、フィルタ出力の絶対値を取ったものをさらに上記１１×１１画素のウィンドウで積算することによって算出できる。この場合、コントラスト相関値ＣＴは、局所的に高周波成分が多く含まれていると大きな値となるようにし、平坦な画像であると小さな値となるようにする。

また、周辺領域の輝度レベルは、補正対象画素を中心とする５×５画素のウィンドウにおいてウィンドウ内の全画素の輝度の平均値を求めることによって算出できる。この場合、輝度信号の最大値の明るさの１／２から３／４ぐらいの輝度レベルを霧のかかった箇所と判断し、コントラスト相関値ＣＴが小さな値となるようにする。

また、周辺領域の彩度を用いる場合には、入力画像信号Ｄｉｎがカラー画像の輝度信号Ｙと色差信号Ｃｂ、Ｃｒから成る場合、色差信号Ｃｂ、Ｃｒの二信号を使って彩度を次式（１）

により検出し、補正対象画素を中心とする５×５画素のウィンドウにおいてウィンドウ内の全画素のＳｒｍの平均値を求めることによって算出できる。この場合、コントラスト相関値ＣＴは、周辺領域の彩度が大きい場合に大きな値となるようにし、周辺領域の彩度が小さい場合に小さな値となるようにする。

次に、強調係数決定手段２は、コントラスト相関値ＣＴに応じて画素毎のコントラストの強調係数Ｋｅｎを決定する。言い換えると、強調係数決定手段２は、各画素についてのコントラスト相関値ＣＴに基づいて当該画素についての強調係数Ｋｅｎを求める。強調係数Ｋｅｎは、例えば、コントラスト相関値ＣＴの関数として次式（２）により算出される。

ここで、Ｋｍｉｎ、Ｋｍａｘ、ＣＴｔｐは予め設定された値であり、Ｋｍｉｎは強調係数の最小値（Ｋｍｉｎ≧１）、Ｋｍａｘは強調係数の最大値（Ｋｍａｘ≧Ｋｍｉｎ）、ＣＴｔｐはＫｅｎの変化の切り替え点を表し、ＣＴｔｐよりも大きい範囲では、ＫｅｎがＫｍｉｎに固定され、ＣＴｔｐ以下ではＣＴの減少に伴いＫｅｎが増加する。これらのパラメータは、ユーザによる画質設定や画像シーンの判別結果に応じて外部から変更できるようにしても良い。式（２）の強調係数Ｋｅｎとコントラスト相関値ＣＴの関係を図示すると、図２のようになる。

図２に示されるように、強調係数Ｋｅｎはコントラスト相関値ＣＴに対して単調減少となる特性を有する。即ち、強調係数決定手段２は、コントラスト相関値ＣＴが小さい場合に強調係数Ｋｅｎが大きくなり、コントラスト相関値ＣＴが大きい場合に強調係数Ｋｅｎが小さくなるように強調係数Ｋｅｎを決定する。また、コントラスト相関値ＣＴが小さいほど、強調係数Ｋｅｎの増分が大きくなるような特性を有している。なお、このような特性を満たしていれば、強調係数Ｋｅｎの算出は必ずしも式（２）や図２に示した関係によらなくても良い。また、式（２）による演算を実行して強調係数Ｋｅｎを得ても良いが、予めコントラスト相関値ＣＴに対応する強調係数Ｋｅｎをルックアップテーブル（ＬＵＴ）の形で保持しておくこともできる。このようなＬＵＴを用いた場合には、式（２）の演算を行う必要がなくなるので、強調係数決定手段２における処理の簡素化を図ることができる。

局所コントラスト強調手段３は、強調係数Ｋｅｎに応じて入力画像Ｄｉｎの画素毎に局所的なコントラストを強調した中間画像Ｄ３を生成する。言い換えると、局所コントラスト強調手段３は、各画素（補正対象画素）について決定された強調係数Ｋｅｎに基づいて、入力画像Ｄｉｎの当該画素（補正対象画素）の値に対して、コントラスト強調を施した中間画像Ｄ３を生成する。

遅延手段３１は、低コントラスト部分検出手段１と非線形ＬＰＦ手段３２における補正対象画素の周辺領域の参照にかかる所定の遅延量だけ、入力画像Ｄｉｎを遅延させる。

非線形ＬＰＦ手段３２は、例えば、補正対象画素を中心とする１１×１１画素のウィンドウにおいて、ウィンドウ内の画素値の平均値を算出する。このとき、図３に示すように、ウィンドウ内の周辺画素の値Ｄｓが、補正対象画素の値Ｄｃに対して閾値ＴＨ１以下しか離れていない場合、つまり、周辺画素の値Ｄｓと補正対象画素の値Ｄｃとの差の絶対値が閾値ＴＨ１以下である時、その画素（周辺画素）の値Ｄｓを補正対象画素の値Ｄｃとの差が０である画素値（修正画素値）Ｄｓｔに修正して周辺画素の平均値の算出に用いる。また、周辺画素の値Ｄｓと補正対象画素の値Ｄｃとの差の絶対値が閾値ＴＨ２以上である時、その画素の値Ｄｓを補正対象画素の値Ｄｃと（ＴＨ２―ＴＨ１）分の差を有する画素値Ｄｓｔに修正して周辺画素の平均値の算出に用いる。さらに、周辺画素の値Ｄｓと補正対象画素の値Ｄｃとの差の絶対値が閾値ＴＨ１より大きく閾値ＴＨ２より小さい時、その画素の値Ｄｓを補正対象画素Ｄｃとの実際の差よりもＴＨ１分小さい差を有する画素値Ｄｓｔに修正して周辺画素の平均値の算出に用いる。

以上の処理は、下記の式（３）で表される。

ここで、ＴＨ１、ＴＨ２は予め設定された値であり、
ＴＨ１はノイズをクリップするための閾値に相当するパラメータ、
ＴＨ２はコントラスト強調の効果を調節するためのパラメータである（ＴＨ１≦ＴＨ２）。これらのパラメータは、ユーザによる画質設定や画像シーンの判別結果に応じて外部から変更できるようにしても良い。

式（３）で表される処理は、Ｄｓ−Ｄｃを入力とし、ＴＨ１を閾値とするコアリング処理を行い、コアリング処理の出力に対してＴＨ２を制限値とするクリッピング処理を行うことで、実現できる。
従って、非線形ＬＰＦ手段３２は、１１×１１画素の各々について式（３）の演算を行って、修正画素値Ｄｓｔを求める処理手段と、１１×１１画素のすべてについての、上記修正画素値Ｄｓｔの平均値を求める演算手段と、求められた平均値を補正対象画素の値Ｄｃに加算する加算手段とで構成できる。

ゲイン決定手段３３は、非線形平滑化信号Ｄ３２と遅延画像信号Ｄ３１及び強調係数Ｋｅｎを用いて遅延画像の画素毎に局所的なコントラストを強調するためのゲインＧ、具体的には乗算器３４で遅延画像信号Ｄ３１に乗算されるゲインＧを決定する。

ゲインＧの算出方法について、図４を用いて説明する。図４は、乗算器３４に入力される画素値Ｄ３１を入力値Ｓｉｎとし、乗算器３４から出力される画素値Ｄ３を出力値Ｓｏｕｔとし、これらの関係が、非線形平滑化信号Ｄ３２の値によってどのように決定されるかを示す図である。

図４において、横軸は入力値Ｓｉｎを示し、縦軸は出力値Ｓｏｕｔを示し、太い破線と実線で描かれた折れ線Ｃｖは、非線形平滑化信号Ｄ３２の値が横軸上の図示の位置にある場合の、入力値Ｓｉｎに対する出力値Ｓｏｕｔの関係を示す。鎖線は、Ｓｏｕｔ＝Ｓｉｎの直線、従って、原点（Ｓｉｎ＝０、Ｓｏｕｔ＝０と、入力値Ｓｉｎ、出力値Ｓｏｕｔがともに最大値Ｓｍａｘである点（Ｓｉｎ＝Ｓｍａｘ、Ｓｏｕｔ＝Ｓｍａｘ）とを結ぶ直線を示す。

図４に折れ線で示した入出力特性のうちに実線部分は、入力値ＳｉｎがＤ３２に近い範囲、即ち、Ｄ３２−ＷＬ≦Ｓｉｎ≦Ｄ３２＋ＷＲの範囲（ＷＬ、ＷＲは所定の値であり、ＷＬ＝ＷＲであっても良い）にあるときの入出力特性を示す。該直線部分は、傾きが強調係数Ｋｅｎ（≧１）であり、Ｓｉｎ＝Ｄ３２のとき、Ｓｏｕｔ＝Ｓｉｎを表する鎖線と交差する。即ち、Ｄ３２の値に応じて、上記の交差する点の横軸方向の位置が変わるように、強調係数Ｋｅｎの傾きを有する直線部分（実線部分）が移動する。

Ｓｉｎ＜Ｄ３２−ＷＬの範囲では、ＳｉｎとＳｏｕｔの関係は、
原点（Ｓｉｎ＝０、Ｓｏｕｔ＝０）と、（Ｓｉｎ＝Ｄ３２−ＷＬ、Ｓｏｕｔ＝Ｄ３２−Ｋｅｎ×ＷＬ）の点を結ぶ直線（点線）で表され、
Ｓｉｎ＞Ｄ３２＋ＷＲの範囲では、ＳｉｎとＳｏｕｔの関係は、
（Ｓｉｎ＝Ｓｍａｘ、Ｓｏｕｔ＝Ｓｍａｘ）と、（Ｓｉｎ＝Ｄ３２＋ＷＲ、Ｓｏｕｔ＝Ｄ３２＋Ｋｅｎ×ＷＲ）の点を結ぶ直線（点線）で表される。

この入出力特性にしたがって入力画像の画素値を補正することにより、補正対象画素の周辺領域の輝度レベルに近い領域でコントラストをＫｅｎ倍に増幅することができる。ここで、折れ線Ｃｖの傾きＫｅｎの実線部、即ち、Ｄ３２−ＷＬからＤ３２＋ＷＲまでの範囲では、乗算器３４の入力値をＳｉｎ、出力値をＳｏｕｔとすると、Ｓｏｕｔは次式（４）のように表すことができる。

一方、Ｓｉｎ＜Ｄ３２−ＷＬの範囲では、

Ｓｉｎ＞Ｄ３２＋ＷＲの範囲では、

の関係がある。

このとき、遅延画像信号Ｄ３１を入力値Ｓｉｎとして、式（４）の関係から、入力値Ｓｉｎに乗算すべきゲインＧ（ＳｉｎがＤ３２−ＷＬからＤ３２＋ＷＲまでの範囲にあるときに乗算すべきゲインＧ）を算出すると、次式（７）のようになる。

入力値ＳｉｎがＤ３２−ＷＬよりも小さいときのゲインＧ、及び入力値ＳｉｎがＤ３２＋ＷＲよりも大きいときのゲインＧも同様に、それぞれ式（８）及び式（９）で表される。

ゲイン決定手段３３は、非線形平滑化信号Ｄ３２と遅延画像信号Ｄ３１を用いて、式（７）、式（８）、式（９）の関係によりゲインＧを算出する。

乗算器３４は、遅延画像信号Ｄ３１の画素毎にゲインＧを乗算して中間画像Ｄ３を生成する。即ち、
Ｄ３２−ＷＬ≦Ｄ３１≦Ｄ３２＋ＷＲのときは、下記の式（１０）により、
Ｄ３１＜Ｄ３２−ＷＬのときは、式（１１）により、
Ｄ３１＞Ｄ３２＋ＷＲのときは、式（１２）により、それぞれＤ３を求める。

以上のうち、ゲイン決定手段３３と乗算器３４の組合せは、Ｄ３１がＤ３２−ＷＬからＤ３２＋ＷＲまでの範囲にあるとき、強調係数Ｋｅｎに応じた混合比で、遅延画像信号Ｄ３１と、非線形平滑化信号Ｄ３２とを混合し、上記の式（１０）で表される値を有する信号Ｄ３１を生成する混合手段３５を構成すると見ることができる。

式（７）から分かるように、ＳｉｎがＤ３２−ＷＬからＤ３２＋ＷＲまでの範囲にあるときに、ゲイン決定手段３３から出力されるゲインＧは、遅延画像信号Ｄ３１が非線形平滑化信号Ｄ３２よりも小さいとき小さな値となり、遅延画像信号Ｄ３１が非線形平滑化信号Ｄ３２よりも大きいとき大きな値となるものである。すなわち、補正対象画素の明るさが周辺領域よりも暗い画素についてのゲインは小さくなり、補正対象画素の明るさが周辺領域よりも明るい画素についてのゲインは大きくなるようにゲインが算出される。これを乗算することで画素毎の周辺領域との明るさの対比（局所コントラスト）が強調される。

ここで、非線形ＬＰＦ手段３２で平均値を求める際に使用するウィンドウの大きさは必ずしも１１×１１画素に限定するものではない。ウィンドウを小さくすると、各画素について周辺の小さな範囲の明るさに対するコントラストが向上し、周波数特性の高いコントラスト感（高周波成分について高いコントラスト感）が得られる。ウィンドウを大きくすると、各画素について周辺の大きな範囲の明るさに対するコントラストが向上し、周波数特性の低いコントラスト感（低周波成分について高いコントラスト感）が得られる。このように、局所コントラスト強調手段３では、非線形ＬＰＦ手段３２におけるウィンドウの大きさの設定により、特定の周波数成分に対する強調効果が得られる。

ノイズ低減係数生成手段４は、強調係数Ｋｅｎに応じて３次元ノイズ低減手段５がノイズ低減を行うためのノイズ低減係数Ｋｎｒを画素毎に設定する。言い換えると、ノイズ低減係数生成手段４は、各画素（補正対象画素）について求められた強調係数Ｋｅｎに基づいて、当該画素（補正対象画素）についてのノイズ低減係数Ｋｎｒを設定する。ノイズ低減係数Ｋｎｒは、例えば、強調係数Ｋｅｎの関数として次式（１３）により算出する。

ここで、ｋは、（０≦ｋ≦１）を満たす範囲で、予め設定された値（比例定数）であり、画像全体のノイズ低減の度合いを調節するためのパラメータである。このパラメータは、ユーザによる画質設定や画像シーンの判別結果に応じて外部から変更できるようにしても良い。式（１３）のノイズ低減係数Ｋｎｒと強調係数Ｋｅｎの関係を図示すると、図５のようになる。

図５に示すように、ノイズ低減係数生成手段４は、強調係数Ｋｅｎに対して単調増加となる特性によってノイズ低減係数Ｋｎｒを生成する。すなわち、強調係数Ｋｅｎが小さい場合にノイズ低減係数Ｋｎｒが小さくなり、強調係数Ｋｅｎが大きい場合にノイズ低減係数Ｋｎｒが大きくなるようにノイズ低減係数Ｋｎｒを決定する。また、強調係数Ｋｅｎが大きいほど、ノイズ低減係数Ｋｎｒの増分が小さくなるような特性を有している。なお、このような特性を満たしていれば、ノイズ低減係数Ｋｎｒの算出は必ずしも式（１３）や図５に示した関係によらなくても良い。また、式（１３）による演算を実行してノイズ低減係数Ｋｎｒを得ても良いが、予め強調係数Ｋｅｎに対応するノイズ低減係数Ｋｎｒをルックアップテーブル（ＬＵＴ）の形で保持しておくこともできる。このようなＬＵＴを用いた場合には、式（１３）の演算を行う必要がなくなるので、ノイズ低減係数決定手段４における処理の簡素化を図ることができる。

３次元ノイズ低減手段５は、中間画像Ｄ３の複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された出力画像Ｄｏｕｔを生成する。この処理も画素毎に設定されたノイズ低減係数Ｋｎｒを用いて行われる。即ち、３次元ノイズ低減手段５は、中間画像Ｄ３の各画素（補正対象画素）に対し、当該画素（補正対象画素）に対して設定されたノイズ低減係数Ｋｎｒを用いて、ノイズ成分を時間方向に平滑化することによりノイズが低減された出力画像Ｄｏｕｔを生成する。

３次元ノイズ低減手段５は、その具体的な構成の一例として、フレームメモリ５４に格納された１フレーム前の出力画像Ｄｏｕｔを中間画像Ｄ３から減算する減算器５１と、ノイズ低減係数生成手段４にて生成されたノイズ低減係数Ｋｎｒを減算器５１の出力に対して乗算する乗算器５２と、乗算器５２の出力を中間画像Ｄ３から減算する減算器５３から構成されている。この構成は公知のフレーム巡回型ノイズ除去装置の構成であり、３次元ノイズ低減手段５の入力画像である中間画像Ｄ３と１フレーム前の出力画像Ｄｏｕｔ（３次元のイズ低減手段５の出力画像）との差分に巡回係数（＝ノイズ低減係数Ｋｎｒ）を乗算したものをノイズ成分として、中間画像Ｄ３から差し引くことによってノイズ成分を除去するものである。１フレームごとに順次入力される入力画像に対して、上記の処理を繰り返すことで、複数フレームにわたってノイズ成分を時間方向に平滑化することになり、ノイズを除去することができる。巡回係数は０から１の間で変化させ、入力画像からノイズ成分として差し引く差分信号の割合を決定する。

次に、本発明の実施の形態１に係る画像処理装置の動作を、図６を用いて説明する。図６は、本発明の実施の形態１に係る画像処理装置の動作のフローチャートを示している。まず、低コントラスト部分検出手段１が、入力画像Ｄｉｎの画素毎にコントラスト相関値ＣＴを算出する（Ｓ１）。次に、強調係数決定手段２が、コントラスト相関値ＣＴから式（２）及び図２に示した関係により画素毎の強調係数Ｋｅｎを決定する（Ｓ２）。

次に、決定された強調係数Ｋｅｎに基づいて、局所コントラスト強調手段３が、入力画像Ｄｉｎの画素毎に局所的なコントラストを強調した中間画像Ｄ３を生成する（Ｓ３）。具体的には、まず、非線形ＬＰＦ手段３２が、入力画像Ｄｉｎの画素毎に、図３に示した関係により非線形変換した周辺画素の値を用いて周辺領域の非線形平滑化を行う。次に、ゲイン決定手段３３が、強調係数Ｋｅｎに基づき、非線形平滑化信号Ｄ３２と遅延画像信号Ｄ３１を用いて式（５）に示した関係によりゲインＧを算出する。最後に、乗算器３４が、遅延画像信号Ｄ３１にゲインＧを画素毎に乗算し、中間画像Ｄ３を生成する。

次に、ノイズ低減係数生成手段４が、強調係数Ｋｅｎに基づいて、式（１３）及び図５に示した関係によりノイズ低減係数Ｋｎｒを生成する（Ｓ４）。

次に、３次元ノイズ低減手段５が、中間画像Ｄ３に対して、複数フレームにわたって巡回係数Ｋｎｒにてノイズ成分を平滑化することによりノイズが低減された出力画像Ｄｏｕｔを生成する（Ｓ５）。具体的には、まず、減算器５１が、フレームメモリ５４に格納された１フレーム前の出力画像Ｄｏｕｔを中間画像Ｄ３から減算する。減算は、両者の画像の同じ画素について行う。次に、乗算器５２が、減算器５１の出力の画素毎にノイズ低減係数Ｋｎｒを乗算する。次に、減算器５３が、乗算器５２の出力を中間画像Ｄ３から減算して出力画像Ｄｏｕｔとする。最後に、出力画像Ｄｏｕｔをフレームメモリ５４に格納し、次のフレームの処理へと移行する。
以上が、本発明の実施の形態１に係る画像処理装置の動作の説明である。

本発明の実施の形態１に係る画像処理装置の効果について、図７（ａ）〜（ｄ）を用いて説明する。図７（ａ）〜（ｄ）は、画像中の被写体のエッジ及び該エッジに対応する画像信号を１次元的に表したものであり、横軸が画素位置、縦軸が信号レベルを表している。図７（ａ）はノイズのない状態の被写体のエッジ、図７（ｂ）は入力画像Ｄｉｎのエッジ（ノイズがある状態）、図７（ｃ）は中間画像Ｄ３のエッジ（局所コントラスト強調した状態）、図７（ｄ）は出力画像Ｄｏｕｔのエッジ（ノイズ低減した状態）を表している。

図７（ａ）は、ノイズのない状態の被写体のエッジを示しており、例えば、霧がかかった画像における遠景の山の稜線などのように、エッジの信号の振幅Δｄが極端に小さい状態であることを示している。このような被写体をカメラで撮影した場合、実際の信号レベルの変化にランダムノイズが重畳して図７（ｂ）のようになる。ここでは、ランダムノイズの振幅がエッジの信号の振幅Δｄとほぼ同程度である状態を想定する。

図７（ｃ）は、局所コントラスト強調手段３により、当該エッジの周辺領域を強調係数Ｋｅｎにてコントラスト強調した結果（中間画像Ｄ３）のエッジを表している。上述したように、局所コントラスト強調手段３は図４に示した入出力特性を有するため、非線形ＬＰＦ手段３２における非線形性を無視した場合には、周辺領域の平均レベル（Ｄ３２）を中心とした入力画像のコントラスト成分を強調係数Ｋｅｎ倍に増幅する効果を有する。したがって、入力画像Ｄｉｎのエッジの振幅をΔｄとすると、局所コントラスト強調した状態のエッジの振幅はＫｅｎ×Δｄとなる。ここで、非線形ＬＰＦ手段３２におけるノイズのクリップ閾値（ＴＨ１）が０である場合には、同時にノイズの振幅がＫｅｎ倍に増幅され、入力画像の状態（図７（ａ））では検知限未満であったノイズ成分が、局所コントラスト強調した状態（図７（ｂ））では検知限以上となり、目障りなノイズとなって視認される。一方、非線形ＬＰＦ手段３２におけるノイズのクリップ閾値（ＴＨ１）を０より大きい値に設定することで、ＴＨ１以下の振幅のノイズ成分をクリップすることが可能であるが、図７（ｂ）に示した入力画像を想定した場合、完全にノイズを抑えるためには、ＴＨ１をΔｄとほぼ同程度の値に設定しなければならず、その場合はエッジの信号までクリップされてしまい、信号成分のコントラスト強調が行えない。

そこで、本実施の形態１では、局所コントラスト強調した中間画像Ｄ３の複数フレームにわたってノイズ成分を時間方向に平滑化する３次元ノイズ低減手段５を備えたことによって、図７（ｄ）に示したように、強調された被写体（エッジ）を表す信号の振幅を減衰させることなく、ランダムノイズ成分のみを低減することができる。

また、局所コントラスト強調手段３では、特定の周波数成分（とくに高域）のコントラストを強調することによってコントラストが低下した部分のエッジを際立たせる効果があるが、特許文献３に記載された撮像装置のように、１フレームの画像のみを用いて高域成分を除去することによってノイズを低減する方式では、局所コントラスト強調により強調された高域成分に影響を与えて効果を打ち消し、エッジ部分のボケを生じるなど視認性を低下させてしまう場合があった。霧・霞がかかった画像では、局所コントラスト強調により霧・霞の中の被写体のエッジを際立たせることで霧・霞を除去したような効果が得られるのに対し、ノイズ低減によってエッジ部分がボケることによって再び霞んだように見えることが課題であった。

本発明の実施の形態１では、局所コントラスト強調に伴って増幅されるノイズを低減するために、複数フレームにわたってノイズ成分を時間方向に平滑化する３次元ノイズ低減手段５を備えたことによって、１フレームの画像の周波数成分には影響を与えずに、すなわち、局所コントラスト強調により強調したエッジ部分のボケを発生させることなく、ノイズのみを効果的に低減することができる。これにより、霧・霞がかかった画像において、局所コントラスト強調による霧・霞の除去と、これに伴うノイズの低減を効果的に行うことができる。

次に、強調係数決定手段２において、コントラスト相関値ＣＴから式（２）及び図２に示した関係により画素毎の強調係数Ｋｅｎを決定することの効果について説明する。

本実施の形態１に係る画像処理装置では、低コントラスト部分検出手段１にて、入力画像Ｄｉｎの画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを検出する。コントラスト相関値ＣＴは、例えば、画像中の小領域における画素値の標準偏差を周辺領域について平均することによって求める。したがって、画像中でコントラスト相関値ＣＴが小さい領域は周辺領域の輝度分布のレンジが狭く、コントラスト相関値ＣＴが大きい領域は周辺領域の輝度分布のレンジが広い領域であることを意味する。すなわち、霧・霞がかかった画像を想定した場合、コントラスト相関値ＣＴが小さい領域は霧・霞によるコントラストの低下が大きい領域、コントラスト相関値ＣＴが大きい領域は霧・霞によるコントラストの低下が小さい領域ということができる。したがって、強調係数決定手段２において、式（２）及び図２に示したように、コントラスト相関値ＣＴが小さい場合に強調係数Ｋｅｎが大きくなり、コントラスト相関値ＣＴが大きい場合に強調係数Ｋｅｎが小さくなるように強調係数Ｋｅｎを決定することで、画像中のコントラストが低下した領域に対して、局所コントラスト強調手段３におけるコントラスト成分の増幅量をより大きくすることができる。

また、コントラスト相関値ＣＴが小さいほど、強調係数Ｋｅｎの増分が大きくなるような特性を有していることによって、もともと視認できるレベルのコントラストを有している領域に比べて、視認できないレベルのコントラストしか有していない領域（コントラスト相関値ＣＴがほぼ０に近い領域）に対する強調係数Ｋｅｎを一段と大きくすることができ、コントラストが低下した部分の視認性を適切に改善することができる。

なお、強調係数決定手段２における強調係数Ｋｅｎの算出は必ずしも式（２）や図２に示した関係によらなくても良い。コントラスト相関値ＣＴに対して単調減少となる特性によって強調係数Ｋｅｎを決定すればよい。すなわち、コントラスト相関値ＣＴが小さい場合に強調係数Ｋｅｎが大きくなり、コントラスト相関値ＣＴが大きい場合に強調係数Ｋｅｎが小さくなるように強調係数Ｋｅｎを決定すればよい。また、コントラスト相関値ＣＴが小さいほど、強調係数Ｋｅｎの増分が大きくなるような特性を有しているのが望ましい。以上のような特性を満たしていれば、式（２）や図２に示した関係を用いた場合と同様にコントラストが低下した部分の視認性を適切に改善することができるという効果を奏する。

次に、ノイズ低減係数生成手段４において、強調係数Ｋｅｎに基づいて、式（１３）及び図５に示した関係によりノイズ低減係数Ｋｎｒを生成することの効果について説明する。

上述したように、局所コントラスト強調手段３は、周辺領域の平均レベル（Ｄ３２）を中心とした入力画像のコントラスト成分を強調係数Ｋｅｎ倍に増幅する効果を有する。したがって、平坦な画像にノイズが重畳された画像が入力された場合を考えると、信号レベルは変化せず、ノイズ成分のみＫｅｎ倍に増幅される。すなわち、強調係数Ｋｅｎのとき、ＳＮＲ（Ｓｉｇｎａｌ−Ｎｏｉｓｅ Ｒａｔｉｏ）は１０ｌｏｇ（Ｋｅｎ）［ｄＢ］だけ劣化する。一方、３次元ノイズ低減手段５において、ノイズ低減係数（巡回係数）がＫｎｒであるとき、ＳＮＲ改善量［ｄＢ］は次式（１４）によって表される。

３次元ノイズ低減手段５においては、局所コントラスト強調手段３にて増幅された分だけノイズを低減できることが望ましい。そこで、局所コントラスト強調手段３によってＳＮＲが劣化する量と、３次元ノイズ低減手段５によるＳＮＲの改善量が等しいとおくと、次式（１５）の関係が導かれる。

したがって、式（１３）においてｋ＝１のとき、ノイズ低減係数生成手段４は、式（１５）に示した関係によってノイズ低減係数Ｋｎｒを生成することにより、局所コントラスト強調手段３によってＳＮＲが劣化する量だけ、３次元ノイズ低減手段５がＳＮＲを改善することができる。これによって、信号成分のコントラストのみが強調係数Ｋｅｎだけ増幅され、ランダムノイズ成分は入力画像とほぼ同等のレベルを維持することができる。さらに、局所コントラスト強調手段３における強調の度合いは強調係数Ｋｅｎに応じて画素毎に変化するため、１枚の画像内でノイズ感が不均一になる可能性があったが、３次元ノイズ低減手段５が画素毎にＳＮＲ改善量を調節できるため、１枚の画像内でノイズ感を均一にすることができる。以上で説明したように、ノイズ低減係数生成手段４において、強調係数Ｋｅｎに基づいて、式（１３）及び図５に示した関係によりノイズ低減係数Ｋｎｒを生成することで、局所コントラスト強調に伴うノイズ増幅の度合いに応じて適切にノイズを低減することができる。

なお、３次元ノイズ低減手段５は、入力画像の複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズを低減するため、動きのある被写体では、ノイズ低減係数Ｋｎｒが大きくなるにつれ動き成分までが時間方向に平滑化され、残像が発生するという欠点がある。本発明の実施の形態１によれば、ノイズ低減係数生成手段４において、強調係数Ｋｅｎが小さく、局所コントラスト強調手段３によってノイズが増幅されない箇所に対してはノイズ低減係数Ｋｎｒを小さく設定することとしたので、不必要に残像が発生するのを防止することができる。また、式（１３）におけるｋの値を１未満に設定することで、画像全体のノイズ低減効果を調節して残像を低減することができる。

さらに、入力画像の画素毎に被写体の動きを検出する動き検出手段（図示せず）と、動きのある画素では小さな値となり、動きのない画素では大きな値となる係数ｋを生成する係数生成手段（図示せず）を新たに設けることによって、動き適応型３次元ノイズ低減手段を構成することとしても良い。この場合は、式（１３）におけるｋを画素毎に可変の値とし、ｋを画素毎の動き検出結果に応じて決定するように構成することで、動きのある部分での残像を低減することが可能である。

なお、ノイズ低減係数生成手段４におけるノイズ低減係数Ｋｎｒの算出は必ずしも式（１３）や図５に示した関係によらなくても良い。強調係数Ｋｅｎに対して単調増加となる特性によってノイズ低減係数Ｋｎｒを生成すればよい。すなわち、強調係数Ｋｅｎが小さい場合にノイズ低減係数Ｋｎｒが小さくなり、強調係数Ｋｅｎが大きい場合にノイズ低減係数Ｋｎｒが大きくなるようにノイズ低減係数Ｋｎｒを決定すればよい。また、強調係数Ｋｅｎが大きいほど、ノイズ低減係数Ｋｎｒの増分が小さくなるような特性を有しているのが望ましい。これは、式（１４）により表されるＳＮＲ改善量が、Ｋｎｒが大きくなるにつれ急激に増加するためである。以上のような特性を満たしていれば、式（１３）や図５に示した関係を用いた場合と同様に局所コントラスト強調に伴うノイズ増幅の度合いに応じて適切にノイズを低減することができるという効果を奏する。

また、３次元ノイズ低減手段５の構成は、必ずしもフレーム巡回型でなくても良い。入力画像の複数フレームにわたってノイズ成分を時間方向に平滑化する構成を有し、平滑化の度合いをノイズ低減係数Ｋｎｒにより制御できる構成になっていればよい。例えば、複数フレーム分のフレームメモリを有し、時間方向に加算平均を取ることによってノイズを低減する３次元ノイズ低減手段であって、ノイズ低減係数Ｋｎｒに応じて画素毎にフレーム加算枚数を制御するフレーム加算手段（図示せず）を設けても良い。このような構成で、同様の効果を得ることが可能である。

実施の形態２．
図８は本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。本実施の形態２に係る画像処理装置は、実施の形態１とは異なり、低コントラスト部分検出手段及び局所コントラスト強調手段の前段に３次元ノイズ低減手段を設けた構成を有する。

本実施の形態２に係る画像処理装置は、３次元ノイズ低減手段１０５と、低コントラスト部分検出手段１０１と、強調係数決定手段１０２と、局所コントラスト強調手段１０３と、ノイズ低減係数生成手段１０４と、フレームメモリ１０６とを備える。

３次元ノイズ低減手段１０５は、実施の形態１の３次元ノイズ低減手段５と同様の構成を有するが、中間画像Ｄ３の代りに入力画像Ｄｉｎを入力とし、入力画像Ｄｉｎの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された中間画像Ｄ１０５を生成する。
中間画像Ｄ１０５は、後段の局所コントラスト強調手段１０３により階調とびが発生することがないよう、十分なビット精度を有する必要がある。

低コントラスト部分検出手段１０１は、実施の形態１の低コントラスト部分検出手段１と同様の構成を有するが、入力画像Ｄｉｎの代りに、中間画像Ｄ１０５を入力とし、中間画像Ｄ１０５の画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを検出する。

強調係数決定手段１０２は、実施の形態１の強調係数決定手段２と同様の構成を有し、低コントラスト部分決定手段１０２で検出されたコントラスト相関値ＣＴに応じて画素毎のコントラストの強調係数Ｋｅｎを決定する。

局所コントラスト強調手段１０３は、実施の形態１の局所コントラスト強調手段３と同様の構成を有するが、入力画像Ｄｉｎの代りに中間画像Ｄ１０５を入力とし、強調係数決定手段１０２で決定された強調係数Ｋｅｎに応じて中間画像Ｄ１０５の画素毎に局所的なコントラストを強調した出力画像Ｄｏｕｔを生成する。

ノイズ低減係数生成手段１０４は、実施の形態１のノイズ低減係数生成手段４と同様の構成を有し、強調係数決定手段１０２で決定された強調係数Ｋｅｎに応じて３次元ノイズ低減手段１０５がノイズ低減を行うためのノイズ低減係数Ｋｎｒを設定する。
以上の各手段の内部構成は実施の形態１と同様であるのでその詳細な説明は省略する。

フレームメモリ１０６は、ノイズ低減係数生成手段１０４で生成された各画素についてのノイズ低減係数Ｋｎｒを１フレーム分格納する。
フレームメモリ１０６に格納されたノイズ低減係数Ｋｎｒは、次のフレームの各画素に対する処理時に３次元ノイズ低減手段１０５で用いられる。

次に、本発明の実施の形態２に係る画像処理装置の動作を、図９を用いて説明する。図９は、本発明の実施の形態２に係る画像処理装置の動作のフローチャートを示している。本実施の形態２に係る画像処理装置の動作は、最初に入力画像Ｄｉｎに対して３次元ノイズ低減手段１０５がノイズ低減を行う点が実施の形態１と異なる。

まず、３次元ノイズ低減手段１０５が、入力画像Ｄｉｎに対して、複数フレームにわたって巡回係数Ｋｎｒにてノイズ成分を平滑化することによりノイズが低減された中間画像Ｄ１０５を生成する（Ｓ１０５）。

次に、低コントラスト部分検出手段１０１が、中間画像Ｄ１０５の画素毎にコントラスト相関値ＣＴを算出する（Ｓ１０１）。
次に、強調係数決定手段１０２が、コントラスト相関値ＣＴから式（２）及び図２に示した関係により画素毎の強調係数Ｋｅｎを決定する（Ｓ１０２）。

次に、決定された強調係数Ｋｅｎに基づいて、局所コントラスト強調手段１０３が、中間画像Ｄ１０５の画素毎に局所的なコントラストを強調した出力画像Ｄｏｕｔを生成する（Ｓ１０３）。

次に、ノイズ低減係数生成手段１０４が、強調係数Ｋｅｎに基づいて、式（１３）及び図５に示した関係によりノイズ低減係数Ｋｎｒを生成する（Ｓ１０４）。

最後に、ノイズ低減係数Ｋｎｒを、フレームメモリ１０６に格納し、次のフレームの処理へと移行する。
各ステップにおける動作の詳細は、実施の形態１と同様であるのでその詳細な説明は省略する。

ステップＳ１０２で強調係数Ｋｅｎが決定された後のステップＳ１０４でノイズ低減係数が生成されるため、ステップＳ１０５では、フレームメモリ１０６から読み出した１フレーム前のノイズ低減係数Ｋｎｒを用いて３次元ノイズ低減が行われる。そのため、ステップＳ１０４でノイズ低減係数Ｋｎｒが生成された後、ステップＳ１０６にて現在のフレームの画素毎のノイズ低減係数Ｋｎｒがフレームメモリ１０６に格納される。

次に、本発明の実施の形態２に係る画像処理装置の効果について、図１０（ａ）〜（ｅ）を用いて説明する。図１０（ａ）〜（ｅ）は、図７（ａ）〜（ｄ）と同様に、画像中の被写体のエッジ及び該エッジに対応する画像信号を１次元的に表したものであり、横軸が画素位置、縦軸が信号レベルを表している。図１０（ａ）はノイズのない状態の被写体のエッジ、図１０（ｂ）は入力画像Ｄｉｎのエッジ（ノイズがある状態）、図１０（ｃ）は中間画像Ｄ１０５のエッジ（ノイズ低減した状態）、図１０（ｄ）及び（ｅ）は出力画像Ｄｏｕｔのエッジ（局所コントラスト強調した状態）を表している。

図７（ａ）〜（ｄ）と同様に、エッジの信号の振幅をΔｄとし、図１０（ｂ）に示すようなランダムノイズの振幅がエッジの信号の振幅Δｄとほぼ同程度である入力画像Ｄｉｎを想定する。図１０（ｃ）は、入力画像Ｄｉｎに対して３次元ノイズ低減手段１０５にてノイズ低減を行った中間画像Ｄ１０５のエッジを表している。入力画像Ｄｉｎの複数フレームにわたってノイズ成分を時間方向に平滑化するので、被写体（エッジ）の信号の振幅を減衰させることなく、ランダムノイズ成分のみを低減することができる。

次に、図１０（ｄ）及び（ｅ）は、中間画像Ｄ１０５に対し、局所コントラスト強調手段１０３が強調係数Ｋｅｎにてコントラスト強調を行った結果の出力画像Ｄｏｕｔのエッジを表している。図１０（ｄ）は、非線形ＬＰＦ手段１３２におけるノイズのクリップの閾値（ＴＨ１）が０である場合、図１０（ｅ）は、非線形ＬＰＦ手段１３２におけるノイズのクリップの閾値（ＴＨ１）が０より大きくΔｄよりも小さい値である場合を示している。

非線形ＬＰＦ手段１３２におけるノイズのクリップの閾値（ＴＨ１）が０である場合、上述したように、局所コントラスト強調手段１０３は周辺領域の平均レベル（Ｄ３２）を中心とした入力画像のコントラスト成分を強調係数Ｋｅｎ倍に増幅する処理であると近似できるので、エッジの振幅はＫｅｎ×Δｄとなって視認性が向上する。ここで、ノイズ成分も同様にＫｅｎ倍に増幅されるが、入力画像Ｄｉｎ（図１０（ｂ））から強調係数Ｋｅｎに応じて増幅される分のノイズを前もって低減した画像（図１０（ｃ））に対して局所コントラスト強調が行われるので、出力画像Ｄｏｕｔ（図１０（ｄ））のノイズを入力画像Ｄｉｎのレベルに抑圧することができる。

一方、入力画像Ｄｉｎ（図１０（ｂ））に対して先にノイズ低減を行うことで、中間画像Ｄ１０５（図１０（ｃ））においてエッジの信号の振幅とノイズ成分の振幅に差が生じる。図１０（ｂ）の状態では、エッジの信号の振幅とノイズの振幅がほぼ同程度であるため、非線形ＬＰＦ手段１３２において適切なノイズのクリップ閾値（ＴＨ１）が設定できなかった。しかし、ノイズ低減を行った図１０（ｃ）の状態では、非線形ＬＰＦ手段１３２におけるノイズのクリップの閾値（ＴＨ１）を０より大きくΔｄよりも小さい値に設定することで、エッジの信号とノイズ成分を分離することができ、局所コントラスト強調手段１０３はノイズを抑圧してエッジの信号のコントラストのみを増幅することができる（図１０（ｅ））。

したがって、本発明の実施の形態２に係る画像処理装置は、実施の形態１と同様の効果を有するだけでなく、実施の形態２による副次的な効果として、以上で説明したように、従来はノイズに埋もれて強調しようがなかった微かな被写体の信号を、ノイズ低減によって被写体の信号とノイズの信号を分離し、コントラスト強調によって浮かび上がらせることが可能である。また、低コントラスト部分検出手段１０１にもノイズが低減された中間画像Ｄ１０５が入力されるため、強調係数Ｋｅｎやノイズ低減係数Ｋｎｒに対して入力画像Ｄｉｎのノイズの影響を受けにくくなるという効果も奏する。

実施の形態３．
図１１は本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。本実施の形態３に係る画像処理装置は、実施の形態１とは異なり低コントラスト部分の検出、並びに強調係数Ｋｅｎ、ゲインＧ、及びノイズ低減係数Ｋｎｒの決定は、画像の輝度成分を示す輝度信号Ｙｉｎ（第１の画像信号）に基づいて行い、決定されたゲインＧを用いた局所コントラスト強調及び決定されたノイズ低減係数Ｋｎｒを用いたノイズ低減は、同じ画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色成分の色画像信号（第２の画像信号）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに対して行う。

図１１の画像処理装置は、低コントラスト検出手段２０１と、強調係数検出手段２０２と、局所コントラスト強調手段２０３と、ノイズ低減係数生成手段２０４と、３次元ノイズ低減手段５Ｒ、５Ｇ、５Ｂとを有する。

低コントラスト部分検出手段２０１は、図１の低コントラスト部分検出手段１と同様の構成を有するが、入力画像Ｄｉｎとして、輝度画像Ｙｉｎを受け、輝度画像Ｙｉｎの画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを検出する。

強調係数決定手段２０２は、低コントラスト部分検出手段２０１で検出されたコントラスト相関値ＣＴに応じて画素毎のコントラストの強調係数Ｋｅｎを決定する。

局所コントラスト強調手段２０３は、強調係数決定手段２０２で決定された強調係数Ｋｅｎに応じて赤、緑、青の入力画像Ｒｉｎ、Ｇｉｎ、Ｂｉｎの画素毎に局所的なコントラストを強調した中間画像Ｄ３Ｒ、Ｄ３Ｇ、Ｄ３Ｂを生成する。

局所コントラスト強調手段２０３は、遅延手段２３１、非線形ＬＰＦ手段２３２及びゲイン決定手段２３３を有する。
これらは、図１に示される遅延手段３１、非線形ＬＰＦ手段３２及びゲイン決定手段３３と同じ構成を有し、入力画像Ｄｉｎとして入力される輝度画像Ｙｉｎに対して実施の形態１で説明したのと同じ処理を行う。

遅延手段２３１、非線形ＬＰＦ手段２３２及びゲイン決定手段２３３で、輝度画像Ｙｉｎに基づきゲインを生成するゲイン生成手段２３６が構成されている。

局所コントラスト強調手段２０３はさらに、遅延手段３１Ｒ、３１Ｇ、３１Ｂを有する。
遅延手段３１Ｒ、３１Ｇ、３１Ｂは遅延手段２３１と同じ構成を有するが、それぞれ赤、緑、青の入力画像Ｒｉｎ、Ｇｉｎ、Ｂｉｎを受け、遅延手段２３１と同じ遅延時間だけ遅延させた信号（遅延画像信号）Ｄ３１Ｒ、Ｄ３１Ｇ、Ｄ３１Ｂを出力する。

乗算器３４Ｒ、３４Ｇ、３４Ｂは、遅延手段３１Ｒ、３１Ｇ、３１Ｂからの遅延画像信号Ｄ３１Ｒ、Ｄ３１Ｇ、Ｄ３１Ｂに、画素毎にゲインＧを乗算して中間画像Ｄ３Ｒ、Ｄ３Ｇ、Ｄ３Ｂを生成する。

ノイズ低減係数生成手段２０４は、強調係数決定手段２０２で決定された強調係数Ｋｅｎに応じて３次元ノイズ低減手段５Ｒ、５Ｇ、５Ｂがノイズ低減を行うためのノイズ低減係数（ＮＲ係数）Ｋｎｒを設定する。

３次元ノイズ低減手段５Ｒ、５Ｇ、５Ｂは、各々図１の３次元ノイズ低減手段５と同様の構成を有するが、中間画像Ｄ３の代りに、それぞれ赤色、緑色、青色の中間画像Ｄ３Ｒ、Ｄ３Ｇ、Ｄ３Ｂを入力として、これらに対する処理を行う。

即ち、３次元ノイズ低減手段５Ｒは、赤色の中間画像Ｄ３Ｒの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された赤色出力画像Ｒｏｕｔを生成する。
３次元ノイズ低減手段５Ｇは、緑色の中間画像Ｄ３Ｇの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された緑色出力画像Ｇｏｕｔを生成する。
３次元ノイズ低減手段５Ｂは、青色の中間画像Ｄ３Ｂの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された青色出力画像Ｂｏｕｔを生成する。

以上のように、実施の形態３によれば、実施の形態１と同様の効果が得られるほか、輝度画像に基づいて決定したゲインＧ及びノイズ低減係数Ｋｎｒを用いたすべての色の画像に対するコントラスト強調及びノイズ低減を行うので、色バランスを損なうことなく、画像の改善を図ることができる。

実施の形態４．
図１２は本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。本実施の形態４に係る画像処理装置は、実施の形態３と同様に、低コントラスト部分の検出、強調係数Ｋｅｎ、ゲインＧ、及びノイズ低減係数Ｋｎｒの決定は、輝度画像に基づいて行い、決定されたゲインＧを用いた局所コントラスト強調及びノイズ低減係数Ｋｎｒを用いたノイズ低減は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色画像に対して行う。実施の形態４の画像処理装置は、実施の形態２と同様に、低コントラスト部分検出手段及び局所コントラスト強調手段の前段に３次元ノイズ低減手段が設けられている。

図１２の画像処理装置は、３次元ノイズ低減手段１０５Ｒ、１０５Ｇ、１０５Ｂと、低コントラスト検出手段３０１と、強調係数検出手段３０２と、局所コントラスト強調手段３０３と、ノイズ低減係数生成手段３０４と、フレームメモリ３０６と、輝度画像生成手段３０７とを有する。

３次元ノイズ低減手段１０５Ｒ、１０５Ｇ、１０５Ｂは、各々図８の３次元ノイズ低減手段１０５と同様の構成を有するが、それぞれ赤色、緑色、青色の入力画像Ｒｉｎ、Ｇｉｎ、Ｂｉｎを入力として、これらに対する処理を行う。

即ち、３次元ノイズ低減手段１０５Ｒは、赤色の入力画像Ｒｉｎの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された赤色中間画像Ｄ１０５Ｒを生成する。
３次元ノイズ低減手段１０５Ｇは、緑色の入力画像Ｇｉｎの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された緑色中間画像Ｄ１０５Ｇを生成する。
３次元ノイズ低減手段１０５Ｂは、青色の入力画像Ｂｉｎの複数フレームにわたってノイズ成分を時間方向に平滑化することによりノイズが低減された青色中間画像Ｄ１０５Ｂを生成する。

輝度画像生成手段３０７は、中間画像Ｄ１０５Ｒ、Ｄ１０５Ｇ、Ｄ１０５Ｂを入力として、例えば、
Ｄ３０７＝α×Ｄ１０５Ｒ＋β×Ｄ１０５Ｇ＋γ×Ｄ１０５Ｂ
で表される演算により輝度中間画像Ｄ３０７を生成する。
但し、α＋β＋γ＝１であり、例えば、
α＝１／４、β＝１／２、γ＝１／４が用いられる。或いはより正確な計算のため、
α＝０．２９９、β＝０．５８７、γ＝０．１１４を用いても良い。

低コントラスト部分検出手段３０１は、図８の低コントラスト部分検出手段１０１と同様の構成を有するが、中間画像Ｄ１０５の代りに、輝度画像Ｄ３０７を受け、輝度画像Ｄ３０７の画素毎に補正対象画素を中心とする周辺領域のコントラスト相関値ＣＴを検出する。

強調係数決定手段３０２は、低コントラスト部分検出手段３０１で検出されたコントラスト相関値ＣＴに応じて画素毎のコントラストの強調係数Ｋｅｎを決定する。

局所コントラスト強調手段３０３は、図１１の低コントラスト部分検出手段２０３と同様の構成を有するが、入力画像Ｒｉｎ、Ｇｉｎ、Ｂｉｎの代りに、色中間画像Ｄ１０５Ｒ、Ｄ１０５Ｇ、Ｄ１０５Ｂを受け、強調係数決定手段３０２で決定された強調係数Ｋｅｎに応じて中間画像Ｄ１０５Ｒ、Ｄ１０５Ｇ、Ｄ１０５Ｂの画素毎に局所的なコントラストを強調した出力画像Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを生成する。

局所コントラスト強調手段３０３は、遅延手段３３１、非線形ＬＰＦ手段３３２及びゲイン決定手段３３３を有する。
これらは、図８に示される遅延手段１３１、非線形ＬＰＦ手段１３２及びゲイン決定手段１３３を有する同じ構成を有するが、中間画像Ｄ１０５の代りに、輝度画像Ｄ３０７を入力とし、輝度画像Ｄ３０７に対して処理を行う実施の形態２で説明したのと同じ処理を行う。

遅延手段３３１、非線形ＬＰＦ手段３３２及びゲイン決定手段３３３で、輝度画像Ｄ３０７に基づきゲインを生成するゲイン生成手段３３６が構成されている。

局所コントラスト強調手段３０３はさらに、遅延手段１３１Ｒ、１３１Ｇ、１３１Ｂを有する。
遅延手段１３１Ｒ、１３１Ｇ、１３１Ｂは、遅延手段３３１と同じ構成を有するが、それぞれ赤、緑、青の中間画像Ｄ１０５Ｒ、Ｄ１０５Ｇ、Ｄ１０５Ｂを受け、遅延手段３３１と同じ遅延時間だけ遅延させた信号Ｄ１３１Ｒ、Ｄ１３１Ｇ、Ｄ１３１Ｂを出力する。

乗算器１３４Ｒ、１３４Ｇ、１３４Ｂは、遅延手段１３１Ｒ、１３１Ｇ、１３１Ｂからの遅延信号Ｄ１３１Ｒ、Ｄ１３１Ｇ、Ｄ１３１Ｂに、画素毎にゲインＧを乗算して出力画像Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを生成する。

ノイズ低減係数生成手段３０４は、強調係数決定手段３０２で決定された強調係数Ｋｅｎに応じて３次元ノイズ低減手段１０５Ｒ、１０５Ｇ、１０５Ｂがノイズ低減を行うためのノイズ低減係数（ＮＲ係数）Ｋｎｒを設定する。

フレームメモリ３０６は、ノイズ低減係数生成手段３０４で生成された各画素についてのノイズ低減係数Ｋｎｒを１フレーム分格納する。

フレームメモリ３０６に格納されたノイズ低減係数Ｋｎｒは、次のフレームの各画素に対する処理時に３次元ノイズ低減手段１０５Ｒ、１０５Ｇ、１０５Ｂで用いられる。

なお、色信号Ｒｉｎ，Ｇｉｎ，Ｂｉｎから得られた輝度信号Ｄ３０７の代わりに、別の方法で生成された輝度信号を用いても良い。例えば、輝度信号Ｙｉｎと色差信号Ｃｂｉｎ、Ｃｒｉｎから色信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎが得られている場合、元になった輝度信号Ｙｉｎを低コントラス部分検出手段３０１、ゲイン生成手段３３６で用いて良い。

以上のように、実施の形態４によれば、実施の形態２と同様の効果が得られるほか、輝度画像に基づいて決定したゲインＧ及びノイズ低減係数Ｋｎｒを用いたすべての色の画像に対するコントラスト強調及びノイズ低減を行うので、色バランスを損なうことなく、画像の改善を図ることができる。

上記のように、実施の形態３及び４では、低コントラスト部分の検出、並びに強調係数Ｋｅｎ、ゲインＧ及びノイズ低減係数Ｋｎｒの決定を、画像の輝度成分（第１の成分）を示す輝度信号Ｙｉｎ（第１の画像信号）に基づいて行い、決定されたゲインＧを用いた局所コントラスト強調及びノイズ低減係数Ｋｎｒを用いたノイズ低減を、同じ画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色成分（各々を「第２の成分」と言い得る）を示す色信号（各々を「第２の画像信号」と言い得る）Ｒｉｎ、Ｇｉｎ、Ｂｉｎに対して行っている。入力画像信号が輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから成る場合、低コントラスト部分の検出、並びに強調係数Ｋｅｎ、ゲインＧ及びノイズ低減係数Ｋｎｒの決定を、輝度信号Ｙ（第１の画像信号）に基づいて行い、決定されたゲインＧを用いた局所コントラスト強調及びノイズ低減係数Ｋｎｒを用いたノイズ低減を、当該輝度信号Ｙ、並びに同じ画像の色差信号Ｃｂ、Ｃｒ（各々を「第２の画像信号」と言い得る）に対して行なうこととしても良い。一般的に言えば、低コントラスト部分の検出、並びに強調係数Ｋｅｎ、ゲインＧ及びノイズ低減係数Ｋｎｒの決定を、画像の第１の成分を示す第１の画像信号に基づいて行い、決定されたゲインＧを用いた局所コントラスト強調及びノイズ低減係数Ｋｎｒを用いたノイズ低減を、同じ画像の第２の成分を示す第２の画像信号に対して行うことができる。言い換えれば、強調係数Ｋｅｎ、ゲインＧ及びノイズ低減係数Ｋｎｒの決定に用いる画像乃至画像信号（第１の画像信号）と、決定されたゲインＧ及びノイズ低減係数Ｋｎｒを用いた局所コントラスト強調及び３次元ノイズ低減の対象となる画像乃至画像信号（第２の画像信号）とは同じでなくも良い。

また、３次元ノイズ低減手段は、実施の形態１及び３のように、局所コントラスト強調手段（３、２０３）の後段に配置されていても良く、実施の形態２及び４のように局所コントラスト強調手段（１０３、３０３）の前段に配置されていても良い。後段に配置されている場合には、３次元ノイズ低減手段（５、５Ｒ、５Ｇ、５Ｂ）に入力される画像信号（第３の画像信号）は、局所コントラスト強調手段（３、２０３）でコントラスト強調を受けた画像を表す信号である。

３次元ノイズ低減手段が局所コントラスト強調手段の後段に配置されている場合には、局所コントラスト強調手段（３、２０３）に入力される画像信号（第２の画像信号）は、実施の形態１のように、第１の画像信号（Ｄｉｎ）と同じであっても良く、第３の実施の形態のように、第１の画像信号（Ｙｉｎ）とは異なるもの（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）であっても良い。

３次元ノイズ低減手段が局所コントラスト強調手段の前段に配置されている場合には、３次元ノイズ低減手段（１０５、１０５Ｒ、１０５Ｇ、１０５Ｂ）でノイズ低減された画像を表す信号が、第１の画像信号として、強調係数決定手段（１０２、３０２）に入力される。この場合にも、局所コントラスト強調手段（１０３、３０３）に入力される画像信号（第２の画像信号）は、実施の形態２のように、第１の画像信号（Ｄ１０５）と同じであっても良く、第４の実施の形態のように、第１の画像信号（Ｄ３０７）とは異なるもの（Ｄ１０５Ｒ、Ｄ１０５Ｇ、Ｄ１０５Ｂ）であっても良い。

実施の形態１乃至４において、「…手段」とは、ある機能を電気回路によって実行する手段、又は、ある機能を、ソフトウェアを利用した構成によって実行する手段のいずれであってもよい。また、本発明を画像処理装置として説明したが、画像処理装置で実行される画像処理方法もまた本発明の一部を成す。さらに、画像処理装置の各手段として機能させるためのプログラム又は画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム、並びに該コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

１、１０５、２０５、３０５ 低コントラスト部分検出手段、 ２、１０２、２０２、３０２ 強調係数決定手段、 ３、１０３、２０３、３０３ 局所コントラスト強調手段、 ３１、３１Ｒ、３１Ｇ、３１Ｂ、１３１、１３１Ｒ、１３１Ｇ、１３１Ｂ、２３１、３３１ 遅延手段、 ３２、１３２、２３２、３３２ 非線形ＬＰＦ手段、 ３３、１３３、２３３、３３３ ゲイン決定手段、 ３４、３４Ｒ、３４Ｇ、３４Ｂ、１３４、１３４Ｒ、１３４Ｇ、１３４Ｂ 乗算器、 ４、１０４ ノイズ低減係数生成手段、 ５、５Ｒ、５Ｇ、５Ｂ、１０５、１０５Ｒ、１０５Ｇ、１０５Ｂ ３次元ノイズ低減手段、 ５１、１５１ 加算器、 ５２、１５２ 乗算器、 ５３、１５３ 減算器、 ５４、１５４ フレームメモリ、 １０６ フレームメモリ、 Ｓ１、Ｓ１０１ 低コントラスト部分検出ステップ、 Ｓ２、Ｓ１０２ 強調係数決定ステップ、 Ｓ３、Ｓ１０３ 局所コントラスト強調ステップ、 Ｓ４、Ｓ１０４ ノイズ低減係数生成ステップ、 Ｓ５、Ｓ１０５ ３次元ノイズ低減ステップ、 Ｓ１０６ フレームメモリ格納ステップ。

Claims (26)

1. 入力画像の各画素を補正対象画素として、前記入力画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
   前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
   前記強調係数決定手段で決定された前記強調係数に応じて前記入力画像の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像を出力する局所コントラスト強調手段と、
   前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
   前記局所コントラスト強調画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行う３次元ノイズ低減手段を備え、
   前記３次元ノイズ低減手段は、前記ノイズ低減係数生成手段で生成されたノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
   ことを特徴とする画像処理装置。
2. 前記低コントラスト部分検出手段は、前記コントラスト相関値として、前記補正対象画素を中心とする前記周辺領域のコントラストが低い場合には小さい値となり、前記補正対象画素を中心とする前記周辺領域のコントラストが高い場合には大きい値となるものを出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記低コントラスト部分検出手段は、前記補正対象画素を中心とする所定の範囲内の画素の各々について、該画素を中心とする所定の大きさのウィンドウ内の全画素の値の標準偏差を求め、前記所定の範囲内の全画素についての、前記標準偏差の平均を、前記コントラスト相関値として求める
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ノイズ低減係数生成手段は、
   前記局所コントラスト強調手段における前記強調係数に応じたＳＮＲの劣化量と、前記３次元ノイズ低減手段における前記ノイズ低減係数に応じたＳＮＲの改善量が対応するように前記ノイズ低減係数を決定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記ノイズ低減係数生成手段は、
   前記強調係数が小さい場合に前記ノイズ低減係数が小さくなり、前記強調係数が大きい場合に前記ノイズ低減係数が大きくなり、かつ、前記強調係数が大きくなるにつれて、前記ノイズ低減係数の増分が小さくなる特性によって前記ノイズ低減係数を生成することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記３次元ノイズ低減手段は、
   当該３次元ノイズ低減手段から出力される画像を少なくとも１フレーム格納するフレームメモリと、
   前記フレームメモリに格納されている、１フレーム前に出力された画像を前記局所コントラスト強調画像から減算する第１の減算器と、
   前記ノイズ低減係数生成手段で生成された前記ノイズ低減係数を前記第１の減算器の出力に対して乗算する係数乗算器と、
   前記係数乗算器の出力を前記局所コントラスト強調画像から減算する第２の減算器とを備え、
   前記第２の減算器の出力を当該３次元ノイズ低減手段からの出力とする
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記ノイズ低減係数生成手段は、
   前記強調係数をＫｅｎとし、
   前記ノイズ低減係数をＫｎｒとし、
   任意の比例定数をｋとしたとき、次式
   

   

   で表される関係を満たす前記ノイズ低減係数を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記強調係数決定手段は、
   前記コントラスト相関値が小さい場合に前記強調係数が大きくなり、
   前記コントラスト相関値が大きい場合に前記強調係数が小さくなり、かつ、
   前記コントラスト相関値が小さくなるにつれて前記強調係数の増分が大きくなる特性によって前記強調係数を決定することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記強調係数決定手段は、
   前記コントラスト相関値をＣＴとし、
   前記強調係数をＫｅｎとし、
   前記強調係数の最大値をＫｍａｘとし、
   前記強調係数の最小値をＫｍｉｎとし、
   前記強調係数の変化の切り替え点における前記コントラスト相関値をＣＴｔｐとしたとき、次式
   

   

   の関係を満たすように前記強調係数を決定することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記局所コントラスト強調手段は、
    前記入力画像の前記補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて前記補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦ手段と、
    前記非線形ＬＰＦ手段の出力と前記入力画像の前記補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調手段に入力されるゲインを決定するゲイン決定手段と、
    前記入力画像の前記補正対象画素の値に前記ゲインを乗算するゲイン乗算器と
    を備えたことを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 入力画像の各画素を補正対象画素として、前記入力画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行い３次元ノイズ低減画像を出力する３次元ノイズ低減手段と、
    前記３次元ノイズ低減画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
    前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
    前記強調係数決定手段で決定された前記強調係数に応じて前記３次元ノイズ低減画像の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像を出力する局所コントラスト強調手段と、
    前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
    前記ノイズ低減係数生成手段で生成された各画素についての前記ノイズ低減係数を１フレーム分格納する第１のフレームメモリを備え、
    前記３次元ノイズ低減手段は、前記第１のフレームメモリに格納された１フレーム前の各画素についての前記ノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
    ことを特徴とする画像処理装置。
12. 前記低コントラスト部分検出手段は、前記コントラスト相関値として、前記補正対象画素を中心とする前記周辺領域のコントラストが低い場合には小さい値となり、前記補正対象画素を中心とする前記周辺領域のコントラストが高い場合には大きい値となるものを出力することを特徴とする請求項１１に記載の画像処理装置。
13. 前記低コントラスト部分検出手段は、前記補正対象画素を中心とする所定の範囲内の画素の各々について、該画素を中心とする所定の大きさのウィンドウ内の全画素の値の標準偏差を求め、前記所定の範囲内の全画素についての、前記標準偏差の平均を、前記コントラスト相関値として求める
    ことを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記ノイズ低減係数生成手段は、
    前記局所コントラスト強調手段における前記強調係数に応じたＳＮＲの劣化量と、前記３次元ノイズ低減手段における前記ノイズ低減係数に応じたＳＮＲの改善量が対応するように前記ノイズ低減係数を決定することを特徴とする請求項１１乃至１３のいずれかに記載の画像処理装置。
15. 前記ノイズ低減係数生成手段は、
    前記強調係数が小さい場合に前記ノイズ低減係数が小さくなり、前記強調係数が大きい場合に前記ノイズ低減係数が大きくなり、かつ、前記強調係数が大きくなるにつれて、前記ノイズ低減係数の増分が小さくなる特性によって前記ノイズ低減係数を生成することを特徴とする請求項１１乃至１４のいずれかに記載の画像処理装置。
16. 前記３次元ノイズ低減手段は、
    当該３次元ノイズ低減手段から出力される画像を少なくとも１フレーム格納するフレームメモリと、
    前記フレームメモリに格納されている、１フレーム前に出力された画像を前記入力画像から減算する第１の減算器と、
    前記ノイズ低減係数生成手段で生成された前記ノイズ低減係数を前記第１の減算器の出力に対して乗算する係数乗算器と、
    前記係数乗算器の出力を前記入力画像から減算する第２の減算器とを備え、
    前記第２の減算器の出力を当該３次元ノイズ低減手段からの出力とする
    ことを特徴とする請求項１１乃至１５のいずれかに記載の画像処理装置。
17. 前記ノイズ低減係数生成手段は、
    前記強調係数をＫｅｎとし、
    前記ノイズ低減係数をＫｎｒとし、
    任意の比例定数をｋとしたとき、次式
    

    

    で表される関係を満たす前記ノイズ低減係数を生成することを特徴とする請求項１６に記載の画像処理装置。
18. 前記強調係数決定手段は、
    前記コントラスト相関値が小さい場合に前記強調係数が大きくなり、
    前記コントラスト相関値が大きい場合に前記強調係数が小さくなり、かつ、
    前記コントラスト相関値が小さくなるにつれて前記強調係数の増分が大きくなる特性によって前記強調係数を決定することを特徴とする請求項１１乃至１７のいずれかに記載の画像処理装置。
19. 前記強調係数決定手段は、
    前記コントラスト相関値をＣＴとし、
    前記強調係数をＫｅｎとし、
    前記強調係数の最大値をＫｍａｘとし、
    前記強調係数の最小値をＫｍｉｎとし、
    前記強調係数の変化の切り替え点における前記コントラスト相関値をＣＴｔｐとしたとき、次式
    

    

    の関係を満たすように前記強調係数を決定することを特徴とする請求項１１乃至１８のいずれかに記載の画像処理装置。
20. 前記局所コントラスト強調手段は、
    前記３次元ノイズ低減画像の前記補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて前記補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦ手段と、
    前記非線形ＬＰＦ手段の出力と前記３次元ノイズ低減画像の前記補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調手段に入力されるゲインを決定するゲイン決定手段と、
    前記３次元ノイズ低減画像の前記補正対象画素の値に前記ゲインを乗算するゲイン乗算器と
    を備えたことを特徴とする請求項１１乃至１９のいずれかに記載の画像処理装置。
21. 入力画像の各画素を補正対象画素として、前記入力画像の輝度信号の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
    前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
    前記強調係数決定手段で決定された前記強調係数に応じて前記入力画像の各色成分の信号の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像の各色成分の信号を出力する局所コントラスト強調手段と、
    前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
    前記局所コントラスト強調画像の各色成分の信号を受け、該局所コントラスト強調画像の各色成分の信号を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行う３次元ノイズ低減手段を備え、
    前記３次元ノイズ低減手段は、前記ノイズ低減係数生成手段で生成されたノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御することを特徴とし、
    前記局所コントラスト強調手段は、
    前記入力画像の輝度信号の当該補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて当該補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦ手段と、
    前記非線形ＬＰＦ手段の出力と前記入力画像の輝度信号の当該補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調手段に入力されるゲインを決定するゲイン決定手段と、
    前記入力画像の各色成分の信号の当該補正対象画素の値に前記ゲインを乗算するゲイン乗算器とをさらに備えた
    ことを特徴とする画像処理装置。
22. 入力画像の各画素を補正対象画素として、前記入力画像の各色成分の信号を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行い３次元ノイズ低減画像の各色成分の信号を出力する３次元ノイズ低減手段と、
    前記３次元ノイズ低減画像の各色成分の信号から３次元ノイズ低減画像の輝度信号を生成する輝度画像生成手段と、
    前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出手段と、
    前記低コントラスト部分検出手段で検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定手段と、
    前記強調係数決定手段で決定された前記強調係数に応じて前記３次元ノイズ低減画像の各色成分の信号の当該補正対象画素の局所領域のコントラストを強調する局所コントラスト強調手段と、
    前記強調係数決定手段で決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成手段と、
    前記ノイズ低減係数生成手段で生成された各画素についての前記ノイズ低減係数を１フレーム分格納する第１のフレームメモリを備え、
    前記３次元ノイズ低減手段は、前記第１のフレームメモリに格納された１フレーム前の各画素についての前記ノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御することを特徴とし、
    前記局所コントラスト強調手段は、
    前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて当該補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦ手段と、
    前記非線形ＬＰＦ手段の出力と前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調手段に入力されるゲインを決定するゲイン決定手段と、
    前記３次元ノイズ低減画像の各色成分の信号の当該補正対象画素の値に前記ゲインを乗算するゲイン乗算器とをさらに備えた
    ことを特徴とする画像処理装置。
23. 入力画像の各画素を補正対象画素として、前記入力画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出ステップと、
    前記低コントラスト部分検出ステップで検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定ステップと、
    前記強調係数決定ステップで決定された前記強調係数に応じて前記入力画像の前記補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像を出力する局所コントラスト強調ステップと、
    前記強調係数決定ステップで決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成ステップと、
    前記補正対象画素に対して、前記局所コントラスト強調画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行う３次元ノイズ低減ステップを備え、
    前記３次元ノイズ低減ステップは、前記ノイズ低減係数生成ステップで生成されたノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
    ことを特徴とする画像処理方法。
24. 入力画像の各画素を補正対象画素として、前記入力画像を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行い３次元ノイズ低減画像を出力する３次元ノイズ低減ステップと、
    前記３次元ノイズ低減画像の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出ステップと、
    前記低コントラスト部分検出ステップで検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定ステップと、
    前記強調係数決定ステップで決定された前記強調係数に応じて前記３次元ノイズ低減画像の当該補正対象画素の局所領域のコントラストを強調する局所コントラスト強調ステップと、
    前記強調係数決定ステップで決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成ステップと、
    前記ノイズ低減係数生成ステップで生成された各画素についての前記ノイズ低減係数を第１のフレームメモリに１フレーム分格納するステップを備え、
    前記３次元ノイズ低減ステップは、前記第１のフレームメモリに格納された１フレーム前の各画素についての前記ノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御する
    ことを特徴とする画像処理方法。
25. 入力画像の各画素を補正対象画素として、前記入力画像の輝度信号の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出ステップと、
    前記低コントラスト部分検出ステップで検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定ステップと、
    前記強調係数決定ステップで決定された前記強調係数に応じて前記入力画像の各色成分の信号の当該補正対象画素の局所領域のコントラストを強調して局所コントラスト強調画像の各色成分の信号を出力する局所コントラスト強調ステップと、
    前記強調係数決定ステップで決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成ステップと、
    前記局所コントラスト強調画像の各色成分の信号を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ低減を行う３次元ノイズ低減ステップを備え、
    前記３次元ノイズ低減ステップは、前記ノイズ低減係数生成ステップで生成されたノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御することを特徴とし、
    前記局所コントラスト強調ステップは、
    前記入力画像の輝度信号の当該補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて当該補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦステップと、
    前記非線形ＬＰＦステップの出力と前記入力画像の輝度信号の当該補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調ステップに入力されるゲインを決定するゲイン決定ステップと、
    前記入力画像の各色成分の信号の当該補正対象画素の値に前記ゲインを乗算するゲイン乗算ステップとをさらに備えた
    ことを特徴とする画像処理方法。
26. 入力画像の各画素を補正対象画素として、前記入力画像の各色成分の信号を複数フレームにわたって時間方向に平滑化することにより当該補正対象画素のノイズ成分のノイズ低減を行い３次元ノイズ低減画像の各色成分の信号を出力する３次元ノイズ低減ステップと、
    前記３次元ノイズ低減画像の各色成分の信号から３次元ノイズ低減画像の輝度信号を生成する輝度画像生成ステップと、
    前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の周辺領域のコントラスト相関値を検出する低コントラスト部分検出ステップと、
    前記低コントラスト部分検出ステップで検出された前記コントラスト相関値に応じて当該補正対象画素についてのコントラストの強調係数を決定する強調係数決定ステップと、
    前記強調係数決定ステップで決定された前記強調係数に応じて前記３次元ノイズ低減画像の各色成分の信号の当該補正対象画素の局所領域のコントラストを強調する局所コントラスト強調ステップと、
    前記強調係数決定ステップで決定された前記強調係数に対して、当該強調係数が大きくなるにしたがって大きくなるノイズ低減係数を生成するノイズ低減係数生成ステップと、
    前記ノイズ低減係数生成ステップで生成された各画素についての前記ノイズ低減係数を第１のフレームメモリに１フレーム分格納するステップを備え、
    前記３次元ノイズ低減ステップは、前記第１のフレームメモリに格納された１フレーム前の各画素についての前記ノイズ低減係数に応じて当該補正対象画素についてのノイズ低減の度合いを制御することを特徴とし、
    前記局所コントラスト強調ステップは、
    前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の値と該補正対象画素の周辺に位置する画素の値との差分に応じて前記周辺に位置する画素の値を非線形変換した値を用いて当該補正対象画素及びその周辺に位置する画素に対する平滑化を行って、該平滑化の結果を当該補正対象画素についての非線形平滑化の結果として出力する非線形ＬＰＦステップと、
    前記非線形ＬＰＦステップの出力と前記３次元ノイズ低減画像の輝度信号の当該補正対象画素の値及び前記強調係数を用いて当該局所コントラスト強調ステップに入力されるゲインを決定するゲイン決定ステップと、
    前記３次元ノイズ低減画像の各色成分の信号の当該補正対象画素の値に前記ゲインを乗算するゲイン乗算ステップとをさらに備えた
    ことを特徴とする画像処理方法。

Images