WO2005057938A1 - 撮像システムおよび画像処理プログラム - Google Patents

Abstract

　色フィルタを備えるＣＣＤの信号から例えば４×４画素単位で輝度信号と色差信号とを算出する局所領域抽出部（２６）と、該輝度信号から平均輝度値を算出する平均輝度算出部（２８）と、ＯＢ領域の信号からＣＣＤの温度Ｔを推定する温度推定部（２４）と、制御部（１８）の情報に基づきＣＣＤのゲインＧを算出するゲイン算出部（２９）と、温度ＴおよびゲインＧを用いた定式化に基づき平均輝度値から色ノイズ量を推定する係数算出部（３１）および関数算出部（３３）と、を有する色ノイズ推定部（１４）と、この色ノイズ推定部（１４）により推定された色ノイズ量に基づいて４×４画素毎に色差信号中の色ノイズを低減する色ノイズ低減部（１３）と、を備えた撮像システム。

Description

明 細 書

撮像システムおよび画像処理プログラム

技術分野

[0001] 本発明は、撮像システムおよび画像処理プログラム、より詳しくは、撮像素子系に起 因する色信号のランダムノイズ等の低減を図る撮像システムおよび画像処理プロダラ ムに関する。

背景技術

[0002] 撮像素子とそれに付随するアナログ回路および AZDコンバータ力も得られるデジ タル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固 定パターンノイズとランダムノイズとに大別することができる。

[0003] 上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起 因するノイズである。

[0004] 一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり 、ホワイトノイズ特性に近い特性を有している。

[0005] 後者のランダムノイズに関しては、例えば特開 2001— 157057号公報において、静 的に与えられる定数項 a, b, cと濃度値に変換した信号レベル Dとを用いて、ノイズ量 Nを、 N = ab^eDにより関数ィ匕し、この関数力も信号レベル Dに対するノイズ量 Nを推定 して、推定したノイズ量 Nに基づきフィルタリングの周波数特性を制御する技術が開 示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われる ようになっている。

[0006] また、他の例として、特開 2001— 175843号公報には、入力信号を輝度信号と色 差信号とに分離して、これら輝度信号および色差信号に基づきエッジ強度を求め、 エッジ部以外の領域にぉ 、て色差信号に平滑化処理を行う技術が記載されて!、る。 これにより、平坦部における色ノイズの低減処理が行われることになる。

[0007] し力しながら、輝度ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動 的に変化するために、上記特開 2001— 157057号公報に記載されたような静的な定 数項を用いる技術では、撮影時のノイズ量に合わせた関数ィ匕に対応することができ ず、ノイズ量の推定精度が劣ってしまっていた。また、ノイズ量力もフィルタリングの周 波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することな く同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域 にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対 応することができず、原信号の保存性が良くないという課題がある。さらに、該公報に 記載された技術は、各色信号間に発生する色ノイズに関して対応することができるも のとはなっていない。

[0008] また、上記特開 2001— 175843号公報に記載の技術は、エッジ部以外の平坦な領 域で色差信号に平滑化処理を行うものとなっているが、この平滑化処理は固定的に 行われている。しかし、色ノイズ量は信号レベルにより異なるために、平滑化処理を 最適に制御することができるものとはなっていない。このために、色ノイズ成分が残存 したり、原信号の劣化が発生したりする可能性がある。

[0009] 本発明は上記事情に鑑みてなされたものであり、撮影状況に最適化して色ノイズを 高精度に低減し高品位な画像を得ることができる撮像システムおよび画像処理プロ グラムを提供することを目的として ヽる。

発明の開示

課題を解決するための手段

[0010] 上記の目的を達成するために、第 1の発明による撮像システムは、原色系または補 色系の色フィルタを前面に配置した固体撮像素子からの信号中に含まれるノイズを 低減する撮像システムであって、上記信号から所定単位領域毎に輝度信号と色差信 号とを算出し算出した輝度信号に基づき平均輝度値を算出するとともに算出した色 差信号に基づき平均色差値を算出する算出手段と、上記所定単位領域毎に色ノィ ズ量を推定する色ノイズ推定手段と、上記所定単位領域毎に上記色ノイズ量に基づ

Vヽて上記色差信号中の色ノイズを低減する色ノイズ低減手段と、を具備したものであ る。

[0011] また、第 2の発明による撮像システムは、 R (赤）， G (緑)， B (青)でなる原色系の Ba yer型色フィルタを前面に配置した単板固体撮像素子力ゝらの信号中に含まれるノイズ を低減する撮像システムであって、上記信号から所定単位領域毎に平均輝度値とし て G画素の平均値 G を算出するとともに各 R画素毎に色差信号として R— G を各 B

AV AV

画素毎に色差信号として B— G をそれぞれ算出しさらに算出した色差信号 R— G に

AV AV

基づいて平均色差値 RG 値を算出した B— G に基づいて平均色差値 BG 値をそ

AV AV AV

れぞれ算出する算出手段と、上記所定単位領域毎に色ノイズ量を推定する色ノイズ 推定手段と、上記所定単位領域毎に上記色ノイズ量に基づ!ヽて上記色差信号 R - G 中の色ノイズおよび上記色差信号 B— G 中の色ノイズをそれぞれ低減する色ノィ

AV AV

ズ低減手段と、を具備したものである。

[0012] さらに、第 3の発明による撮像システムは、 C (シアン）， M (マゼンタ）， Y (イェロー） , G (緑)の色差線順次方式色フィルタを前面に配置した単板固体撮像素子からの信 号中に含まれるノイズを低減する撮像システムであって、上記信号から所定単位領 域毎に輝度信号 L = C + M + Y+ Gと色差信号 Cb = C + M— Y— Gと色差信号 Cr = M+Y— C Gとを算出しさらに平均輝度値 L と平均色差値 Cb および Cr とを算

AV AV AV

出する算出手段と、上記所定単位領域毎に色ノイズ量を推定する色ノイズ推定手段 と、上記所定単位領域毎に上記色ノイズ量に基づ！ヽて上記色差信号 Cbおよび色差 信号 Cr中の色ノイズをそれぞれ低減する色ノイズ低減手段と、を具備したものである

[0013] 第 4の発明による撮像システムは、上記第 1から第 3の発明による撮像システムにお Vヽて、上記所定単位領域が 4 X 4画素単位の領域である。

[0014] 第 5の発明による撮像システムは、原色系または補色系の色フィルタを前面に配置 した固体撮像素子力ゝらの信号中に含まれるノイズを低減する撮像システムであって、 上記信号から輝度信号または色フィルタ毎の色信号を分離する分離手段と、上記各 色信号または輝度信号中の輝度ノイズ量を所定単位領域毎に推定する輝度ノイズ 推定手段と、上記所定単位領域毎に上記輝度ノイズ量に基づ!、て上記各色信号ま たは輝度信号中の輝度ノイズを低減する輝度ノイズ低減手段と、上記輝度ノイズ低 減手段により輝度ノイズが低減された信号に基づいて上記所定単位領域毎に輝度 信号と色差信号とを算出し算出した輝度信号に基づき平均輝度値を算出するととも に算出した色差信号に基づき平均色差値を算出する算出手段と、上記所定単位領 域毎に上記輝度ノイズが低減された信号中の色ノイズ量を推定する色ノイズ推定手 段と、上記所定単位領域毎に上記色ノイズ量に基づいて上記色差信号中の色ノイズ を低減する色ノイズ低減手段と、を具備したものである。

[0015] 第 6の発明による撮像システムは、上記第 1から第 5の発明による撮像システムにお いて、上記色ノイズ推定手段が、上記平均輝度値と上記固体撮像素子の温度と上記 信号に対するゲインとの内の少なくとも 1つの情報に基づいてパラメータを求めるパラ メータ算出手段と、上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手 段と、を有して構成されたものである。

[0016] 第 7の発明による撮像システムは、上記第 5の発明による撮像システムにおいて、上 記輝度ノイズ推定手段が、上記各色信号の平均値と上記輝度信号の平均値と上記 固体撮像素子の温度と上記信号に対するゲインとの内の少なくとも 1つの情報に基 づいてパラメータを求めるパラメータ算出手段と、上記パラメータに基づいて輝度ノィ ズ量を求める輝度ノイズ量算出手段と、を有して構成されたものである。

[0017] 第 8の発明による撮像システムは、上記第 6または第 7の発明による撮像システムに おいて、上記パラメータ算出手段が、上記固体撮像素子の温度を測定する温度セン サを有して構成されたものである。

[0018] 第 9の発明による撮像システムは、上記第 6または第 7の発明による撮像システムに おいて、上記固体撮像素子が、 OB (Optical Black)領域を有して構成されたもので あり、上記パラメータ算出手段は、上記固体撮像素子中の OB (Optical Black)領域 の信号の分散を求める分散算出手段と、上記分散に基づいて固体撮像素子の温度 を推定する温度推定手段と、を有して構成されたものである。

[0019] 第 10の発明による撮像システムは、上記第 6または第 7の発明による撮像システム において、上記パラメータ算出手段が、 ISO感度と露出情報とホワイトバランス情報と の内の少なくとも 1つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して 構成されたものである。

[0020] 第 11の発明による撮像システムは、上記第 6の発明による撮像システムにおいて、 上記パラメータ算出手段が、パラメータとして、上記平均輝度値 L、上記固体撮像素 子の温度 T、および上記信号に対するゲイン Gを算出するように構成されたものであ つて、上記色ノイズ推定手段は、該パラメータ算出手段力 得られないパラメータに 関して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記色ノィ ズ量算出手段は、上記パラメータ算出手段または上記付与手段力 得られるパラメ ータを用いて色ノイズ量 Nを算出するものであり、上記温度 Tおよびゲイン Gをパラメ c

ータとする 2つの関数 a (T, G) , b (T, G)に基づいて 2つの係数 A, Bを求める係数 算出手段と、上記 2つの係数 A, Bを用いた関数式 N =AL + Bに基づいて色ノイズ

C

量 Nを算出する関数演算手段と、を有して構成されたものである。

C

[0021] 第 12の発明による撮像システムは、上記第 6の発明による撮像システムにお 、て、 上記色ノイズ推定手段が、上記パラメータ算出手段力 得られないパラメータに関し て標準のパラメータ値を付与する付与手段をさらに有して構成され、上記色ノイズ量 算出手段は、上記パラメータ算出手段または上記付与手段から得られる平均輝度値 と上記固体撮像素子の温度と上記信号に対するゲインとに基づき色ノイズ量を求め るルックアップテーブル手段を有して構成されたものである。

[0022] 第 13の発明による撮像システムは、上記第 7の発明による撮像システムにお！/、て、 上記輝度ノイズ推定手段が、上記パラメータ算出手段カゝら得られないパラメータに関 して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記輝度ノィ ズ量算出手段は、上記パラメータ算出手段または上記付与手段力 得られる、上記 各色信号の平均値または上記輝度信号の平均値 Lと、上記固体撮像素子の温度 T と、上記信号に対するゲイン Gと、をパラメータとして用いて輝度ノイズ量 Nを算出す し るものであって、上記 T, Gをパラメータとする 3つの関数 α (Τ, G) , β (T, G) , y (T , G)から 3つ係数 A, Β, Γを各々求める係数算出手段と、上記 3つの係数 A, B, Γ を用いた第 1の関数式 N =AL^B+ rまたは第 2の関数式 N =AL²+BL+ rの何れ し し

かに基づいて、輝度ノイズ量 Nを求める関数演算手段と、を有して構成されたもので

L

める。

[0023] 第 14の発明による撮像システムは、上記第 7の発明による撮像システムにお！/、て、 上記輝度ノイズ推定手段が、上記パラメータ算出手段カゝら得られないパラメータに関 して標準のパラメータ値を付与する付与手段をさらに有して構成され、上記輝度ノィ ズ量算出手段は、上記パラメータ算出手段または上記付与手段力 得られる、上記 各色信号の平均値または上記輝度信号の平均値と、上記固体撮像素子の温度と、 上記信号に対するゲインと、に基づき輝度ノイズ量を求めるルックアップテーブル手 段を有して構成されたものである。

[0024] 第 15の発明による撮像システムは、上記第 1から第 5の発明による撮像システムに おいて、上記色ノイズ低減手段が、上記色ノイズ推定手段からの色ノイズ量に基づい て上記所定単位領域毎に微小振幅値を設定する設定手段と、上記色差信号に関し て該微小振幅値以下の振幅成分を吸収するスムージング手段と、を有して構成され たものである。

[0025] 第 16の発明による撮像システムは、上記第 5の発明による撮像システムにおいて、 上記輝度ノイズ低減手段が、上記輝度ノイズ推定手段からの輝度ノイズ量に基づ 、 て上記所定単位領域毎に微小振幅値を設定する設定手段と、上記各色信号に関し て該微小振幅値以下の振幅成分を吸収するスムージング手段と、を有して構成され たものである。

[0026] 第 17の発明による撮像システムは、上記第 1から第 5の発明による撮像システムに おいて、上記色ノイズ低減手段により色ノイズが低減された色差信号を、固体撮像素 子力 の信号と同一種類の信号へ逆変換する逆変換手段をさらに具備したものであ る。

[0027] 第 18の発明による画像処理プログラムは、コンピュータに、原色系または補色系の 色フィルタを前面に配置した固体撮像素子力ゝらの信号カゝら所定単位領域毎に輝度 信号と色差信号とを算出し算出した輝度信号に基づき平均輝度値を算出するととも に算出した色差信号に基づき平均色差値を算出する算出手順と、上記所定単位領 域毎に色ノイズ量を推定する色ノイズ推定手順と、上記所定単位領域毎に上記色ノ ィズ量に基づ ヽて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、を実 行させるためのプログラムである。

[0028] 第 19の発明による画像処理プログラムは、コンピュータに、原色系または補色系の 色フィルタを前面に配置した固体撮像素子力 の信号から輝度信号または色フィル タ毎の色信号を分離する分離手順と、上記各色信号または輝度信号中の輝度ノイズ 量を所定単位領域毎に推定する輝度ノイズ推定手順と、上記所定単位領域毎に上 記輝度ノイズ量に基づいて上記各色信号または輝度信号中の輝度ノイズを低減する 輝度ノイズ低減手順と、上記輝度ノイズ低減手順により輝度ノイズが低減された信号 に基づいて上記所定単位領域毎に輝度信号と色差信号とを算出し算出した輝度信 号に基づき平均輝度値を算出するとともに算出した色差信号に基づき平均色差値を 算出する算出手順と、上記所定単位領域毎に上記輝度ノイズが低減された信号中 の色ノイズ量を推定する色ノイズ推定手順と、上記所定単位領域毎に上記色ノイズ 量に基づ ヽて上記色差信号中の色ノイズを低減する色ノイズ低減手順と、を実行さ せるためのプログラムである。

[0029] 第 20の発明による画像処理プログラムは、上記第 18または第 19の発明による画像 処理プログラムにおいて、上記色ノイズ推定手順が、上記平均輝度値と上記固体撮 像素子の温度と上記信号に対するゲインとの内の少なくとも 1つの情報に基づいてパ ラメータを求めるパラメータ算出手順と、上記パラメータに基づいて色ノイズ量を求め る色ノイズ量算出手順と、を含む。

[0030] 第 21の発明による画像処理プログラムは、上記第 20の発明による画像処理プログ ラムにおいて、上記パラメータ算出手順が、ノ ラメータとして、上記平均輝度値 L、上 記固体撮像素子の温度 T、および上記信号に対するゲイン Gを算出するための手順 であって、上記色ノイズ推定手順は、該パラメータ算出手順カゝら得られないパラメ一 タに関して標準のパラメータ値を付与する付与手順をさらに含み、上記色ノイズ量算 出手順は、上記パラメータ算出手順または上記付与手順により得られるパラメータを 用いて色ノイズ量 Nを算出する手順であり、上記温度 Tおよびゲイン Gをパラメータと

C

する 2つの関数 a (T, G) , b (T, G)に基づいて 2つの係数 A, Bを求める係数算出手 順と、上記 2つの係数 A, Bを用いた関数式 N =AL + Bに基づいて色ノイズ量 Nを

C C

算出する関数演算手順と、を含む。

[0031] 第 22の発明による画像処理プログラムは、上記第 18または第 19の発明による画像 処理プログラムにおいて、上記色ノイズ低減手順力 上記色ノイズ推定手順からの色 ノイズ量に基づ 、て上記所定単位領域毎に微小振幅値を設定する設定手順と、上 記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手順と、 を含む。

図面の簡単な説明 [0032] [図 1]本発明の実施例 1における撮像システムの構成を示- [図 2]上記実施例 1における色ノイズ推定部の構成を示- [図 3]上記実施例 1における Bayer型の色フィルタの配置を示す図。

[図 4]上記実施例 1の撮像素子における OB領域の配置例を示す図。

[図 5]上記実施例 1において、 OB領域の分散と撮像素子の温度との関係を示す線図

[図 6]上記実施例 1における色ノイズ量の定式ィ匕を説明するための線図。

[図 7]上記実施例 1にお 、て、色ノイズ量の算出に用いるパラメータを説明するための

[図 8]上記実施例 1における色ノイズ低減部の構成を示- [図 9]上記実施例 1のコンピュータにおいて画像処理プログラムにより行われる色ノィ ズ低減処理を示すフローチャート。

[図 10]本発明の実施例 2における撮像システムの構成を示すブロック図。

[図 11]上記実施例 2における輝度 ·色ノイズ推定部の構成の一例を示- [図 12]上記実施例 2における色差線順次方式の色フィルタの配置を示す図。

[図 13]上記実施例 2における輝度ノイズ低減部の構成を示すブロック図。

[図 14]上記実施例 2における輝度 ·色ノイズ推定部の構成の他の例を示-

[図 15]上記実施例 2のコンピュータにおいて画像処理プログラムにより行われるノイズ 低減処理を示すフローチャート。

発明を実施するための最良の形態

[0033] 以下、図面を参照して本発明の実施例を説明する。

実施例 1

[0034] 図 1から図 9は本発明の実施例 1を示したものであり、図 1は撮像システムの構成を 示すブロック図、図 2は色ノイズ推定部の構成を示すブロック図、図 3は Bayer型の色 フィルタの配置を示す図、図 4は撮像素子における OB領域の配置例を示す図、図 5 は OB領域の分散と撮像素子の温度との関係の一例を示す線図、図 6は色ノイズ量 の定式ィ匕を説明するための線図、図 7は色ノイズ量の算出に用いるパラメータを説明 するための線図、図 8は色ノイズ低減部の構成を示すブロック図、図 9はコンピュータ において画像処理プログラムにより行われる色ノイズ低減処理を示すフローチャート である。

この撮像システムは、図 1に示すように、被写体像を結像するためのレンズ系 1と、こ のレンズ系 1内に配置されて 、て該レンズ系 1における光束の通過範囲を規定する ための絞り 2と、上記レンズ系 1による結像光束力 不要な高周波成分を除去するた めのローパスフィルタ 3と、このローパスフィルタ 3を介して結像される光学的な被写体 像を光電変換して電気的な画像信号を出力するものであり例えば原色系の色フィル タが前面に配置された単板 CCD等でなる固体撮像素子 (適宜、「撮像素子」と省略 する。）たる CCD4と、この CCD4から出力される画像信号に相関二重サンプリングを 行う CDS (Correlated Double Sampling) 5と、この CDS5から出力される信号を増幅 する増幅器 6と、この増幅器 6により増幅されたアナログの画像信号をデジタル信号 へ変換する AZD変 7と、この AZD変 7から出力されたデジタルの画像デ ータを一時的に記憶する画像用バッファ 8と、この画像用バッファ 8に記憶された画像 データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り 2、 CCD4、増幅器 6の制御を行う測光評価部 9と、上記画像用バッファ 8に記憶された 画像データに基づき合焦点検出を行 、検出結果に基づき後述する AFモータ 11を 駆動する合焦点検出部 10と、この合焦点検出部 10により制御されて上記レンズ系 1 に含まれるフォーカスレンズ等の駆動を行う AFモータ 11と、上記画像用バッファ 8に 記憶された画像データに基づき上記増幅器 6による各色毎の増幅率を異ならせるな どしてプリ撮像モード時のホワイトバランス調整を行うプリホワイトバランス（PreWB) 部 12と、上記画像用バッファ 8に記憶された画像データに基づき後で詳しく説明する ように色ノイズ推定を行う色ノイズ推定手段たる色ノイズ推定部 14と、この色ノイズ推 定部 14による推定結果を用いて上記画像用バッファ 8から読み出した画像データの 色ノイズを低減する色ノイズ低減手段たる色ノイズ低減部 13と、この色ノイズ低減部 1 3から出力される画像データに各種の信号処理を施す信号処理部 15と、この信号処 理部 15からの画像データを例えばメモリカード等に記録するために出力する出力部 16と、電源スィッチ，シャツタボタン，各種の撮影モードなどを切り替えるためモードス イッチ等へのインターフェースを備えた外部 I/F部 17と、上記 CDS5,増幅器 6, A

ZD変換器 7,測光評価部 9,合焦点検出部 10,プリホワイトバランス部 12,色ノイズ 低減部 13,色ノイズ推定部 14,信号処理部 15,出力部 16,外部 IZF部 17に双方 向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコン ピュータ等でなる制御手段であってパラメータ算出手段たる制御部 18と、を有して構 成されている。

[0036] 次に、図 1に示したような撮像システムにおける信号の流れについて説明する。

[0037] この撮像システムは、外部 IZF部 17を介して ISO感度などの撮影条件を設定する ことができるように構成されており、これらの設定がなされた後に、 2段式の押しボタン スィッチでなるシャツタボタンを半押しすることにより、プリ撮像モードに入る。

[0038] 上記レンズ系 1,絞り 2,ローパスフィルタ 3を介して CCD4により撮影され出力され た映像信号は、 CDS5において、公知の相関二重サンプリングが行われてアナログ 信号として出力される。

[0039] なお、本実施例においては、 CCD4が、原色系の色フィルタを前面に有する単板 C

CDであるものとしており、該色フィルタとしては、図 3に示すような Bayer型の配置の ものを例にとって説明する。

[0040] 図 3を参照して、 Bayer型の色フィルタの構成について説明する。

[0041] Bayer型は、 2 X 2画素の画素配列を基本単位としており、緑 (G)の色フィルタが対 角方向に 2画素配置され、残りの対角方向の一方に赤 (R)の色フィルタが 1つ、他方 に青（B)の色フィルタが 1つ、それぞれ配置されたものとなっている。

[0042] 上記 CDS5からのアナログ信号は、増幅器 6により所定量だけ増幅されて、 Α/Ό 変換器 7によりデジタル信号へ変換され、画像用バッファ 8へ転送される。

[0043] 画像用バッファ 8内の映像信号は、その後に、測光評価部 9と合焦点検出部 10とプ リホワイトバランス部 12とへ転送される。

[0044] 測光評価部 9は、画像中の輝度レベルを求めて、設定された ISO感度や手ぶれ限 界のシャツタ速度などを考慮し、適正露光となるように絞り 2による絞り値や CCD4の 電子シャツタ速度や増幅器 6の増幅率などを制御する。

[0045] また、合焦点検出部 10は、画像中のエッジ強度を検出して、このエッジ強度が最大 となるように AFモータ 11を制御し合焦画像を得る。

[0046] さらに、プリホワイトバランス部 12は、映像信号中の所定輝度レベルの信号を色信 号毎に積算することにより、簡易ホワイトバランス係数を算出して、上記増幅器 6へ出 力する。増幅器 6は、このプリホワイトバランス部 12から転送された係数に基づいて、 色信号毎に異なるゲインを乗算させることにより、ホワイトバランス調整を行う。

[0047] このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シ ャッタボタンが全押しにされたことを外部 IZF部 17を介して検出すると、本撮影が行 われる。

[0048] この本撮影は、測光評価部 9により求められた露光条件と、合焦点検出部 10により 求められた合焦条件と、プリホワイトバランス部 12により求められたホワイトバランス係 数と、に基づいて行われ、これらの撮影時の条件は制御部 18へ転送される。

[0049] こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、画像用バ ッファ 8へ転送され記憶される。

[0050] この画像用バッファ 8内の映像信号は、色ノイズ推定部 14へ転送される力 該色ノ ィズ推定部 14へは、さらに、制御部 18を介して、測光評価部 9により求められた露光 条件、プリホワイトバランス部 12により求められたホワイトバランス係数、外部 IZF部 1 7により設定された ISO感度などの撮影条件も合わせて転送される。

[0051] 色ノイズ推定部 14は、上記情報と映像信号とに基づき、所定サイズ毎に、例えば本 実施例においては 4 X4画素毎に、色ノイズ量を算出し、算出した色ノイズ量を色ノィ ズ低減部 13へ転送する。この色ノイズ推定部 14における色ノイズ量の算出は、制御 部 18の制御に基づ 、て、色ノイズ低減部 13の処理と同期して行われる。

[0052] 色ノイズ低減部 13は、色ノイズ推定部 14により算出された色ノイズ量に基づいて、 画像用バッファ 8内の映像信号に対して色ノイズ低減処理を行 ヽ、処理後の映像信 号を信号処理部 15へ転送する。

[0053] 信号処理部 15は、制御部 18の制御に基づき、色ノイズ低減後の映像信号に対し て、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部 16へ転送 する。

[0054] 出力部 16は、受け取った映像信号を、メモリカードなどへ記録し保存する。 [0055] 次に、図 2を参照して色ノイズ推定部 14の構成の一例について説明する。

[0056] この色ノイズ推定部 14は、制御部 18の制御に基づき画像用バッファ 8に記憶され た映像信号力 例えば図 4に示したように CCD4の画像領域の右側に設けられた O B (オプティカルブラック： Optical Black)領域の信号を抽出する OB領域抽出部 21と 、この OB領域抽出部 21により抽出された OB領域の信号を記憶する第 1バッファ 22 と、この第 1バッファ 22に記憶された OB領域の信号を読み出して分散値を算出しさ らに上記制御部 18から転送される露光条件等に関する情報を用いて上記増幅器 6 の増幅量に対する補正を該分散値に行う分散算出手段たる分散算出部 23と、予め 計測された分散値と撮像素子の温度との関係が記録されている温度推定手段たる 温度推定用 ROM25と、上記分散算出部 23から出力された分散値に基づきこの温 度推定用 ROM25を参照することにより撮像素子である上記 CCD4の温度を求める パラメータ算出手段であり温度推定手段たる温度推定部 24と、上記画像用バッファ 8 に記憶された映像信号カゝら所定位置における所定サイズの局所領域を抽出する局 所領域抽出部 26と、この局所領域抽出部 26により抽出された局所領域の信号を記 憶する第 2バッファ 27と、この第 2バッファ 27に記憶された局所領域の信号を読み出 して平均輝度値を算出するパラメータ算出手段たる平均輝度算出部 28と、上記制御 部 18から転送される露光条件と ISO感度とホワイトバランス係数等との情報に基づい て上記増幅器 6の増幅量を算出するパラメータ算出手段でありゲイン算出手段たる ゲイン算出部 29と、何れかのパラメータが省略された場合に標準値を付与する付与 手段たる標準値付与部 30と、色ノイズ量を推定する際に用いる後述する関数に係る 色パラメータを記憶する係数算出手段たる色パラメータ用 ROM32と、この色パラメ ータ用 ROM32から読み出されるパラメータと上記温度推定部 24または上記標準値 付与部 30から出力される撮像素子の温度と上記平均輝度算出部 28または上記標 準値付与部 30から出力される平均輝度値と上記ゲイン算出部 29または上記標準値 付与部 30から出力される増幅量との情報に基づき注目画素の色ノイズ量を所定の 式により推定する色ノイズ量算出手段であり係数算出手段たる係数算出部 31と、こ の係数算出部 31から出力される係数を用いて後述するように定式化される関数を用 Vヽ色ノイズ量を算出し上記色ノイズ低減部 13へ出力する色ノイズ量算出手段であり 関数演算手段たる関数算出部 33と、を有して構成されている。

[0057] 上記局所領域抽出部 26は、本実施例にお!ヽては、後で説明する色ノイズ低減部 1

3の処理力 X 4画素単位で行われるようになって!/、るために、該 4 X 4画素単位で画 像全面を順次走査しながら抽出を行う。この局所領域抽出部 26による処理は、色ノ ィズ低減部 13の処理と同期して行われる。

[0058] また、上記制御部 18は、上記 OB領域抽出部 21、分散算出部 23、温度推定部 24

、局所領域抽出部 26、平均輝度算出部 28、ゲイン算出部 29、標準値付与部 30、係 数算出部 31、関数算出部 33に対して双方向に接続されており、これらを制御するよ うになつている。

[0059] 図 5を参照して、上記温度推定部 24において推定される OB領域の分散と撮像素 子の温度との関係について説明する。

[0060] 図示のように、撮像素子の温度は、 OB領域の分散が大きくなるに従って、カーブを 描きながら単調増カロして、上昇して行くことが分力る。

[0061] 入射光のない OB領域でのランダムノイズは、暗電流ノイズが支配的となっており、 この暗電流ノイズは、撮像素子の温度に関係して 、る。

[0062] そのために、 OB領域のランダムノイズを分散値として算出して、この分散値と撮像 素子の温度変化との関係を事前に計測して温度推定用 ROM25に記憶させておく。 これにより、温度推定部 24は、分散算出部 23により算出された分散値から、温度推 定用 ROM25に記憶された対応関係を用いて、撮像素子である CCD4の温度を推 定することが可能となる。

[0063] 一方、上記平均輝度算出部 28による平均輝度の算出は、次のようにして行われる

[0064] まず、上記局所領域抽出部 26が、上述したような Bayer型の色フィルタを備えた C CD4の映像信号から 4 X 4画素単位で局所領域の抽出を行うと、上記図 3に示したよ うな配置のブロックデータが得られる。

[0065] この 4 X 4画素でなるブロックデータ中には、 8画素分の G信号と、 4画素分の R信号 と、 4画素分の B信号と、が含まれる。そこで、以下では、 G画素を G (1= 1—8)、1^画 素を R 0 = 1—4)、 画素を （k= l一 4)として、それぞれに添え字を付けて示すこ j k とにする。このときの各添え字に対応する画素位置は、図 3に示す通りである。

[0066] 上記平均輝度算出部 28は、輝度信号に近似する信号として G信号を用いて、平均 輝度値を次の数式 1に示すような平均値 G として算出する。

AV

[数 1]

8 次に、図 6を参照して、係数算出部 31が注目画素の色ノイズ量を推定する際に用 V、る色ノイズ量の定式化にっ 、て説明する。

[0067] 図 6 (A)は、輝度レベルに対する 2種類の色差信号 (R— G) , (B-G)に各関する色 ノイズ量 N , N をプロットしたものである。図示のように、各色ノイズ量は、輝度

C(R-G) C(B-G)

レベルに対して直線的に増加している。

[0068] このような色ノイズ量の変化を、輝度レベルを L、色ノイズ量を Nとして定式化すると

C

、次の数式 2に示すようになる。

[数 2]

N =AL + B

c

ここに、 A, Bは定数項である。

[0069] し力しながら、色ノイズ量 Nは、輝度レベル Uこのみ依存するのではなぐそれ以外

C

にも、撮像素子である CCD4の温度や増幅器 6のゲインによっても変化する。従って 、これらの要因も考慮に入れたもの力 図 6 (B)に示す例となっている。

[0070] 図 6 (B)は、輝度レベル、温度、ゲインに対する色ノイズ量をプロットした線図である 。図示のように、各々の曲線は数式 2で示されるような形状をしているが、その係数は 温度，ゲインにより異なる。従って、これらを考慮して、温度を T、ゲインを Gとして定式 化を行うと、次の数式 3に示すようになる。

[数 3]

N =a (T, G) L+b (T, G)

c

となる。ここに、 a (T, G) , b (T, G)は、温度 Tとゲイン Gとをパラメータとする関数であ る。 [0071] 07 (A)は上記関数 a (T, G)の、図 7 (B)は上記関数 b (T, G)の特性の概略の様 子をそれぞれ示したものである。

[0072] これらの関数は、温度 Tとゲイン Gとを独立変数とする 2変数関数であるために、図 6

(A) ,図 6 (B)は 3次元座標としてプロットされており、このプロットされた空間における 曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を 用 、て大まかな特性変化の様子を示して!/、る。

[0073] このような関数 a, bに温度 Tとゲイン Gとをパラメータとして入力することにより、各定 数項 A, Bが出力される。そして、これらの関数の具体的な形状は、事前に、 CCD4 や増幅器 6を含む撮像素子系の特性を測定することにより、容易に取得することがで きる。

[0074] 上述したような 2つの関数 a (T, G) , b (T, G)は、 2種類の色差信号 (R— G) , (B—

G)毎に、個別に色パラメータ用 ROM32に記録される。

[0075] 係数算出部 31は、動的に取得された (または標準値付与部 30から取得された)温 度 T,ゲイン Gを入力パラメータとして、色パラメータ用 ROM32に記録されている 2つ の関数 a (T, G) , b (T, G)を用いて各係数 A, Bを算出する。

[0076] 関数算出部 33は、この係数算出部 31により算出された各係数 A, Bを、上記数式 3 に適用することによって、 2種類の色差信号 (R— G) , (B— G)に関する色ノイズ量 N , N を算出するための関数形状を決定する。そして、該係数算出部 31を介

C(R-G) C(B-G)

して上記平均輝度算出部 28から出力される信号値レベル Lにより、各色差信号 (R— G) , (B-G)に関する色ノイズ量 N , N を算出するようになっている。

C(R-G) C(B-G)

[0077] このように、色ノイズ量の算出に用いられる輝度レベル Lは、上記数式 1に示したよう な、上記平均輝度算出部 28により算出された G信号の平均値 G となっている。

AV

[0078] なお、温度 T,ゲイン G等の各パラメータを、必ずしも撮影毎に求める必要はない。

例えば、温度 Tは、電源投入時から一定時間が経過すれば安定するために、安定し た後に温度推定部 24において算出した温度情報を制御部 18が標準値付与部 30に 記憶させておき、以後の算出過程を省略してこの標準値付与部 30から読み出した温 度情報を用いるようにすることも可能である。こうして標準値付与部 30は、温度推定 部 24、ゲイン算出部 29、あるいは必要に応じてさらに平均輝度算出部 28、制御部 1 8など力ものパラメータが得られない場合に、標準的なパラメータを設定して出力する ものとなっていて、これにより、確実に処理を行うことが可能となると共に、処理の高速 化や省電力化などを図ることもできるようになつている。なお、標準値付与部 30は、そ れ以外に必要とされるパラメータについても、標準的な値を出力することができるよう になっている。

[0079] 上述したように関数算出部 33により算出された色ノイズ量は、上記色ノイズ低減部 13へ転送される。

[0080] 次に、図 8を参照して色ノイズ低減部 13の構成の一例について説明する。

[0081] この色ノイズ低減部 13は、上記画像用バッファ 8から所定サイズの局所領域を抽出 する局所領域抽出部 41と、この局所領域抽出部 41により抽出された局所領域の画 像データを記憶するバッファ 42と、このバッファ 42に記憶された画像データ力 色差 を算出する算出手段たる色差算出部 43と、この色差算出部 43により算出された色差 に基づいて平均色差を算出する算出手段たる平均色差算出部 44と、この平均色差 算出部 44により算出された平均色差と上記色ノイズ推定部 14により推定された色ノ ィズ量とに基づいて色差に関する許容範囲 (微小振幅値)を設定する設定手段たる 許容範囲設定部 45と、この許容範囲設定部 45により設定された許容範囲に基づい て上記色差算出部 43から出力される色差を補正するスムージング手段たる色差補 正部 46と、この色差補正部 46により補正された色差を元の RGB信号等へ逆変換し て上記信号処理部 15へ出力する逆変換手段たる逆変換部 47と、を有して構成され ている。

[0082] また、上記制御部 18は、上記局所領域抽出部 41、色差算出部 43、平均色差算出 部 44、許容範囲設定部 45、色差補正部 46、逆変換部 47に対して双方向に接続さ れており、これらを制御するようになっている。

[0083] 上記局所領域抽出部 41は、制御部 18の制御に基づいて、画像用バッファ 8から所 定サイズ毎に、例えば本実施例においては 4 X 4画素毎に、映像信号を抽出し、抽 出した映像信号をバッファ 42へ転送する。

[0084] 上記色差算出部 43は、制御部 18の制御に基づいて、バッファ 42に記憶されてい る映像信号を読み出し、 2種類の色差信号 (R— G ) , (B -G ) (j = l-4, k= l- j AV k AV 4)を算出する。上記図 3に示したように、 4 X 4画素でなる局所領域中には、 R, Bが 4 画素ずつ存在して ヽるために、ここでは色差信号も 4種類ずつ算出されることになる 。なお、 G は、上記数式 1に示したように、 4 X 4画素中の G信号の平均値を意味し

AV

ている。

[0085] この色差算出部 43により算出された色差信号は、平均色差算出部 44と色差補正 部 46とへそれぞれ転送される。

[0086] 上記平均色差算出部 44は、受け取った上記 2種類の色差信号 (R— G ) , (B -G j AV k

)に基づいて、平均色差値 RG , BG を次の数式 4に示すようにそれぞれ算出す

AV AV AV

る。

画 Ά

^ ∑」

こうして、平均色差算出部 44により算出された上記平均色差値 RG , BG は、上

AV AV

記許容範囲設定部 45へ転送される。

[0087] 許容範囲設定部 45は、色ノイズ推定部 14からの 2種類の色差信号 (R - G ) , (B j AV k G )に関する色ノイズ量 N , N と、平均色差算出部 44からの平均色差値 R

AV C(R-G) C(B-G)

G , BG と、に基づいて、色ノイズ量に関する許容範囲 (微小振幅値）として上限 U

AV AV

および下限 Dを次の数式 5に示すように設定する。

[数 5]

U =RG +N /2

(R-G) AV C(R-G)

D =RG — N /2

(R-G) AV C(R-G)

U =BG +N /2

(B-G) AV C(B-G)

D =BG — N /2

(B-G) AV C(B-G)

[0088] こうして、許容範囲設定部 45により算出された上記許容範囲 U, Dは、上記色差補 正部 46へ転送される。

[0089] 上記色差補正部 46は、制御部 18の制御に基づいて、色差算出部 43からの 2種類 の色差信号 (R— G ) , (B -G )を、許容範囲設定部 45からの許容範囲 U, Dに基 j AV k AV

づき (微小振幅値以下の振幅成分を吸収することにより）補正し、色ノイズが低減され た色差信号 (R— G ) ' , (B -G ) 'を算出する。

j AV k AV

[0090] このとき、該色差補正部 46により行われる補正は、許容範囲の上限 Uを上回る場合 と、許容範囲内である場合と、許容範囲の下限 Dを下回る場合と、の 3通りに分かれ る。

[0091] まず、色差信号 (R— G )に関しては、次の数式 6に示すようになる。

j AV

[数 6]

(R-G ) >U のとき

j AV (R-G)

(R-G ) ' = (R-G )— N /2

j AV j AV C(R-G)

U ≥(R-G )≥D のとき

(R-G) j AV (R-G)

(R-G )，=RG

j AV AV

D > (R-G )のとき

(R-G) j AV

(R-G ) ' = (R-G ) +N /2

j AV j AV C(R-G)

[0092] 次に、色差信号 (B -G )に関しては、次の数式 7に示すようになる。

k

[数 7]

(B -G ) >U のとき

k AV (B-G)

(B -G )， = (B— G )— N /2

k AV k AV C(B-G)

U ≥(B— G )≥D のとき

(B-G) k AV (B-G)

(B -G )，=BG

k AV AV

D > (B -G )のとき

(B-G) k AV

(B -G )， = (B— G ) +N /2

k AV k AV C(B-G)

[0093] 上述したように、 4 X 4画素中に 4種類ずつ存在する 2種類の色差信号 (R— G ) , ( j AV

B G )の全てに対して、これら数式 6または数式 7に基づく補正が行われる。

k AV

[0094] こうして、色差補正部 46により補正された後の色差信号は、逆変換部 47へ転送さ れる。

[0095] 逆変換部 47は、色差信号から本来の信号、本実施例においては RGB信号への変 換を行う。 [0096] このとき、輝度信号に相当する G信号は不変のまま保持したいために、色差信号の 補正は R信号または B信号のみで行われ、補正の結果、 R'信号と B'信号とが得られ るように変換される。この逆変換においても、 2種類の色差信号 (R— G ), (B-G ) j AV k AV 毎の 3通り（合計 6通り）の算出に対応して、各 3通り（合計 6通り）の演算が行われる。

[0097] まず、色差信号 (R— G )に関しては、次の数式 8に示すようになる。

j AV

[数 8]

(R-G ) ' =R-G — N

j AV j AV C(R-G) Z2のとき

R ' =R-N /2

j j C(R-G)

(R-G )，=RG のとき

j AV AV

R'=RG +G

j AV AV

(R-G )，=R— G +N

j AV j AV C(R-G) Z2のとき

R'=R+N /2

j j C(R-G)

[0098] 次に、色差信号 (B -G )に関しては、次の数式 9に示すようになる。

k

[数 9]

(B-G )，=B— G — N

k AV k AV C(B-G) Z2のとき

B '=Β-Ν /2

k k C(B-G)

(B-G )，=BG のとき

k AV AV

B '=BG +G

k AV AV

(B-G )，=B— G +N

k AV k AV C(B-G) Z2のとき

B '=B +N /2

k k C(B-G)

[0099] これらの数式 8、数式 9は、色ノイズを低減された色差信号 (R-G )', (B-G )' j AV k AV 力も本来の RGB信号への逆変換を意味している。このような逆変換が行われることに より、ノイズを低減された R'信号および B'信号と、本来の G信号と、が得られる。こう して得られた RGB信号 (R'GB'信号）は、上記信号処理部 15へ転送される。

[0100] また、上述したような色ノイズ低減部 13の処理は、制御部 18の制御に基づいて、色 ノイズ推定部 14における色ノイズ量の算出と同期して行われるようになつている。

[0101] なお、上述では 4X4画素単位で色ノイズ量を推定している力 このような構成に限 定されるものではなぐ例えば、 8X8画素、あるいは 16 X 16画素などの、より大きな 領域を単位として、色ノイズ量を推定するように構成することも可能である。このような 構成を採用する場合には、色ノイズの推定精度は低下するが、処理をより高速化す ることができる利点がある。

[0102] また、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず 、ソフトウェアによって処理することも可能である。

[0103] 例えば、 CCD4から出力される映像信号を未処理のままの Rawデータとしておき、 この Rawデータに、上記制御部 18からの撮影時の温度、ゲイン等の情報をヘッダ情 報として付加する。このヘッダ情報が付加された Rawデータをコンピュータ等の処理 装置に出力して、該処理装置において、ソフトウェアにより処理するようにしても良い

[0104] 図 9を参照して、コンピュータにおいて画像処理プログラムにより色ノイズ低減処理 を行う例について説明する。

[0105] 処理を開始すると、まず、 Rawデータでなる全色信号と、温度、ゲインなどの情報を 含むヘッダ情報と、を読み込む (ステップ Sl)。

[0106] 次に、 Rawデータ力 所定サイズの局所領域、例えば 4 X 4画素を単位とする局所 領域を抽出する (ステップ S2)。

[0107] そして、抽出した局所領域の信号を、各色フィルタ毎の色信号へ分離し、輝度信号 と色差信号とを算出する (ステップ S 3)。

[0108] 続いて、上記数式 1に示したように平均輝度値を算出すると共に、上記数式 4に示 したように平均色差値を算出する (ステップ S4)。

[0109] さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める (ステツ プ S5)。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所定 の標準値を付与する。

[0110] 次に、上記数式 3に示したような関数を読み込んで (ステップ S6)、上記ステップ S4 で得られた平均輝度値と上記ステップ S5で得られた温度やゲインなどのパラメータと を用いて、色ノイズ量を算出する (ステップ S7)。

[0111] 上記ステップ S4で得られた平均色差値と上記ステップ S7で得られた色ノイズ量とを 用いて、数式 5に示したような許容範囲としての上限および下限を設定する (ステップ S8)。

[0112] 上述したようなステップ S4からステップ S8の処理は、 1つの局所領域に対して 1回 だけ行われる。

[0113] 次に、上記ステップ S3で得られた色差信号に対して、上記ステップ S8で得られた 許容範囲に基づき、上記数式 6および数式 7に示したような補正を行う（ステップ S9)

[0114] こうして補正された色差信号から、上記数式 8および数式 9に示したような原信号へ の逆変換を行う（ステップ S10)。

[0115] その後、局所領域内の全ての色差信号について処理が完了したか否かを判断し（ ステップ S11)、まだ完了していない場合には上記ステップ S9へ行って次の色差信 号につ!、て上述したような処理を行う。

[0116] 一方、このステップ S 11において、全ての色差信号について処理が完了したと判断 された場合には、さらに、全ての局所領域についての処理が完了したか否かを判断 する（ステップ S 12)。

[0117] ここで、全ての局所領域についての処理がまだ完了していない場合には、上記ステ ップ S 2へ行って、次の局所領域について上述したような処理を行う。

[0118] また、ステップ S12において、全ての局所領域についての処理が完了したと判断さ れた場合には、公知の強調処理や圧縮処理などを行う (ステップ S13)。

[0119] そして、処理後の信号を出力してから (ステップ S14)、この一連の処理を終了する

[0120] このような実施例 1によれば、平均輝度値、撮影時の温度、ゲインなどの動的に変 化するパラメータを用いて色ノイズ量を推定するようにしたために、高精度な色ノイズ 低減処理を行うことが可能となる。そして、温度変化の検出を、 OB領域の信号を利 用して行っているために、撮像システムを低コストに実現することができる。また、上記 ノ メータが得られな 、場合には標準値を用いて色ノイズ量を推定するようにしたた めに、色ノイズの低減を安定して行うことができる。さらに、安定後の撮像素子の温度 などの、一部のパラメータの算出を意図的に省略するようにしたために、撮像システ ムの低コストィ匕および省電力化を図ることが可能となる。そして、色ノイズ量に基づい て許容範囲を設定して力 色ノイズ低減処理を行うようにしたために、原信号の保存 性に優れた低減処理が可能となる。カロえて、色ノイズ低減処理後の信号を本来の信 号に逆変換しているために、従来の処理系との互換性が維持され、多様なシステム の組み合わせが可能となる。また、 Bayer型の色フィルタ配置に合わせて輝度信号と 色差信号とを求めているために、処理を高速に行うことが可能となる。

実施例 2

[0121] 図 10から図 15は本発明の実施例 2を示したものであり、図 10は撮像システムの構 成を示すブロック図、図 11は輝度 ·色ノイズ推定部の構成の一例を示すブロック図、 図 12は色差線順次方式の色フィルタの配置を示す図、図 13は輝度ノイズ低減部の 構成を示すブロック図、図 14は輝度 ·色ノイズ推定部の構成の他の例を示すブロック 図、図 15はコンピュータにお ヽて画像処理プログラムにより行われるノイズ低減処理 を示すフローチャートである。

[0122] この実施例 2において、上述の実施例 1と同様である部分については同一の符号を 付して説明を省略し、主として異なる点についてのみ説明する。

[0123] この実施例 2の撮像システムは、図 10に示すように、上述した実施例 1の構成に対 して、上記 CCD4の近傍に配置されて 、て該 CCD4の温度をリアルタイムに計測し て計測結果を上記制御部 18へ出力するためのパラメータ算出手段を構成する温度 センサ 51と、上記画像用バッファ 8に記憶された画像データに基づき色ノイズ量だけ でなくさらに輝度ノイズ量も推定する色ノイズ推定手段であり輝度ノイズ推定手段たる 輝度 ·色ノイズ推定部 53と、この輝度 ·色ノイズ推定部 53により推定された輝度ノイズ 量に基づいて上記画像用バッファ 8から読み出した画像データの輝度ノイズを低減し て上記色ノイズ低減部 13へ出力する輝度ノイズ低減手段たる輝度ノイズ低減部 52と 、が追加され、上記色ノイズ推定部 14が削除された構成になっている。

[0124] また、上記色ノイズ低減部 13は、上記色ノイズ推定部 14に代えて、輝度'色ノイズ 推定部 53から推定された色ノイズ量を受け取るようになつている。さらに、上記輝度ノ ィズ低減部 52の出力は、上記輝度'色ノイズ推定部 53へも入力されるようになってい る。

[0125] そして、上記制御部 18は、上記輝度ノイズ低減部 52、輝度'色ノイズ推定部 53〖こ 対しても双方向に接続されており、これらを制御するようになって!/、る。

[0126] 力！]えて、本実施例においては、 CCD4が、補色系の色フィルタを前面に有する単板

CCDであるものとしており、該色フィルタとしては、図 12に示すような色差線順次方 式の配置のものを例にとって説明する。

[0127] 図 12を参照して、色差線順次方式の色フィルタの構成について説明する。

[0128] 色差線順次方式の色フィルタは、 2 X 2画素を基本単位としており、シアン (C) ,マ ゼンタ（M) ,イェロー (Y) ,緑 (G)が 1画素ずつ配置されたものとなっている。ただし

、 Mと Gの位置は、ライン毎に反転するようになっている。

[0129] このような色フィルタを備えた CCD4からの映像信号は、図 12 (A)に示すような奇 数フィールドと、図 12 (B)に示すような偶数フィールドと、に分離して出力される。

[0130] また、画像用バッファ 8上に保存される信号は、 CCD4に構成された色フィルタに対 応する CMYGの各信号ではなぐ次の数式 10に従って変換された輝度信号 Lおよ び色差信号 Cb, Crとなる。

[数 10]

L =C+M+Y+G

Cb = C + M-Y-G

Cr=M+Y-C-G

[0131] 従って、上記輝度 '色ノイズ推定部 53や輝度ノイズ低減部 52へ転送されるのは、画 像用バッファ 8内に記憶された輝度信号 Lおよび色差信号 Cb, Crである。

[0132] 次に、図 10に示したような撮像システムにおいて、上記図 1に示したような撮像シス テムと異なる信号の流れは、ほぼ次のようになって!/、る。

[0133] 上記輝度'色ノイズ推定部 53へは、制御部 18を介して、プリホワイトバランス部 12 により求められたホワイトバランス係数、測光評価部 9により求められた露光条件、外 部 IZF部 17により設定された ISO感度、温度センサ 51からの撮像素子の温度、など の撮影条件が転送される。

[0134] 輝度'色ノイズ推定部 53は、上記各情報と、輝度信号および色差信号と、に基づい て、所定サイズ毎に、本実施例では例えば 4 X 4画素を単位として、後で詳しく説明 するように、輝度ノイズ量および色ノイズ量を算出する。 [0135] 輝度 ·色ノイズ推定部 53により算出された輝度ノイズ量は輝度ノイズ低減部 52へ、 色ノイズ量は色ノイズ低減部 13へ、それぞれ転送される。

[0136] この輝度 '色ノイズ推定部 53による輝度ノイズ量および色ノイズ量の算出は、制御 部 18の制御に基づ 、て、上記輝度ノイズ低減部 52および色ノイズ低減部 13の処理 と同期して行われるようになって!/、る。

[0137] 輝度ノイズ低減部 52は、輝度.色ノイズ推定部 53から転送された輝度ノイズ量に基 づ ヽて、画像用バッファ 8から読み出した輝度信号に対して輝度ノイズ低減処理を行 い、処理後の映像信号を該輝度 '色ノイズ推定部 53と色ノイズ低減部 13とへ転送す る。

[0138] 色ノイズ低減部 13は、上記輝度ノイズ低減部 52により輝度ノイズが低減された輝度 信号と、本来の色差信号と、を用いて、輝度 ·色ノイズ推定部 53から転送された色ノ ィズ量に基づいて、色差信号の色ノイズ低減処理を行い、処理後の映像信号を信号 処理部 15へ転送する。

[0139] 信号処理部 15は、制御部 18の制御に基づいて、輝度ノイズ低減後の輝度信号お よび色ノイズ低減後の色差信号に対して、偶数フィールドの信号および奇数フィール ドの信号から 1フレームの映像信号を生成し、強調処理や圧縮処理などを行って、上 記出力部 16へ転送する。

[0140] 次に、図 11を参照して、輝度.色ノイズ推定部 53の構成の一例について説明する

[0141] この輝度 '色ノイズ推定部 53は、上述した実施例 1の図 2に示したような色ノイズ推 定部 14に、輝度ノイズ推定用の処理部を追加するとともに、温度推定用の処理部を 省略したものとなっている。そして、該輝度'色ノイズ推定部 53は、まず輝度ノイズ量 の推定を行ってその推定結果を上記輝度ノイズ低減部 52へ出力し、該輝度ノイズ低 減部 52により輝度ノイズを低減された輝度信号を用いて次に色ノイズ量を推定し、そ の推定結果を上記色ノイズ低減部 13へ出力する動作を行うものとなっている。

[0142] すなわち、この輝度 '色ノイズ推定部 53は、上記画像用バッファ 8に記憶された映 像信号または該画像用バッファ 8からの色差信号および上記輝度ノイズ低減部 52か らの補正された輝度信号に基づいて所定位置における所定サイズの局所領域を上 記輝度ノイズ低減部 52の処理に同期して抽出する上記局所領域抽出部 26と、上記 局所領域抽出部 26により抽出された局所領域の信号を記憶するバッファ 61と、この ノ ッファ 61に記憶された局所領域の信号から輝度信号 Lおよび色差信号 Cb, Crを 分離する分離手段たる信号分離部 62と、この信号分離部 62により分離された輝度 信号力も平均輝度値を算出する算出手段たる平均算出部 63と、制御部 18から転送 される露光条件やホワイトバランス係数等に基づいて増幅器 6の増幅量を算出する 上記ゲイン算出部 29と、何れかのパラメータが省略された場合に標準値を付与する 付与手段たる上記標準値付与部 30と、色ノイズ量を推定する際に用いる上記関数 に係る色パラメータを記憶する係数算出手段たる上記色パラメータ用 ROM32と、輝 度ノイズ量を推定する際に用いる後述する関数に係る輝度パラメータを記憶する係 数算出手段たる輝度パラメータ用 ROM64と、これらの色パラメータ用 ROM32と輝 度パラメータ用 ROM64とから読み出されるパラメータと上記ゲイン算出部 29または 上記標準値付与部 30から出力される増幅量と上記制御部 18または上記標準値付 与部 30から出力される撮像素子の温度と上記平均算出部 63から出力される平均輝 度値の情報とに基づ 、て注目画素の色ノイズ量および輝度ノイズ量を所定の式によ り推定する色ノイズ量算出手段、輝度ノイズ量算出手段、係数算出手段を兼ねた上 記係数算出部 31と、この係数算出部 31から出力される係数に基づき後述するように 定式ィ匕される関数を用いて色ノイズ量および輝度ノイズ量を算出し上記色ノイズ低減 部 13と上記輝度ノイズ低減部 52とへ出力する色ノイズ量算出手段、輝度ノイズ量算 出手段、関数演算手段を兼ねた上記関数算出部 33と、を有して構成されている。

[0143] また、上記制御部 18は、上記局所領域抽出部 26、信号分離部 62、平均算出部 6 3、ゲイン算出部 29、標準値付与部 30、係数算出部 31、関数算出部 33に対して双 方向に接続されており、これらを制御するようになって 、る。

[0144] 局所領域抽出部 26は、画像用バッファ 8から、所定サイズ、所定位置の信号を抽出 してバッファ 61へ転送する。本実施例では、後で説明する輝度ノイズ低減部 52の処 理カ S4 X 4画素を単位として行われるようになって 、るために、該局所領域抽出部 26 は、該 4 X 4画素単位の抽出を、画像の全面について順次走査しながら行う。この局 所領域抽出部 26の処理は、制御部 18の制御に基づいて、輝度ノイズ低減部 52の 処理と同期して行われる。

[0145] 上記画像用バッファ 8に記憶されている信号は、上述したように、偶数フィールドと 奇数フィールドとに分けられる。そこで以下では、図 12(A)に示すような奇数フィール ドを例にとって説明するが、偶数フィールドの場合も同様である。

[0146] 信号分離部 62は、制御部 18の制御に基づいて、上記バッファ 61に記憶されてい る輝度信号 L (i=l一 6)および色差信号 Cb, Cr (j = l一 3, k=l— 3)を分離する。

i j k

[0147] すなわち、図 12(A)に示すような、バッファ 61に記憶されている 4X4画素中の 1行 目で得られる輝度信号 Lおよび色差信号 Crは、以下の数式 11に示すように算出さ

i k

れたものである。

[数 11]

L =C +M +Y +G

1 1 1 1 1

L =C +M +Y +G

2 2 1 1 2

L =C +M +Y +G

3 2 2 2 2

Cr =M + Y -C -G

1 1 1 1 1

Cr =M + Y -C -G

2 1 1 2 2

Cr =M + Y -C -G

3 2 2 2 2

[0148] また、該バッファ 61に記憶されている 4X4画素中の、 3行目で得られる輝度信号 L お 5よよびび^色差信号 Cbは、以下の数式 12に示すように算出されたものである

[数 12]

L =C +M +Y +G

4 3 3 3 3

L C +M +Y +G

L C +M +Y +G

Cb =C +M-Y-G

1 3 3 3 3

Cb =C +M-Y-G

2 4 4 3 3

Cb =C +M-Y-G

3 4 4 4 4

[0149] 平均算出部 63は、制御部 18の制御に基づいて、上記バッファ 61から輝度信号 L_; を読み出し、平均輝度値 L を次の数式 13に示すように算出して、係数算出部 31へ

AV

転送する。 [数 13]

6 τ

AV— ZJ

i=l ° 一方、ゲイン算出部 29は、制御部 18から転送される露光条件、 ISO感度、および ホワイトバランス係数等の情報に基づいて、増幅器 6における増幅量を算出し、算出 結果を係数算出部 31へ転送する。

[0150] 係数算出部 31は、平均算出部 63からの平均輝度値 L と、ゲイン算出部 29からの

AV

ゲインの情報と、上記制御部 18から転送される上記温度センサ 51によって測定され た撮像素子の温度と、に基づいて、輝度ノイズ量を、次の数式 14または数式 15に示 すような定式化に基づいて推定する。

[0151] すなわち、輝度レベルを L、輝度ノイズ量を Nとすると、

し

[数 14]

N =AL + Γ

または、

[数 15]

N =AL" + BL+ Γ

L

なお、これらの数式 14または数式 15における A, B, Γは、それぞれ定数項である

[0152] 以下では、数式 14による定式ィ匕を用いる例について説明するが、数式 15による定 式化を用 ヽた場合でも同様である。

[0153] しかしながら、輝度ノイズ量 Nは、信号値レベル Uこのみ依存するのではなぐそれ し

以外にも、撮像素子である CCD4の温度や増幅器 6のゲインによっても変化する。従 つて、これらの要因も考慮に入れて定式化を行うと、次の数式 16に示すようになる。

[数 16]

N = α (T, G) l ^(T' ^G) + y (T, G)

し

ここに、温度を T、ゲインを Gとしており、 a (T, G) , β (T, G) , y (T, G)は、温度 Tとゲイン Gとをパラメータとする関数である。これらの関数の具体的な形状は、事前 に、 CCD4や増幅器 6を含む撮像素子系の特性を測定することにより、容易に取得 することができる。

[0154] 上述したような 3つの関数 α (Τ, G) , β (T, G) , γ (T, G)は、上記輝度パラメータ 用 ROM64に記録される。

[0155] 係数算出部 31は、温度 Tおよびゲイン Gを入力パラメータとして、輝度パラメータ用 ROM64に記録されている 3つの関数 α (Τ, G) , β (Τ, G) , γ (Τ, G)を用いて、各 係数 A, Β, Γを算出する。

[0156] 関数算出部 33は、この係数算出部 31により算出された各係数 Α, Β, Γを、上記数 式 16 (または数式 14)に適用することによって、輝度ノイズ量 Νを算出するための関 し

数形状を決定する。そして、該係数算出部 31を介して上記平均算出部 63から出力 される信号値レベル L (すなわち、上記数式 13に示したような平均輝度値 L )により

AV

、輝度ノイズ量 Νを算出するようになっている。

し

[0157] なお、温度 Τ,ゲイン G等の各パラメータを、必ずしも撮影毎に求める必要はないの は、上述した実施例 1で説明したような色ノイズ量を求める場合と同様である。

[0158] こうして関数算出部 33により算出された輝度ノイズ量 Νは、輝度ノイズ低減部 52へ し

転送される。この輝度ノイズ低減部 52は、後述するように、転送された輝度ノイズ量 Ν に基づいて、輝度ノイズが低減された輝度信号 L'を算出する。

し i

[0159] 次に、局所領域抽出部 26は、制御部 18の制御に基づいて、輝度ノイズ低減部 52 力もの輝度信号 L，を、バッファ 61へ転送する。

[0160] このとき、色ノイズ低減部 13からの色ノイズが低減された色差信号はバッファ 61へ 転送されることがないために、該バッファ 61上には、輝度ノイズ低減部 52によって輝 度ノイズが低減された輝度信号 L'と、本来の色差信号 Cbおよび Crと、が存在する

i j k

ことになる。

[0161] 信号分離部 62は、制御部 18の制御に基づいて、バッファ 61に記憶されている輝 度信号 L'と、色差信号 Cbおよび Crと、を分離して読み出す。

i j k

[0162] 平均算出部 63は、制御部 18の制御に基づいて、上記バッファ 61から輝度信号 L， を読み出し、平均輝度値 L' を次の数式 17に示すように算出して、係数算出部 31

AV

へ転 ，る。 [数 17]

6 υ 係数算出部 31は、該平均算出部 63から転送された平均輝度値 L' と、上記ゲイ

AV

ンと撮像素子の温度と、に基づいて、色ノイズ量 Ν , Ν の推定を行う。ここに、

C(Cb) C(Cr)

ゲインと撮像素子の温度との情報は、上述したような輝度ノイズ量を推定する際に用 いたものと同一であるために、これらを標準値付与部 30に記憶させておき、この色ノ ィズ量の推定を行う際に該標準値付与部 30から読み出すようにすれば良い。

[0163] また、色ノイズ量の推定に必要となる 2つの関数 a (T, G) , b (T, G)は、上述した実 施例 1と同様に、 2種類の色差信号 Cb, Cr毎に、個別に色パラメータ用 ROM32に 記録されている。

[0164] 係数算出部 31は、温度 Tおよびゲイン Gを入力パラメータとして、色パラメータ用 R OM32に記録されている 2つの関数 a (T, G) , b (T, G)を用いて、各係数 A, Bを算 出する。

[0165] 関数算出部 33は、この係数算出部 31により算出された各係数 A, Bを、上記数式 3

(あるいは上記数式 2)に適用することによって、 2種類の色差信号 Cb, Crに各関す る色ノイズ量 N , N を算出するための関数形状を決定する。そして、該係数算

C(Cb) C(Cr)

出部 31を介して上記平均輝度算出部 28から出力される信号値レベル L (すなわち、 上記数式 17に示したような平均輝度値 L' )により、各色差信号 Cb, Crに関する色

AV

ノイズ量 N , N を算出するようになっている。

C(Cb) C(Cr)

[0166] こうして、関数算出部 33により算出された色ノイズ量は、色ノイズ低減部 13へ転送 される。

[0167] 次に、図 13を参照して、輝度ノイズ低減部 52の構成の一例について説明する。

[0168] この輝度ノイズ低減部 52は、上記画像用バッファ 8から所定サイズの局所領域を抽 出する局所領域抽出部 71と、この局所領域抽出部 71により抽出された局所領域の 画像データを記憶するノ ッファ 72と、このバッファ 72に記憶された映像信号力も輝度 信号と色差信号とを分離する分離手段たる信号分離部 73と、この信号分離部 73に より分離された輝度信号に基づいて平均輝度値を算出する平均算出部 74と、この平 均算出部 74により算出された平均輝度値と上記輝度《色ノイズ推定部 53により推定 された輝度ノイズ量とに基づ!/、て輝度に関する許容範囲 (微小振幅値)を設定する設 定手段たる許容範囲設定部 75と、この許容範囲設定部 75により設定された許容範 囲に基づいて上記信号分離部 73から出力される輝度信号を補正して上記色ノイズ 低減部 13および上記輝度'色ノイズ推定部 53へ出力するスムージング手段たる信 号補正部 76と、を有して構成されている。

[0169] また、上記制御部 18は、上記局所領域抽出部 71,信号分離部 73,平均算出部 7 4,許容範囲設定部 75,信号補正部 76に対して双方向に接続されており、これらを 制御するようになっている。

[0170] 上記局所領域抽出部 71は、制御部 18の制御に基づいて、画像用バッファ 8から所 定サイズ毎に、例えば本実施例においては 4 X 4画素毎に、映像信号を抽出し、抽 出した映像信号をバッファ 72へ転送する。

[0171] 画像用バッファ 8に記憶されている映像信号は、上述したように、偶数フィールドと 奇数フィールドとに分けられるために、以下では、図 12 (A)に示したような奇数フィー ルドを例にとって説明するが、偶数フィールドの場合も同様である。

[0172] 上記信号分離部 73は、制御部 18の制御に基づいて、バッファ 72に記憶されてい る映像信号から、輝度信号 L (i= l一 6)および色差信号 Cb , Cr (j = l

i j k 一 3, k= l—

3)を分離する。そして、分離した内の輝度信号 L_;を、上記平均算出部 74と信号補正 部 76とへそれぞれ転送する。なお、色差信号 Cb , Crについては、該信号補正部 7

j k

6を経由して、そのまま色ノイズ低減部 13へ転送される。

[0173] 平均算出部 74は、上記数式 13に基づいて平均輝度値 L を算出し、算出した平

AV

均輝度値 L を許容範囲設定部 75へ転送する。

AV

[0174] 許容範囲設定部 75は、制御部 18の制御に基づいて、輝度.色ノイズ推定部 53か らの輝度信号に関する輝度ノイズ量 Nと、平均算出部 74からの平均輝度値 L と、 し AV に基づ!/ヽて、輝度ノイズ量に関する許容範囲 (微小振幅値)として上限 Uおよび下限 Dを次の数式 18に示すように設定する。

[数 18]

U =L +N /2, D =L — N /2

L AV L L AV L [0175] こうして、許容範囲設定部 75により算出された上記許容範囲 U, Dは、上記信号補 正部 76へ転送される。

[0176] 信号補正部 76は、制御部 18の制御に基づいて、信号分離部 73からの輝度信号 L を、許容範囲設定部 75からの許容範囲 U, Dに基づき (微小振幅値以下の振幅成分 を吸収することにより）補正し、輝度ノイズが低減された輝度信号 L'を算出する。

[0177] このとき、該信号補正部 76により行われる補正は、許容範囲の上限 Uを上回る場合 と、許容範囲内である場合と、許容範囲の下限 Dを下回る場合と、の 3通りに分かれ、 次の数式 19に示すようになる。

[数 19]

L >Uのとき L， =L— N /2

i L i i L

U≥L≥Dのとき L' =L

L i L i AV

D >Lのとき L， =L +N Z2

L i i i L

[0178] 輝度信号 は、 4 X 4画素中に 6種類ずつ存在する力 この数式 19に基づく補正は これらの輝度信号の全てに対して行われる。

[0179] こうして、信号補正部 76により補正が行われた後の輝度信号 L，と、本来の色差信 号 Cb , Crと、が上記色ノイズ低減部 13へ転送される。

j k

[0180] 色ノイズ低減部 13は、上述した実施例 1と同様にして、上記色ノイズ量 N , N

C(Cr) C(Cb) に基づき、色ノイズの低減を行う。

[0181] すなわち、まず、色差信号 Cbに関する平均色差値 Cb と、色差信号 Crに関する j AV k 平均色差値 Cr と、を次の数式 20に示すように算出する。

AV

[数 20]

3 cb

ゾ =1 3

3 Cr

次に、こうして算出された平均色差値 Cb , Cr と、上記輝度 '色ノイズ推定部 53

AV AV

カゝら転送された色ノイズ量 N , N と、に基づいて、色ノイズ量に関する許容範 g

C(Cb) C(Cr)

として上限 Uおよび下限 Dを次の数式 21に示すように設定する。 [数 21]

U Cb +N /2

(Cb) p C(Cb)

D --Cb — N /2

(Cb) A C(Cb)

U -Cr fN /2

(Cr) A' C(Cr)

D Cr -N /2

(Cr) C(Cr)

[0182] そして、これらの許容範囲に基づいて、色差信号 Cb, Crの補正を行い、色ノイズ j k

の低減された色差信号 Cb ' , Cr 'を次の数式 22、数式 23に示すようにそれぞれ算 j k

出する。

[数 22]

Cb >U のとき Cb'=Cb-N /2

j (Cb) j j C(Cb)

U ≥Cb≥D のとき Cb'=Cb

(Cb) j (Cb) j A

D >Cbのとき Cb'=Cb -N /2

(Cb) j C(Cb)

[数 23]

Cr >U のとき Cr '=Cr-N /2

k (Cr) k k C(Cr)

U ≥Cr≥D のとき Cr '=Cr

(Cr) k (Cr) k A

D >Crのとき Cr '=Cr -N /2

[0183] こうして、 色ノィ

ズ低減部 13により色ノイズが低減された色差信号 Cb', Cr 'と力 上記信号処理部 j k

15へ転送される。

[0184] なお、上述では補色系の色差線順次方式の単板 CCDを例にとって説明した力 こ れに限定されるものではないことは勿論であり、例えば、上記実施例 1で説明したよう な原色 Bayer型の単板 CCDを用いても構わな!/、し、その他の二板 CCDや三板 CC Dを用いることも可能である。例えば、これらの内の原色 Bayer型の撮像素子を用い た場合には、輝度信号として G信号を用い、色差信号として (R— G ), (B-G )を

AV AV

用 、ること〖こなる。

[0185] また、上述した輝度 ·色ノイズ推定部 53は、輝度ノイズ量と色ノイズ量とを推定する ために関数を用いて演算を行うものとなっていた力 これに限るものではなぐ例えば ルックアップテーブルを用いるように構成することも可能である。 [0186] このような輝度.色ノイズ推定部 53の構成例について、図 14を参照して説明する。

[0187] この図 14に示す輝度 '色ノイズ推定部 53は、上記図 11に示したような輝度 ·色ノィ ズ推定部 53から、係数算出部 31と色パラメータ用 ROM32と関数算出部 33と輝度 パラメータ用 ROM64とを取り除 、て、輝度ノイズ用テーブル 81と色ノイズ用テープ ル 82とを追カ卩した構成となっていて、その他の部分は同様である。

[0188] すなわち、平均算出部 63の出力とゲイン算出部 29の出力と標準値付与部 30の出 力とは、輝度ノイズ量算出手段でありルックアップテーブル手段たる輝度ノイズ用テ 一ブル 81と、色ノイズ量算出手段でありルックアップテーブル手段たる色ノイズ用テ 一ブル 82と、へそれぞれ入力されるようになっている。

[0189] また、輝度ノイズ用テーブル 81の出力は上記輝度ノイズ低減部 52へ、色ノイズ用 テーブル 82の出力は上記色ノイズ低減部 13へ、それぞれ入力されるようになってい る。

[0190] そして、制御部 18は、これら輝度ノイズ用テーブル 81と色ノイズ用テーブル 82とに 対しても双方向に接続されており、これらを制御するようになって!/、る。

[0191] 次に、この図 14に示したような輝度 '色ノイズ推定部 53の作用の内の、上記図 11 に示したような輝度 ·色ノイズ推定部 53の作用と異なる部分は、おおよそ次のようにな つている。

[0192] 平均算出部 63は、制御部 18の制御に基づいて、上記数式 13に示したような平均 輝度値 L を算出し、まず、上記輝度ノイズ用テーブル 81へ転送する。

AV

[0193] 同様に、ゲイン算出部 29からはゲイン情報が、制御部 18からは撮像素子の温度に 関する情報力 輝度ノイズ用テーブル 81へそれぞれ転送される。

[0194] 輝度ノイズ用テーブル 81は、上記数式 16に示したような輝度ノイズの定式ィ匕に基 づいて、予め算出された輝度レベル，温度，ゲインの各パラメータに対する輝度ノィ ズ量を記録したテーブルである。

[0195] 従って、転送された各データに基づき輝度ノイズ用テーブル 81を参照することによ り、該輝度ノイズ用テーブル 81から輝度ノイズ量を直接求めることが可能となる。

[0196] こうして、輝度ノイズ用テーブル 81を参照することにより求められた輝度ノイズ量は、 上記輝度ノイズ低減部 52へ転送される。 [0197] 転送された輝度ノイズ量を用いて輝度ノイズ低減部 52の処理が行われると、その処 理結果は、上述したように、上記局所領域抽出部 26へ転送されて、上述したような処 理が行われる。

[0198] その結果、平均算出部 63は、制御部 18の制御に基づいて、数式 17に示したような 輝度ノイズ低減後の平均輝度値 L， を算出し、色ノイズ用テーブル 82へ転送する。

AV

[0199] 同様に、ゲイン算出部 29 (または標準値付与部 30)力もはゲイン情報が、制御部 1

8 (または標準値付与部 30)力もは撮像素子の温度に関する情報が、色ノイズ用テー ブル 82へそれぞれ転送される。

[0200] 色ノイズ用テーブル 82は、上記数式 3に示したような色ノイズの定式ィ匕に基づいて

、予め算出された輝度レベル，温度，ゲインの各パラメータに対する色ノイズ量を記 録したテーブルである。

[0201] 従って、転送された各データに基づき色ノイズ用テーブル 82を参照することにより、 該色ノイズ用テーブル 82から色ノイズ量を直接求めることが可能となる。

[0202] こうして、色ノイズ用テーブル 82を参照することにより求められた色ノイズ量は、上記 色ノイズ低減部 13へ転送される。

[0203] このような輝度ノイズ用テーブル 81や色ノイズ用テーブル 82を用いる構成によれば

、輝度ノイズや色ノイズを算出するための演算処理を省略することができるために、処 理を高速化することが可能となる。

[0204] また、ハードウェアによる実行を前提としていた上述したような処理も、上記実施例 1 と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することも可能 である。

[0205] 図 15を参照して、コンピュータにおいて画像処理プログラムによりノイズ低減処理を 行う例について説明する。

[0206] 処理を開始すると、まず、 Rawデータでなる全色信号と、温度、ゲインなどの情報を 含むヘッダ情報と、を読み込む (ステップ S21)。

[0207] 次に、 Rawデータ力 所定サイズの局所領域、例えば 4 X 4画素を単位とする局所 領域を抽出する (ステップ S22)。

[0208] そして、抽出した局所領域の信号を、輝度信号と色差信号とへ分離する (ステップ S 23)。

[0209] 続いて、上記数式 13に示したように平均輝度値を算出する (ステップ S24)。

[0210] さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める (ステツ プ S25)。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所 定の標準値を付与する。

[0211] 次に、輝度ノイズ量に関するテーブルを読み込んで、上記ステップ S 24で得られた 平均輝度値と上記ステップ S25で得られた温度やゲインなどのパラメータとを用いて

、輝度ノイズ量を求める（ステップ S26)。

[0212] 上述したようなステップ S23からステップ S26の処理は、 1つの局所領域に対して 1 回だけ行われる。

[0213] 上記ステップ S26において求められた輝度ノイズ量に基づき、上記数式 18に示し たような演算を行うことにより、許容範囲としての上限および下限を設定し、ステップ S 23により得られた輝度信号に対して上記数式 19に示すような補正を行う（ステップ S 27)。

[0214] そして、局所領域内の全ての輝度信号について処理が完了した力否かを判断し（ ステップ S28)、まだ完了していない場合は上記ステップ S27へ行って次の輝度信号 につ 、て上述したような処理を行う。

[0215] 一方、このステップ S28において、全ての輝度信号について処理が完了したと判断 された場合には、輝度ノイズを補正された輝度信号と本来の色差信号とを分離する（ ステップ S29)。

[0216] 続いて、上記数式 17に示したように平均輝度値を算出すると共に、上記数式 20に 示したように平均色差値を算出する (ステップ S30)。

[0217] さらに、読み込んだヘッダ情報から、温度やゲインなどのパラメータを求める (ステツ プ S31)。ここで、もし、必要なパラメータがヘッダ情報内に存在しない場合には、所 定の標準値を付与するのは上述と同様である。

[0218] 次に、色ノイズ量に関するテーブルを読み込んで、上記ステップ S 30で得られた平 均輝度値と上記ステップ S31で得られた温度やゲインなどのパラメータとを用いて、 色ノイズ量を求める（ステップ S32)。 [0219] 上記ステップ S30において求められた平均色差値と、上記ステップ S32において求 められた色ノイズ量と、に基づいて、上記数式 21に示したような演算を行うことにより 、許容範囲としての上限および下限を設定し、ステップ S29により得られた色差信号 に対して上記数式 22および数式 23に示すような補正を行う（ステップ S33)。

[0220] そして、局所領域内の全ての色差信号について処理が完了した力否かを判断し（ ステップ S34)、まだ完了していない場合は上記ステップ S33へ行って次の色差信号 につ 、て上述したような処理を行う。

[0221] 一方、このステップ S34において、全ての色差信号について処理が完了したと判断 された場合には、全ての局所領域について処理が完了したカゝ否かを判断する (ステ ップ S35)。ここで、完了していないと判断された場合には、上記ステップ S22へ行つ て、次の局所領域について上述したような処理を行う。

[0222] また、このステップ S35において、全ての局所領域について処理が完了したと判断 された場合には、公知の強調処理や圧縮処理などを行う（ステップ S36)。

[0223] そして、処理後の信号を出力してから (ステップ S37)、この一連の処理を終了する

[0224] このような実施例 2によれば、平均輝度値、撮影時の温度、ゲインなどの動的に変 化するパラメータを用いて輝度ノイズ量と色ノイズ量とを推定するようにしたために、 高精度な輝度ノイズ低減処理および色ノイズ低減処理を行うことが可能となる。そし て、温度変化の検出を、専用のセンサを利用して行っているために、ノイズ量を高精 度に推定することが可能となる。また、上記パラメータが得られない場合には標準値 を用いて輝度ノイズ量および色ノイズ量を推定するようにしたために、輝度ノイズの低 減および色ノイズの低減を安定して行うことができる。さらに、安定後の撮像素子の温 度などの、一部のパラメータの算出を意図的に省略するようにしたために、撮像シス テムの低コストィ匕および省電力化を図ることが可能となる。そして、輝度ノイズ量に基 づ ヽて許容範囲を設定してカゝら輝度ノイズ低減処理を行うようにしたために、原信号 の保存性に優れた低減処理が可能となる。加えて、色ノイズ量に基づいて許容範囲 を設定して力ゝら色ノイズ低減処理を行うようにしたために、原信号の保存性に優れた 低減処理が可能となる。また、色差線順次方式の色フィルタ配置にあわせて輝度信 号と色差信号とを求めて 、るために、処理を高速に行うことが可能となる。

なお、本発明は上述した実施例に限定されるものではなぐ発明の主旨を逸脱しな V、範囲内にお 、て種々の変形や応用が可能であることは勿論である。

Claims

請求の範囲

[1] 原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に 含まれるノイズを低減する撮像システムであって、

上記信号から所定単位領域毎に輝度信号と色差信号とを算出し、算出した輝度信 号に基づき平均輝度値を算出するとともに算出した色差信号に基づき平均色差値を 算出する算出手段と、

上記所定単位領域毎に色ノイズ量を推定する色ノイズ推定手段と、

上記所定単位領域毎に上記色ノイズ量に基づ！/ヽて上記色差信号中の色ノイズを 低減する色ノイズ低減手段と、

を具備したことを特徴とする撮像システム。

[2] R (赤）， G (緑) , B (青)でなる原色系の Bayer型色フィルタを前面に配置した単板 固体撮像素子からの信号中に含まれるノイズを低減する撮像システムであって、 上記信号から所定単位領域毎に平均輝度値として G画素の平均値 G を算出する

AV

とともに、各 R画素毎に色差信号として R— G を、各 B画素毎に色差信号として B— G

AV

をそれぞれ算出し、さらに算出した色差信号 R— G に基づいて平均色差値 RG

AV AV AV

値を、算出した B— G に基づいて平均色差値 BG 値を、それぞれ算出する算出手

AV AV

段と、

上記所定単位領域毎に色ノイズ量を推定する色ノイズ推定手段と、

上記所定単位領域毎に上記色ノイズ量に基づ ヽて上記色差信号 R— G 中の色ノ

AV

ィズおよび上記色差信号 B— G 中の色ノイズをそれぞれ低減する色ノイズ低減手段

AV

と、

を具備したことを特徴とする撮像システム。

[3] C (シアン） , M (マゼンタ） , Y (イェロー）， G (緑)の色差線順次方式色フィルタを前 面に配置した単板固体撮像素子からの信号中に含まれるノイズを低減する撮像シス テムであって、

上記信号から所定単位領域毎に輝度信号 L = C + M + Y+ Gと色差信号 Cb = C + M-Y-Gと色差信号 Cr=M+Y-C-Gとを算出し、さらに平均輝度値 L と平均

AV

色差値 Cb および Cr とを算出する算出手段と、 上記所定単位領域毎に色ノイズ量を推定する色ノイズ推定手段と、 上記所定単位領域毎に上記色ノイズ量に基づいて上記色差信号 Cbおよび色差信 号 Cr中の色ノイズをそれぞれ低減する色ノイズ低減手段と、

を具備したことを特徴とする撮像システム。

[4] 上記所定単位領域は、 4 X 4画素単位の領域であることを特徴とする請求項 1から 請求項 3の何れか一に記載の撮像システム。

[5] 原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号中に 含まれるノイズを低減する撮像システムであって、

上記信号から輝度信号または色フィルタ毎の色信号を分離する分離手段と、 上記各色信号または輝度信号中の輝度ノイズ量を所定単位領域毎に推定する輝 度ノイズ推定手段と、

上記所定単位領域毎に上記輝度ノイズ量に基づいて上記各色信号または輝度信 号中の輝度ノイズを低減する輝度ノイズ低減手段と、

上記輝度ノイズ低減手段により輝度ノイズが低減された信号に基づいて上記所定 単位領域毎に輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝 度値を算出するとともに算出した色差信号に基づき平均色差値を算出する算出手段 と、

上記所定単位領域毎に上記輝度ノイズが低減された信号中の色ノイズ量を推定す る色ノイズ推定手段と、

上記所定単位領域毎に上記色ノイズ量に基づ！ヽて上記色差信号中の色ノイズを 低減する色ノイズ低減手段と、

を具備したことを特徴とする撮像システム。

[6] 上記色ノイズ推定手段は、

上記平均輝度値と、上記固体撮像素子の温度と、上記信号に対するゲインと、の 内の少なくとも 1つの情報に基づいてパラメータを求めるパラメータ算出手段と、 上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手段と、 を有して構成されたものであることを特徴とする請求項 1から請求項 5の何れか一に 記載の撮像システム。

[7] 上記輝度ノイズ推定手段は、

上記各色信号の平均値と、上記輝度信号の平均値と、上記固体撮像素子の温度と

、上記信号に対するゲインと、の内の少なくとも 1つの情報に基づいてパラメータを求 めるパラメータ算出手段と、

上記パラメータに基づいて輝度ノイズ量を求める輝度ノイズ量算出手段と、 を有して構成されたものであることを特徴とする請求項 5に記載の撮像システム。

[8] 上記パラメータ算出手段は、上記固体撮像素子の温度を測定する温度センサを有 して構成されたものであることを特徴とする請求項 6または請求項 7に記載の撮像シ ステム。

[9] 上記固体撮像素子は、 OB (Optical Black)領域を有して構成されたものであり、 上記パラメータ算出手段は、上記固体撮像素子中の OB (Optical Black)領域の信 号の分散を求める分散算出手段と、上記分散に基づいて固体撮像素子の温度を推 定する温度推定手段と、を有して構成されたものであることを特徴とする請求項 6また は請求項 7に記載の撮像システム。

[10] 上記パラメータ算出手段は、 ISO感度と、露出情報と、ホワイトバランス情報と、の内 の少なくとも 1つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成 されたものであることを特徴とする請求項 6または請求項 7に記載の撮像システム。

[11] 上記パラメータ算出手段は、ノラメータとして、上記平均輝度値 L、上記固体撮像 素子の温度 T、および上記信号に対するゲイン Gを算出するように構成されたもので あって、

上記色ノイズ推定手段は、該パラメータ算出手段力も得られないパラメータに関し て標準のパラメータ値を付与する付与手段をさらに有して構成され、

上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得 られるパラメータを用いて色ノイズ量 Νを算出するものであり、上記温度 Τおよびゲイ

c

ン Gをパラメータとする 2つの関数 a (Τ, G) , b (T, G)に基づいて 2つの係数 A, Bを 求める係数算出手段と、上記 2つの係数 A, Bを用いた関数式 N =AL + Bに基づい

C

て色ノイズ量 Nを算出する関数演算手段と、を有して構成されたものであることを特

C

徴とする請求項 6に記載の撮像システム。

[12] 上記色ノイズ推定手段は、上記パラメータ算出手段力 得られないパラメータに関 して標準のパラメータ値を付与する付与手段をさらに有して構成され、

上記色ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から得 られる平均輝度値と上記固体撮像素子の温度と上記信号に対するゲインとに基づき 色ノイズ量を求めるルックアップテーブル手段を有して構成されたものであることを特 徴とする請求項 6に記載の撮像システム。

[13] 上記輝度ノイズ推定手段は、上記パラメータ算出手段カゝら得られないパラメータ〖こ 関して標準のパラメータ値を付与する付与手段をさらに有して構成され、

上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から 得られる、上記各色信号の平均値または上記輝度信号の平均値 Lと、上記固体撮像 素子の温度 Tと、上記信号に対するゲイン Gと、をパラメータとして用いて輝度ノイズ 量 Nを算出するものであって、

し

上記 T, Gをパラメータとする 3つの関数 α (Τ, G) , β (T, G) , y (T, G)から 3つ 係数 A, Β, Γを各々求める係数算出手段と、

上記 3つの係数 Α, Β, Γを用いた第 1の関数式 N =AL^B+ rまたは第 2の関数式 し

N =AL² + BL+ Γの何れかに基づいて、輝度ノイズ量 Nを求める関数演算手段と し し を有して構成されたものであることを特徴とする請求項 7に記載の撮像システム。

[14] 上記輝度ノイズ推定手段は、上記パラメータ算出手段カゝら得られないパラメータ〖こ 関して標準のパラメータ値を付与する付与手段をさらに有して構成され、

上記輝度ノイズ量算出手段は、上記パラメータ算出手段または上記付与手段から 得られる、上記各色信号の平均値または上記輝度信号の平均値と、上記固体撮像 素子の温度と、上記信号に対するゲインと、に基づき輝度ノイズ量を求めるルックアツ プテーブル手段を有して構成されたものであることを特徴とする請求項 7に記載の撮 像システム。

[15] 上記色ノイズ低減手段は、

上記色ノイズ推定手段からの色ノイズ量に基づいて上記所定単位領域毎に微小振 幅値を設定する設定手段と、 上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手 段と、

を有して構成されたものであることを特徴とする請求項 1から請求項 5の何れか一に 記載の撮像システム。

[16] 上記輝度ノイズ低減手段は、

上記輝度ノイズ推定手段からの輝度ノイズ量に基づいて上記所定単位領域毎に微 小振幅値を設定する設定手段と、

上記各色信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手 段と、

を有して構成されたものであることを特徴とする請求項 5に記載の撮像システム。

[17] 上記色ノイズ低減手段により色ノイズが低減された色差信号を、固体撮像素子から の信号と同一種類の信号へ逆変換する逆変換手段をさらに具備したことを特徴とす る請求項 1から請求項 5の何れか一に記載の撮像システム。

[18] コンピュータに、

原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から 所定単位領域毎に輝度信号と色差信号とを算出し、算出した輝度信号に基づき平 均輝度値を算出するとともに算出した色差信号に基づき平均色差値を算出する算出 手順と、

上記所定単位領域毎に色ノイズ量を推定する色ノイズ推定手順と、

上記所定単位領域毎に上記色ノイズ量に基づ！ヽて上記色差信号中の色ノイズを 低減する色ノイズ低減手順と、

を実行させるための画像処理プログラム。

[19] コンピュータに、

原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号から 輝度信号または色フィルタ毎の色信号を分離する分離手順と、

上記各色信号または輝度信号中の輝度ノイズ量を所定単位領域毎に推定する輝 度ノイズ推定手順と、

上記所定単位領域毎に上記輝度ノイズ量に基づいて上記各色信号または輝度信 号中の輝度ノイズを低減する輝度ノイズ低減手順と、

上記輝度ノイズ低減手順により輝度ノイズが低減された信号に基づいて上記所定 単位領域毎に輝度信号と色差信号とを算出し、算出した輝度信号に基づき平均輝 度値を算出するとともに算出した色差信号に基づき平均色差値を算出する算出手順 と、

上記所定単位領域毎に上記輝度ノイズが低減された信号中の色ノイズ量を推定す る色ノイズ推定手順と、

上記所定単位領域毎に上記色ノイズ量に基づ！ヽて上記色差信号中の色ノイズを 低減する色ノイズ低減手順と、

を実行させるための画像処理プログラム。

[20] 上記色ノイズ推定手順は、

上記平均輝度値と、上記固体撮像素子の温度と、上記信号に対するゲインと、の 内の少なくとも 1つの情報に基づいてパラメータを求めるパラメータ算出手順と、 上記パラメータに基づいて色ノイズ量を求める色ノイズ量算出手順と、 を含むことを特徴とする請求項 18または請求項 19に記載の画像処理プログラム。

[21] 上記パラメータ算出手順は、ノ メータとして、上記平均輝度値 L、上記固体撮像 素子の温度 T、および上記信号に対するゲイン Gを算出するための手順であって、 上記色ノイズ推定手順は、該パラメータ算出手順カゝら得られないパラメータに関し て標準のパラメータ値を付与する付与手順をさらに含み、

上記色ノイズ量算出手順は、上記パラメータ算出手順または上記付与手順により得 られるパラメータを用いて色ノイズ量 Νを算出する手順であり、上記温度 Τおよびゲ c

イン Gをパラメータとする 2つの関数 a (Τ, G) , b (T, G)に基づいて 2つの係数 A, B を求める係数算出手順と、上記 2つの係数 A, Bを用いた関数式 N =AL + Bに基づ

C

いて色ノイズ量 Nを算出する関数演算手順と、を含むことを特徴とする請求項 20に

C

記載の画像処理プログラム。

[22] 上記色ノイズ低減手順は、

上記色ノイズ推定手順からの色ノイズ量に基づいて上記所定単位領域毎に微小振 幅値を設定する設定手順と、 上記色差信号に関して該微小振幅値以下の振幅成分を吸収するスムージング手 順と、

を含むことを特徴とする請求項 18または請求項 19に記載の画像処理プログラム。