WO2008056565A1

WO2008056565A1 - Image picking-up system and image processing program

Info

Publication number: WO2008056565A1
Application number: PCT/JP2007/071088
Authority: WO
Inventors: Takao Tsuruoka
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-11-10
Filing date: 2007-10-30
Publication date: 2008-05-15
Anticipated expiration: 2009-05-10
Also published as: JP4653059B2; JP2008124764A; US8488026B2; US8184181B2; US20090219417A1; US20120033109A1

Description

明細書

撮像システム、画像処理プログラム

技術分野

[0001] 本発明は、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システム、画像処理プログラムに関する。

背景技術

[0002] 撮像系は、撮像素子と、この撮像素子に付随するアナログ回路および A/Dコンパータなどと、を備えて構成されている。この撮像系から得られる映像信号は、一般にノィズ成分を含有しており、このノイズ成分は、固定パターンノイズとランダムノイズとに大另すること力でさる。

[0003] 上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。

[0004] 一方、ランダムノイズは、撮像素子およびアナログ回路にお!/、て発生するものであり、ホワイトノイズ特性に近!/、特性を有して!/、る。

[0005] 後者のランダムノイズに関しては、例えば特開 2001— 157057号公報において、静的に与えられる定数項 a, b, cと濃度値に変換した信号レベル Dとを用いて、ノイズ量 Nを、 N = ab^eDにより関数化し、この関数から信号レベル Dに対するノイズ量 Nを推定して、推定したノイズ量 Nに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適用的なノイズ低減処理が行われるようになっている。

[0006] また、特開 2006— 23959号公報には、ノイズモデルに基づいてノイズ量をブロック単位に推定し、ブロック単位にノイズ低減処理を制御する技術が記載されている。さらに、該公報には、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択して、選択された領域の平均値を用いることが記載されている。これにより、エッジ部の影響を抑制したスペースノリアントなノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。

[0007] さらに、特開 2006— 246080号公報には、バイラテラルフィルタと呼ばれるエッジ保存型の平滑化処理と鮮鋭化処理とを組み合わせた技術が記載されて!/、る。これにより、ノイズを低減しながらエッジ成分の劣化が小さい画像を得ることができる。

[0008] ところで近年、ノイズ等の劣化要因により劣化した画像を、非線形拡散方程式に基づき拡散画像を算出することにより回復する技術が提案されており、例えば、 ΙΕΕΕ S IGNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第 16頁〜第 25頁に、該技術の一例が記載されて!/、る。

[0009] しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開 2001— 157057号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、該公報には、ノイズ量からフィルタリングの周波数特性を制御することが記載されて!/、るが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノィズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズとを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。

[0010] これに対して、上記特開 2006— 23959号公報に記載されたものでは、注目画素と類似する領域を選択して平均値を算出するために、エッジ成分の影響を抑制すること力 Sできる。しかし、ブロック内に存在するエッジ成分の割合が増加すると、選択される類似領域が減少し、平均値の算出精度が低下する。このために、複雑なエッジ領域においては、ノイズ量の推定精度が低下してしまうという課題がある。

[0011] さらに、上記特開 2006— 246080号公報に記載されたバイラテラルフィルタは、注目画素と近傍画素との距離および信号差に基づき、該近傍画素に関する重み係数を適用的に求めてフィルタリング処理を行うものである。ここで、距離および信号差に基づき重み係数を導く過程においてはガウス関数を用いている力 S、該公報に記載の技術では、このガウス関数のパラメータは静的に与えられる。しかし、ノイズ量は信号レベルに応じて動的に変化するために、ノイズの発生量に応じた最適な重み係数を算出することができず、ノイズ低減の精度が劣るという課題がある。

[0012] 本発明は上記事情に鑑みてなされたものであり、撮影状況に最適化された高精度ななノノイイズズ低低減減処処理理をを可可能能ととすするる撮撮像像シシスステテムム、、画画像像処処理理ププロロググララムムをを提提供供すするるここととをを目目的的ととししてていいるる。。

[[00001133]] ままたた、、本本発発明明はは、、複複雑雑ななエエッッジジ構構造造部部ににおおいいててももノノイイズズ低低減減処処理理のの精精度度がが低低下下すするるここととののなないい、、安安定定的的かかつつ信信頼頼性性のの高高いい撮撮像像シシスステテムム、、画画像像処処理理ププロロググララムムをを提提供供すするるここととをを目目的的ととししてていいるる。。

発発明明のの開開示示

課課題題をを解解決決すするるたためめのの手手段段

[[00001144]] 上上記記のの目目的的をを達達成成すするるたためめにに、、本本発発明明にによよるる撮撮像像シシスステテムムはは、、撮撮像像系系かからら取取りり込込ままれれたた映映像像信信号号にに対対ししててノノイイズズ低低減減処処理理をを行行うう撮撮像像シシスステテムムででああっってて、、上上記記映映像像信信号号かかららノノイイズズ低低減減処処理理をを行行うう対対象象ででああるる注注目目画画素素とと上上記記注注目目画画素素のの空空間間的的近近傍傍にに位位置置すするる少少ななくくとともも 11つつのの近近傍傍画画素素ととをを含含むむ局局所所領領域域をを抽抽出出すするる局局所所領領域域抽抽出出手手段段とと、、上上記記局局所所領領域域内内ににおおいいてて上上記記注注目目画画素素にに対対ししてて適適用用的的ななノノイイズズ低低減減処処理理をを行行うう第第 11ののノノイイズズ低低減減手手段段とと、、上上記記第第 11ののノノイイズズ低低減減手手段段にによよりりノノイイズズ低低減減処処理理ががななさされれたた注注目目画画素素値値にに基基づづレレ、、てて上上記記注注目目画画素素にに関関すするるノノイイズズ量量をを推推定定すするるノノイイズズ推推定定手手段段とと、、上上記記第第 11ののノノイイズズ低低減減手手段段にによよりりノノイイズズ低低減減処処理理ががななさされれたた注注目目画画素素値値とと上上記記ノノイイズズ推推定定手手段段にによよりり推推定定さされれたたノノイイズズ量量ととにに基基づづきき上上記記注注目目画画素素にに対対ししててノノイイズズ低低減減処処理理をを行行うう第第 22ののノノイイズズ低低減減手手段段とと、、をを具具備備ししたたももののででああるる。。

[[00001155]] ままたた、、本本発発明明にによよるる画画像像処処理理ププロロググララムムはは、、ココンンピピュューータタにに、、撮撮像像系系かからら取取りり込込ままれれたた映映像像信信号号にに対対ししててノノイイズズ低低減減処処理理をを行行わわせせるるたためめのの画画像像処処理理ププロロググララムムででああっってて、、ココンンピピュューータタにに、、上上記記映映像像信信号号かかららノノイイズズ低低減減処処理理をを行行うう対対象象ででああるる注注目目画画素素とと上上記記注注目目画画素素のの空空間間的的近近傍傍にに位位置置すするる少少ななくくとともも 11つつのの近近傍傍画画素素ととをを含含むむ局局所所領領域域をを抽抽出出すするる局局所所領領域域抽抽出出スステテッッププとと、、上上記記局局所所領領域域内内ににおおいいてて上上記記注注目目画画素素にに対対ししてて適適用用的的ななノノイイズズ低低減減処処理理をを行行うう第第 11ののノノイイズズ低低減減スステテッッププとと、、上上記記第第 11ののノノイイズズ低低減減スステテツツププにによよりりノノイイズズ低低減減処処理理ががななさされれたた注注目目画画素素値値にに基基づづレレ、、てて上上記記注注目目画画素素にに関関すするるノノイイズズ量量をを推推定定すするるノノイイズズ推推定定スステテッッププとと、、上上記記第第 11ののノノイイズズ低低減減スステテッッププにによよりりノノィィズズ低低減減処処理理ががななさされれたた注注目目画画素素値値とと上上記記ノノイイズズ推推定定スステテッッププにによよりり推推定定さされれたたノノイイズズ量量ととにに基基づづきき上上記記注注目目画画素素にに対対ししててノノイイズズ低低減減処処理理をを行行うう第第 22ののノノイイズズ低低減減スステテッッププ

図面の簡単な説明

園 1]本発明の実施形態 1における撮像システムの構成を示すブロック図。

園 2]上記実施形態 1の局所領域におけるべィヤー（Bayer)型原色フィルタの配置を示す図。

園 3]上記実施形態 1の局所領域において分離された R色信号を示す図。

園 4]上記実施形態 1の局所領域において分離された Gr色信号を示す図。

園 5]上記実施形態 1の局所領域において分離された Gb色信号を示す図。

園 6]上記実施形態 1の局所領域において分離された B色信号を示す図。

園 7]上記実施形態 1の局所領域における色差線順次型補色フィルタの配置を示す図。

園 8]上記実施形態 1の局所領域において分離された Cy色信号を示す図。

園 9]上記実施形態 1の局所領域において分離された Ye色信号を示す図。

園 10]上記実施形態 1の局所領域において分離された G色信号を示す図。

園 11]上記実施形態 1の局所領域において分離された Mg色信号を示す図。

園 12]上記実施形態 1において、 3成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図。

園 13]上記実施形態 1において、 2成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図。

[図 14]上記実施形態 1において、 1成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図。

園 15]上記実施形態 1におけるノイズ推定部の構成を示すブロック図。

園 16]上記実施形態 1において、信号レベルに対して推定されるノイズ量の関係を示す線図。

園 17]上記実施形態 1において、図 16に示すノイズモデルを簡略化して得られるノィ園 18]上記実施形態 1において、図 17に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図。

園 19]上記実施形態 1における第 2ノイズ低減部の構成を示すブロック図。園 20]上記実施形態 1にお!/、て、撮像部が別体である撮像システムの構成を示すブロック図。

園 21]上記実施形態 1における画像処理プログラムによる処理全体の流れを示すフローチャート。

[図 22]上記実施形態 1において、図 21のステップ S4における第 1ノイズ低減処理の詳細を示すフローチャート。

[図 23]上記実施形態 1において、図 21のステップ S5におけるノイズ量推定処理の詳細を示すフローチャート。

[図 24]上記実施形態 1において、図 21のステップ S6における第 2ノイズ低減処理の詳細を示すフローチャート。

園 25]本発明の実施形態 2における撮像システムの構成を示すブロック図。

園 26]上記実施形態 2において、色差線順次型補色フィルタの配置と 2画素混合により出力されるフィールド信号と局所領域とを説明するための図。

[図 27]上記実施形態 2において、図 26 (B)に示した偶数フィールド信号における GC y, MgYe, MgCy, GYe色信号への分離を説明するための図。

園 28]上記実施形態 2における第 1ノイズ低減部の構成を示すブロック図。

園 29]上記実施形態 2において、領域分割部により分割される方向別領域を説明するための図。

園 30]上記実施形態 2におけるノイズ推定部の構成を示すブロック図。

園 31]上記実施形態 2における第 2ノイズ低減部の構成を示すブロック図。

[図 32]上記実施形態 2において、第 2ノイズ低減部により用いる近傍画素を説明するための図。

園 33]上記実施形態 2における画像処理プログラムによる処理全体の流れを示すフローチャート。

[図 34]上記実施形態 2において、図 33のステップ S51における第 1ノイズ低減処理の詳細を示すフローチャート。

[図 35]上記実施形態 2において、図 33のステップ S52におけるノイズ量推定処理の詳細を示すフローチャート。 [図 36]上記実施形態 2において、図 33のステップ S53における第 2ノイズ低減処理の詳細を示すフローチャート。

園 37]本発明の実施形態 3における撮像システムの構成を示すブロック図。

園 38]上記実施形態 3の局所領域における第 1CCDの色フィルタ配置を示す図。園 39]上記実施形態 3の局所領域における第 2CCDの色フィルタ配置を示す図。園 40]上記実施形態 3において、第 2CCDの出力を補間処理して得られる局所領域の R色信号を示す図。

園 41]上記実施形態 3において、第 2CCDの出力を補間処理して得られる局所領域の B色信号を示す図。

[図 42]上記実施形態 3において、図 38に示した G信号と図 40に示した R信号と図 41 に示した B信号とを分離して得られる局所領域の Y信号を示す図。

[図 43]上記実施形態 3において、図 38に示した G信号と図 40に示した R信号と図 41 に示した B信号とを分離して得られる局所領域の Cb信号を示す図。

園 44]上記実施形態 3において、図 38に示した G信号と図 40に示した R信号と図 41 に示した B信号とを分離して得られる局所領域の Cr信号を示す図。

園 45]上記実施形態 3における第 1ノイズ低減部の一構成例を示すブロック図。園 46]上記実施形態 3における第 1ノイズ低減部の他の構成例を示すブロック図。園 47]上記実施形態 3における第 2ノイズ低減部の構成を示すブロック図。

[図 48]上記実施形態 3における 5 X 5画素の平滑化フィルタを示す図。

[図 49]上記実施形態 3における 3 X 3画素の平滑化フィルタを示す図。

園 50]上記実施形態 3において、ノイズ量に応じてどのタイプの平滑化フィルタが選択されるかを示す線図。

[図 51]上記実施形態 3における画像処理プログラムによる処理全体の流れを示すフローチャート。

[図 52]上記実施形態 3において、図 51のステップ S91における第 1ノイズ低減処理の詳細を示すフローチャート。

[図 53]上記実施形態 3において、図 51のステップ S92における第 2ノイズ低減処理の詳細を示すフローチャート。発明を実施するための最良の形態

[0017] 以下、図面を参照して本発明の実施の形態を説明する。

[0018] [実施形態 1]

図 1から図 24は本発明の実施形態 1を示したものであり、図 1は撮像システムの構成を示すブロック図、図 2は局所領域におけるべィヤー（Bayer)型原色フィルタの配置を示す図、図 3は局所領域において分離された R色信号を示す図、図 4は局所領域にぉレ、て分離された Gr色信号を示す図、図 5は局所領域にお!/、て分離された Gb 色信号を示す図、図 6は局所領域において分離された B色信号を示す図、図 7は局所領域における色差線順次型補色フィルタの配置を示す図、図 8は局所領域にお!/ヽて分離された Cy色信号を示す図、図 9は局所領域にお V、て分離された Ye色信号を示す図、図 10は局所領域において分離された G色信号を示す図、図 11は局所領域において分離された Mg色信号を示す図、図 12は 3成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図、図 13は 2成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図、図 14は 1成分から重み係数を合成する第 1ノイズ低減部の構成例を示すブロック図、図 15はノイズ推定部の構成を示すブロック図、図 16は信号レベルに対して推定されるノイズ量の関係を示す線図、図 17は図 16に示すノイズモデルを簡略化して得られるノイズモデルを示す線図、図 18は図 17 に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図、図 19は第 2ノイズ低減部の構成を示すブロック図、図 20は撮像部が別体である撮像システムの構成を示すブロック図、図 21は画像処理プログラムによる処理全体の流れを示すフローチャート、図 22は図 21の S4における第 1ノイズ低減処理の詳細を示すフローチャート、図 23は図 21の S5におけるノイズ量推定処理の詳細を示すフローチャート、図 24は図 21の S6における第 2ノイズ低減処理の詳細を示すフローチヤート、である。

[0019] 図 1に示すように、この撮像システムは、レンズ系 100と、絞り 101と、 CCD102と、温度センサ 103と、増幅部 104と、 A/D変換部 105と、ノッファ 106と、プレホワイトバランス部 107と、測光評価部 108と、合焦点検出部 109と、 AFモータ 110と、色信号分離手段たる色信号分離部 111と、バッファ 112と、局所領域抽出手段たる抽出部 113と、第 1のノイズ低減手段たる第 1ノイズ低減部 114と、ノイズ推定手段たるノィズ推定部 115と、第 2のノイズ低減手段たる第 2ノイズ低減部 116と、信号処理部 117 と、出力部 118と、収集手段であり信号制御手段たる制御部 119と、外部 I/F部 120 と、を備えている。

[0020] レンズ系 100,絞り 101 , CCD102を介して撮影し出力されたアナログの映像信号は、増幅部 104によって増幅され、 A/D変換部 105によってデジタル信号へ変換される。

[0021] この A/D変換部 105からの映像信号は、バッファ 106を介して色信号分離部 111 へ転送される。バッファ 106は、プレホワイトバランス部 107と測光評価部 108と合焦点検出部 109とへも接続されている。

[0022] プレホワイトバランス部 107は増幅部 104へ、測光評価部 108は絞り 101と CCD 10 2と増幅部 104とへ、合焦点検出部 109は AFモータ 110へ、それぞれ接続されてい

[0023] 色信号分離部 111からの信号は、バッファ 112を介して抽出部 113へ接続されている。抽出部 113は、第 1ノイズ低減部 114とノイズ推定部 115と第 2ノイズ低減部 11 6とへ接続されている。

[0024] 第 1ノイズ低減部 114は、ノイズ推定部 115と第 2ノイズ低減部 116とへ接続されている。ノイズ推定部 115は、第 2ノイズ低減部 116へ接続されている。第 2ノイズ低減部 116は、信号処理部 117を介してメモリカードなどの出力部 118へ接続されている

〇

[0025] 制御部 119は、例えばマイクロコンピュータにより構成されていて、増幅部 104, A /D変換部 105,プレホワイトバランス部 107,測光評価部 108,合焦点検出部 109 ,色信号分離部 111 ,抽出部 113,第 1ノイズ低減部 114, ノイズ推定部 115,第 2ノィズ低減部 116,信号処理部 117,出力部 118と双方向に接続されており、これらを制御するようになっている。

[0026] また、外部 I/F部 120も制御部 119と双方向に接続されている。この外部 I/F部 1 20は、電源スィッチ，シャツタボタン，撮影時の各種モードの切り替えを行うためのモ一ドボタン等を備えたインタフェースである。 [0027] さらに、温度センサ 103からの信号も制御部 119へ接続されている。この温度センサ 103は、 CCD102の近傍に配置されていて、該 CCD102の温度を実質的に測定するためのものである。

[0028] 次に、図 1に示したような撮像システムの作用を、映像信号の流れに沿って説明す

[0029] ユーザは、撮影を行う前に、外部 I/F部 120を介して ISO感度などの撮影条件を

E¾疋 ^る。

[0030] その後、ユーザが、外部 I/F部 120の 2段式スィッチでなるシャツタボタンを半押しすると、この撮像システムがプリ撮像モードに入る。

[0031] レンズ系 100は、被写体の光学像を CCD102の撮像面へ結像する。

[0032] ,絞り 101は、レンズ系 100により結像される被写体光束の通過範囲を規定することにより、 CCD102の撮像面に結像される光学像の明るさを変更する。

[0033] CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力する。

[0034] なお、本実施形態においては、 CCD102として、べィヤー（Bayer)型原色フィルタを前面に配置した単板 CCDを想定している。

[0035] ここに、図 2を参照して、べィヤー（Bayer)型原色フィルタの構成について説明する

[0036] べィヤー（Bayer)型の原色フィルタは、 2 X 2画素を基本単位として、この基本単位内の対角する画素位置に赤 (R) ,青（B)フィルタが 1つずつ、残りの対角する画素位置に緑 (Gr, Gb)フィルタがそれぞれ、配置されたものとなっている。なお、緑フィルタ Grと緑フィルタ Gbとは光学特性は同一である力 S、本実施形態においては処理の便宜上、これらを区別している。ここに、赤 (R)フィルタと同一ラインにある緑フィルタが Gr、青（B)フィルタと同一ラインにある緑フィルタが Gbである。

[0037] こうして CCD102から出力されたアナログ信号は、増幅部 104によって所定量だけの増幅が行われた後に、 A/D変換部 105によってデジタル信号へ変換されてバッファ 106へ転送される。なお、本実施形態においては、デジタル化された映像信号の [0038] このバッファ 106内に記憶された映像信号は、プレホワイトバランス部 107と、測光評価部 108と、合焦点検出部 109と、それぞれ転送される。

[0039] プレホワイトバランス部 107は、所定範囲内のレベルの信号を色信号毎に積算（つまり、累計的に加算）することにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部 107は、算出した簡易ホワイトバランス係数を増幅部 104へ転送して、色信号毎に異なるゲインを乗算させることにより、簡易ホワイトバランス処理を行わせる。

[0040] 測光評価部 108は、映像信号に基づき、設定された ISO感度，手ぶれ限界のシャッタ速度などを考慮して、上述した絞り 101の絞り値や CCD102の電子シャツタ速度や増幅部 104の増幅率などを適正露光となるように制御する。

[0041] また、合焦点検出部 109は、映像信号中のエッジ強度を検出し、このエッジ強度が最大となるように AFモータ 110を制御して、合焦信号を得る。

[0042] こうして、簡易ホワイトバランス処理や焦点調節、露出調節などが行われたところで

、ユーザが、外部 I/F部 120の 2段式スィッチでなるシャツタボタンを全押しにすると

、この撮像システムが本撮像モードに入る。

[0043] すると、プリ撮像と同様にして、映像信号がバッファ 106へ転送される。この本撮像は、プレホワイトバランス部 107によって求められた簡易ホワイトバランス係数と、測光評価部 108によって求められた露光条件と、合焦点検出部 109によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 119へ転送される。

[0044] 本撮像によって得られたバッファ 106内の映像信号は、色信号分離部 111へ転送される。

[0045] 色信号分離部 111は、制御部 119の制御に基づき、転送されてきた映像信号を C CD 102で使用されている色フィルタ単位の色信号に分離する。すなわち、本実施形態においては、色信号分離部 111は、図 3に示すような R色信号と、図 4に示すような Gr色信号と、図 5に示すような Gb色信号と、図 6に示すような B色信号と、の 4種類に分離する。そして、色信号分離部 111は、分離した各色信号をバッファ 112^転送す

[0046] 抽出部 113は、制御部 119の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に位置する近傍画素と、を含む局所領域を順次抽出して、第 1ノイズ低減部 114とノイズ推定部 115と第 2ノイズ低減部 116とへそれぞれ転达。

[0047] ここに、抽出部 113は、本実施形態においては、図 3〜図 6に示したような注目画素を中心とする 5 X 5画素の領域を局所領域として抽出するようになっている。そして、ノィズ低減処理は 1画素単位で行われるために、上記 5 X 5画素の局所領域は、注目画素の画素位置を 1画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から 1画素ずらした位置の新たな注目画素に対する局所領域とは、 4行または 4列だけ重複していることになる。なお、抽出部 113による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素値を C (Cは色信号であって C = R, Gr, Gb, B、 iは局所領域内に

ij

おける X座標 (横方向座標）であって i = 0〜4、 jは局所領域内における Y座標（縦方向座標）であって j = 0〜4)により表記することにする。この表記に従えば、局所領域力 X 5画素である場合には、注目画素値は C となる。

22

[0048] 第 1ノイズ低減部 114は、制御部 119の制御に基づき、抽出部 113から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値 C' をノイズ推定部 115と第 2ノイズ低減部 116とへ転送す

22

[0049] ノイズ推定部 115は、制御部 119の制御に基づき、抽出部 113から転送される局所領域と、第 1ノイズ低減部 114から転送されるノイズ低減処理がなされた注目画素値と、制御部 119から転送される撮影時の条件と、に基づいて、注目画素に関するノィズ量 N を推定する。そして、ノイズ推定部 115は、推定したノイズ量を第 2ノイズ低減

22

部 116へ転送する。

[0050] 第 2ノイズ低減部 116は、制御部 119の制御に基づき、第 1ノイズ低減部 114から転送されるノイズ低減処理がなされた注目画素値 C' と、ノイズ推定部 115から転送さ

22

れるノイズ量 N と、に基づいて、抽出部 113からの注目画素（注目画素値 C )に対

22 22 して第 2のノイズ低減処理を行い、ノイズ低減処理後の注目画素値 C〃を算出する。

22

そして、第 2ノイズ低減部 116は、算出した注目画素値 C〃を信号処理部 117へ転送する。

[0051] なお、上述した抽出部 113,第 1ノイズ低減部 114,ノイズ推定部 115,第 2ノイズ低減部 116における各処理は、制御部 119の制御に基づき、局所領域単位で同期して fiわれるようになってレ、る。

[0052] 信号処理部 117は、制御部 119の制御に基づき、ノイズ低減後の映像信号に対して、公知の補間処理、強調処理、および圧縮処理などを行い、処理後の映像信号を出力部 118 転送する。

[0053] 出力部 118は、映像信号をメモリカードなどの記録媒体に記録して保存する。

[0054] 次に、図 12を参照して、第 1ノイズ低減部 114の構成の一例について説明する。

[0055] この第 1ノイズ低減部 114は、重み係数算出手段でありビットシフト手段たるビットシフト部 200と、第 1バッファ 201と、重み係数算出手段たる差成分算出部 202と、第 2 ノッファ 203と、重み係数算出手段，テーブル手段，第 1のテーブル手段を兼ねた差成分用テーブル 204と、昇順積算部 205と、重み係数算出手段であり第 3のテープル手段たる孤立点用テーブル 206と、重み係数算出手段であり第 2のテーブル手段たる座標用テーブル 207と、重み係数算出手段であり合成手段たる重み係数合成部 208と、フイノレタリング手段たるフイノレタリング咅 209と、を備えている。

[0056] 抽出部 113は、ビットシフト部 200とフィルタリング部 209とへ接続されている。ビットシフト部 200は、第 1バッファ 201と差成分算出部 202とを介して第 2バッファ 203へ接続されている。第 2バッファ 203は、差成分用テーブル 204と昇順積算部 205とへ接続されている。昇順積算部 205は、孤立点用テーブル 206へ接続されている。差成分用テーブル 204と孤立点用テーブル 206と座標用テーブル 207とは、重み係数合成部 208へ接続されている。重み係数合成部 208は、フィルタリング部 209へ接続されている。フィルタリング部 209は、ノイズ推定部 115と第 2ノイズ低減部 116とへ接続されている。

[0057] 制御部 119は、ビットシフト部 200,差成分算出部 202,差成分用テーブル 204, 昇順積算部 205,孤立点用テーブル 206,座標用テーブル 207,重み係数合成部 2 08 ,フィルタリング部 209と双方向に接続されており、これらを制御するようになっている。 [0058] ビットシフト部 200は、制御部 119の制御に基づき、抽出部 113からの局所領域内の注目画素値と近傍画素値とに対して所定ビット数の上位ビット成分を抽出する処理を行う。上述したように、本実施形態においては、 A/D変換部 105が 12ビット (bit) 階調でデジタル化することを想定している。この場合に、ビットシフト部 200は、例えば下位 7ビット (bit)をビットシフト処理することにより微小変動成分を除去して、 5ビット (bit)の信号に変換し第 1バッファ 201へ転送する。

[0059] 差成分算出部 202は、ビットシフト処理が行われた局所領域の信号を第 1バッファ 2 01から読み出して、次の数式 1に示すように、局所領域内の画素値 Cと注目画素値 C との差成分の絶対値 Δを算出する。

22 ij

1コ

Δ =

j I C— C

i ij 22 I

[0060] そして、差成分算出部 202は、算出した差成分の絶対値 Δを第 2バッファ 203へ

1J

転送する。

[0061] 差成分用テーブル 204は、制御部 119の制御に基づき、差成分の絶対値 Δを第 2 ノッファ 203から読み出して、差成分の絶対値 Δ に対応する第 1の重み係数 wlをテーブル参照して求める。この差成分用テーブル 204に記録されているテーブルは、例えば次の数式 2に示すような関数式に基づき予め算出されたものとなっている。

2] wl_y = e ²び i ここに、 σ 1は調整用のパラメータであり、 σ 1 = 1〜； 10程度の値を用いるようになつている。

[0062] なお、本実施形態においては、差成分の絶対値 Δが上述したように 5ビット (bit)の信号 (0〜31までの値をとる信号)であるために、差成分用テーブル 204は 32個のテ一ブルサイズとなる。

[0063] そして、差成分用テーブル 204は、求めた第 1の重み係数 wlを重み係数合成部 2 08へ転送する。

[0064] 一方、昇順積算部 205は、制御部 119の制御に基づき、第 2バッファ 203から差成分の絶対値 Δを読み出して、昇順にソートした後に、次の数式 3に示すように、最小値から所定数 mまでを積算した積算値 Rを算出する。

3コ k=\_tm ）ここに、 S 0は昇順にソートした k番目の値を与える関数である。また、 mは注目画素の孤立点の程度を検出するために用いられる近傍画素数を定めるための数であり、例えば使用する画素の総数の半数程度を用いる。従って、 5 X 5 = 25画素の局所領域を用いてレ、る本実施形態にぉレ、ては、 m= 12程度を用いることになる。

[0065] この積算値 Rは、局所領域内において、注目画素に画素値が近い m個の近傍画素との差成分の絶対値 Δを加算したものであるために、積算値 Rが小さければ注目画素と近傍画素との相関性が高ぐ積算値が大きければ孤立点の可能性が高いことを示すものとなっている。

[0066] そして、昇順積算部 205は、算出した積算値 Rと、第 2バッファ 203からの差成分の絶対値 Δ とを、孤立点用テーブル 206 転送する。

[0067] 孤立点用テーブル 206は、制御部 119の制御に基づき、積算値 Rに対応する第 2 の重み係数 w2と、差成分の絶対値 Δ に対応する混合係数 ε と、をテーブル参照することにより求める。

[0068] ここに、孤立点用テーブル 206が記録する第 2の重み係数 w2用のテーブルは、次の数式 4に示すような関数式に基づき予め算出されたものである。

コ

ここに、 σ 2は調整用のパラメータであり、 σ 2 = 25 50程度の値を用いるようになつている。

[0069] また、孤立点用テーブル 206が記録する混合係数 ε 用のテーブルは、次の数式 5 に示すような関数式に基づき予め算出されたものである。

5]

ここに、 σ 3は調整用のパラメータであり、 σ 3 = 30〜60程度の値を用いるようになつている。また、混合係数 ε が取り得る値の範囲は 0〜1である。

[0070] この混合係数 ε は、上述した第 1の重み係数 wlと第 2の重み係数 w2との混合割合を定めるものである。

[0071] なお、本実施形態においては、上述したように、差成分の絶対値 Δ力ビット (bit) の信号であって、かつ m= 12であることを想定しているために、第 2の重み係数 w2 用として 5ビット（bit) X 12→384のテープノレサイズ、混合係数 ε 用として 5ビット（bit

)→32のテーブルサイズが必要となり、合計で 416個のテーブルサイズとなる。

[0072] そして、孤立点用テーブル 206は、求めた第 2の重み係数 w2と混合係数 ε とを、重み係数合成部 208 転送する。

[0073] また、座標用テーブル 207は、制御部 119の制御に基づき、局所領域内の画素の座標値 (i, j)に対応する第 3の重み係数 w3をテーブル参照することにより求める。ここに、座標用テーブル 207が記録する第 3の重み係数 w3用のテーブルは、例えば次の数式 6に示すような関数式に基づき予め算出されたものである。

6コ

M¾ = ⁴² ここに、 σ 4は調整用のパラメータであり、 σ 4 =；!〜 10程度の値を用いるようになつてレ、る。また、 Τは注目画素の X座標、 Τは注目画素の Υ座標をそれぞれ意味して!/、る。従って、局所領域として 5 X 5画素の領域を想定する本実施形態においては、 T = 2, T = 2となる。

[0074] なお、本実施形態においては、局所領域が 5 X 5画素の領域であるために、座標用テーブル 207は 25個のテーブルサイズとなる。

[0075] そして、座標用テーブル 207は、求めた第 3の重み係数 w3を重み係数合成部 20

8へ転送する。 [0076] 重み係数合成部 208は、制御部 119の制御に基づき、差成分用テーブル 204からの第 1の重み係数 wlと、孤立点用テーブル 206からの第 2の重み係数 w2および混合係数 ε と、座標用テーブル 207からの第 3の重み係数 w3と、に基づき、次の数式 7に示すように重み係数 wを算出する。

7]

w = l— ε ) ^ewl · 8 ^ew2 *wJ

ij ij ij ij ij

[0077] そして、重み係数合成部 208は、算出した重み係数 wをフィルタリング部 209へ転

lj

达。

[0078] フィルタリング部 209は、制御部 119の制御に基づき、抽出部 113からの局所領域に対して重み係数合成部 208からの重み係数 wを用いて次の数式 8に示すようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値 C' を算出する。

22

8]

，一』=0，4ゾ =0，4

し 22一 "

;=0,4 ;'=0,4

[0079] なお、数式 8を見れば分かるように、このフィルタリング部 209が行うフィルタリング処理には、重み係数 wの総和により正規化を行う過程も含まれている。

[0080] そして、フィルタリング部 209は、ノイズ低減がなされた注目画素値 C' を、ノイズ推

22

定部 115と第 2ノイズ低減部 116とへ転送する。

[0081] なお、図 12に示した構成の第 1ノイズ低減部 114は、 3つの重み係数を合成してフィルタリング処理を行う構成のものとなっていた力 S、これに限定されるものではない。例えば、使用する重み係数の種類を減らした第 1ノイズ低減部 114の構成も可能である。

[0082] 図 13は、図 12に示したような第 1ノイズ低減部 114の構成から、昇順積算部 205と孤立点用テーブル 206とを除去して、 2つの重み係数を合成する構成例を示したものとなつている。この場合に、重み係数合成部 208は、次の数式 9に基づいて、重み係数 wを算出する。

1J

9] w =wl ^ew3

ij ij ij

[0083] また、図 14は、図 12に示したような第 1ノイズ低減部 114の構成から、昇順積算部 2 05と孤立点用テーブル 206と座標用テーブル 207と重み係数合成部 208とを除去して、 1つの重み係数を用いる構成例を示したものとなっている。なお、この図 14に示す構成においては、差成分用テーブル 204は、フィルタリング部 209へ接続されている。そして、この場合には、第 1ノイズ低減部 114は、重み係数 wとして wlを用いる

ij ij

ことになる。

[0084] これら図 13または図 14に示したような構成を採用すれば、図 12に示した構成よりも

、低コスト化と処理速度の高速化とを図ることが可能となる。

[0085] 次に、図 15を参照して、ノイズ推定部 115の構成の一例について説明する。

[0086] このノイズ推定部 115は、収集手段たるゲイン算出部 300と、付与手段たる標準値付与部 301と、ノラメータ記録手段たるパラメータ用 ROM302と、ノラメータ選択手段たるパラメータ選択部 303と、補間手段たる補間部 304と、補間手段であり補正手段たる補正部 305と、バッファ 306と、孤立点検出手段たる孤立点検出部 307と、を備えている。

[0087] 抽出部 113は、バッファ 306を介して孤立点検出部 307へ接続されている。第 1ノィズ低減部 114とゲイン算出部 300と標準値付与部 301とパラメータ用 ROM302とは、ノラメータ選択部 303へ接続されている。ノラメータ選択部 303は、補間部 304と補正部 305とへ接続されている。さらに、補間部 304と孤立点検出部 307とは、補正部 305へ接続されている。補正部 305は、第 2ノイズ低減部 116へ接続されている。

[0088] 制御部 119は、ゲイン算出部 300,標準値付与部 301 ,パラメータ選択部 303,補間部 304,補正部 305,孤立点検出部 307と双方向に接続されており、これらを制御するようになつている。

[0089] 第 1ノイズ低減部 114は、制御部 119の制御に基づき、フィルタリング処理によりノィズ低減がなされた注目画素値 C' をパラメータ選択部 303へ転送する。

22

[0090] ゲイン算出部 300は、制御部 119から転送される ISO感度および露光条件に関する情報に基づき、増幅部 104における増幅量を求めて、求めた増幅量をパラメータ選択部 303 転送する。 [0091] また、制御部 1 19は、温度センサ 103から CCD 102の温度情報を取得して、取得した温度情報をパラメータ選択部 303へ転送する。

[0092] パラメータ選択部 303は、第 1ノイズ低減部 1 14からのノイズ低減がなされた注目画素値 C' と、ゲイン算出部 300からのゲインの情報と、制御部 1 19からの温度情報と、に基づきノイズ量を推定するためのパラメータの選択を行う。

[0093] ここで、パラメータ選択部 303、補間部 304、および補正部 305により行われるノィズ量の推定について、図 16〜図 18を参照して説明する。

[0094] 図 16は、信号レベル Lに対して推定されるノイズ量 Nをプロットしたものである。図示のように、ノイズ量 Nは、信号レベル Lに対して例えば 2次曲線的に増加している。この図 16に示すようなノイズ量 Nの変化を 2次関数を用いてモデル化すると、例えば次の数式 10に示すようになる。◎。

[0095] [¾10]

N = a L²+ /3 L + γ

ここに、 α , β , γは、 2次関数の関数形状を決める定数項である。

[0096] ただし、ノイズ量 Νは、信号レベル Uこのみ依存するわけではなぐ撮像素子の温度やゲインによっても変化する。そこで、図 16は、ある温度下において、ゲインに関連する 3種類の ISO感度 100, 200, 400に対するノイズ量を、一例としてプロットしたものとなつている。

[0097] 図 16に示す個々の曲線は、数式 10に示すような曲線形状となっている力 S、その定数項 α , β , γは、ゲインに関連する ISO感度により異なっている。さらに、定数項 α , /3 , γは、温度によっても異なる。そこで、温度を t、ゲインを gとして、これら温度 tやゲイン gへの依存性も考慮してノイズモデルの定式化を行うと、次の数式 1 1に示すようになる。

1 1 ]

N = a L²+ β L + γ

ここに、 α , /3 , γ は、 2次関数の関数形状を決める定数項であり、上述したように温度 tおよびゲイン gに依存して決まる定数項である。

[0098] ただし、数式 1 1に示すような関数を温度 tとゲイン gとの組み合わせに応じて複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために

、図 17に示すようなモデルの簡略化を行う。

[0099] この簡略化モデルにおいては、まず、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択して、この基準ノイズモデルを所定数の折れ線により近似する（図 1

7の実線で示す折れ線参照）。

[0100] この折れ線の変曲点は、信号レベル Lとノイズ量 Nとを成分とする座標データ（L ,

n

N )により表す。ここに、 nは、変曲点が、信号レベル Lの値が小さい方から何番目の n

変曲点である力、を示す数である。

[0101] さらに、簡略化モデルにおいては、上述した基準ノイズモデルから、他のノイズモデルを導出するための補正係数 kも用意する。この補正係数 k は、各ノイズモデルと gt gt

基準ノイズモデルとの間において最小自乗法により予め算出して求められたものである。そして、この補正係数 k は、パラメータ用 ROM302に予め記憶されている。

gt

[0102] 基準ノイズモデルから他のノイズモデルを導出するには、温度 tおよびゲイン gに応じた補正係数 kをパラメータ用 ROM302から探索して、探索した補正係数 kを基準 gt gt ノイズモデルに乗算することにより行われる。

[0103] 図 18を参照して、図 17に示したような簡易化されたノイズモデルから、ノイズ量を算出する方法につ!/、て説明する。

[0104] 例えば、与えられた信号レベルを 1、ゲインを g、温度を tとし、これらの条件に対応するノイズ量 Nを求めることを想定する。

[0105] このときには、まず、信号レベル 1が、基準ノイズモデルのどの区間に属する力、を探索する。ここでは、信号レベル 1が、例えば (L , N )と（L , N )との間の区間に属

n n n+1 n+1

するものとする。すると、基準ノイズモデルにおける基準ノイズ量を、次の数式 12に示すような線形補間によって求める。

ほ女 12]

- L_n

[0106] 次に、求めた基準ノイズ量 Nに補正係数 kを乗算することにより、次の数式 13に示

1 gt

すように、ノイズ量 Nを求める。 13]

N = k -N

gt 1

[0107] このような原理に沿って、パラメータ選択部 303、補間部 304、および補正部 305により、ノイズ量の推定が次のように行われる。

[0108] すなわち、まず、パラメータ選択部 303は、第 1ノイズ低減部 114からのノイズ低減がなされた注目画素値 C' 力も信号レベル 1を、ゲイン算出部 300からのゲインの情

22

報からゲイン gを、制御部 119からの温度情報から温度 tを、それぞれ設定する。

[0109] 次に、ノラメータ選択部 303は、信号レベル 1が属する区間の座標データである（L

n

, N )と（L , N )とを、ノラメータ用 ROM302から探索して、探索した各座標デー n i +l i +l

タを補間部 304へ転送する。

[0110] さらに、ノラメータ選択部 303は、ゲイン gおよび温度 tに対応する補正係数 kをパ

gt ラメータ用 ROM302から探索して、探索した補正係数 kを補正部 305へ転送する。

gt

[0111] 続いて、補間部 304は、制御部 119の制御に基づき、パラメータ選択部 303からの信号レベル 1と、区間の座標データ（L , N )および (L , N )と、に基づき、数式 12

n n n+1 n+1

を用いて基準ノイズモデルにおける基準ノイズ量を算出する。そして、補間部 304 は、算出した基準ノイズ量 Nを補正部 305へ転送する。

[0112] その後、補正部 305は、制御部 119の制御に基づき、パラメータ選択部 303からの補正係数 k と、補間部 304からの基準ノイズ量 Nと、に基づき、数式 13を用いてノィ

gt 1

ズ量 Nを算出する。

[0113] 一方、抽出部 113は、制御部 119の制御に基づき、局所領域をバッファ 306へ転达。

[0114] 孤立点検出部 307は、バッファ 306上の局所領域に関して、該局所領域内の注目画素が孤立点であるか否かを検出する。この検出は、注目画素と、該注目画素の周囲 8近傍画素と、の大小関係に基づき行われる。ここに、本実施形態の局所領域は、図 3〜図 6に示すような 5 X 5画素の局所領域となっている力 S、このような局所領域内において、数式 14または数式 15の何れかが成立する場合に、孤立点検出部 307は、孤立点が検出されたと判断し、数式 14が成立せずかつ数式 15が成立しない場合に孤立点が検出されな!/、と判断するようになって!/、る。 c >c かつ c >c かつ c >c かつ c >c

22 11 22 21 22 31 22 12 かつ c >c かつ c >c かつ c >c かつ c >c

22 32 22 13 22 23 22 33

ほ女 15]

c <c かつ c <c かつ c <c かつ c <c

22 11 22 21 22 31 22 12 かつ c <c かつ c <c かつ c <c かつ c <c

22 32 22 13 22 23 22 33

[0115] ここに、数式 14は、注目画素値 C が周囲 8近傍画素の何れよりも大きいことを示す

22

条件式であり、数式 15は、注目画素値 C が周囲 8近傍画素の何れよりも小さいこと

22

を示す条件式である。

[0116] そして、孤立点検出部 307は、このような孤立点検出の結果を、補正部 305へ転送する。

[0117] 補正部 305は、制御部 119の制御に基づき、孤立点検出部 307から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量 Nに所定の補正係数 k、例えば k = l . 5〜4を乗算する。

[0118] そして、補正部 305は、補正したノイズ量 Nを、注目画素値 C に対して推定された

22

ノイズ量 N として、第 2ノイズ低減部 116へ転送する。

22

[0119] なお、上述では温度 tやゲイン gなどの情報を撮影毎に求めて、ノイズ量の算出に用いるようにしているが、これに限るものではない。例えば、任意の情報を標準値付与部 301に予め記録しておき、ノイズ量の算出時に標準値付与部 301に記録されている情報を読み出して使用することにより、算出過程を省略することも可能である。このような構成を採用すれば、処理の高速化や省電力化などを図ることが可能となる。

[0120] 次に、図 19を参照して、第 2ノイズ低減部 116の構成の一例について説明する。

[0121] この第 2ノイズ低減部 116は、ノイズ範囲設定手段たる範囲設定部 400と、切り換え部 401と、第 1のスムージング手段たる第 1スムージング部 402と、第 2のスムージング手段たる第 2スムージング部 403と、を備えて!/、る。

[0122] 第 1ノイズ低減部 114とノイズ推定部 115とは、範囲設定部 400へ接続されている。

範囲設定部 400は、切り換え部 401と第 1スムージング部 402と第 2スムージング部 4 03とへ接続されている。抽出部 113は、切り換え部 401へ接続されている。切り換え部 401は、第 1スムージング部 402と第 2スムージング部 403とへ接続されている。第 1スムージング部 402と第 2スムージング部 403とは、信号処理部 117へ接続されている。

[0123] 制御部 119は、範囲設定部 400,切り換え部 401 ,第 1スムージング部 402,第 2スムージング部 403と双方向に接続されており、これらを制御するようになっている。

[0124] 第 1ノイズ低減部 114は、第 1のノイズ低減がなされた注目画素値 C' を範囲設定

22

部 400へ転送する。また、ノイズ推定部 115は、注目画素に関して推定されたノイズ量 N を、範囲設定部 400^転送する。

22

[0125] 範囲設定部 400は、制御部 119の制御に基づき、ノイズ量に関する許容範囲の上限 Upと下限 Lowとを、次の数式 16に示すように設定する。

16]

Up =C +N /2

22 22

Low=C — N /2

22 22

[0126] そして、範囲設定部 400は、設定した許容範囲の上限 Upおよび下限 Lowを、切り換え部 401へ転送する。さらに、範囲設定部 400は、ノイズ量 N と第 1のノイズ低減

22

がなされた注目画素値 C' とを、第 1スムージング部 402と第 2スムージング部 403と

22

転送する。

[0127] 切り換え部 401は、制御部 119の制御に基づき、抽出部 113からの注目画素値 C

22 を読み込んで、この注目画素値 C 、範囲設定部 400から転送された許容範囲に

22

属するか否かを判断する。この判断の結果は、「ノイズ範囲に属している」，「ノイズ範囲を上回って!/、る」 , 「ノイズ範囲を下回って!/、る」の三通りの何れかとなる。

[0128] そして、切り換え部 401は、注目画素値 C が「ノイズ範囲に属している」と判断した

22

場合には、該注目画素値 C を第 1スムージング部 402へ転送し、それ以外の判断を

22

行った場合には、注目画素値 C を第 2スムージング部 403へ転送する。

22

[0129] 第 1スムージング部 402は、切り換え部 401から注目画素値 C が転送された場合

22

には、数式 17に示すように、範囲設定部 400からの第 1のノイズ低減がなされた注目画素値 C' を、第 2のノイズ低減がなされた注目画素値 C" に代入する。

22 22

ほ女 17] [0130] そして、第 1スムージング部 402は、第 2のノイズ低減処理がなされた注目画素値 C " を信号処理部 117へ転送する。

22

[0131] 一方、第 2スムージング部 403は、切り換え部 401から注目画素値 C が転送された

22

場合には、該注目画素値 C を、範囲設定部 400からのノイズ量 N に基づき補正す

22 22

る処理を行う。

[0132] すなわち、第 2スムージング部 403は、注目画素値 C 力 S「ノイズ範囲を上回ってい

22

る」と判断された場合には、次の数式 18に示すように注目画素値 C を補正して、第 2

22

のノイズ低減処理がなされた注目画素値 c〃を算出する。

また、第 2スムージング部 403は、注目画素値 C が「ノイズ範囲を下回って!/、る」と

22

判断された場合には、次の数式 19に示すように注目画素値 C を補正して、第 2のノ

22

ィズ低減処理がなされた注目画素値 C" を算出する。

22

19]

[0134] そして、第 2スムージング部 403は、数式 18または数式 19により算出した第 2のノィズ低減がなされた注目画素値 C" を、信号処理部 117へ転送する。

22

[0135] なお、上述では、撮像素子としてべィヤー（Bayer)型原色フィルタを用いる構成を例に挙げた力このような構成に限定されるものではない。例えば、図 7に示すような色差線順次型補色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良い。例えば、図 7に示すような色差泉順次型補色フィルタを用いる構成を採用する場合には、色信号分離部 111は、撮像素子からの映像信号を、図 8に示すような Cy (シアン）の色信号と、図 9に示すような Ye (イェロー）の色信号と、図 10に示すような G (緑）の色信号と、図 11に示すような Mg (マゼンタ）の色信号と、の 4種類の色信号に分離することになる。そして、抽出部 113は、これら図 8〜図 11に示すように、注目画素を中心とする 5 X 5画素を局所領域として設定することになる。また、局所領域内の画素値 Cを表記する Cは、 C = Cy ， Mg, Ye, Gとなる。

[0136] また、上述ではレンズ系 100,絞り 101 , CCD102,温度センサ 103,増幅部 104, A/D変換部 105,プレホワイトバランス部 107,測光評価部 108,合焦点検出部 10 9, AFモータ 110を含む撮像部（撮像系）を一体化した構成の撮像システムについて説明したが、撮像システムとしてはこのような構成に限定される必要はない。例えば、図 20に示すように、撮像部が別体であっても構わない。すなわち、図 20に示す撮像システムは、別体の撮像部により撮像され、未処理のままの Rawデータとしてメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部からこの撮像システムの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0137] この図 20に示す撮像システムは、図 1に示した撮像システムから、レンズ系 100,絞り 101 , CCD102,温度センサ 103,増幅部 104, A/D変換部 105,プレホワイトバランス部 107,測光評価部 108,合焦点検出部 109, AFモータ 110を省略して、入力部 500,ヘッダ情報解析部 501を追加した構成となっている。この図 20に示す撮像システムにおけるその他の基本的な構成は図 1に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。

[0138] 入力部 500は、バッファ 106およびヘッダ情報解析部 501へ接続されている。制御部 119は、入力部 500,ヘッダ情報解析部 501と双方向に接続されていて、これらを制御するようになっている。

[0139] 次に、この図 20に示す撮像システムにおいて異なる作用は、以下のようになつてい

[0140] 例えばマウスやキーボードなどの外部 I/F部 120を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部 50

[0141] 入力部 500から読み込まれた情報の内の、映像信号はバッファ 106 ヘッダ情報はヘッダ情報解析部 501へ、それぞれ転送される。

[0142] ヘッダ情報解析部 501は、入力部 500から転送されたヘッダ情報に基づき、撮影時の情報 (すなわち、上述したような露光条件、撮像素子の温度など)を抽出して制御部 119 転送する。

[0143] これ以降の処理は、図 1に示したような撮像システムと同様である。

[0144] さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものでもない。例えば、 CCD102からの映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部 119からの撮影時の撮像素子の温度や露光条件など）をッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プロダラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0145] 図 21を参照して、画像処理プログラムによる処理全体の流れについて説明する。

[0146] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む (ステップ S1)。

[0147] 次に、撮像素子に使用されている色フィルタの色毎に、映像信号を色信号分離する（ステップ S 2)。

[0148] 続いて、図 3〜図 6に示したように、注目画素を中心とする局所領域を抽出する（ステツプ S3)。

[0149] そして、後で図 22を参照して説明するように、注目画素に対して第 1ノイズ低減処理を行う（ステップ S4)。

[0150] さらに、後で図 23を参照して説明するように、注目画素に関するノイズ量を推定する（ステップ S 5)。

[0151] その後、後で図 24を参照して説明するように、注目画素に対して第 2ノイズ低減処理を行う（ステップ S6)。

[0152] 次に、全ての局所領域についての処理が完了したか否かを判断する（ステップ S7) 。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップ S 3へ戻って未処理の局所領域について上述したような処理を行う。

[0153] 一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップ S 8)。ここで、全ての色信号にっレ、ての処理が完了して!/、な!/、と判断された場合には、ステップ S 2 へ戻って、未処理の色信号につ V、て上述したような処理を行う。

[0154] また、全ての色信号についての処理が完了したと判断された場合には、公知の補間処理、強調処理、圧縮処理などを行う（ステップ S 9)。

[0155] そして、処理後の映像信号を出力して (ステップ S 10)、この処理を終了する。

[0156] 次に、図 22を参照して、上記ステップ S4における第 1ノイズ低減処理の詳細を説明する。

[0157] この処理を開始すると、数式 2 ,数式 4 ,数式 5 ,数式 6に示したような関数式に基づ V、て算出された 3つの重み係数および混合係数を記録するテーブルを入力する (ステツプ S 20)。

[0158] 続いて、局所領域内における各画素の画素値と注目画素値との差成分の絶対値

Δを、数式 1に示したように算出する (ステップ S 21)。

[0159] そして、差成分の絶対値 Δ に対応する第 1の重み係数 wlをテーブルから求める（ステップ S 22)。

[0160] さらに、数式 3に示したように、差成分の絶対値 Δを昇順にソートした後に、最小値力も所定数 mまでを積算した積算値 Rを算出する (ステップ S 23)。

[0161] 次に、積算値 Rに対応する第 2の重み係数 w2と、差成分の絶対値 Δ に対応する混合係数 ε と、をテーブルから求める（ステップ S 24)。

[0162] 続いて、局所領域内の座標値に対応する第 3の重み係数 w3をテーブルから求める（ステップ S 25)。

[0163] さらに、数式 7に示したように、重み係数 wを算出する（ステップ S 26)。

ij

[0164] そして、重み係数 wを用いて局所領域に対して数式 8に示したようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値を算出する（ステップ S 27)。

[0165] その後、第 1のノイズ低減がなされた注目画素値を出力して (ステップ S 28)、図 21 に示した処理へリターンする。 [0166] 次に、図 23を参照して、上記ステップ S5におけるノイズ量推定処理の詳細を説明する。

[0167] この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる (ステップ S 30)。

[0168] 続いて、基準ノイズモデルの座標データと補正係数とを読み込む (ステップ S31)。

[0169] さらに、第 1のノイズ低減がなされた注目画素値が属する基準ノイズモデルの区間の座標データと、温度やゲインに対応する補正係数と、を選択する（ステップ S32)。

[0170] そして、数式 12に示したような補間処理を行って、基準ノイズ量を求める (ステップ S

33)。

[0171] また、数式 14および数式 15の処理を行って、注目画素が孤立点であるか否かを検出する（ステップ S34)。

[0172] 次に、数式 13に示したような補正処理を行うことによりノイズ量を算出する。なお、注目画素が孤立点であると検出された場合には、算出したノイズ量に所定の補正係数をさらに乗算する (ステップ S35)。

[0173] その後、算出されたノイズ量を出力して（ステップ S36)、図 21に示した処理へリターンする。

[0174] 次に、図 24を参照して、上記ステップ S6における第 2ノイズ低減処理の詳細を説明する。

[0175] この処理を開始すると、まず、注目画素値に関して数式 16に示すような許容範囲を設定する（ステップ S40)。

[0176] 続いて、注目画素値が許容範囲内に属するか否かを判断する（ステップ S41)。

[0177] ここで、注目画素値が許容範囲内に属すると判断された場合には、数式 17に示したような処理を行う（ステップ S42)。

[0178] また、ステップ S41において、注目画素値が許容範囲内に属さないと判断された場合には、注目画素値がノイズ範囲を上回っているか下回っているかに応じて、数式 1

8または数式 19に示したような処理を行う（ステップ S43)。

[0179] その後、第 2のノイズ低減がなされた注目画素値を出力して (ステップ S44)、図 21 に示した処理へリターンする。

[0180] なお、処理の対象となる映像信号は、静止画の映像信号だけではなぐ時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。

[0181] このような実施形態 1によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。

[0182] また、複雑なエッジ領域にお!/、てもエッジ成分の影響を抑制して!/、るために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができ

[0183] 第 1のノイズ低減処理は、信号のレベル差に基づき重み係数を求めているためにェッジ成分の影響を効果的に抑制することができ、座標位置に基づき重み係数を求めているためにフィルタリング処理における副作用の発生を低減することができ、信号のレベル差から孤立点を検出して孤立点の検出結果に基づき重み係数を求めているために孤立点ノイズを効果的に抑制することができる。また、テーブルにより重み係数を求めているために、処理速度を高速化することができる。さらに、ビットシフト処理をした映像信号から重み係数を求めて!/、るために、テーブルサイズを縮小することができ、撮像システムの低コスト化を図ることができる。そして、ビットシフトにより微小なノイズ成分が除去されるために、処理の安定性および信頼性を向上することができる

[0184] また、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。さらに、補間処理は実装が容易であるために、システムを低コストに構築することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。

[0185] さらに、第 2のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。そして、べィヤー（Bayer)型原色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。

[0186] [実施形態 2]

図 25から図 36は本発明の実施形態 2を示したものであり、図 25は撮像システムの構成を示すブロック図、図 26は色差線順次型補色フィルタの配置と 2画素混合により出力されるフィールド信号と局所領域とを説明するための図、図 27は図 26 (B)に示した偶数フィールド信号における GCy, MgYe, MgCy, GYe色信号への分離を説明するための図、図 28は第 1ノイズ低減部の構成を示すブロック図、図 29は領域分割部により分割される方向別領域を説明するための図、図 30はノイズ推定部の構成を示すブロック図、図 31は第 2ノイズ低減部の構成を示すブロック図、図 32は第 2ノィズ低減部により用いる近傍画素を説明するための図、図 33は画像処理プログラムによる処理全体の流れを示すフローチャート、図 34は図 33のステップ S51における第 1ノイズ低減処理の詳細を示すフローチャート、図 35は図 33のステップ S52におけるノイズ量推定処理の詳細を示すフローチャート、図 36は図 33のステップ S53における第 2ノイズ低減処理の詳細を示すフローチャート、である。

[0187] この実施形態 2において、上述の実施形態 1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0188] 本実施形態の撮像システムは、上述した実施形態 1の図 1に示した撮像システムに、信号記録手段たるバッファ 603,フレーム合成部 604を追加し、第 1ノイズ低減部 1 14,ノイズ推定部 115,第 2ノイズ低減部 116を第 1のノイズ低減手段たる第 1ノイズ低減部 600,ノイズ推定手段たるノイズ推定部 601 ,第 2のノイズ低減手段たる第 2ノィズ低減部 602にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態 1と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。

[0189] 抽出部 113は、第 1ノイズ低減部 600とノイズ推定部 601と第 2ノイズ低減部 602とへ接続されている。第 1ノイズ低減部 600は、ノイズ推定部 601へ接続されている。ノィズ推定部 601は、第 2ノイズ低減部 602へ接続されている。第 2ノイズ低減部 602は、バッファ 603と双方向に接続されている。ノッファ 603は、フレーム合成部 604へ接続されている。フレーム合成部 604は、信号処理部 117へ接続されている。

[0190] 制御部 119は、第 1ノイズ低減部 600,ノイズ推定部 601 ,第 2ノイズ低減部 602,フレーム合成部 604とも双方向に接続されており、これらも制御するようになっている。

[0191] 次に、図 25に示したような撮像システムの作用は、基本的に実施形態 1と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。

[0192] 本実施形態においては、 CCD102として、色差線順次型補色フィルタを前面に配置した単板 CCDを想定している。さらに、本実施形態においては、映像信号として、時系列的に取り込まれる複数の映像信号により構成される動画像を想定している。

[0193] ここに、図 26 (A)は、色差線順次型補色フィルタの構成を示している。この色差線順次型補色フィルタは、 2 X 2画素を基本単位として、シアン（Cy)およびイェロー（Y e)が 2 X 2画素の同一ラインに、マゼンタ（Mg)および緑（G)が 2 X 2画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Mg) ,緑 (G)の位置は、ライン毎に反転するように構成されている。

[0194] CCD102からの出力は、図 26 (B)に示すような偶数フィールド信号と、図 26 (C)に示すように奇数フィールド信号と、に分かれている。そして、これらが時系列的に交互に出力されることになる。

[0195] ここに、図 26 (B)は 2画素混合による偶数フィールド信号と注目画素とを示し、図 2

6 (C)は 2画素混合による奇数フィールド信号と注目画素とを示して!/、る。

[0196] 偶数フィールド信号は、図 26 (B)に示すように、（2n—l)ラインと 2nラインとの間で垂直方向に 2画素混合された信号となっている。また、奇数フィールド信号は、図 26 (

C)に示すように、 2nラインと（2n+ l)ラインとの間で垂直方向に 2画素混合された信号となっている。ここに、 nは 1以上の整数である。

[0197] このような混合を行うことにより、偶数フィールド信号および奇数フィールド信号は、

G + Cy (以降は GCyと表記する）と、 Mg + Ye (以降は MgYeと表記する）と、 Mg +

Cy (以降は MgCyと表記する）と、 G + Ye (以降は GYeと表記する）と、の 4種類の色信号により構成されることになる。

[0198] そして、上述したような偶数フィールド信号と奇数フィールド信号とを合成することにより、 1枚の映像信号 (以降は、フレーム信号と表記する）が完成する。 [0199] ノッファ 106は、 2フレーム分、すなわち 4フィールド分の映像信号を記録するものとする。このとき、バッファ 106上の映像信号は、時系列的に過去のものから上書きされて、新しい映像信号に置換される。

[0200] 色信号分離部 111は、制御部 119の制御に基づき、例えば図 27に示すように、フィールド信号を GCy, MgYe, MgCy, GYeの 4種類の色信号に分離して、ノッファ 1 12へ転送する。なお、図 27は、図 26 (B)に示した偶数フィールド信号を分離する様子を示している。

[0201] 続くバッファ 112は、 4種類の色信号を、 2フレーム分、すなわち 4フィールド分記録するものとする。このバッファ 112の色信号も、上述したバッファ 106と同様に、時系列的に過去のものから上書きされて、新しい色信号に置換される。

[0202] 抽出部 113は、制御部 119の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を複数のフィ一ルド信号、例えば本実施形態においては 3フィールドの信号から順次抽出して、第 1ノイズ低減部 600とノイズ推定部 601と第 2ノイズ低減部 602とへ転送する。

[0203] 本実施形態においては、抽出部 113は、図 27に示すように 1フィールドの各色信号力、ら注目画素を中心とする 5 X 3画素を抽出して、これを 3フィールド分まとめて局所領域として設定する。従って、近傍画素は、注目画素の空間的近傍に位置しかつ時間的近傍に位置する画素となる。ここに、図 32 (A)は、 2次元空間および時間に分布する（つまり 3次元的に分布する）局所領域の状態を示している。なお、注目画素の座標位置は、偶数フィールド信号と奇数フィールド信号とで 1ライン分異なってレ、る。

[0204] また、これ以降は、局所領域内の画素値を C^k (Cは色信号であって C = GCy, Mg ij

Ye, MgCy, GYe、 iは局所領域内における X座標（横方向座標）であって i = 0〜4、 jは局所領域内における Y座標（縦方向座標）であって偶数フィールドの場合には j = 0, 4, 8,奇数フィールドの場合には j = l , 5, 9、 kはフィールド信号の時刻であって、現フィールドを tとした場合に k = t, t- 1 , t— 2)により表記することにする。この表記に従えば、注目画素値は、偶数フィールドの場合には ^ 、奇数フィールドの場合

24

にはとなる。

25

[0205] 第 1ノイズ低減部 600は、制御部 119の制御に基づき、抽出部 113からの注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部 601と第 2ノイズ低減部 602とへ転送する。

[0206] ノイズ推定部 601は、制御部 119の制御に基づき、抽出部 113からの局所領域と、第 1ノイズ低減部 600からのノイズ低減処理がなされた注目画素値と、制御部 119からの撮影時の条件と、を用いて、注目画素に関するノイズ量を推定する。ノイズ推定部 601は、推定したノイズ量を、第 2ノイズ低減部 602へ転送する。

[0207] 第 2ノイズ低減部 602は、制御部 119の制御に基づき、ノイズ推定部 601からのノィズ量と、バッファ 603からの時系列的に過去にノイズ低減処理がなされた映像信号と、を用いて、抽出部 113からの注目画素に対してノイズ低減処理を行う。第 2ノイズ低減部 602は、ノイズ低減処理後の注目画素値を、バッファ 603へ転送する。

[0208] なお、上述した抽出部 113,第 1ノイズ低減部 600,ノイズ推定部 601 ,第 2ノイズ低減部 602における各処理は、制御部 119の制御に基づき、局所領域単位で同期して fiわれるようになってレ、る。

[0209] フレーム合成部 604は、制御部 119の制御に基づき、バッファ 603からノイズ低減処理がなされた偶数フィールド信号とノイズ低減処理がなされた奇数フィールド信号とを読み出して、 1枚のフレーム信号を合成する。さらに、フレーム合成部 604は、本実施形態においては、フレーム信号を合成するときに、次の数式 20に示すように、輝度信号 Yおよび色差信号 Cb, Crへの変換も同時に行う。

20コ

Y = GCy+MgYe または Y=MgCy+GYe

Cb = MgCy-GYe

Cr = MgYe-GCy

[0210] そして、フレーム合成部 604は、フレーム信号へ合成して、さらに輝度信号 Yおよび色差信号 Cb, Cr 変換した映像信号を、信号処理部 117 転送する。

[0211] 信号処理部 117は、制御部 119の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部 118 転达。

[0212] 出力部 118は、映像信号をメモリカードやディスク媒体などの記録媒体に順次記録して保存する。

[0213] 次に、図 28を参照して、第 1ノイズ低減部 600の構成の一例について説明する。

[0214] この第 1ノイズ低減部 600は、領域分割手段たる領域分割部 700と、第 1バッファ 70 1と、分散算出手段たる分散算出部 702と、第 2バッファ 703と、領域選択手段たる領域選択部 704と、平均値算出手段たる平均値算出部 705と、を備えている。

[0215] 抽出部 113は、領域分割部 700を介して第 1バッファ 701へ接続されている。第 1 ノッファ 701は、分散算出部 702と領域選択部 704とへ接続されている。分散算出部 702は、第 2バッファ 703を介して領域選択部 704へ接続されている。領域選択部 704は、平均値算出部 705へ接続されている。平均値算出部 705は、ノイズ推定部 6 01と第 2ノイズ低減部 602とへ接続されている。

[0216] 制御部 119は、領域分割部 700,分散算出部 702,領域選択部 704,平均値算出部 705と双方向に接続されており、これらを制御するようになっている。

[0217] 領域分割部 700は、制御部 119の制御に基づき、抽出部 113からの局所領域の一部、本実施形態においては現フィールド信号の時刻 tにおける映像信号を抽出して、注目画素を基点として所定方向の複数の方向別領域へ分割する。ここに、図 29は、偶数フィールド信号における方向別領域の一例を示すものである。この図 29に示す方向另¹ J領域は、 0° , 45° , 90° , 135° , 180° , 225° , 270° , 315° の 8方向の方向別領域となっている。そして、各方向別領域は、何れも、注目画素を含む 4 画素から構成される（従って、 2つの方向別領域の境界線上に位置する画素は、これら 2つの方向別領域の両方に含まれることになる。また、注目画素は全ての方向別領域に含まれることになる）。

[0218] 方向別領域に分割された映像信号は、第 1バッファ 701 転送される。分散算出部 702は、制御部 119の制御に基づき、方向別領域を順次読み込んで、各方向別領域の分散値を算出する。分散算出部 702は、算出した分散値を第 2バッファ 703 転送する。

[0219] 領域選択部 704は、制御部 119の制御に基づき、第 2バッファ 703から方向別領域の分散値を読み込んで、最小の分散値を与える方向別領域を選択する。次に、領域選択部 704は、選択した方向別領域に属する映像信号を第 1バッファ 701から読み込んで、この映像信号を平均値算出部 705^転送する。

[0220] 平均値算出部 705は、制御部 119の制御に基づき、領域選択部 704から転送される方向別領域の平均値を算出する。平均値算出部 705は、算出した平均値を、ノィズ低減がなされた注目画素値 C" (偶数フィールド信号の場合)または C" 、（奇数フ

24 25 ィールド信号の場合）としてノイズ推定部 601および第 2ノイズ低減部 602 転送する

[0221] 次に、図 30を参照して、ノイズ推定部 601の構成の一例について説明する。

[0222] このノイズ推定部 601は、上述した実施形態 1の図 15に示したノイズ推定部 115にノイズテーブル手段たるノイズテーブル部 800を追加し、パラメータ用 ROM302とパラメータ選択部 303と補間部 304とを省略した構成になって!/、る。その他の基本的な構成は図 15に示したノイズ推定部 115と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。

[0223] 第 1ノイズ低減部 600とゲイン算出部 300と標準値付与部 301とは、ノイズテーブル部 800 接続されている。ノイズテーブル部 800と孤立点検出部 307とは、補正部 3 05 接続されている。

[0224] 制御部 119は、ノイズテーブル部 800とも双方向に接続されており、これも制御するようになつている。

[0225] 第 1ノイズ低減部 600は、制御部 119の制御に基づき、ノイズ低減がなされた注目画素値 C" (偶数フィールド信号の場合)または C" 、（奇数フィールド信号の場合）

24 25

をノイズテーブル部 800 転送する。

[0226] ゲイン算出部 300は、制御部 119から転送される ISO感度および露光条件に関する情報に基づき、増幅部 104における増幅量を求めて、求めた増幅量をノイズテーブル部 800 転送する。

[0227] また、制御部 119は、温度センサ 103から CCD102の温度情報を取得して、取得した温度情報をノイズテーブル部 800 転送する。

[0228] ノイズテーブル部 800は、第 1ノイズ低減部 600からのノイズ低減がなされた注目画素値と、ゲイン算出部 300からのゲインの情報と制御部 119からの温度情報と、に基づいてノイズ量を求める。このノイズテーブル部 800は、温度，信号レベル，ゲインと、ノイズ量と、の間の関係を記録するルックアップテーブルであり、上述した実施形態 1と同様の手段により構築されたものである。ノイズテーブル部 800は、求めたノイズ量 Nを補正部 305へ転送する。

[0229] 補正部 305は、上述した実施形態 1と同様に、孤立点検出部 307から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量 Nに所定の補正係数 k、例えば k = l . 5〜4を乗算する。補正部 305で補正されたノイズ量 Nは、注目画素値（偶数フィールド信号の場合）のノイズ量 N 、または注目画素値（奇数フ

24 24 25 ィールド信号の場合）のノイズ量 N として、第 2ノイズ低減部 602へ転送される。

25

[0230] 次に、図 31を参照して、第 2ノイズ低減部 602の構成の一例について説明する。

[0231] この第 2ノイズ低減部 602は、前局所領域抽出手段たる前局所領域抽出部 900と、第 1の差分手段たる第 1差分部 901と、バッファ 902と、動き量推定手段たる動き推定部 903と、差分成分選択手段たる差分成分選択部 904と、動き量補償手段たる動き補償部 905と、第 2の差分手段たる第 2差分部 906と、を備えている。

[0232] 抽出部 113は、第 1差分部 901と第 2差分部 906とへ接続されている。バッファ 603 は、前局所領域抽出部 900を介して第 1差分部 901へ接続されている。第 1差分部 9 01は、バッファ 902へ接続されている。ノッファ 902は、動き推定部 903と動き補償部 905とへ接続されている。ノイズ推定部 601は、動き推定部 903へ接続されている。動き推定部 903は、差分成分選択部 904を介して動き補償部 905 接続されている。動き補償部 905は、第 2差分部 906へ接続されている。第 2差分部 906は、バッファ 603へ接続されている。

[0233] 制御部 119は、前局所領域抽出部 900,第 1差分部 901 ,動き推定部 903,差分成分選択部 904,動き補償部 905,第 2差分部 906と双方向に接続されており、これらを制卸するようになってレ、る。

[0234] 前局所領域抽出部 900は、制御部 119の制御に基づき、バッファ 603から時系列的に過去のノイズ低減処理がなされた複数の映像信号から、現注目画素に関する局所領域（図 32 (A)参照）と同一位置に存在する映像信号を前局所領域（図 32 (B)参照）として少なくとも 1つ抽出する（なお、この前局所領域も、局所領域と同様に、 2次元空間および時間に分布する（つまり 3次元的に分布する）領域となっている。）。本実施形態においては、前局所領域抽出部 900が抽出する前局所領域は、 1つであることを想定している。前局所領域抽出部 900は、抽出した前局所領域を第 1差分部 9 01へ転送する。

[0235] 一方、第 1差分部 901は、制御部 119の制御に基づき、抽出部 1 13から局所領域を受領する。ここに、図 32 (A)は抽出部 113からの局所領域の画素配置を、図 32 (B )は前局所領域抽出部 900からの前局所領域の画素配置を、それぞれ示している。

[0236] 図 32に示す例においては、注目画素値が偶数フィールド信号のであるものとし

24

ている。これ以降の説明においては、注目画素値が偶数フィールド信号のである

24 ものとして説明する力 S、注目画素が奇数フィールド信号のである場合にも、同様

25

の技術を適用することができる。

[0237] 第 1差分部 901は、未処理の局所領域と、第 2のノイズ低減処理がなされた前局所領域と、の間で差分処理を行う。この差分処理は、時刻的には「現フィールド（時刻 t) と現フィーノレド（時亥 ijt)との間」、「現フィーノレド（時亥 ijt)と 1フィーノレド前のフィーノレド（時亥 ijt— 1 )との間」、「現フィーノレド（時亥 ijt)と 2フィーノレド前のフィーノレド（時亥 ijt— 2)との間」の三種類に対して行われる。また、差分は、所定サイズの基準領域と、比較領域と、の間で行われる。本実施形態においては、差分は、 I X 5画素サイズ、つまり X 座標方向のライン間で行われる。すなわち、第 1差分部 901は、次の数式 21に示すように差分処理を行う。

21 ]

d* = - C*

i iO i4

- i _{= ( c}"t- 1 _{+ 3}c"t— ¹ ) /A - C^l

i5 i4

ここに、 iは X座標方向の座標を意味し、本実施形態においては i = 0 4をとる。従つて、三種類の差分成分， d" , — ^は、それぞれ 5個ずつ算出されることになる。また、 Cは未処理の画素値を、 C"は第 2のノイズ低減処理がなされた画素値を、それぞれ意味している。

[0238] そして、第 1差分部 901は、算出した三種類の差分成分， — ¹ , — ²を、バッファ 9 02へ転送する。 [0239] 動き推定部 903は、制御部 119の制御に基づき、バッファ 902から三種類の差分成分， d" , — ²を読み込むとともに、ノイズ推定部 601から注目画素値 ^ のノイズ i i i 24 量 N を読み込む。そして、動き推定部 903は、差分成分の絶対値とノイズ量 N とを

24 24 差分成分の種類毎に各画素単位で順次比較して、ノイズ量 N 以上の絶対値を与え

24

る差分成分を、動きに起因する動き画素に係る差分成分であると判断してラベルを付加する。その後、動き推定部 903は、ラベル情報とノイズ量 N とを、差分成分選択

24

部 904へ転送する。

[0240] 差分成分選択部 904は、制御部 119の制御に基づき、動き推定部 903から差分成分に関するラベル情報を読み込んで、動き量が最小（動き画素に係る差分成分であると判断された数が最小）となる種類の差分成分 (すなわち、三種類の差分成分， d" , の内の何れか一種類の差分成分）を選択する。上記選択は、ラベルが付加された数が最小となる種類の差分成分を選択することにより行われる。そして、差分成分選択部 904は、選択情報とノイズ量 N とを動き補償部 905へ転送する。

24

[0241] 動き補償部 905は、制御部 119の制御に基づき、差分成分選択部 904から選択情報を読み込み、読み込んだ選択情報に基づいて、動き量が最小とされる種類の差分成分をバッファ 902から読み出す。これ以降は、選択された差分成分 (動き量が最小となる種類の差分成分)を dにより表記するものとする。動き補償部 905は、差分成分 d中の注目画素位置に関する差分成分 dに関して、差分成分選択部 904からのノィズ量 N に基づき補償処理を行い、 d'を算出する。

24 2

[0242] この補償処理は、差分成分 dがノイズ量 N を「上回っている」場合には、次の数式

2 24

22により行われる。

ほ女 22]

d' =N

2 24

また、補償処理は、差分成分 dがノイズ量 N を「下回っている」場合は、次の数式 2

2 24

3により行われる。

ほ女 23]

d' = -N

2 24

さらに、補償処理は、上述以外の場合は、次の数式 24により行われる。 24コ

d' =d

[0243] 動き補償部 905は、補償処理後の注目画素位置に関する差分成分 d'₂を、第 2差分部 906へ転送する。

[0244] 第 2差分部 906は、制御部 119の制御に基づき、抽出部 113からの注目画素値 ^ と、動き補償部 905からの補償処理後の差分成分 d'と、の間で次の数式 25に示す

4 2

ように差分処理を行い、第 2のノイズ低減処理後の注目画素値 C"t を算出する。

24

25コ

[0245] 第 2差分部 906は、算出した第 2のノイズ低減処理後の注目画素値 C' を、バッフ

24

ァ 603へ転送する。

[0246] なお、上述では、撮像素子として色差線順次型補色フィルタを用いる構成を例に挙げたが、このような構成に限定されるものではない。例えば、図 2に示したようなべィャ一（Bayer)型原色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良!/、。

[0247] そして、上述では、第 1のノイズ低減処理に方向別の処理を用い、第 2のノイズ低減処理に時系列的な複数の映像信号を用いる構成を採用していた力このような構成に限定されるものでもない。例えば、実施形態 1において図 12を参照して説明したような適用的な重み係数を用レ、るフィルタリング処理や、図 19を参照して説明したような 1枚の画像内においてノイズを低減する処理などを適用することも可能である。ここに、重み係数を用いるフィルタリング処理においては、注目画素と近傍画素との間の空間的関連性や画素値的関連性に基づいて重み係数を算出するだけでなぐさらに、注目画素と近傍画素との間の時間的関連性に基づいて重み係数を算出すると良い。

[0248] また、上述した実施形態 1と同様に、撮像部は別体であって、この別体の撮像部により撮像された複数の映像信号を未処理のままの Rawデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。

[0249] さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものでもない。例えば、 CCD102からの複数の映像信号を未処理のままの R awデータとして記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 119からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンビュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0250] 図 33を参照して、画像処理プログラムによる処理全体の流れについて説明する。

なお、この図 33において、上述した実施形態 1の図 21に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。

[0251] この処理を開始すると、まず、複数の映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む (ステップ S 1 )。

[0252] 次に、読み込んだ映像信号を、図 26 (B)に示すような偶数フィールド信号と、図 26

(C)に示すような奇数フィールド信号と、へ分離する（ステップ S50)。

[0253] 続いて、図 27に示すように、撮像素子に使用されている色フィルタの色毎に、フィ一ルド信号を色信号へ分離する (ステップ S2)。

[0254] そして、図 32 (A)に示すように、注目画素を包含する局所領域を抽出する（ステツプ S3)。

[0255] さらに、後で図 34を参照して説明するように、注目画素に対して第 1ノイズ低減処理を行う（ステップ S51)。

[0256] その後、後で図 35を参照して説明するように、注目画素に関するノイズ量を推定する（ステップ S 52)。

[0257] 加えて、後で図 36を参照して説明するように、注目画素に対して第 2ノイズ低減処理を行う（ステップ S 53)。

[0258] 次に、全ての局所領域についての処理が完了したか否かを判断する（ステップ S7)

。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップ S3 戻って未処理の局所領域について上述したような処理を行う。

[0259] 一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップ S8)。ここで、全ての色信号にっレ、ての処理が完了して!/、な!/、と判断された場合には、ステップ S2 戻って、未処理の色信号につ V、て上述したような処理を行う。

[0260] また、全ての色信号についての処理が完了したと判断された場合には、偶数フィールド信号と奇数フィールド信号とを合成して、フレーム信号を算出する（ステップ S 54 )。

[0261] そして、フレーム信号に、公知の強調処理および圧縮処理などを行う（ステップ S9)

[0262] 続いて、処理後のフレーム信号を出力する（ステップ S 10

[0263] その後、全ての映像信号についての処理が完了したか否かを判断する（ステップ S 55)。ここで、全ての映像信号についての処理が完了していないと判断された場合には、ステップ S50 戻って、未処理の映像信号について上述したような処理を行う。

[0264] 一方、全ての映像信号についての処理が完了したと判断された場合には、この処理を終了する。

[0265] 次に、図 34を参照して、上記ステップ S 51における第 1ノイズ低減処理の詳細を説明する。

[0266] この処理を開始すると、まず、図 29に示すように、局所領域の一部を、注目画素を基点とする所定数の方向別領域分割する (ステップ S60)

[0267] 次に、各方向別領域の分散値を算出する（ステップ S61

[0268] 続!/、て、最小の分散値を与える方向別領域を選択する（ステップ S62)

[0269] さらに、選択された方向別領域の平均値を算出する (ステップ S63

[0270] その後、平均値を、第 1のノイズ低減がなされた注目画素値として出力して (ステツプ S64)、図 33に示した処理へリターンする。

[0271] 次に、図 35を参照して、上記ステップ S 52におけるノイズ量推定処理の詳細を説明する。なお、この図 35において、上述した実施形態 1の図 23に示したノイズ量推定処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当ててい [0272] この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる (ステップ S 30)。

[0273] 続いて、温度やゲインに対応するノイズ量テーブルを入力して、画素値に応じたノィズ量を求める（ステップ S 70)。

[0274] さらに、近傍画素を用いて数式 14および数式 15の処理を行い、注目画素が孤立点であるか否かを検出する（ステップ S34)。

[0275] そして、注目画素が孤立点であることが検出された場合には、求められたノイズ量に所定の補正係数をさらに乗算する（ステップ S35)。

[0276] その後、算出されたノイズ量を出力して (ステップ S36)、図 33に示した処理へリターンする。

[0277] 次に、図 36を参照して、上記ステップ S53における第 2ノイズ低減処理の詳細を説明する。

[0278] この処理を開始すると、ノイズ低減処理が完了した時系列的に過去のフィールド信

[0279] 続いて、図 32 (B)に示したような、現注目画素に関する局所領域と同一位置に存在するノイズ低減処理がなされた映像信号を前局所領域として抽出する（ステップ S8 1)。

[0280] さらに、数式 21に示したように、三種類の差分成分を算出する (ステップ S82)。

[0281] そして、差分成分の絶対値とノイズ量とを各画素単位で順次比較して、ノイズ量以上の絶対値を与える差分成分を、動きに起因する動き画素に係る差分成分であると判断する（ステップ S83)。

[0282] その後、三種類の差分成分の内の、動き画素に係る差分成分であると判断された数が最小となる種類の差分成分を選択する (ステップ S84)。

[0283] 次に、動き量が最小であるとして選択された種類の差分成分の中の注目画素位置に関する差分成分に対して、ノイズ量 N に基づき、数式 22、数式 23、または数式 2

24

4に示したような補償処理を行う（ステップ S85)。 [0284] 続いて、注目画素値と補償処理後の差分成分との差分処理を数式 25に示したように行い、第 2のノイズ低減処理後の注目画素値を取得する（ステップ S86)。

[0285] その後、第 2のノイズ低減がなされた注目画素値を出力して (ステップ S87)、図 33 に示した処理へリターンする。

[0286] このような実施形態 2によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。

[0287] また、時系列的に撮影された複数の映像信号に関して巡回型のノイズ低減処理を行うようにしたために、ノイズ低減処理の平滑化性能とエッジ部の保存性能とを向上すること力 S可倉となる。

[0288] さらに、第 1のノイズ低減処理は、分散値が最小となる領域を選択して行う処理であるために、複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。また、第 1のノイズ低減処理は、処理が比較的単純であるために、低コスト化を図ることが可能となる。

[0289] そして、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。このとき、ノイズ量を求める際にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノィズ低減処理を行うことが可能となる。

[0290] さらに、第 2のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、第 2のノィズ低減処理は、時系列的に過去の映像信号を利用する処理であるために、より効果の大きいノイズ低減処理を行うことが可能となる。そして、動き量に基づいて過去の映像信号または現在の映像信号を選択しているために、動き量の大きい領域であつても副作用の少ないノイズ低減処理を行うことが可能となる。さらに、色差線順次型補色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。 [0291] [実施形態 3]

図 37から図 53は本発明の実施形態 3を示したものであり、図 37は撮像システムの構成を示すブロック図、図 38は局所領域における第 1CCDの色フィルタ配置を示す図、図 39は局所領域における第 2CCDの色フィルタ配置を示す図、図 40は第 2CC Dの出力を補間処理して得られる局所領域の R色信号を示す図、図 41は第 2CCD の出力を補間処理して得られる局所領域の B色信号を示す図、図 42は図 38に示した G信号と図 40に示した R信号と図 41に示した B信号とを分離して得られる局所領域の Y信号を示す図、図 43は図 38に示した G信号と図 40に示した R信号と図 41に示した B信号とを分離して得られる局所領域の Cb信号を示す図、図 44は図 38に示した G信号と図 40に示した R信号と図 41に示した B信号とを分離して得られる局所領域の Cr信号を示す図、図 45は第 1ノイズ低減部の一構成例を示すブロック図、図 46 は第 1ノイズ低減部の他の構成例を示すブロック図、図 47は第 2ノイズ低減部の構成を示すブロック図、図 48は 5 X 5画素の平滑化フィルタを示す図、図 49は 3 X 3画素の平滑化フィルタを示す図、図 50はノイズ量に応じてどのタイプの平滑化フィルタが選択される力、を示す線図、図 51は画像処理プログラムによる処理全体の流れを示すフローチャート、図 52は図 51のステップ S91における第 1ノイズ低減処理の詳細を示すフローチャート、図 53は図 51のステップ S92における第 2ノイズ低減処理の詳細を示すフローチャート、である。

[0292] この実施形態 3において、上述の実施形態 1 , 2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

[0293] 本実施形態の撮像システムは、上述した実施形態 1の図 1に示した撮像システムにお!/、て、 CCD102を第 1CCD1000および第 2CCD100: こ置換し、さら ίこ色信号分離部 111 ,第 1ノイズ低減部 114,第 2ノイズ低減部 116を輝度色差分離手段たる Y/C分離部 1002,第 1のノイズ低減手段たる第 1ノイズ低減部 1003,第 2のノイズ低減手段たる第 2ノイズ低減部 1004にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態 1と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。

[0294] レンズ系 100および絞り 101を介して入射された光束は、例えばダイクロイツク面を有するプリズム系により、波長帯域の異なる 2つの光に分割されて 2方向へ射出される。そして、分割された内の一方の光が第 1CCD1000へ到達し、他方の光が第 2C CD1001へ到達する。第 1CCD1000からの映像信号と第 2CCD1001からの映像信号とは、増幅部 104によって増幅され、 A/D変換部 105によってデジタル信号へ変換されて、バッファ 106へ転送される。

[0295] 測光評価部 108は、絞り 101と第 1CCD1000と第 2CCD1001と増幅部 104とへ接続されている。バッファ 106は、プレホワイトバランス部 107と測光評価部 108と合焦点検出部 109と Y/C分離部 1002とへ接続されている。 Y/C分離部 1002は、ノッファ 112へ接続されている。抽出部 113は、第 1ノイズ低減部 1003とノイズ推定部 115と第 2ノイズ低減部 1004とへ接続されている。第 1ノイズ低減部 1003は、ノィズ推定部 115と第 2ノイズ低減部 1004とへ接続されている。ノイズ推定部 115は、第 2ノイズ低減部 1004へ接続されている。第 2ノイズ低減部 1004は、信号処理部 117 へ接続されている。

[0296] 制御部 119は、 Y/C分離部 1002,第 1ノイズ低減部 1003,第 2ノイズ低減部 100 4とも双方向に接続されており、これらも制御するようになっている。

[0297] さらに、温度センサ 103は、第 2CCD1001の近傍に配置されていて、この温度センサ 103からの信号は、制御部 119へ接続されている。

[0298] 次に、図 37に示したような撮像システムの作用は、基本的に実施形態 1と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。

[0299] レンズ系 100および絞り 101を介して入射された光束は、プリズム系により、緑色の波長帯域の第 1の光と、それ以外の波長帯域の第 2の光と、に分割される。そして、これらの内の第 1の光は第 1CCD1000に、第 2の光は第 2CCD1001に、それぞれ入射する。

[0300] ここに、本実施形態においては、第 1CCD1000は図 38に示すような緑（G)フィルタのみを前面に配置した CCD、第 2CCD1001は図 39に示すような赤（R)フィルタと青（B)フィルタとを格子状に配置した CCDであることを想定している。なお、プリズム系が上述したようにダイクロイツク面を備えたものである場合には、緑色の波長帯域の光の光路上に配置される第 1CCD1000の前面には、必ずしも緑（G)のフィルタを設けなくても構わない。

[0301] そして、第 1CCD1000および第 2CCD1001は、それぞれ映像信号を生成して出力する。

[0302] 第 1CCD1000からの映像信号と第 2CCD1001からの映像信号とは、増幅部 104 , A/D変換部 105を介してバッファ 106へ転送される。そして、このバッファ 106には、第 1CCD1000からの映像信号と、第 2CCD1001からの映像信号と、の両方が記録されるものとする。

[0303] Y/C分離部 1002は、制御部 119の制御に基づき、バッファ 106から、第 1CCD1 000からの映像信号と第 2CCD1001からの映像信号とを読み込む。そして、 Y/C 分離部 1002は、第 2CCD1001からの Rフィルタの信号と Bフィルタの信号とに関しては、公知の補間処理を行うことにより、図 40および図 41に示すような欠落のない信号を生成する。次に、 Y/C分離部 1002は、生成した欠落のない Rフィルタの信号（図 40)と、欠落のない Bフィルタの信号（図 41)と、第 1CCD1000からの Gフィルタの信号 (図 38)と、に基づき、次の数式 26に示すように、輝度信号 (Y)と色差信号 (Cb , Cr)とを算出する。

26コ

Y = 0. 29900R+ 0. 58700G + 0. 11400B

Cb=— 0. 16874R-0. 33126G + 0. 50000B

Cr= 0. 50000R-0. 41869G— 0. 08131B

[0304] Y/C分離部 1002は、算出した輝度信号 (Y)と色差信号 (Cb, Cr)とを、ノッファ 1 12へ転送する。

[0305] 抽出部 113は、制御部 119の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を順次抽出して、第 1ノイズ低減部 1003とノイズ推定部 115と第 2ノイズ低減部 1004とへ転送する

[0306] ここに、抽出部 113は、本実施形態においては、図 42〜図 44に示すような、注目画素を中心とする 5 X 5画素の領域を、局所領域として抽出するようになっている。そして、ノイズ低減処理は 1画素単位で行われるために、上記 5 X 5画素の局所領域は、注目画素の画素位置を 1画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から 1画素ずらした位置の新たな注目画素に対する局所領域とは、 4行または 4列だけ重複して!/、ることになる。なお、抽出部 113による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素を C (Cは色信号であって C=Y, Cb, Cr、 iは局所領域内に

ij

22

[0307] 第 1ノイズ低減部 1003は、制御部 119の制御に基づき、抽出部 113から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部 115と第 2ノイズ低減部 1004とへ転送す

[0308] ノイズ推定部 115は、制御部 119の制御に基づき、抽出部 113から転送される局所領域と、第 1ノイズ低減部 1003から転送されるノイズ低減処理がなされた注目画素値と、制御部 119から転送される撮影時の条件と、に基づいて、注目画素に関するノィズ量を推定する。そして、ノイズ推定部 115は、推定したノイズ量を第 2ノイズ低減部 1004へ転送する。

[0309] 第 2ノイズ低減部 1004は、制御部 119の制御に基づき、第 1ノイズ低減部 1003から転送されるノイズ低減処理がなされた注目画素値と、ノイズ推定部 115から転送されるノイズ量と、に基づいて、抽出部 113からの注目画素に対して第 2のノイズ低減処理を行う。そして、第 2ノイズ低減部 1004は、ノイズ低減処理後の注目画素値を信号処理部 117 転送する。

[0310] なお、上述した抽出部 113,第 1ノイズ低減部 1003,ノイズ推定部 115,第 2ノイズ低減部 1004における各処理は、制御部 119の制御に基づき、局所領域単位で同期して行われるようになつている。

[0311] 信号処理部 117は、制御部 119の制御に基づき、ノイズ低減後の映像信号に対して、強調処理および圧縮処理などを行い、処理後の映像信号を出力部 118へ転送する。 [0312] 出力部 118は、映像信号をメモリカードなどの記録媒体に記録して保存する。

[0313] 次に図 45を参照して、第 1ノイズ低減部 1003の構成の一例について説明する。

[0314] この第 1ノイズ低減部 1003は、拡散画像記録手段たるバッファ 1 100と、拡散画像算出手段たる TVノルム算出部 1101と、拡散画像算出手段たる拡散画像算出部 11 02と、反復処理制御手段であり変化成分算出手段たる変化成分算出部 1103と、反復処理制御手段であり停止手段たる拡散制御部 1 104と、を備えて V、る。

[0315] 抽出部 113は、バッファ 1100へ接続されている。バッファ 1100は、 TVノルム算出部 1101と拡散画像算出部 1102とへ接続されている。 TVノルム算出部 1101は、拡散画像算出部 1102と変化成分算出部 1103と接続されている。拡散画像算出部 1102は、バッファ 1100とノイズ推定部 115と第 2ノイズ低減部 1004とへ接続されている。変化成分算出部 1103は、拡散制御部 1104を介して拡散画像算出部 1102 へ接続されている。

[0316] 制御部 119は、 TVノルム算出部 1101 ,拡散画像算出部 1102,変化成分算出部

1103,拡散制御部 1104と双方向に接続されており、これらを制御するようになっている。

[0317] 抽出部 113からの局所領域は、バッファ 1 100へ転送される。

[0318] TVノルム算出部 1101は、制御部 119の制御に基づき、バッファ 1100に記憶されている局所領域に関する全変動 (TV ; Total Variation)力レムを次の数式 27に示すように算出する。

27]

ここに、 VRは、局所領域 Rの勾配（Gradient)を意味している。

[0319] TVノルム算出部 1101は、算出した TVノルムを、拡散画像算出部 1102と変化成分算出部 1103とへ転送する。

[0320] 拡散画像算出部 1102は、制御部 119の制御に基づき、バッファ 1100からの局所領域と、 TVノルム算出部 1101からの TVノルムと、を用いて、局所領域に関する拡散画像を算出する。この拡散画像は、次の数式 28に示すようなエネルギー関数 E () を最小化する復元画像として、反復的に算出される。

ほ女 28]

E(R) = p(TV) +

· ρ{φΚ - 0)dxdy ここに、 p 0は所定のコスト関数を、 Φはノイズによる劣化作用素を、 οはノイズのない原画像を、 λは所定の定数項を意味している。

[0321] そして、拡散画像算出部 1102は、拡散画像を次の数式 29に基づき算出する。

29コ

—R = άίν[ψ Τν) · Τν)~ λ · φ*ψ{φΚ― Ο)

dt ζ d∑ ここに、 φ *はノイズによる劣化作用素の随伴作用素を、 3 1は仮想時間パラメータ t に関する一階偏微分を意味してレ、る。

[0322] 拡散画像算出部 1102は、数式 29に基づき仮想時間パラメータ tを更新することにより拡散画像 R^(t)を算出する。なお、算出の際の初期条件として、 R(°)=Rを用いる。

[0323] 拡散画像算出部 1102は、算出した拡散画像 R^(t)を、バッファ 1100へ転送する。

[0324] TVノルム算出部 1101は、制御部 119の制御に基づき、バッファ 1100に記憶された局所領域に関する TVノルムを再度算出する。そして、 TVノルム算出部 1101は、再度算出した TVノルムを、拡散画像算出部 1102と変化成分算出部 1103とへ転送する。

[0325] 変化成分算出部 1103は、制御部 119の制御に基づき、 TVノルム算出部 1101からの TVノルムの変化を求める。以下では、仮想時間パラメータ tにおける拡散画像 R^(t )の TVノルムを TV^(t)、拡散画像算出部 1102によって仮想時間パラメータが更新されて（t+ 1)となった拡散画像 R^(t+1)の TVノルムを TV^(t+1)とする。このとき、 TVノルムの変化は、 TV^(t)と TV^(t+1)との差の絶対値として求められる。変化成分算出部 1103は、算出した TVノルムの変化を、拡散制御部 1104へ転送する。

[0326] 拡散制御部 1104は、制御部 119の制御に基づき、変化成分算出部 1103からの T Vノルムの変化と所定の閾値とを比較して、 TVノルムの変化が所定の閾値以下になつた場合に反復処理が収束したと判断して、処理を停止させる制御信号を拡散画像算出部 1102へ転送する。

[0327] 拡散画像算出部 1102は、拡散制御部 1104から制御信号が転送された場合に、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値 C' としてノイズ推定部 115と第 2ノイズ低減部 1004とへ

22

転送する。一方、拡散画像算出部 1102は、拡散制御部 1104から制御信号が転送されない場合には、バッファ 1100に記憶されている局所領域に対して再度の拡散画像を算出する。

[0328] なお、上述では TVノルムに基づき拡散処理を行う例について説明した力このような構成に限定されるものではない。例えば、図 46に示すような一般的なエネルギー関数と偏微分方程式（PDEs； Partial Differential Equations)とを組み合わせた構成を採用することも可能である。

[0329] 図 46を参照して、第 1ノイズ低減部 1003の他の構成例について説明する。

[0330] この図 46に示す第 1ノイズ低減部 1003は、図 45に示した第 1ノイズ低減部 1003 の構成において、 TVノルム算出部 1101を除去するとともに、拡散画像算出部 1102 を拡散画像算出手段たる PDEs算出部 1106 、変化成分算出部 1103を反復処理制御手段であり処理回数算出手段たる処理回数算出部 1105へ、それぞれ置換したものとなっている。その他の基本的な構成は図 45に示す第 1ノイズ低減部 1003と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分につ!/、てのみ説明する。

[0331] バッファ 1100は、処理回数算出部 1105と PDEs算出部 1106とへ接続されている。処理回数算出部 1105は、拡散制御部 1104へ接続されている。拡散制御部 1104 は、 PDEs算出部 1106へ接続されている。 PDEs算出部 1106は、ノッファ 1100とノィズ推定部 115と第 2ノイズ低減部 1004とへ接続されている。

[0332] 制御部 119は、処理回数算出部 1105, PDEs算出部 1106とも双方向に接続されており、これらも制御するようになっている。

[0333] PDEs算出部 1106は、制御部 119の制御に基づき、バッファ 1100に記憶されている局所領域 Rに対して、非線形拡散方程式に関する PDEsを算出する。ここに、非線形拡散方程式は、一般に、次の数式 30に示すような数式として与えられる。

30コ

ここに、 c ()は目的とする画像を得るためのエネルギー関数を、 d tは仮想時間パラメータ tに関する一階偏微分を、それぞれ意味している。

[0334] PDEs算出部 1106は、数式 30に基づき、仮想時間パラメータ tを更新することにより更新画像 R^(t)を算出する。なお、算出の際の初期条件として、 R(°)=Rを用いる。 PD

Es算出部 1106は、算出した更新画像 R^(t)をバッファ 1100へ転送する。

[0335] 処理回数算出部 1105は、制御部 119の制御に基づき、バッファ 1100へ書き込まれる更新画像 R^(t)の回数をカウントして、カウントした回数を拡散制御部 1104へ転送する。

[0336] 拡散制御部 1104は、制御部 119の制御に基づき、処理回数算出部 1105からの更新の回数と所定の閾値とを比較して、更新の回数が所定の閾値以上になった場合に、処理を停止させる制御信号を PDEs算出部 1106へ転送する。

[0337] PDEs算出部 1106は、拡散制御部 1104から制御信号が転送された場合に、更新画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値 C' としてノイズ推定部 115と第 2ノイズ低減部 1004とへ転送

22

する。一方、 PDEs算出部 1106は、拡散制御部 1104から制御信号が転送されない場合には、バッファ 1100に記憶されている局所領域に対して再度の更新画像を算出する。

[0338] なお、上述したような拡散画像を用いる技術については、例えば上述した「IEEE SI GNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第 16頁〜第 25頁などに記載されている。

[0339] 次に、図 47を参照して、第 2ノイズ低減部 1004の構成の一例について説明する。

[0340] この第 2ノイズ低減部 1004は、平滑化フィルタ選択手段たるフィルタ選択部 1200と、平滑化フィルタ記録手段たるフィルタ記録部 1201と、スムージング手段たるスムージング部 1202と、を備えている。

[0341] 第 1ノイズ低減部 1003とノイズ推定部 115とフィルタ記録部 1201とは、フィルタ選択部 1200 接続されている。フィルタ選択部 1200と抽出部 113とは、スムージング部 1202 接続されている。スムージング部 1202は、信号処理部 117 接続されている。

[0342] 制御部 119は、フィルタ選択部 1200,フィルタ記録部 1201 ,スムージング部 1202 と双方向に接続されており、これらを制御するようになっている。

[0343] フィルタ選択部 1200は、制御部 119の制御に基づき、第 1ノイズ低減部 1003から第 1のノイズ低減がなされた注目画素値 C' を読み込むとともに、ノイズ推定部 115か

22

ら注目画素のノイズ量 N を読み込んで、フィルタ記録部 1201に記録されている平

22

滑化フィルタを選択する。ここに、フィタ記録部 1201には、例えば、図 48 (A)〜図 48 (D)に示すような 5 X 5サイズの周波数特性が異なる 4種類（タイプ (Type)；! 4) の平滑化フィルタと、図 49 (A)〜図 49 (D)に示すような 3 X 3サイズの周波数特性が異なる 4種類（タイプ (Type)；! 4)の平滑化フィルタと、の合計 8種類の平滑化フィルタが記録されている。

[0344] なお、タイプ (Type) 1の平滑化フィルタは高周波成分を残存させる周波数特性のフィルタとなっており、タイプ（Type) 1からタイプ（Type) 4へと向力、うにつれて、高周波成分をより抑制する周波数特性のフィルタとなるように構成されている。また、図 48 および図 49に示すフィルタ係数は、 128倍した値を記載している。従って、実際に用いるフィルタ係数は、図 48および図 49に示すフィルタ係数の 128分の 1である。

[0345] フィルタ選択部 1200は、まず、第 1ノイズ低減部 1003から転送される注目画素値 C と所定の閾値とを比較して、注目画素値 C' が所定の閾値以下である場合には 5

22 22

X 5サイズの平滑化フィルタを、また注目画素値 C' が所定の閾値よりも大き!/、場合

22

には 3 X 3サイズの平滑化フィルタを選択する、これは、一般に、喑部領域においてはノイズが顕著になるために、暗部領域に対してよりノイズ抑制効果の大きい平滑化フィルタを適用することを意味して!/、る。

[0346] 次に、フィルタ選択部 1200は、ノイズ推定部 115から転送される注目画素のノイズ量 N に基づ!/、て、周波数特性のタイプ（Type) 1〜タイプ（Type) 4を選択する。この選択は、例えば図 50に示すようなノイズ量 Nとフィルタの種類 (Type)との間の関係に基づいて行われる。すなわち、ノイズ量 Nが小さい場合にはタイプ (Type) 1の平滑化フィルタを選択し、ノイズ量 Nが増加するにつれて、選択する平滑化フィルタがタイプ（Type) 2、タイプ (Type) 3、タイプ (Type) 4と順に変更される。これにより、ノイズ量 Nが大き!/、ほど、高周波成分をより抑制する周波数特性の平滑化フィルタが選択されることになる。

[0347] そして、フィルタ選択部 1200は、選択したサイズおよび周波数特性の平滑化フィノレタ係数を、スムージング部 1202へ転送する。

[0348] スムージング部 1202は、制御部 119の制御に基づき、フィルタ選択部 1200からの平滑化フィルタ係数を用いて、抽出部 113からの局所領域に対して平滑化フィルタ処理を行う。そして、スムージング部 1202は、フィルタリング処理後の注目画素値を、第 2のノイズ低減がなされた注目画素値 C〃として信号処理部 117へ転送する。

22

[0349] なお、上述では撮像系として二板 CCDを用いる例を挙げた力 S、このような構成に限定されるものではない。例えば、図 2に示したようなべィヤー（Bayer)型原色フィルタ、もしくは図 7に示したような色差線順次型補色フィルタを用いる単板 CCDを採用しても良いし、または三板 CCDを採用することも可能である。

[0350] また、上述した実施形態 1と同様に、撮像部は別体であって、この別体の撮像部により撮像された映像信号を未処理のままの Rawデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。

[0351] さらに、上述ではハードウェアによる処理を前提としていた力このような構成に限定されるものでもない。例えば、第 1CCD1000からの映像信号と第 2CCD1001からの映像信号とを未処理のままの Rawデータとして記録媒体に記録するとともに、撮像条件などの付随情報 (例えば、制御部 119からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンビュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

[0352] 図 51を参照して、画像処理プログラムによる処理全体の流れについて説明する。

なお、この図 51において、上述した実施形態 1の図 21に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。

[0353] この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む (ステップ S1)。

[0354] 次に、欠落画素が存在する Rフィルタの信号と Bフィルタの信号とに関して、公知の補間処理を行い、その後に、数式 26に示したように輝度信号と色差信号とに分離する（ステップ S90)。

[0355] 続いて、図 42〜図 44に示したように、輝度信号および色差信号毎に、注目画素を中心とする局所領域を抽出する（ステップ S3)。

[0356] そして、後で図 52を参照して説明するように、注目画素に対して第 1ノイズ低減処理を行う（ステップ S91)。

[0357] さらに、図 23に示したように、注目画素に関するノイズ量を推定する（ステップ S5)。

[0358] 加えて、後で図 53を参照して説明するように、注目画素に対して第 2ノイズ低減処理を行う（ステップ S92)。

[0359] 次に、全ての局所領域についての処理が完了したか否かを判断する（ステップ S7)

。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップ S3へ戻って未処理の局所領域について上述したような処理を行う。

[0360] 一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての輝度信号および色差信号についての処理が完了したか否かを判断する (ステップ S93)。ここで、全ての輝度信号および色差信号についての処理が完了していないと判断された場合には、ステップ S90へ戻って未処理の輝度信号または色差信号につ!/、て上述したような処理を行う。

[0361] また、全ての輝度信号および色差信号についての処理が完了したと判断された場合には、公知の強調処理や圧縮処理などを行う（ステップ S9)。

[0362] その後、処理後の映像信号を出力して (ステップ S10)、この処理を終了する。 [0363] 次に、図 52を参照して、上記ステップ S91における第 1ノイズ低減処理の詳細を説明する。

[0364] この処理を開始すると、まず、局所領域に対して数式 27に示すように TV (Total Va riation)ノルムを算出する（ステップ S 100)。

[0365] 続いて、数式 29に基づいて拡散画像を算出する（ステップ S 101)。

[0366] さらに、拡散画像に対して、数式 27に示すように TVノルムを算出する（ステップ S1

02)。

[0367] そして、 TVノルム間の差の絶対値を変化成分として算出する（ステップ S103)。

[0368] 次に、変化成分と所定の閾値とを比較する (ステップ S 104)。ここで、変化成分が所定の閾値よりも大きいと判断された場合には、ステップ S101へ戻って上述したような処理を繰り返して行う。

[0369] 一方、変化成分が所定の閾値以下であると判断された場合には、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値を第 1のノイズ低減がなされた注目画素値として出力し（ステップ S105)、図 51に示した処理へリターンする

[0370] 次に、図 53を参照して、上記ステップ S92における第 2ノイズ低減処理の詳細を説明する。

[0371] この処理を開始すると、まず、第 1のノイズ低減がなされた注目画素値と、ノイズ量と、に基づいて、図 48および図 49に示すような平滑化フィルタの何れかを選択する（ステツプ S 110)。

[0372] 続いて、選択された平滑化フィルタを読み込む（ステップ S 111)。

[0373] さらに、選択された平滑化フィルタを用いて、局所領域に平滑化フィルタ処理を行う

(ステップ S 112)。

[0374] そして、フィルタリング処理後の注目画素値を第 2のノイズ低減がなされた注目画素値として出力して（ステップ S113)、図 51に示した処理へリターンする。

[0375] なお、処理の対象となる映像信号は、静止画の映像信号だけではなぐ時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。

[0376] このような実施形態 3によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。

[0377] また、複雑なエッジ領域にお!/、てもエッジ成分の影響を抑制して!/、るために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができ

[0378] 第 1のノイズ低減処理は、 TVノルムまたは偏微分方程式を用いて拡散処理を行つている。これらの内の TVノルムは、エッジ成分の分離能に優れているために、該 TV ノルムを用いると、複雑なエッジ領域にお!/、てもエッジ成分の影響を抑制することができる。一方、偏微分方程式は処理の自由度が高いために、該偏微分方程式を用いると、多様な画質調整を行うことが可能となる。また、拡散処理が定常状態移行するのに応じて反復処理を停止するようにしたために、安定的な画質の映像信号を得ること力 Sできる。そして、拡散処理の反復回数に基づいて反復処理を停止するようにしたために、処理速度が一定化し、システムの操作性が向上する。

[0379] さらに、第 2のノイズ低減処理は、ノイズ量と第 1のノイズ低減処理がなされた注目画素値とに基づき平滑化フィルタを選択する処理であるために、最適なノイズ低減処理を行うことが可能となる。また、平滑化フィルタを用いると特定周波数域に対するノイス低減処理を容易に行うことができるために、主観的に好ましい映像信号を得ることができる。そして、ノイズ低減処理を輝度信号および色差信号毎に独立して行うようにしたために、最適な輝度ノイズ低減と色ノイズ低減とを行うことが可能となり、高品位な映像信号を得ることができる。

[0380] なお、本発明は上述した実施形態そのままに限定されるものではなぐ実施段階ではその要旨を逸脱しな!/、範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

[0381] 本出願は、 2006年 11月 10日に日本国に出願された特願 2006— 305916号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであつて、

上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも 1つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、

上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第

1のノイズ低減手段と、

上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づ!/、て、上記注目画素に関するノイズ量を推定するノイズ推定手段と、

上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記ノィズ推定手段により推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第 2のノイズ低減手段と、

を具備したことを特徴とする撮像システム。

[2] 上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする請求項 1に記載の撮像システム。

[3] 撮像系から時系列的に取り込まれた複数の映像信号に対してノイズ低減処理を行う撮像システムであって、

上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的および時間的近傍に位置する少なくとも 1つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、

上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第 1のノイズ低減手段と、

上記ノイズ推定手段により推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第 2のノイズ低減手段と、ノイズ低減処理がなされた映像信号の画素値として、上記第 2のノイズ低減手段によってノイズ低減処理がなされた注目画素値を順次記録する信号記録手段と、を具備したことを特徴とする撮像システム。

[4] 上記第 1のノイズ低減手段は、

上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも 1つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出手段と、

上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリング手段と、

を有して構成されたものであることを特徴とする請求項 1または請求項 2または請求項 3に記載の撮像システム。

[5] 上記重み係数算出手段は、上記注目画素値と上記近傍画素値との差成分に基づき重み係数を出力するテーブル手段を有して構成されたものであることを特徴とする請求項 4に記載の撮像システム。

[6] 上記重み係数算出手段は、

上記注目画素値と上記近傍画素値との差成分に基づき第 1の重み係数を出力する第 1のテーブル手段と、

上記注目画素と上記近傍画素との相対的な座標位置に基づき第 2の重み係数を出力する第 2のテーブル手段と、

上記第 1の重み係数と上記第 2の重み係数とに基づき上記重み係数を合成する合成手段と、

を有して構成されたものであることを特徴とする請求項 4に記載の撮像システム。

[7] 上記重み係数算出手段は、

上記注目画素値と上記近傍画素値との差成分に基づき第 3の重み係数を出力する第 3のテーブル手段と、

上記第 1の重み係数と上記第 2の重み係数と上記第 3の重み係数とに基づき上記重み係数を合成する合成手段と、

[8] 上記重み係数算出手段は、上記注目画素値と上記近傍画素値とに関して所定ビット数の上位ビット成分を抽出するビットシフト手段をさらに有して構成されたものであることを特徴とする請求項 5〜7の何れか一項に記載の撮像システム。

[9] 上記第 1のノイズ低減手段は、

所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出手段と、

上記拡散処理された映像信号を記録する拡散画像記録手段と、

上記拡散画像記録手段に記録された映像信号に対して、上記拡散画像算出手段により再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録手段に記録させる反復処理を制御する反復処理制御手段と、

[10] 上記反復処理制御手段は、

上記拡散画像記録手段に記録された映像信号と、該拡散画像記録手段に記録された映像信号に対して上記拡散画像算出手段により再度拡散処理された映像信号と、の間の変化成分を算出する変化成分算出手段と、

上記変化成分が所定の閾値以下になった場合に上記反復処理を停止させる停止手段と、

を有して構成されたものであることを特徴とする請求項 9に記載の撮像システム。

[11] 上記反復処理制御手段は、

上記反復処理の回数を算出する処理回数算出手段と、

上記反復処理の回数が所定の回数に達した場合に上記反復処理を停止させる停止手段と、

[12] 上記非線形拡散方程式は、全変動 (TV； Total Variation)ノルムに基づく方程式、または偏微分方程式（PDEs ; Partial Differential Equations)に基づく方程式であることを特徴とする請求項 9に記載の撮像システム。

[13] 上記第 1のノイズ低減手段は、

上記注目画素を基点として上記局所領域を所定方向の複数の方向別領域分割する領域分割手段と、

上記各方向別領域に関して分散値を算出する分散算出手段と、

上記分散値に基づき分散値が最小となる方向別領域を選択する領域選択手段と、上記選択された方向別領域に関して平均値を算出する平均値算出手段と、を有して構成されたものであることを特徴とする請求項 1または請求項 2または請求項 3に記載の撮像システム。

[14] 上記ノイズ推定手段は、

基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、

上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、

上記収集手段または上記付与手段からの情報と、上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、に基づき、上記パラメータ群から必要となるノラメータを選択するパラメータ選択手段と、

上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記選択されたパラメータと、に基づき、補間演算によりノイズ量を求める補間手段と、を有して構成されたものであることを特徴とする請求項 1または請求項 2または請求項 3に記載の撮像システム。

[15] 上記ノイズ推定手段は、

上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、

上記収集手段または上記付与手段からの情報と、上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、を入力として、ノイズ量を出力するノイズテ一ブル手段と、

[16] 上記ノイズ推定手段は、

上記注目画素に関する孤立点の度合いを検出する孤立点検出手段と、上記孤立点の度合いに基づき上記ノイズ量を補正する補正手段と、

をさらに有して構成されたものであることを特徴とする請求項 14または請求項 15に記載の撮像システム。

[17] 上記第 2のノイズ低減手段は、

上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定手段と、

上記注目画素値が上記ノイズ範囲に属する場合に、上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第 1 のスムージング手段と、

上記注目画素値が上記ノイズ範囲に属さな V、場合に、注目画素値の補正を行う第

2のスムージング手段と、

[18] 上記第 2のノイズ低減手段は、

複数の平滑化フィルタを記録する平滑化フィルタ記録手段と、

上記ノイズ量と上記第 1のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき、上記平滑化フィルタを選択する平滑化フィルタ選択手段と、

上記選択された平滑化フィルタに基づき平滑化を行うスムージング手段と、を有して構成されたものであることを特徴とする請求項 1または請求項 2または請求項 3に記載の撮像システム。

[19] 上記第 2のノイズ低減手段は、

上記信号記録手段に記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも 1つ抽出する前局所領域抽出手段と、

上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも 1つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも 1つの差分成分を算出する第 1の差分手段と、上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定手段と、上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択手段と、

上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償手段と、

上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第 2の差分手段と、

を有して構成されたものであることを特徴とする請求項 3に記載の撮像システム。

[20] 上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、

上記色フィルタの複数色毎に、上記映像信号を複数の色信号に分離する色信号分離手段と、

上記色信号毎に上記局所領域抽出手段と上記第 1のノイズ低減手段と上記ノイズ推定手段と上記第 2のノイズ低減手段とを順次適用するように制御する信号制御手段と、

をさらに具備したことを特徴とする請求項 1または請求項 2または請求項 3に記載の撮像システム。

[21] 上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、

上記映像信号を輝度信号と色差信号とに分離する輝度色差分離手段と、上記輝度信号および色差信号毎に上記局所領域抽出手段と上記第 1のノイズ低減手段と上記ノイズ推定手段と上記第 2のノイズ低減手段とを順次適用するように制御する信号制御手段と、

[22] 上記撮像素子は、 R (赤）， G (緑）， B (青）べィヤー（Bayer)型原色フィルタを前面に配置した撮像素子、または Cy (シアン）， Mg (マゼンタ）， Ye (イェロー）， G (緑)色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする請求項 2 0または請求項 21に記載の撮像システム。

[23] コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、

上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも 1つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、

上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第 1のノイズ低減ステップと、

上記第 1のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づ V、て、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、

上記第 1のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と、上記ノイズ推定ステップにより推定されたノイズ量と、に基づき、上記注目画素に対してノィズ低減処理を行う第 2のノイズ低減ステップと、

を行わせるための画像処理プログラム。

[24] コンピュータに、撮像系から時系列的に取り込まれた複数の映像信号に対してノィズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的および時間的近傍に位置する少なくとも 1つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、

上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第 1のノイズ低減ステップと、上記第 1のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づ V、て、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、

上記ノイズ推定ステップにより推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第 2のノイズ低減ステップと、

ノイズ低減処理がなされた映像信号の画素値として、上記第 2のノイズ低減ステップによってノイズ低減処理がなされた注目画素値を順次記録する信号記録ステップと、を行わせるための画像処理プログラム。