JP4015071B2

JP4015071B2 - Image processing apparatus, method, and program

Info

Publication number: JP4015071B2
Application number: JP2003176523A
Authority: JP
Inventors: 学矢田; 俊幸佐野; 一徳隅谷; 太郎樋爪
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2007-11-28
Anticipated expiration: 2023-06-20
Also published as: JP2005012647A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、方法およびプログラムに関し、特に、巡回型ノイズ低減処理を含む画像処理を行う画像処理装置、方法およびプログラムに関する。
【０００２】
【従来の技術】
従来から、複数フレームの画像を用いたノイズ低減技術として３次元巡回型ノイズ低減技術が知られている（例えば、特許文献１参照。）。２フレームの画像を用いてノイズの低減を行う非巡回型ノイズ低減方式と３次元巡回型ノイズ低減方式とを比較すると、非巡回型ノイズ低減方式ではたかだか３ｄＢのＳ／Ｎの改善に対して、３次元巡回型ノイズ低減方式では巡回係数を例えば０．８に上げた場合は理論上９ｄＢ超のＳ／Ｎ改善となり、３次元巡回型ノイズ低減方式はＳ／Ｎ改善効果が極めて高い方式である。ただし、巡回係数が高ければ高いほど、動物体の残像ノイズが発生するというデメリットがあり、巡回係数を上げつつ、残像ノイズを抑圧するような種々の方式が検討されてきた。
【０００３】
図６は、特開平５−３２８１７４号公報に開示された従来の３次元巡回型ノイズ低減装置のブロック構成を示す図である。３次元巡回型ノイズ低減装置は、減算器２、３、１２、係数回路４、フレームメモリ５、動き検出回路６、リミット回路７、ＬＰＦ１１、および加算器１３によって構成されている。端子１から入力された入力映像信号、およびフレームメモリ５に記憶された旧フレームの出力映像信号に基づいて差分信号が減算器３によって生成され、差分信号の高域成分について振幅制限が、ＬＰＦ１１、減算器１２、リミット回路７、および加算器１３によって課されるようになっている。
【０００４】
一方、差分信号の低域成分に基づいて像の動きが検出され、動きを示す信号Ｍと高域成分に振幅制限がされた差分信号とが係数回路４に入力され、係数回路４によって、動きを示す信号Ｍに応じた巡回係数（０以上１以下）が生成され、高域成分に振幅制限がされた差分信号にこの巡回係数がかけられた信号が除去すべきノイズ成分として出力される。減算器２では、入力映像信号から係数回路４の出力が差し引かれ、出力映像信号が生成される。
【０００５】
このように構成することによって、高域のノイズを動きと誤検出してノイズ除去効果が低下することなく、また、小振幅成分のみを高域のノイズとして抽出しているので、動きの検出漏れによる弊害を軽減できる。
【０００６】
【特許文献１】
特開平５−３２８１７４号公報
【０００７】
【発明が解決しようとする課題】
しかし、このような３次元巡回型ノイズ低減技術等の従来の画像処理装置では、ノイズと動きを判別して動きを正確にとらえることに成功したとしても、静止部の巡回係数を高く、動き部の巡回係数を低くすれば、静止部と動き部とのＳ／Ｎの差が大きくなり、このＳ／Ｎの差がかえって動き部のノイズを強調することになるため、結局は、静止部の巡回係数も動き部にあわせて低く設定せざるをえないという問題があった。
【０００８】
本発明はこのような問題を解決するためになされたもので、巡回係数設定の適正化等を図り、Ｓ／Ｎ改善度を向上させることが可能な画像処理装置、方法およびプログラムを提供するものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、撮像時刻の異なる複数の画像を同期させる画像データ同期部と、前記複数の画像のうちのいずれかの画像における各画素についての信号レベルが高い方の画像を選択する選択部と、前記選択部で選択された画像の画素についての信号レベルの高低を判定する信号レベル判定部と、前記信号レベル判定部によって判定された信号レベルの高低に応じて巡回係数を決定する信号レベル適応巡回係数決定部と、前記巡回係数に基づいてノイズ成分を算出してノイズ除去を行うフレーム巡回部とを備えた構成を有している。
【００１０】
この構成により、Ｓ／Ｎが高く残像の目立つ高レベル部では巡回係数を下げ、Ｓ／Ｎの低く残像の目立たない低レベル部では巡回係数を上げることができるため、信号レベルに応じた巡回係数を設定することが可能となり、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理装置を実現することができる。
また、この構成により、新旧２つのフレームの画素のうち信号レベルが高い方の信号を選択する選択器を設けて、動物体自体の信号レベルが高く、撮像時間の異なる画像における高レベル部の位置が異なる場合でも、正しく高輝度部を検出することができるようにしたため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理装置を実現することができる。
【００１１】
また、本発明の画像処理装置は、前記フレーム巡回部が、前記入力された複数の画像のうちの新しい時刻の画像から古い時刻の画像を差し引いて画像の差を生成し、前記信号レベル適応巡回係数決定部によって決定された巡回係数を対応する画素毎に前記画像の差に乗算してノイズ成分を算出する構成を有している。
【００１２】
この構成により、新旧２つのフレームの画像の差に巡回係数を乗算してノイズ成分を算出するため、簡易にノイズ除去を行うことが可能な画像処理装置を実現することができる。
【００１５】
また、本発明の装置は、前記信号レベル判定部が、さらに、対象の画素についての信号レベルが信号レベル判定閾値よりも低いと判定され、前記対象の画素の周囲画素についての信号レベルが前記信号レベル判定閾値以上であるときは、前記対象の画素についての信号レベルを前記信号レベル判定閾値以上であると判定する周囲画素比較判定部を備えた構成を有している。
【００１６】
この構成により、高レベル部と低レベル部とのエッジが複数画素にわたって輝度変化をする場合にも、エッジ部を高輝度と判定することになり、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理装置を実現することができる。
【００１７】
また、本発明の装置は、前記信号レベル適応巡回係数決定部が、前記入力された複数の画像に基づいて像の動き検出を行い、前記動き検出によって検出された像の動きに応じて、前記像の動きの程度が大きいほど低い巡回係数を割り当てる構成を有している。
【００１８】
この構成により、高輝度部であっても静止部に対しては高い巡回係数を設定してランダムノイズを除去し、動き部に対しては低い巡回係数を設定して残像を抑えるため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理装置を実現することができる。
【００１９】
また、本発明の画像処理装置は、前記信号レベル適応巡回係数決定部が、前記信号レベル判定部によって信号レベルが前記信号レベル判定閾値よりも低いと判定された画素については、前記像の動きが静止と判定された画素についての巡回係数と同等の大きさの巡回係数を割り当てる構成を有している。
【００２０】
この構成により、低レベル部の巡回係数を高レベル部における静止部の巡回係数に一致させることとしたため、低レベル部と高レベル部の境界におけるＳ／Ｎが等しくなり、それによってＳ／Ｎの差によるノイズが発生せず、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理装置を実現することができる。
【００２１】
また、本発明の画像処理方法は、撮像時刻の異なる複数の画像を同期させる画像データ同期ステップと、前記複数の画像のうちのいずれかの画像における各画素についての信号レベルが高い方の画像を選択する選択ステップと、前記選択ステップで選択された画像の画素についての信号レベルの高低を判定する信号レベル判定ステップと、前記信号レベル判定ステップで判定された信号レベルの高低に応じて巡回係数を決定する信号レベル適応巡回係数決定ステップと、前記巡回係数に基づいてノイズ成分を算出してノイズ除去を行うフレーム巡回ステップとを備えた構成を有している。
【００２２】
この構成により、Ｓ／Ｎが高く残像の目立つ高レベル部では巡回係数を下げ、Ｓ／Ｎの低く残像の目立たない低レベル部では巡回係数を上げることができるため、信号レベルに応じた巡回係数を設定することが可能となり、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理方法を実現することができる。
また、この構成により、新旧２つのフレームの画素のうち信号レベルが高い方の信号を選択する選択器を設けて、動物体自体の信号レベルが高く、撮像時間の異なる画像における高レベル部の位置が異なる場合でも、正しく高輝度部を検出することができるようにしたため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理方法を実現することができる。
【００２３】
また、本発明の画像処理プログラムは、コンピュータに、撮像時刻の異なる複数の画像を同期させる画像データ同期ステップと、前記複数の画像のうちのいずれかの画像における各画素についての信号レベルが高い方の画像を選択する選択ステップと、前記選択ステップで選択された画像の画素についての信号レベルの高低を判定する信号レベル判定ステップと、前記信号レベル判定ステップで判定された信号レベルの高低に応じて巡回係数を決定する信号レベル適応巡回係数決定ステップと、前記巡回係数に基づいてノイズ成分を算出してノイズ除去を行うフレーム巡回ステップとを実行させる構成を有している。
【００２４】
この構成により、Ｓ／Ｎが高く残像の目立つ高レベル部では巡回係数を下げ、Ｓ／Ｎの低く残像の目立たない低レベル部では巡回係数を上げることができるため、信号レベルに応じた巡回係数を設定することが可能となり、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理プログラムを実現することができる。
この構成により、新旧２つのフレームの画素のうち信号レベルが高い方の信号を選択する選択器を設けて、動物体自体の信号レベルが高く、撮像時間の異なる画像における高レベル部の位置が異なる場合でも、正しく高輝度部を検出することができるようにしたため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去が可能な画像処理プログラムを実現することができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施の形態）（参考例）
図１は、本発明の第１の実施の形態に係る画像処理装置のブロック構成を示す図である。図１において、画像処理装置１００は、入力された画像（以下、単に「入力画像」といい、フレーム毎に入力されるものとする。）と旧フレームの画像とを同期をとって出力する画像データ同期部１１０、入力画像の各画素単位で信号レベルの高低を判定する信号レベル判定部１２０、信号レベルの高低に応じて巡回係数を決定する信号レベル適応巡回係数決定部１３０、新旧２つのフレームの画像と巡回係数とを用いてノイズを除去した出力画像を生成するフレーム巡回手段１４０、および出力画像を旧フレームの画像として１フレーム格納するフレームメモリ１５０を含むように構成される。
【００２６】
ここで、信号レベル判定部１２０が行う信号レベルの高低の判定は、画素毎に行い、対象の画素についての信号レベルが予め決められた閾値（以下、「レベル判定閾値」という。）以上か未満かをもって行う。以下、このレベル判定閾値以上の信号レベルを高レベルといい、レベル判定閾値未満の信号レベルを低レベルというものとする。また、高レベルの画素の部分を高レベル部と、低レベルの画素の部分を低レベル部というものとする。
【００２７】
また、画像データ同期部１１０には、入力画像（新フレームの画像）とフレームメモリ１５０に記憶された１フレーム前の出力画像（上記の旧フレームの画像）とが入力され、画像データ同期部１１０は、新フレームの画像と旧フレームの画像とを同期をとって出力するようになっている。信号レベル適応巡回係数決定部１３０は、図１に示すように、高レベル部についての巡回係数を決定する高レベル部巡回係数決定手段１３１と、低レベル部についての巡回係数を決定する低レベル部巡回係数決定手段１３２とを含むように構成される。
【００２８】
以下、本発明の第１の実施の形態に係る画像処理装置１００の動作について説明する。
まず、入力画像である新フレームの画像とフレームメモリ１５０に格納された旧フレームの画像とが入力された画像データ同期部１１０は、これらのフレームの画像の同期をとって信号レベル判定部１２０およびフレーム巡回手段１４０に出力する（Ｓ２０１）。ここで、新旧フレームの画像を、後述するように、さらに信号レベル適応巡回係数決定部１３０にも出力するのでもよい。
【００２９】
ステップＳ２０１で新旧２つのフレームの画像が入力された信号レベル判定部１２０は、画素毎に、対象とする画素の信号レベルがレベル判定閾値以上であれば高レベル、レベル判定閾値未満であれば低レベルという判定信号を生成して信号レベル適応巡回係数決定部１３０に出力する（Ｓ２０２）。
【００３０】
判定信号が入力された信号レベル適応巡回係数決定部１３０は、判定信号に応じて高レベル部巡回係数決定手段１３１または低レベル部巡回係数決定手段１３２のいずれかが巡回係数を決定する処理を実行する（Ｓ２０３）。ここで、これらの巡回係数決定手段１３１、１３２が画像に含まれる像の動きの程度の判定（以下、単に「動き判定」という。）を行う場合には、入力された新旧２つのフレームの画像も上記の動き判定に必要となる。そのため、かかる場合に対応できるように、画像データ同期部１１０からは、新旧２つのフレームの画像が信号レベル適応巡回係数決定部１３０に出力されるようになっているのでもよい。このことを示すため、図１に、画像データ同期部１１０から信号レベル適応巡回係数決定部１３０への新旧２つのフレームの画像の出力を破線で表した。
【００３１】
本発明の第１の実施の形態では、信号レベルに基づいて巡回係数が決定される。この方法では、高レベル部巡回係数決定手段１３１は低い巡回係数を固定値（例えば０．１）として出力し、低レベル部巡回係数決定手段１３２は高い巡回係数を固定値（例えば０．８）として出力するものとする。ここで、巡回係数は、０以上１以下の値であり、高レベル部に対しては１よりの値（大きい値）が設定され、低レベル部については、０よりの値（小さい値）が設定される。
【００３２】
巡回係数と新旧２つのフレームの画像が入力されたフレーム巡回手段１４０は、入力画像の各画素に対し、以下の式（１）に示す処理を施す（Ｓ２０４）。
Ｏｉｊ＝Ｎｉｊ−（Ｎｉｊ−Ｐｉｊ）×Ｋｉｊ（１）
ここで、ｉおよびｊは、画素を指定する符号であり、Ｏｉｊは出力画像におけるｉ、ｊで指定された画素の信号であり、Ｎｉｊは入力画像におけるｉ、ｊで指定された画素の信号であり、Ｐｉｊは、旧フレームの画像におけるｉ、ｊで指定された画素の信号であり、Ｋｉｊは、ｉ、ｊで指定された画素の巡回係数である。
【００３３】
上記の式（１）における右辺第２項は、ノイズ成分として除去される成分を示す。これによりノイズ成分が軽減された画像が出力画像として生成され、外部に出力されると共に、フレームメモリ１５０に旧フレームの画像として更新されて格納されることになる（Ｓ２０５）。次に、入力画像の有無が画像データ同期部１１０によって判断され（Ｓ２０６）、入力画像があるときは、以上の処理（以下、「フレーム巡回型ノイズ低減処理」という。）が繰り返され、順次新しく入力されたフレームの入力画像からノイズが低減されることとなる。
【００３４】
以上説明したように、本発明の第１の実施の形態に係る画像処理装置および方法は、Ｓ／Ｎが高く残像の目立つ高レベル部では巡回係数を下げ、Ｓ／Ｎの低く残像の目立たない低レベル部では巡回係数を上げることができるため、信号レベルに応じた巡回係数を設定することが可能となり、Ｓ／Ｎ改善度の高いノイズ除去ができる。
【００３５】
なお、本発明の第１の実施の形態では、画像処理装置１００を用いて上記のＳ２０１〜Ｓ２０５の各ステップでの処理を行う画像処理方法について説明したが、これらのステップＳ２０１〜Ｓ２０５を含む画像処理動作を実行させるための画像処理プログラムがインストールされた所定のコンピュータを用いて実施することも可能である。
【００３６】
また、本発明は、所定の記憶媒体に記憶された上記の画像処理プログラムをコンピュータにロードする方法のほかに、上記画像処理プログラムを通信インターフェースおよびネットワークからファイル形式で取得し、前記コンピュータで実施する方法によっても同様の効果が得られる。さらに、ネットワークを用いることでプログラムの更新や配布が容易となる。
【００３７】
（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像処理装置について図３を用いて説明する。
図３は、本発明の第１の実施の形態に係る画像処理装置１００を構成する信号レベル判定部１２０の詳細な構成を示すブロック図である。図３において、信号レベル判定部１２０は、新旧２つのフレームの画像を構成する各画素について信号レベルの高いフレームの画素を選択する選択器１２１、および選択されたフレームの画素の信号レベルがレベル判定閾値以上か否かを判定するレベル判定器１２２を含むように構成される。
【００３８】
以下、信号レベル判定部１２０の動作について説明する。
画像データ同期部１１０から新旧２つのフレームの画像が入力された信号レベル判定部１２０の選択器１２１は、画素毎に対応する画素の信号レベルの比較を行い、信号レベルの高いフレームの画素を選択して選択したフレームと画素とを特定する情報をレベル判定器１２２に出力する。ここで、画素を特定する順番を予め決めておき、画素を特定する情報の出力を省略するのでもよい。
【００３９】
選択されたフレームと画素とを特定する情報が入力されたレベル判定器１２２は、この情報に基づいて画素を特定し、その信号レベルがレベル判定閾値以上か否かを判定し、判定結果（高レベルであるか低レベルであるかの結果）を内容とする判定信号を生成して信号レベル適応巡回係数決定部１３０に出力する。ここで、上記本発明の第１の実施の形態においては、新旧いずれか特定のフレームを対象として信号レベルの高低の判定を行うものについて説明したが、本発明の第２の実施の形態においては、対象とされるフレームが画素毎に異なる場合が生ずることになる。
【００４０】
以上説明したように、本発明の第２の実施の形態に係る画像処理装置は、新旧２つのフレームの画素のうち信号レベルが高い方の信号を選択する選択器を設けることにより、動物体自体の信号レベルが高く、撮像時間の異なる画像における高レベル部の位置が異なる場合でも、正しく高輝度部を検出することができるため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去ができる。
【００４１】
（第３の実施の形態）
次に、本発明の第３の実施の形態に係る画像処理装置について図４を用いて説明する。
図４は、本発明の第１の実施の形態に係る画像処理装置１００を構成する信号レベル判定部１２０の詳細な構成を示すブロック図である。図４において、信号レベル判定部１２０は、本発明の第２の実施の形態に係る信号レベル判定部１２０の構成手段１２１、１２２に、対象画素の信号レベルを周囲画素の信号レベルと比較して処理に補正を加える周囲画素比較補正器１２３を含むように構成される。
【００４２】
以下、信号レベル判定部１２０の動作について説明する。なお、本発明の第２の実施の形態に係る信号レベル判定部１２０の構成手段と同様の構成手段については同一の符号を付し、その説明を省略する。
周囲画素比較補正器１２３は、レベル判定器１２２から出力される第１の判定信号によって対象画素の信号レベルが低レベルであるとされたとき、この対象画素の周囲の画素が高レベルか否かを判定し、高レベルと判定されたときは、第１の判定信号が示す判定結果を補正して高レベルとし、高レベルであることを示す第２の判定信号を生成し、信号レベル適応巡回係数決定部１３０に出力する。ここで、対象画素の周囲の画素として、４画素をとるのでも８画素をとるのでも、その他の画素数とするのでもよい。
【００４３】
以上説明したように、本発明の第３の実施の形態に係る画像処理装置は、高レベル部と低レベル部とのエッジが複数画素にわたって輝度変化をする場合にも、エッジ部を高輝度と判定することになり、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去ができる。
【００４４】
（第４の実施の形態）
次に、本発明の第４の実施の形態に係る画像処理装置について図５を用いて説明する。
図５は、本発明の第１の実施の形態に係る画像処理装置１００を構成する高レベル部巡回係数決定手段１３１の詳細な構成を示すブロック図である。図５において、高レベル部巡回係数決定手段１３１は、新旧２つのフレームの画像に基づいて画像に含まれる像の動きを検出する動き検出器３１１、動きに応じた巡回係数を保持する静止巡回係数保持器３１２、中間巡回係数保持器３１３、および動き巡回係数保持器３１４、ならびに、像の動きに応じて巡回係数を選択する巡回係数選択器３１５を含むように構成される。
【００４５】
以下、高レベル部巡回係数決定手段１３１の動作について説明する。
動き検出器３１１は、入力された新旧２つのフレームの画像に基づいて画像の動きを検出し、検出結果を内容とする動き検出信号を巡回係数選択器３１５に出力する。動き検出方法としては、旧フレーム画像信号と新フレーム画像信号との差分絶対値を画素毎に求め、求めた差分絶対値を第１の動き判定閾値および第２の動き判定閾値（第１の動き判定閾値＞第２の動き判定閾値）と比較し、差分絶対値が第１の動き判定閾値よりも大きい場合は「動き」と判定し、第２の動き判定閾値よりも小さい場合は「静止」と判定し、それ以外の場合は「中間」と判定する方法がある。その他に、エッジを検出して動きを検出する方法や、低域通過フィルタによって高周波成分を除いた状態で差分絶対値をとり、その結果に基づいて動きを判定する方法など様々な方法があるが、動きの検出方法については公知であり詳細な説明は省略する。
【００４６】
ここで、静止巡回係数保持器３１２は、動き検出器３１１によって「静止」と判定されたときに割り当てる巡回係数の値を保持するようになっている。同様に、中間巡回係数保持器３１３は、動き検出器３１１によって「中間」と判定されたときに割り当てる巡回係数の値を、動き巡回係数保持器３１４は動き検出器３１１によって「動き」と判定されたときに割り当てる巡回係数の値を保持するようになっている。なお、各巡回係数は、動き巡回係数＜中間巡回係数＜静止巡回係数という関係にあるものとする。
【００４７】
動き検出器３１１から動き検出信号が入力された巡回係数選択器３１５は、静止巡回係数保持器３１２、中間巡回係数保持器３１３、または動き巡回係数保持器３１４のいずれかが保持する巡回係数をこの動き検出信号に応じて選択し、選択した巡回係数をフレーム巡回手段１４０に出力する。なお、本発明の第４の実施の形態においては、「像の動き」を３つのモードとして巡回係数を保持することとしたが、１６のモード、２５６のモードで「像の動き」を識別し、「静止」から「動き」へと変化するときの境界におけるＳ／Ｎ差を抑えるようにするのでもよい。
【００４８】
また、低レベル部の巡回係数を高レベル部の静止部の巡回係数に一致させ、低レベル部と高レベル部の境界におけるＳ／Ｎが等しくなるようにして、Ｓ／Ｎの差によるノイズの発生を抑制し、Ｓ／Ｎ改善度を向上させるのでもよい。
【００４９】
以上説明したように、本発明の第４の実施の形態に係る画像処理装置は、高輝度部であっても静止部に対しては高い巡回係数を設定することでランダムノイズを除去し、動き部に対しては残像を抑えるため低い巡回係数を設定することになるため、残像を抑圧し、Ｓ／Ｎ改善度の高いノイズ除去ができる。
【００５０】
【発明の効果】
以上説明したように、本発明は、巡回係数設定の適正化等を図り、Ｓ／Ｎ改善度を向上させることが可能な画像処理装置、方法およびプログラムを実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置のブロック構成を示す図
【図２】本発明の第１の実施の形態に係る画像処理方法における処理の流れを説明するためのフローチャート
【図３】本発明の第２の実施の形態に係る信号レベル判定部のブロック構成を示す図
【図４】本発明の第３の実施の形態に係る信号レベル判定部のブロック構成を示す図
【図５】本発明の第４の実施の形態に係る高レベル部巡回係数決定手段のブロック構成を示す図
【図６】従来の３次元巡回型ノイズ低減装置のブロック構成を示す図
【符号の説明】
１入力端子
２、３、１２減算器
４係数回路
５フレームメモリ
６動き検出回路
７リミット回路
１１ＬＰＦ
１３加算器
１００画像処理装置
１１０画像データ同期部
１２０信号レベル判定部
１２１選択器
１２２レベル判定器
１２３周囲画素比較補正器
１３０信号レベル適応巡回係数決定部
１３１高レベル部巡回係数決定手段
１３２低レベル部巡回係数決定手段
１４０フレーム巡回部
１５０フレームメモリ
３１１動き検出器
３１２静止巡回係数保持器
３１３中間巡回係数保持器
３１４動き巡回係数保持器
３１５巡回係数選択器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program for performing image processing including cyclic noise reduction processing.
[0002]
[Prior art]
Conventionally, a three-dimensional cyclic noise reduction technique is known as a noise reduction technique using a plurality of frames of images (see, for example, Patent Document 1). When comparing a non-cyclic type noise reduction method that reduces noise using an image of two frames and a three-dimensional cyclic type noise reduction method, the non-cyclic type noise reduction method has an improvement of S / N of 3 dB at most. In the three-dimensional cyclic noise reduction method, when the cyclic coefficient is increased to, for example, 0.8, the S / N improvement is theoretically over 9 dB, and the three-dimensional cyclic noise reduction method is a method having a very high S / N improvement effect. . However, there is a demerit that the higher the cyclic coefficient is, the more afterimage noise of the moving object is generated. Various methods for suppressing the afterimage noise while increasing the cyclic coefficient have been studied.
[0003]
FIG. 6 is a diagram showing a block configuration of a conventional three-dimensional cyclic noise reduction device disclosed in Japanese Patent Laid-Open No. 5-328174. The three-dimensional cyclic noise reduction apparatus includes subtracters 2, 3 and 12, a coefficient circuit 4, a frame memory 5, a motion detection circuit 6, a limit circuit 7, an LPF 11, and an adder 13. A difference signal is generated by the subtractor 3 based on the input video signal input from the terminal 1 and the output video signal of the old frame stored in the frame memory 5, and the amplitude restriction is applied to the LPF 11 for the high frequency component of the difference signal. It is imposed by the subtracter 12, the limit circuit 7, and the adder 13.
[0004]
On the other hand, the motion of the image is detected based on the low frequency component of the difference signal, and the signal M indicating the motion and the differential signal with the amplitude limited to the high frequency component are input to the coefficient circuit 4, A cyclic coefficient (0 or more and 1 or less) corresponding to the signal M indicating the signal is generated, and a signal obtained by multiplying the differential signal in which the amplitude is limited to the high frequency component is output as a noise component to be removed. In the subtracter 2, the output of the coefficient circuit 4 is subtracted from the input video signal to generate an output video signal.
[0005]
By configuring in this way, high-frequency noise is not erroneously detected as motion and the noise removal effect is not reduced, and only a small amplitude component is extracted as high-frequency noise, so motion detection is not detected. The harmful effects caused by can be reduced.
[0006]
[Patent Document 1]
JP-A-5-328174
[Problems to be solved by the invention]
However, in such a conventional image processing apparatus such as a three-dimensional cyclic noise reduction technique, even if the noise and the movement are discriminated and the movement is accurately captured, the stationary section has a high cyclic coefficient, If the cyclic coefficient is reduced, the S / N difference between the stationary part and the moving part increases, and this S / N difference emphasizes the noise of the moving part. There was a problem that the cyclic coefficient had to be set low according to the moving part.
[0008]
The present invention has been made to solve such a problem, and provides an image processing apparatus, method, and program capable of improving the S / N improvement degree by optimizing the cyclic coefficient setting and the like. It is.
[0009]
[Means for Solving the Problems]
The image processing apparatus of the present invention selects an image data synchronization unit that synchronizes a plurality of images with different imaging times, and an image having a higher signal level for each pixel in any one of the plurality of images. A cyclic coefficient is determined in accordance with a selection unit, a signal level determination unit that determines the level of a signal level for a pixel of an image selected by the selection unit, and a level of the signal level determined by the signal level determination unit A signal level adaptive cyclic coefficient determination unit and a frame cyclic unit that calculates a noise component based on the cyclic coefficient and removes noise are included.
[0010]
With this configuration, the cyclic coefficient can be lowered in the high level portion where the S / N is high and the afterimage is conspicuous, and the cyclic coefficient can be increased in the low level portion where the S / N is low and the afterimage is inconspicuous. Can be set, and an image processing apparatus capable of noise removal with a high S / N improvement can be realized.
In addition, with this configuration, a selector that selects a signal having a higher signal level among the pixels of the old and new two frames is provided, and the position of the high-level portion in an image with a high signal level of the moving object itself and a different imaging time Since the high-luminance portion can be correctly detected even when they are different, it is possible to realize an image processing apparatus capable of suppressing afterimages and removing noise with a high S / N improvement degree.
[0011]
In the image processing device of the present invention, the frame circulating unit generates an image difference by subtracting an image at an old time from an image at a new time among the plurality of input images, and the signal level adaptive cycling. The noise component is calculated by multiplying the difference between the images for each corresponding pixel by the cyclic coefficient determined by the coefficient determination unit.
[0012]
With this configuration, since the noise component is calculated by multiplying the difference between the images of the old and new frames by a cyclic coefficient, it is possible to realize an image processing apparatus that can easily remove noise.
[0015]
In the apparatus of the present invention, the signal level determination unit further determines that the signal level for the target pixel is lower than a signal level determination threshold, and the signal level for the surrounding pixels of the target pixel is the signal level. When it is equal to or higher than the level determination threshold, it has a configuration including an ambient pixel comparison determination unit that determines that the signal level for the target pixel is equal to or higher than the signal level determination threshold.
[0016]
With this configuration, even when the edge between the high level portion and the low level portion changes in luminance over a plurality of pixels, the edge portion is determined to have high luminance, and the afterimage is suppressed and the S / N improvement degree is high. An image processing apparatus capable of removing noise can be realized.
[0017]
Further, in the apparatus of the present invention, the signal level adaptive cyclic coefficient determination unit performs image motion detection based on the plurality of input images, and according to the image motion detected by the motion detection, As the degree of image movement increases, a lower cyclic coefficient is assigned.
[0018]
With this configuration, even in a high-luminance part, a high cyclic coefficient is set for the stationary part to remove random noise, and a low cyclic coefficient is set for the moving part to suppress the afterimage. It is possible to realize an image processing apparatus capable of suppressing noise removal with high S / N improvement.
[0019]
The image processing apparatus of the present invention, the signal level adaptation cyclic coefficient determining unit, for the signal level determination unit picture element whose signal level is determined to be lower than the signal level determination threshold value by the movement of the image Has a configuration in which a cyclic coefficient having the same size as the cyclic coefficient for a pixel determined to be stationary is assigned.
[0020]
With this configuration, the cyclic coefficient of the low level part is made to coincide with the cyclic coefficient of the stationary part in the high level part, so that the S / N at the boundary between the low level part and the high level part becomes equal, thereby It is possible to realize an image processing apparatus that does not generate noise due to the difference and can perform noise removal with a high S / N improvement.
[0021]
The image processing method of the present invention includes an image data synchronization step for synchronizing a plurality of images having different imaging times, and an image having a higher signal level for each pixel in any one of the plurality of images. A selecting step for selecting , a signal level determining step for determining the level of the signal level for the pixel of the image selected in the selecting step, and a cyclic coefficient according to the level of the signal level determined in the signal level determining step. A signal level adaptive cyclic coefficient determining step to be determined; and a frame cyclic step of calculating a noise component based on the cyclic coefficient and performing noise removal.
[0022]
With this configuration, the cyclic coefficient can be lowered in the high level portion where the S / N is high and the afterimage is conspicuous, and the cyclic coefficient can be increased in the low level portion where the S / N is low and the afterimage is inconspicuous. Can be set, and an image processing method capable of noise removal with a high S / N improvement can be realized.
In addition, with this configuration, a selector that selects a signal having a higher signal level among the pixels of the old and new two frames is provided, and the position of the high-level portion in an image with a high signal level of the moving object itself and a different imaging time Since the high-luminance portion can be correctly detected even when the values are different, it is possible to realize an image processing method capable of suppressing afterimages and removing noise with a high S / N improvement degree.
[0023]
The image processing program of the present invention causes a computer, different from the image data synchronization step of the plurality of images are synchronized, it is the signal level is high for each pixel in one of the image of the plurality of images capturing time A selection step for selecting the image, a signal level determination step for determining the level of the signal level for the pixel of the image selected in the selection step, and the level of the signal level determined in the signal level determination step A signal level adaptive cyclic coefficient determining step for determining a cyclic coefficient and a frame cyclic step for calculating a noise component based on the cyclic coefficient and performing noise removal are executed.
[0024]
With this configuration, the cyclic coefficient can be lowered in the high level portion where the S / N is high and the afterimage is conspicuous, and the cyclic coefficient can be increased in the low level portion where the S / N is low and the afterimage is inconspicuous. Can be set, and an image processing program capable of noise removal with a high S / N improvement degree can be realized.
With this configuration, a selector that selects a signal having a higher signal level among the pixels of the old and new two frames is provided, the signal level of the moving object itself is high, and the position of the high-level portion in the images with different imaging times is different. Even in this case, since the high luminance part can be correctly detected, it is possible to realize an image processing program capable of suppressing afterimages and removing noise with a high S / N improvement.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment) (Reference example)
FIG. 1 is a diagram showing a block configuration of an image processing apparatus according to the first embodiment of the present invention. In FIG. 1, the image processing apparatus 100 synchronizes and outputs an input image (hereinafter simply referred to as “input image”, which is input for each frame) and an image of an old frame. Data synchronization unit 110, signal level determination unit 120 that determines the level of the signal level for each pixel of the input image, signal level adaptive cyclic coefficient determination unit 130 that determines a cyclic coefficient according to the level of the signal level, and old and new two frames Frame recirculation means 140 for generating an output image from which noise has been removed using the image and the cyclic coefficient, and a frame memory 150 for storing the output image as one frame of the old frame.
[0026]
Here, the level determination of the signal level performed by the signal level determination unit 120 is performed for each pixel, and the signal level for the target pixel is equal to or higher than a predetermined threshold (hereinafter referred to as “level determination threshold”). Do it with something. Hereinafter, a signal level equal to or higher than the level determination threshold is referred to as a high level, and a signal level lower than the level determination threshold is referred to as a low level. Further, a high level pixel portion is referred to as a high level portion, and a low level pixel portion is referred to as a low level portion.
[0027]
The image data synchronization unit 110 receives the input image (new frame image) and the output image of the previous frame stored in the frame memory 150 (the above old frame image). Is configured to output a new frame image and an old frame image in synchronization. As shown in FIG. 1, the signal level adaptive cyclic coefficient determination unit 130 includes a high level part cyclic coefficient determination unit 131 that determines a cyclic coefficient for a high level part, and a low level part that determines a cyclic coefficient for a low level part. And a cyclic coefficient determining means 132.
[0028]
The operation of the image processing apparatus 100 according to the first embodiment of the present invention will be described below.
First, an image data synchronization unit 110 to which an image of a new frame that is an input image and an image of an old frame stored in the frame memory 150 are input synchronizes the images of these frames, and the signal level determination unit 120 and It outputs to the frame circulating means 140 (S201). Here, the new and old frame images may be output to the signal level adaptive cyclic coefficient determination unit 130 as will be described later.
[0029]
The signal level determination unit 120 to which the images of the old and new two frames are input in step S201 is high for each pixel if the signal level of the target pixel is equal to or higher than the level determination threshold, and low for less than the level determination threshold. A determination signal called level is generated and output to the signal level adaptive cyclic coefficient determination unit 130 (S202).
[0030]
The signal level adaptive cyclic coefficient determination unit 130 to which the determination signal is input executes a process in which either the high level cyclic coefficient determination unit 131 or the low level cyclic coefficient determination unit 132 determines the cyclic coefficient according to the determination signal. (S203). Here, when these cyclic coefficient determining means 131 and 132 determine the degree of motion of an image included in the image (hereinafter simply referred to as “motion determination”), the input images of the old and new two frames are input. Is also necessary for the above-described motion determination. Therefore, in order to cope with such a case, the image data synchronization unit 110 may output the images of the old and new two frames to the signal level adaptive cyclic coefficient determination unit 130. In order to show this, in FIG. 1, the output of the image of the old and new two frames from the image data synchronization unit 110 to the signal level adaptive cyclic coefficient determination unit 130 is represented by a broken line.
[0031]
In the first embodiment of the present invention, the cyclic coefficient is determined based on the signal level. In this method, the high level cyclic coefficient determining means 131 outputs a low cyclic coefficient as a fixed value (for example, 0.1), and the low level cyclic coefficient determining means 132 outputs a high cyclic coefficient to a fixed value (for example, 0.8). As the output. Here, the cyclic coefficient is a value of 0 or more and 1 or less, a value greater than 1 (large value) is set for the high level portion, and a value (small value) less than 0 for the low level portion. Is set.
[0032]
The frame circulating means 140 to which the cyclic coefficient and the new and old two frame images are input performs the processing shown in the following equation (1) on each pixel of the input image (S204).
Oij = Nij− (Nij−Pij) × Kij (1)
Here, i and j are codes for designating pixels, Oij is a pixel signal designated by i and j in the output image, and Nij is a pixel signal designated by i and j in the input image. Yes, Pij is a signal of a pixel designated by i and j in the image of the old frame, and Kij is a cyclic coefficient of the pixel designated by i and j.
[0033]
The second term on the right side in the above equation (1) indicates a component to be removed as a noise component. As a result, an image with reduced noise components is generated as an output image and output to the outside, and is updated and stored as an image of an old frame in the frame memory 150 (S205). Next, the presence / absence of an input image is determined by the image data synchronization unit 110 (S206), and when there is an input image, the above processing (hereinafter referred to as “frame cyclic noise reduction processing”) is repeated and sequentially new. Noise is reduced from the input image of the input frame.
[0034]
As described above, in the image processing apparatus and method according to the first embodiment of the present invention, the cyclic coefficient is lowered in the high level portion where the S / N is high and the afterimage is conspicuous, and the afterimage is low and the afterimage is inconspicuous. Since the cyclic coefficient can be increased in the low level portion, it is possible to set the cyclic coefficient according to the signal level, and noise removal with a high S / N improvement can be performed.
[0035]
In the first embodiment of the present invention, the image processing method for performing the processing in each of the above steps S201 to S205 using the image processing apparatus 100 has been described. However, an image including these steps S201 to S205 is described. It is also possible to implement using a predetermined computer in which an image processing program for executing a processing operation is installed.
[0036]
In addition to a method for loading the above-described image processing program stored in a predetermined storage medium into a computer, the present invention acquires the image processing program in a file format from a communication interface and a network, and implements it on the computer. The same effect can be obtained depending on the method. Furthermore, using a network makes it easy to update and distribute programs.
[0037]
(Second Embodiment)
Next, an image processing apparatus according to a second embodiment of the present invention will be described with reference to FIG.
FIG. 3 is a block diagram illustrating a detailed configuration of the signal level determination unit 120 included in the image processing apparatus 100 according to the first embodiment of the present invention. In FIG. 3, the signal level determination unit 120 selects a pixel of a frame having a high signal level for each pixel constituting the image of the old and new two frames, and determines the signal level of the pixel of the selected frame. It is configured to include a level determiner 122 that determines whether or not the threshold value is exceeded.
[0038]
Hereinafter, the operation of the signal level determination unit 120 will be described.
The selector 121 of the signal level determination unit 120 to which the images of the new and old frames are input from the image data synchronization unit 110 compares the signal levels of the corresponding pixels for each pixel, and selects a pixel of a frame with a high signal level. Then, information specifying the selected frame and pixel is output to the level determiner 122. Here, the order of specifying the pixels may be determined in advance, and the output of the information specifying the pixels may be omitted.
[0039]
The level determiner 122 to which information for specifying the selected frame and pixel is input specifies the pixel based on this information, determines whether the signal level is equal to or higher than the level determination threshold, and determines the determination result (high A determination signal whose content is the result of whether the level is low or low is generated and output to the signal level adaptive cyclic coefficient determination unit 130. Here, in the first embodiment of the present invention, a description has been given of determining whether the signal level is high or low for either a new or old specific frame, but in the second embodiment of the present invention. In some cases, the target frame is different for each pixel.
[0040]
As described above, the image processing apparatus according to the second embodiment of the present invention provides a selector that selects a signal having a higher signal level among the pixels of the old and new two frames, so that the moving object itself Even when the signal level is high and the position of the high level part in images with different imaging times is different, the high luminance part can be detected correctly, so that afterimages can be suppressed and noise removal with a high S / N improvement can be achieved. .
[0041]
(Third embodiment)
Next, an image processing apparatus according to a third embodiment of the present invention will be described with reference to FIG.
FIG. 4 is a block diagram illustrating a detailed configuration of the signal level determination unit 120 included in the image processing apparatus 100 according to the first embodiment of the present invention. In FIG. 4, the signal level determination unit 120 compares the signal level of the target pixel with the signal level of the surrounding pixels to the constituent units 121 and 122 of the signal level determination unit 120 according to the second embodiment of the present invention. It is configured to include a surrounding pixel comparison corrector 123 that corrects the processing.
[0042]
Hereinafter, the operation of the signal level determination unit 120 will be described. In addition, the same code | symbol is attached | subjected about the structural means similar to the structural means of the signal level determination part 120 which concerns on the 2nd Embodiment of this invention, and the description is abbreviate | omitted.
When the signal level of the target pixel is determined to be low by the first determination signal output from the level determiner 122, the surrounding pixel comparison corrector 123 determines whether the surrounding pixels of the target pixel are high. If the determination result is high, the determination result indicated by the first determination signal is corrected to a high level, a second determination signal indicating the high level is generated, and the signal level adaptive cycle is performed. It outputs to the coefficient determination part 130. Here, the number of pixels around the target pixel may be 4 pixels, 8 pixels, or any other number of pixels.
[0043]
As described above, in the image processing apparatus according to the third embodiment of the present invention, even when the edges of the high level part and the low level part change in luminance over a plurality of pixels, the edge part is set to high brightness. As a result, afterimage is suppressed and noise removal with a high S / N improvement degree can be performed.
[0044]
(Fourth embodiment)
Next, an image processing apparatus according to a fourth embodiment of the present invention will be described with reference to FIG.
FIG. 5 is a block diagram showing a detailed configuration of the high-level cyclic coefficient determining unit 131 included in the image processing apparatus 100 according to the first embodiment of the present invention. In FIG. 5, a high level cyclic coefficient determining unit 131 includes a motion detector 311 that detects the motion of an image included in an image based on two new and old frames, and a static cyclic coefficient that holds a cyclic coefficient corresponding to the motion. A holder 312, an intermediate cyclic coefficient holder 313, a motion cyclic coefficient holder 314, and a cyclic coefficient selector 315 that selects a cyclic coefficient in accordance with the motion of the image are configured.
[0045]
Hereinafter, the operation of the high level part cyclic coefficient determination means 131 will be described.
The motion detector 311 detects the motion of the image based on the input images of the new and old two frames, and outputs a motion detection signal whose content is the detection result to the cyclic coefficient selector 315. As a motion detection method, a difference absolute value between an old frame image signal and a new frame image signal is obtained for each pixel, and the obtained difference absolute value is used as a first motion determination threshold and a second motion determination threshold (first motion (Determination threshold> second motion determination threshold), when the difference absolute value is larger than the first motion determination threshold, it is determined as “motion”, and when it is smaller than the second motion determination threshold, “still”. In other cases, there is a method of determining “intermediate”. In addition, there are various methods such as a method for detecting motion by detecting an edge, and a method for determining a motion based on a result obtained by taking an absolute difference value with a high-frequency component removed by a low-pass filter. The motion detection method is well known and will not be described in detail.
[0046]
Here, the stationary cyclic coefficient holding unit 312 holds the value of the cyclic coefficient to be assigned when the motion detector 311 determines “stationary”. Similarly, the intermediate cyclic coefficient holder 313 determines the cyclic coefficient value to be assigned when the motion detector 311 determines “intermediate”, and the motion cyclic coefficient holder 314 determines that the movement detector 311 determines “motion”. The value of the cyclic coefficient assigned at the time is stored. It is assumed that each cyclic coefficient has a relationship of motion cyclic coefficient <intermediate cyclic coefficient <stationary cyclic coefficient.
[0047]
The cyclic coefficient selector 315 to which the motion detection signal is input from the motion detector 311 receives the cyclic coefficient held by any one of the static cyclic coefficient holder 312, the intermediate cyclic coefficient holder 313, or the motion cyclic coefficient holder 314. The selection is made according to the motion detection signal, and the selected cyclic coefficient is output to the frame cyclic means 140. In the fourth embodiment of the present invention, the cyclic coefficient is held with “image motion” as three modes, but “image motion” is identified in 16 modes and 256 modes. The S / N difference at the boundary when changing from “still” to “motion” may be suppressed.
[0048]
In addition, the cyclic coefficient of the low level part is matched with the cyclic coefficient of the static part of the high level part so that the S / N at the boundary between the low level part and the high level part is equal, Generation | occurrence | production may be suppressed and S / N improvement degree may be improved.
[0049]
As described above, the image processing apparatus according to the fourth embodiment of the present invention removes random noise by setting a high cyclic coefficient for a stationary part even if it is a high-luminance part, and moves Since a low cyclic coefficient is set to suppress the afterimage, the afterimage is suppressed and noise removal with a high S / N improvement degree can be performed.
[0050]
【The invention's effect】
As described above, the present invention can realize an image processing apparatus, method, and program capable of improving the S / N improvement degree by optimizing cyclic coefficient settings and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus according to a first embodiment of the present invention. FIG. 2 is a diagram for explaining a processing flow in an image processing method according to the first embodiment of the present invention. FIG. 3 is a block diagram of a signal level determining unit according to a second embodiment of the present invention. FIG. 4 is a block diagram of a signal level determining unit according to the third embodiment of the present invention. FIG. 5 is a diagram showing a block configuration of a high-level cyclic coefficient determining unit according to a fourth embodiment of the present invention. FIG. 6 is a block diagram of a conventional three-dimensional cyclic noise reduction device. Explanation of symbols]
1 Input terminal 2, 3, 12 Subtractor 4 Coefficient circuit 5 Frame memory 6 Motion detection circuit 7 Limit circuit 11 LPF
13 Adder 100 Image processing device 110 Image data synchronization unit 120 Signal level determination unit 121 Selector 122 Level determination unit 123 Ambient pixel comparison corrector 130 Signal level adaptive cyclic coefficient determination unit 131 High level unit cyclic coefficient determination unit 132 Low level unit Cyclic coefficient determination means 140 Frame cyclic unit 150 Frame memory 311 Motion detector 312 Static cyclic coefficient holder 313 Intermediate cyclic coefficient holder 314 Motion cyclic coefficient holder 315 Cyclic coefficient selector

Claims

An image data synchronization unit that synchronizes a plurality of images with different imaging times, a selection unit that selects an image with a higher signal level for each pixel in any one of the plurality of images, and the selection unit A signal level determination unit that determines the level of a signal level for a pixel of the selected image, and a signal level adaptive cyclic coefficient determination unit that determines a cyclic coefficient according to the level of the signal level determined by the signal level determination unit; An image processing apparatus comprising: a frame cyclic unit that calculates a noise component based on the cyclic coefficient and performs noise removal.

The frame cyclic unit generates an image difference by subtracting an image at an old time from an image at a new time among the plurality of input images, and determines the cyclic coefficient determined by the signal level adaptive cyclic coefficient determination unit. The image processing apparatus according to claim 1, wherein a noise component is calculated by multiplying the difference between the images for each corresponding pixel.

The signal level determination unit further determines that the signal level for the target pixel is lower than the signal level determination threshold, and the signal level for the surrounding pixels of the target pixel is equal to or higher than the signal level determination threshold. the image processing apparatus according to any one of claims 1 to 2, characterized in that it has a peripheral pixel comparing and determining section determines that the signal level for a pixel of said target is the signal level determination threshold value or higher.

The signal level adaptive cyclic coefficient determination unit performs image motion detection based on the plurality of input images, and the greater the degree of image motion according to the image motion detected by the motion detection, the image processing apparatus according to any one of claims 1 to 3, characterized in that assigning a lower cyclic coefficient.

The signal level adaptation cyclic coefficient determining unit, for picture element it is determined that the signal level by the signal level judging unit is lower than the signal level determination threshold, cyclic for the pixel motion of the image is determined to be stationary The image processing apparatus according to claim 4 , wherein a cyclic coefficient having a size equivalent to the coefficient is assigned.

An image data synchronization step for synchronizing a plurality of images with different imaging times, a selection step for selecting an image with a higher signal level for each pixel in any one of the plurality of images, and the selection step. A signal level determination step for determining the level of the signal level for the pixel of the selected image, and a signal level adaptive cyclic coefficient determination step for determining a cyclic coefficient according to the level of the signal level determined in the signal level determination step; An image processing method comprising: a frame cyclic step of calculating a noise component based on the cyclic coefficient and performing noise removal.

An image data synchronization step for synchronizing a plurality of images with different imaging times to a computer, a selection step for selecting an image with a higher signal level for each pixel in any one of the plurality of images , A signal level determination step for determining the level of the signal level for the pixel of the image selected in the selection step, and a signal level adaptive cyclic coefficient for determining a cyclic coefficient according to the level of the signal level determined in the signal level determination step An image processing program for executing a determination step and a frame cyclic step for calculating a noise component based on the cyclic coefficient and performing noise removal.