[go: up one dir, main page]

JP5792990B2 - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP5792990B2
JP5792990B2 JP2011102342A JP2011102342A JP5792990B2 JP 5792990 B2 JP5792990 B2 JP 5792990B2 JP 2011102342 A JP2011102342 A JP 2011102342A JP 2011102342 A JP2011102342 A JP 2011102342A JP 5792990 B2 JP5792990 B2 JP 5792990B2
Authority
JP
Japan
Prior art keywords
frame
frame rate
cyclic
noise reduction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011102342A
Other languages
English (en)
Other versions
JP2012235306A5 (ja
JP2012235306A (ja
Inventor
弘典 青景
弘典 青景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011102342A priority Critical patent/JP5792990B2/ja
Priority to US13/455,499 priority patent/US8736719B2/en
Priority to CN201210135418.4A priority patent/CN102761682B/zh
Publication of JP2012235306A publication Critical patent/JP2012235306A/ja
Publication of JP2012235306A5 publication Critical patent/JP2012235306A5/ja
Application granted granted Critical
Publication of JP5792990B2 publication Critical patent/JP5792990B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、画像処理装置およびその制御方法に関し、特には画像信号のノイズを低減する画像処理装置およびその制御方法に関する。
撮像素子を用いて得られる画像信号は、一般にノイズ成分を含んでいる。ノイズ成分のうち、時間的、空間的にランダムに発生するランダムノイズは、主に高感度撮像時に発生する。特に時間的にランダムに発生するノイズは動画像の画質を劣化させる要因の一つである。
動画像におけるランダムノイズの低減処理技術としては、動画像フレーム間の相関性を用いた巡回型のノイズ低減処理技術が知られている。例えば特許文献1では、現フレームの画像信号と前フレームの画像信号との差分信号値に基づき、巡回型ノイズ低減処理における巡回係数を制御する技術が記載されている。巡回係数は、現フレームの画像信号のノイズ低減に対して、前フレームの成分を使用する割合を示す係数である。そして、現フレームと前フレームとの差分が大きい場合は巡回係数を小さくして残像の低減を図り、差分が小さければ巡回係数を大きくすることによってノイズの低減を図っている。
特許文献1記載の方法は、差分信号値に基づいて巡回係数の値を制御するので、計算量が少なく低コスト化を図ることができる。しかし、フレーム間の動き成分と、ランダムノイズとの分離精度が十分でないため、ノイズ低減後に得られる画質が十分でない。
これに対して特許文献2では、空間的なノイズ低減処理を施した現フレームと、過去の(空間的なノイズ低減処理後の)1以上のフレームとの差分を用いることにより、動きのある被写体の残像を抑えながら時間的なランダムノイズを削減している。特許文献2に記載された方法は、フレーム間の動き成分とライダムノイズとの分離精度が向上するため、比較的高い画質を得ることができる。
特開2000−209507号 特開2009−147822号
しかしながら、特許文献2においては、撮像フレームレートを考慮したノイズ低減処理について開示がない。撮像のフレームレートが大きい場合と小さい場合では、フレーム間の時間的距離(撮像時間間隔)が異なるので、連続するフレーム間の相関の大きさも影響を受ける。しかし、従来はフレームレートを考慮せずに一律なノイズ低減処理を行っていた。そのため、特許文献1,2に記載の方法では、撮像フレームレートが可変の場合に十分な効果が得られなかった。
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理を可能とすることを目的とする。
上述の目的は、予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、フレームレートに基づいて、現フレームより前の前フレームの重みである巡回係数を決定する決定手段と、巡回係数を用いて前フレームと現フレームの画素を混合する第1混合手段と、第1混合手段で得られたフレームを、巡回型ノイズ低減処理を適用した現フレームとして出力する出力手段と、巡回型ノイズ低減処理を適用する現フレームの画素値と、巡回型ノイズ低減処理を適用後の、現フレームの1フレーム前の前フレームの画素値との差分から、現フレームと前フレームとの相関の大きさを表す情報を算出する算出手段と、を有し、決定手段は、算出手段で算出された情報で表される相関の大きさが大きいほど巡回係数を大きな値に設定し、算出手段で算出された情報で表される相関の大きさが同じであれば、フレームレートが第1フレームレートのときは巡回係数を第1の値に決定し、フレームレートが第1フレームレートよりも低い第2フレームレートのときは巡回係数を第1の値よりも小さな第2の値に決定することを特徴とする画像処理装置によって達成される。
本発明によれば、動画像に対して巡回型ノイズ低減処理を適用する画像処理装置及びその制御方法において、撮像フレームレートに応じたノイズ低減処理が可能となる。
本発明の第1の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図。 図1におけるノイズ低減処理部4の構成例を示すブロック図。 ノイズ低減部4の空間的NR部402で行うフィルタ処理を説明するための図。 ノイズ低減部4のLPF403で行うフィルタ処理を説明するための図。 本発明の第1の実施形態における巡回係数の具体例を示す図。 本発明の第2の実施形態に係る画像処理装置の一例としての情報処理装置の構成例を示すブロック図。 第2の実施形態に係る情報処理装置のメモリマップの例を説明するための図。 第2の実施形態に係る情報処理装置による画像処理アプリケーションの実行処理を説明するフローチャート。 図8のS4における画像処理の詳細を説明するためのフローチャート。
(第1の実施形態)
以下、図面を参照して本発明の例示的な実施形態に基づいて詳細に説明する。なお、以下の説明においては、本発明に係る画像処理装置の一例として、動画撮像機能を有するデジタルカメラを説明する。しかしながら、本発明に動画像を撮像する機能は必須ではなく、情報処理装置など、動画像を処理可能ないかなる装置に対しても適用可能である。
(デジタルカメラの構成)
図1は本実施形態に係るデジタルカメラが有する構成要素のうち、動画像の撮像とノイズ低減処理に関わるものを模式的に示したブロック図である。
デジタルカメラ100において、絞り、レンズ等の光学系1によって結像される光学像は、CMOSイメージセンサ、CCDイメージセンサ等の撮像素子2で光電変換され、画素単位のアナログ画像信号として第1信号処理部3に供給される。第1信号処理部3ではアナログ画像信号に対してA/D変換やゲインコントロールを行い、デジタル画像信号としてノイズ低減処理部(NR部)4に供給する。NR部4はデジタル画像信号に対して巡回的なノイズ低減処理を適用して第2信号処理部5に供給する。第2信号処理部5では、ノイズ低減処理がなされたデジタル画像信号に対し、リサイズ、色調整などを行い、出力部6に供給する。出力部6は、HDMIなどの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、デジタルカメラ100の表示装置(図示せず)への出力の1つ以上を行う。
UI部8は、スイッチ、ボタン、表示装置(図示せず)に設けられたタッチパネルなどの入力機器を1つ以上有し、ユーザがデジタルカメラ100に対して各種設定や指示を与えるために用いられる。動画撮像モードと静止画撮像モードの切り替え指示、撮像モードと再生モードの切り替え指示、動画撮像の開始、一時停止、終了の指示、表示装置に表示されるGUIの操作などは、UI部8を通じてユーザからデジタルカメラ100に入力される。
制御部9は、デジタルカメラ100全体の動作を制御する。制御部9は例えばCPU、不揮発性の領域を有するRAM、ROMを有し、ROMに記憶された制御プログラムをRAMに展開し、CPUが実行して各構成要素を制御することにより、デジタルカメラ100の各種機能を実現する。UI部8を通じて設定された撮像フレームレートや解像度などの撮像パラメータを始めとする設定値などは、例えば制御部9が有する不揮発性RAMに記憶される。図1に示す各構成要素は、バス7を介して互いに通信可能に接続されている。
(NR部4の構成)
図2はNR部4の構成例を示すブロック図である。以下、図2を参照してNR部4の構成及び動作について説明する。
空間的NR部402では、入力端子401を介して第1信号処理部3から入力されるデジタル画像信号に対して、2次元的(空間的)なノイズ低減処理を施し、ローパスフィルタ(LPF)403、第1混合部407、第2混合部409に供給する。
例えばUI部8又は制御部9からバス7を介して入力される撮像フレームレートは、巡回係数算出部405及び第2混合部409に供給される。LPF403では、2次元的なノイズ低減処理が行われたデジタル画像信号に対して2次元的なローパスフィルタ処理を行って差分絶対値算出部404に出力する。
差分絶対値算出部404では、2次元的なノイズ低減処理及びLPF処理を施されたデジタル画像信号と、フレームメモリ408からの出力であるデジタル画像信号との差分絶対値を算出して、巡回係数算出部405に供給する。
巡回係数算出部405では、撮像フレームレートと差分絶対値とに基づいて、巡回係数を算出して第1混合部407に供給する。ここで、巡回係数は、現フレームの画像信号のノイズ低減に対して、フレームメモリ408からの過去のフレームの画像信号成分を用いる割合を示す係数である。
第1混合部407は、空間的NR部402の出力するノイズ低減後の(現フレームの)デジタル画像信号と、フレームメモリ408から出力されるデジタル画像信号とを、巡回係数算出部405からの巡回係数に基づいて混合する。そして第1混合部407は、混合後の画像信号を第2混合部409と、NR部4の後段の第2信号処理部5とに供給する。
第2混合部409は、第1混合部407の出力する混合後の画像信号と、空間的NR部402が空間的ノイズ低減処理した現フレームのデジタル画像信号とを、撮像フレームレートに基づいて混合し、フレームメモリ408に供給する。
フレームメモリ408は、入力された画像信号を、1フレーム時間遅延させて第1混合部407及び差分絶対値算出部404に供給する。
(NR部4の動作の具体例)
NR部4におけるノイズ低減動作の具体例を説明する。なお、以下では、UI部8から設定された撮像フレームレートで動画像信号が撮像されているものとするが、ノイズ低減処理の対象となる動画データとそのフレームレートの入力方法は特に制限されない。例えば出力部6が記録媒体から読み出した動画データと、動画データのヘッダなどから取得したフレームレートがNR部4に供給されてもよい。また、フレームレートは必ずしもNR部4の外部から入力される必要もなく、NR部4が動画データから抽出あるいは判別するように構成されてもよい。
第1信号処理部3からは、動画像信号がフレーム単位で順次入力される。本実施形態では、動画像の解像度は1920画素x1080画素であり、撮像フレームレートは60フレーム/秒(fps)または24fpsのいずれかが選択可能であるものとする。また、撮像感度(ISO感度)は12800とする。
空間的NR部402は、ε―フィルタを用いて空間的ノイズ低減を行う。注目画素の画素値をXnとした場合、周辺画素値Xn-5〜Xn+5を用いて平滑化を行うことにより、ノイズ低減を図るが、図3示すように、注目画素の画素値Xnとεとの差の範囲内の中の画素値だけを用いる。例えば図3の例ではXnとの差がεを超えるXn-5、Xn-2、Xn+4については、Xnに置き換えて、Xn-5〜Xn+5の加重平均を求める。以下に計算式を示す。
Figure 0005792990
ただし、akは各画素における重みを示しており、xkから幾何学的に遠いほど小さく、近いほど大きく設定する。また、タップ数(ここでは11)もしくは平滑化に用いる周辺画素数(ここでは10)は、単なる例示であり、これに限定されない。
空間的NR部402は、このような1次元的なフィルタ処理を画像の水平方向及び垂直方向に適用することにより、2次元的なノイズ低減処理を行う。
LPF403は、3x3領域内でのメディアンフィルタを用いる。これは、3x3領域にある9画素を画素値によってソートし、中央の値をInとして出力するものである。LPF403の動作の具体例を図4に示す。LPF403は、空間的NR部402の出力画像に対し、このようなフィルタリングを施す。
差分絶対値算出部404は、フレームメモリ408から出力される画像を前フレーム、LPF403から出力される画像を現フレームと呼ぶ場合、前フレームの各画素と現フレームの対応する画素間の差分絶対値を算出する。以下に計算式を示す。
n=|pn−ln| (1−3)
ここで、lnは現フレームの画素値、pnは前フレームの画素値である。
次に、巡回係数算出部405について説明する。本実施形態では、巡回係数K(1≧K≧0)を、差分絶対値dnの大きさだけでなく、撮像フレームレートも考慮して決定する。具体的には、差分絶対値dnの値が小さいほど大きく、かつ、撮像フレームレートが高いほど、同じ差分絶対値dnに対応する値が大きくなるように巡回係数Kの値を決定する。又は、差分絶対値dnの値が大きいほど小さく、かつ、撮像フレームレートが低いほど、同じ差分絶対値dnに対応する値が小さくなるように巡回係数Kの値を決定する。
なお、差分絶対値dnの値が小さいほど巡回係数Kが大きいとは、da<dbとなるda,dbの全ての組み合わせに対し、対応する巡回係数KがKa≧Kbを満たすことを意味する。差分絶対値dnが同一で、異なる撮像フレームレートに対応するに複数の巡回係数Kの値についても、同様である。
具体例を説明する。例えば差分絶対値dnが0〜255(8ビット)の値を取るとする。そして差分絶対値dnの複数の離散的な値、例えばdn=0、10、20、30、40、50、60、70、120、150、180に対応する巡回係数Kを決定するものとする。
この場合、撮像フレームレートが60fpsの場合と24fpsの場合の巡回係数Kは、dnに対応するKの値をKdnとすると、例えば以下のように決定できる。
Figure 0005792990
なお、差分絶対値dnの他の値に対応する巡回係数Kの値は、例えば近傍の値を線形補間して算出することができる。図5(a)及び図5(b)に、Kを縦軸、dnを横軸とした直交座標系での両者の関係を示す。図5(a)及び図5(b)では、線形補間した状態を示している。なお、K=0となるdn以上のdnに対する巡回係数Kは全て0、K=1となるdn以下のdnに対する巡回係数Kは全て1となるため、線形補間は不要である。
差分絶対値dnが大きい場合や、撮像フレームレートが低い場合には、フレーム間の相関が小さい可能性が高い。そのため、差分絶対値dnが大きいほど、また撮像フレームレートが低いほど、巡回係数Kの値を小さく決定する。これにより、相関の低いと考えられる過去フレームの画素の画素混合における寄与を小さくする。
なお、ここでは2種類の撮像フレームレートについて、それぞれ11種類の差分絶対値に対応する巡回係数Kを決定しておく例を示した。しかし、撮像フレームレートの種類や撮像フレームレートあたりの巡回係数Kの数には制限はない。また、差分絶対値の複数の離散値に対応する巡回係数Kを求めておく以外にも、差分絶対値の値と巡回係数の値との関数を撮像フレームレートごとに登録しておき、差分絶対値を関数に代入して巡回係数の値を求めてもよい。また、撮像フレームレートごとに同数の差分絶対値の離散値に対応した巡回係数を決定する必要もない。また、同一の離散的な差分絶対値に対応する巡回係数を全ての撮像フレームレートに対して求める必要もない。例えば、表1に示した例であれば、24fpsにおけるK50〜K180と、60fpsにおけるK0〜K20は無くてもよい。
巡回係数算出部405は、このようにして、撮像フレームレートと差分絶対値とから各画素に対する巡回係数Kの値を算出し、第1混合部407に供給する。
第1混合部407は、空間的NR部402の出力である現フレームの画素値ynと、フレームメモリ408からの出力である1フレーム前の前フレームにおいて対応する位置の画素値pnとを巡回係数Kを用いて以下のように加重平均する。
n=K*pn+(1−K)*yn (1−4)
第2混合部409は、
・空間的NR部402が出力する、巡回型ノイズ低減処理を適用前の現フレームの画素値ynと、
・第1混合部407が出力する、巡回型ノイズ低減処理を適用後の現フレームの対応する位置の画素値onとを、
ある一定の重みwで以下のように加重平均して混合する。なお、ここで用いる現フレームは、第1混合部407で用いる現フレームと同一である。必要であれば、第1混合部407の処理が終わるまで、例えば第2混合部409で現フレームを遅延させる。
n=w*on+(1−w)*yn (1−5)
第2混合部409は、撮像フレームレートによって重みwを変化させる。例えば撮像フレームレートが60fpsのときはw=0.9、撮像フレームレートが24fpsのときはw=0.6と設定する。このようにして算出されたmnは、フレームメモリ408によって1フレーム時間遅延され、次のフレーム時間でのpnとなる。
このように、本実施形態では、第2混合部409により、撮像フレームレートが低いほど第1混合部407からの画像の重みを小さくして現フレームの画像と混合した画像をフレームメモリ408に記憶する。あるいは、撮像フレームレートが高いほど第1混合部407からの画像の重みを大きくして現フレームの画像と混合した画像をフレームメモリ408に記憶する。これにより、次フレームについて第1混合部407で得られる画像における被写体の輪郭のぼけや滲みを一層抑制することができる。
以上説明したように、本実施形態によれば、複数のフレーム画像を混合して動画のノイズ低減を行う巡回型ノイズ低減処理において、混合時に用いる1フレーム前のフレームの重みを、撮像フレームレートが低いほど小さくなるようにする。これにより、相関の小さなフレームの影響を抑制し、適切なノイズ低減処理を行うことができる。また、撮像フレームレートが高い場合には、相関の高い過去フレームを利用したノイズ低減処理が実現できる。
また、混合時に用いる過去のフレーム画像として、ノイズ低減処理後のフレーム画像をそのまま遅延して用いるのではなく、ノイズ低減処理の適用前と適用後のフレーム画像とを混合した画像を遅延して用いる。そしてこの際、撮像フレームレートが低いほど、ノイズ低減処理を適用後(混合後)のフレーム画像の重みを小さくする。これにより、ノイズ低減処理後のフレーム画像に発生した輪郭のぼけや滲みが、次フレーム以降のノイズ低減処理結果に与える影響を抑制することができる。
(第1の実施形態の変形例)
なお、例えば回路規模を低減したい場合や、処理を単純化したい場合には、第2混合部409を用いなくてもよい。この場合、図2において、第1混合部407が出力するノイズ低減処理後のフレーム画像をフレームメモリ408に直接入力するように構成すればよい。この場合、第2混合部409による画質向上効果は得られないが、第1混合部407における撮像フレームレートに応じた混合処理による効果は実現できる。
(第2の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
図6は、本発明を適用可能な情報処理装置の構成例を示すブロック図である。CPU301は装置全体の制御、及び種種の処理を行う。メモリ302は、BIOSやブートプログラムを記憶しているROM、及びCPU301がワークエリアとして使用するRAMで構成される。指示入力部303はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される。外部記憶装置304は本装置の制御に必要なオペレーティングシステム(OS)、情報処理装置を本発明に係る画像処理装置として機能させるためのプログラム(画像処理アプリケーション)、演算に必要な記憶領域を提供する。外部記憶装置304は例えばハードディスク装置である。リーダ305は動画像データが記録もしくは記憶されたリムーバブル媒体(例えばメモリカードやディスク状メデイア)にアクセスする記憶装置である。カメラ306は動画像を撮像する。また、情報処理装置は、外部機器と有線又は無線の通信回線309を通じて通信するための通信インタフェース308を有する。
指示入力部303で装置に電源が入力されると、CPU301はメモリ302のブートプログラム(ROMに格納されている)に従って、外部記憶装置304からメモリ302(RAM)にOSをロードする。そして、例えばユーザによる指示に従い、外部記憶装置304から、画像処理アプリケーションをメモリ302にロードし、CPU301で実行することにより、情報処理装置を本発明に係る画像処理装置として機能させることができる。図7に、アプリケーションプログラムがメモリ302のRAMにロードされた際のメモリマップを模式的に示す。
メモリ302には装置全体を制御し、各種ソフトウェアを制御するためのOS、空間的NRや巡回型NRを行うような画像処理ソフトウェアが格納されている。メモリ302には更に、カメラ306を制御して、動画像を1フレームずつ入力(キャプチャ)する画像入力ソフトウェアが格納されている。メモリ302には更に、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。また、フレームメモリ408に相当するメモリ領域もワーキングエリア内に確保する。以下の説明では、このメモリ領域をフレームメモリ408と呼ぶ。また、表1に示したようなテーブルは、外部記憶装置304に記憶しておくことができる。
図8は、本実施形態の情報処理装置の画像処理アプリケーション実行動作を示すフローチャートである。
S1でCPU301はプログラムで用いるパラメータを初期値に設定するなどの初期化処理を実行する。S2でCPU301はプログラムの終了が指示されたかどうか判定する。例えばCPU301は、指示入力部303から終了指示が入力されたか否かの判定であってよい。
S3でCPU301はカメラ306を制御して、カメラ306が撮像した動画像をフレーム単位で読み込み、メモリ302のワーキングエリアに格納する。なお、動画像はリアルタイムで撮像されたものであってもよいし、カメラ306が有する記録媒体から再生されたものであってもよい。S4でCPU301は、読み込んだフレームに対して上述したNR処理部4の動作に対応する巡回型NR処理を実行し、S2の処理に戻る。
S4における巡回型NR処理の詳細を図9のフローチャートを用いて説明する。
S401でCPU301は、S3で読み込んだフレーム(現フレーム)に対し、ε−フィルタに相当する演算を2次元的に適用して空間的NR処理を適用し、メモリ302に書戻す。S402でCPU301は、空間的NR処理後の現フレームにLPF403に相当するローパスフィルタ演算を適用する。そしてCPU301は、処理フレームメモリ408から読み出した前フレーム(第1の実施形態の変形例の場合)と、LPF処理後の現フレームとの差分絶対値を画素毎に算出する。S403でCPU301はフレーム間差分絶対値と、動画像の撮像フレームレートと、外部記憶装置304から読み出したテーブルを用いて、巡回係数Kを求める。なお動画像の撮像フレームレートは、画像処理アプリケーションからユーザが設定した値であってもよいし、カメラ306から画像を読み込む前にカメラ306又は動画像データから取得してもよい。S404でCPU301は巡回係数Kを基に2フレームの加重平均(混合)を行う。S405でCPU301は、加重平均処理で得られたフレームを巡回型NR処理結果として例えば外部記憶装置304に出力するとともに、フレームメモリ408(メモリ302)に格納する。
なお、第2混合部409と同様にして、S404で得たフレームをさらに現フレームと混合してからフレームメモリ408に格納するようにしてもよい。
本実施形態によっても、第1の実施形態(変形例含む)と同様の効果が得られる。

Claims (7)

  1. 予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置であって、
    前記フレームレートに基づいて、現フレームより前の前フレームの重みである巡回係数を決定する決定手段と、
    前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第1混合手段と、
    前記第1混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力手段と、
    巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの1フレーム前の前フレームの画素値との差分から、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出手段と、を有し、
    前記決定手段は、
    前記算出手段で算出された情報で表される相関の大きさが大きいほど前記巡回係数を大きな値に設定し、
    前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが第1フレームレートのときは前記巡回係数を第1の値に決定し、前記フレームレートが前記第1フレームレートよりも低い第2フレームレートのときは前記巡回係数を前記第1の値よりも小さな第2の値に決定することを特徴とする画像処理装置。
  2. 前記決定手段は、前記算出手段で算出された情報で表される相関の大きさが予め定めた範囲である場合において、前記算出手段で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが第1フレームレートのときは前記巡回係数を第1の値に決定し、前記フレームレートが前記第1フレームレートよりも低い第2フレームレートのときは前記巡回係数を前記第1の値よりも小さな第2の値に決定することを特徴とする請求項1に記載の画像処理装置。
  3. さらに、前記巡回型ノイズ低減処理の適用前と適用後の前記現フレームの画素を混合する第2混合手段をさらに有し、
    前記第2混合手段が、前記フレームレートが低いほど前記巡回型ノイズ低減処理を適用後の前記現フレームの重みを小さくして前記混合を行い、
    前記第1混合手段は、前記第2混合手段でえられたフレームと前記現フレームの画素を混合することを特徴とする請求項1または請求項のいずれか1項に記載の画像処理装置。
  4. さらに、前記巡回型ノイズ低減処理の適用前に、前記現フレームに対して空間的ノイズ低減処理を適用するフィルタ手段を有することを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  5. 請求項1乃至請求項の何れか1項に記載の画像処理装置と、
    光学系によって結像される光学像を光電変換する撮像素子と、
    前記撮像素子から出力されたアナログ画像信号をデジタル画像信号に変換するA/D変換手段を有することを特徴とするデジタルカメラ。
  6. 予め定められたフレームレートを有する動画像に対して巡回型ノイズ低減処理を適用する画像処理装置の制御方法であって、
    前記画像処理装置の決定手段が、前記フレームレートに基づいて、現フレームより前の前フレームの重みである巡回係数を決定する決定工程と、
    前記画像処理装置の第1混合手段が、前記巡回係数を用いて前記前フレームと前記現フレームの画素を混合する第1混合工程と、
    前記画像処理装置の出力手段が、前記第1混合手段で得られたフレームを、前記巡回型ノイズ低減処理を適用した前記現フレームとして出力する出力工程と、
    前記画像処理装置の算出手段が、巡回型ノイズ低減処理を適用する現フレームの画素値と、前記巡回型ノイズ低減処理を適用後の、前記現フレームの1フレーム前の前フレームの画素値との差分から、前記現フレームと前記前フレームとの相関の大きさを表す情報を算出する算出工程と、を有し、
    前記決定工程において前記決定手段は、
    前記算出工程で算出された情報で表される相関の大きさが大きいほど前記巡回係数を大きな値に設定し、
    前記算出工程で算出された情報で表される相関の大きさが同じであれば、前記フレームレートが第1フレームレートのときは前記巡回係数を第1の値に決定し、前記フレームレートが前記第1フレームレートよりも低い第2フレームレートのときは前記巡回係数を前記第1の値よりも小さな第2の値に決定することを特徴とする画像処理装置の制御方法。
  7. コンピュータを、請求項1乃至請求項のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2011102342A 2011-04-28 2011-04-28 画像処理装置およびその制御方法 Expired - Fee Related JP5792990B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011102342A JP5792990B2 (ja) 2011-04-28 2011-04-28 画像処理装置およびその制御方法
US13/455,499 US8736719B2 (en) 2011-04-28 2012-04-25 Image processing apparatus and control method for the same
CN201210135418.4A CN102761682B (zh) 2011-04-28 2012-05-02 图像处理设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011102342A JP5792990B2 (ja) 2011-04-28 2011-04-28 画像処理装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2012235306A JP2012235306A (ja) 2012-11-29
JP2012235306A5 JP2012235306A5 (ja) 2014-06-19
JP5792990B2 true JP5792990B2 (ja) 2015-10-14

Family

ID=47055997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011102342A Expired - Fee Related JP5792990B2 (ja) 2011-04-28 2011-04-28 画像処理装置およびその制御方法

Country Status (3)

Country Link
US (1) US8736719B2 (ja)
JP (1) JP5792990B2 (ja)
CN (1) CN102761682B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049221A1 (en) * 2013-08-19 2015-02-19 Motorola Mobility Llc Method and apparatus for pre-processing video frames
JP6223176B2 (ja) * 2013-12-26 2017-11-01 キヤノン株式会社 画像処理装置及び撮像信号の処理方法
WO2015119207A1 (ja) 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN104065854B (zh) * 2014-06-18 2018-08-10 联想(北京)有限公司 一种图像处理方法及一种电子设备
JP6494301B2 (ja) * 2015-01-22 2019-04-03 キヤノン株式会社 撮像装置及びその制御方法
JP6525602B2 (ja) * 2015-01-22 2019-06-05 キヤノン株式会社 撮像装置及びその制御方法
CN105872310B (zh) * 2016-04-20 2020-03-17 上海联影医疗科技有限公司 可移动成像设备的图像运动检测方法及图像降噪方法
CN107437238B (zh) * 2016-05-25 2020-11-24 上海联影医疗科技股份有限公司 一种图像分块自适应递归降噪方法及装置
GB2573703B (en) * 2017-03-06 2020-09-09 Mitsubishi Electric Corp Object tracking device and object tracking method
JP7098958B2 (ja) * 2018-02-28 2022-07-12 株式会社ニコン 撮像装置、画像処理装置、および画像処理プログラム
CN109448648A (zh) * 2018-12-17 2019-03-08 惠科股份有限公司 一种显示面板的驱动模块、驱动方法和显示装置
JP7278092B2 (ja) * 2019-02-15 2023-05-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム
CN113223470A (zh) * 2021-04-20 2021-08-06 绵阳惠科光电科技有限公司 显示面板的驱动方法、显示装置的驱动模块和计算机可读存储介质
KR102448069B1 (ko) * 2022-05-27 2022-09-27 주식회사 디알텍 방사선 촬영에 의해 획득된 영상에 포함된 노이즈를 저감하기 위한 영상 처리 방법 및 장치
CN117252886B (zh) * 2023-09-11 2024-11-05 广东源恒软件科技有限公司 一种基于图像分割的发票识别方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209507A (ja) 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
JP2003209731A (ja) * 2002-01-09 2003-07-25 Sony Corp 画像信号処理方法及び撮像装置
CN100566379C (zh) * 2002-06-25 2009-12-02 松下电器产业株式会社 移动检测装置及其利用该装置的噪声衰减装置
JP3873918B2 (ja) * 2003-03-14 2007-01-31 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP3760943B2 (ja) * 2004-01-20 2006-03-29 コニカミノルタフォトイメージング株式会社 撮像装置および動画のノイズ処理方法
US7499159B2 (en) * 2004-04-16 2009-03-03 Ahura Corporation Method and apparatus for conducting Raman spectroscopy using a remote optical probe
CN101010939A (zh) * 2004-09-03 2007-08-01 松下电器产业株式会社 图像处理装置以及图像处理程序
JP2006287634A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp 信号処理装置、信号処理方法およびノイズ低減装置
KR100757392B1 (ko) * 2005-07-29 2007-09-10 닛뽕빅터 가부시키가이샤 노이즈검출장치 및 방법과, 이를 이용한 노이즈저감장치 및방법
CN101415078B (zh) * 2007-10-18 2010-08-18 深圳Tcl新技术有限公司 基于电影的视频的递归噪声降低方法及装置
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
JP5202277B2 (ja) * 2008-12-18 2013-06-05 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US8736719B2 (en) 2014-05-27
US20120274855A1 (en) 2012-11-01
CN102761682A (zh) 2012-10-31
JP2012235306A (ja) 2012-11-29
CN102761682B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
JP5792990B2 (ja) 画像処理装置およびその制御方法
JP6525707B2 (ja) 画像処理装置、その制御方法及びプログラム、並びに撮像装置
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
CN108141509B (zh) 图像处理装置、摄像装置、图像处理方法和存储介质
JP6465563B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
WO2013101547A1 (en) Photo extraction from video
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
US9462189B2 (en) Piecewise perspective transform engine
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP6800806B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014027526A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7009252B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010026734A (ja) 画像処理装置およびその方法
JP5455728B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP5482589B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2017126964A (ja) 撮像制御装置、および撮像装置
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020057242A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6494388B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2009273072A (ja) 高精細画像処理装置、高精細画像処理方法、およびプログラム
JP5539561B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150807

R151 Written notification of patent or utility model registration

Ref document number: 5792990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees