WO2011145365A1

WO2011145365A1 - 画像処理システム及び表示装置

Info

Publication number: WO2011145365A1
Application number: PCT/JP2011/052548
Authority: WO
Inventors: 沼尾　孝次; 合志　清一; 崇志峰
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-05-18
Filing date: 2011-02-07
Publication date: 2011-11-24
Anticipated expiration: 2012-11-18
Also published as: US20130057768A1; CN102884781A; US8687125B2

Abstract

　マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムは、ＮＲ回路（１０６）を備える。ＮＲ回路（１０６）は、処理画素の画素値Ａｉｊが、上記処理画素を中心として時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値Ａｉｊに対する２つの推定値Ｂｉｊ，Ｃｉｊの両方よりも大きい値または小さい値のとき、当該処理画素の画素値Ａｉｊに対して、予め求めたノイズ量Ｅｒに相当する値を減算または加算する信号処理プロセス回路（１１４）を有している。これにより、従来のノイズ低減処理に比べて、ノイズを落とす効果があり、かつ映像が暈けにくい画像処理システムを提供できる。

Description

画像処理システム及び表示装置

　本発明は、デジタル画像処理システムを用いたノイズ低減技術に関し、特にテレビなどの動画像のノイズ低減技術とその技術を用いた画像処理システム及び表示装置に関する。

　日本では２０１１年にアナログ放送が停波する。先進各国でもアナログ放送が終わり、デジタル放送へ切り替わろうとしている。このため、２０１１年頃まで先進各国でテレビ買い換え需要が盛り上がることが見込める。

　しかし、２０１２年以降の先進各国のテレビ需要は低迷するものと思われる。一方、アジアや南米の新興国では高い経済成長率を背景に、２０１２年以降もテレビ需要が盛り上がることが期待されている。このため、２０１２年以降のテレビ市場は新興国市場が中心になるものと思われる。

　しかしながら、新興国では放送環境が劣悪なため、アナログ放送では電界が弱くノイズの多い映像信号となる。また、デジタル放送でも過去に録画したアナログ映像をデジタル化し再放送することも多く、ノイズの多い映像信号となる。このため、新興国で必要とされるテレビには、ノイズ低減技術が不可欠である。

　このノイズ低減技術としてローパスフィルタが知られているが、ローパスフィルタを用いるとノイズを低減させることができるものの、映像が暈けるという課題がある。

　そこでメディアンフィルタを用いた適応型ローパスフィルタが提案されている。図１８～図２０は、特許文献１に示された適応型ローパスフィルタの説明図である。

　特許文献１に開示された技術では、図１８に示すように、遅延回路１２からの処理画素の値Ｅ１と３タップメディアンフィルタ１３（図１９参照）の出力Ｅ２を比較し、上記処理画素の値Ｅ１が３タップメディアンフィルタ１３の出力Ｅ２より大きい場合には、処理画素の値Ｅ１から、雑音レベル検出回路１４から出力されるノイズ量Ｅ３を引く。処理画素の値Ｅ１が３タップメディアンフィルタ１３の出力Ｅ２より小さい場合には、処理画素の値Ｅ１に対して上記ノイズ量Ｅ３を加える。処理画素の値Ｅ１が３タップメディアンフィルタ１３の出力Ｅ２と等しい場合には、処理画素の値Ｅ１をそのまま出力する。

　ノイズ量Ｅ３は雑音レベル検出回路１４を用い、垂直ブランキング期間の画像信号の無いライン部分の雑音成分から検出する。

　この結果、図２０の（ａ）に示されるような雑音が載った映像から、ピークが抑えられた図２０の（ｂ）のような映像が得られる。

日本国公開特許公報「特開平７－２５０２６４号公報（１９９５年９月２６日公開）」

　ここで、図２１に離散的なノイズを付加した原画像を示す。この画像に、上記特許文献１の手段を用い、画像の横方向に１回処理した画像を図２２に示す。図２１に示す原画像と図２２に示す処理画像とを比較すると分かる通り、上記特許文献１の手段でもノイズを落とす効果はあるが、映像が暈けてしまうという問題が生じる。また、上記のように、画像の横方向に１回だけの処理では、未だノイズが残っている。

　そこで、画像の横方向の処理１回に、画像の縦方向の処理１回を追加して処理を行うことで、さらに、ノイズを低減させることが考えられる。この場合の結果を図２３に示す。図２２に示す処理画像（横方向の処理１回行った画像）と図２３に示す処理画像（縦方向の処理１回、横方向の処理１回行った画像）とを比較すれば分かるとおり、処理回数を増やすとノイズを低減させることができるものの、映像の暈けが増えるという新たな問題が生じる。

　これは、上記特許文献１の手段が隣接する２つの画素を比較し、ノイズの有無を検出しているからである。このように隣接する２つの画素を比較するだけでは、図２４に示すように縦横（ｙ方向・ｘ方向）の何れかの方向で相関が強い映像でも、比較対象の画素がある方向と相関が強い画素のある方向とが直交すると、相関が強い画素の方向（縦横何れかの方向）の線がノイズ低減処理のために消えてしまい解像度が低下し、映像が暈けてしまう。

　本発明は、上記の問題点に鑑みなされたものであり、その目的は、上記特許文献１の手段よりノイズを落とす効果があり、かつ映像が暈けにくい画像処理システム及び表示装置を提供することである。

　本発明の画像処理システムは、上記の課題を解決するために、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、処理画素の画素値が、上記処理画素を中心として時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値に対する２つの推定値の両方よりも大きい値または小さい値のとき、当該処理画素の画素値に対して、予め求めたノイズ量に相当する値を減算または加算する信号処理プロセス回路を有していることを特徴としている。

　上記構成によれば、処理画素の画素値が、上記処理画素を通る時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値の２つの推定値の両方よりも大きい値または小さい値のとき、当該処理画素の画素値に対して、予め求めたノイズ量に相当する値を減算または加算することで、処理画素のノイズを低減することができる。

　つまり、信号処理プロセス回路では、処理画素の画素値が、上記処理画素を通る時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値の２つの推定値の両方よりも大きい値または小さい値のとき、すなわち処理画素の画素値が２つの推定値の間にないときに、処理画素はノイズが乗っているとみなしノイズ低減処理を行う。逆に、信号処理プロセス回路は、処理画素の画素値が２つの推定値の間に入っているときに、処理画素はノイズが乗っていないとみなしノイズ低減処理を行わない。

　具体的には、上記信号処理回路は、ノイズ低減処理として、処理画素の画素値が、当該処理画素の２つの推定値よりも大きい値（最大値）のときには、当該処理画素の画素値から予め求めたノイズ量を減算し、処理画素の画素値が、当該処理画素の２つの推定値よりも小さい値（最小値）のときには、当該処理画素の画素値から予め求めたノイズ量を加算する。

　しかも、上記信号処理回路は、処理画素の画素値が、当該処理画素の２つの推定値のうち小さい値の推定値よりも大きい値で、且つ、大きい値の推定値よりも小さい値のときには、当該処理画素にノイズが存在していないと考えられるので、当該処理画素の画素値に対するノイズ低減処理を行わない。

　このように、処理画素の画素値が、当該処理画素の２つの推測値のうち小さい値の推定値よりも大きい値で、且つ、大きい値の推定値よりも小さい値のときには、時間軸上または空間軸上の相関の強い画素により、処理画素の画素値が推定されることになる。このため、相関の強い画素が存在する軸に沿った線は、ノイズ低減処理が施されないので、消えることがない。

　したがって、従来のように、比較対象の画素がある方向と相関が強い画素のある方向とが直交した場合のように、相関が強い画素の方向の線がノイズ低減処理のために消えることがないので、解像度は低下しない。よって、解像度の低下による映像が暈けるということはない。

　以上のことから、上記構成の画像処理システムによれば、特許文献１の手段よりノイズを落とす効果があり、かつ映像が暈けにくいという効果を奏する。

　上記の画像処理システムを、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムにより処理された画像データを表示する表示部を備えた表示装置に用いられる画像処理システムに適用することで、表示装置は、ノイズが少なく、且つ暈けの少ない表示品位の高い映像を表示することが可能となる。

　本発明の画像処理システムは、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、処理画素の画素値が、上記処理画素を中心として時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値に対する２つの推定値の両方よりも大きい値または小さい値のとき、当該処理画素の画素値に対して、予め求めたノイズ量に相当する値を減算または加算する信号処理プロセス回路を有している構成である。

　これにより、特許文献１の手段よりノイズを落とす効果があり、かつ映像が暈けにくいという効果を奏する。

本発明の実施の形態１に係る画像処理システムを適用した液晶表示装置の概略構成ブロック図である。図１に示す液晶表示装置に備えられた画像処理エンジン内のＮＲ回路の概略構成ブロック図である。図２に示すＮＲ回路の概略構成ブロック図である。実施の形態１におけるノイズ量検出方法を実行するためのアルゴリズムを説明するための式を示す図である。図２に示すＮＲ回路によりノイズ低減処理が施された画像例を示す図である。（ａ）～（ｃ）は、本発明の実施の形態２に係る画像処理エンジンで使用する空間軸の例を示す図である。実施の形態２におけるノイズ量検出方法を実行するためのアルゴリズムを説明するための式を示す図である。図６に示す空間軸によりノイズ低減処理が施された画像例を示す図である。本発明の実施の形態３に係る画像処理エンジンで使用する時間軸の例を示す図である。本発明の実施の形態３に係る画像処理システムを適用した液晶表示装置の概略構成ブロック図である。図１０に示す液晶表示装置に備えられた画像処理エンジン内のＮＲ回路の概略構成ブロック図である。図９に示す時間軸を利用した場合のＮＲ回路を示す概略構成ブロック図である。実施の形態３におけるノイズ量検出方法を実行するためのアルゴリズムを説明するための式を示す図である。図９に示す時間軸によりノイズ低減処理が施された画像例を示す図である。本発明の実施の形態３に係る画像処理システムを適用した他の例を示す液晶表示装置の概略構成ブロック図である。図６に示す空間軸と図９に示す時間軸とによりノイズ低減処理が施された画像例を示す図である。本発明のノイズ低減処理の原理を説明するための図である。従来の適応型ローパスフィルタの概略構成ブロック図である。図１８に示す適応型ローパスフィルタで用いたメディアンフィルタの構成を説明する図である。図１８に示す適応型ローパスフィルタの効果を原理的に説明する図である。ノイズ低減処理対象となる原画像を示す図である。図１８に示す適応型ローパスフィルタにより図２１に示す原画像のノイズ低減処理を施した画像の一例を示す図である。図１８に示す適応型ローパスフィルタにより図２１に示す原画像のノイズ低減処理を施した画像の他の例を示す図である。従来の適応型ローパスフィルタの課題を説明するための図である。

　本発明の実施形態について以下に説明する。なお、本実施形態を説明する前に、本発明の原理説明を行い、続いて、各実施形態について説明する。

　＜本発明の原理説明＞
　本発明の画像処理システムでは、映像が時間軸上または空間軸上で隣接する画素と相関を持つことを利用する。

　すなわち、本発明の画像処理システムでは、処理対象の画素（以下、処理画素と称する）の画素値が、上記処理画素を通る時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値の２つの推定値の両方よりも大きい値または小さい値のとき、当該処理画素の画素値に対して、予め求めたノイズ量に相当する値を減算または加算することで、処理対象の画素の画素値に含まれているノイズを低減させる。

　ここで、本発明の画像処理システムでは、上記２つの推定値を得るための信号処理アルゴリズムとして、２つの信号処理プロセス（第１の信号処理プロセス、第２の信号処理プロセス）を採用している。

　上記第１の信号処理プロセスは、空間軸上での相関を利用し、空間的に交差する２つの軸を設け、各々の軸方向でフィルタ処理を施して処理対象の画素の位置にあるべき値を、上記２つの推定値として求める信号処理プロセスである。

　上記第２の信号処理プロセスは、時間軸上での相関を利用し、時間的に隣接する前後のフィールドにおいて、インターレース／プログレッシブ補間を行い、処理画素の位置にあるべき値を、上記２つの推定値として求める信号処理プロセスである。

　以下に、第１の信号処理プロセス、第２の信号処理プロセスの詳細について説明する。

　（１）第１の信号処理プロセス
　画像は、多くの場合、縦横斜め何れかの方向に相関がみられる。そこで、空間軸上の２つの軸から処理画素の位置にあるべき値を求めれば、本来あるべき値に近い推定値を２つ求めることができる。

　そして、この２つの推定値と比べ処理画素の画素値が大きく外れるなら、それはノイズの影響と見なせる。そのような画素では別に求めたノイズ量を減算または加算してやることで処理画素のノイズを低減することができる。

　また、ノイズの載っていない画素では推定値に近い値となるので、ノイズ低減処理が施されず、映像の暈けを抑えることができる。

　以下では、映像が空間軸上で隣接する画素と相関を持つ場合の原理について説明する。

　ここで、図１７に示すように、映像を表示する表示画面の横方向をｘ方向、縦方向をｙ方向としたときに、処理画素の画素値Ａｉｊと、処理画素を中心にｘ方向に並んだ画素の画素値からローパスフィルタによって推定された画素値Ａｉｊの推定値Ｃｉｊと、処理画素を中心にｙ方向に並んだ画素の画素値からローパスフィルタによって推定された画素値Ａｉｊの推定値Ｂｉｊとを比較する。その結果、以下の式（Ｉ）（ＩＩ）を満たす場合、画素値Ａｉｊにはノイズが含まれている、すなわち処理画素にノイズが含まれていると判断する。そして、処理画素の画素値Ａｉｊに対して、予め求めたノイズ量に相当する値を減算または加算して、ノイズが含まれている処理画素のノイズを低減する処理を施す。

　Ａｉｊ＞Ｂｉｊ　ａｎｄ　Ａｉｊ＞Ｃｉｊ・・・・・（Ｉ）
　Ａｉｊ＜Ｂｉｊ　ａｎｄ　Ａｉｊ＜Ｃｉｊ・・・・・（ＩＩ）
　具体的には、上記式（Ｉ）を満たすとき、正極性のノイズが画素値Ａｉｊに乗っていると見なし、予め求めたノイズ量に相当する値を、画素値Ａｉｊから減算する。

　また、上記式（ＩＩ）を満たすとき、負極性のノイズが画素値Ａｉｊに乗っていると見なし、予め求めたノイズ量に相当する値を、画素値Ａｉｊに加算する。

　ここで、予め求めたノイズ量に相当する値は、以下のようにして求める。

　上記式（Ｉ）（ＩＩ）を満たした状態で、処理対象の画素値Ａｉｊと、推定値Ｂｉｊと推定値Ｃｉｊの平均値との差を１フィールド期間に渡り求めて、この差の平均値をノイズ量に相当する値とする。

　以上のように、２つの空間軸（ｘ方向、ｙ方向）で処理画素の位置の推定値Ｂｉｊ，Ｃｉｊを求め、処理画素の画素値Ａｉｊがそれら推定値Ｂｉｊ，Ｃｉｊから外れた場合にノイズが載っていると見なしている。これにより、たとえば図２１に示すような縦横何れかの方向（ｘ方向、ｙ方向）で相関が強い映像でも、その相関の強い方向から推定した値も比較対象となるので、ノイズと見なさないようになる。その結果、不要なノイズ処理による解像度低下を防止することができる。つまり、相関が強い関係にある状態で、処理画素に対してノイズ処理が施されたときに生じるであろう、映像の暈けを生じさせることがない。

　一方、２つの空間軸（ｘ方向、ｙ方向）の何れでも相関がなければノイズと見なす。

　したがって、第１の信号処理プロセスによれば、映像の暈けを抑えながらノイズを落とすことができる。

　（２）第２の信号処理プロセス
　時間軸上での相関を利用し、時間的に隣接する前後のフィールドにおいて、インターレース／プログレッシブ補間を行い、処理画素の位置にあるべき値を求めれば、本来あるべき値に近い推定値を２つ求まる。

　このように、処理画素を中心とした時間軸方向に並ぶ画素の画素値から２つの推定値を求めると、動きの少ない映像では高い相関のある値が得られるので、ノイズだけを検出できる。このため、検出したノイズを低減すれば、ノイズの無い、しかも、暈けのない映像を提供することができる。

　また、動きの大きな映像では人の目の感度が悪くなるので、ノイズが落とせなくても自然に暈けて見え、ノイズが目立たないので支障はない。

　ここで、低減しようとするノイズ量は、映像が時間軸または空間軸で隣接する画素との差を基にノイズ量を決めるので、ノイズが少ない映像では検出されるノイズ量が小さくなり映像の暈けを抑えることができる。

　以上が本発明の原理説明である。以下に、本発明の原理を利用した実施の形態について説明する。

　＜実施の形態１＞
　本実施の形態では本発明の第１の信号処理プロセスを実行するための第１の画像処理システムについて説明する。

　図１は、上記第１の画像処理システムを適用した表示装置としての液晶表示装置１０１の全体構成ブロック図を示す。

　上記液晶表示装置１０１は、図１に示すように、画像を表示するためのＬＣＤモジュール１０２、上記ＬＣＤモジュール１０２に表示用の映像信号を供給するための画像処理エンジン１０３、上記画像処理エンジン１０３に供給される映像信号を検波する検波回路１０４を少なくとも含んだ構成となっている。ここでは、映像信号として、放送波を想定して説明する。放送波の信号方式としては、ＮＴＳＣ方式、ＰＡＬ方式等のインターレース信号とする。

　上記液晶表示装置１０１では、放送された映像信号は、検波回路１０４により検波された後、上記画像処理エンジン１０３において、Ｙ/Ｃ分離回路１０５を通してＮＲ（ノイズリダクション）回路１０６に入力される。なお、本実施の形態では上記ＮＲ回路１０６に対して、本発明の第１の画像処理システムにおける信号処理プロセスが適用される。

　上記ＮＲ回路１０６に入力された映像信号は、その後、Ｉ/Ｐ変換回路１０７を通してＩ／Ｐ変換され、ＬＣＤモジュール１０２に供給される。

　上記ＬＣＤモジュール１０２では、供給された映像信号はＴＣＯＮ（タイミングコントローラ）１０８を通して、ＬＣＤ（液晶パネル）１０９で表示される。このＬＣＤ１０９は、マトリックス状に配置され、入力される画像データに対応する画素を有する表示パネル（表示部）である。

　図２は、上記ＮＲ回路１０６の概略構成ブロック図である。

　ＮＲ回路１０６は、図２に示すように、Ｙ／Ｃ分離回路１０５から出力された映像信号が供給される、遅延回路１１０、第１軸ＬＰＦ（ローパスフィルタ）１１１、第２軸ＬＰＦ（ローパスフィルタ）１１２およびノイズ量検出回路１１３と、これら各回路からの信号により、ノイズ低減処理を施す信号処理プロセス回路１１４とを備えた構成となっている。

　すなわち、上記ＮＲ回路１０６は、遅延回路１１０によりタイミング調整された処理画素の画素値Ａｉｊを求めると共に、第１軸ＬＰＦ（ローパスフィルタ）１１１と第２軸ＬＰＦ１１２により上記処理画素の推定値Ｃｉｊ，Ｂｉｊを求める。これら回路により求めた画素値Ａｉｊ、推定値Ｃｉｊ，Ｂｉｊは、信号処理プロセス回路１１４にて比較され、処理画素の画素値Ａｉｊが最大値ならノイズ量検出回路１１３で求めたノイズ量に相当する値Ｅを上記画素値Ａｉｊから減らし、処理画素の画素値Ａｉｊが最小値ならノイズ量検出回路１１３で求めたノイズ量に相当する値Ｅを上記画素値Ａｉｊに加える。そして、信号処理プロセス回路１１４は、画素値Ａｉｊに対して上記の値Ｅを減算または加算した値を出力値Ｙｉｊとして出力する。なお、信号処理プロセス回路１１４において画素値Ａｉｊにノイズが乗っていないと判断した場合には、画素値Ａｉｊを出力値Ｙｉｊとして出力する。

　本実施の形態では上記第１軸ＬＰＦ１１１として空間軸上の横方向の画素を用いて推定値Ｃｉｊを求める。具体的には図１４に示すｘ方向に並んだ画素の画素値Ａｉｊ－５～Ａｉｊ＋５からＬＰＦを通して推定値Ｃｉｊを得る。

　このＬＰＦは画素のサンプリング周波数の１～２割程度の周波数を通過するよう設計した。しかし、最も簡単なＬＰＦの係数はＡｉｊ－２＝Ａｉｊ＋２＝０．５、残り総ての値は０である。

　また、上記第２軸ＬＰＦ１１２として空間軸上の縦方向の画素を用いて推定値Ｂｉｊを求める。具体的には図１４に示すｙ方向に並んだ画素の画素値Ａｉ－５Ｈ～Ａｉ＋５ＨからＬＰＦを通して推定値Ｂｉｊを得る。

　ところで、本実施の形態では入力された映像信号はインターレース信号なので、図３で±１Ｈと書いてあるのは、インターレース信号での１Ｈ遅延のことである。この１Ｈ遅延の空間的位置はＩ／Ｐ変換後は±２ｉとなる。この場合も縦方向の画素のサンプリング周波数の１～２割程度の周波数を通過するよう設計した。勿論、最も簡単なＬＰＦの係数はＡｉ－２ｊ＝Ａｉ＋２ｊ＝０．５、残り総ての値は０である。

　ここで、図２に示すＮＲ回路１０６を、ラインメモリＨ、ラッチ回路Ｄ、フィルタＦｉｌｔｅｒＨ，ＦｉｌｔｅｒＤ、ノイズ検出回路ＮｏｉｓｅＨ，ＮｏｉｓｅＤ、信号処理プロセス回路Ｍｘｆで構成すると図３に示す回路のようになる。

　すなわち、ラインメモリＨを通して縦方向の画素のデータをフィルタＦｉｌｔｅｒＨへ入力し、縦方向の推定値Ｂｉｊを得る。

　そのラインメモリＨ群の中心位置データをラッチＤへ通し横方向の画素のデータを得て、フィルタＦｉｌｔｅｒＤで横方向の推定値Ｃｉｊを得る。

　また、ノイズ検出回路ＮｏｉｓｅＨは、処理画素の画素値と、当該処理画素を中心としたｙ方向に隣接する画素の画素値からｙ方向のノイズ量を検出して、後段の信号処理プロセス回路Ｍｘｆにノイズ量Ｅとして出力している。

　一方、ノイズ検出回路ＮｏｉｓｅＤは、処理画素の画素値と、当該処理画素を中心としてｘ方向に隣接する画素の画素値からｘ方向のノイズ量を検出して、後段の信号処理プロセス回路Ｍｘｆにノイズ量Ｅとして出力している。信号処理プロセス回路Ｍｘｆでは、２つのノイズ量Ｅから処理画素に含まれるノイズ量Ｅｒを求めて、ノイズ低減処理を行う。

　つまり、上記ノイズ量検出回路１１３から出力するノイズ量に相当する値Ｅは、前フィールド（フレーム）において、信号処理プロセス回路１１４にて求めたノイズ量Ｅｒを用いてノイズ低減処理を施す。

　すなわち、信号処理プロセス回路１１４では、図４に示す式（１）によりノイズ量Ｅｒを求める。ここでは、処理画素と縦方向±１Ｈのデータから、処理画素の画素値が最大値又は最小値を持てば、当該処理画素の画素値と縦方向±１Ｈのデータの平均値との差を１フィールド（フレーム）期間に渡り求め、その平均値をノイズ量Ｅｒｙとする。

　処理画素と横方向±１Ｄのデータから、処理画素の画素値が最大値又は最小値を持てば、当該処理画素の画素値と横方向±１Ｄのデータの平均値との差を１フィールド（フレーム）期間に渡り求め、その平均値をノイズ量Ｅｘｒとする。

　これらノイズ量ＥｒｙとＥｒｘの平均値を基に、次のフィールド（フレーム）のノイズ量Ｅｒを決める。

　このようにして求めたノイズ量Ｅｒを用いて信号処理プロセス回路１１４は、以下のようにして処理画素に対するノイズ低減処理を施す。

　すなわち処理画素の画素値Ａｉｊと先に求めた縦方向の推定値Ｂｉｊと横方向の推定値Ｃｉｊを比較し、処理画素の画素値Ａｉｊが最大値または最小値を取ればノイズ量Ｅｒを当該画素値Ａｉｊに対して減算または加算する。実際には、不感帯±Ｅｒ/２を設け、処理画素の画素値Ａｉｊが推定値Ｂｉｊ及びＣｉｊより±Ｅｒ/２以上違えばノイズ量Ｅｒを当該画素値Ａｉｊに対して減算または加算する。

　即ち、以下のようにする。

　Ａｉｊ＞Ｂｉｊ＋Ｅｒ／２　ａｎｄ　Ａｉｊ＞Ｃｉｊ＋Ｅｒ／２・・・・・（III）
　Ａｉｊ＜Ｂｉｊ－Ｅｒ／２　ａｎｄ　Ａｉｊ＜Ｃｉｊ－Ｅｒ／２・・・・・（IV）
　上記式（III）を満たすとき、正極性のノイズが画素値Ａｉｊに乗っていると見なし、ノイズ量Ｅｒに相当する値を、画素値Ａｉｊから減算する。

　また、上記式（IV）を満たすとき、負極性のノイズが画素値Ａｉｊに乗っていると見なし、ノイズ量Ｅｒに相当する値を、画素値Ａｉｊに加算する。

　なお、本実施の形態では不感帯として±Ｅｒ/２を用いるが、±Ｅｒ/４など他の値でも良い。

　この信号処理アルゴリズムを、図２１に示す原画像へ適用した結果を図５に示す。なお、本信号処理アルゴリズムの検証にはＭＡＴＬＡＢ（ＭａｔｈＷｏｒｋｓ社が開発したソフトウエア）を用いた。

　この図５に示す画像を従来例の図１９に示す画像と比べるとノイズが落ちていることが判る。また、図２３に示す画像と比べると暈けが（特に頬や目の回りの潰れが）少ないことが判る。

　このように、本実施の形態における画像処理システムによれば、２つの空間軸（ｘ方向、ｙ方向）で処理画素の位置の推定値Ｂｉｊ，Ｃｉｊを求め、処理画素の画素値Ａｉｊがそれら推定値Ｂｉｊ，Ｃｉｊから外れた場合にノイズが載っていると見なしている。これにより、、たとえば図２４に示すような縦横何れかの方向（ｘ方向、ｙ方向）で相関が強い映像でも、その相関の強い方向から推定した値も比較対象となるので、ノイズと見なさないようになる。その結果、不要なノイズ処理による解像度低下を防止することができる。つまり、相関が強い関係にある状態で、処理画素に対してノイズ処理が施されたときに生じるであろう、映像の暈けを生じさせることがない。

　したがって、本実施の形態における画像処理システムによれば、従来技術と比べノイズを落とし暈けを抑えることができるので、表示品位の高い映像を提供することが可能となる。

　なお、上記信号処理プロセス回路１１４は、処理画素の画素値が、求めた２つの推定値より予め求めたノイズ量の一定割合分大きいまたは小さいとき、当該処理画素の画素値に対してノイズ量を減算または加算するようにしてもよい。

　本実施の形態では、処理対象の画素に対する推定値を、当該画素を中心として縦方向と横方向に並ぶ画素の画素値から推定していたが、これに限定されず、処理対象の画素に対する推定値を、当該画素を中心として斜め方向に並ぶ画素の画素値から推定してもよい。以下の実施の形態２においては、処理対象の画素に対する推定値を、当該画素を中心として斜め方向に並ぶ画素の画素値から推定する例について説明する。

　＜実施形態２＞
　本実施の形態では本発明の第１の画像処理システムの別の例について説明する。

　即ち、実施の形態１では、図１７に示すように、処理対象の画素を中心として、縦横方向（ｙ・ｘ方向）から推定値Ｂｉｊ，Ｃｉｊを求める例について説明していたが、本実施の形態では図６の（ａ）～図６の（ｃ）に示すように、処理対象の画素を中心として、斜め方向から推定値Ｂｉｊ，Ｃｉｊを求める例について説明する。

　すなわち、図６の（ａ）に示す処理対象の画素に対する画素値Ａｉｊは、当該処理対象の画素を中心に、図６の（ｂ）に示すように、ｘ＝－ａｙ（ａは任意の正の定数）で示される直線上にある画素の画素値から推定値Ｂｉｊを求め、図６の（ｃ）に示すように、ｙ＝ｂｘ（ｂは任意の正の定数）で示される直線上にある画素の画素値から推定値Ｃｉｊを求める。ここで、２つの直線を示す式で用いられる定数ａとｂとは等しいことが好ましいが、等しくなくてもよい。

　なお、本実施の形態を適用する装置は、前記実施の形態１の液晶表示装置１０１と同じであるので、その詳細な説明は省略する。したがって、処理画素の画素値Ａｉｊと、求めた推定値Ｂｉｊ、Ｃｉｊを考慮して、ノイズ低減処理を施すか否かの処理については、前記実施の形態１と同じであるので、その詳細な説明は省略する。

　なお、ノイズ検出方向は、上記画素値を推定する方向と同様に、斜め方向（直線ｘ＝－ａｙ（ａは任意の正の定数）直線ｙ＝ｂｘ（ｂは任意の正の定数）となる。この場合、信号処理プロセス回路１１４では、図７に示す式（２）によりノイズ量Ｅｒを求めることになる。

　本実施の形態の信号処理アルゴリズムは、処理対象の画素に対する推定値を、当該画素を中心として斜め方向に並ぶ画素の画素値から推定し、ノイズ低減処理を施すようになっている。この信号処理アルゴリズムを、図２１に示す原画像へ適用した結果を図８に示す。図８に示す処理結果では、図５に示す処理結果と比べ斜め方向にメッシュが掛かった感じを与えるものの、ノイズ低減効果は十分に認められる。

　以上の実施の形態１，２では、処理対象の画素に対する推定値を、空間軸上に存在する画素の画素値から推定する例について説明したが、本発明は、これに限定されるものではなく、時間軸上に存在する画素の画素値から推定してもよい。以下の実施の形態３では、処理対象の画素に対する推定値を、時間軸上に存在する画素の画素値から推定する例について説明する。

　＜実施形態３＞
　本実施の形態では本発明の第２の信号処理プロセスを実行するための第２の画像処理システムについて説明する。

　即ち、本実施の形態では、処理対象の画素を中心に、時間軸上で隣接する、すなわち時間的に隣接する前後のフィールドから処理画素の画素値の推定値Ｂｉｊ，Ｃｉｊを得る。

　通常、放送波はインターレース信号であるので、図９に示すように、前後のフィールドを参照すると、処理画素の位置にデータはない。このため、２フィールド（１フレーム）離れた映像から処理画素の位置の値を推測することになる。しかし本実施の形態では、前後のフィールドのデータを用い、処理画素の位置のデータを推定し推定値Ｂｉｊ，Ｃｉｊを得る。

　本実施の形態では、図９に示すように、縦方向（ｙ方向）の画素の値Ａｉ-３ｊ，Ａｉ-２ｊ，Ａｉ-１ｊ，Ａｉｊ，Ａｉ＋１ｊ，Ａｉ＋２ｊ，Ａｉ＋３ｊに対し（―０．０６２５，０，０．５６２５，０，０．５６２５，０，―０．０６２５）を掛けて推測値Ｂｉｊ，Ｃｉｊを求めている。しかし、一番簡単な推測値は（０，０，０．５，０，０．５，０，０）で得られることは言うまでもない。

　図１０は、上記第２の画像処理システムを適用した表示装置としての液晶表示装置２０１の全体構成ブロック図を示す。前記実施の形態１の図１に示した液晶表示装置１０１と同じ機能の部材には同じ番号を付記し、詳細な説明は省略する。

　上記液晶表示装置２０１は、図１０に示すように、図１に示す液晶表示装置１０１の画像処理エンジン１０３に代えて、画像処理エンジン２０３を備えている。この画像処理エンジン２０３は、図１に示す画像処理エンジン１０３のＮＲ回路１０６に代えて、ＮＲ回路２０６を備えている。

　図１１は、上記ＮＲ回路２０６の概略構成ブロック図である。

　ＮＲ回路２０６は、図１１に示すように、Ｙ／Ｃ分離回路１０５から出力された映像信号が供給される、遅延回路２１０、第１軸ＬＰＦ（ローパスフィルタ）２１１、第２軸ＬＰＦ（ローパスフィルタ）２１２およびノイズ量検出回路２１３と、これら各回路からの信号により、ノイズ低減処理を施す信号処理プロセス回路２１４とを備えた構成となっている。

　なお、上記ＮＲ回路２０６は、基本的には、前記の実施の形態１の図２に示すＮＲ回路１０６と同じ構成であるが、機能は異なり、本願発明の第２の信号処理プロセスを実行するようになっている。具体的には、図１２に示すブロックで上記ＮＲ回路２０６を実現している。

　すなわち、図１２に示すＮＲ回路２０６では、ラインメモリＨを通し縦方向（ｙ方向）画素の画素値を得てフィルタＦｉｌｔｅｒＨより推定値Ｂｉｊを得る。また、フィールドメモリｆＭとラインメモリ１．５Ｈを用い処理対象画素の画素値Ａｉｊを得る。更に、フィールドメモリｆＭとラインメモリＨを通し縦方向（ｙ方向）画素の画素値を得てフィルタＦｉｌｔｅｒＨより推定値Ｃｉｊを得る。

　信号処理プロセス回路Ｍｆｘｙは、実施の形態１の信号処理プロセス回路１１４と同様にして、入力された処理対象の画素に対する画素値Ａｉｊと、推定値Ｂｉｊ、Ｃｉｊとから、当該処理対象の画素に対してノイズ処理を施すか否かを判定する。判定した結果、ノイズ処理を施す必要がある場合に、ノイズ量検出回路Ｎｏｉｓｅによって得られた量のノイズを画素値Ａｉｊに対して加減算する。

　ノイズ量検出回路Ｎｏｉｓｅは、図１３に示す式（３）を用いてノイズ量を求める。すなわち、ノイズ量検出回路Ｎｏｉｓｅは、画素値Ａｉｊ（ＭＤｉｎ）、推定値Ｂｉｊ，Ｃｉｊ（ＭＰｉｎ，ＭＡｉｎ）を用い、処理対象画素の画素値Ａｉｊが最大または最小になる場合、その推定値（Ｂｉｊ＋Ｃｉｊ）／２との差を１フィールド期間に渡り平均して求める。

　その他は、前記の実施の形態１と同じであるので、その詳細な説明は省略する。

　本実施の形態の信号処理アルゴリズムは、処理対象の画素に対する推定値を、当該画素を中心とした時間軸方向に並ぶ画素の画素値から推定し、ノイズ低減処理を施すようになっている。この信号処理アルゴリズムを、図２１に示す原画像へ適用した結果を図１４に示す。図１４に示す処理結果では、図５に示す処理結果と比べても暈けが少ない。しかし、ややノイズが残っている。そこで、図１５に示す液晶表示装置３０１では、画像処理エンジン３０３において、前段に図１０に示すＮＲ回路２０６、後段に図１に示すＮＲ回路１０６となるように、ＮＲ回路２０６とＮＲ回路１０１とが直列に接続されている。従って、画像処理エンジン３０３では、ＮＲ回路２０６で第２の画像処理アルゴリズムを実行して得られた図１４に示す画像に対して、再度、ＮＲ回路１０６において、実施の形態１の信号処理アルゴリズムを適用することで、図１６に示す画像を得るようになっている。

　この図１６に示す画像では、図５に示す画像より少し暈けているがノイズは落ちていることが判る。

　このように、本実施の形態３で説明した本発明の第２の画像処理システムにおける信号処理アルゴリズムを用いてノイズ低減処理を施した後、さらに、前記実施の形態１で説明した本発明の第１の画像処理システムにおける信号処理アルゴリズムを用いてノイズ低減処理を施せば、さらに、処理画像は少し暈けるものの、ノイズが低減した画像となる。

　つまり、図１５に示す液晶表示装置３０３に備えられた画像処理エンジン３０３では、処理画素を中心として時間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求める。求めた推定値を用いて処理画素の画素値に対する信号処理を施した後、信号処理済みの画像における処理画素を中心として異なる２つの空間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求める。そして、求めた推定値を用いて当該処理画素の画素値に対する信号処理を施すようになる。

　このように、処理対象画素の画素値を、時間軸を用いて推定してノイズ低減処理を施した後、さらに、空間軸を用いて推定してノイズ低減処理を施すことにより、暈けを抑制し、且つノイズの無い表示品位の高い画像を提供できるという効果を奏する。

　上記信号処理プロセス回路は、処理画素を中心として異なる２つの空間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求めるようにしてもよい。

　これにより、２本の空間軸上で、処理画素と隣接する画素の画素値から、当該処理画素の画素値の推定値を２つ求めて、ノイズ処理の有無を判定するようになるので、１本の空間軸上から一つの推定値を求める場合では見落としてしまうような隣接画素と相関の強い画素に対してノイズ処理をすることも無いので、ノイズ低減処理を適切に且つ、暈けの無い表示品位の高い映像を提供することができる。

　上記信号処理プロセス回路は、処理画素を中心として時間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求めるようにしてもよい。

　これにより、時間軸上で、処理画素と隣接する画素の画素値から、当該処理画素の画素値の推定値を２つ求めて、ノイズ処理の有無を判定するようになるので、時間軸上で相関の強い画素に対してノイズ処理をすることが無くなり、その結果、ノイズ低減処理を適切に且つ、暈けの無い表示品位の高い映像を提供することができる。

　上記信号処理プロセス回路は、処理画素を中心として時間軸上または空間軸上で隣接する２つの画素の画素値と、当該処理画素の画素値とを比較し、処理画素の画素値が最大値または最小値となるとき、当該処理画素の画素値と、隣接する２つの画素の画素値の平均値との差を平均して上記ノイズ量を推定するようにしてもよい。

　これにより、処理画素に含まれるノイズの量を適切に推定することができるので、ノイズ処理が適切に行うことができる。

　上記信号処理プロセス回路は、処理画素の画素値が、求めた２つの推定値より予め求めたノイズ量の一定割合分大きいまたは小さいとき、当該処理画素の画素値に対してノイズ量を減算または加算するようにしてもよい。

　上記信号処理プロセス回路は、処理画素を中心として時間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求め、求めた推定値を用いて処理画素の画素値に対する信号処理を施した後、信号処理済みの画像における処理画素を中心として異なる２つの空間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求め、求めた推定値を用いて当該処理画素の画素値に対する信号処理を施すようにしてもよい。

　これにより、時間軸上での推定値を用いた場合の処理画像では、暈けを低減できるものの、ノイズが少し残ってしまうので、時間軸上での推定値を用いた場合の処理画像に対して、さらに、空間軸上での推定値を用いた場合の処理を行うことで、暈けを低減し、且つ、ノイズの少ない処理画像を得ることができるという効果を奏する。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　本発明は、画像信号や音声信号を処理する装置に適用できる。特に、静止画や動画像などを表示するディスプレイ装置等に好適に適用できる。

１０１　液晶表示装置
１０２　ＬＣＤモジュール
１０３　画像処理エンジン
１０４　検波回路
１０５　Ｙ／Ｃ分離回路
１０６　ＮＲ回路
１０７　Ｉ／Ｐ変換回路
１０８　ＴＣＯＮ（タイミングコントローラ）
１０９　ＬＣＤ（液晶パネル）
２０１　液晶表示装置
２０３　画像処理エンジン
２０６　ＮＲ回路
３０１　液晶表示装置
３０３　画像処理エンジン
　　Ｄ　ラッチ回路
　　ＮｏｉｓｅＨ，ＮｏｉｓｅＤ，Ｎｏｉｓｅ　ノイズ量検出回路
　　Ｈ　Ｈメモリ回路
　　ＦｉｌｔｅｒＨ，ＦｉｌｔｅｒＤ　フィルタ回路
　　Ｍｆｘｙ　信号処理プロセス回路
　　ｆＭ　フィールドメモリ

Claims

　マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、
　処理画素の画素値が、上記処理画素を中心として時間軸上または空間軸上で当該処理画素と隣接する画素の画素値から推定して得られた当該処理画素の画素値に対する２つの推定値の両方よりも大きい値または小さい値のとき、当該処理画素の画素値に対して、予め求めたノイズ量に相当する値を減算または加算する信号処理プロセス回路を有していることを特徴とする画像処理システム。
　上記信号処理プロセス回路は、
　処理画素を中心として異なる２つの空間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求めることを特徴とする請求項１に記載の画像処理システム。
　上記信号処理プロセス回路は、
　処理画素を中心として時間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求めることを特徴とする請求項１に記載の画像処理システム。
　上記信号処理プロセス回路は、
　処理画素を中心として時間軸上または空間軸上で隣接する２つの画素の画素値と、当該処理画素の画素値とを比較し、
　処理画素の画素値が最大値または最小値となるとき、当該処理画素の画素値と、隣接する２つの画素の画素値の平均値との差を平均して上記ノイズ量を推定することを特徴とする請求項１に記載の画像処理システム。
　上記信号処理プロセス回路は、
　処理画素の画素値が、求めた２つの推定値より予め求めたノイズ量の一定割合分大きいまたは小さいとき、当該処理画素の画素値に対してノイズ量を減算または加算することを特徴とする請求項１～４の何れか１項に記載の画像処理システム。
　上記信号処理プロセス回路は、
　処理画素を中心として時間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求め、求めた推定値を用いて処理画素の画素値に対する信号処理を施した後、信号処理済みの画像における処理画素を中心として異なる２つの空間軸上で当該処理画素と隣接する画素の画素値から、当該処理画素の画素値に対する２つの推定値を求め、求めた推定値を用いて当該処理画素の画素値に対する信号処理を施すことを特徴とする請求項１に記載の画像処理システム。
　マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムにより処理された画像データを表示する表示部を備えた表示装置であって、
　上記画像処理システムは、請求項１～６の何れか１項に記載の画像処理システムであることを特徴とする表示装置。