JP4986965B2 - 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 - Google Patents

Description

本発明は、画像回復処理により画像に含まれるぼけ成分を低減する画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。

画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。

画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。

ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の状態に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

特許文献１では、生体内部を観察するための内視鏡において、撮像系の合焦範囲外の範囲において、使用する蛍光波長に応じたＰＳＦを用いて画像のぼけを解消している。すなわち、蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であり、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理を行うことで合焦画像を得る。
特許第３５３２３６８号公報

上述したように、撮像により得られた入力画像に対して画像回復処理を施すことにより、光学系の諸収差に応じたぼけ成分が補正された良好な画質の回復画像を得ることができる。

しかしながら、実際の撮像では、入力画像を得る際の光学系の状態と、該入力画像に適用する画像回復フィルタに対応する光学系の状態とが一致しない場合がある。例えば、立体被写体を撮像する場合が挙げられる。

撮像装置は、オートフォーカス機能やマニュアルフォーカスによって被写体空間の１つの面に焦点を合わせて撮像を行うが、被写体が立体物である場合には、画角によって被写体距離が異なる。このとき、被写体のうち合焦している部分は比較的鮮鋭に撮像されるが、非合焦部分は、そこまでの距離に応じたぼけ量を有して撮像される。撮像に際して得られる被写体距離に関する情報が、合焦部分までの被写体距離の情報のみである場合には、画像回復フィルタはこの被写体距離での各画角に最適なものが使用されることになる。

このため、画像回復処理後の画像においても、合焦部分については最適な画像回復フィルタが適用されて所望の鮮鋭度を得ることができるが、非合焦部分については最適ではない画像回復フィルタが適用され、多少の回復効果はあるものの、ぼけ成分が残存する。

一方、被写体距離に応じたぼけが、画像における立体感や注視物体の抽出感を表現するために有効である場合もある。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす表現方法がある。このような場合、画像回復処理後の画像でも、合焦部分（以下、合焦物体ともいう）はより鮮鋭化され、非合焦部分（以下、非合焦物体ともいう）にはぼけが残存していることが望ましい。

しかしながら、発明者は、合焦距離には最適で非合焦距離には最適でない画像回復フィルタを用いて非合焦物体の画像回復処理を行った場合に、原理的に偽色が発生する可能性があることを発見した。ここでの偽色は、例えば、非合焦物体のエッジ部に光学系が有している色収差に応じた色付きが発生した場合に、画像回復処理によってこの色付きが増大することで生ずる。

さらに、このような偽色は、立体被写体の撮像に限らずに発生する場合がある。すなわち、本質的には合焦しているか否かに関わらず、撮像時の光学系の状態により変化する収差の状態と、画像回復フィルタが対応する収差の状態とが異なるときに偽色が発生する。

画質を向上させるための画像回復処理において、このような偽色の発生は、画質を大幅に劣化させてしまう。

特許文献１では、非合焦範囲に対して画像回復処理を行うことで鮮鋭度を増して画質を向上させるものであるが、鮮鋭度が増しても偽色が発生することで、トータルとしての画質の向上を得ることはできない。

本発明は、画像回復処理による偽色の発生を抑制できるようにした画像処理方法、画像処理装置及び撮像装置を提供する。

本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られたカラー入力画像を取得するステップと、入力画像における画素の色差を算出する第１の算出ステップと、光学系の収差情報に基づいて選択又は作成された画像回復フィルタを用いて入力画像に対する画像回復処理を行う画像回復ステップと、画像回復処理により得られた回復画像の画素の色差を算出する第２の算出ステップと、第２の算出ステップで算出された回復画像における特定画素の色差が、第１の算出ステップで算出された入力画像における特定画素の色差よりも大きい場合は、第２の算出ステップで算出された回復画像における特定画素の色差と第１の算出ステップで算出された入力画像における特定画素の色差との相違量を低減するように、回復画像における特定画素の信号値を補正する補正ステップを有することを特徴とする。

また、本発明の他の側面としての画像処理装置は、入力画像における画素の色差を算出する第１の算出手段と、光学系の収差情報に基づいて選択又は作成された画像回復フィルタを記憶する記憶手段と、画像回復フィルタを用いて入力画像に対する画像回復処理を行う画像回復手段と、画像回復処理により得られた回復画像の画素の色差を算出する第２の算出手段と、第２の算出手段で算出された回復画像における特定画素の色差が、第１の算出手段で算出された入力画像における特定画素の色差よりも大きい場合は、第２の算出手段により算出された回復画像における特定画素の色差と第１の算出手段により算出された入力画像における特定画素の色差との相違量を低減するように、回復画像における特定画素の信号値を補正する補正手段とを有することを特徴とする。
また、本発明の他の側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮像により得られたカラー入力画像を取得するステップと、入力画像における画素の色差を算出する第１の算出ステップと、光学系の収差情報に基づいて選択又は作成された画像回復フィルタを用いて入力画像に対する画像回復処理を行う画像回復ステップと、画像回復処理により得られた回復画像の画素の色差を算出する第２の算出ステップと、第２の算出ステップで算出された回復画像における特定画素の色差が、第１の算出ステップで算出された入力画像における特定画素の色差よりも大きい場合は、第２の算出ステップで算出された回復画像における特定画素の色差と第１の算出ステップで算出された入力画像における特定画素の色差との相違量を低減するように、回復画像における特定画素の信号値を補正する補正ステップを実行させることを特徴とする。

なお、光学系により形成された被写体像を光電変換してカラー入力画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

本発明によれば、撮像により得られたカラー入力画像に対して画像回復処理を行うことによる偽色の発生を抑制することができるため、ぼけ成分が良好に補正され、かつ偽色が少ない高画質な出力画像を得ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

本実施例では、撮像により得られたカラー入力画像の各画素がＲ，Ｇ，Ｂの色成分ごとの信号値を有している場合について説明する。画素の色に関する特徴量として、ＲＧＢ間の相互の信号値の比（輝度比）を用い、これを色差と定義する。一般に、色差は、例えば、Ｌ^＊ａ^＊ｂ^＊色空間における以下の定義式から計算される値ΔＥとして用いられるが、ここでは、ＲＧＢ間の相互の信号値の比として定義する。

ΔＥ＝[（ΔＬ^＊）^２＋（Δａ^＊）^２＋（Δｂ^＊）^２]^１／２
勿論、ここでの色差は上述の信号値の比に限らず、一定の条件の下において、ＲＧＢ間の相互の信号値の差としても構わない。

図１には、本発明の実施例１である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。

不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理を行う画像回復処理部１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。また、画像回復処理部１０４ｂは、第１の算出手段、画像回復手段、第２の算出手段、及び補正手段として機能する。

なお、本実施例では、入力画像における１画素がＲ，Ｇ，Ｂの３つの色成分の信号値を有する場合について説明する。

画像回復処理部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。

そして、画像回復処理部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。状態検知部１０７、画像回復処理部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。

図２には、画像回復処理部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された入力画像を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。

次に、ステップＳ３では、画像処理部１０４は、撮像状態に対応する画像回復フィルタを記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正してもよい。すなわち、記憶部１０８に記憶させておく画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみを用意しておく。そして、撮像状態に近い画像回復フィルタを選択し、これを実際の撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成してもよい。

ここで、ステップＳ９で作成される画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数が決められる。図４に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。なお、ステップＳ９の処理は、ステップＳ１から後述するステップＳ８までの一連の処理とは別の処理として行われてもよいし、該一連の処理のなかで行われてもよい。

画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。

また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値を示している。

画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。

また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。

撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。

なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。

また、入力画像がＲＧＢ形式のカラー画像である場合は、Ｒ，Ｇ，Ｂの各色成分に対応した３つの画像回復フィルタを作成するとよい。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値が色成分ごとに異なる３つの画像回復フィルタを作成するとよい。

なお、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。

図２において、ステップＳ３で画像回復フィルタを選択又は作成すると、次にステップＳ４（第１の算出ステップ）では、画像処理部１０４は、後述する画像回復処理の前に、処理対象である入力画像の画素ごとに色差を算出し、これを記憶部１０８に記憶させる。ここでは、入力画像はＲＧＢ成分により構成され、色差を基準色成分である緑Ｇに対する他の色成分（赤Ｒ及び青Ｂ）の信号値の比と定義する。したがって、色差は以下の式により計算される。

Ｃ１ｒ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）／Ｇ１（ｘ，ｙ）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ１（ｘ，ｙ）／Ｇ１（ｘ，ｙ）
ここで、Ｒ１，Ｇ１，Ｂ１は、画像回復処理前の入力画像におけるＲ，Ｇ，Ｂそれぞれの信号値である。また、（ｘ，ｙ）は画像上での座標である。Ｃ１ｒ，Ｃ１ｂは、上記式で定義されるＲ成分及びＢ成分のＧ成分に対する色差である。

次に、ステップＳ５（画像回復ステップ）では、画像処理部１０４は、ステップＳ３で選択又は作成（補正）された画像回復フィルタを用いて、入力画像に対する画像回復処理を行う。具体的には、入力画像に対して、画像回復フィルタを用いたコンボリューション処理を行う。これにより、撮像光学系１０１の収差に起因した画像のぼけ成分を除去若しくは低減することができる。このとき、前述したように、Ｒ，Ｇ，Ｂの色成分ごとに最適な画像回復フィルタを用いることで、ぼけ成分とともに色収差も補正（除去若しくは低減）することができる。

次に、ステップＳ６（第２の算出ステップ）では、、画像処理部１０４は、画像回復処理後の画像（回復画像）の画素ごとの色差を算出し、記憶部１０８にさせる。画像回復処理後の色差は、以下の式により計算される。

Ｃ２ｒ（ｘ，ｙ）＝Ｒ２（ｘ，ｙ）／Ｇ２（ｘ，ｙ）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）／Ｇ２（ｘ，ｙ）
ここで、Ｒ２，Ｇ２，Ｂ２は、画像回復処理後のＲ，Ｇ，Ｂの各信号値であり、（ｘ，ｙ）は画像上の座標である。Ｃ２ｒ，Ｃ２ｂは、上記式で定義されるＲ成分及びＢ成分のＧ成分に対する色差である。

次に、ステップＳ７では、画像処理部１０４は、ステップＳ６で算出した画像回復処理後回復画像上での画素ごとの色差が、画像回復処理前の入力画像上での画素ごとの色差に比べて増加したか否かを以下の式を用いて判定する。ここで、Ｊｒ，Ｊｂは、下記式で定義されるＲ成分及びＢ成分のＧ成分に対する色差の増加率であり、（ｘ，ｙ）は入力画像と回復画像上での同じ画素を示している。

Ｊｒ（ｘ，ｙ）＝Ｃ２ｒ（ｘ，ｙ）／Ｃ１ｒ（ｘ，ｙ）
Ｊｂ（ｘ，ｙ）＝Ｃ２ｂ（ｘ，ｙ）／Ｃ１ｂ（ｘ，ｙ）
色差の増加率Ｊが１より小さい場合は、画像回復処理後の色差が画像回復処理前に比べて減少していることを示し、画像としては色味が減っていることを意味する。つまり、Ｊｒでは赤みが減少していることになり、Ｊｂでは青みが減少していることになる。また、色差の増加率Ｊが１に等しい場合は、画像回復処理後の色差が画像回復処理前に比べて変化していないことを示す。

さらに、色差の増加率Ｊが１より大きい場合は、画像回復処理後の色差が画像回復処理前に比べて増加していることを示し、画像としては色味が増していることを意味する。つまり、Ｊｒでは赤みが増加していることになり、Ｊｂでは青みが増加していることになる。

ただし、色差の増減は画像の鮮鋭度とは同意ではなく、画像の鮮鋭度は画像回復処理により向上している。色差は基準色との比であるので、基準色の鮮鋭度に関わらず輝度比を表していることは前述した通りである。

ここで、色差の増加率が１より小さくなる場合と１より大きくなる場合の例を図６を用いて説明する。図６は、撮像装置６０１に対する近距離から遠距離に向かって斜めに配置された被写体である黒い棒６１１〜６１５を撮像装置６０１で撮像している状況を示している。撮像光学系１０１のピントは被写体６１３に対して合っている。

この状況で撮像された画像（入力画像）を図７に示す。また、図７中の入力画像における被写体６１１，６１３，６１５の矢印の位置（画素）でのＲ，Ｇ，Ｂの信号値（Ｒ１，Ｇ１，Ｂ１）を図８の上段に示す。被写体６１３は合焦物体であり、被写体６１１は合焦距離よりも近距離に位置した非合焦物体である。また、被写体６１５は合焦距離よりも遠距離に位置した非合焦物体である。画像回復処理前においては、合焦物体である被写体６１３のＧ成分では、エッジ部のぼけが最も少なくなっている。一方、Ｒ成分及びＢ成分は、ほぼ同じ量でＧ成分に比べてぼけている。このときの撮像素子１０２上での結像状態を、図９を用いて説明する。

図９は各被写体距離における撮像素子１０２へのＲ，Ｇ，Ｂの入射光の結像状態を示している。中段に示す合焦距離では、Ｇ成分は撮像素子１０２上において１点に結像しているが、Ｒ成分及びＢ成分は撮像素子１０２上で広がりを持って結像している。また、下段に示す遠距離では、Ｒ成分及びＢ成分は撮像素子１０２上で１点に結像しているが、Ｇ成分は撮像素子１０２上で広がりを持って結像している。また、上段に示す近距離では、Ｒ，Ｇ，Ｂの各成分とも撮像素子１０２上で広がりを持って結像しており、特にＲ及びＢ成分がＧ成分よりも大きな広がりを持っている。

図９では軸上色収差の結像への影響を示しているが、軸上以外の画角の位置においても、基本の結像特性に非対称性が発生するものの、色ごとに図９と同様の現象が発生する。図８に示す画像回復処理前の近距離、合焦距離及び遠距離での信号値は、以上の説明により理解されるであろう。

以下の式は、先に説明したステップＳ４にて算出される画像回復工程前の入力画像における被写体６１１，６１３，６１５（近距離、合焦距離及び遠距離）の色差Ｃ１ｒ，Ｃ１ｂの算出方法を示している。座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）は、図７の被写体６１１，６１３，６１５における矢印位置の画素の座標を示す。

Ｃ１ｒ（ｘ１，ｙ１）＝Ｒ１（ｘ１，ｙ１）／Ｇ１（ｘ１，ｙ１）
Ｃ１ｂ（ｘ１，ｙ１）＝Ｂ１（ｘ１，ｙ１）／Ｇ１（ｘ１，ｙ１）
Ｃ１ｒ（ｘ２，ｙ２）＝Ｒ１（ｘ２，ｙ２）／Ｇ１（ｘ２，ｙ２）
Ｃ１ｂ（ｘ２，ｙ２）＝Ｂ１（ｘ２，ｙ２）／Ｇ１（ｘ２，ｙ２）
Ｃ１ｒ（ｘ３，ｙ３）＝Ｇ１（ｘ３，ｙ３）／Ｒ１（ｘ３，ｙ３）
Ｃ１ｂ（ｘ３，ｙ３）＝Ｇ１（ｘ３，ｙ３）／Ｂ１（ｘ３，ｙ３）
なお、ステップＳ７で色差が画像回復処理後に増加したか否かを容易に判定するために、色差Ｃ１ｒ，Ｃ１ｂを算出する際の分子分母の関係は、画像回復処理前の信号値において信号値の大きい色成分を分子とするとよい。画像回復処理後に色差を算出するときには、信号値の大小に関わらず、ここでの分子分母の関係を維持する。このようにすることにより、ステップＳ７での色差増加の有無を色成分の大小関係に関わらず判定することができる。

また、図８の中段には、画像回復処理後、後述する色差補正処理を行っていない回復画像における、図７中の被写体６１１，６１３，６１５の矢印位置でのＲ，Ｇ，Ｂの信号値（Ｒ２，Ｇ２，Ｂ２）を示している。

画像回復処理において、合焦距離に対して最適化された画像回復フィルタを用いて収差が補正された結果、合焦距離の被写体６１３においてはエッジ部のぼけ成分が良好に補正されている。一方、近距離の被写体６１１においては、Ｇ成分のぼけが多少補正されているが、Ｒ成分及びＢ成分では補正効果が現れていない。また、遠距離の被写体６１５においては、Ｒ成分及びＢ成分のぼけが多少補正されているが、Ｇ成分では補正効果が現れていない。

この現象について図１０を用いて説明する。図１０は、近距離、合焦距離及び遠距離での撮像光学系１０１のＭＴＦの空間周波数特性を示しており、それぞれ図９に示した近距離、合焦距離及び遠距離で結像状態に対応している。

合焦距離では、ＭＴＦは、通常のピントが合っているときの結像性能に相当する。遠距離では、図９を用いて説明したように、Ｒ成分及びＢ成分は良好に結像しているのに対してＧ成分は広がりを持って結像しているため、ＭＴＦはＧ成分のみ劣化している。また、近距離では、Ｒ，Ｇ，Ｂ成分のいずれも広がりを持って結像しており、特にＲ成分及びＢ成分がＧ成分よりも大きな広がりを持っているため、ＭＴＦは全体に低い。特にＲ成分及びＢ成分のＭＴＦが低い。

ここで、画像回復処理とは、画像中の収差による劣化成分（ぼけ成分）を補正する処理であり、周波数面で言うと、図１０のＭＴＦを向上させることに対応する。画像回復フィルタは、実面のコンボリューションフィルタであるが、その周波数面での効果は、ＭＴＦ（実際にはＯＴＦ）の振幅成分を向上させるフィルタである。さらに、画像回復フィルタは、ＯＴＦの位相ずれ成分も補正する。

画像回復フィルタは、合焦距離でのＭＴＦの向上に最適化されているが、これを近距離や遠距離の非合焦距離に適用した場合でも、最適ではないものの、多少のＭＴＦの向上効果が得られる。このため、図８に示すように、近距離や遠距離の非合焦距離でも、多少エッジ部のぼけが補正されている。

ただし、図１０に示すように、例えば遠距離の場合ではＧ成分のＭＴＦが著しく劣化しているので、多少そのＭＴＦが向上してもエッジ部のぼけ量はほとんど変わらない。しかし、Ｒ成分及びＢ成分は、ＭＴＦの劣化が少ないため、少しＭＴＦが向上することで、エッジ部のぼけ量の低減効果が高い。このことは、近距離においても同様である。

以下の式は、先に説明したステップＳ６にて算出される画像回復処理後の回復画像における被写体６１１，６１３，６１５（近距離、合焦距離及び遠距離）の色差Ｃ２ｒ，Ｃ２ｂの算出方法を示している。

Ｃ２ｒ（ｘ１，ｙ１）＝Ｒ２（ｘ１，ｙ１）／Ｇ２（ｘ１，ｙ１）
Ｃ２ｂ（ｘ１，ｙ１）＝Ｂ２（ｘ１，ｙ１）／Ｇ２（ｘ１，ｙ１）
Ｃ２ｒ（ｘ２，ｙ２）＝Ｒ２（ｘ２，ｙ２）／Ｇ２（ｘ２，ｙ２）
Ｃ２ｂ（ｘ２，ｙ２）＝Ｂ２（ｘ２，ｙ２）／Ｇ２（ｘ２，ｙ２）
Ｃ２ｒ（ｘ３，ｙ３）＝Ｇ２（ｘ３，ｙ３）／Ｒ２（ｘ３，ｙ３）
Ｃ２ｂ（ｘ３，ｙ３）＝Ｇ２（ｘ３，ｙ３）／Ｂ２（ｘ３，ｙ３）
そして、以下の式は、先に説明したステップＳ７にて算出される画像回復処理前から画像回復処理後の被写体６１１，６１３，６１５（近距離、合焦距離及び遠距離）の色差の増加率Ｊｒ，Ｊｂの算出方法を示している。

Ｊｒ（ｘ１，ｙ１）＝Ｃ２ｒ（ｘ１，ｙ１）／Ｃ１ｒ（ｘ１，ｙ１）
Ｊｂ（ｘ１，ｙ１）＝Ｃ２ｂ（ｘ１，ｙ１）／Ｃ１ｂ（ｘ１，ｙ１）
Ｊｒ（ｘ２，ｙ２）＝Ｃ２ｒ（ｘ２，ｙ２）／Ｃ１ｒ（ｘ２，ｙ２）
Ｊｂ（ｘ２，ｙ２）＝Ｃ２ｂ（ｘ２，ｙ２）／Ｃ１ｂ（ｘ２，ｙ２）
Ｊｒ（ｘ３，ｙ３）＝Ｃ２ｒ（ｘ３，ｙ３）／Ｃ１ｒ（ｘ３，ｙ３）
Ｊｂ（ｘ３，ｙ３）＝Ｃ２ｂ（ｘ３，ｙ３）／Ｃ１ｂ（ｘ３，ｙ３）
図８に示す場合は、色差の増加率は以下のようになる。

Ｊｒ（ｘ１，ｙ１）＞１
Ｊｂ（ｘ１，ｙ１）＞１
Ｊｒ（ｘ２，ｙ２）＜１
Ｊｂ（ｘ２，ｙ２）＜１
Ｊｒ（ｘ３，ｙ３）＞１
Ｊｂ（ｘ３，ｙ３）＞１
色差の増加率Ｊが１より大きい画素については、画像回復処理前よりも色差が大きくなっている、すなわち偽色が発生しているため、図２において、ステップＳ７からステップＳ８に進み、当該画素（特定画素）において色差補正処理を行う。一方、色差の増加率Ｊが１より小さい画素については、画像回復処理前よりも色差が小さくなっている、すなわち色収差が良好に補正されているということを示す。このため、処理を終了する。

図８の下段には、回復画像に対して色差補正処理を行った後の出力画像でのＲ，Ｇ，Ｂの信号値を示している。合焦距離では、色差補正処理が不要であるため、回復画像での信号値がそのまま使用されている。

色差補正処理では、回復画像中において色差が増加してしまった画素（特定画素）の色差（言い換えれば、ある色成分の信号値）を、画像回復処理前の色差に近づける又は戻すように、以下の補正式に基づいて補正する。言い換えれば、色差補正処理では、入力画像における特定画素の色差と回復画像における特定画素の色差との相違量に応じて、該相違量を低減するように、回復画像における特定画素の信号値を補正する。

ｋは補正係数であり、ｋ＝１の場合には完全に画像回復処理前の色差に戻すことを示す。補正係数ｋの範囲としては、０．８＜ｋ＜１．２とすることが好ましい。また、下記の補正式の右辺における画素の座標は、左辺における画素（特定画素）と同じ座標であるので、表記を省略している。

Ｒ２（ｘ１，ｙ１）＝ｋ・Ｒ１・Ｇ２／Ｇ１
Ｂ２（ｘ１，ｙ１）＝ｋ・Ｂ１・Ｇ２／Ｇ１
Ｒ２（ｘ２，ｙ２）＝ｋ・Ｒ１・Ｇ２／Ｇ１
Ｂ２（ｘ２，ｙ２）＝ｋ・Ｂ１・Ｇ２／Ｇ１
Ｒ２（ｘ３，ｙ３）＝ｋ・Ｒ１・Ｇ２／Ｇ１
Ｂ２（ｘ３，ｙ３）＝ｋ・Ｂ１・Ｇ２／Ｇ１
上記補正式では、Ｇ成分の信号値（輝度値）を変更することなくＲ成分及びＢ成分の信号値（輝度値）を補正している。

なお、別の色差補正方法として、基準色であるＧ成分の信号値と、Ｒ成分又はＢ成分の信号値のうち、低い方の信号値を基準として高い方の信号値を補正することも可能である。図８の例では、近距離及び合焦距離ではいずれもＧ成分の信号値が低いため、Ｒ成分及びＢ成分の信号値を上記補正式により補正している。

一方、遠距離では、Ｒ成分及びＢ成分の信号値がＧ成分の信号値よりも低いため、Ｇ成分の信号値を以下の補正式に基づいて補正する。Ｇ２ｒはＲ成分を基準とした補正後のＧ成分の信号値であり、Ｇ２ｂはＢ成分を基準とした補正後のＧ成分の信号値である。最終的な信号値Ｇ２は、例えば以下のようにＧ２ｒとＧ２ｂの単純な平均値としてもよいし、必要に応じて重み付け平均値としてもよい。

Ｇ２ｒ（ｘ３，ｙ３）＝ｋ・Ｇ１・Ｒ２／Ｒ１
Ｇ２ｂ（ｘ３，ｙ３）＝ｋ・Ｇ１・Ｂ２／Ｂ１
Ｇ２＝（Ｇ２ｒ＋Ｇ２ｂ）／２
このように、色差補正処理では、Ｒ，Ｇ，Ｂの色成分のうち、どの色成分を固定するか（基準とするか）は任意に選択可能である。Ｇ成分のぼけ方が基準であるという考え方に基づく場合はＧ成分を固定すればよく、この場合は、遠距離の被写体を大きくぼかすことができる。また、鮮鋭度を優先して焦点深度の深い画像を望む場合には、信号値の低い色成分を固定すればよく、この場合の例を図８の下段に示す。また、色差の条件を満たす範囲で任意に固定する色成分を変更してもよい。上記いずれの場合でも、出力画像における偽色の発生を抑制することができる。

さらに、色差を算出する際の基準色に関してもＧ成分に限られず、Ｒ成分やＢ成分を基準色としてもよいし、画像上の領域ごとに基準色を変更してもよい。

このようにして、画像回復処理によって色差が増加したすべての画素（特定画素）の信号値、つまりは色に関する特徴量が補正された出力画像を得ることで、図２の処理が終了する。

また、色差補正処理（ステップＳ８）では、補正を要する画素（特定画素）に対して、画像回復処理前の元の画像（撮像装置によって撮影した画像）の信号値に戻す補正を行っても構わない。この場合、偽色が発生したと判定された部分（画素、一定領域内の画素）は画像回復処理を行わず、元の画像のままとする。この部分は、画像回復処理を行わないため、当然偽色も発生しない。

このような補正は、画像回復処理の結果発生する偽色の程度が大きく、偽色が発生しない元の画像（撮影画像）の方が望ましい場合（回復しない方が好ましい場合）には有効である。また、ある画素に関して、画像回復処理の結果大きな偽色の発生が予想される場合においては、その画素において特徴量（色差）を算出するまでもなく、その画素については画像回復処理を行わない、という処理を行っても構わない。

ここで、図２に示す処理では、画像回復処理（ステップＳ５）が終わった画像全体に対して色差補正処理（ステップＳ８）を行う場合について説明した。しかし、図３に示すように、画像上の１画素について画像回復処理（ステップＳ５）を行い、その１画素での色差比較（ステップＳ７）及び色差補正（ステップＳ８）を行って該１画素の信号値を決定するという処理を、１画素ごとに行ってもよい。また、高速化等の目的に応じて、複数の画素を含む領域ごとに行ってもよい。なお、図３では、ステップＳ９の図示は省略している。

このように、図２では各処理を分離して表したが、いくつかの処理を１つの処理にまとめて１画素（又は領域）ごとに行うことも可能である。

また、本実施例では、非合焦物体に対する画像回復処理により発生する偽色を抑制する方法として説明したが、本発明の画像処理方法によれば、非合焦物体に限らず、また原因に関わらず、画像回復処理による偽色の発生を抑制できる。

さらに、例えば、歪曲補正処理、周辺光量補正処理、ノイズ低減処理等の別の処理を図２の処理に組み合わせて行うことも可能である。

図１において、画像処理部１０４で画像回復処理及び色差補正処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理により発生した偽色が低減され、かつ鮮鋭化された高画質の画像である。

また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。

上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。

また、前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化するので、上述した画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。

本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理や色差補正処理を行って、その結果得られた画像を出力する。

なお、以上説明した処理をより高速で行うために、入力画像及び回復画像におけるエッジ部を抽出し、該エッジ部の画素のみに対して信号値の補正を行うことも可能である。

さらに、同様の目的で、所定の閾値以上の信号値強度を有する画素に対してのみ、信号値の補正を行うことも可能である。

次に、本発明の実施例２について説明する。本実施例の画像処理方法も、図１に示した撮像装置と同様の撮像装置にて実施される。このため、本実施例において、実施例１と共通する又は同様の機能を有する構成要素には、実施例１と同符号を付す。なお、本実施例の処理を、パーソナルコンピュータ（画像処理装置）で行ってもよい。

実施例１では、入力画像の１画素がＲ，Ｇ，Ｂの３つの色成分の信号値を有する場合について説明した。これに対し、本実施例では、入力画像の１画素がＲ，Ｇ，Ｂのうちいずれか１つの色成分の信号値のみを有するＲＡＷ画像である場合について説明する。ＲＡＷ画像は、ＲＧＢのカラーフィルタがベイヤー配列された画素センサ（撮像素子）を用いることで生成される。

ＲＡＷ画像の各画素は１つの色成分の信号値しか有していないため、出力画像の各画素にＲ，Ｇ，Ｂの３つの色成分の信号値を持たせるために、色合成処理（デモザイキング処理）を行う。色合成処理は、対象とする画素の周辺の複数画素の信号値を用いて補間処理を行うことで、当該画素にＲ，Ｇ，Ｂの信号値を持たせる処理である。

本実施例においては、画像回復処理を行うタイミングを、色合成処理よりも前とするか後とするかは、撮像系及び画像処理部１０４を含む撮像システムのパフォーマンスを総合的に判断した上で決定すればよい。先に説明したように、画像の劣化過程は、元の画像を点像分布関数（ＰＳＦ）でコンボリューションすることに相当する線形過程であるため、その回復処理も原理的には線形処理となる。これに対して、色合成処理は非線形処理である。このため、本来は色合成処理よりも前に画像回復処理を行うことが望ましい。

また、ＲＡＷ画像は各画素に１つの信号値しか持たないため、実施例１のように画素ごとに色に関する特徴量を抽出することができない。このため、図１１に示すフローチャートに従って色に関する特徴量を抽出（生成）した上で、画像回復処理、さらには色合成処理を行う。

図１１に示す処理（画像処理方法）も、画像処理部１０４（画像回復処理部１０４ａ）にてコンピュータプログラムに従って実行される。

図１１において、ステップＳ２１では、画像処理部１０４は、入力画像としてＲＡＷ画像（以下、入力ＲＡＷ画像という）を取得する。そして、ステップＳ２２（第１の算出ステップ）では、画像処理部１０４は、入力ＲＡＷ画像における各画素の色に関する特徴量を抽出する。入力ＲＡＷ画像における画素の色に関する特徴量は、特徴量生成対象である画素の信号値とその周辺画素の信号値とを用いた上記色合成処置又は色合成処理を簡易化した処理によって抽出される。つまり、特徴量生成対象である画素の色に関する特徴量は、該画素とその周辺画素から得られるＲ，Ｇ，Ｂの３つの色成分の信号値の比として得ることができる。

ただし、これ以外にも、ＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている様々な色空間において「色に関する特徴量」を得ることができる。色空間としては、ＸＹＺ，Ｙｕｖ，ＪＣｈ等もある。さらに、「色に関する特徴量」として、色温度を用いることも可能である。

このように、色に関する特徴量の表現方法は様々あり、各表現方法で画素の色に関する特徴量を表現することができる。「色味に関する特徴量」とは、これら全て包含する意味である。このことは、ＲＡＷ画像を対象する本実施例に限定されることではなく、実施例１のように１画素が複数の色成分の信号値を有する場合でも、同様である。

このようにして抽出した各画素の色に関する特徴量は、図１に示した記憶部１０８に一旦保存される。

次に、ステップＳ２３（画像回復ステップ）では、画像処理部１０４は、入力ＲＡＷ画像に対して画像回復処理を行う。

そして、ステップＳ２４（第２の算出ステップ）では、画像処理部１０４は、ステップＳ２３での画像回復処理により得られた回復ＲＡＷ画像において、各画素の色に関する特徴量を抽出する。ここでの画素の色に関する特徴量も、上述したように、特徴量生成対象である画素の信号値とその周辺画素の信号値とを用いた上記色合成処置又は色合成処理を簡易化した処理によって抽出される。

次に、ステップＳ２５では、画像処理部１０４は、画像回復処理前の入力ＲＡＷ画像において算出された色に関する特徴量と、画像回復処理後の回復ＲＡＷ画像において算出された色に関する特徴量とを画素（特定画素）ごとに比較する。そして、ステップＳ２６では、画像処理部１０４は、この比較結果に基づいて、色に関する特徴量の補正（つまりは画素の信号値の補正）が必要か否かを判定する。

この判定については、実施例１と同様の方法でもよいし、色空間としてのＬ^＊ａ^＊ｂ^＊
やＹＣｂＣｒ等に対応した比較方法を採用してもよい。例えば、Ｌ^＊ａ^＊ｂ^＊を用いる場合には、色差としてΔＥの値を用いることができる。また、明度Ｌ^＊に関しては、画像回復処理によって変化するべきものであるため、色のみの評価方法として、以下の定義式で表される色相角ｈやクロマＣを用いてもよい。

ｈ＝ｔａｎ^−１（ｂ^＊／ａ^＊）
Ｃ＝[（ａ^＊）^２＋（ｂ^＊）^２]^１／２
また、ＹＣｂＣｒにおいては、輝度Ｙに関しては画像回復処理により変化するべきものであるため、色のみの評価方法として、回復ＲＡＷ画像のＣｂＣｒを入力ＲＡＷ画像のＣｂＣｒと比較してもよい。その他にも、Ｙｕｖのｕｖや、Ｌｕｖのｕｖを用いてもよい。

補正要否判定により補正が不要である場合は、ステップＳ２８に進み、画像処理部１０４は、色合成処理を行って出力画像を得る。また、補正が必要である場合は、ステップＳ２７に進む。

ステップＳ２７では、画像処理部１０４は、入力ＲＡＷ画像における画素の色に関する特徴量と回復ＲＡＷ画像の画素の色に関する特徴量との相違量に応じて、回復ＲＡＷ画像の画素の色に関する特徴量（画素の信号値）を補正する。つまり、該相違量を低減するように補正を行う。

このときの補正量に関しては、出力画像において偽色の許容量をどの程度に設定するかや、得ようとする画像の画質レベルや、処理の負荷量等に応じて決定すればよい。

例えば、Ｌ^＊ａ^＊ｂ^＊の色空間を用いた場合、前記のクロマＣが特定の閾値を超えた場合に特定の基準色（例えば、Ｇ）を固定し、クロマＣの値が回復前の値に近づくように他の色成分（例えば、Ｒ，Ｂ）の値を補正する。また、クロマＣが特定の閾値を超えた場合には、その画素は回復前の元の画像の信号値をそのまま使用する方法もある。この場合、画像全体としては鮮鋭度が向上し、一部の偽色が発生した部分のみが回復前の鮮鋭度のままとなる。偽色が発生するよりは回復しない方が好ましい場合には有効である。

そして、ステップＳ２８にて、画像処理部１０４は、補正後のＲＡＷ画像において色合成処理を行い、出力画像を得る。

また、図１２に示すように、画像回復処理（ステップＳ２３）の後にすぐに色合成処理（ステップＳ２８）を行い、色合成処理された回復ＲＡＷ画像と画像回復処理前の入力ＲＡＷ画像との間で画素の色に関する特徴量を比較してもよい。

さらに、実施例１でも述べたように、歪曲補正処理、周辺光量補正処理及びノイズ低減処理等の別の処理を、図１１及び図１２に示した処理に組み合わせて行うことも可能である。

また、実施例１でも説明したように、処理をより高速で行うために、入力ＲＡＷ画像及び回復ＲＡＷ画像におけるエッジ部を抽出し、該エッジ部の画素（及びその周辺画素）のみに対して色に関する特徴量の補正を行うことも可能である。さらに、同様の目的で、所定の閾値以上の信号値強度を有する画素（及びその周辺画素）に対してのみ、色に関する特徴量の補正を行うことも可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置で行われる処理を示すフローチャート。 実施例１の撮像装置で行われる処理の変形例を示すフローチャート。 実施例１の撮像装置で用いられる画像回復フィルタの説明図。 上記画像回復フィルタのセル値の分布を示す図。 実施例１の撮像装置によって撮像される被写体の説明図。 上記撮像装置によって得られた入力画像の説明図。 上記入力画像のＲ，Ｇ，Ｂの信号値を示す図。 実施例１の撮像装置における色収差の説明図。 実施例１におけるＲ，Ｇ，ＢのＭＴＦの説明図。 本発明の実施例２である撮像装置で行われる処理を示すフローチャート。 実施例２の撮像装置で行われる処理の変形例を示すフローチャート。

符号の説明

１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ

Claims (9)

1. 光学系を用いた撮像により得られたカラー入力画像を取得するステップと、
   前記入力画像における画素の色差を算出する第１の算出ステップと、
   前記光学系の収差情報に基づいて選択又は作成された画像回復フィルタを用いて前記入力画像に対する画像回復処理を行う画像回復ステップと、
   前記画像回復処理により得られた回復画像の画素の前記色差を算出する第２の算出ステップと、
   前記第２の算出ステップで算出された前記回復画像における特定画素の前記色差が、前記第１の算出ステップで算出された前記入力画像における前記特定画素の前記色差よりも大きい場合は、前記第２の算出ステップで算出された前記回復画像における前記特定画素の前記色差と前記第１の算出ステップで算出された前記入力画像における前記特定画素の前記色差との相違量を低減するように、前記回復画像における前記特定画素の信号値を補正する補正ステップを有することを特徴とする画像処理方法。
2. 前記補正ステップにおいて、前記第２の算出ステップで算出された前記回復画像における特定画素の前記色差が、前記第１の算出ステップで算出された前記入力画像における前記特定画素の前記色差よりも大きい場合は、前記回復画像における前記特定画素の信号値を前記入力画像における前記特定画素の信号値に補正することを特徴とする請求項１に記載の画像処理方法。
3. 前記色差は、第１色成分の信号値と第２色成分の信号値との差であることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記色差は、第１色成分の信号値に対する第２色成分の信号値の比であることを特徴とする請求項１又は２に記載の画像処理方法。
5. 前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により前記入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする請求項１から４のいずれか１つに記載の画像処理方法。
6. 前記補正ステップにおいて、前記入力画像のエッジ部を抽出し、
   前記特定画素は、前記エッジ部の画素であることを特徴とする請求項１から５のいずれか１つに記載の画像処理方法。
7. 光学系を用いた撮像により得られたカラー入力画像を処理する画像処理装置であって、前記入力画像における画素の色差を算出する第１の算出手段と、
   前記光学系の収差情報に基づいて選択又は作成された画像回復フィルタを記憶する記憶手段と、
   前記画像回復フィルタを用いて前記入力画像に対する画像回復処理を行う画像回復手段と、
   前記画像回復処理により得られた回復画像の画素の色差を算出する第２の算出手段と、
   前記第２の算出手段で算出された前記回復画像における特定画素の前記色差が、前記第１の算出手段で算出された前記入力画像における前記特定画素の前記色差よりも大きい場合は、前記第２の算出手段により算出された前記回復画像における前記特定画素の前記色差と前記第１の算出手段により算出された前記入力画像における前記特定画素の前記色差との相違量を低減するように、前記回復画像における前記特定画素の信号値を補正する補正手段とを有することを特徴とする画像処理装置。
8. 光学系により形成された被写体像を光電変換してカラー入力画像を生成する撮像系と、該入力画像を処理する請求項７に記載の画像処理装置とを有することを特徴とする撮像装置。
9. コンピュータに、
   光学系を用いた撮像により得られたカラー入力画像を取得するステップと、
   前記入力画像における画素の色差を算出する第１の算出ステップと、
   前記光学系の収差情報に基づいて選択又は作成された画像回復フィルタを用いて前記入力画像に対する画像回復処理を行う画像回復ステップと、
   前記画像回復処理により得られた回復画像の画素の前記色差を算出する第２の算出ステップと、
   前記第２の算出ステップで算出された前記回復画像における特定画素の前記色差が、前記第１の算出ステップで算出された前記入力画像における前記特定画素の前記色差よりも大きい場合は、前記第２の算出ステップで算出された前記回復画像における前記特定画素の前記色差と前記第１の算出ステップで算出された前記入力画像における前記特定画素の前記色差との相違量を低減するように、前記回復画像における前記特定画素の信号値を補正する補正ステップを実行させることを特徴とする画像処理プログラム。