JP6873815B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像のブレやボケなどの劣化を補正する画像処理装置に関する。

従来から、撮影画像に含まれる被写体のブレやボケの特性を表す点拡がり関数（ＰＳＦ）を推定し、推定したＰＳＦに基づいて撮影画像を補正することにより、画像のブレやボケなどの劣化を補正する技術が知られている。例えば特許文献１には、画像を複数の小領域に分割して複数の小領域のそれぞれに関してＰＳＦを推定し、類似した特性のＰＳＦを有する小領域をグループ化して画像のボケを補正する方法が開示されている。

特開２０１２−１５５４５６号公報

ところで、画像内にボケの特性などの劣化特性が互いに異なる被写体領域が存在する場合、ＰＳＦに基づく補正を画像内で一様に適用すると、領域によっては誤った補正を行うことになり、リンギングなどの弊害が生じることがある。この場合、特許文献１の方法を用いると、それぞれの被写体領域に対して、その被写体領域の劣化特性に応じた適切な補正を実行することができる。しかしながら、特許文献１の方法では、画像を分割した複数の小領域のそれぞれに関してＰＳＦを推定することが必要であり、ＰＳＦ推定処理の演算量が増加する。

そこで本発明は、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、画像の部分領域としての推定領域から点拡がり関数を推定する推定部と、前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成する補正処理部と、前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部と、前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成する合成部とを有し、前記合成部は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおける前記合成比率を算出する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像部と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、画像の部分領域としての推定領域から点拡がり関数を推定するステップと、前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成するステップと、前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップと、前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成するステップとを有し、前記合成比率は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおいて算出される。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態におけるデジタルカメラのブロック図である。 第１の実施形態における画像処理部のブロック図である。 第１の実施形態における画像処理方法を示すフローチャートである。 第１の実施形態における特性推定処理および合成比率算出処理の説明図である。 第２の実施形態における画像処理部のブロック図である。 第２の実施形態における画像処理方法を示すフローチャートである。 第２の実施形態におけるＰＳＦの選択方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態おける撮像装置の構成について説明する。図１は、本実施形態における撮像装置（デジタルカメラ）１００のブロック図である。本実施形態は、撮影画像に適用する補正処理、より具体的には画像信号からＰＳＦを推定し、推定したＰＳＦに基づいて画像のボケやブレを補正する方法に関する。従って、撮像装置１００における撮影や記録に関する構成は必須ではない。なお本実施形態において、「ボケ」は画像の合焦ずれによるボケ（焦点ボケ）を含み、「ブレ」は手ブレや被写体ブレなどを含むが、これらに限定されるものではない。

図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズ（撮像光学系）である。本実施形態の撮像装置１００は、撮像光学系と撮像装置本体とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えた撮像システムにも適用可能である。

シャッタ１０２は、絞り機能を有し、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を有し、レンズ群１０１を介して撮像面に形成される光学像を画素単位で電気信号（アナログ信号）に変換する（光電変換を行う）。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部（画像処理装置）１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正などの各種の画像処理を行う。また画像処理部１０５は、撮影画像のブレやボケを補正する補正処理を行う。画像メモリ１０６は、画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９は、ＬＣＤや有機ＥＬディスプレイなどの表示装置を有し、各種ＧＵＩ、ライブビュー画像、および、記録媒体１１２から読み出して再生した画像などを表示する。記録媒体１１２は、半導体メモリカードやカード型ハードディスクなどの着脱可能な記録手段である。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体１１２に記録するために予め定められた方法で符号化し、または、画像ファイルに含まれる符号化画像データを例えば表示のために復号する。インタフェース（Ｉ／Ｆ）１１１は、記録媒体１１２を撮像装置１００と機械的かつ電気的に接続する。

システム制御部５０は、ＣＰＵやＭＰＵなどのプログラマブルなプロセッサを有する。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記憶されたプログラムを実行して必要なブロックや回路を制御することにより、撮像装置１００の各機能を実現する。顔検出部１１３は、撮影画像に含まれる顔領域を検出し、検出された顔領域のそれぞれについて、位置、大きさ、および、信頼度などの顔情報を求める。なお顔検出部１１３は、ニューラルネットワークに代表される学習を用いた手法や、目、鼻、口などの特徴部位を画像領域からテンプレートマッチングを用い探し出して類似度が高い場合に顔とみなす手法など、任意の方法を用いて顔領域を検出することができる。

動きベクトル検出部１２４は、画像処理部１０５から出力された画像信号と、画像メモリ１０６に記録されている、直前に撮影された画像の画像信号とを用いて、撮影画像の各領域における動きベクトルを検出（算出）する。動きベクトルの算出方法は、公知の技術を用いることができる。動きベクトルは、例えば、次のように算出することができる。まず、撮影画像を所定の大きさのブロックに分割する。続いて、テンプレートマッチング法を用いて、撮影画像の各ブロックに対応する領域を、直前に撮影された画像内から検出する。そして、対応する領域同士を結ぶベクトルを、各ブロックにおける動きベクトルとする。

操作部１２０は、ユーザが撮像装置１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスである。表示部１０９がタッチディスプレイである場合、操作部１２０はタッチパネルを含む。また操作部１２０は、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスを含んでもよい。不揮発性メモリ１２１は、電気的に消去・記録可能なＥＥＰＲＯＭなどである。不揮発性メモリ１２１は、各種の設定値やＧＵＩデータを記憶する。また不揮発性メモリ１２１は、システム制御部５０がＭＰＵやＣＰＵである場合、システム制御部５０が実行するためのプログラムを記憶する。システムメモリ１２２は、システム制御部５０の動作用の定数や変数、および、不揮発性メモリ１２１から読み出されたプログラムなどを展開するために用いられる。測距部１２３は、撮像装置１００から被写体までの距離を測定する距離測定手段である。

次に、撮像装置１００による被写体撮影の際の基本動作について説明する。撮像部１０３は、シャッタ１０２が開いた状態で、レンズ群１０１を介して撮像面に形成された被写体像（光学像）を光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像データを画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７からの画像データに対して、同時化処理（デモザイク処理）やγ補正などの各種画像処理を行う。また画像処理部１０５は、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が焦点調節や露光制御を行う。焦点調節や露出制御には、顔検出部１１３や測距部１２３の検出結果を用いてもよい。本実施形態の撮像装置１００は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、および、ＡＥ（自動露出）処理を行う。また画像処理部１０５は、後述する方法を用いて、ＰＳＦに基づくブレやボケの補正処理を行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤなどの表示装置にＤ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。

撮像装置１００は、撮影スタンバイ状態において動画撮影を行い、撮影動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させることができる。この場合、シャッタ１０２は開いた状態であり、撮像部１０３のいわゆる電子シャッタを用いて例えば３０フレーム／秒の撮影を行う。そして、操作部１２０に含まれるシャッタボタンが半押しされると、システム制御部５０は前述のＡＦ制御およびＡＥ制御を行う。また、操作部１２０に含まれるシャッタボタンが全押しされると、システム制御部５０は本撮影により記録用の静止画撮影を実行し、記録媒体１１２に撮影画像を記録する。また、動画撮影ボタンなどにより動画撮影が指示された場合、システム制御部５０は記録媒体１１２への動画記録を開始する。

次に、図２および図３を参照して、画像処理部１０５によるブレやボケの補正処理に関する機能について説明する。図２は、画像処理部１０５のブロック図である。図３は、画像処理部１０５による補正処理（本実施形態の画像処理方法）のフローチャートである。図３の各ステップは、画像処理部１０５の各部により実行される。

なお、図２に示される機能ブロックの少なくとも一つは、マイクロプロセッサとソフトウエアとの組み合わせより実現される。または、機能ブロックの少なくとも一つは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）のようなハードウエアにより実現されてもよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などを含むが、これに限定されるものではない。

ブレやボケの補正処理は、ブレやボケの補正処理の実行が指定された状態で撮影された画像や、メニュー画面などからブレやボケの補正処理の実施が指示された、例えば記録媒体１１２に記録済の画像に対して実施することができる。なお、ブレやボケの補正処理において必要な撮影時の情報は、不揮発性メモリ１２１またはシステムメモリ１２２から読み出し、または、画像ファイルのヘッダやメタデータなどから取得することができる。

図２に示されるように、画像処理部１０５は、画像信号生成部２０１、ＰＳＦ推定領域抽出部２０２、ＰＳＦ推定部２０３、画像補正部２０４、画像合成部２０５、劣化特性推定部２０６、および、合成比率算出部２０７を有する。本実施形態において、画像補正部２０４、画像合成部２０５、および、合成比率算出部２０７により補正処理部が構成される。

まず、図３のステップＳ３０１において、画像信号生成部２０１は、画素あたり一色（Ｒ、Ｇ、Ｂのいずれか一つ）の情報を有する画像信号に対して同時化処理（デモザイク処理）を行い、各画素が三色（ＲＧＢ）の情報を有する画像信号を生成する。画像信号生成部２０１は、生成した画像信号を、ＰＳＦ推定領域抽出部２０２、画像補正部２０４、および、画像合成部２０５へ出力する。

続いてステップＳ３０２において、ＰＳＦ推定領域抽出部２０２は、画像信号生成部２０１から出力された画像信号（入力画像）の中から、ＰＳＦ推定処理に用いる部分領域としてＰＳＦ推定領域を選択する。そしてＰＳＦ推定領域抽出部２０２は、入力画像から、選択したＰＳＦ推定領域の画像信号を抽出する。ＰＳＦ推定領域の選択方法として、入力画像中の主被写体領域を検出して、その被写体検出領域を選択する方法を用いることができる。または、操作部１２０を介してユーザにＰＳＦ推定領域を指定させるようにしてもよい。ＰＳＦ推定領域抽出部２０２は、抽出した画像信号をＰＳＦ推定部２０３へ出力する。またＰＳＦ推定領域抽出部２０２は、選択したＰＳＦ推定領域の位置に関する情報を合成比率算出部２０７へ出力する。

続いてステップＳ３０３において、ＰＳＦ推定部２０３は、入力されたＰＳＦ推定領域の画像信号に基づいて、ＰＳＦ推定領域におけるブレやボケに関する特性（劣化特性）を表すＰＳＦ（点拡がり関数）を推定する（ＰＳＦ推定処理）。すなわちＰＳＦ推定部２０３は、画像の部分領域としてのＰＳＦ推定領域からＰＳＦを推定する。そしてＰＳＦ推定部２０３は、推定したＰＳＦに関する情報を画像補正部２０４へ出力する。本実施形態において、ＰＳＦ推定処理は、公知の技術を用いることができる。以下、一例として、反復法を用いたＰＳＦ推定処理の概要を説明する。

撮影画像のうち、ＰＳＦ推定領域の画像信号をＢ、推定する対象となるＰＳＦをＫ、ＰＳＦ推定領域におけるブレやボケの無い画像（潜像）をＬとして、撮影画像のノイズを無視すると、以下の式（１）の関係が成り立つ。

式（１）において、Ｃｏｎｖは畳み込み演算を表す。式（１）は、ＫとＬの両方が未知数であるため、解析的に解くことはできない。そこで、次のような推定を行う。

まず、適当な潜像Ｌの初期値を定める。潜像Ｌの初期値としては、撮影画像に対してショックフィルタ等を用いてエッジ強調処理を施した画像を用いることができる。

続いて、以下の式（２）で表されるエネルギー関数Ｅ（Ｋ）において、Ｌを固定、Ｋを未知数として、エネルギー関数Ｅ（Ｋ）を最小化するＫを算出する。

式（２）において、σは正則化項を表し、ここではＰＳＦの各要素の二乗和を取るＬ２ノルムを用いている。

続いて、算出したＫを用いて、以下の式（３）で表されるエネルギー関数Ｅ（Ｌ）において、Ｋを固定、Ｌを未知数として、エネルギー関数Ｅ（Ｌ）を最小化するＬを算出する。

式（３）において、σは正則化項を表し、ここでは潜像Ｌの各画素値の二乗和を取るＬ２ノルムを用いている。

そして、算出したＬを用いてエネルギー関数Ｅ（Ｋ）を最小化するＫを算出し、算出したＫを用いてエネルギー関数Ｅ（Ｌ）を最小化するＬを算出するという処理を、算出したＫが一定の値に収束するまで反復的に行うことによりＰＳＦを推定する。以上が、反復法を用いたＰＳＦ推定方法の概要である。

続いて、図３のステップＳ３０４において、画像補正部２０４は、入力されたＰＳＦに関する情報に基づいて、画像信号生成部２０１により生成された画像信号に対してブレやボケなどの劣化の補正処理を行う（画像補正処理）。そして画像補正部２０４は、補正した画像信号を画像合成部２０５へ出力する。本実施形態において、ＰＳＦに基づく補正方法は、公知の技術を用いることができる。一例として、ウィナーデコンボリューションを用いた補正処理の概要を説明する。推定したＰＳＦをＫ、撮影画像をＢ、潜像をＬとすると、潜像Ｌは以下の式（４）のように表すことができる。

式（４）において、ｆ（）は逆フーリエ変換、＊は複素共役、λはブレやボケの無い画像に含まれるノイズ成分の比率（ＳＮ）をそれぞれ示している。なお、前述のウィナーデコンボリューションの他に、以下の式（５）のように表される逆フィルタを用いる手法を採用してもよい。

また、推定したＰＳＦからエッジ強調のフィルタを作成してフィルタ処理を行うことによりエッジを強調させる補正方法を用いてもよい。

続いて、図３のステップＳ３０５において、劣化特性推定部（ブレボケ特性推定部）２０６は、撮影画像の複数の領域のそれぞれに関するブレやボケなどの劣化特性（ブレボケ特性）を推定し、劣化特性量（ブレボケ特性量）を算出する。この特性推定処理の詳細については後述する。劣化特性推定部２０６は、推定した劣化特性に関する評価値（劣化特性量）を、合成比率算出部２０７へ出力する。

続いてステップＳ３０６において、合成比率算出部２０７は、撮影画像の各領域における画像合成比率を算出する。撮影画像の各領域における画像合成比率は、劣化特性推定部２０６により推定されたブレやボケの特性を表す評価値（劣化特性評価値）と、ＰＳＦ推定領域抽出部２０２により選択されたＰＳＦ推定領域の位置に関する情報とに基づいて算出することができる。ここで画像合成比率とは、画像合成部２０５が、画像信号生成部２０１から出力された補正処理前の撮影画像と、画像補正部２０４から出力された補正処理後の画像（補正画像）とを合成する際の合成比率を表す。なお、合成比率の算出方法の詳細については後述する。合成比率算出部２０７は、算出した合成比率を、画像合成部２０５へ出力する。

続いてステップＳ３０７において、画像合成部２０５は、画像信号生成部２０１から出力された画像信号と、画像補正部２０４から出力された補正後の画像信号とを合成比率算出部２０７により算出された画像合成比率に基づいて合成し、合成画像を生成する。ここで、合成画像の画像信号をＩ、画像信号生成部２０１により生成された画像信号をＩ_０、画像補正部２０４により生成された補正後の画像信号をＩ_１、合成比率をｍ、画像の位置を（ｘ、ｙ）で表すものとする。画像合成部２０５は、以下の式（６）を用いて画像信号を合成する。

画像合成部２０５が合成した画像信号を出力すると、システム制御部５０による制御に基づいて、合成された画像信号が記録媒体１１２へ記録される。以上が、本実施形態における補正処理の流れである。

次に、図４を参照して、劣化特性推定部２０６が撮影画像の各領域におけるブレやボケの特性を推定する処理（特性推定処理）、および、合成比率算出部２０７が画像合成比率を算出する処理（合成比率算出処理）の詳細をそれぞれ説明する。図４は、特性推定処理および合成比率算出処理の説明図である。

劣化特性推定部２０６は、画像の各領域におけるボケ（焦点ボケ）の大きさ、ならびにブレの大きさおよびブレの方向をそれぞれ推定し、ブレやボケなどの劣化特性に関する評価値を出力する。ここで、ボケの特性（ボケに関する劣化特性）は、測距部１２３により測定された、画像の各領域における撮像装置１００と被写体との間の距離の情報に基づいて算出することができる。具体的には、撮影の際に行ったＡＦ制御において合焦位置として決定された合焦点に関する距離情報と、画像の各領域とにおける距離情報とを比較する。画像の各領域における距離情報が合焦点における距離情報と近い場合、焦点ボケの程度が小さく、距離情報が異なる程、焦点ボケの程度は大きい。したがって、劣化特性推定部２０６は、画像の各領域における被写体距離と、合焦点における被写体距離との差分値を、所定の正規化係数によって正規化し、ボケの特性評価値を出力する。

ブレ（手ブレや被写体ブレ）の大きさおよび方向は、動きベクトル検出部１２４により検出された動きベクトルに基づいて推定することができる。具体的には、動きベクトルの方向がブレの生じている方向を表し、動きベクトルの大きさがブレの大きさを表す。したがって、劣化特性推定部２０６は、画像の各領域における動きベクトルの大きさおよび方向を、所定の正規化係数によって正規化し、ブレの大きさおよび方向に関する特性評価値を出力する。

次に、合成比率算出部２０７が画像合成比率を算出する方法について説明する。ここで、合成比率算出部２０７は、ＰＳＦ推定領域に関するブレやボケなどの劣化特性と、画像の複数の領域のそれぞれに関するブレやボケなどの劣化特性との比較結果に基づいて、画像の領域ごとに合成比率を算出する。画像の複数の領域のうち、ＰＳＦ推定領域に関する劣化特性と近い劣化特性を有する特定領域に対しては、ＰＳＦ推定領域により推定されたＰＳＦに基づいて補正を行うことができるため、補正画像の比率が高くなるようにする。一方、ＰＳＦ推定領域に関する劣化特性と異なる劣化特性を有する特定領域に対しては、推定したＰＳＦに基づく補正では誤った補正がなされる可能性があるため、補正画像の比率を低くし、誤った補正により生じうる弊害を低減する。

具体的には、次のように算出する。図４（ａ）は、劣化特性推定部２０６が推定したブレやボケの特性（劣化特性）を示す図である。図４（ａ）において、α軸はボケの大きさ、β軸はブレの大きさ、γ軸はブレの方向をそれぞれ示す。また、点Ｐ０はＰＳＦ推定領域における特性評価値を表し、点Ｐ０の座標は（α０、β０、γ０）である。点Ｐ１は合成比率の算出を行う対象領域における特性評価値を表し、点Ｐ１の座標は（α１、β１、γ１）である。合成比率算出部２０７は、以下の式（７）を用いて、ＰＳＦ推定領域におけるブレやボケなどの劣化特性と、合成比率の算出対象領域における劣化特性との差分Δを算出する。

式（７）において、ａ、ｂ、ｃはそれぞれ、ボケの大きさ、ブレの大きさ、ブレの方向に対する重みである。ボケの大きさ、またはブレの大きさが異なる場合に比べて、ブレの方向が異なる場合、対応するＰＳＦの形状が大きく異なる。このため、ブレの方向の差分に対する重みｃは、重みａ、ｂに対して大きな値を取ることが好ましい。

次に、図４（ｂ）を参照して、合成比率の算出方法を説明する。図４（ｂ）において、横軸はブレやボケの特性評価値の差分Δを示し、縦軸は画像合成比率ｍを示す。図４（ｂ）に示されるように、ブレやボケの特性評価値の差分Δが大きいほど、補正処理の影響が小さくなるように、すなわち画像合成比率が低くなるよう設定する。なお、図４（ｂ）は、特性評価値の差分Δが所定の閾値Ｔｈ以下である場合、合成比率ｍを１とする場合を示しているが、合成比率ｍの算出方法はこれに限定されるものではない。例えば、特性評価値の差分Δが大きくなるにつれて、合成比率ｍが低い値となるように設定された曲線の特性に基づいて合成比率ｍを設定してもよい。

合成比率算出部２０７は、前述の合成比率ｍの算出処理を、画像の各領域に対して順次実行し、算出した結果を画像合成部２０５へ出力する。画像合成部２０５は、前述のように、入力された合成比率に基づいて画像の合成処理を行う。

本実施形態では、画像の各領域におけるブレやボケの特性と、ＰＳＦ推定領域におけるブレやボケの特性とを比較した結果に基づいて、画像の各領域における画像合成比率を設定する。これにより、推定したＰＳＦに基づく補正を適用した場合に誤った補正を行うこととなる領域では、補正画像を用いない。その結果、補正による弊害を低減することが可能となる。

なお本実施形態では、ブレやボケに関する特性（劣化特性）を表す評価値として、ボケの大きさ、ブレの大きさ、および、ブレの方向の三つの特徴評価値を用いる場合を説明したが、劣化特性の評価方法はこれに限定されるものではない。例えば、画像の各領域においてＰＳＦを推定し、推定したＰＳＦの形状に基づいて、劣化特性を推定するようにしてもよい。この場合、推定したＰＳＦの形状を比較して、形状が近ければＰＳＦに基づいて補正した画像を用いる。一方、形状が異なる場合には、補正した画像を用いないように合成比率を制御する。ここで、画像の各領域において算出するＰＳＦは、劣化特性を評価するために用いられるため、劣化の補正に用いるＰＳＦを推定する場合に比べて推定精度が低くても構わない。したがって、反復法に用いるＰＳＦの収束に対する条件を緩めることにより、演算量を低減させるようにしてもよい。

また、ボケの特性を表す量として、画像信号に含まれるエッジ信号に着目し、エッジ部分における画像信号の変化の勾配情報に基づいて、劣化特性を推定してもよい。エッジ部分における画像信号の変化が緩やかであるほど、ボケやブレなどの劣化が大きいと推定すればよい。これにより、距離情報や動きベクトルに関する情報を取得することができない場合でも、画像劣化の補正を適切に制御することができる。また、画像を撮影時のＡＦ制御で用いる合焦状態を評価する評価値に基づいて、画像の複数の領域のそれぞれに関する劣化特性を推定するようにしてもよい。

また、ブレの特性を評価するため、撮像装置１００に設けられたジャイロ（ブレ検出部）によるブレ検出結果（ブレに関する情報）を用いるようにしてもよい。検出されたブレが一方向へシフトするブレである場合、ブレの方向は画像内で一様であると推定できる。検出されたブレが回転ブレである場合、ブレの方向が画像内で非一様であると推定することができる。ブレの方向が非一様である場合、ＰＳＦ推定領域と異なる位置の画像領域には、ＰＳＦに基づく補正を適用しないように補正処理を制御する。

本実施形態は、ブレやボケなどの特性（劣化特性）を表す量（劣化特性評価値）に基づいて、画像の合成比率を定める場合を説明したが、劣化特性の補正の制御方法はこれに限定されるものではない。例えば、ＰＳＦに基づいて画像を補正する際に、画像の各領域における劣化特性に基づいて、各領域に対して補正処理を実行するか否かを判定するようにしてもよい。この場合、ＰＳＦ推定領域における劣化特性とは異なる劣化特性を有する領域では、補正処理を実行しないよう制御すればよい。また、撮影画像と補正画像との合成ではなく、推定したＰＳＦを合成する方法や、ＰＳＦに基づいて決定される補正強度または補正量を合成する方法を用いることもできる。この場合、ＰＳＦ推定領域とは異なる劣化特性を有する領域に対しては、ＰＳＦに基づく補正が適用されないように合成比率を定めればよい。

本実施形態は、ＰＳＦ推定領域が画像中の一箇所である場合を説明したが、ＰＳＦ推定処理の方法はこれに限定されるものではない。すなわち、画像中の複数の領域においてＰＳＦを推定するようにしてもよい。この場合、画像合成の際には、複数のＰＳＦ推定領域の中で、処理対象とする領域における劣化特性と最も近い劣化特性を有するＰＳＦ推定領域を選択する。そして、選択したＰＳＦ推定領域において推定されたＰＳＦに基づいて補正した補正画像と、補正前の撮影画像とを合成するようにすればよい。または、複数の領域においてＰＳＦを推定し、それぞれのＰＳＦに基づいて補正を行った補正画像同士を合成するようにしてもよい。この場合、合成比率の算出は、以下のように行うことができる。まず、複数のＰＳＦ推定領域の中で、処理対象とする領域における劣化特性と最も近い劣化特性を有するＰＳＦ推定領域を選択する。そして、選択したＰＳＦ推定領域に対応する補正画像の合成比率が高くなるように合成比率を定めればよい。

本実施形態は、劣化特性（劣化特性評価値）の差分の絶対値に基づいて合成比率を定める場合を説明したが、合成比率の算出方法はこれに限定されるものではない。例えば、劣化特性評価値の差分の絶対値に加えて、大小関係の情報を用いることもできる。具体的には、処理対象の領域における劣化特性評価値が、ＰＳＦ推定領域における劣化特性評価値よりも大きい場合には補正画像に対する合成比率を高く設定し、小さい場合には補正画像に対する合成比率を低く設定するようにしてもよい。これは、ＰＳＦ推定領域よりもブレやボケなどの劣化が小さい領域に対して、ＰＳＦに基づいた補正を適用すると、リンギングなどの目立つ弊害が生じる場合が多いためである。

また、ブレやボケなどの劣化特性に加えて、画像中の被写体を検出した結果を用いて合成比率を算出してもよい。具体的には、劣化特性評価値の差分が所定の閾値以上であり、かつ、ＰＳＦ推定領域とは異なる被写体に属する領域に対しては、補正画像の合成比率を低く設定するようにする。これにより、被写体間の境界において、誤った補正による弊害が生じることを低減させることができる。

また、画像の各領域に含まれるエッジ信号の情報も用いて合成比率を算出するようにしてもよい。具体的には、劣化特性評価値の差分が所定の閾値以上であり、かつ、振幅の大きなエッジ信号が多く含まれる領域に対しては、補正画像の合成比率を低く設定するようにする。これにより、エッジを多く含む領域において、目立った弊害が生じることを低減させることができる。

（第２の実施形態）
次に、図５および図６を参照して、画像処理部１０５ａによるブレやボケなどの画像劣化の補正処理に関する機能について説明する。図５は、画像処理部１０５ａのブロック図である。図６は、画像処理部１０５ａによる補正処理（本実施形態の画像処理方法）のフローチャートである。図６の各ステップは、画像処理部１０５ａの各部により実行される。

第１の実施形態は、ＰＳＦに基づいて補正した画像と補正前の撮影画像とを合成する場合を説明した。一方、本実施形態は、複数の領域に関する複数のＰＳＦを推定し、画像のブレやボケなどの劣化特性に基づいて、推定した複数のＰＳＦの一つを用いて画像の補正処理を行う場合を説明する。なお本実施形態の撮像装置（デジタルカメラ）は、画像処理部１０５に代えて画像処理部１０５ａを有する点で、第１の実施形態の撮像装置１００と異なる。本実施形態における撮像装置の他の構成は、図１を参照して第１の実施形態にて説明した撮像装置１００と同様であるため、その説明は省略する。

図５に示されるように、画像処理部１０５ａは、画像信号生成部２０１、画像補正部２０４、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂ、ＰＳＦ推定部５０２ａ、５０２ｂ、および、ＰＳＦ選択部５０３を有する。本実施形態において、画像補正部２０４およびＰＳＦ選択部５０３により補正処理部が構成される。

図６のステップＳ６０１において、図３のステップＳ３０１と同様に、画像信号生成部２０１は、画像信号Ｒ、Ｇ、Ｂを生成する。画像信号生成部２０１は、生成した画像信号を、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂ、および、画像補正部２０４へ出力する。

続いてステップＳ６０２において、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂはそれぞれ、ＰＳＦ推定領域ａ、ｂを選択する。図５に示されるように、画像処理部１０５ａは複数のＰＳＦ推定部５０２ａ、５０２ｂを有する。このため、複数の箇所に関して、ＰＳＦの推定処理を行うことができる。例えば、撮影画像が主被写体である前景領域（主被写体領域）と背景領域とを含む場合、主被写体領域と背景領域とのそれぞれから、ＰＳＦを推定するようＰＳＦ推定領域を選択する。または、複数の人物が並んでいる場合のように複数の主被写体が存在する場合、それぞれの主被写体領域からＰＳＦ推定領域を選択するようにしてもよい。または操作部１２０を介して補正対象の被写体をユーザに選択させた場合、ユーザが選択した被写体領域の複数の箇所をＰＳＦ推定領域として選択してもよい。例えば、ユーザが選択した被写体が人物である場合、人物の顔領域および体領域のそれぞれからＰＳＦ推定領域を選択する。ＰＳＦ推定領域抽出部５０１ａ、５０１ｂは、選択したＰＳＦ推定領域ａ、ｂの画像信号を抽出し、ＰＳＦ推定部５０２ａ、５０２ｂへそれぞれ出力する。またＰＳＦ推定領域抽出部５０１ａ、５０１ｂは、選択したＰＳＦ推定領域の位置の情報をＰＳＦ選択部５０３へ出力する。

続いてステップＳ６０３において、ＰＳＦ推定部５０２ａ、５０２ｂはそれぞれ、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂから出力されたＰＳＦ推定領域の画像信号に基づいて、ＰＳＦを推定する（ＰＳＦ推定処理）。そしてＰＳＦ推定部５０２ａ、５０２ｂは、推定したそれぞれのＰＳＦを画像補正部２０４へ出力する。なお、本実施形態におけるＰＳＦ推定処理の方法は、図３のステップＳ３０３にて説明した第１の実施形態と同様であるため、その説明は省略する。

続いてステップＳ６０４において、劣化特性推定部２０６は、撮影画像の各領域におけるブレやボケなどの劣化特性を推定し、劣化特性量（劣化特性に関する評価値）を算出する。そして劣化特性推定部２０６は、算出した劣化特性評価値をＰＳＦ選択部５０３へ出力する。なお、劣化特性値の算出方法は、図３のステップＳ３０５にて説明した第１の実施形態と同様であるため、その説明は省略する。

続いてステップＳ６０５において、ＰＳＦ選択部５０３は、劣化特性推定部２０６から出力された劣化特性評価値に基づいて、画像の各領域に対する補正に用いるＰＳＦとして、ＰＳＦ推定部５０２ａ、５０２ｂにより推定されたＰＳＦのいずれか一方を選択する。以下、図７を参照して、ＰＳＦの選択方法について説明する。

図７は、劣化特性推定部２０６が推定したブレやボケの特性（劣化特性評価値）を示す図である。図７において、α軸はボケの大きさ、β軸はブレの大きさ、γ軸はブレの方向をそれぞれ示す。図７において、点Ｐａ、Ｐｂはそれぞれ、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂが選択したＰＳＦ推定領域におけるブレやボケの特性評価値を示す。点Ｐ１は、処理対象の領域におけるブレやボケの特性評価値を示す。

ＰＳＦ選択部５０３は、図３のステップＳ３０６を参照して説明した方法と同様の方法により、点Ｐ１と点Ｐａとの差分Δａ、点Ｐ１と点Ｐｂとの差分Δｂをそれぞれ算出する。そしてＰＳＦ選択部５０３は、Δａ＜Δｂの場合、ＰＳＦ推定部５０２ａにより推定されたＰＳＦを選択する。一方、ＰＳＦ選択部５０３は、Δｂ＜Δａの場合、ＰＳＦ推定部５０２ｂにより推定されたＰＳＦを選択する。なお本実施形態において、ＰＳＦ選択部５０３は、差分Δａ、Δｂの両方が所定の閾値を超えている場合、ＰＳＦに基づく補正処理を行わないように、いずれのＰＳＦも選択しない。ＰＳＦ選択部５０３は、画像の各領域に対して、前述の選択処理を順次実行し、その結果を画像補正部２０４へ出力する。

続いて、図６のステップＳ６０６において、画像補正部２０４は、撮影画像の各領域における画像合成比率を算出する。続いて、図６のステップＳ６０７において、画像補正部２０４は、ＰＳＦ選択部５０３により選択されたＰＳＦに関する情報に基づいて、画像信号生成部２０１により生成された画像信号に対する補正処理を行う。そして画像補正部２０４は、補正した画像信号を画像合成部２０５へ出力する。なお、補正処理の方法は、図３のステップＳ３０４にて説明した第１の実施形態と同様であるため、その説明は省略する。

本実施形態では、画像の各領域におけるブレやボケの特性と、ＰＳＦ推定領域におけるブレやボケの特性とを比較した結果に基づいて、画像の各領域における補正処理に用いるＰＳＦを選択する。これにより、画像中でのブレやボケの特性が一様でない場合に画像の各領域に対して適したＰＳＦを選択して補正することができる。その結果、補正による弊害を低減することが可能となる。

なお本実施形態は、複数のＰＳＦ推定領域を選択し、そのうちのいずれか一つのＰＳＦ推定領域で推定されたＰＳＦを選択する方法を説明したが、ＰＳＦの選択方法はこれに限定されるものではない。例えば、ＰＳＦの選択を切り替える境界が目立たないようにするため、境界領域では互いに異なるＰＳＦに基づいて補正した画像同士を合成し、境界が目立たなくなるように制御してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 画像処理部（画像処理装置）
２０３ ＰＳＦ推定部
２０４ 画像補正部（補正処理部）
２０５ 画像合成部（補正処理部）
２０６ 劣化特性推定部
２０７ 合成比率算出部（補正処理部）

Claims (11)

1. 画像の部分領域としての推定領域から点拡がり関数を推定する推定部と、
   前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成する補正処理部と、
   前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部と、
   前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成する合成部と、を有し、
   前記合成部は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおける前記合成比率を算出することを特徴とする画像処理装置。
2. 前記画像の前記劣化特性は、該画像のブレまたはボケに関する特性であることを特徴とする請求項１に記載の画像処理装置。
3. 前記劣化特性推定部は、前記画像に含まれる被写体までの距離に関する情報、該被写体の動きベクトルに関する情報、ブレ検出部からのブレに関する情報、および、該画像の領域ごとに推定された前記点拡がり関数に関する情報の少なくとも一つに基づいて、前記劣化特性を推定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成部は、前記複数の領域のうち、前記推定領域に関する前記劣化特性との差分が所定の閾値以下となる前記劣化特性を有する領域に対して、前記補正画像の合成比率を１とし、前記画像の合成比率を０とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成部は、前記複数の領域のうち、前記推定領域に関する前記劣化特性との差分が大きい前記劣化特性を有する領域ほど、前記補正画像の合成比率を小さくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記合成部は、前記複数の領域のうち、前記劣化特性が前記推定領域における前記劣化特性よりも小さい領域の前記補正画像の合成比率を、前記劣化特性が前記推定領域における該劣化特性よりも大きい領域に比べて、小さくすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合成部は、前記複数の領域のうち、エッジ信号を多く含む領域ほど、前記補正画像の合成比率を小さくすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像部と、
   前記画像信号に基づく画像の部分領域としての推定領域から点拡がり関数を推定する推定部と、
   前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成する補正処理部と、
   前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部と、
   前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成する合成部と、を有し、
   前記合成部は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおける合成比率を算出することを特徴とする撮像装置。
9. 画像の部分領域としての推定領域から点拡がり関数を推定するステップと、
   前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成するステップと、
   前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップと、
   前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成するステップと、を有し、
   前記合成比率は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおいて算出されることを特徴とする画像処理方法。
10. 画像の部分領域としての推定領域から点拡がり関数を推定するステップと、
    前記点拡がり関数に基づいて前記画像の補正処理を行うことで補正画像を生成するステップと、
    前記推定領域とは異なる、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップと、
    前記劣化特性に基づく合成比率で、前記画像と前記補正画像を合成するステップと、をコンピュータに実行させるプログラムであって、
    前記合成比率は、前記画像の前記推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数の領域のそれぞれにおいて算出されることを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images