JP5211589B2 - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、電子カメラ、および画像処理プログラムに関する。

従来、電子カメラを用いて複数回の分割露光を実施し、得られた複数の画像を位置合わせして合成することによって、撮像画像の像ブレを修復する技術が知られている（例えば、下記の特許文献１）。
特開２００２−１０７７８７号公報（請求項１など）

ところで、従来技術では、複数の画像の位置合わせミスによって、絵柄のエッジ部分が合成後に多重線になったり、合成後のエッジが鈍るなどの弊害が懸念される。

そこで、本発明では、複数の画像の位置合わせ合成において、位置合わせミスの弊害を軽減する技術を提供することを目的とする。

《１》本発明の第１の形態の画像処理装置は、画像入力部、位置ズレ検出部、および画像合成部を備える。画像入力部は、同一被写体を撮影した複数の低解像度画像と、同一被写体を撮影した少なくとも１つの高解像度画像とを取り込む。位置ズレ検出部は、低解像度画像それぞれと高解像度画像との間で絵柄の位置ズレを検出する。画像合成部は、位置ズレに基づいて、複数の低解像度画像に対し絵柄の位置合わせを行って、複数の低解像度画像を高解像度画像のサイズに基づいて再配置した再配置画像を生成し、高解像度画像と再配置画像とを合成する。上記構成において、画像合成部は、高解像度画像について局所的な信号変化の大きさを判定する。画像合成部は、この信号変化が大きいと判定された箇所において、再配置画像の合成比率を局所的に下げる調整を行う。

《２》本発明の第２の形態の画像処理装置は、画像入力部、位置ズレ検出部、および画像合成部を備える。画像入力部は、同一被写体を撮影した複数の低解像度画像と、同一被写体を撮影した少なくとも１つの高解像度画像とを取り込む。位置ズレ検出部は、低解像度画像それぞれと高解像度画像との間で絵柄の位置ズレを検出する。画像合成部は、位置ズレに基づいて、複数の低解像度画像に対し絵柄の位置合わせを行って、複数の低解像度画像を高解像度画像のサイズに基づいて再配置した再配置画像を生成し、高解像度画像と再配置画像とを合成する。上記構成において、画像合成部は、高解像度画像と再配置画像とでそれぞれ対応位置にある注目画素の階調値の差を求める。画像合成部は、階調値の差が大きいと判定された箇所において、再配置画像の合成比率を局所的に下げる調整を行う。

《３》本発明の電子カメラは、《１》または《２》に記載の画像処理装置と、被写体を連続的に撮影して複数の画像を生成する撮像部とを備え、複数の低解像度画像をこの画像処理装置で位置合わせ合成する機能を有する。

《４》本発明の画像処理プログラムは、コンピュータを、《１》または《２》に記載の画像処理装置として機能させるためのプログラムである。

本発明では、位置合わせの基準とする画像の信号変化の大きな箇所や、画像間での階調差の大きな箇所において、そこに位置合わせされる画像の合成比率が局所的に下がる。したがって、位置合わせミスに起因する画像構造の破綻を抑制することができる。

＜第１実施形態の説明＞
［電子カメラの構成説明］
図１は、本実施形態の電子カメラ１０（画像処理装置２５を含む）を示すブロック図である。図１において、電子カメラ１０には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１１の撮像面が配置される。撮像素子１１は、撮像制御部１４によって制御される。この撮像素子１１は、高解像度画像を読み出すモードと、素子内部で画素間引きや画素加算を行って低解像度画像を読み出すモードとを備える。この撮像素子１１から出力される画像信号は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。

このメモリ１７は、バス１８に接続される。このバス１８には、撮像制御部１４、マイクロプロセッサ１９、記録部２２、画像圧縮部２４、モニタ表示部３０、および画像処理装置２５なども接続される。上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが着脱自在に装着される。

［画像処理装置２５の説明］
図２は、画像処理装置２５の構成を模式的に示したブロック図である。メモリ１７から読み出される高解像度画像は、ゲイン補正部３１を介して、縮小画像生成部３２、特徴量抽出部３３、および画像合成部３４にそれぞれ供給される。縮小画像生成部３２の出力データは、特徴量抽出部３５を介して、粗検出部３６に供給される。特徴量抽出部３３の出力データは、位相分割部３７を介して、精密検出部３８に供給される。

一方、メモリ１７から読み出される複数の低解像度画像は、特徴量抽出部３９および画像合成部３４にそれぞれ供給される。特徴量抽出部３９の出力データは、粗検出部３６および精密検出部３８にそれぞれ供給される。

粗検出部３６で粗く検出された位置ズレは、精密検出部３８に供給される。精密検出部３８で高精度に検出された位置ズレは、画像合成部３４に供給される。画像合成部３４は、この位置ズレの検出結果に基づいて、複数の低解像度画像や高解像度画像を合成する。

［動作説明］
図３および図４は、電子カメラ１０の動作を説明する流れ図である。以下、図３に示すステップ番号に沿って、この動作を説明する。

ステップＳ１：電子カメラ１０の主電源が投入されると、マイクロプロセッサ１９は、撮像制御部１４に低解像度画像の読み出しを指示する。撮像制御部１４は、撮像素子１１を低解像度の読み出しモードで駆動し、図５に示すように低解像度画像を例えば３０フレーム／秒で順次に読み出す。

ステップＳ２：撮像素子１１から読み出された低解像度画像は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時格納される。なお、マイクロプロセッサ１９は、メモリ１７内で所定コマ数を超えた低解像度画像を古いものから順番に削除する。

ここでの所定コマ数は、後述する再配置画像の合成に使用する低解像度画像のコマ数に相当し、（高解像度画像の画素数／低解像度画像の画素数）以上に設定することが好ましい。

例えば、低解像度画像の縦横画素数を、高解像度画像の縦横画素数の各１／４とした場合、所定コマ数は４×４＝１６コマ以上に設定することが好ましい。

ステップＳ３：モニタ表示部３０は、低解像度画像（スルー画像）をモニタ画面に表示する。一方、マイクロプロセッサ１９は、測光部（不図示）の測光結果や低解像度画像の明るさに基づいて露出計算を行い、高解像度画像の露光時間を決定する。

ステップＳ４：ここで、マイクロプロセッサ１９は、ユーザーによってレリーズ釦が全押し操作されたか否かを判断する。

レリーズ釦が全押し操作された場合、マイクロプロセッサ１９は、ステップＳ５に動作を移行する。一方、レリーズ釦の全押し操作されていない場合、マイクロプロセッサ１９は、ステップＳ１に動作を戻す。

ステップＳ５：ここで、マイクロプロセッサ１９は、ステップＳ３で決定した高解像度画像の露光時間設定が、ブレの目立たない許容上限以下か否かを判定する。例えば、この許容上限は、１／（撮影レンズ１２の３５ｍｍ判換算の焦点距離）秒程度に設定される。

露光時間設定が許容上限以下の場合、マイクロプロセッサ１９はステップＳ６に動作を移行する。一方、露光時間設定が許容上限を超える場合、マイクロプロセッサ１９はステップＳ７に動作を移行する。

ステップＳ６：撮像制御部１４は、設定された露光時間に従って撮像素子１１をシャッタ制御する。続いて、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像（静止画像）は、従来同様に画像処理および画像圧縮を経た後、記録媒体２２ａに記録保存される。この動作により、電子カメラ１０は撮影動作を完了する。

ステップＳ７：一方、露光時間設定がブレの許容上限を超えると判断された場合、マイクロプロセッサ１９は、露光時間を、ブレの生じない許容上限以下に制限する。

撮像制御部１４は、短く制限された露光時間に従って撮像素子１１をシャッタ制御する。その状態で、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像は、露光不足のために信号レベルは低いが、ぶれる可能性の少ない画像である。この高解像度画像は、メモリ１７に一時記録される。

ステップＳ８：画像処理装置２５内のゲイン補正部３１は、メモリ１７から高解像度画像を取り込む。ゲイン補正部３１は、この高解像度画像をゲイン調整することにより、低解像度画像の信号レベルに合わせる。

ステップＳ９：縮小画像生成部３２は、ゲイン調整後の高解像度画像を解像度変換して、低解像度画像の画素数と合わせる。

例えば、４×４画素の平均値を抽出することにより、高解像度画像の縦横画素数を各１／４に解像度変換することができる。このように低解像度化された高解像度画像（以下、縮小画像という）は、特徴量抽出部３５に伝達される。

ステップＳ１０：図６は、射影エッジの比較による画像ズレ検出を説明する図である。以下、この図６を用いて、画像ズレ検出の処理を説明する。

まず、特徴量抽出部３５は、下式に示す縦エッジ抽出用のフィルタ（図６［Ａ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から縦エッジ成分ｇ_yを抽出する。
g_y(x,y)=-f(x,y-1)+f(x,y+1)
さらに、特徴量抽出部３５は、下式に示す横エッジ抽出用のフィルタ（図６［Ｂ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から横エッジ成分ｇ_xを抽出する。
g_x(x,y)=-f(x-1,y)+f(x+1,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３５は、所定の微小振幅に収まる縦エッジ成分ｇ_yと横エッジ成分ｇ_xについては、ゼロに置き換えることが好ましい。

次に、特徴量抽出部３５は、図６［Ａ］に示すように、縦エッジ成分ｇ_yを水平行の単位に累積加算することにより、縦射影波形を算出する。

さらに、特徴量抽出部３５は、図６［Ｂ］に示すように、横エッジ成分ｇ_xを垂直列の単位に累積加算することにより、横射影波形を算出する。

一方、特徴量抽出部３９は、メモリ１７から複数の低解像度画像を取り込む。特徴量抽出部３９は、個々の低解像度画像に対して特徴量抽出部３５と同一の処理を実施し、縦射影波形および横射影波形をそれぞれ求める。

ここで、粗検出部３６は、図６［Ａ］に示すように、縮小画像の中央域の縦射影波形と、低解像度画像の中央域の縦射影波形とをずらしながら差分をとり、その差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との縦方向の位置ズレに相当する。

また、粗検出部３６は、図６［Ｂ］に示すように、縮小画像の中央域の横射影波形と、低解像度画像の中央域の横射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との横方向の位置ズレに相当する。

このようにして、粗検出部３６は、縮小画像を位置基準として複数の低解像度画像の位置ズレ（粗検出結果）をそれぞれ求め、精密検出部３８に出力する。

ステップＳ１１：特徴量抽出部３３は、ゲイン補正された高解像画像を取り込み、エッジ抽出フィルタを用いて、縦エッジ成分ｇ_yと横エッジ成分ｇ_xを抽出する。

なお、ここでのエッジ抽出フィルタは、低解像度画像の読み出し方式に応じて、下記のように切り替えることが好ましい。
・低解像度画像が画素加算または画素平均によって作成される場合
g_y(x,y)=[-f(x,y-4)-f(x,y-3)-f(x,y-2)-f(x,y-1)+f(x,y+4)+f(x,y+5)+f(x,y+6)+f(x,y+7)]/4
g_x(x,y)=[-f(x-4,y)-f(x-3,y)-f(x-2,y)-f(x-1,y)+f(x+4,y)+f(x+5,y)+f(x+6,y)+f(x+7,y)]/4
・低解像度画像が画素間引きによって作成される場合
g_y(x,y)=-f(x,y-4)+f(x,y+4)
g_x(x,y)=-f(x-4,y)+f(x+4,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３３は、所定の微小振幅に収まる縦エッジ成分ｇ_yと横エッジ成分ｇ_xについては、ゼロに置き換えることが好ましい。

次に、特徴量抽出部３３は、縦エッジ成分ｇ_yを水平行の単位に累積加算することにより、縦射影波形を算出する。また、特徴量抽出部３３は、横エッジ成分ｇ_xを垂直列の単位に累積加算することにより、横射影波形を算出する。

位相分割部３７は、高解像度画像の縦射影波形を４画素おきにサブサンプリングする。このとき、位相分割部３７は、サブサンプリングの位相をずらすことによって、図７に示すように、位相が互いにずれた４種類のサンプリング情報を生成する。

同様に、位相分割部３７は、高解像度画像の横射影波形を４画素おきにサブサンプリングする。このとき、サブサンプリングの位相をずらすことにより、位相が互いにずれた４種類のサンプリング情報を生成する。

ステップＳ１２：精密検出部３８は、粗検出部３６による位置ズレの粗検出結果を出発点として、高解像度画像から求めた縦射影波形のサンプリング情報と、低解像度画像の縦射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。

精密検出部３８は、この波形ズレの検出を４種類のサンプリング情報それぞれについて実施することにより、絵柄の特徴（ここでは波形）が最も一致する波形ズレを求める。この波形ズレは、低解像度画像の画素間隔よりも小さな単位の横方向の位置ズレに相当する。

さらに、精密検出部３８は、同様にして、縦方向の位置ズレを低解像度画像の画素間隔よりも小さな単位（例えば高解像度画像の画素間隔の単位）で検出する。

このようにして、精密検出部３８は、高解像度画像を位置基準として複数の低解像度画像の位置ズレ（精密検出結果）をそれぞれ求め、画像合成部３４に出力する。

ステップＳ１３：画像合成部３４は、低解像度画像にハイパスフィルタ処理を施し、フィルタ結果の絶対値和を計算して高域成分の量を求める。求めた高域成分の量に従って、複数の低解像度画像を分類する。

なお、図８に示すように、高域成分の多い順に画像に順番を付与し、上位から所定順位までの画像を選別して、合成に使用する画像としてもよい。また、高域成分の量が所定の閾値を超える画像を選別して、合成に使用する画像としてもよい。

このような選別処理により、ブレ量が大きいなど、高域成分が基準に満たない画像を合成処理から適度に除外することが可能になる。その結果、合成後の画質を確実に高めることが可能になる。

ステップＳ１４：画像合成部３４は、高解像度画像にハイパスフィルタ処理を施し、フィルタ結果から高解像度画像をエッジ域と平坦域とに領域分割する。

ステップＳ１５：ステップＳ１４で求めたエッジ域では、高域成分の少ない画像ほど合成比率を小さくする。一方、ステップＳ１４で求めた平坦域では、高域成分の少ない画像の合成比率をエッジ部よりも上げる。なお、エッジ域または平坦域のいずれでもない領域については、両領域の中間の合成比率に設定する。

ステップＳ１６：画像合成部３４は、複数の低解像度画像をそれぞれ拡大（４×４倍）する。このとき、画像合成部３４は、画素補間を行わず、画素間隔の開いた拡大画像を得る。

次に、画像合成部３４は、精密検出部３８が求めた位置ズレの精密検出結果に基づいて、低解像度画像の拡大画像の画素位置をそれぞれ変位させ、図９に示すようにマッピング（再配置）を行う。

このようにして、高解像度画像と同程度の縦横画素数を有する再配置画像を得ることができる。

ステップＳ１７：マッピング処理を完了した再配置画像には、隙間の埋まらない画素や、正規の画素位置からずれた画素や、重なった画素が存在する。

画像合成部３４は、この再配置画像の正規の画素位置ごとに、近傍画素をピックアップする。画像合成部３４は、これら近傍画素の信号成分に対して、ステップＳ１５で設定された合成比率に従って加重平均を実施する。画像合成部３４は、この加重平均値を正規の画素位置の信号成分（輝度／色差成分など）とする。このような合成処理により、高解像度画像と同じ縦横画素数の再配置画像を得ることができる。

なお、上記の加重平均の代わりに、近傍画素の信号成分のメディアン演算によって、再配置画像の合成を行ってもよい。

ステップＳ１８：画像合成部３４は、高解像度画像の輝度成分に対して、フィルタ処理を下記のように実施する。

まず、画像合成部３４は、ゲイン補正後の高解像度画像から輝度成分を抽出し、メディアン処理およびガウシアンフィルタを合わせたフィルタ処理を施す。例えば、フィルタサイズを３×３画素に設定し、このフィルタサイズ内の９つの画素から中央３つの値を抽出して、ガウシアンフィルタを実施する。この処理により、露光不足の輝度成分に含まれるノイズ分を予め低減することができる。

ステップＳ１９：次に、このフィルタ処理後の高解像度画像の輝度成分Ａと、再配置画像の輝度成分Ｂとの間で、合成比率を設定する。

ここでは、下記のようなルールに従って、合成比率を設定することが好ましい。
（１）高解像度画像の輝度成分Ａと再配置画像の輝度成分Ｂとの信号差が大きい箇所ほど、再配置画像の合成比率を局所的に下げる。
（２）高解像度画像の輝度成分Ａの局所的な信号変化が大きい箇所ほど、再配置画像の合成比率を局所的に下げる。
（３）高解像度画像と低解像度画像との時間間隔が小さいほど、再配置画像の輝度成分Ｂの合成比率を全般的に引き上げる。
（４）高解像度画像と低解像度画像との位置ズレが小さいほど、再配置画像の輝度成分Ｂの合成比率を全般的に引き上げる。

なお、具体的な合成画像の輝度成分ｇ(ｉ,ｊ)の計算には、下式のガウシアンフィルタを使用することが好ましい。

上式中では、２段階の処理がなされる。すなわち、再配置画像の輝度成分Ｂに対して、例えばｍ＝５程度のガウシアンフィルタ（平滑化）が施される。次に、この輝度成分Ｂの平滑化結果が、高解像度画像の輝度成分Ａに画素単位に加重合成される。

このとき、輝度成分Ａ，Ｂの信号差が大きいほど、輝度成分Ｂの合成比率Ｇ(i,j,p)が下がる。その結果、高解像度画像と再配置画像との絵柄が大きく違う箇所については、高解像度画像の輝度成分Ａが局所的に優先される。

なお、合成比率Ｇ(i,j,p)は、画素の参照距離に依存して特に変化させない方が好ましい。これによって、フィルタサイズｍ内の輝度成分Ｂであれば、参照距離が離れていても、輝度成分Ａに反映させることができる。その結果、再配置画像の位置合わせミスをある程度まで許容することが可能になる。

また、上式中のσは、合成比率の値や下げ幅を調整する数値である。このσは、輝度成分Ａの周辺３×３画素の分散値が大きい箇所ほど、局所的に小さく設定することが好ましい。このようにσを局所的に小さくすることにより、高解像度画像のエッジ付近では、再配置画像の合成比率が局所的に下がる。その結果、エッジなどの画像構造への影響（平滑化や乱れ）を抑制することができる。

なお、上式中のσを、高解像度画像と低解像度画像との時間間隔および／または位置ズレが小さいほど、σを大きく設定することが好ましい。このようにσを可変することにより、高解像度画像と低解像度画像の絵柄が近いと推定されるほど、再配置画像の合成比率が全般的に引き上がる。その結果、絵柄の近い再配置画像（低解像度画像）の情報を、合成画像に優先的に反映させることができる。

ステップＳ２０：ステップＳ１７で生成された再配置画像の色差成分と、ステップＳ１９で生成された合成画像の輝度成分とを組み合わせて、低解像度画像の情報を反映した高解像度のカラー画像を生成する。

このカラー画像は、画像圧縮部２４および記録部２２などを介して、記録媒体２２ａに保存記録される。
［本実施形態の効果など］
本実施形態では、モニタ表示を終われば廃棄されるスルー画像（低解像度画像）を、静止画像（高解像度画像）の画質向上に有効活用する。このスルー画像の有効活用によって、電子カメラ１０の撮像性能を高めることができる。

また、本実施形態では、撮像時間間隔の短い低解像度画像を合成する。したがって、画像間の絵柄の差が元々小さく、良好な画像合成結果を得ることができる。

さらに、本実施形態では、画素密度の高い高解像度画像を位置基準として、複数の低解像度画像の位置合わせを行う。したがって、低解像度画像の絵柄の位置合わせ精度が高く、更に良好な画像合成結果を得ることができる。

また、本実施形態では、高解像度画像から、サンプリング位相が互いにずれた複数のサンプリング情報を生成する。これらサンプリング情報と低解像度画像との間で位置ズレ検出をそれぞれ行うことにより、低解像度画像の画素間隔よりも小さな単位で位置ズレを検出できる。したがって、低解像度画像の絵柄の位置合わせ精度を一段と高めることが可能になり、一層良好な画像合成結果を得ることができる。

さらに、本実施形態では、複数の低解像度画像の輝度成分（視覚感度の高い信号成分）を位置合わせしてマッピングして、低解像度画像よりも高解像度の輝度成分を得ることができる。

また、本実施形態では、複数の低解像度画像の色差成分（視覚感度の低い信号成分）を位置合わせしてマッピングすることにより、低解像度画像よりも高解像度の色差成分を得ることもできる。

さらに、本実施形態では、位置合わせで作成した高解像度の輝度成分（再配置画像）と、本来の高解像度画像の輝度成分とを加重合成する。この加重合成によって、両画像間の非相関な輝度ノイズを抑制できる。その結果、露光不足状態（ステップＳ７参照）の高解像度画像のＳ／Ｎを改善することができる。

また、本実施形態では、高解像度画像と再配置画像との信号差が有意に大きい場合、再配置画像の合成比率を局所的に下げる。その結果、再配置画像に位置合わせミスが生じた場合、両画像の信号差が有意に開いて再配置画像の合成比率が下がる。したがって、この位置合わせミスは、画像合成結果にさほど反映されなくなる。

さらに、本実施形態では、高解像度画像の局所的な信号変化が大きい箇所について、再配置画像の合成比率を局所的に下げる。したがって、画像のエッジ部などでは、高解像度画像の画像構造が優先される。その結果、エッジが多重線化するなどの弊害を回避することができる。

また、本実施形態では、高解像度画像と低解像度画像との時間間隔および／または位置ズレが小さいほど、再配置画像の合成比率を全般的に上げる。このような条件が成立する場合、高解像度画像と低解像度画像の絵柄は非常に近いと推定できる。したがって、再配置画像の合成比率を上げることにより、絵柄の破綻のおそれ無しに、画像Ｓ／Ｎを一段と高めることが可能になる。

なお、本実施形態では、図８に示すように、複数の低解像度画像を空間周波数の高域成分の量に従って順位付けする。このとき、ブレが目立つなどの理由から高域成分の少ない画像については、合成に使用する画像から除外される。

さらに、合成に使用する画像に選別されても、高域成分が比較的少ないと判定された画像については、絵柄のエッジ部における位置合わせ合成の合成比率が小さく調整される。その結果、手ブレや被写体ブレの少ない画像中のエッジ部が優先されて、位置合わせ合成が行われる。その結果、再配置画像のエッジ部分が鈍るなどの弊害は抑制される。

また、本実施形態では、高域成分が少ないと判定された画像については、エッジ部に比べて平坦部の合成比率を大きくする。その結果、平坦部では、より均等に複数画像の位置合わせ合成が行われ、位置合わせ合成後の画像Ｓ／Ｎを高めることが可能になる。

＜第２実施形態の説明＞
図１０は、第２実施形態における電子カメラ１０の動作を説明する流れ図である。また、図１１は、第２実施形態における画像の合成処理を示す模式図である。

ここで、第２実施形態は第１実施形態の変形例であって、電子カメラは同一解像度の複数の画像を合成する。また、第２実施形態における電子カメラの構成は、上記の第１実施形態の電子カメラ（図１）と共通するので重複説明は省略する。

さらに、図１０のＳ１０１からＳ１０３は、図３のＳ１からＳ３にそれぞれ対応するので重複説明を省略する。以下、図１０に示すステップ番号に沿って、電子カメラの動作を説明する。

ステップＳ１０４：ここで、マイクロプロセッサ１９は、ステップＳ１０３で決定した高解像度画像の露光時間設定が、ブレの目立たない許容上限以下か否かを判定する。なお、許容上限は上記のステップＳ５と同様に設定される。

露光時間設定が許容上限以下の場合、マイクロプロセッサ１９はステップＳ１０５に動作を移行する。一方、露光時間設定が許容上限を超える場合、マイクロプロセッサ１９はステップＳ１０６に動作を移行する。

ステップＳ１０５：撮像制御部１４は、設定された露光時間に従って撮像素子１１をシャッタ制御し、高解像度画像（静止画像）を撮像する。なお、このステップの動作は上記のステップＳ６に対応するので、重複する説明は省略する。

ステップＳ１０６：一方、露光時間設定がブレの許容上限を超えると判断された場合、マイクロプロセッサ１９は、電子カメラの動作状態を連写撮影モードに切り替える。そして、マイクロプロセッサ１９は、連写撮影モードにおける各フレームの露光時間をブレの生じない許容上限以下に制限する。

この連写撮影モードでの撮像制御部１４は、短く制限された露光時間に従って撮像素子１１を高解像度の読み出しモードで駆動させる。これにより、複数の高解像度画像が撮像素子１１によって連続的に撮像されることとなる。各々の高解像度画像は、露光不足のために信号レベルは低いが、ぶれる可能性の少ない画像である。上記の高解像度画像は、それぞれメモリ１７に一時記録される。

ここで、上記の連写撮影モードでは、例えば、以下の（１）や（２）の要領で撮影動作が行われる。

（１）撮像制御部１４は、連写撮影モードに切り替わった時点から高解像度画像の連写撮影を開始し、一定期間分の高解像度画像をメモリ１７に蓄積する。このとき、マイクロプロセッサ１９は、メモリ１７内で所定フレーム数を超えた高解像度画像を古いものから順番に削除する。

そして、マイクロプロセッサ１９は、連写撮影中にユーザーの指示（レリーズ釦の押圧など）を受け付けると、メモリ１７内の高解像度画像のうちで上記指示のタイミングに対応する画像を基準画像に指定する。また、マイクロプロセッサ１９は、基準画像に対して時間軸方向に前後する所定数の高解像度画像を、後述の合成処理の対象として指定する。第２実施形態では、合成処理の対象として指定された高解像度画像を被合成画像と称する。なお、基準画像および被合成画像は、少なくとも合成処理が終了までメモリ１７に保持される。

（２）マイクロプロセッサ１９は、ユーザーの連写撮影開始指示（レリーズ釦の押圧など）に応じて、撮像制御部１４に連写撮影を開始させる。そして、マイクロプロセッサ１９は、ユーザーの連写撮影終了指示（レリーズ釦の押圧解除など）を受け付けるか、あるいは所定のフレーム数の連写撮影が終了したときに、上記の連写撮影を終了させる。

その後、マイクロプロセッサ１９は、撮影した画像をそれぞれモニタ表示部３０に表示するとともに、ユーザーに基準画像を選択させる。そして、マイクロプロセッサ１９は、連写撮影した高解像度画像のうちで、ユーザーによって指定された画像を記録画像とする。また、マイクロプロセッサ１９は、連写撮影された高解像度画像のうち基準画像以外の画像を被合成画像とする。

なお、マイクロプロセッサ１９は、上記（２）の場合において、連写撮影開始指示のタイミングに対応する画像（最初に撮影された高解像度画像）を基準画像に指定してもよい。この場合には、ユーザーに基準画像を指定させる工程を省略することが可能となる。

ステップＳ１０７：画像処理装置２５は、第１実施形態のステップＳ１０と同様の処理によって、基準画像（Ｓ１０６）に対する被合成画像（Ｓ１０６）の画像のズレを検出する。なお、この画像ズレの検出はすべての被合成画像を対象として行われる。

ステップＳ１０８：画像処理装置２５の画像合成部３４は、被合成画像（Ｓ１０６）にハイパスフィルタ処理を施し、フィルタ結果の絶対値和を計算して高域成分の量を求める。そして、画像合成部３４は、求めた高域成分の量に従って複数の被合成画像を分類する。

このとき、第１実施形態と同様に、画像合成部３４は、高域成分の多い順に画像に順番を付与し、上位から所定順位までの画像を選別して、被合成画像のうちから実際に合成に使用する画像を絞り込んでもよい。また、画像合成部３４は、高域成分の量が所定の閾値を超える画像を選別して、被合成画像のうちから実際に合成に使用する画像を絞り込んでもよい。

ステップＳ１０９：画像合成部３４は、基準画像にハイパスフィルタ処理を施す。そして、フィルタ結果から基準画像をエッジ域と平坦域とに領域分割する。そして、画像合成部３４は、基準画像のエッジ域では、高域成分の少ない被合成画像ほど合成比率を小さくする。一方、画像合成部３４は、基準画像の平坦域では、高域成分の少ない画像の合成比率をエッジ部よりも上げる。なお、エッジ域または平坦域のいずれでもない領域については、両領域の中間の合成比率に設定する。

ステップＳ１１０：画像合成部３４は、Ｓ１０７で求めた位置ズレの検出結果に基づいて、基準画像を位置基準として、被合成画像の画素位置をそれぞれ変位させてマッピング（再配置）を行う（図１１参照）。第２実施形態では、マッピング後の被合成画像を再配置画像と称する。

この第２実施形態では、基準画像とそれぞれの被合成画像との解像度（画素数）は同じである。そのため、図１１に示すように、再配置画像群は同一画像内での位置を示すｘ軸ｙ軸に加えて時間軸ｔを持つ３次元画像として扱われる。

ステップＳ１１１：画像合成部３４は、基準画像（Ｓ１０６）と再配置画像（Ｓ１１０）との合成処理を行ない、最終的な合成画像を生成する。

ここで、画像合成部３４は、基準画像に対して各々の再配置画像を順次合成して、再配置画像の数だけ合成処理を繰り返す。なお、画像合成部３４は、メディアン演算などによって複数の再配置画像を予め合成した上で、合成後の再配置画像と基準画像とを合成してもよい。

以下、Ｓ１１１での合成処理を具体的に説明する。第１に、画像合成部３４は、Ｓ１０９で求めた合成比率の初期値を読み出す。そして、画像合成部３４は、基準画像の階調値と再配置画像の階調値とに着目して、基準画像および再配置画像の合成比率をさらに調整する。

例えば、画像合成部３４は、基準画像の注目画素と再配置画像の注目画素との間で階調値の差が閾値以上となる場合（階調差の大きな場合）には、その注目画素における合成比率を局所的に下げる。一方、画像合成部３４は、基準画像の注目画素と再配置画像の注目画素との間で階調値の差が閾値未満となる場合（階調差の小さな場合）には、その注目画素における合成比率を局所的に上げる。これにより、画像間の位置合わせミスなどによる影響が大幅に抑制される。

また、画像合成部３４は、基準画像上での局所的な信号変化に応じて合成比率を調節する。例えば、画像合成部３４は、基準画像上での局所的な信号変化が大きい箇所ほど、再配置画像との合成比率を局所的に下げる。また、画像合成部３４は、基準画像上での局所的な信号変化が小さい箇所については再配置画像との合成比率を局所的に上げる。これにより、合成した画像上でエッジが多重線化するなどの弊害を抑制できる。

第２に、画像合成部３４は、上記の合成比率に従って、基準画像と再配置画像との対応する画素をそれぞれ加算合成していく。このＳ１１１では、画像合成部３４は、各画素の輝度成分および色差成分をそれぞれ合成処理で求めるものとする。これにより、複数の被合成画像の情報を反映した高解像度のカラー画像が生成されることとなる。

ステップＳ１１２：マイクロプロセッサ１９は、画像圧縮部２４および記録部２２などを介して、最終的な合成画像（Ｓ１１１で生成されたもの）を記録媒体２２ａに記録する。以上で、図１０の説明を終了する。

この第２実施形態の構成によっても第１実施形態と同種の効果を得ることができる。特に、第２実施形態の場合には、再配置画像の解像度が高く情報量が高いため、より高精細のカラー画像を取得しうる。

《実施形態の補足事項》
（１）本発明者は、特願２００５−３４５７１５において、位置ズレ検出を更に高速化する手順を開示している。この手順に従って、上記の各実施形態の位置ズレ検出を高速化してもよい。

（２）ステップＳ１０では、高解像度画像の縮小画像と、低解像度画像との間で絶対的な位置ズレを粗く検出している。しかしながら、本発明はこれに限定されるものではない。複数の低解像度画像の間で相対的な位置ズレを粗く検出してもよい。精密検出部３８は、この相対的な粗検出結果と、少なくとも１つの位置ズレの精密検出結果とに基づいて、残りの絶対的な位置ズレを粗く知ることができる。精密検出部３８は、この絶対的な粗検出結果を出発点として位置ズレ探索を行うことで、精密な位置ズレを迅速に検出することが可能になる。

（３）上述した第１実施形態および第２実施形態では、射影波形の比較により画像の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、両画像の画素配列の空間比較によって位置ズレを検出してもよい。

（４）上述した第１実施形態および第２実施形態では、電子カメラに画像処理装置を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。上述した画像処理をプログラムコード化した画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、低解像度画像の情報を有効活用して、高画質かつ高解像度な合成結果をコンピュータ上で作成することができる。同様に、第２実施形態の画像処理をコンピュータ上で実行する場合には、連写撮影した他の画像を有効活用して、高画質かつ高解像度な合成結果をコンピュータ上で作成できる。

なお、第２実施形態の画像処理をコンピュータ上で実行する場合には、連写画像のうちから任意の画像をユーザーが基準画像として指定することが可能となる。

（５）上述した第１実施形態では、高解像度画像の撮像前に、複数の低解像度画像を取得する。しかしながら、本発明はこれに限定されるものではない。高解像度画像の撮像後に、複数の低解像度画像を取得してもよい。また、高解像度画像の撮像前および撮影後にまたがって、複数の低解像度画像を取得してもよい。

（６）上述した第１実施形態では、再配置画像から色差成分を求め、合成画像から輝度成分を求める。しかしながら、本発明はこれに限定されるものではない。再配置画像から輝度成分および色差成分を求めてもよい。また、合成画像から輝度成分および色差成分を求めてもよい。なお、第２実施形態においても、第１実施形態と同様に基準画像と再配置画像とから輝度成分を求め、再配置画像から色差成分を求めるようにしてもよい。

（７）上述した第１実施形態および第２実施形態では、輝度色差の画像信号を扱うケースについて説明した。しかしながら、本発明はこれに限定されるものではない。一般に、本発明をＲＧＢ、Ｌａｂその他の画像信号を扱うケースに適用してもよい。このＲＧＢ画像信号の場合、視覚感度の高い信号成分はＧ成分、残りの信号成分はＲＢ成分となる。また、Ｌａｂ画像信号の場合、視覚感度の高い信号成分はＬ成分、残りの信号成分はａｂ成分となる。

（８）上述した第１実施形態および第２実施形態では、画像処理によって絵柄の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、カメラ側に加速度センサなどを搭載してカメラの撮影域の移動（振動）を求め、この撮影域の移動（振動）から複数画像の絵柄の位置ズレを検出してもよい。

（９）上述した第１実施形態および第２実施形態では、画像処理装置を一般的な電子カメラに実装した例を説明した。しかし、本発明の画像処理装置は、例えば、監視カメラや、事故画像を記録する車載カメラを備えたドライブレコーダシステムなどに組み合わせて適用することも勿論可能である。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置などに利用可能な技術である。

電子カメラ１０（画像処理装置２５を含む）を示すブロック図 画像処理装置２５の構成を模式的に示したブロック図 電子カメラ１０の動作を説明する流れ図 電子カメラ１０の動作を説明する流れ図 低解像度画像と高解像度画像とを説明する図 射影エッジの比較による画像ずれ検出の様子を示す図 サブサンプリングの様子を示す図 合成比率の調整動作を示す図 再配置画像の生成動作を説明する図 第２実施形態での電子カメラ１０の動作を説明する流れ図 第２実施形態における画像の合成処理を示す模式図

符号の説明

１０…電子カメラ，１１…撮像素子，１２…撮影レンズ，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，１９ａ…操作部，２２…記録部，２２ａ…記録媒体，２４…画像圧縮部，２５…画像処理装置，３０…モニタ表示部，３１…ゲイン補正部，３２…縮小画像生成部，３３…特徴量抽出部，３４…画像合成部，３５…特徴量抽出部，３６…粗検出部，３７…位相分割部，３８…精密検出部，３９…特徴量抽出部

Claims (4)

1. 同一被写体を撮影した複数の低解像度画像と、前記同一被写体を撮影した少なくとも１つの高解像度画像とを取り込む画像入力部と、
   前記低解像度画像それぞれと前記高解像度画像との間で絵柄の位置ズレを検出する位置ズレ検出部と、
   前記位置ズレに基づいて、前記複数の低解像度画像に対し絵柄の位置合わせを行って、前記複数の低解像度画像を前記高解像度画像のサイズに基づいて再配置した再配置画像を生成し、前記高解像度画像と前記再配置画像とを合成する画像合成部とを備え、
   前記画像合成部は、前記高解像度画像について局所的な信号変化の大きさを判定し、前記信号変化が大きいと判定された箇所では、前記再配置画像の合成比率を局所的に下げる
   ことを特徴とする画像処理装置。
2. 同一被写体を撮影した複数の低解像度画像と、前記同一被写体を撮影した少なくとも１つの高解像度画像とを取り込む画像入力部と、
   前記低解像度画像それぞれと前記高解像度画像との画像の間で絵柄の位置ズレを検出する位置ズレ検出部と、
   前記位置ズレに基づいて、前記複数の低解像度画像に対し絵柄の位置合わせを行って、前記複数の低解像度画像を前記高解像度画像のサイズに基づいて再配置した再配置画像を生成し、前記高解像度画像と前記再配置画像とを合成する画像合成部とを備え、
   前記画像合成部は、前記高解像度画像と前記再配置画像とでそれぞれ対応位置にある注目画素の階調値の差を求め、前記階調値の差が大きいと判定された箇所では、前記再配置画像の合成比率を局所的に下げる
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置と、
   被写体を連続的に撮影して複数の画像を生成する撮像部とを備え、
   前記複数の低解像度画像を前記画像処理装置で位置合わせ合成する機能を有する
   ことを特徴とする電子カメラ。
4. コンピュータを、請求項１または請求項２に記載の画像処理装置として機能させるための画像処理プログラム。

Images