JP6598660B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、複数枚の画像からなる画像群（例えば焦点位置を変えて撮影した複数枚の画像あるいは動画像データ）中に含まれる固定パターンノイズを低減し、高画質化する技術に関する。

カメラや顕微鏡などの撮像光学系を通して、焦点位置を変えて被写体を撮影した複数枚の画像群（以降、焦点ぼけ画像群と呼ぶ）から、光線空間の復元を介して、任意視点画像や任意焦点ぼけ画像を生成する技術が知られている。例えば、特許文献１では、３次元のコンボリューションモデルに合致するように各画像の座標変換処理を行い、３次元周波数空間上でぼけを変える３次元フィルタリング処理を行うことで任意視点画像や任意焦点ぼけ画像を生成する手法を開示している。また特許文献１以外にも、数学的にほぼ等価な式を用いて、焦点ぼけ画像群の視線方向の積分画像に対するフィルタ処理により光線空間の復元を行い、任意視点画像や任意焦点ぼけ画像を生成する手法が提案されている。なお、本明細書では、焦点ぼけ画像群から光線空間の復元を介して任意視点画像や任意焦点ぼけ画像を生成する画像生成手法を総称して「フィルタ型方式」と呼ぶこととする。

カメラや顕微鏡などで撮影した焦点ぼけ画像群に対して、これらのフィルタ型方式を適用すれば、カメラや顕微鏡の光学系に変更を加えることなく、撮影後の後処理によって従来にない機能を提供できる。例えば、カメラの場合には撮影後にぼけ味を変更する新たな写真の楽しみ方を提供できる。顕微鏡の場合には視点を変えることで被写体の立体形状の直感的な把握を可能にできる。また、開口数の大きなレンズを用いた高倍観察時において、被写界深度を拡大することで焦点位置から外れた病変部の見落としを防ぐことができる。

特開２００７−１２８００９号公報 特開２０１４−０９０４０１号公報 特開２０１３−２０７７８８号公報

しかしながら上述した従来の技術においては、以下のような問題があった。焦点ぼけ画像群に対し、特許文献１に開示される手法に代表されるフィルタ型方式を適用すると、イメージセンサの固定パターンノイズ（以降、固定ノイズと呼ぶ）に起因して、生成される画像の画質が劣化するという問題が生じる場合がある。この問題は、焦点ぼけ画像群を構成する画像のあいだで像の拡縮（スケールの変化）が非常に小さい場合、つまり、固定ノイズが画像内の殆ど同じ位置に現れる画像群の場合に顕在化する。そのような焦点ぼけ画像群は、例えば両側テレセントリック光学系のように、焦点位置を変えても像とイメージセンサの相対的な位置・大きさが殆ど変化しない光学系で撮影した場合に得られる。

前記課題への対策として、特許文献２では撮像装置の制御によって固定ノイズを回避する手法を開示している。この手法は焦点位置を変えて被写体を撮影する際、焦点位置毎に像とイメージセンサの相対的な位置をずらして撮影することで、焦点ぼけ画像群の同一画素で固定ノイズが重畳されることを抑える。しかし、この手法は、すでに撮影済みの焦点ぼけ画像群から全焦点画像を求める場合の画質改善には適用できない。

ここまで焦点ぼけ画像群での問題を記載したが、同様の問題は、動画像データのように同じ光学系で撮影された画像群でも生じうる。特許文献３では動画像から固定ノイズを低減する手法が開示されている。しかし、この手法は比較的平坦な領域に対して平均値を減算した差分画像が固定ノイズであると推定する簡易的な処理であるため、固定ノイズの推定精度は低い。そのため、様々な被写体の像を含む画像データから高精度な固定ノイズ低減を実現することは原理的に困難である。また加法性の固定ノイズ以外、例えば、イメージセンサのセルごとの受光部の感度ばらつきや増幅器のゲインばらつきなどに起因する乗法性の固定ノイズの低減を行うことはできない。なお、本明細書では、イメージセンサの画素と画像データの画素とを明確に区別するため、イメージセンサの画素を「セル」と表記する。

本発明は、このような問題点に鑑みてなされたものであり、同一のイメージセンサで取得された複数枚の画像に含まれる、イメージセンサに起因する固定ノイズを低減する新規な技術を提供することを目的とする。

本発明の第一態様は、コンピュータが、同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成ステップと、コンピュータが、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成ステップと、コンピュータが、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理ステップと、コンピュータが、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定ステップと、を有することを特徴とする画像処理方法を提供する。

本発明の第二態様は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供する。

本発明の第三態様は、同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成手段と、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成手段と、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理手段と、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定手段と、を有することを特徴とする画像処理装置を提供する。

本発明によれば、同一のイメージセンサで取得された複数枚の画像に含まれる、イメージセンサに起因する固定ノイズを低減することができる。

バーチャル・スライド・システムの構成を示す図。 本計測ユニット１０１の内部構成を示す図。 画像処理装置（ホストコンピュータ）１１０の内部構成を示す図。 固定ノイズ低減のアイデアを説明するための模式図。 実施例１の固定ノイズ低減処理を示すフローチャート。 実施例３の固定ノイズ低減処理を示すフローチャート。 焦点位置の異なる複数の被写体が存在する焦点ぼけ画像群の模式図。 実施例４の固定ノイズ低減処理を示すフローチャート。 固定ノイズの低減が可能な動画像データの一例。

本発明は、同じ光学系（撮像系）を用いて撮影された複数枚の画像からなる画像群（例えば、焦点ぼけ画像群、動画像データなど）に含まれる固定ノイズを、画像処理（後処理）によって低減する技術に関する。本発明の構成ないし方法は、デジタルカメラ、デジタルビデオカメラ、デジタル顕微鏡、バーチャル・スライド・システムを含む様々な撮像装置で得られた画像に対し適用可能である。中でも、固定ノイズの影響が顕著となる、両側テレセントリック光学系で撮影した焦点ぼけ画像群に対し、本発明は好ましく適用できる。以下に詳しく述べるように本発明の画像処理によれば、撮像装置のイメージセンサに起因する固定ノイズを高精度に低減した画像を得ることができる。また、焦点ぼけ画像群における固定ノイズを低減することによって、焦点ぼけ画像群からフィルタ型方式で任意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。さらに、本発明による画像処理系を撮像装置と組み合わせることで、撮像装置のイメージセンサに求められる性能要件を緩和でき、イメージセンサの設計の自由度向上や低コスト化が実現できるという利点もある。

＜実施例１＞
（システム全体構成）
実施例１では、一例として、図１のような構成のバーチャル・スライド・システムに本発明を適用した例について述べる。
バーチャル・スライド・システムは、検体の撮像データを取得する撮像装置（バーチャル・スライド・スキャナとも呼ぶ）１２０とそのデータ処理・制御を行う画像処理装置（ホストコンピュータとも呼ぶ）１１０およびその周辺機器から構成されている。

画像処理装置１１０には、ユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス１１１、処理画像を表示するディスプレイ１１２が接続される。また画像処理装置１１０には、記憶装置１１３、他のコンピュータシステム１１４が接続されている。
多数の検体（プレパラート）の撮像をバッチ処理で行う場合、画像処理装置１１０の制御の下で撮像装置１２０が各検体を順に撮像し、画像処理装置１１０が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置１１３又は他のコンピュータシステム１１４へ伝送され、蓄積される。

撮像装置１２０での撮像（プレ計測および本計測）は、ユーザの入力を受けて画像処理装置１１０がコントローラ１０８へ指示を送り、次にコントローラ１０８が本計測ユニット１０１とプレ計測ユニット１０２を制御することで実現される。
本計測ユニット１０１は、プレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット１０２は、本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。

コントローラ１０８には変位計１０３が接続され、本計測ユニット１０１またはプレ計測ユニット１０２内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。変位計１０３は、本計測およびプレ計測を行うにあたり、プレパラート内の検体の厚みを計測するために用いられる。
またコントローラ１０８には、本計測ユニット１０１およびプレ計測ユニット１０２の
撮像条件を制御するための開口絞り制御１０４、ステージ制御１０５、照明制御１０６、センサ制御１０７が接続されている。そして、それぞれはコントローラ１０８からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。

ステージはプレパラートを保持・移動・位置決めする機構である。ステージには、プレパラートを光軸に垂直な方向に移動するＸＹステージと、光軸に沿った方向に移動するＺステージがある。ＸＹステージは検体内の撮像エリアを光軸に垂直な方向（ｘ，ｙ方向）に移動するために用いられ、Ｚステージは検体内の奥行き方向（ｚ方向）に焦点位置を変えるために用いられる。図示しないが、撮像装置１２０には、複数のプレパラートをセットすることが可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ１０８が搬送機構を制御することで、ラックからプレパラートを１枚ずつ、プレ計測ユニット１０２のステージ、本計測ユニット１０１のステージの順に送り出す。

本計測ユニット１０１およびプレ計測ユニット１０２には、撮像した画像を用いてオートフォーカスを実現するＡＦユニット１０９が接続されている。ＡＦユニット１０９は、コントローラ１０８を介して、本計測ユニット１０１、プレ計測ユニット１０２のステージの位置を制御することで合焦位置を探し出すことが出来る。オートフォーカスの方式は画像を用いるパッシブ型であり、公知の位相差検出方式やコントラスト検出方式が用いられる。

（本計測ユニットの構成）
図２は、実施例１における本計測ユニット１０１の内部構成を示す図である。
光源２０１の光は、照明光学系２０２を通じ、光量ムラが無いように均一化され、ステージ２０３の上に設置されたプレパラート２０４を照射する。プレパラート２０４は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体（被写体）を観察可能な状態に準備したものである。

結像光学系２０５は、検体の像を拡大して撮像手段である撮像部２０７に導くものである。プレパラート２０４を通った光は、結像光学系２０５を介して、撮像部２０７上の撮像面で結像する。結像光学系２０５の中には開口絞り２０６が存在し、開口絞り２０６を調整することで被写界深度が制御できる。

撮像にあたっては、光源２０１を点灯させ、プレパラート２０４に光を照射する。そして、照明光学系２０２、プレパラート２０４、結像光学系２０５を通って撮像面に結像した像を撮像部２０７のイメージセンサで受光する。モノクロ（グレースケール）撮影時には光源２０１を白色で露光し、１回撮像を行う。カラー撮影時には、ＲＧＢの３つの光源２０１で順番に露光し、３回撮像を行うことで、カラー画像を取得する。

撮像面で結像した検体の像は、撮像部２０７で光電変換され、Ａ／Ｄ変換を実行した後、電気信号として画像処理装置１１０に送られる。撮像部２０７は、複数のイメージセンサから構成されることを想定しているが、単一のセンサで構成されていても良い。また、本実施例では、Ａ／Ｄ変換を実行した後、イメージセンサの固定ノイズ低減処理を含むノイズ低減や色変換処理、鮮鋭化処理に代表される現像処理を画像処理装置１１０内部で行うとする。しかし、現像処理は撮像部２０７に接続された専用の画像処理ユニット（不図示）で行い、その後画像処理装置１１０にデータを送信することも可能であり、そのような形態での実施も本発明の範疇となる。

一回の撮影で検体全体の画像を取得できない場合には、ステージ２０３（ＸＹステージ）をｘ方向および／またはｙ方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像を合成（繋ぎ合わせ）して検体全体の画像を生成する。また、ステージ２０３（Ｚステージ）をｚ方向に移動しつつ複数回の撮影を行うことで、光軸方向（深さ方向）の焦点位置が異なる複数枚の画像を取得する。本明細書では、撮像光学系の光軸方向に焦点位置を異ならせて被写体を撮像することで得た複数枚の画像からなる画像群を「焦点ぼけ画像群」と呼ぶ。なお、焦点ぼけ画像群を「Ｚスタック画像」、焦点ぼけ画像群を構成する各々の画像を「レイヤー画像」と呼ぶこともある。

（画像処理装置の構成）
図３は、本実施例における画像処理装置（ホストコンピュータ）１１０の内部構成を示す図である。
ＣＰＵ（プロセッサ）３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またＣＰＵ３０１は、各種演算処理やデータ処理、例えば固定ノイズ低減処理、現像・補正処理、合成処理、圧縮処理、任意視点・焦点ぼけ画像生成処理等を行う。

ＲＡＭ３０２は、記憶装置１１３からロードされたプログラムやデータ、他のコンピュータシステム１１４からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するメモリである。ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアも備える。ＲＯＭ３０３は、コンピュータの機能プログラムや設定データなどを記憶するメモリである。ディスプレイ制御装置３０６は、画像や文字等をディスプレイ１１２に表示させるための制御処理を行う。ディスプレイ１１２は、ユーザに入力を求めるための画面表示を行うとともに、撮像装置１２０から取得しＣＰＵ３０１で処理した画像データを画像表示する。

操作入力デバイス１１１は、キーボードやマウスなどＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは、撮像装置１２０の動作を制御する情報を操作入力デバイス１１１により入力する。３０８は、操作入力デバイス１１１を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏである。

記憶装置１１３は、ハードディスクなどの大容量情報記憶装置である。これは、ＯＳ（オペレーティングシステム）や後述する処理をＣＰＵ３０１に実行させるためのプログラム、またバッチ処理によりスキャンした画像データ、処理後の画像データなどを記憶する。
記憶装置１１３への情報の書き込みや記憶装置１１３からの情報の読み出しは、Ｉ／Ｏ３１０を介して行われる。制御Ｉ／Ｆ３１２は、撮像装置１２０を制御するためのコントローラ１０８と制御コマンド（信号）をやりとりするためのＩ／Ｆである。

コントローラ１０８は、本計測ユニット１０１およびプレ計測ユニット１０２を制御する機能を持つ。画像Ｉ／Ｆ（インターフェース）３１３には、上述以外のインターフェース、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサの出力データを取り込むための外部インターフェースが接続されている。なお、インターフェースとしてはＵＳＢ、ＩＥＥＥ１３９４などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことが出来る。この画像Ｉ／Ｆ３１３を通じて本計測ユニット１０１やプレ計測ユニット１０２が接続される。

（任意視点・焦点ぼけ画像生成プログラム）
画像処理装置１１０には、特許文献１に開示される手法を一例とするフィルタ型方式による画像生成処理をコンピュータに実行させるためのプログラム（任意視点・焦点ぼけ画
像生成プログラムと呼ぶ）が実装されている。画像処理装置１１０は、撮像装置１２０や記憶装置１１３、他のコンピュータシステム１１４を介して取得した焦点ぼけ画像群から、任意視点画像や任意焦点ぼけ画像や全焦点画像などを生成することができる。

（フィルタ型方式で生成した全焦点画像で固定ノイズが目立つ理由の説明）
顕微鏡の撮像系（図１の本計測ユニット１０１）では一般的に両側テレセントリック光学系が用いられ、焦点ぼけ画像群を構成する各画像のあいだでは検体像の拡縮（スケールの変化）が非常に小さくなる。このような焦点ぼけ画像群に対し特許文献１のフィルタ型方式を適用する場合、３次元のコンボリューションモデルに合致するように各画像の座標変換処理を行う必要はない。そのため、全焦点画像ａ（ｘ，ｙ）は、焦点ぼけ画像群の光軸方向の積分ｂ（ｘ，ｙ）を、３次元ぼけの光軸方向の積分ｃ（ｘ，ｙ）でデコンボリューションすることで得られる。デコンボリューションは周波数空間での割算となるため、全焦点画像ａ（ｘ，ｙ）は以下の式により求まる。

ただし、Ｂ（ｕ，ｖ）＝Ｆ（ｂ（ｘ，ｙ））、Ｃ（ｕ，ｖ）＝Ｆ（ｃ（ｘ，ｙ））であり、Ｆはフーリエ変換、Ｆ^−１は逆フーリエ変換を表す。ｕ，ｖはそれぞれｘ，ｙに対応する空間周波数である。

式（１）は、Ｃ（ｕ，ｖ）^−１が焦点ぼけ画像群の光軸方向の積分ｂ（ｘ，ｙ）に対する周波数フィルタとなり、全焦点画像を生成していることを表している。３次元ぼけとして、ピント位置からの距離に従ってぼけの半径が大きくなるガウスぼけを考える。この場合、周波数フィルタＣ（ｕ，ｖ）^−１の値は、直流成分では焦点ぼけ画像群の枚数分の１となるが、周波数が高くになるにつれて上昇し、最大周波数では１に近づく特性を持っている。つまり、周波数フィルタＣ（ｕ，ｖ）^−１は低周波のノイズを抑制する作用をもつが、高周波のノイズを抑制する作用はもたない。

続いて、焦点ぼけ画像群の各画素に時間不変の固定ノイズとして標準偏差σ＝０．５の加法性のガウスノイズが存在する場合を考える。焦点ぼけ画像群の画像枚数が６４枚のとき、焦点ぼけ画像群の光軸方向の積分ｂ（ｘ，ｙ）では固定ノイズは重畳されて固定ノイズの標準偏差は３２となる。その後、周波数フィルタＣ^−１（ｕ，ｖ）によって、加法性のガウスノイズの低周波成分の振幅は２５５階調中の０．５に近い微小な値に戻る。しかし、高周波成分の振幅は依然、２５５階調中の３２に近い大きな値のままであり、全焦点画像中では大きなノイズとなって視認されることとなる。

以上の理由により、顕微鏡で得られた焦点ぼけ画像群からフィルタ型方式で全焦点画像を求める場合に、固定ノイズに起因する全焦点画像の品質の劣化が顕在化する。固定ノイズの影響は、全焦点画像の生成に用いる画像の枚数が増えるほど、大きくなる。

（任意視点・焦点ぼけ画像の高画質化）
高画質な任意視点画像、任意焦点ぼけ画像を生成するには、任意視点・焦点ぼけ画像生成プログラムに入力する焦点ぼけ画像群に対する前処理として、以降で述べる固定ノイズ低減処理を行い、焦点ぼけ画像群から予め固定ノイズを低減するとよい。なお、前述のように固定ノイズは微弱な場合もあるため、固定ノイズ低減後の焦点ぼけ画像群の画像の画素値は整数値に量子化せず、実数データとして任意視点・焦点ぼけ画像生成プログラムに入力することが望ましい。また、固定ノイズ低減処理は画像処理装置１１０で実現するため、コンピュータで実行可能な形で実装したプログラムを用いて行うとする。

（本実施例で用いる焦点ぼけ画像群に関して）
本実施例では焦点ぼけ画像群は、縦Ｎ画素、横Ｎ画素の、Ｍ枚の画像から構成されるとする。（本実施例では説明簡略化のため、縦および横の画素数が等しい例で説明をするが、縦と横の画素数が一致しない画像にも本発明の方法を適用可能である。）
撮像時にイメージセンサの固定ノイズが加わった焦点ぼけ画像群を

で表す。Ｒ^Ｎ×Ｎは、実数の要素からなるＮ行Ｎ列の行列を表す。添え字のｋは焦点ぼけ画像群を構成する画像の番号であり、ｋは焦点位置と対応する。焦点ぼけ画像群を構成する画像ｙ_ｋは、イメージセンサの出力信号（ビニング処理により複数のセルの値を加算した信号も含む）そのものでもよい。あるいは、画像ｙ_ｋは、イメージセンサの出力信号に対し、イメージセンサのセルとの対応関係を維持した階調変換や補間等の現像処理をした画像でもよい。以降、画像の画素の値を輝度と呼ぶ。

焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）に対して、固定ノイズの低減のための輝度変更をした焦点ぼけ画像群を

で表す。また、撮像系の光学的なぼけによる劣化のみを含む焦点ぼけ画像群を

で表す。
焦点ぼけ画像群を構成するｋ番目の画像ｙ_ｋおよびｘ_ｋの縦ｊ、横ｉの位置にある画素の輝度はそれぞれ、（ｙ_ｋ）_ｉ，ｊ、（ｘ_ｋ）_ｉ，ｊで表す。

本実施例では、焦点ぼけ画像群ｙ_１，…，ｙ_Ｍには、被写体の像の画像成分や時間変化には依存しない加法性の固定ノイズｎ∈Ｒ^Ｎ×Ｎが加わっているとする。すなわち、焦点ぼけ画像群ｙ_ｋは以下の式で表現できる。

固定ノイズｎの各画素（ｉ，ｊ）での値（ｎ）_ｉ，ｊはイメージセンサの様々な製造誤差に起因するが、本実施例では（ｎ）_ｉ，ｊは出現頻度分布が平均０、標準偏差σの正規分布に従うものとして扱う。ただし、固定ノイズｎの各要素の値の出現頻度分布が正規分布に従わない場合でも本実施例の方法では固定ノイズの低減が可能である。

（固定ノイズ低減のアイデア）
図４Ａ〜図４Ｄを参照して、本実施例の固定ノイズ低減処理のアイデアを説明する。図４Ａ〜図４Ｄは、焦点ぼけ画像群の中のある１枚の画像における画素位置に応じた輝度変化を表す模式図であり、横方向が画素位置、縦方向が画像中の輝度を表す。図４Ａの４０１は、ノイズ成分を一切含まない理想的な画像（つまり被写体の像に由来する画像成分）の輝度変化を表す。図４Ｂの４０２は、理想的な画像の輝度変化４０１に固定ノイズが加わったときの輝度変化を表す。

画像の輝度変化が滑らかな場合、固定ノイズを含む画像（４０２）に適切な平滑化処理を施すことにより、図４Ｃの４０３に示すように、被写体の像に由来する画像成分の輝度変化を精度良く推定（復元）することができる。それゆえ、固定ノイズを含む画像（４０２）と平滑化画像（４０３）の間の輝度の差分をとることで、イメージセンサに起因する固定ノイズ成分を比較的検出しやすいと想像できる。しかし、実際には１枚の画像の中には、ランダムノイズや量子化ノイズが含まれる。図４Ｄの４０４は、固定ノイズが加わった輝度変化４０２に、さらにランダムノイズや量子化ノイズが加わった輝度変化を表す。図４Ｄから明らかなように、ランダムノイズや量子化ノイズが強い場合、１枚の画像から精度良く固定ノイズを推定することは困難である。

焦点ぼけ画像群を構成する複数枚の画像の輝度を平均化した平均画像を用いれば、ランダムノイズや量子化ノイズが抑制できる。しかし、平均輝度は鮮鋭度の高い画像の影響を受けるため、平均画像の輝度変化は滑らかではなくなる。そのため、平均画像に対し前述の平滑化処理を施しても、被写体の像に由来する画像成分の輝度変化を精度良く復元できず、固定ノイズの推定精度が低下する。

以上より、固定ノイズを精度良く推定するためには、ランダムノイズや量子化ノイズが少なく、且つ、輝度変化が滑らかな画像を用いることが望ましいことがわかる。そこで本実施例では、ランダムノイズの抑制と輝度変化の滑らかさのバランスが取れた画像を得るため、焦点ぼけ画像群を構成する複数枚の画像に対し、鮮鋭度の高い画像ほど値が小さくなる重みを求め、前記の重みを用いて加重平均した統合画像を生成する。そのような統合画像ではランダムノイズや量子化ノイズが抑制され、かつ輝度変化も滑らかになる。また加重平均では固定ノイズの強度は低下しないため、統合画像は図４Ｂの４０２に示すような輝度変化となることが期待できる。従って、前記の統合画像を用いれば、精度良く固定ノイズを推定できる。

（固定ノイズ低減処理）
図５は本実施例の固定ノイズ低減処理のフローチャートである。まず、重み係数生成ステップＳ５０１では、画像処理装置１１０が、焦点ぼけ画像群を構成する複数枚の画像のそれぞれと対応する重み係数列を求める。詳細は後述する。次に統合画像生成ステップＳ５０２では、画像処理装置１１０が、重み係数列を用いて焦点ぼけ画像群を構成する複数枚の画像を加重平均し、統合画像を生成する。詳細は後述する。次に平滑化処理ステップＳ５０３では、画像処理装置１１０が、統合画像に対して平滑化処理を適用し、平滑化統合画像を生成する。詳細は後述する。次に固定ノイズ推定処理ステップＳ５０４では、画像処理装置１１０が、ステップＳ５０２で生成した統合画像とステップＳ５０３で生成した平滑化統合画像を用いて、イメージセンサに起因する固定ノイズの推定値である推定固定ノイズを生成する。詳細は後述する。最後に固定ノイズ補正処理ステップＳ５０５では、画像処理装置１１０が、ステップＳ５０４で求めた推定固定ノイズを用いて、焦点ぼけ画像群を構成する複数枚の画像のそれぞれに含まれる固定ノイズを低減する。詳細は後述する。以降、本実施例における各処理の詳細を述べる。

（重み係数生成処理）
重み係数生成ステップＳ５０１では、画像処理装置１１０は、焦点ぼけ画像群を構成する各画像に対する重み係数を決定し、重み係数列ｗ∈Ｒ^Ｍを生成する。このとき、輝度変化が滑らかな画像に対する重み係数が相対的に大きく、輝度変化が滑らかでない画像に対する重み係数が相対的に小さくなるように、各画像に対する重み係数が設定される。本実施例では、輝度変化の滑らかさを画像の鮮鋭度という指標で評価する。すなわち、各画像の鮮鋭度を計算し、鮮鋭度と負の相関関係をもつように各画像に対する重み係数が設定される。

具体的には、焦点ぼけ画像群を構成する画像ｙ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）に対応する重み係数列の生成方法の一例として、以下の関数を用いる。

ただし、αは重み係数（ｗ）_１〜（ｗ）_Ｍの合計を１とするための定数、ｓｔｄ（ｙ_ｋ）は入力画像ｙ_ｋの鮮鋭度として標準偏差を求める関数であり式（４）で表される。β（＞０）は画像の鮮鋭度と重み係数の関係を調整するパラメータである。

ただし、

とする。

また、被写体に焦点が合っている合焦画像を意図的に除外してもよい。例えば、鮮鋭度が閾値以上となる画像を合焦画像とみなすこととし、ｓｔｄ（ｙ_ｋ）が閾値ｓ_ｔｈ以上となる画像ｙ_ｋに対する重み係数を（ｗ）_ｋ＝０としてもよい。式（３）により重み係数列を計算した後に、合焦画像の重み係数を０に変更する調整を行った場合は、調整後の重み係数の合計が１になるようαを再計算するとよい。

式（３）に示す関数はあくまで一例であり、様々な変形例が可能である。関数ｓｔｄ（ｙ_ｋ）以外の画像の鮮鋭度の高さを評価する指標、例えば、輝度の微分の絶対値の総和（全変動（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ））やエントロピー等を用いてもよい。

また、一般に、焦点位置が合焦位置（被写体に焦点が合う位置）から離れるほど画像がぼけ、輝度変化の滑らかさが増すので、合焦位置からの光軸方向の距離に応じて各画像の重み係数を設定することもできる。重み係数が画像の焦点位置と合焦位置の間の距離と正の相関関係をもつように（例えば焦点位置が合焦位置から離れるほど重み係数を大きくするように）、各画像に対する重み係数を設定するのである。この場合も、合焦位置からの距離が閾値以下の画像を合焦画像とみなし、合焦画像の重み係数を０に設定してもよい。

なお、合焦位置の特定には様々な方法が利用できる。例えば、上述した鮮鋭度が最も高くなる焦点位置を合焦位置としてもよい。あるいは、撮像時のオートフォーカスの情報を取得し、その情報から合焦位置や被写体の光軸方向の位置を取得してもよい。また、デプスマップが取得可能な場合には、デプスマップから合焦位置や被写体の光軸方向の位置を取得してもよい（デプスマップから重み係数列を生成する具体例は実施例４で詳しく述べる。）。

（統合画像生成処理）
統合画像生成ステップＳ５０２では、画像処理装置１１０は、ステップＳ５０１で計算した重み係数列ｗを用いて、焦点ぼけ画像群ｙ_ｋ∈Ｒ^Ｎ×Ｎから統合画像ｃ∈Ｒ^Ｎ×Ｎを生成する。統合処理には、一例として以下のような加重平均を用いるとよい。

前述のとおり、重み係数（ｗ_ｋ）は鮮鋭度の低い画像（ぼけた画像）では大きく、鮮鋭度の高い画像（合焦した画像）では小さいため、加重平均で得られる統合画像ｃは、単純平均で得られる平均画像に比べて、輝度変化が滑らかな画像となる。しかも、各画像に共通に含まれている固定ノイズの強度は維持したまま、各画像に個別に含まれているランダムノイズや量子化ノイズは低減することができる。

（平滑化処理）
平滑化処理ステップＳ５０３では、画像処理装置１１０は、統合画像ｃに平滑化処理を施して、平滑化統合画像ｃ′∈Ｒ^Ｎ×Ｎを生成する。平滑化処理としては、平滑化フィルタを用いたフィルタ処理や、反復計算によるノイズ低減処理などを適用できる。本実施例では、反復計算によるノイズ低減処理の代表的なアルゴリズムである全変動最小化（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｍｉｎｉｍｉｚａｔｉｏｎ）を平滑化処理に用いる。

全変動最小化とは、例えば、以下の式（７）で表される、画像の滑らかさを向上させる凸最適化問題である。

式（７）は、入力画像をｙとしたとき、制約条件

の範囲でｘを変化させ、目的関数Ｊ（ｘ）を最小とする最適解ｘ^（＊）を求める最適化問題を表す。「ｓ．ｔ．」は「ｓｕｂｊｅｃｔ ｔｏ」の略であり、解ｘが満たすべき制約条件を表している。式（７）の制約条件は、解ｘ（つまり輝度変更後の画像）と入力画像ｙとの距離（Ｌ２ノルム）が所定値εをこえないという条件である。式（８）の（∇ｘ）ｉ，ｊは、画像ｘの座標（ｉ，ｊ）における輝度の勾配（微分又は差分）を表す。目的関数Ｊ（ｘ）は、輝度の勾配の絶対値を画像全体で積分した値であり、画像内の輝度変化が全体的に滑らかであるほど値が小さくなる。

式（７）のように定式化された最適化問題の近似解は、逐次近似法の最適化アルゴリズムを適用することで得られる反復計算式を用いて計算できる。

全変動最小化以外にも、ＴＧＶ最小化を用いて平滑化処理を行っても良い。ＴＧＶ（Ｔｏｔａｌ Ｇｅｎｅｒａｌｉｚｅｄ Ｖａｒｉａｔｉｏｎ）は画像の１次微分（あるいは差分）だけでなく、より高次の微分（あるいは差分に対する複数回の差分）を考慮する画像の滑らかさの指標である。そのため、ＴＧＶを目的関数の指標として用いると、１次微分（差分）のみを考慮するＴＶを用いる場合に比べ、画像のグラデーション領域に発生する階段状のアーティファクトを抑制することができるメリットがある。

式（７）の制約条件で用いるεは、予め求めた固定ノイズｎ∈Ｒ^Ｎ×Ｎの標準偏差σを用いて、

で与えることができる。なお、Ｎσは固定ノイズｎ∈Ｒ^Ｎ×Ｎの各要素を１次元に並べたベクトルのＬ２ノルムの期待値である。適切なεを与えることで適切な固定ノイズの低減が可能となる。固定ノイズｎの各要素の値はイメージセンサの個体差に依存するが、標準偏差σはイメージセンサの個体依存性の少ない、共通性の高い情報である。そのため、必ずしも事前に固定ノイズのσを求める必要はない。例えば、イメージセンサの仕様を公開した他のコンピュータシステム１１４にある情報をネットワークＩ／Ｆ（インターフェース）３０４を経由して、取得してもよい。

また平滑化処理ステップＳ５０３では、公知の平滑化フィルタを用いたフィルタ処理を平滑化処理として用いてもよい。平滑化フィルタには、例えば、イプシロンフィルタ、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ、Ｓａｖｉｔｚｋｙ−Ｇｏｌａｙフィルタ、バイラテラルフィルタなどを用いることができる。

平滑化処理で生成した平滑化統合画像ｃ′は、撮像光学系の光学的なぼけによる劣化のみを含む焦点ぼけ画像群ｏ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）の統合画像と見なすことができる。

（固定ノイズ推定処理）
固定ノイズ推定処理ステップＳ５０４では、画像処理装置１１０は、以下の式（１０）を用いて統合画像ｃと平滑化統合画像ｃ′の差を求めることで推定固定ノイズｎ′∈Ｒ^Ｎ×Ｎを生成する。

（固定ノイズ補正処理）
続いて、固定ノイズ補正処理ステップＳ５０５では、画像処理装置１１０は、以下の式（１１）を用いて焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）から推定固定ノイズｎ′を減算することで、固定ノイズを低減した焦点ぼけ画像群ｘ_ｋ（ｋ＝１，…，Ｍ）を求める。

以上述べた本実施例の固定ノイズ低減方法を用いれば、焦点ぼけ画像群に含まれるイメージセンサに起因する加法性の固定ノイズを高精度に低減することができる。このような固定ノイズが低減された焦点ぼけ画像群を利用すれば、焦点ぼけ画像群からフィルタ型方式で任意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制
することができる。

＜実施例２＞
実施例１では、焦点ぼけ画像群に対し、被写体の像の画像成分には依存しない加法性の固定ノイズが加わっている場合の固定ノイズ低減方法について説明した。しかし、固定ノイズには、イメージセンサのセルごとの感度ばらつきや増幅器のゲインばらつきなどに起因する固定ノイズも存在する。このような固定ノイズは、イメージセンサのセルに蓄積される電荷量、すなわち、被写体の像の画像成分に依存した強度をもち、乗法性の固定ノイズと呼ばれる。

乗法性の固定ノイズが加わった焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）は以下の式で表現できる。

式（１２），（１３）を整理すると以下の式でも表現できる。

式（１２）のｎ_ｋ（ｋ＝１，…，Ｍ）は乗法性の固定ノイズを表す。イメージセンサの同一セルで撮像した場合でも、焦点位置によって被写体の像が変化すれば、乗法性の固定ノイズも変化する。

式（１３）のｖ∈Ｒ^Ｎ×Ｎはイメージセンサのゲイン誤差（ゲインの基準値を１としたときの誤差）を表すデータであり、（ｖ）_ｉ，ｊは画素（ｉ，ｊ）に対応するイメージセンサのセルのゲイン誤差を表す。また式（１４）の｛１＋（ｖ）_ｉ，ｊ｝は画素（ｉ，ｊ）に対応するイメージセンサのセルのゲインを表し、ゲイン誤差が０のときはゲイン＝１、ゲイン誤差がプラスのときはゲイン＞１、ゲイン誤差がマイナスのときはゲイン＜１となる。なお、一つの画素（ｉ，ｊ）のデータがイメージセンサの複数のセルの電荷から得られる場合は、複数のセルのゲイン誤差の平均を（ｖ）_ｉ，ｊに設定すればよい。ゲイン誤差ｖはイメージセンサの様々な製造誤差に起因して発生する。本実施例では、（ｖ）_ｉ，ｊは出現頻度分布が平均０、標準偏差σ_ｖの正規分布に従うものとして扱うが、（ｖ）_ｉ，ｊが正規分布に従わない場合でも本実施例の方法により固定ノイズの低減が可能である。

図５を用いて本実施例における固定ノイズ低減処理について、主に実施例１との違いを中心に説明する。
重み係数生成ステップＳ５０１と統合画像生成ステップＳ５０２の処理は実施例１と同様であり、説明は省略する。以下、本実施例の平滑化処理ステップＳ５０３について説明する。

（平滑化処理）
乗法性の固定ノイズは式（１３）で表される。そのため、式（７）に示す最適化問題の制約条件のεとして

を用いる。ｙ^{（ａｖｅ）}は焦点ぼけ画像群ｙ_１，…，ｙ_Ｍの全画素の平均値であり、以下の式で表される。

式（１５）は乗法性の固定ノイズｎ_ｋの各要素を１次元に並べたベクトルのＬ２ノルムの期待値の近似値の一例である。

なお、ゲイン誤差の標準偏差σ_ｖは事前の計測で求めても良いし、実施例１と同様、他のコンピュータシステム１１４にある情報をネットワークＩ／Ｆ（インターフェース）３０４を経由して、取得してもよい。

（固定ノイズ推定処理）
本実施例における固定ノイズ推定処理ステップＳ５０４について説明する。（本実施例では実施例１と異なり、固定ノイズ推定処理ステップＳ５０４ではゲイン誤差ｖを推定する処理のみを行う場合もあるが、Ｓ５０４の名称は実施例１と同じく、固定ノイズ推定処理ステップのままとする。）本実施例の固定ノイズ推定処理ステップＳ５０４では、画像処理装置１１０は、以下の式（１７）で統合画像ｃと平滑化統合画像ｃ′の差を求めることで、統合画像の推定固定ノイズｎ′∈Ｒ^Ｎ×Ｎを生成する。

上記の式で、平滑化統合画像ｃ′には固定ノイズが含まれないすると、平滑化統合画像ｃ′は焦点ぼけ画像群ｏ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）の統合画像ｍ∈Ｒ^Ｎ×Ｎと等しくなる。すなわち、

が成り立つ。

また、統合画像ｃは統合画像ｍを用いて、

で表される。

従って、式（１７）は以下の式（１８）に変形できる。

すなわち、ゲイン誤差の推定データｖ′は、既知の情報である平滑化統合画像ｃ′およ
び統合画像の推定固定ノイズｎ′を用いて、以下の式（１９）で求められる。

（固定ノイズ補正処理）
本実施例における固定ノイズ補正処理ステップＳ５０５について説明する。
本実施例では、画像処理装置１１０は、固定ノイズ推定処理ステップＳ５０４で求めたゲイン誤差の推定データｖ′を用いて、以下の式（２０）で固定ノイズを低減した焦点ぼけ画像群ｘ_ｋ（ｋ＝１，…，Ｍ）を求める。

式（２０）は、画像ｙ_ｋの画素（ｉ，ｊ）の輝度（ｙ_ｋ）_ｉ，ｊを画素（ｉ，ｊ）の推定ゲイン｛１＋（ｖ′）_ｉ，ｊ｝で除算すること（又は、輝度（ｙ_ｋ）_ｉ，ｊに推定ゲイン｛１＋（ｖ′）_ｉ，ｊ｝の逆数を乗算すること）を意味する。すなわち、焦点ぼけ画像群を構成する画像ｙ_１，…，ｙ_Ｍそれぞれを推定ゲインで除算（又は、推定ゲインの逆数で乗算）することによって、乗法性の固定ノイズが低減された画像ｘ_１，…，ｘ_Ｍが生成できる。なお、式（２０）は式（１４）から固定ノイズを含まない焦点ぼけ画像群ｏ_ｋ（ｋ＝１，…，Ｍ）を求める式と等しい。

なお、式（１９）で（ｃ′）_ｉ，ｊ＝０となる場合には、固定ノイズ推定処理では位置（ｉ，ｊ）に対する（ｖ′）_ｉ，ｊは計算しない。その場合、後段の固定ノイズ補正処理において（ｘ_ｋ）_ｉ，ｊ＝０を設定する。

なお、固定ノイズ推定処理ステップＳ５０４では、求めたゲイン誤差の推定データｖ′を用いて、以下の式（２１）により、推定固定ノイズｎ′_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）を求める構成としてもよい。

式（２１）は、式（１３）において固定ノイズｎ_ｋ（ｋ＝１，…，Ｍ）が微小である仮定の下、ｏ_ｋ≒ｙ_ｋとして求めた式である。

上記のように推定固定ノイズｎ′_ｋを求める場合には、固定ノイズ補正処理ステップＳ５０５では、以下の式（２２）を用いて、固定ノイズを低減した焦点ぼけ画像群ｘ_ｋ（ｋ＝１，…，Ｍ）を求める構成となる。

以上述べたとおり、本実施例の方法を用いれば、焦点ぼけ画像群に含まれるイメージセンサに起因する乗法性の固定ノイズを高精度に低減することができる。このような固定ノイズが低減された焦点ぼけ画像群を利用すれば、焦点ぼけ画像群からフィルタ型方式で任
意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。

＜実施例３＞
固定ノイズが乗法性のノイズの場合、画像に対する適切な変換を施すことで、乗法性のノイズを加法性のノイズとして取り扱うことができ、実施例１で述べた固定ノイズ低減処理を用いて固定ノイズが低減できる。以下、乗法性の固定ノイズを低減する方法について説明する。

式（１４）の両辺の対数をとると、以下の式が導ける。

すなわち、焦点ぼけ画像群の各画像の輝度の対数をとることで、乗法性の固定ノイズは焦点位置（ｋ）に依存しない加法性の固定ノイズに変換できる。

図６は本実施例における固定ノイズ低減処理を示すフローチャートである。図６を用いて本実施例の処理を説明する。
まず、輝度変換ステップＳ６０１では、画像処理装置１１０が、乗法性の固定ノイズが加わった撮影時の焦点ぼけ画像群ｙ_１，…，ｙ_Ｍの各画素の輝度に対数変換を行い、輝度変換焦点ぼけ画像群ｂ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）を生成する。

次に、重み係数生成ステップＳ６０２では、実施例１のステップＳ５０１と同様の処理が行われる。すなわち、画像処理装置１１０は、式（３）を用いて焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）から各画像に対する重み係数（ｗ）_ｋを計算し、重み係数列ｗ∈Ｒ^Ｍを生成する。なお、重み係数列ｗは撮影時の焦点ぼけ画像群ｙ_１，…ｙ_Ｍの代わりに輝度変換画像ｂ_１，…，ｂ_Ｍを用いて計算してもよい。その場合には重み係数列を求める関数は輝度変換した画像に適した関数を用いる。

次に、統合画像生成ステップＳ６０３では、画像処理装置１１０は、ステップＳ６０２で生成した重み係数列ｗを用い、以下の式（２５）で統合画像ｃ∈Ｒ^Ｎ×Ｎを生成する。

次に、平滑化処理ステップＳ６０４では、画像処理装置１１０は、実施例１のステップＳ５０３と同様に、統合画像ｃに対する平滑化処理を行い、平滑化統合画像ｃ′を生成する。ただし、平滑化処理のパラメータには輝度変更後の画像に適したパラメータを用いる。例えば、全変動最小化やＴＧＶ最小化を行う場合、固定ノイズのＬ２ノルムに対応するεとして、ゲイン誤差ｖの標準偏差σ_ｖの値を用いて、

を設定する。ｌｏｇ（１＋ｘ）はｘが０に近いとき、ｘに近似できるためである。

次に、固定ノイズ推定処理ステップＳ６０５では、画像処理装置１１０は、輝度変換焦点ぼけ画像群ｂ_１，…，ｂ_Ｍに含まれる固定ノイズを推定し、推定固定ノイズを生成する。推定固定ノイズは、実施例１と同様、式（１０）を用いて求める。

次に、固定ノイズ補正処理ステップＳ６０６では、画像処理装置１１０は、固定ノイズを含む輝度変換焦点ぼけ画像群ｂ_ｋ（ｋ＝１，…，Ｍ）から固定ノイズを低減した輝度変換焦点ぼけ画像群ａ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）を生成する。固定ノイズの補正処理は実施例１と同様、式（１１）を用いて実現する。

次に、輝度逆変換ステップＳ６０７では、画像処理装置１１０は、固定ノイズを低減した輝度変換焦点ぼけ画像群ａ_１，…，ａ_Ｍの各画素に対し、対数関数の逆関数である指数関数を適用する。この逆変換により、固定ノイズが低減された焦点ぼけ画像群ｘ_１，…ｘ_Ｍが求められる。即ち、以下の計算を行う。

以上で述べた固定ノイズ低減処理により、焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）に含まれる乗法性の固定ノイズを適切に低減できる。なお、本実施例の手法を用いれば、加法性や乗法性以外の固定ノイズが存在しても低減できる。例えば、固定ノイズの分散σ^２が平均輝度となるポアソンノイズの場合には、分散安定化変換（ｖａｒｉａｎｃｅ−ｓｔａｂｉｌｉｚｉｎｇ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）の一種であるＡｎｓｃｏｍｂｅ ｔｒａｎｓｆｏｒｍを適用する。これによりポアソンノイズを加法性のノイズとして扱える。輝度変換ステップＳ６０１では、画像処理装置１１０は、焦点ぼけ画像群ｙ_ｋ（ｋ＝１，…，Ｍ）の各画素の輝度に以下の変換を適用し、輝度変換焦点ぼけ画像群ｂ_ｋ（ｋ＝１，…，Ｍ）を求める。

また、輝度逆変換ステップＳ６０７では、画像処理装置１１０は、固定ノイズを低減した輝度変換焦点ぼけ画像群ａ_ｋ（ｋ＝１，…，Ｍ）の各画素の輝度に以下の逆変換を適用し、固定ノイズを低減した焦点ぼけ画像群ｘ_ｋ（ｋ＝１，…，Ｍ）を求める。

ただし、平滑化処理ステップＳ６０４では、式（７）に示す最適化問題の制約条件のεとしてε＝Ｎを設定する。Ａｎｓｃｏｍｂｅ ｔｒａｎｓｆｏｒｍでは輝度変換後のポアソンノイズの標準偏差は１となるためである。

＜実施例４＞
実施例１〜３で述べた固定ノイズ低減処理は、主に、焦点ぼけ画像群として撮影する被写体が１つの焦点位置に存在する場合を想定して説明した。
本実施例では、焦点ぼけ画像群ｙ_１，…，ｙ_Ｍの中に焦点位置が異なる複数の被写体が
存在する場合に適した固定ノイズ低減処理の実現方法について述べる。

図７は焦点位置が異なる複数の被写体を撮像した焦点ぼけ画像群の各画像を表す模式図である。図７では８枚の画像で構成される焦点ぼけ画像群の中に、被写体の像７１０（星）、７２０（三角）がそれぞれ異なる焦点位置ｋ＝３，ｋ＝５で合焦する様子を示す。図７では図示しないが、それぞれの合焦位置の前後には焦点がぼけた被写体の像が存在する。

図７に示すような焦点ぼけ画像群から固定ノイズを低減するために、焦点ぼけ画像群を構成する各画像ｙ_１，…，ｙ_８で鮮鋭度を評価し、重み係数列ｗを求めると、画像ｙ_３およびｙ_５に対する重み係数は小さくなる。しかし、画像ｙ_３およびｙ_５でも、被写体の像が無い領域（画像ｙ_３の右側領域、画像ｙ_５の左側領域）では輝度変化が滑らかであることを考えると、これらの領域の重み係数まで一律に小さくする必要はない。むしろ、輝度変化が滑らかな領域のデータをできるだけ多く使って統合画像を生成する方が、ランダムノイズ低減や平滑化の効果が大きくなると期待できる。したがって、実施例１〜３のように画像単位で重み係数を設定する方法は、改善の余地があると言える。

そこで本実施例では、焦点ぼけ画像群ｙ_１，…，ｙ_Ｍを複数の領域に分割し、それぞれの分割領域の画像群を個別の焦点ぼけ画像群として扱い、個別に重み係数列を求める。これにより、統合画像の平滑化効果を高める。図７を用いて一例を説明すると、焦点ぼけ画像群ｙ_１，…，ｙ_８を中央の破線により左右の領域に分割し、左領域の焦点ぼけ画像群と右領域の焦点ぼけ画像群のそれぞれに対し、個別に実施例１〜３で述べた固定ノイズ低減処理を適用する。これにより固定ノイズの推定精度を高めることができる。
以降、最も簡単な領域分割の例として、縦と横の画素数がＳ×Ｓ画素となるような矩形ブロックに分割する場合について説明する。

図８は本実施例における固定ノイズ低減処理を示すフローチャートである。領域分割処理ステップＳ８０１では、画像処理装置１１０は、焦点ぼけ画像群を構成する各画像ｙ_１，…，ｙ_ＭをＳ×Ｓ画素の領域に分割し、領域ごとに焦点ぼけ画像群を生成する。ステップＳ８０１では領域ごとの焦点ぼけ画像群ｙ_ｂ，ｋ∈Ｒ^Ｓ×Ｓ（ｋ＝１，…，Ｍ）が生成できる。添え字のｂは領域の識別番号を表し、ｂ∈｛１，…，Ｔ｝とする。Ｔは領域の総数を表す。添え字のｋは分割前の焦点ぼけ画像群と同様に焦点ぼけ画像群を構成する画像の焦点位置と対応する番号である。なお、分割領域のサイズＳは予め定める。

次の領域ループＳ８０２およびＳ８０４はループ端記号を表し、全ての領域番号ｂ∈｛１，…，Ｔ｝に対する処理が終了するまで、領域単位固定ノイズ低減処理ステップＳ８０３が繰り返される。

領域単位固定ノイズ低減処理ステップＳ８０３では、画像処理装置１１０は、領域ごとの焦点ぼけ画像群に対し固定ノイズ低減処理を行う。固定ノイズ低減処理には、実施例１〜３で述べた方法が適用できる。その結果、領域ごとに固定ノイズが低減された焦点ぼけ画像群ｘ_ｂ，ｋ∈Ｒ^Ｓ×Ｓ（ｋ＝１，…，Ｍ）が生成される。なお、領域ごとの固定ノイズ低減処理は独立した処理であるため、複数の領域に対する固定ノイズ低減処理を並列に処理することが可能である。これによって処理が高速化できる。

最後に領域統合処理ステップＳ８０５では、画像処理装置１１０は、焦点ぼけ画像群ｘ_ｂ，ｋ∈Ｒ^Ｓ×Ｓ（ｋ＝１，…，Ｍ）を焦点位置（ｋ）ごとに統合し、固定ノイズが低減された焦点ぼけ画像群ｘ_ｋ∈Ｒ^Ｎ×Ｎ（ｋ＝１，…，Ｍ）を生成する。
上記のように、領域ごとに固定ノイズ低減処理を適用することで、領域ごとの固定ノイズの推定精度が高められ、その結果、固定ノイズを補正した焦点ぼけ画像群ｘ_１，…，ｘ
_Ｍの画質が向上する。

なお、本実施例では、矩形ブロック単位の領域分割を行う例について説明したが、領域分割の単位は必ずしも矩形ブロックに限らない。例えば、三角形や六角形単位、あるいは画素単位での領域分割でも構わない。

また、ステップＳ８０１の領域分割処理では様々な変形例が適用できる。例えば、画素ごと又は小領域ごとに被写体が存在する焦点位置（光軸方向の距離）を表したデプスマップＤを利用してもよい。例えば、デプスマップＤに対し、分割統合法などの領域分割法を適用し、被写体が存在する奥行き方向の位置が比較的近い領域をまとめる領域分割処理も可能となる。デプスマップは、例えば、焦点ぼけ画像群を構成する各画像ｙ_１，…，ｙ_Ｍで画素位置ごとに周囲の画素値との変動成分（例えば、差の絶対値）を求め、画素位置ごとに最も変動成分が大きな焦点位置（ｋ）を選択することにより、生成できる。あるいは、ＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ）法やＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法など、他の公知の手法によりデプスマップＤを生成してもよい。

また、ステップＳ８０３において、デプスマップＤを用いて重み係数列を生成してもよい。デプスマップＤから重み係数列を生成する方法ないし関数はどのようなものでもよい。例えば、以下の式により、分割領域ごとの重み係数列ｗを求められる。

ただし、αは重み係数（ｗ）_１〜（ｗ）_Ｍの合計を１とするための定数、ｋ_Ｄは該当する分割領域における被写体への合焦位置、ｋは焦点ぼけ画像群ｙ_ｋの焦点位置である。β（＞０）は被写体の合焦位置ｋ_Ｄから離れた焦点位置の画像に対する重み係数を大きくするパラメータである。γは定数とする。

式（３０）の｜ｋ−ｋ_Ｄ｜は合焦位置ｋ_Ｄからの距離を表すため、βが大きくなる程、合焦位置ｋ_Ｄから離れた焦点位置ｋでの重み係数（ｗ）_ｋは大きくなる。βは焦点ぼけ画像群を撮影するときの焦点位置の間隔や、撮像光学系で決まる隣接する焦点位置での焦点ぼけの大きさの情報をもとに決めることもできる。例えば、焦点位置の間隔あるいは焦点ぼけが相対的に大きな場合には、合焦位置ｋ_Ｄから少し離れた焦点位置で画像は十分滑らかになるので、βの値を相対的に小さな値とする。逆に、焦点位置の間隔あるいは焦点ぼけが相対的に小さな場合には、合焦位置ｋ_Ｄからある程度離れた焦点位置でないと画像は十分滑らかにならないので、βの値を相対的に大きな値とする。すなわちβは撮像光学系や撮像条件によって決めることができる。

また、式（３）の場合と同様、合焦画像を意図的に除外し、固定ノイズの推定精度を高めるために、合焦位置からの距離｜ｋ−ｋ_Ｄ｜が閾値以下となる焦点位置ｋの重み係数（ｗ）_ｋを０とする調整を行っても良い。その場合、調整後の重み係数の合計が１となるよう、αの値を再計算する。

なお、領域分割処理において、隣接する分割領域の一部をオーバーラップさせてもよい。その場合、領域統合処理では、加重平均等を用いてオーバーラップ領域を統合するとよい。推定固定ノイズの誤差によって隣接領域間で差が発生する場合には、このようなオーバーラップ領域を設けることで、領域間の差を目立たなくできる。

＜実施例５＞
これまでの実施例では、焦点ぼけ画像群から固定ノイズを低減する方法について説明し
た。しかし、本発明の適用対象は必ずしも焦点ぼけ画像群に限定されず、動画像データにも適用可能である。

図９Ａ、図９Ｂに本実施例の固定ノイズ低減処理を用いて固定ノイズの低減が可能な動画像データの一例を示す。

図９Ａはカメラを固定して撮影した泳ぐ魚の動画を構成する一部の画像群を示している。背景には海や水槽の水が映っている。画像の左にあるｔ＝０，ｔ＝１，ｔ＝２は撮影時刻の違いを表しており、魚が水中を移動している。図９Ｂは時間とともにカメラを動かして、静止物体である花を撮影した動画を構成する一部の画像群を示している。背景は空である。ｔ＝０，ｔ＝１，ｔ＝２は撮影時刻の違いを表し、画像ごとに花の位置が変化している。図示しないがいずれの動画像データも３枚の画像（フレーム）だけでなく、時間変化する多数枚（Ｍ枚）の画像（フレーム）から構成されている。領域毎に見れば、少数の鮮鋭度の高い画像と多数の滑らかな画像から構成されることになる。また仮に、複数枚からなる画像群の中に鮮鋭度の高い画像が複数存在しても全く異なる被写体の像となり、多数枚の統合によって互いに打ち消され弱まりやすい。上述のような画像群に対しても実施例１〜４で述べた固定ノイズ低減処理は適用できる。

以下、実施例１で説明した固定ノイズ低減処理を適用する場合について説明する。
画像処理装置１１０は、撮像装置１２０や記憶装置１１３、他のコンピュータシステム１１４から動画像データｙ_ｔ∈Ｒ^Ｎ×Ｎ（ｔ＝１，…，Ｍ）を取得する。画像処理装置１１０は、ＲＡＭ３０２やＲＯＭ３０３に格納されている固定ノイズ低減処理プログラムを用いて固定ノイズ低減処理を実行する。

以下、図５のフローチャートを用いて動画像データｙ_１，…，ｙ_Ｍから固定ノイズを低減する処理を説明する。なお、加法性の固定ノイズと乗法性の固定ノイズのいずれの除去を行うかは、固定ノイズ低減処理プログラムの不図示の設定によりユーザが予め設定できるとよい。

重み係数生成ステップＳ５０１では、画像処理装置１１０が、イメージセンサの固定ノイズが加わった動画像データｙ_１，…，ｙ_Ｍを入力画像として取得し、各画像（各フレーム）に対応する重み係数列ｗを生成する。実施例１に示したように例えば式（３）を用いて重み係数列ｗを求める。

統合画像生成ステップＳ５０２では、画像処理装置１１０が、ステップＳ５０１で計算した重み係数列ｗと動画像データｙ_１，…，ｙ_Ｍを用いて、統合画像ｃを生成する。平滑化処理ステップＳ５０３では、画像処理装置１１０が、統合画像ｃを平滑化し、平滑化統合画像ｃ′を生成する。平滑化処理には、既に述べたように様々なフィルタ処理や最適化処理を用いることができる。

次に、固定ノイズ推定処理ステップＳ５０４では、画像処理装置１１０は、統合画像ｃと平滑化統合画像ｃ′の差分から推定固定ノイズｎ′を生成する。固定ノイズ補正処理ステップＳ５０５では、画像処理装置１１０は、推定固定ノイズｎ′を用いて、固定ノイズを低減した動画像データｘ_ｔ∈Ｒ^Ｎ×Ｎ（ｔ＝１，…，Ｍ）を生成する。
以上述べた本実施例で述べる固定ノイズ低減処理を用いれば、動画像データに含まれる固定ノイズを低減することができる。

動画像データでは時間方向の画像の枚数（フレーム数）Ｍが非常に大きくなるため、所定の時間毎又は所定のフレーム数毎に動画像データを区切り、それぞれを入力画像として、独立に固定ノイズ低減処理を行っても良い。また、実施例４で述べたように、空間方向
に画像を分割し、それぞれの領域ごとに固定ノイズ低減処理を行うことも好ましい。

＜他の実施例＞
上述した実施例１〜５は本発明の一具体例を示したものにすぎず、本発明の範囲をそれらの実施例の構成に限定する趣旨のものではない。各実施例の構成を適宜変更してもよいし、技術的な矛盾のない限り、実施例同士を組み合わせてもよい。

実施例１〜５では焦点ぼけ画像群や動画像データが１チャネルからなる場合についてのみ説明したが、複数の色チャネルからなるカラー画像（例えばＲＧＢ）の場合にも適用可能である。例えば、色チャネルごとに固定ノイズ低減処理を適用することが可能である。

本発明は、上記実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：画像処理装置
２０７：撮像部

Claims (25)

1. コンピュータが、同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成ステップと、
   コンピュータが、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成ステップと、
   コンピュータが、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理ステップと、
   コンピュータが、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定ステップと、を有する
   ことを特徴とする画像処理方法。
2. 前記複数の画像のデータは、撮像光学系の光軸方向に焦点位置を異ならせて被写体を撮像することで取得された複数の画像のデータである
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記撮像光学系は、両側テレセントリック光学系である
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記撮像光学系は、顕微鏡を構成する光学系である
   ことを特徴とする請求項２又は３に記載の画像処理方法。
5. 前記複数の画像のデータは、動画像を構成する複数のフレームのデータである
   ことを特徴とする請求項１に記載の画像処理方法。
6. 前記重み係数生成ステップでは、前記重み係数が画像の鮮鋭度と負の相関関係をもつように、各画像に対する重み係数が生成される
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理方法。
7. 前記画像の鮮鋭度は、当該画像の輝度の標準偏差から求められる
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記重み係数生成ステップでは、前記鮮鋭度が閾値以上の画像に対する重み係数が０に設定される
   ことを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記重み係数生成ステップでは、前記重み係数が画像の焦点位置と合焦位置の間の距離と正の相関関係をもつように、各画像に対する重み係数が生成される
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理方法。
10. 前記重み係数生成ステップでは、画像の焦点位置と合焦位置の間の距離が閾値以下の画像に対する重み係数が０に設定される
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記重み係数生成ステップでは、前記複数の画像に対する重み係数の合計が１となるように、各画像に対する重み係数が生成される
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理方法。
12. 前記統合画像生成ステップでは、前記重み係数を用いて前記複数の画像のデータを加重平均することにより、前記統合画像のデータを生成する
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の画像処理方法。
13. 前記平滑化処理は、反復計算によるノイズ低減処理である
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像処理方法。
14. 前記平滑化処理は、平滑化フィルタを用いたフィルタ処理である
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像処理方法。
15. 前記固定ノイズ推定ステップでは、前記統合画像のデータと前記平滑化統合画像のデータの差を計算することにより、前記推定固定ノイズのデータが生成される
    ことを特徴とする請求項１〜１４のうちいずれか１項に記載の画像処理方法。
16. コンピュータが、前記推定固定ノイズのデータに基づいて、前記複数の画像のそれぞれのデータに含まれる前記イメージセンサに起因する固定ノイズを低減する固定ノイズ補正ステップをさらに有する
    ことを特徴とする請求項１〜１５のうちいずれか１項に記載の画像処理方法。
17. 前記固定ノイズ補正ステップでは、前記複数の画像のそれぞれのデータから前記推定固定ノイズのデータを減算することにより、固定ノイズの低減された複数の画像のデータが生成される
    ことを特徴とする請求項１６に記載の画像処理方法。
18. 前記固定ノイズ補正ステップでは、前記推定固定ノイズのデータに基づいて前記イメージセンサのゲインのばらつきを表す推定ゲインのデータを生成する
    ことを特徴とする請求項１６に記載の画像処理方法。
19. 前記複数の画像のそれぞれのデータを前記推定ゲインのデータで除算することにより、固定ノイズの低減された複数の画像のデータが生成される
    ことを特徴とする請求項１８に記載の画像処理方法。
20. 前記複数の画像のそれぞれのデータから、前記複数の画像のそれぞれのデータと前記推定ゲインのデータを掛け算したデータを減算することにより、固定ノイズの低減された複数の画像のデータが生成される
    ことを特徴とする請求項１８に記載の画像処理方法。
21. コンピュータが、前記複数の画像のそれぞれを複数の領域に分割する領域分割ステップをさらに有し、
    前記複数の領域のそれぞれについて個別に、前記重み係数の生成、前記統合画像の生成、前記平滑化統合画像の生成、前記推定固定ノイズの生成が行われる
    ことを特徴とする請求項１〜２０のうちいずれか１項に記載の画像処理方法。
22. 請求項１〜２１のうちいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
23. 同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成手段と、
    前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成手段と、
    前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理手段と、
    前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定手段と、を有する
    ことを特徴とする画像処理装置。
24. コンピュータが、同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、各画像に対する重み係数を生成する重み係数生成ステップと、
    コンピュータが、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成ステップと、
    コンピュータが、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理ステップと、
    コンピュータが、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定ステップと、を有する
    ことを特徴とする画像処理方法。
25. 同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、各画像に対する重み係数を生成する重み係数生成手段と、
    前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成手段と、
    前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理手段と、
    前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定手段と、を有する
    ことを特徴とする画像処理装置。

Images