JP2013026844A - 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ - Google Patents

Abstract

【課題】ピントの合っていない領域が美しいボケになるようボケ画像を生成する。
【解決手段】画像処理部２５は、ボケ処理部３６、フォーカススタック像算出部３７、ＰＳＦカーネル算出部３８、及び画像先鋭化処理部３９で構成されている。ボケ処理部３６は、複数の多焦点画像に対して所望のピント位置から比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルを用いてコンボリューション処理を行う。フォーカススタック像算出部３７は、ボケ処理部３６で処理を行った複数の画像に対して強度平均像又は強度平均の和のフォーカススタック像を算出する。画像先鋭化処理部３９は、予め決めたフォーカススタックＰＳＦカーネルに基づきフォーカススタック像をデコンボリューション処理して任意のボケ画像を生成する。
【選択図】図２２

Description

本発明は、視点の異なる複数の画像群をもとに意図したボケを含む画像を生成するための画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラに関するものである。

従来、物体を撮像した画像を、焦点深度が異なる複数の画像（多焦点画像）を重ね合わせモデルに基づく恒等式に代入することで、奥行き毎に鮮鋭度の調整（焦点の調整）を行った任意焦点画像等を生成する技術が提案されている（特許文献１）。特許文献１に記載の発明では、ボケ状態を変換するために、多焦点画像ごとにボケ状態を変換してから、これらの複数のボケ状態を変換したボケ画像の強度和を得ている。

米国特許第６５７１０２３号明細書

しかしながら、このやり方では、多焦点画像群の画像ごとにボケ状態を変更する時に、大きな変換ノイズを発生するため、ピントの合っていない領域が汚いボケになり、良好な画像が得られなかった。それを改善するため、反復計算をすることも提案されているが、不十分であった。

本発明は上記事情に鑑みてなされたものであり、ピントの合っていない領域が美しいボケになるよう任意のボケ画像を生成することができる画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラを提供することを目的とする。
ことを目的とする。

本発明を例示する画像生成装置の一態様は、入力される複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理（デコンボリューション）を行って任意のボケ画像を生成するようにしたものである。

本発明によれば、複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理を行って任意のボケ画像を生成するため、ノイズの発生を抑えてピント領域外が美しいボケとなる良好なボケ画像を得ることができる。

本発明を採用した多眼カメラを示す正面側斜視図である。 Ｍ系列の疑似ランダム系列の数列を示す説明図である。 Ｍ系列疑似ランダム数列「１１０１００」に基づいた撮影開口の二次元配列をｘ，ｙ方向点列で示す説明図であり、撮影開口の位置を「○」で示している。 多眼カメラの背面側斜視図である。 多眼カメラの電気的構成を説明するブロック図である。 像点ｐ１，ｐ２をそれぞれＰＳＦでコンボリューションした状態を説明する説明図である。 焦点距離５．３４ｍｍ、Ｆ１．４、像高×２＝３．１７ｍｍの場合、近距離の５３０ｍｍから無限遠までを結像した時の像空間ｘ，ｙ，ｚの光軸方向ｚの結像位置を説明する説明図である。 複数のカメラ（ｃａｍ）を用いた合成開口法でのフォーカシングの概略を説明する説明図である。 図８で説明したｘ又はｙ方向に並んだｃａｍ２，ｃａｍ４の配置によって発生する視差量を二つの直線で説明した説明図である。 ５×５眼のカメラ配置に対して、視差ｚ＝４でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。 任意のボケ量のボケカーネルｚ＝４でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。 図１０で説明したボケカーネルをｘ，ｙ面内で表した説明図である。 Ｍ系列のカメラ配置の場合、図１０で説明したボケカーネル（視差ｚ＝０〜ｚ＝４）をｘ，ｙ面内で表した説明図である。 Ｍ系列のカメラ配置の場合、図１０で説明したボケカーネル（視差ｚ＝４〜ｚ＝８）をｘ，ｙ面内で表した説明図である。 焦点位置でボケンカーネルを視差方向（ｚ方向）で積分したフォーカススタックカーネルを示す説明図である。 多眼カメラの画像取り込みから画像処理の流れを説明する説明図である。 画像処理が実行する任意ボケアルゴリズムを説明する説明図である。 ピントを変えて取り込んだ複数の画像を示す説明図である。 ピントを変えて取り込んだ複数の画像を示すものであり、物体と光学系とのコンボリュージョン結果が得られることを説明（［数１５］に記載の式を説明）する説明図である。 ［数１６］に記載の式を説明する説明図である。 ピントを変えて取り込んだ複数の画像（複数フォーカスによって得られた画像）に任意のデフォーカスカーネルを各ｘ，ｙ面内でコンボリューションした説明図である。 任意ボケアルゴリズムを実行する画像処理部の構成を示すブロック図である。 疑似ランダム系列であるＭ系列に従った所定の周期パターンで撮影レンズを配列した多眼カメラの場合のフォーカススタックカーネルを示す説明図である。 多眼カメラの動作手順を説明するフローチャートである。 任意ボケアルゴリズムの一部を説明しており、[数１６]に記載の式に対して［数１２］及び［数１９］に記載の式の積分範囲を説明する説明図である。 ［数１９］に記載の式の積分範囲を説明する説明図である。 点像強度分布の３次分布（ＰＳＦ）の光のコーンの概略を示す説明図である。 ガウス分布のボケカーネルの半径と標準偏差との関係を示すグラフである。 合成ボケ半径と標準偏差との関係を示すグラフである。 一般的なカメラで撮影した画像を示す。 従来の素の合成開口法を用いて生成したボケ画像を示す。 焦点位置５０ｍｍ、絞りＦ１に相当するボケの大きさを指定して得られるボケ画像を示す。 焦点位置５０ｍｍ、絞りＦ１．４に相当するボケの大きさを指定した時に得られるボケ画像を示す。 焦点位置５０ｍｍ、絞りＦ２に相当するボケの大きさを指定した時に得られるボケ画像を示す。 焦点位置５０ｍｍ、絞りＦ４に相当するボケの大きさを指定した時に得られるボケ画像を示す。 焦点位置５０ｍｍ、絞りＦ４２に相当するボケの大きさを指定した時に得られるボケ画像を示す。 ［数３］で説明したカメラ配置を使用して生成したボケ画像を示し、焦点位置５０ｍｍ、絞りＦ１に相当するボケの大きさを指定して得られた画像である。 図３７で説明したと同じ条件で焦点位置５０ｍｍ、絞りＦ１．４に相当するボケの大きさを指定して得られた画像である。 図３７で説明したと同じ条件で焦点位置５０ｍｍ、絞りＦ２に相当するボケの大きさを指定して得られた画像である。 図３７で説明したと同じ条件で焦点位置５０ｍｍ、絞りＦ４に相当するボケの大きさを指定して得られた画像である。 図３７で説明したと同じ条件で焦点位置５０ｍｍ、絞りＦ４２に相当するボケの大きさを指定して得られた画像である。 リフォーカス距離を０．７１ｍに指定した時に得られる任意ボケ画像を示す。 リフォーカス距離を０．８２ｍに指定した時に得られる任意ボケ画像を示す。 リフォーカス距離を０．９７ｍに指定した時に得られる任意ボケ画像を示す。 リフォーカス距離を１．２ｍに指定した時に得られる屋内の任意ボケ画像を示す。 リフォーカス距離を１．５ｍに指定した時に得られる屋内の任意ボケ画像を示す。 リフォーカス距離を２．１ｍに指定した時に得られる屋内の任意ボケ画像を示す。 リフォーカス距離を３．６ｍに指定した時に得られる屋内の任意ボケ画像を示す。 リフォーカス距離を１０．７ｍに指定した時に得られる屋内の任意ボケ画像を示す。 リフォーカス距離を０．９７ｍに指定した時に得られる野外の任意ボケ画像を示す。 リフォーカス距離を１．２ｍに指定した時に得られる野外の任意ボケ画像を示す。 リフォーカス距離を１．５ｍに指定した時に得られる野外の任意ボケ画像を示す。 リフォーカス距離を２．１ｍに指定した時に得られる野外の任意ボケ画像を示す。 リフォーカス距離を３．６ｍに指定した時に得られる野外の任意ボケ画像を示す。 リフォーカス距離を１０．７ｍに指定した時に得られる野外の任意ボケ画像を示す。 合成開口撮影法により取得した複数の多焦点画像群に対して強度平均を算出して得られる強度平均像（フォーカススタック）画像を示す。 図５６に示すフォーカススタック画像を、所定のフォーカススタックＰＳＦカーネルでデコンボリューションして得られるオールフォーカス画像を示す。 多焦点画像群に対して、視点が中央から斜め左下に偏ったフォーカススＰＳＦタックカーネルでデコンボリューションして得られる任意視点ボケ画像を示す。 多焦点画像群に対して、視点が中央から左に偏ったフォーカススタックＰＳＦカーネルでデコンボリューションして得られる任意視点ボケ画像を示す。 撮影距離５．３ｍ、カメラ間視差０ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離３．６ｍ、カメラ間視差２ピクセルに指定して視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離２．１ｍ、カメラ間視差３ピクセルに指定して視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離１．５ｍ、カメラ間視差５ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離１．２ｍ、カメラ間視差７ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離０．９７ｍ、カメラ間視差９ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離０．８９ｍ、カメラ間視差１０ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離０．８２ｍ、カメラ間視差１１ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離０．７１ｍ、カメラ間視差１３ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 撮影距離０．６３ｍ、カメラ間視差１５ピクセルにして視差付きの任意視点ボケ画像を生成した画像を示す。 合成開口法に画像の合成を説明する説明図である。 合成開口法で建物にピントを合わせて取得した画像を示す説明図である。 図７１で説明した画像のうちの遠景の領域を分解した説明図である。 図７１で説明した画像のうちの中距離被写体の領域を分解した説明図である。 図７１で説明した画像のうちの近距離被写体の領域を分解した説明図である。 フォーカス画像を生成する他の実施形態を示すブロック図である。 ボケ画像を生成する他の実施形態を示すブロック図である。 デプスマップ情報に基づいて画像を領域分割してボケ処理を行う他の実施形態を示すブロック図である。 図７７で説明した装置の動作手順を示すフローチャート図である。

多眼カメラ１０は、図１に示すように、１６個の撮影開口１１がカメラボディ１２の前面に設けられている。各撮影開口１１の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口１１、撮影レンズ、及び撮像素子等がカメラ部となる個眼撮像部を構成する。

各撮像素子は、例えば低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。

多眼カメラは、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、視点の異なる１６個の画像データを同時に取得し、これら画像データをパラメータに応じて画像処理をすることで、奥行き毎に鮮鋭度の調整（焦点の調整）、すなわち画面内の特定の被写体を意図的にぼかす処理を行って生成する任意焦点画像、ボケの強さや配置(ボケの大きさや形状、重み付け)を調節処理して生成するボケ生成画像、及びこれらボケ生成画像と任意焦点画像との処理を組み合わせて生成する視点を付与した立体視用任意視点の任意焦点、任意ボケ生成画像を生成することも可能である。すなわち(1)「光軸方向の焦点位置」、(2)「ボケの大きさ」、(3)「視点」の３つのパラメータを自由に選択可能なカメラを構成可能である。また、複数のカメラを用いることにより多画素化が可能で、高解像度画像データ、すなわち多画素化の画像データを生成することもできる。

撮影開口１１は、二次元状に配列されている。撮影開口１１のｘ方向、及びｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。自己相関関数がデルタ関数的であるので、パワースペクトルがフラット（周波数に依存せずに一定）になる。このことはボケを生成する際に特定の周波数成分を強調することがなくなるので望ましい性質である。実験によれば、ブラーカーネル（ぼかし関数）に円形開口を用いた場合、中抜けの矩形配置、方眼配置はボケが汚くなった。しかし、ブラーカーネルにガウス関数を用いた場合、カメラ配置にそれほど依存せずにきれいなボケが得られることが分かった。ブラーカーネルにガウス関数を用いる場合、カメラ配置にそれほど依存せずにきれいなボケが得られるので、隣接カメラ間の間隔が小さいほど離散的に見えるボケの間隔が小さくなり、きれいなボケとなるので、例えば円周上に等間隔またはランダムな間隔でカメラを配置すると総合的に最適なボケとなる可能性がある。方眼配置のカメラは、例えば［数１］に記載の式で表したように、５×５配列の配列として、１６眼を９０度ずつ回転させて４パターンで計算し（［数１］に記載の式の左項）、これらの強度平均像をとる。これは重み付けで考えると、［数１］に記載の式の右項に示すように、「０．０１８〜１」までの重み付けとなる。［数１］に記載の式で表されるカメラ配置では、カメラごとの重み付けをすることと等価であるが、重み付けをガウシアンとしてもきれいなボケとなることが分かった。多画素化する場合の処理にはカメラの重み付けが均等であることが望ましいので、例えば［数１］に示すような４パターンのカメラ配置で多画素化をそれぞれ行い、最後にもう一回多画素化を行い、都合５回の多画素化を行うことで、カメラの重み付けとしては中心が高い、ガウシアン的な重みとすることができる。なお、ここでいう「カメラ」は、多眼カメラに内蔵する、撮影レンズや撮像素子からなる個々の撮像部を含む。

多画素化を考えなければ直接ガウシアンの重み付けとすることも容易でカメラ間隔＝１σ（標準偏差）のガウシアンの場合、［数２］に示す式で表される。

数列Ｘｉ（ｉ＝１〜ｍ、（ｍは周期））のＭ系列疑似ランダム数列は、一般的に、「１」以上の整数ｎに対して「２ｎ−１」の周期ｍを持つ「０」と「１」の２値の数列であって、１つの周期ｍの中の数列の数は奇数で、「０」の数と「１」の数の差が「１」となる。よって、整数ｎと周期ｍとの組み合わせ（ｎ，ｍ）としては、（３，７）、（４，１５）、（５，３１）、（６，６３）等がある。

図２に示すように、例えば整数ｎが「２」で周期ｍが「３」の数列では、「１，０，１」となり、また、例えば整数ｎが「３」で周期ｍが「７」の数列では、「１，１，１，０，１，０，０」となり、さらに、例えば整数ｎが「４」で周期ｍが「１５」の数列では、「１，１，１，１，０，１，０，１，１，０，０，１，０，０，０」となる。本実施形態では、例えば整数ｎが「３」で周期ｍが「７」の数列「１，１，１，０，１，０，０」を採用している。この場合には、図３に示すような二次元の配列パターンになる。このパターンは、「○」で示す位置が撮影開口１１を配する位置になる。

なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から１９６８年２月初版発行、１９７１年１月第２刷が発行された「相関関数とスペクトル−その測定と応用−」の１７０頁〜１７５頁に記載されている。

ところで、撮影開口１１の二次元配列の間隔は、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等、２値の疑似ランダム系列である所定の周期パターンに設定することもできる。また、撮影開口１１の２次元方向の間隔を等間隔にしてもよい。しかし、詳しくは後述するフォーカススタック前の瞳サンプリング点にゼロ点が無い方が望ましいため、二次元方向の間隔がＭ系列の所定の周期パターンに設定するのが望ましい。撮影開口１１の個数としては、１６個（１６眼）に限ることはない。

図３で説明したＭ系列の応用例として、［数３］に記載の式で表されるカメラ配置では、例えば、５×５配列の配列として、１６眼を９０度ずつ回転させて４パターンで計算し（［数３］に記載の式の左項）、これらの強度平均像をとると、ボケがいっそう素直になることが分かった。これは重み付けで考えると、［数３］に記載の式の右項に示すように、「０．２５〜１」までの重み付けとなる。この場合の多画素化は、９０度ずつで多画素化処理を別々に行い、最終的に強度平均を求めることが望ましい。

カメラボディ１２の背後には、図４に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５は、透明なタブレット３４とともにタッチパネルを構成する。タッチパネルには、スルー画像に重ねてメニューの文字や操作ボタン等の絵柄が表示され、タッチ操作により変倍操作、焦点面の指定、ボケパラメータ（仮想口径の大きさ、形状、重み付け）の選択等のパラメータ入力をする。

各撮像素子２０には、図５に示すように、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。ここで、符号４０は個眼撮像部４０を示す。

ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。

ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全撮像素子２０の電子シャッタの値を一定になるように変えて露出を制御する。

ＡＦ部２６は、シャッタボタンの半押し操作に応答して複数の画像データのうち少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から複数の被写体に対する被写体距離を各々算出し、一つの合焦ドライバ２７を制御して、被写体距離に応じた合焦位置に撮影レンズ２３を移動させるとともに、残りの合焦ドライバ２７を制御して、前記被写体距離に応じた合焦位置を基準として、残りの撮像レンズ２３の合焦位置を、均一なボケ量でずれるように順々にずらしていく。なお、撮像素子２０を移動させるか、もしくは、撮影レンズ２３と撮像素子２０との両方を移動させてピントをずらしても良い。

ＡＦの必要性について見積もったところ、厚さ３ｍｍの薄型カメラを実現するには１／８インチ以下の光学サイズのセンサー(撮像素子)を用いることが望ましい。これは、センサー対角長を「Ｄｇ」、光路全長を「Ｌｐ」とし、十分な収差特性のレンズ設計をすると、Ｌｐ>０．９Ｄｇとなるからである。

多眼カメラの場合、最大でカメラ数倍の多画素化が行えるので、一つ一つのカメラモジュールは、最終的なカメラとしての出力画素よりも少なくてよい。多画素化のアルゴリズムにもよるが、最寄のセンサーの画素のデータを用いるなどのアルゴリズムを用いた場合、カメラ数の０．５６倍以下の多画素化にとどめると生成画像に破綻がない。例えば６Ｍ（メガ、１００万）画素出力のカメラの場合、１６眼を使った場合９倍程度の多画素化は容易である。その場合６Ｍの１／（１６×０．６）=１／９より６Ｍ×１／９＝０．６７Ｍ画素以上の画素数のカメラモジュールであれば良い。

１／８インチの像高のセンサーサイズで６Ｍを解像する光学系が必要である。具体的にはナイキスト波長でのＭＴＦは最低１０％以上必要である。ナイキスト波長は、この場合１．１６９μｍとなる。このためレンズのＦナンバーは、１．４以下が必要である。６Ｍ出力のカメラの厚さを５ｍｍにおさえる場合、センサーの呼び寸法は１／４インチで可能でレンズのＦナンバーは２．８以下でよい。

ＡＦの有無を上記の３ｍｍ厚さ、５ｍｍ厚さのカードカメラについてレンズの収差を含めて検討したところ、カメラのピント位置を被写体までの距離２ｍ程度に設定しておけば、被写体までの距離１ｍから無限遠までＭＴＦの変化はナイキスト周波数で５０％以下の変化であり、パンフォーカスとみなせることが分かった。また、フォーカス位置に応じてＭＴＦの変化分（同時にＰＳＦも変化する。）を補うようにデコンボリューションすることも可能である。リフォーカス（撮影後に任意の被写体距離にフォーカスすること）する際に、距離に応じてＭＴＦの劣化を補うことが可能である。すなわち、図７５に示すように、フォーカス位置ごとのＰＳＦ又はＭＴＦを予め記憶する記憶部４０と、合成開口法によりフォーカス画像を生成する時にフォーカス位置によるＰＳＦ又はＭＴＦの変化を相殺するように画像処理を行う画像処理部４１と、を備えればよい。これら記憶部４０及び画像処置部４１はＣＰＵ４２とともにバス４３で接続されており、ＣＰＵ４２により統括的に制御される。なお、符号４４は、多眼カメラ、スキャナ、及び外部入力部等、複数の画像を取り込むための画像取得部である。このように構成しても本発明によりピントはずれの像はぼけているので、ピントはずれの像が過補正になり、像が不自然になることはない。

カメラモジュールのＡＦ用アクチュエータは、被写体までの距離２ｍにフォーカスを設定する際に用いてもよい。これは１／８インチのセンサーサイズの像側の焦点調整がシビアでコンマ数ミクロンレベルの調整と安定性を求めるためである。

ところで、一つの撮影レンズ２３のピントを測距した基準の被写体距離に合わせるとともに、残りの撮影レンズ２３に対しては前記合焦位置を基準にして均一なボケ量になるようピントを順にずらしていくピントずらし制御は難しい。そこで、ＡＦ部２６としては、最短撮影距離から無限遠までの撮影距離域を個眼撮像部４０の数で分割し、各分割位置に応じた撮影距離にピントが各々合うように各合焦ドライバ２７を制御して、各撮影レンズ２３を個別に移動させるのが好適である。なお、フォーカスを撮影事後に行わない場合には、絞りと撮影レンズ２３とでパンフォーカスを構成してもよい。この場合には、ＡＦ部２６等を省略することができる。

ＲＯＭ２８は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ２９は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ２８、ＲＡＭ２９、ＬＣＤドライバ３３、Ｉ／Ｆ３０、及び画像処理部２５はバス３２により接続されている。

なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズ２３を同じに変倍するように構成すればよい。

ＣＰＵ２４には、タブレット３４から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作に応答して焦点の異なる複数の画像データ（多焦点画像データ）を各フレームメモリ２２に同時に取り込む。多焦点画像データは、各フレームメモリ２２に個別に取り込まれた後、画像処理部２５に出力される。
＜３次元シフト・インバリアントな結像＞
光学系による結像の点像ＰＳＦを光軸方向のデフォーカスによるボケも考慮すると、３次元のＰＳＦを考える必要がある。物体も３次元で、アイソプラナティックな範囲ではシフト・インバリアントな結像と見なせ、物体面のどこでも同じＰＳＦで結像を表すことができる。例えば像空間x,y,zに像点ｐ１，ｐ２が存在する場合、これらの点に対して、ＰＳＦがコンボリューションされた状態が結像状態となる。一般に物体は凹凸があり、結像ではカメラから見える表面上の物点に対応する像点がそれぞれＰＳＦでコンボリューションされた状態となる（図６参照）。図６に示す３次元のＰＳＦは、３次元のボケカーネルと呼んでも良い。このような３次元結像状態を得る場合、通常のレンズの結像の場合、例えば図７に示すように、焦点距離５．３４ｍｍ、Ｆ１．４、対角撮像範囲＝像高×２＝３．１７ｍｍの場合、近距離の５３０ｍｍから無限遠までを結像したとしても像空間ｘ，ｙ，ｚの光軸方向ｚの結像位置は５．３４ｍｍと５．３９ｍｍで高々５０μｍの変化しか起こらず、この範囲をｚ方向にアイソプラナティックな範囲と見なすことができる。ｘ，ｙについても通常ＰＳＦは大きく変化することはないので、通常のレンズの結像状態で、２次元の撮像素子を像面Ｉに平行に移動、位置させて撮像することにより、３次元結像状態のデータを取得すること可能である。２次元撮像素子の光軸ｚ方向のデータ取得の間隔は、等間隔とすることが信号処理の上で望ましい。なお、z minは、無限遠位置に相当する。z maxは、被写体のレンズから最近の位置を十分に含むことが望ましいが、実用的にはリフォーカスを行う可能性のある範囲で問題ない。またz minも近景のみフォーカスさせる場合は必ずしも無限遠までの２次元撮像素子のデータが必要というわけではなく、リフォーカスする範囲の奥行き方向で最も遠い点をz minとすればよい。特にマクロ撮影では、ｚ方向のデータが増加しがちなので、適当な範囲をz min, z maxに設定することが必要となる。結像倍率は、レンズから被写体までの距離を「Ｚ」、レンズから像点までの距離を「ｂ」とすると、レンズの結像公式「１／ｆ＝１／Ｚ＋１／ｂ」の式から求まる。

＜合成開口法によるフォーカシングについて＞
合成開口法でのフォーカス合わせは、図８に示すように、距離Ｚにフォーカスする場合、中央のカメラからの距離を「ｓ」とすれば、視差量＝カメラ間隔×結像倍率＝ｓ×ｂ／Ｚだけ像をシフトさせて、中央のカメラの像とフォーカス位置にある像点が重なるように行う。

レンズの代わりにピンホールを使う場合、結像倍率は「ｆ／Ｚ」の式から求まる。パンフォーカスのレンズを使用する場合、レンズのピント位置はＭＴＦの変化を計算し、最短撮影距離と無限遠のＭＴＦの劣化が同程度になるような固定ピント設定距離を決める。例えば最短撮影距離が１ｍの場合、２ｍにピント位置を設定する。ｂの値はレンズの結像公式から求める。（［数７］）
以下の説明では視差の単位をピクセルで表現する場合が多いが、これは本発明では視差量が撮像素子のピクセルピッチの整数倍となる被写体距離で合成開口法でフォーカス画像を合成し、画像処理をおこなうことが効率的で、かつ、処理した結果も画質が良好であるためである。ピクセルピッチは撮像素子の本来の値を用いても良いし、多画素化された後の撮像素子のピッチを用いても良い。また、マクロ撮影時などフォーカス点があまりに多くなる場合は、視差量を１ピクセルずつに対応させて合成開口画像を生成する必要は無く、適宜間引きすることが可能である。間引きの割合は画像を見ながら判断する必要がある。

合成開口法でシフト・インバリアントな３次元結像状態のデータを取得することを考える。そのためには、像空間の光軸方向ｚを視差量で表現することが望ましい。理由は以下の説明による。

物体の座標系をＸ，Ｙ，Ｚのリニア（等間隔）スケールで考える。光軸をＺ軸方向にとる。多眼カメラの合成開口法によるフォーカス合わせの像空間の座標系(x,y,z)とする。多眼カメラの各カメラはピンホールカメラと同様に焦点深度が深いカメラを用い、リフォーカシング可能にするのが普通である。ます、図８に示すようにピンホールカメラを考える。

ピンホールカメラは一つ一つはＺ方向の情報を持たず、いずれの距離の物体もピンホールから焦点距離ｆのところに位置する結像面に結像する。ところが合成開口法によって焦点合わせを行うと、カメラ配置に起因する視差＝ボケを発生する。多眼カメラによるピント合わせを、図８を参照しながら説明する。

カメラは、Ｘ，Ｙ方向に５×５の配置である。ピンホールカメラによる２５眼の画像を撮影し、そこから合成開口法でフォーカシングを行うので、被写体の結像倍率は撮影時に決定し、フォーカシングに依存しない。結像倍率は被写体までの距離をＺとすればピンホールカメラの倍率：ｆ／Ｚである。

図８は多眼カメラを複数のピンホールカメラとして表現しており、各カメラの視点つまりピンホールの位置は、カメラ面（瞳共役面）(s−t平面)に位置しており、カメラ２５台の瞳位置（視点位置、ピンホール位置と等価）をD(s，t)で示す。X軸とｓ軸とｘ軸は平行。Y軸とｔ軸とｙ軸は平行とする。物体面とカメラ面は平行で、合成開口法によりカメラ面から任意の距離Ｚにある、物体面に合焦させる状態を表している。同図ではピンホールカメラのピンホールは３角形の頂点で表されている。

各カメラのセンサー面の座標をｘ_D(s,t),ｙ_D(s,t)とする。この座標ｘ_D(s,t),ｙ_D(s,t)はキャリブレーション済みの誤差なしの値とする。物体面(X，Y)上の点Ｐはカメラ面からＺの距離にあり、各カメラD(s,t)のｘ’_D(s,t),ｙ’_D(s,t)に結像する。これは［数４］及び［数５］に記載の式で示される。またZ軸上にcam3があるとすれば、x=X×f/Z,y=Y×f/Zとなる。

ここで、［数４］［数５］に記載のf_D(s，t)は実測焦点距離、cx_D(s,t)，cy_D(s,t)はキャリブレーション誤差追い込み用の定数である。

センサー面の画像ピクセルの出力をC（x’_D(s,t)，y’_D(s,t)）とする。距離Ｚにフォーカスが合った合成開口出力I(x,y,Z)は［数６］に示す式から算出することができる。

ただし、合成開口出力は、任意の選択したカメラの合成出力とする。例えば２５台中の１６台。模式的には合成開口法による画像の合成の状況は、図７０に示すようにピント位置に応じて画像を相対的に移動させてピント合わせ（フォーカス合わせ）を行う。

[数４]、［数５］、及び［数６]は、ピンホールカメラの例で説明した式である。しかしながら、実際にはカメラレンズ付きの多眼カメラを用いる。その場合の視差量は、［数７］、または［数８］に記載の式で示される。

視差量ｚが等間隔となる物体距離Ｚで画像を取得することが効率的であり、視差量ｚが決まれば被写体までの距離Ｚは、［数７］、または［数８］に記載の式により一義的に決まる。ピンホールカメラの場合の視差量ｚは、カメラ間隔（瞳面上の任意の２視点間の距離）：s0と撮像倍率:b/Zの積に比例し、［数７］で示される。従って、カメラ間隔が大きいほど視差の被写体距離に対する変化量は大きくなる。多眼配置のカメラではカメラ間の距離が最も離れた２視点の間隔:s maxで、視差の被写体距離に対する変化量は最大になる。従って、視差量のサンプリングピッチはもっとも細かく取得する場合においては、［数７］でs0=s maxとした視差量が撮像素子のピクセルピッチの整数倍に相当する視差量ｚにて、複数のフォーカス画像をサンプリングまたは合成してゆけばよい。

［数７］
視差量(z)＝最小カメラ間隔（s0）×結像倍率＝s0×ｂ／Ｚ
＜視差量について＞
以上見たように、視差量は、ピンホールカメラまたは、パンフォーカスレンズの場合、［数７］に記載の式で示される。一方、図７に示すように単眼レンズでピント合わせをする場合を考える。この場合、レンズの入射瞳はある程度面積を持ち、レンズの瞳面（ｓｐ）内の任意の２点間の距離:s0とする。任意の２点間の距離:s0の最大は瞳径Ａｐである。視差量ｚ２は、物点までの距離をＺ、焦点距離をｆとすると［数８］に記載の式になる。また、多眼カメラの構成で各対物レンズのピント合わせを行う場合も、[数８］に記載の式で示される。

［数８］
視差量(ｚ２)＝結像倍率(ｍ)×瞳面上の任意の２視点間の距離(s0)=ｆ×s0／（Z−ｆ）
なお、図７の瞳面と図８のカメラ面は、双方とも入射する光束を規定する入射瞳であって、等価な役割を果している。また、合成開口法の多眼カメラのレンズを被写体のピント位置ごとにレンズを繰り出してピント合わせを行う場合は、結像面とレンズの距離：ｂはＺの関数となるので、視差は、［数８］式に記載の式になる。一般的に多眼カメラを用いた合成開口法は、固定フォーカス、パンフォーカスのレンズを用いるので、視差量ｚは［数７］に記載の式から導く。

２つのカメラの間の視差量ｚはレンズを相対的に平行シフトさせたときの像の移動量であるので、ピントの合った状態からの視差量の増大はボケ量と等しい。たとえば、無限遠にピントを合わせた状態では、視差１ピクセルに相当する被写体距離にある被写体は１ピクセルのボケ半径でぼけて撮影されるということになり、視差１ピクセルの距離の被写体にピントを合わせれば無限遠の被写体は１ピクセルのボケ半径でぼけるということになる。合成開口法によるピント合わせをおこなわず、単レンズで撮像面の位置を変化させてピント合わせを行う場合の視差量ｚの計算は、［数８］に記載の式を用いた方が、特に近距離の視差量ｚの計算で誤差が少なくなるが、［数７］に記載の式で代用することができる場合もある。

任意の距離での視差量ｚをゼロにするという行為がピント合わせ（フォーカス合わせ）といえる。ピント合わせの行為は通常のレンズでは像面をピント位置に一致させることになる。合成開口法では複数のカメラの画像間の視差量がゼロになるように複数の画像を視差量だけシフトさせてたし合わせるという行為になる。

本発明では、光軸の奥行き方向を視差で置き換えているので、ボケを表す関数は、ボケの大きさが視差量に比例する。例えば円形開口では円錐状（コーン状）となる。
＜データの取得間隔について＞
ｘ、ｙ方向を等間隔に配したカメラから画像を取得する。これは２次元状に等間隔に配置したセンサーによってサンプリングすることにより達成される。一方、視差量ｚは、２つのカメラ間に生じる視差のピクセルカウント（視差量/ピクセルピッチ（Ｐ））がリニア（等間隔）になるように分割して取得する。いいかえれば、視差量ｚがピクセルピッチの整数倍になるようにフォーカス位置を設定して複数の焦点状態の画像を合成開口法により合成する。これにより、計算誤差を低減することができる。ピクセルピッチは、センサーのピクセルピッチでも良いし、各カメラ（撮像部）から出力される出力画像の画素ピッチでも良い。後者の場合、多画素化処理に本来のセンサーの画素ピッチの整数分の「１」になっている。

＜瞳面上の２点間の距離s0について＞
ここで、合成開口法によるフォーカス合わせを行う回数、つまりフォーカス方向の分解能を決定する。瞳面上の２点間の距離s0を如何に決定するかを説明する。

フォーカス方向のデータ数（合成開口法により合成するフォーカス画像の枚数）を増やすには、[数７]、[数８]でs0=s maxまたはs0=APとした視差量を計算し、視差量が撮像素子のピクセルピッチの整数倍となる被写体までの距離：Zにおいて得られたフォーカス画像を合成開口法によって合成してゆけばよい。この方法がもっとも多くの異なる被写体距離Zにおいてフォーカス画像を生成する方法である。しかしながら、実用的には数分の１程度に間引きを行っても支障が無いことが分かった。とくに、多眼カメラが等間隔に並んでいる場合（Ｍ系列配置を含む。）、視差量ｚは[数７]でs0=隣接カメラ間の間隔とすることで、合成開口法によるフォーカス合わせの際にサブピクセルの画像の横ずらし（一画素以下のずらし量の横ずらし）をする必要が無くなり、画素ピッチに起因する量子化誤差を発生しないので、画素ピッチに起因するボケの発生を防止することができる。これによりデータ数が間引きされるが、例えばｓ×ｔ＝５×５程度のカメラ数であれば、最大データ数の1/4程度に間引きされるものの、実用上十分であることが分かった。マクロ撮影ではさらにデータ数を半分程度に間引きしてもまったく問題ないことが分かった。

＜単眼レンズにおける視差量について＞
単眼レンズで[数８］に記載の式で視差を決め、複数のフォーカスでの画像データを取得する際も任意の瞳上の２点間の距離：s0をAp/4程度にしてデータの間引きを行っても実用上問題ない。

視差量ｚの値は、距離：Ｚ＝無限遠で視差：ｚ＝０であるので視差の座標は、図９に示すようにとることが望ましい。x,yは撮像面内の２次元座標、zは視差量である。図９では２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]でs0=隣接カメラ間の間隔とした。図９に示す二つの斜めの直線は、図８で説明したs-t面内に5×5の方眼配置で等間隔並んだ内の一列、ｃａｍ１〜ｃａｍ５のカメラの中心にあるｃａｍ３の上下のｃａｍ２，ｃａｍ４の配置によってx、y面内で発生する視差またはボケの大きさ（３次元ボケカーネルのｘ、ｙ断面の大きさ）を示している。視差量ｚ＝８においてピクセル（Ｐ）の±８倍の視差をｘ又はｙに発生することを示している。このように奥行き方向（光軸方向）の分割を視差量ｚが等間隔になるように分割することで、カメラ配置によるボケカーネル（図１０参照）や任意のボケカーネル（図１１参照）の大きさの変化が視差量にリニアに変化することになり、３次元ボケカーネルの形状が光軸に沿った視差ｚ軸の位置に依存して変化するというような不都合が無くなる。これにより、シフト・インバリアント、つまり、３次元のコンボリューションで表せるような３次元結像状態のデータを取得できることになる（［数１７］に記載の式）。

瞳面（カメラ面）上のs,t方向の任意の２点間の最大距離は、図８に示すように、ｃａｍ１，ｃａｍ５の距離になっており、図１０、及び図１１に示す視差量ｚは、隣接カメラ間の距離の４倍ある。つまり、３次元結像状態のデータは、s0を隣接カメラ間に設定しているので、最大のデータ数から1/4に間引きされた数になる。この数は、実用上十分なデータ数であるので問題はない。

図１０は、カメラ配置（カメラ面、ｓ−ｔ面内の瞳中心の配置）により決定する、ボケカーネルの３次元的形状とｘ，ｙ断面でのボケカーネルの大きさを示している。x,yは撮像面内の２次元座標、zは視差量である。図１０では２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]でs0=隣接カメラ間の間隔とした。ボケカーネルの大きさは視差量に応じて線形に変化する。同図は、視差ｚ＝４（ピクセル）でフォーカスが合っている物体にボケカーネルＢｃがコンボリューションされている状態を示している。ボケカーネルのx,y断面はx,y面内（撮像面）でボケを表す２次元の分布関数のことで、本発明では視差ｚの関数でもある。これを例えば［数９］に記載したようにf(x,y,z)と置けば、［数１０］に記載のように面積が１で規格化された関数になる。ピント位置でボケないような関数にするには、デルタ関数、つまり大きさゼロで面積１の関数とする。任意のボケカーネルを撮像面（ｘ−ｙ面）の画像にコンボリューションして２次元画像をぼかすことができる。

このように視差ｚに応じて（多くの場合比例）広がりが変化する分布関数を以下では３次元ボケカーネルのｘ、ｙ断面または単にボケカーネル、ボケ関数などと呼ぶ。

図１１は、任意のボケ量のボケカーネルｚ＝４（ピクセル）でフォーカスが合っている物体にボケカーネルＢがコンボリューションされている状態を示す。x,yは撮像面内の２次元座標、zは視差量である。ボケカーネルの半径をゼロにすると全焦点画像が生成される。なお、ボケ生成アルゴリズムの詳しい説明は後述する。

カメラ面内に２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]でs0=隣接カメラ間の間隔とし、隣接カメラ間隔１２ｍｍ、焦点距離５．３４ｍｍ、ピクセルピッチＰ＝６μｍのときの視差量ｚと被写体までの距離Ｚと像面とレンズの距離ｂを表１に示す。レンズと像面の距離ｂは、レンズの結像公式１／ｆ＝１／Ｚ＋１／ｂにより求めた。このようにカメラが等間隔の場合、隣接カメラ間隔から視差を求め、視差がピクセルの整数倍となるような間隔で画像処理に用いる視差の値を決定すると、合成開口法によるフォーカス合わせの際の画像シフト量がいずれのカメラにおいても、ピクセルピッチの整数倍とすることができ、量子化誤差の発生が防止できる。ｂはレンズの結像作用による結像位置を示し、レンズから像までの距離である。ｄｂはｂの変化量を示す。ｄｂは、厳密には等間隔になっていない。そこで、本発明のボケ処理を単眼カメラの画像に対して行う時も、像空間で光軸方向に等間隔にセンサーを移動させてデータを取得する従来の方法よりも、視差量が等間隔になる被写体距離を［数７］または［数８］の式から求めて撮影することが望ましい。

一方、合成開口によるレンズの結像は、一般に、パンフォーカスレンズを用いた撮影であり、先に述べたように、結像公式と関係なくなる。ピンホールの代わりにレンズを用いると、厳密には像面の位置も被写体の位置に応じて変化する。焦点距離５．３４ｍｍ、F2.8のカメラのレンズのピントを、被写体までの距離を２ｍ程度に設定してその被写体距離に合焦するように調整し、その状態で無限遠から近距離まであまりＭＴＦの変化は大きくない（１０〜２０％程度の変化）。この状態をパンフォーカスとみなして問題ない。またＭＴＦの変化は既知であるので、予め撮影距離ごとのＭＴＦのデータをカメラに記憶し、撮影距離ごとにＭＴＦデータからの像ボケを補正することも可能である。

視差（ｚ）に応じた距離Ｚでのフォーカス画像を合成開口法によってフォーカスする。例えば［表１］に示す２０箇所（視差ｚ＝１〜２０（ピクセル））での合成開口像を生成する。図９では、視差量ｚは[数７]でs0=隣接カメラ間の間隔とし、視差ｚ＝０〜８ピクセルの９つの視差に相当する被写体距離にフォーカスをあわせた画像を合成開口法によって合成することを表している。ピクセル以下の分解能で視差を分割することはボケ像生成の観点からは意味はない。また、間引きする場合は視差の間隔が等間隔になるように間引くことが重要である。多画素化する場合はそのピクセルピッチを用いる。

合成開口でフォーカスする場合、中央（ｓ−ｔ面の中心）のカメラの画像に対して周囲のカメラの画像を視差量分だけ平行にｘｙ面内でシフトさせる。その量と［表１］の視差の量は一致する。視差がゼロの場合は無限遠であって１ピクセルのときは１０．６８ｍ前方にフォーカスが合っていることになる。カメラが２５個ある場合、２５枚の画像を一度取り込めば、任意の視差を［表１］から選んで任意のフォーカス画像が得られる。そのようにして得られた画像を図９に示す複数の縦線は模式的に現している。

図１１は、通常レンズの円形瞳によるボケの説明図である。まず、カメラ面内に２次元の方眼状に等間隔に並んだ多眼カメラを想定する。視差量ｚは[数７]でs0=隣接カメラ間の間隔とした。隣接レンズ間隔１２ｍｍで配置された３つのカメラｃａｍ２〜ｃａｍ４によって発生するボケは、例えばｚ＝４(ピクセル)で合成開口によりフォーカスする場合、ｚ＝４（ピクセル）で交わる光軸方向の視差量１の増減に対して、それに直交する方向に横ずれ±１ピクセルを発生する二つの直線で表される。これが３つのカメラ配置に起因する視差＝ボケ量である。カメラがｃａｍ２〜ｃａｍ４を直径とする円内に無数に分布していると仮定すれば、円形の通常のレンズのボケも同様に扱えることになる。すなわち、ｚ＝４(ピクセル)で交わる直線を母線とする円錐（コーン）がレンズ瞳直径２４ｍｍのレンズのボケに相当する。カメラ間隔をレンズ瞳半径に置き換えれば円形瞳のレンズのボケを考えることができる。それより大きなレンズ直径のボケ、小さなレンズ直径のボケも同様にピント位置を頂点とするコーンで与えることができる。ボケのブラーカーネルは、このコーンの各視差での直径の円で与えられる。なお、詳しくは後述するように、円形開口内の重みを均一分布、ガウス分布など任意に変更することができる。
＜カメラ配置のボケ形状＞
図１０は、２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]でs0=隣接カメラ間の間隔としたときの、カメラの配置によるボケカーネルの形状を表している。図８で表されるような等間隔の５×５の配置の場合の視差に対するボケ形状を表している。フォーカス方向は、視差が等間隔になるようにデータがあればよいので、図の黒丸がぼけ形状、又はボケカーネルを表すことになる。これをｘｙ面内で表すと、図１２に示すようになる。Ｍ系列では、図１３、図１４に示すようになる。矢印は、デルタ関数的な重みを表す。焦点位置では矢印の強度は本数倍に大きくなる。これらのボケカーネルを視差方向（方向は物体の奥行き方向のＺ（ラージゼット）方向と同じ。）で積分すると図１５に示すようになる。

図１６は、画像の取り込みから処理の流れを示す。合成開口法によりえら得られた複数枚のフォーカス像を任意ボケアルゴリズムに渡す。任意ボケアルゴリズムの中身は、図１７に記載されており、複数の画像に対し、視差に比例した半径のボケカーネルをコンボリューションする。これらを加算し、光学系のＰSＦ（カメラ配置のボケ形状）の視差に関する積分。ボケカーネルの視差に関する積分した結果でデコンボリューションを行う。

図１７と式の関係を図２１に示した。図１８と図１９は、ピント（視差）を変えて得られる画像を表している。図２０、図２１は、［数１８］に記載の式を導くための説明図である。図２０は、［数１８］の式のように近似することで計算時間を短縮することが可能であることを説明している。本発明では［数１８］の近似式に基づいた説明を「ボケ生成アルゴリズム」と称す。

任意のボケ生成アルゴリズムを構成するボケ処理部３６は、図２２を示すように、複数の多焦点画像データに対して、所望のピント位置から視差に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルの２次元断面(ボケを表す２次元分布関数)を用いてコンボリューション処理を行う。ここで、ピント位置から視差に比例するとは、例えば所望のピント位置からの視差に比例してボケカーネルの２次元断面の半径を大きくしてコンボリューション処理を行うということである。これは、図１１を参照すれば明らかである。

フォーカススタック像算出部３７は、ボケ処理部３６で処理を行った複数の画像データの強度和画像であるフォーカススタック像を求める。なお、強度平均を求めてもよい。ＰＳＦカーネル算出部３８は、合成開口の瞳サンプリング点のフォーカススタックに相当するフォーカススタックＰＳＦカーネルを算出する（図１２〜図１５を参照）。

瞳サンプリング点は、多眼カメラ１０の撮影レンズ２３の配置を表す。ここでは、撮影レンズ２３の配置は、予め決まっているので、フォーカススタックＰＳＦカーネルを算出する必要はない。フォーカススタックＰＳＦカーネルは、ＲＡＭ２９に予め記憶されており、読み出して用いる。１６個の撮影レンズ２３の擬似ランダム配置がＭ系列に従った所定の周期パターンの場合のフォーカススタックＰＳＦカーネルを図１５及び図２３に示す。

画像先鋭化処理部３９は、フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行う。予め決めたカーネルを用いたデコンボリューション処理としては、フォーカススタック像算出部３７で算出したフォーカススタック像に対して、ＲＡＭ２９から読み出したフォーカススタックＰＳＦカーネルを用いたデコンボリューション処理を行って任意のボケ画像データを生成する。

前記フォーカススタックＰＳＦカーネルを用いたデコンボリューション処理は、個眼撮像部の３次元のボケ関数である３次元ＰＳＦの個眼撮像部の光軸方向の積分結果を表す、２次元分布関数であるフォーカススタックＰＳＦカーネルと、ボケ処理部３６でコンボリューション処理を行う時に用いる任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの２つのカーネルを用いたデコンボリューション処理となっている。

ＣＰＵ２４は、任意のボケ画像データを、Ｉ／Ｆ３０を介して記録部３１に記録する。なお、圧縮部を設け、任意のボケ画像データを、例えばＪＰＥＧ方式等の圧縮形式で記録してもよい。また、各フレームメモリ２２から得られる複数の多焦点画像データを記録部３１に記憶してもよい。この場合、複数の多焦点画像データをボケ画像データに関連付けして記憶するのが好適である。

次に上記構成の作用を、図２４を参照しながら簡単に説明する。電源スイッチ１４をオンすると、いずれか一つの個眼撮像部４０から得られる画像データに基づいてスルー画像を生成してＬＣＤ１５に表示する。スルー画像を見ながら構図を決めてシャッタボタン１３を半押し操作する。この半押し操作に応答してＣＰＵ２４は、ＡＥ・ＡＦを制御する。ＡＥ制御は、各個眼撮像部４０で同じ露出になるように制御する。ＡＦ制御は、ピントずらし制御である。この制御は、ＣＰＵ２４がＡＦ部２６を制御して、各撮影レンズ２３のピントが全てでずれるよう撮影レンズ２３を合焦位置に各々移動させる。

そのままシャッタボタン１３の全押し操作がなされると、ＣＰＵ２４は、各個眼撮像部４０を制御して、多焦点画像データ群を各フレームメモリ２２に取り込み、取り込んだ複数の多焦点画像データを画像処理部２５に送る。

画像処理部２５のボケ処理部３６は、複数の多焦点画像データに対して、所望のピント位置から比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルを用いてコンボリューション処理を行う。フォーカススタック像算出部３７は、ボケ処理部３６でボケ処理を行った複数の画像データ毎に画素の強度和画像であるフォーカススタック像を算出する。

ＰＳＦカーネル算出部３８は、ＲＡＭ２９から予め決められているフォーカススタックＰＳＦカーネルを読み出す。画像先鋭化処理部３９は、ＲＡＭ２９から読み出したフォーカススタックＰＳＦカーネルに基づき、ＰＳＦカーネル算出部３８で算出したフォーカススタック像をデコンボリューション処理して任意のボケ画像データを生成する。生成したボケ画像データは、記録部３１で記録さえる。

ここで、本発明の画像処理の特徴を簡単に説明する。まず、複数のフォーカス状態の画像に任意のボケ処理を行ってからこれらの画像の強度和（平均）を求め強度和（平均）像とする。この段階では何のノイズの発生も無い。次に、求めた強度和（平均）像に画像先鋭化処理を行い、任意のボケ画像を生成するが、画像先鋭化は合成開口の瞳サンプリング点のフォーカススタックに相当する、「フォーカススタックＰＳＦカーネル」のデコンボリューションにより行う。このデコンボリューションカーネルには、そのフーリエ変換にゼロ点がないものを用い、復元ノイズが発生することを抑制する。これにより、写真画質の良好なボケ像を形成可能となる。フォーカススタックは、合成開口法、又は撮像素子の光軸方向の移動によりフォーカス状態を変化させながら行ってもよい。
＜ボケアルゴリズム＞
具体的なボケ生成の方法を多眼カメラによる合成開口法を用いる例で説明する。具体的には、撮影対象物体の３次元の強度分布をIo(X,Y,Z)とする。Ｚ軸を撮影レンズ２３の光軸方向、ｘ，ｙ方向を撮像素子２０の横、縦方向とする。ｚ軸は視差量（視差＝カメラ間隔×焦点距離/Ｚ、Ｚはレンズ瞳位置から被写体までの距離。）である。センサーの面内方向ｘｙは、前述のように「ｘ＝Ｘ×ｆ／Ｚ，ｙ＝Ｙ×ｆ／Ｚ」の式から分かるように倍率がかかって撮影される。レンズのボケ具合を表す点像強度分布の３次分布がPSFc(x,y,z)で表されるカメラで、ピント位置をカメラの光軸にそった視差ｚ_rにピントを合わせて撮影した像Ic(x,y,z_r)は［数１１］に記載の式に示すIc(x,y,z,z_r)のｘ,ｙ平面への投影で、式としては［数１２］に記載の式で示される。［数１１］の式にあるPSFc(x,y,z)は、例えば円形開口の場合光軸にそって円錐状の関数で円錐の頂点のピント位置が視差ｚr相当に来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は［数６］の式で示される。積分範囲（ｚｍｉｎ〜ｚｍａｘ）は、物体の存在する領域と概ね一致させる。Io(x,y)は、シーンをボケのない理想ピンホールカメラで像面に投影された絵（全焦点画像）と等価である。

［数１１］に記載の式にあるPSFc(x,y,z)は、例えば円形開口の場合、光軸にそって円錐状の関数で円錐の頂点がピント位置zrに来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は［数１３］に記載の式で示される。積分範囲（z min~z max）は物体の存在する領域と概ね一致させる。Io(x,y)はシーンをボケのない理想ピンホールカメラで像面に投影された絵（全焦点画像）と等価である。

［数１３］に記載の式よりIc_pn(x,y)はPSFc_pnとIo(x,y)のコンボリューションであるので、［数１５］に記載の式によりIo(x,y)が求まる（Io(x,y)は本発明のボケ生成には使わないが参考のため算出している）。ここでPSFc_pnは、［数１４］に記載の式で示され、PSFc(x,y,z)の視差ｚ方向の積分されたものである。これをフォーカススタックカーネルと呼ぶ。なお、添え字ｃはカメラの状態を示す。ｐnはパンフォーカスを示す。

［数１４］の式に記載の積分範囲を考える。ＰＳＦｃは、ピントを結ぶ位置をｚ軸の原点とする（例えば図２５参照）。物体の範囲は、無限遠＝ｚｍｉｎ〜至近距離＝ｚ ｍａｘであるので、コンボリューションされたＰＳＦｃは、図２５に示すＰＳＦｃ（ｘ，ｙ，ｚ）〜ＰＳＦｃ（ｘ，ｙ，ｚ−ｚ ｍａｘ）の範囲で存在しうる。フォーカススタックの積分範囲は図から無限遠の物体に対し「−ｚ ｍａｘ〜０」、至近距離の物体に対して「０〜ｚ ｍａｘ」となる。これらの積分の結果は、前ピンと後ピンでＰＳＦの形が非対称な場合、例えば図１３、及び図１４の場合は、これらの平均とすることが望ましく、したがって、一般のＰＳＦに対しても［数１４］の式に記載の積分範囲としておけば十分であることが実写映像によって確認された。この積分範囲は、至近距離と無限遠の中間の部分に関しては「−ｚ ｍａｘ／２〜＋ｚ ｍａｘ／２程度が最適となるので、被写体までの距離に応じて積分範囲を可変としてもよい。また前述のように近距離撮影ではz max は被写体のうちリフォーカスの可能性のある範囲内でカメラからもっとも遠い位置としても差し支えない。

［数１１］に記載の式と同様にボケ関数PSFc(x,y,z)をPSFa(x,y,z)に変更して任意のフォーカス位置に相当する視差ｚ1にピントを合わせて撮影した像は、［数１６］に記載の式で示される。［数１７］に記載の式は、ＰＳＦを３次元にコンボリューションして得られる３次元の像であり、ＰＳＦｃの光学条件でピント位置をシフトしながら取得できる輝度分布を示す。これは３次元のデータとなる。

［数１７］の式から［数１８］の式を得る。［数１８］の式のうちPSFc_pn(x,y)によりデコンボリューションされる部分、つまり［数１９］の式の「Ａ」は、視差zrにピントを合わせて得られた画像にPSFa(x,y,z-z_r)をコンボリューションし、さらに視差ｚに関して積分することを示している。これは、前述した実施例のボケ処理部３６、フォーカススタック像算出部３７の処理に相当する。

なお、［数１８］に記載の式から［数２０］に記載の式を得ることができる。このため、複数のフォーカス位置の画像Ic_p(x,y,z)を合成開口法などで撮像し、これをPSFc(x,y,z)により３次元デコンボリューションを行うことでIo(x,y,z)物体の強度分布を求め、これに任意のピント位置に相当する視差zrに設定したPSFa(x,y,z-zr)（任意のボケカーネル）を２次元コンボリューションし、その結果を視差zで積分し、x,y平面に投影することで任意のボケ像、及び任意のフォーカス位置にリフォーカスされた像を得てもよい。

この場合、ボケ画像生成手段としては、図７６に示すように、３次元デコンボリューション処理部４５、２次元コンボリューション処理部４６、及び画像生成部４７とで構成すればよい。３次元デコンボリューション処理部４５は、画像取得部４８から取得した、視差が等間隔になっている複数の多焦点画像（焦点を複数の位置に合わせて撮影した画像）を３次元データとみなし、３次元デコンボリューション処理を行って物体の強度分布を求める。２次元コンボリューション処理部４６は、３次元デコンボリューション処理済みの画像に対して任意のボケカーネルによる２次元コンボリューション処理を行う。画像生成部４７は、２次元コンボリューション処理済みの画像に対して平面に投影して任意のボケ画像を生成する。

なお、［数１８］に記載の式の右辺は、計測値Ic_p(x,y,z)と装置固有のフォーカス設定値に相当する視差zrにピントが合ったときの所望のボケカーネル：PSFa(x,y,z-zr)、フォーカススタックＰＳＦのボケカーネル：PSFc_pn(x,y)となる。添え字のaは、カメラの状態を示す。また以下では、定数は省略している。

［数１８］の式のPSFa_stk(x,y)は、［数２１］の式で示される（図２５参照）。［数２１］記載の式の積分範囲もＰＳＦｃと同様に、図２６に示す関係となり、フォーカススタックの積分範囲は、同図から「−ｚ ｍａｘ〜ｚ ｍａｘ」とする。これも至近距離と無限遠の中間的な距離の物体にフォーカスをあわせる際に「−ｚ ｍａｘ／２〜ｚ ｍａｘ／２」など、最適な範囲に変更させても良いが、一般的には「−ｚｍａｘ〜ｚｍａｘ」で問題ない。

［数１８］の式は、実験的には以下のように確かめられる。ＰＳＦをガウス分布で表す場合、カメラのPSFc(x,y,z)に対して新たにボケを生成するためのPSFa(x,y,z-z_r)は、それぞれ［数２２］［数２３］の式で示される。C₁(z),c₂(z)は、ガウス分布の標準偏差で、［数２４］［数２５］の式で示される。ガウス分布のボケカーネルの半径は、標準偏差に比例する。z_rは任意のボケ像を生成する際の設定フォーカス位置を示し、任意のボケカーネルの光のコーンが収束する場所を示す。つまり、ボケカーネルは、図２７に示すように、ピントを合わせたい距離z_rで光のコーン（円錐ボケ形状又はぼけカーネル）が最も絞られた（収束した）点になる。

図２８に示すトレース２がPSFc(x,y,z)の標準偏差c₁(z)、トレース３がPSFa(x,y,z-z_r)の標準偏差c₂(z-z_r)を示している。ここではデフォーカスに相当する視差は５ピクセルとする（例えばz_r=５（ピクセル）とする）。図２８に示す横軸は、光軸の方向にとった視差量ｚを示す。縦軸は標準偏差を示す。トレース１は、［数２６］の式にあるPSFca(x,y,z,z_r)の標準偏差c_ca(z,z_r)を示す。標準偏差c_ca(z,z_r)は、［数２７］の式で与えられる。この場合、物体はｚ＝０にある。物体は凹凸に応じてｚの任意の値をとるが、［数１７］の式のコンボリューションの結果として観察されるIc_p(x,y,z)では、PSFc(x,y,z)の光のコーンの中心は常に物体表面に位置することになる（図２７参照）。つまり、物体表面に作用するボケ分布は、［数１９］の式のコンボリューションにより、PSFca(x,y,z,z_r)となる。

一方、所望のデフォーカス位置でのボケ半径を［数２９］の式のボケ関数PSF₃(x,y,z)とし、c₃(z)＝k₃＝一定とすると、合成ボケ半径PSFca3(x,y,z)の標準偏差は、図２９のトレース４で示される。同図にPSFc(x,y,z)の標準偏差c₁(z)、PSFa(x,y,z)の標準偏差c₂(z)を記載した。合成ボケ半径PSFca3(x,y,z)は、［数２８］に記載の式で示され、標準偏差は、［数３０］に示す式となる。また、ボケ半径c₃(z)=k₃をトレース６として示した。

例えば、係数k1=2,k2=1,k3=5とする。図２９に示すように、ｚ＝０でトレース１の値は５となる。図２８のトレース３はk2=1でフォーカス５としたので、ｚ＝０での標準偏差は５である。この条件でのトレース１の最小値は約４．５で、５に対して約１０％小さくなっているが、トレース１はトレース２のｚ方向の平行移動とみなせる。［数１９］の式のｚ方向の積分を行った後はｚ方向の情報はなくなるので、トレース１とトレース２のｚ方向の積分結果は同じものとみなせる。これが、［数１８］の式の近似を意味するものである。

以上は、ＰＳＦを表す関数をガウス関数としたが、これを、円形開口を表す関数、合成開口法の瞳サンプリングポイントを表す関数としてシミュレーションした結果、ほぼ同等の効果が得られることが分かった。つまり、本手法はさまざまなボケ関数を持つハードウェアに対して、さまざまなボケの形状の像を与えることが可能である。

このように本発明では、所望の画像を取得画像から直接得ることができる。本発明では、［数１７］に記載の式で示されるように、物体の３次元輝度分布と３次元ボケ関数に基づく３次元コンボリューションモデルで３次元結像状態を表している。そのため、結局［数１８］の式の２次元画像のデコンボリューション計算で所望の２次元画像を求めることができる。

多眼カメラ１０は、６点法等でカメラキャリブレーションを行う。そして、レンズ中心の結像面内での位置（s,t）、及び各撮影レンズ２３の焦点距離等の定数は、計測値を用いる。なお、カメラの光軸の倒れ等の誤差量は、カメラキャリブレーションにより除去する。光軸の倒れはディストーション成分として補正される。

図８において、撮影レンズの中心は結像面（s,t）に位置しており、２５個（５行×５列）の個眼撮像部をD(s,t)で示す。物体面と結像面は平行で、合成開口法により結像面から任意の視差ｚに相当する距離Ｚにある、物体面に合焦させる。

本実施例の多眼カメラ１０の撮影レンズ２３の焦点深度は、深く、撮影レンズ２３は、近距離から無限遠までパンフォーカスと考えてよい。撮影レンズ２３が明るく焦点深度が浅く、撮影レンズ２３毎のＡＦ（通常のレンズの前後によるピント合わせ）が必要な場合は、予めピントを合わせたい被写体に撮影レンズ２３毎にＡＦをかけてもよい。その場合にリフォーカスする際は既知のＭＴＦ、ＰＳＦデータから、ＭＴＦの劣化を補うことが望ましい。

合成開口法によらず、通常の単眼の撮影レンズ２３のフォーカス調整（像空間で空間像と撮像素子２０の光軸方向の相対位置を変換させる等での調整）で複数のピント位置の画像を得る場合、多眼カメラの場合に視差量を求める際に用いるレンズ間隔の代わりに瞳半径から、［数７］または［数８］に記載の式からから視差量を求め、視差量が等間隔となるようにフォーカス距離を決める。例えば３５ｍｍフルサイズカメラの場合、ｆ＝５０ｍｍでは例えばＦナンバーを２として、瞳半径は、５０／（２）＝２５ｍｍであるが、先に述べたように、この値「２５」の1/4程度とすればよい。各フォーカス位置での画像を取得し、視差量が等間隔の画像群を得れば、そのあとのボケアルゴリズムの処理は多眼カメラの合成開口法を用いた場合と同様である。（フォーカス調整は、フォーカスごとにレンズを繰り出す以外に、センサーの光軸方向での位置を変える、レンズの収差を換えて像面を変化させて各フォーカス位置での画像を取得する等の方法がある。）
＜任意ボケ生成＞
合成開口法のフォーカシングにより、複数のピント位置に合わせた多焦点画像群を用いて処理を行う点について以下に説明する。

［ボケ生成カーネル：円形開口］
ボケ生成カーネルとして円形開口のデフォーカスボケを生じさせる場合、ボケカーネルPSFa(x,y,z)は、［数３１］に記載の式で示される。任意に設定されるボケカーネルの半径r_a(z)は、［数３２］に記載の式で与えられる。定数Apaを任意に設定することで所望のボケの大きさが得られる。また、z方向にオフセット、例えばzrを与える（「z」を「z-zr」に置き換える）ことにより、任意のピント位置zrにピントを合わせることができる。

[ボケ生成カーネル：ガウス開口]
ガウスボケの場合は、［数３３］に記載の式のボケカーネルPSFgss(x,y,z)を用いる。Ｃは定数。ガウスボケの大きさは、［数３４］に記載の式によりσ_aを任意に設定することにより調整することができる。

[任意視点]
任意視点のボケカーネルPSFshift(x,y,z)を用いれば、図２８に示すように、任意視点のオールフォーカス像が得られる。ここで、定数a_xs,a_ysを任意に設定して視点を任意に設定する。

また、フォーカススキャンして計測される像Ic_shift_p(x,y,z)は、［数１７］の式に代わって［数３４］に記載の式で示される。

任意のボケを示すＰＳＦ、PSFa(x,y,z)のぼかしを含めた［数３５］の式の視点の視差ｚ１にリフォーカスさせた像は、［数３７］に記載の式で示される。視点をずらしたＰＳＦのフォーカススタックは、［数３８］に記載の式で示される。

多眼カメラ１０のレンズ配置は、瞳サンプリング点を表す。瞳サンプリング点は、フォーカススタックした際に、フォーカススタックボケカーネルとして作用する。フォーカススタックボケカーネルは、［数１４］に記載の式のPSFc_pn(x,y)で表される。フォーカススタック前の瞳サンプリング点は、PSFc(x,y,z)である。所望の像を［数１８］に記載の式で得るので、フォーカススタックカーネルPSFc_pn(x.y)のデコンボリューションを正確に行うため、PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。これはPSFc_pn(x,y)のフーリエ変換の逆数をかけてから逆フーリエ変換することでデコンボリューションを行えるようにするためである。［数１８］に記載の式のデコンボリューションは、［数３９］に記載の式で示される。

ところで、PSFa_stk(x,y),PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。PSFa(x,y)は、円形開口やガウス関数が望ましい。PSFa(x,y)に円形開口を用いた場合、PSFa_stk(x,y)は［数４１］、そのフーリエ変換は［数４２］で示される。そして、u,vは、［数４３］［数４４］で示される。

PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが必要で、撮影レンズ２３の配置は、縦横Ｍ系列擬似ランダム数列を用いた所定パターンを含む多くの配置がある円周配置、矩形配置、方眼配置もこの条件を満たす。Ｍ系列ランダム配置のフォーカススタックカーネルは、前述したように例えば図２３に示したものとなる。このカーネルのフーリエ変換の振幅にゼロ点は無く、［数３９］の式でゼロ割による発散などの不都合は生じない。また振幅の変化も２０倍程度なので特定の周波数のノイズを拾うことも無い。

［数１９］に示す式の計算は、実際にはフーリエ変換を用いて［数４０］に記載の式を用いる。ガウス関数のフーリエ変換は、ガウス関数、円形開口のフーリエ変換は、ベッセル関数で表せられる。

＜ボケ処理を施した画像の評価＞
図３０は、一般的なカメラで撮影した画像を示す。図３１は、図３０の画像と同じ構図で、従来の素の合成開口法を用いて得たボケ画像を示す（フォーカス位置１．３４ｍ、（背景ボケ：隣接カメラ間視差８ピクセル相当：２５眼）。

これに対し、本実施形態のＭ系列１６眼の多眼カメラ１０（背景ボケ：隣接カメラ間視差８ピクセル相当）では、焦点位置５０ｍｍ、絞りＦ１に相当するボケの大きさを指定することで、図３２に示すようなボケ画像が得られる。また、焦点位置５０ｍｍ、絞りＦ１．４に相当するボケの大きさを指定した時に得られるボケ画像を図３３に示す。さらに、焦点位置５０ｍｍ、絞りＦ２に相当するボケの大きさを指定した時に得られるボケ画像を図３４に示す。なお、本実施形態のボケ処理ではボケカーネルに均一重みの円形開口を用いた。

同様に、ボケカーネルに均一重みの円形開口を用い、焦点位置５０ｍｍ、絞りＦ４に相当するボケの大きさを指定した時に得られるボケ画像を図３５に示す。そして、焦点位置５０ｍｍ、絞りＦ４２に相当するボケの大きさを指定した時に得られるボケ画像を図３６に示す。このように、ボケ処理部３６にボケの半径を指定してボケ量を調整することで、背景ボケを変えた従来技術で説明したボケよりも美しいボケ画像を生成することができる。さらに、パラメータを調整することで、例えば背景を意図的に円形開口やガウシアン等でボケさせることができる。

＜Ｍ系列２５眼で絞り値を変化させてボケ処理を施した画像の評価＞
［数３］で説明したカメラの配置を採用した場合、フォーカス位置１．３４ｍ（背景ボケ：隣接カメラ間視差８ピクセル相当）のＭ系列２５眼では、焦点位置５０ｍｍ、絞りＦ１に相当するボケの大きさを指定することで、図３７に示すようなボケ画像が得られる。また、焦点位置５０ｍｍ、絞りＦ１．４に相当するボケの大きさを指定した時に得られるボケ画像を図３８に示す。さらに、焦点位置５０ｍｍ、絞りＦ２に相当するボケの大きさを指定した時に得られるボケ画像を図３９に示す。焦点位置５０ｍｍ、絞りＦ４に相当するボケの大きさを指定した時に得られるボケ画像を図４０に示す。そして、焦点位置５０ｍｍ、絞りＦ４２に相当するボケの大きさを指定した時に得られるボケ画像を図４１に示す。これによれば、図３２〜図３６の画像に比べて、ボケが素直になっていることが分かる。なお、これらのボケ処理でもボケカーネルに均一重みの円形開口を用いた。

［［数１８］式の近似以前の３次元でコンボリューションを行う場合について］
本発明の等間隔の視差に基づいて構造化した画像データを用いる、別の応用例としては、［数１８］に記載の式の３次元デコンボリューションを行い、物体の輝度分布（I0(x,y,z)）を求め、これに任意の２次元ブラーカーネルを２次元でコンボリューションし、この結果得られた３次元強度分布をｘ，ｙ面に投影（視差ｚに関して積分）する画像生成方法である。３次元のデコンボリューションには３次元のフーリエ変換が必要で、計算時間が長くなるため、将来的には有望である。

なお、特許第4437228号公報に記載の発明（従来発明）は、画像をフーリエ変換して得られるフーリエ変換画像から任意の視点、絞り、焦点合わせに対応する３次元以上のボケフィルタを用いてフィルタ処理をおこない、これを逆フーリエ変換し、切り出し処理をしている。このため３次元以上のフィルタリング処理が必要となり、フィルタリング処理に光軸方向の周波数特性がからみ、複雑で直感的に分かりにくいものになっている。一方、本発明では２次元のブラーカーネルによるボケ生成をおこなうのでそのような不都合は生じない。

また、上記の従来発明でも撮像空間を表す直交座標系において、光軸方向に等間隔の焦点合わせの異なる複数の画像を用いていたが、光軸方向を物体までの距離Ｚに対し、像空間での光軸方向の座標zをz=1-f/Zと変換していたため、シフト・インバリアントな関係は構築できたものの、奥行き方向の尺度に「視差」を用いるという発想が無かったために、ボケ量と光軸方向の関係を考慮することができず、効率のよい処理が行えなかった。これに対し、本発明では物体の奥行き方向をx、y方向と同様に長さの単位を持つ、「視差」で表して撮影データを取得しているので、たとえば、画素ピッチ（出力画素ピッチまたはセンサーの画素ピッチ）に比例した視差量で、効率よく、最小限の画像枚数をもって奥行き方向（光軸方向）をサンプリングすることができる。また、対物レンズのピント調整をおこなって、複数のフォーカス状態の画像を取得する際も、視差を［数８］の式に基づいて計算するため、シフト・インバリアントな３次元結像状態が得られ、計算誤差が発生せず、任意ボケ生成画像に変換ノイズが発生しない。

＜任意ボケ像生成の画像評価＞
Ｍ系列２５眼のカメラ配置で、フォーカス位置を２０箇所、ボケカーネルには円形開口を使用して、指定した距離をボカしたボケ画像を生成した（図４１〜４８参照）。この場合、焦点距離は５０ｍｍ、絞りはＦ１相当になっており、屋内で撮影している。
図４２はリフォーカス距離を０．７１ｍ、
図４３はリフォーカス距離を０．８２ｍ、
図４４はリフォーカス距離を０．９７ｍ、
図４５はリフォーカス距離を１．２０ｍ、
図４６はリフォーカス距離を１．５０ｍ、
図４７はリフォーカス距離を２．１０ｍ、
図４６はリフォーカス距離を３．６０ｍ、
図４９はリフォーカス距離を１０．７ｍに、それぞれ指定して生成している。

また、同じ撮影条件で屋外で撮影した画像を図５０〜図５５に示す。
図５０はリフォーカス距離を０．９７ｍ、
図５１はリフォーカス距離を１．２０ｍ、
図５２はリフォーカス距離を１．５０ｍ、
図５３はリフォーカス距離を２．１０ｍ、
図５４はリフォーカス距離を３．６０ｍ、
図５５はリフォーカス距離を１０．７ｍに、それぞれ指定して生成している。

［任意ボケ像生成の拡張機能］
本実施形態を用いれば、任意のボケ像を生成できるので、既存の複数種類の撮影レンズのＰＳＦの複数のフォーカス位置のデータを、予めカメラに記憶させておけば、レンズを交換しなくても、所望のレンズを用いたと同じ結果の画像を得ることができる（レンズエミュレーション機能を有する）カメラを実現することができる。また、絞りに関係なくボケ量を撮影後、撮影中に変更できる。カメラからパラメータを入力することで、既存のフォーカスターゲット、撮影倍率、トリミングの任意変更に加えて、さらにボケ量、視点、撮影後フォーカスターゲット変更、及びリフォーカスを任意に変更することができる。

［Ｍ系列瞳サンプリングによる任意視点画像生成］
任意視点画像生成は、公知であるが瞳サンプリングをＭ系列配置とすることでデコンボリューションがＦＦＴ計算により高速に行える。任意視点の画像、又は任意視点のステレオ画像を生成することができる内視鏡、実態顕微鏡、顕微鏡等では、採用し易くなる。その場合、プレノオプティックスタイプ（多眼、複数対物レンズタイプ）よりも、ライトフィールドタイプ（単一対物レンズ＋マイクロフィールドレンズアレイによる瞳分割）の方が適している。瞳２５分割（使用はＭ系列１６眼）でＶＧＡ画素数を達成するためには総画素数７６８万画素で十分実現可能である。

［オールフォーカス（多画素化）画像生成］
本実施形態を用いてオールフォーカス画像を生成することができる。この場合には、撮影レンズの２次元配列がＭ系列擬似ランダム系列である所定のパターンに設定された多眼カメラを用いて撮影をする合成開口撮影法により、複数の多焦点画像群を取得し、強度平均を算出して、図５６に示すような強度平均像（フォーカススタック）画像を得る。なお、図５６に示すフォーカススタック画像は、センター視点となっている。そして、図５６に示すフォーカススタック画像を、所定のフォーカススタックＰＳＦカーネルでデコンボリューションする処理を施すことで、図５７に示すように、オールフォーカス画像を生成することができる。

［ボケ生成＋任意視点画像生成］
任意視点画像生成処理とボケ生成処理とを組み合わせれば、例えばステレオ画像のピント位置以外の像を故意にぼかすことができる。そうすればピント位置意外の大きな視差の像を見たときに発生する、目の焦点位置（ディスプレイ位置）と視差量があっていないことに起因する不快感を低減することができる。

例えば、前記合成開口撮影法により複数の多焦点画像群を取得し、任意の視点の視差を加えて強度平均を算出し、算出した強度平均像に対して任意の視点の視差を加えたフォーカススタックＰＳＦカーネル（視差付きフォーカススタックＰＳＦカーネル）でデコンボリューションを施す。図５８及び図５９に示す画像は、多焦点画像群に対して任意視点の視差を加えたフォーカススタックＰＳＦカーネル（同図に示す視点付きフォーカススタックカーネル）でデコンボリューションする処理を施した画像である。

ここで、Ｍ系列２５眼のカメラ配置、カメラ間隔が１２ｍｍピッチの撮像装置を使用して屋内で掛け時計を撮像して視差付きの任意視点のボケ画像を生成し、掛け時計のボケ味に着目し、どのくらいの視差まで許容することができるかを評価してみた。
図６０は、撮影距離＝５．３ｍ、掛け時計位置での隣接変カメラ間視差０ピクセル相当の画像。
図６１は、撮影距離＝３．６ｍ、掛け時計位置での隣接変カメラ間視差２ピクセル相当の画像。
図６２は、撮影距離＝２．１ｍ、掛け時計位置での隣接変カメラ間視差３ピクセル相当の画像。
図６３は、撮影距離＝１．５ｍ、掛け時計位置での隣接変カメラ間視差５ピクセル相当の画像。
図６４は、撮影距離＝１．２ｍ、掛け時計位置での隣接変カメラ間視差７ピクセル相当の画像。
図６５は、撮影距離＝０．９７ｍ、掛け時計位置での隣接変カメラ間視差９ピクセル相当の画像。
図６６は、撮影距離＝０．８９ｍ、掛け時計位置での隣接変カメラ間視差１０ピクセル相当の画像。
図６７は、撮影距離＝０．８２ｍ、掛け時計位置での隣接変カメラ間視差１１ピクセル相当の画像。
図６８は、撮影距離＝０．７１ｍ、掛け時計位置での隣接変カメラ間視差１３ピクセル相当の画像。
図６９は、撮影距離＝０．６３ｍ、掛け時計位置での隣接変カメラ間視差１５ピクセル相当の画像。

図６０〜図６９を参照すると、視差１０ピクセルまでは、掛け時計のボケに大きな破綻が見られないことが分かった。これから、１２ｍｍピッチのカメラ配置の場合、視差が１１ピクセル以上では掛け時計のボケが離散的に見えるので避けた方が無難である。したがって、あまりぼかすと汚いため、ボケの視差が最大１０ピクセル（ＶＧＡの場合）程度がよい。これは、ＶＧＡ（６４０×４８０ドット）の場合、横方向の６４０×１０＝１７％程度である。これにより最短撮影距離は１ｍ程度になる。

この評価が許容される視差量としては、カメラ配置に依存する。そこで、例えば、５×５配列の配列として、９眼を９０度ずつ回転させて４パターンで計算し（［数４５］に記載の式）、これらの強度平均像をとると、ボケがいっそう素直になることが分かった。これは重み付けが中高で、ガウス分布になっているためと考える。この場合の多画素化は、９眼で１回行い、その後、多画素化された４組の画像からさらに２回目の多画素化を行い、最終的に強度平均を求めることが望ましい。

［カメラごとにフォーカス設定距離を変えておく法］
合成開口のカメラとしては、１６眼以上のカメラを用いる。また、カメラを低背高にするには、撮像素子の予備寸法を小さくする必要がある。このため、画素が小さくなり、場合によっては画素数が不足する。例えばＶＧＡの１／６インチカメラ（有効対角３．５ｍｍ）を１６個使って４００万画素の出力を得ようとする場合、レンズの解像力は各々４００万画素の解像度（対角約３０００画素）が必要となるので、約１〜２μｍの解像度が必要となる。このときＦナンバー２より明るいレンズが求められる。常に最高の解像度が必要な場合、フォーカス調整機構が必要となる。一般にはボイスコイルモータや静電容量式のＭＥＭＳ（Micro Electro Mechanical Systems）が用いられる。フォーカスの計測は多眼カメラの視差を用いる。しかし、撮影後に任意の場所にピントを合わせる、いわゆるリフォーカスができなくなる。

そこで、本実施例では、前述したように、被写体の最短撮影距離から、無限遠までを個眼撮像部４０の数で分割して、各々異なる領域にフォーカスさせた状態に設定する。そして、合成開口でのフォーカシングをおこなった後、視差のない部分では複数（例えば１６個）のピント状態の個眼撮像部４０の画像が有効になるので、これらの強度和をフォーカススタックとみなし、１６個の撮影レンズの合成ＰＳＦ（多焦点画像群を合成したもの）を表すＩＰＳＦ（インテグラルＰＳＦ）でデコンボリューションしてやることで、常に、最短撮影距離（実質５０ｍｍ内外）から無限遠(実質８０００ｍｍ内外)までを合成開口によるリフォーカスの可能な範囲とすることに成功した。複数（Ｎ台）カメラのフォーカスオフセット量(１〜Ｎ)は各々のカメラの受け持ち範囲でのボケ量が均一になるようにフォーカスオフセット量（ｎ）は、視差が等間隔になるように設定する。

上記実施形態では、多眼カメラ１０を用いて複数の多焦点画像を同時に取得しているが、一般的な一眼のカメラを用いて、ピントをずらしながら時系列的に複数回の撮影を行って複数の多焦点画像を取得してもよい。

また、上記各実施形態では、電子カメラとして説明しているが、本発明ではこれに限らず、撮影レンズ２３、撮像素子２０、ＡＦＥ２１、及びフレームメモリ２２等を省略し、画像処理部を備えた画像処理装置又はその方法としてもよい。この場合には、予め撮像済みの複数の多焦点画像データを取り込むための記憶部を設ければよい。

画像処理部が実行するためのプログラムは、本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的、磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。そこで、本発明としては、コンピュータを、前述した画像処理装置として機能させるためのプログラムとしてもよい。また、そのプログラムを記録した記録媒体としてもよい。

[デプスマップによる方法]
衆知のステレオカメラを用いるステレオマッチングなどの手法によって、物体までの距離を求め、デプスマップを取得する方法が知られている。本発明では図７０に示されるように合成開口法のリフォーカスの各フォーカス位置での画素の一致度を公知の分散や、max-minの値などの評価量から求め、画素ごとの距離データを取得する。これは２次元データなので一般にデプスマップと呼ばれる。デプスマップは視差（距離）に応じて例えば図７１〜図７３に示すように分解される。

本発明において新たに見出された知見によれば、デプスマップと合成開口法を用いた画像から従来よりも優れたボケ像を生成可能であることが判明した。

図７７に示すように、視差又はピント位置をずらした複数の画像を取得する画像取得部４９、デプスマップ情報取得・変換部５０、領域分割部５１、コンボリューション部５２、及びボケ画像生成部５３で構成されており、これらはバス５４により接続され、ＣＰＵ５５により統括的に制御される。なお、取得した複数の画像は、メモリ５６に格納される。

上記構成の作用を、図７８を参照しながら簡単に説明する。画像取得部４９は、視差又はピント位置をずらした複数の画像を取得する。ＣＰＵ５５は、画像取得部４９から取得した複数の画像をメモリ５６に格納する。ＣＰＵ５５は、デプスマップ情報取得・変換部５０を制御し、デプスマップ情報取得・変換部５０は、ステレオマッチング手法によりデプスマップ情報を取得する。このとき、デプスマップ情報の光軸方向の尺度を視差に置き換える。デプスマップ情報は、等間隔の視差となるようにデータ化しておく。

ＣＰＵ５５は、領域分割部５１を制御し、領域分割部５１は、合成開口法により任意のピントに合わせた画像を一枚生成し、前記デプスマップ情報に応じて画像をピントが合っている領域毎に分割する。

ＣＰＵ５５は、コンボリューション部５２を制御し、コンボリューション部５２は、分割した領域ごとに異なるブラーカーネル（ボケ関数）をコンボリューションし、各領域の画像をぼかす。ボケ関数の大きさは、ベストフォーカス点からの視差量に比例させる。

ＣＰＵ５５は、ボケ画像生成部５３を制御し、ボケ画像生成部５３は、コンボリューション後の領域の画像を統合する。

この様な構成をよれば、多眼カメラの合成開口リフォーカス後の多画素化された画像を用いてデプスごとに分割、ボケ処理を行うので、多画素化が容易に行えるという特徴がある。従来はデプスマップを用いていたが、一眼のカメラ出力に対してボケ処理を行っていたので多画素化ができていなかった。また本発明では視差が画素ピッチの整数倍になるごとにデプスマップをつくるので効率よく自然に見えるボケ処理が行える。また、このような処理により、合成開口法によるカメラ配置に起因するボケの癖を完全に除去可能で、より顕著なボケを作ることができる。

１０ 多眼カメラ
１１ 撮影開口
２０ 撮像素子
２３ 撮影レンズ
２５ 画像処理部
３６ ボケ処置部
３７ フォーカススタック像算出部
３９ 画像鮮鋭化処理部
４０ 個眼撮像部

Claims (37)

1. 複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケ画像を生成することを特徴とする画像生成方法。
2. 請求項１に記載の画像生成方法において、
   前記ボケ処理は、任意のボケカーネルを用いたコンボリューションをする処理を含むことを特徴とする画像生成方法。
3. 請求項１又は２に記載の画像生成方法において、
   前記画像先鋭化処理は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。
4. 請求項２に記載の画像生成方法において、
   前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数となっていることを特徴とする画像生成方法。
5. 請求項３に記載の画像生成方法において、
   前記カーネルを用いたデコンボリューション処理は、撮影カメラの３次元のボケ関数である３次元ＰＳＦの前記撮影カメラの光軸方向の積分結果を表す、２次元分布関数であるフォーカススタックＰＳＦ（point spread function）カーネルと、前記ボケ処理部でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの２つのカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。
6. 請求項１に記載の画像生成方法であって、
   前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、合成開口法によるピント合わせによってピント合わせが行われた結果得られる複数の合焦状態の画像であることを特徴とする画像生成方法。
7. 請求項5に記載の画像生成方法であって、
   前記撮影カメラの３次元のボケ関数である３次元ＰＳＦは多眼カメラのカメラ配置を表すことを特徴とする画像生成方法。
8. 請求項１に記載の画像生成方法において、
   前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が等間隔となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。
9. 請求項１に記載の画像生成方法において、
   前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が前記撮像素子の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。
10. 請求項１に記載の画像生成方法において、
    前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が、前記カメラ（撮像素子）から出力される出力画像の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。
11. 請求項２に記載の画像生成方法において、
    前記任意のボケカーネルは、ピントを合わせたい被写体までの距離で瞳形状が最も絞られた点になっていることを特徴とする画像生成方法。
12. 入力される複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理を行うボケ処理部と、
    前記ボケ処理部でボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出するフォーカススタック像算出部と、
    前記フォーカススタック像を画像先鋭化処理して任意のボケ画像を生成する画像先鋭化処理部と、
    を備えたことを特徴とする画像生成装置。
13. 請求項１２に記載の画像生成装置において、
    前記ボケ処理部は、任意のボケカーネルを用いたコンボリューション処理を行うことを特徴とする画像生成装置。
14. 請求項１２又は１３に記載の画像生成装置において、
    前記画像先鋭化処理部は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行うことを特徴とする画像生成装置。
15. 請求項１４に記載の画像生成装置において、
    前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数であることを特徴とする画像生成装置。
16. 請求項１４に記載の画像生成装置において、
    前記カーネルを用いたデコンボリューション処理は、撮影カメラの３次元のボケ関数である３次元ＰＳＦの前記撮影カメラの光軸方向の積分結果を表す２次元分布関数である、フォーカススタックＰＳＦカーネルと、前記ボケ処理部でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当するフォーカススタックボケカーネルとの２つのカーネルを用いたデコンボリューション処理であることを特徴とする画像生成装置。
17. 請求項１４に記載の画像生成装置であって、
    前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、合成開口法によるピント合わせによってピント合わせが行われた結果得られる複数の合焦状態の画像であることを特徴とする画像生成装置。
18. 請求項１４に記載の画像生成装置であって、
    前記撮影カメラの３次元のボケ関数である３次元ＰＳＦは多眼カメラの撮像部の配置を表すことを特徴とする画像生成装置。
19. 請求項１２に記載の画像生成装置において、
    前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が等間隔となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。
20. 請求項１３に記載の画像生成装置において、
    前記任意のボケカーネルは、ピントを合わせたい被写体までの距離で瞳形状が最も絞られた点になっていることを特徴とする画像生成装置。
21. コンピュータを、請求項１２から２０のうちのいずれか１項に記載の画像生成装置として機能させるためのプログラム。
22. 請求項２１記載のプログラムを記録した記録媒体。
23. 複数の合焦状態の画像を取り込む撮像部と
    前記複数の合焦状態に相当する視差量の画像に対して、所望のピント位置に相当する視差値から視差量に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルを用いたコンボリューション処理を行うボケ処理部と、
    前記ボケ処理部でボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出するフォーカススタック像算出部と、
    予め決められている電子カメラの３次元のボケ関数である３次元ＰＳＦの前記電子カメラの光軸方向の積分結果を表す、２次元分布関数であるフォーカススタックＰＳＦカーネルに基づき、前記フォーカススタック像をデコンボリューション処理して任意のボケ画像を生成する画像先鋭化処理部と、
    を備えたことを特徴とする電子カメラ。
24. 請求項２３に記載の電子カメラであって、
    前記複数の合焦状態の画像を取り込む撮像部は、複数のカメラから構成される多眼カメラであり、合成開口法によるピント合わせによってピント合わせが可能であり、合成開口法により任意のピント位置にフォーカスがあった複数の合焦状態の画像を出力可能であることを特徴とする電子カメラ。
25. 請求項２３に記載の電子カメラであって、
    前記電子カメラの３次元のボケ関数である３次元ＰＳＦは、多眼カメラに設けた撮像部の配置を表すことを特徴とする電子カメラ。
26. 請求項２３に記載の電子カメラにおいて、
    前記撮像部は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、
    前記各撮影開口のｘ，ｙ方向の間隔は、２値の疑似ランダム系列がＭ系列をなす周期パターンにそれぞれ設定されていることを特徴とする電子カメラ。
27. 請求項２３に記載の電子カメラにおいて、
    前記撮像部は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、
    前記各撮影開口は円周上に配置されていることを特徴とする電子カメラ。
28. 請求項２３又は２４に記載の電子カメラにおいて、
    前記複数の撮影レンズにより結像される被写体像のピントが、前記撮像素子毎で均一なボケ量でずれるように前記各撮影レンズ、又は前記各撮像素子とのいずれか一方又は両方を撮影光軸方向に移動させるピントずらし手段を備えていることを特徴とする電子カメラ。
29. 請求項２３から２８のうちのいずれか１項に記載の電子カメラにおいて、
    前記フォーカススタック像生成部は、前記ボケ処理部でボケ処理を行った複数の画像に対して任意の視点の視差を加えた複数画像の強度和画像であるフォーカススタック像を算出し、
    前記画像先鋭化処理部は、算出したフォーカススタック像を任意の視点の視差を加えたフォーカススタックＰＳＦカーネルに基づいてデコンボリューション処理を行って任意視点のボケ画像を生成することを特徴とする電子カメラ。
30. 複数の等間隔の視差量に対応する合焦状態の画像を取得し、これらの画像を３次元データとみなし、３次元デコンボリューション処理を行い、物体の強度分布を求め、求めた強度分布に任意のボケカーネルによる２次元コンボリューション処理を行い、前記２次元コンボリューション処理済みの画像を平面に投影して任意のボケ画像を生成することを特徴とする画像生成方法。
31. 複数の等間隔の視差量に対応する合焦状態の画像を取得する取得手段と、前記取得手段が取得した複数の画像を３次元データとみなし、３次元デコンボリューション処理を行って物体の強度分布を求める３次元デコンボリューション処理手段と、前記３次元デコンボリューション処理済みの画像に対して任意のボケカーネルによる２次元コンボリューション処理を行う２次元コンボリューション処理手段と、前記２次元コンボリューション処理済みの画像を平面に投影して任意のボケ画像を生成する生成手段と、を備えたことを特徴とする画像生成装置。
32. 合成開口法によってフォーカス画像を生成する画像生成方法であって、フォーカス位置ごとのＰＳＦ又はＭＴＦを予め記憶しておき、前記合成開口法によりフォーカス画像を生成する時にフォーカス位置によるＰＳＦ又はＭＴＦの変化を相殺するように画像処理を行うことを特徴とする画像生成方法。
33. 合成開口法によってフォーカス画像を生成する画像生成装置であって、フォーカス位置ごとのＰＳＦ又はＭＴＦを予め記憶する記憶手段と、前記合成開口法によりフォーカス画像を生成する時にフォーカス位置によるＰＳＦ又はＭＴＦの変化を相殺するように画像処理を行う画像処理手段と、を備えたことを特徴とする画像生成装置。
34. 視差又はピント位置をずらした複数の画像に基づいてデプスマップ情報（画像の領域分割情報）を取得し、前記デプスマップ情報の光軸方向の尺度を視差に置き換え、等間隔の視差量となるように前記デプスマップ情報をデータ化し、合成開口法により任意のピントに合わせた画像を領域分割するとともに、該分割された領域ごとの画像に対し、ピント位置からの視差量に応じたブラーカーネル（ボケ関数）をコンボリューションし、コンボリューション後の画像を統合してボケ画像を生成することを特徴とする画像生成方法。
35. 視差又はピント位置をずらした複数の画像に基づいてデプスマップ情報を取得するとともに、前記デプスマップ情報の光軸方向の尺度を視差に置き換え、等間隔の視差量となるように前記デプスマップ情報をデータ化するデプスマップ情報取得変換手段と、合成開口法により任意のピントに合わせた画像を領域分割する領域分割手段と、前記分割された領域ごとの画像に対して、ピント位置からの視差量に応じたブラーカーネル（ボケ関数）をコンボリューションするコンボリューション手段と、前記コンボリューション後の画像を統合してボケ画像を生成するボケ画像生成手段と、を備えたことを特徴とする画像生成装置。
36. 請求項１２に記載の画像生成装置において、
    前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が前記撮像素子の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。
37. 請求項１２に記載の画像生成装置において、
    前記複数の合焦状態の画像は、複数のカメラ（撮像素子を有する複数の撮像部）から構成される多眼カメラで生成される画像であり、視差（視差＝瞳面上の２点間（または複数カメラの光軸間）の距離×結像倍率）が、前記カメラ（撮像素子）から出力される出力画像の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。