JP6003578B2 - 画像生成方法及び装置 - Google Patents

Description

本発明は、画像生成方法及び装置に関するものである。

従来、物体を撮像した画像を、焦点位置が異なる複数の画像（多焦点画像）を重ね合わせモデルに基づく恒等式に代入することで、奥行き毎に鮮鋭度の調整（焦点の調整）を行った任意焦点画像等を生成する技術が提案されている（特許文献１）。特許文献１に記載の発明では、ボケ状態を変換するために、多焦点画像ごとにボケ状態を変換してから、これらの複数のボケ状態を変換したボケ画像の強度和を得ている。

米国特許第６５７１０２３号明細書

しかしながら、この方法では、多焦点画像群の画像ごとにボケ状態を変更する時に、大きな変換ノイズを発生するため、ピントの合っていない領域が汚いボケになり、良好な画像が得られなかった。それを改善するため、反復計算をすることも提案されているが、不十分であった。

本発明は上記事情に鑑みてなされたものであり、ピントの合っていない領域が美しいボケになるよう任意のボケ画像を生成することができる画像生成方法及び装置を提供することを目的とする。

本発明を例示する画像生成装置の一態様では、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部と、前記多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成するボケ画像生成部と、を備えたものである。

本発明の画像生成方法の一観点によれば、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成するようにしたものである。

本発明によれば、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理を行って任意のボケを付与した画像を生成するため、ノイズの発生を抑えてピント領域外が美しいボケとなる良好なボケを付与した画像を得ることができる。

撮影開口を円周上に配置した多眼カメラを示す正面側斜視図である。 図１で説明した多眼カメラを示す背面側斜視図である。 撮影開口をマトリクス状に配置した多眼カメラを示す正面側斜視図である。 Ｍ系列の疑似ランダム系列の数列を示す説明図である。 Ｍ系列疑似ランダム数列「１１０１００」に基づいた撮影開口の二次元配列をｘ，ｙ方向点列で示す説明図であり、撮影開口の位置を「○」で示している。 多眼カメラの電気的構成を説明するブロック図である。 フォーカス画像ｆを生成する他の実施形態を示すブロック図である。 像点ｐ１，ｐ２をそれぞれＰＳＦでコンボリューションした状態を説明する説明図である。 焦点距離５．３４ｍｍ、Ｆ１．４、像高×２＝３．１７ｍｍの場合、近距離の５３０ｍｍから無限遠までを結像した時の像空間ｘ，ｙ，ｚの光軸方向ｚの結像位置を説明する説明図である。 複数のカメラ（ｃａｍ）を用いた合成開口法でのフォーカシングの概略を説明する説明図である。 図１０で説明したｘ又はｙ方向に並んだｃａｍ１〜ｃａｍ５の配置によって発生する視差量を４つの直線で説明した説明図である。 ５×５眼のカメラ配置に対して、視差ｚ＝４でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。 任ｆ意のボケ量のボケカーネルｚ＝４でフォーカスが合っている物体にボケカーネルがコンボリューションされている状態を説明する説明図である。 図１２で説明したボケカーネルをｘ，ｙ面内で表した説明図である。 Ｍ系列のカメラ配置の場合、図１２で説明したボケカーネル（視差ｚ＝０〜ｚ＝４）をｘ，ｙ面内で表した説明図である。 Ｍ系列のカメラ配置の場合、図１２で説明したボケカーネル（視差ｚ＝４〜ｚ＝８）をｘ，ｙ面内で表した説明図である。 焦点位置でボケンカーネルを視差方向（ｚ方向）で積分したフォーカススタックカーネルを示す説明図である。 多眼カメラの画像取り込みから画像処理の流れを説明する説明図である。 画像処理が実行する任意ボケアルゴリズムを説明する説明図である。 ピントを変えて取り込んだ複数の画像を示す説明図である。 ピントを変えて取り込んだ複数の画像を示すものであり、物体と光学系とのコンボリュージョン結果が得られることを説明（［数１５］に記載の式を説明）する説明図である。 ［数１６］に記載の式を説明する説明図である。 ピントを変えて取り込んだ複数の画像（複数フォーカスによって得られた画像）に任意のデフォーカスカーネルを各ｘ，ｙ面内でコンボリューションした説明図である。 任意ボケアルゴリズムを実行する画像処理部の構成を示すブロック図である。 疑似ランダム系列であるＭ系列に従った所定の周期パターンで撮影レンズを配列した多眼カメラの場合のフォーカススタックカーネルを示す説明図である。 多眼カメラの動作手順を説明するフローチャートである。 任意ボケアルゴリズムの一部を説明しており、[数１６]に記載の式に対して［数１２］及び［数１９］に記載の式の積分範囲を説明する説明図である。 ボケを付与した画像を生成する他の実施形態を示すブロック図である。 ［数１９］に記載の式の積分範囲を説明する説明図である。 点像強度分布の３次分布（ＰＳＦ）の光のコーンの概略を示す説明図である。 ガウス分布のボケカーネルの半径と標準偏差との関係を示すグラフである。 合成ボケ半径と標準偏差との関係を示すグラフである。 ボケアルゴリズムに輪帯瞳のレンズを用いた場合であり、二つのガウス分布の差分の強度分布を有する輪帯瞳のＰＳＦを示すグラフである。 ボケアルゴリズムに輪帯瞳のレンズを用いた場合であり、合成ボケ半径と標準偏差との関係を示すグラフである。 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、外側のガウス分布を示している。 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、内側のガウス分布を示している。 二つのガウス関数とその差分の輪帯強度分布を示す斜視図であり、輪帯ガウス分布を示している。 輪帯光学系のボケカーネルを示す。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しのボケ画像（以下、「光学ボケ画像」と称す）を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケを付与した画像（以下、「ボケアルゴリズム画像」と称す）を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で４８ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で３６ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で２４ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で１２ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で６ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。ボケアルゴリズムのボケカーネルのサイズを瞳面上で１．２ｍｍとしている。 輪帯光学系を用いた時のボケ画像を示し、左側は光学系のピント位置（Ｚ＝１０．７ｍ）にチャートを置いたボケアルゴリズム使用無しの光学ボケ画像を示し、右側はボケカーネルのピント位置をチャート位置としたボケ無しの状態のボケアルゴリズムによるボケアルゴリズム画像を示す。 多眼カメラのカメラ（個眼撮像部）の配置を示す正面図であり、（１）は矩形瞳を矩形状に密に、（２）は矩形瞳を矩形状に飛び飛びに配置した構成を、（３）はボケカーネルの大きさを瞳面s,t面上での円形の半径ｒで示し、（４）は円形瞳を矩形状に密に、（５）は円形瞳を矩形状に飛び飛びに配置した構成を示している。 多眼カメラのカメラ（個眼撮像部）の配置を示す正面図であり、（１）は矩形瞳を縦長矩形状に密に、（２）は矩形瞳を縦長矩形状に飛び飛びに配置した構成を、（３）はボケカーネルの大きさを瞳面s,t面上での円形の半径ｒで示し、（４）は矩形瞳を菱形状に密に、（５）は矩形瞳を菱形状に飛び飛びに配置した構成を示している。 多眼カメラのカメラ（個眼撮像部）の配置を示す正面図であり、（１）は円形瞳を菱形状に間隔を狭く、（２）は円形瞳を菱形状に間隔を広く配置した構成を示している。 左側の画像は、図４６（４）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像（合成開口法によってピント合わせを行った際のデフォーカスによるボケ画像）を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、直径（ｋ）１２ｍｍの円形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（４）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、直径（ｋ）１０．８ｍｍの円形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（４）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、直径（ｋ）９．６ｍｍの円形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で２４ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１２ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（２）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１０．８ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が９．６ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が８．４ｍｍの方形になっている。右側に示す画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさが瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４７（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で４．８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４７（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４７（１）に示すように、各光学系の瞳を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍの方眼配置で、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で７．２ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４７（４）に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍで、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で５．４ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４７（４）に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍで、一辺の長さ（ｌ）が１２ｍｍの方形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４８（１）に示すように、各光学系の瞳を菱形状に密に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像を示す。瞳は、ピッチ（ｐ）が１２ｍｍで、直径（ｋ）が１２×√（２）ｍｍの円形になっている。右側に示す画像は、同光学系で、図４７（３）に示すように、ボケカーネルの大きさが瞳面st面上で６×√（２）ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上にランダムで配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（５）に示すように、直径（ｋ）が６ｍｍの円形で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 左側の画像は、図４６（４）に示すように、直径（ｋ）が１２ｍｍの円形で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネルの大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。 対物レンズの前方の光学系による開口絞りの像である入射瞳を示す説明図である。 複数の対物レンズを配置する場合の合成光軸を説明する説明図である。 対物レンズを対称と非対象とに配置した多眼カメラでのボケカーネルの変化を説明する説明図である。 半径ｒの円周上に密に輪帯瞳を配置した構成を示す説明図である。 半径の異なる二重の円周上に密に輪帯瞳を配置した輪帯状の構成を示す説明図である。 円弧方向に切れ目が無く、かつ回転方向に対称性が高い状態の輪帯瞳の構成を示す説明図である。 概ね均一かつ密になる状態の輪帯瞳の動径によるスライスの概略を示す説明図である。 ２４個の方形開口を輪帯状に配置した構成を示す説明図である。 図７６で説明した方形開口の要部を示す説明図である。 対物レンズから入射する被写体光を振幅分割して複数のフォーカス位置に同時に導く別の実施形態を示す説明図である。 輪帯瞳光学系で瞳を多重化して波面分割する他の実施形態を示す説明図である。 図７９で説明した波面分割する別の例として、空間光変調素子を用いて撮像センサを一つにした例を示す説明図である。 マイクロレンズアレイを用いて瞳分割してボケアルゴリズムを使用する例示す説明図である。 図８１で説明したマイクロレンズに対応する受光素子群（セグメント）を示し、（１）は受光素子群のうち輪帯上に位置する受光素子を示し、（２）は、輪帯上にのみ受光素子を設けた例を示す、（３）は同心円上に配置される受光素子を増やした例を示す。（４）は、ボケカーネルをピント位置の前後で非対称として前ボケと後ボケとの大きさを調整するようにした例を示す説明図である。 マイクロレンズ付き合成開口可能なカメラを複数配したカメラ群を輪帯状に密に並べた例を示す説明図である。 光学瞳を輪帯状に配置した時のピント位置と撮像面の位置との関係を示す説明図である。 回転対称収差を有する撮影レンズを含む輪帯瞳光学系を用いた構成の被写体距離と撮像面との関係を示す説明図である。 ボケカーネルをピント位置の前後で非対称として前ボケと後ボケとの大きさを調整するようにした例を示す説明図である。 外形が４角形をしたレンズを円周上に密に配列した例を示す説明図である。 図８７で説明したレンズの要部を示す要部説明図である。 三日月状をしたレンズを円周上に密に配列した例を示す説明図である。 ガラス基板に光学素子を接着して、図８７で説明した複数の対物レンズを構成した例を示す説明図である。 像面を傾けてアオリ撮影を行った時に得られる画像を、合成開口法を利用して仮想的に生成する実施形態を示す説明図である。

多眼カメラ１０は、図１に示すように、円形状の撮影開口１１がカメラボディ１２の前面に円周状に並べて複数設けられている。各撮影開口１１の奥には、撮影レンズ（結像光学系）２３、及び撮像素子（図示なし）が配されている。この例では、撮影開口１１、撮影レンズ２３、及び撮像素子を含む個眼撮像部を構成し、複数の個眼撮像部を一纏めにした構成を多眼撮像部としている。そして、複数の個眼撮像部は、各個眼撮像部の撮影レンズ２３により形成される光学瞳が撮影光軸に直交する面内で円周上に密になるように、配設されている。なお、絞りは、図示していないが、結像光学系内に設けても良いし、結像光学系の外に設けても良い。

各撮像素子は、例えば低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。

多眼カメラは、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、視点の異なる複数の画像データを同時に取得し、これら画像データをパラメータに応じて画像処理をすることで、奥行き毎に鮮鋭度の調整（焦点の調整）、すなわち画面内の特定の被写体を意図的にぼかす処理を行って生成する任意焦点画像、ボケの強さや配置(ボケの大きさや形状、重み付け)を調節処理して生成するボケ生成画像、及びこれらボケ生成画像と任意焦点画像との処理を組み合わせて生成する視点を付与した立体視用任意視点の任意焦点、任意ボケ生成画像を生成することも可能である。すなわち(1)「光軸方向の焦点位置」、(2)「ボケの大きさ」、(3)「視点」の３つのパラメータを自由に選択可能なカメラを構成可能である。また、複数のカメラを用いることにより多画素化が可能で、高解像度画像データ、すなわち多画素化の画像データを生成することもできる。

カメラボディ１２の背後には、図２に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５は、透明なタブレット３４とともにタッチパネルを構成する。タッチパネルには、スルー画像（もしくは後述する合成開口法によりピント合わせを行った画像や、ボケアルゴリズムによってボケを付与させた画像）に重ねてメニューの文字や操作ボタン等の絵柄が表示され、タッチ操作により変倍操作、焦点面の指定、ボケパラメータ（仮想口径の大きさ、形状、重み付け）の選択等のパラメータ入力をする。

本発明は後述のボケアルゴリズムを用いるカメラで特に光学瞳の分布が円周状もしくは矩形状になっているカメラに関するものであり、このような光学瞳の分布とすることで光学瞳が方眼配置された図３のような多眼カメラよりもさらに美しいボケを与えることができるようにしたものである。まず図３のように光学瞳が方眼配置された通常の多眼カメラを例に、ボケアルゴリズムの説明を行い、より美しいボケを与える光学瞳の配置については図１などを用いて後述する。
図３に示す多眼カメラ９は、光学瞳が二次元状に並ぶように、つまり撮影開口１１がマトリクス状に配列されている。これらの開口ひとつずつに２次元の撮像素子が装着されており、文字通り多眼カメラとなっている。撮影開口１１のｘ方向、及びｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。自己相関関数がデルタ関数的であるので、パワースペクトルがフラット（周波数に依存せずに一定）になる。このことはボケを生成する際に特定の周波数成分を強調することがなくなるので望ましい性質である。

５×５の２５眼の方眼配置のカメラの場合は、[数６]により合成開口出力を計算する際に例えば［数１］、[数２]、［数３］に記載された重みを乗じてから合成開口出力としてもよい（なお、図４６以降のカメラ配置で合成開口法により合成開口出力を計算する際には、各カメラの撮像素子の重みを１として[数６]により計算する）。図３で説明したＭ系列配置で選択した１６眼の場合にはそれぞれの重みを「１」として［数６］に記載の式により合成開口出力を計算する。この場合の合成光軸は、例えば図５で説明したＸ＝３、Ｙ＝３のカメラとする。

数列Ｘｉ（ｉ＝１〜ｍ、（ｍは周期））のＭ系列疑似ランダム数列は、一般的に、「１」以上の整数ｎに対して「２ｎ−１」の周期ｍを持つ「０」と「１」の２値の数列であって、１つの周期ｍの中の数列の数は奇数で、「０」の数と「１」の数の差が「１」となる。よって、整数ｎと周期ｍとの組み合わせ（ｎ，ｍ）としては、（３，７）、（４，１５）、（５，３１）、（６，６３）等がある。

図４に示すように、例えば整数ｎが「２」で周期ｍが「３」の数列では、「１，０，１」となり、また、例えば整数ｎが「３」で周期ｍが「７」の数列では、「１，１，１，０，１，０，０」となり、さらに、例えば整数ｎが「４」で周期ｍが「１５」の数列では、「１，１，１，１，０，１，０，１，１，０，０，１，０，０，０」となる。本実施形態では、例えば整数ｎが「３」で周期ｍが「７」の数列「１，１，１，０，１，０，０」を採用している。この場合には、図５に示すような二次元の配列パターンになる。このパターンは、「○」で示す位置が撮影開口１１を配する位置になる。

なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から１９６８年２月初版発行、１９７１年１月第２刷が発行された「相関関数とスペクトル−その測定と応用−」の１７０頁〜１７５頁に記載されている。

ところで、撮影開口１１の二次元配列の間隔は、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等、２値の疑似ランダム系列である所定の周期パターンに設定することもできる。また、撮影開口１１の２次元方向の間隔を等間隔にしてもよい。しかし、詳しくは後述するフォーカススタック前の瞳サンプリング点にゼロ点が無い方が望ましいため、二次元方向の間隔がＭ系列の所定の周期パターンに設定するのが望ましい。撮影開口１１の個数としては、１６個（１６眼）に限ることはない。

各撮像素子２０には、図６に示すように、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。ここで、符号４０は個眼撮像部４０を示す。

ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。

ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全撮像素子２０の電子シャッタの値を一定になるように変えて露出を制御する。

ＡＦ部２６は、シャッタボタンの半押し操作に応答して複数の画像データのうち少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から複数の被写体に対する被写体距離を各々算出し、一つの合焦ドライバ２７を制御して、被写体距離に応じた合焦位置に撮影レンズ２３を移動させるとともに、残りの合焦ドライバ２７を制御して、前記被写体距離に応じた合焦位置を基準として、残りの撮像レンズ２３の合焦位置を、均一なボケ量でずれるように順々にずらしていく。なお、撮像素子２０を移動させるか、もしくは、撮影レンズ２３と撮像素子２０との両方を移動させてピントをずらしても良い。

ＡＦの必要性について見積もったところ、厚さ３ｍｍの薄型カメラを実現するには１／８インチ以下の光学サイズの撮像センサ（撮像素子及びドライバ回路を含む）を用いることが望ましい。これは、撮像センサの撮像面の対角長を「Ｄｇ」、光路全長を「Ｌｐ」とし、十分な収差特性のレンズ設計をすると、Ｌｐ>０．９Ｄｇとなるからである。

多眼カメラの場合、最大でカメラ数倍の多画素化が行えるので、一つ一つのカメラモジュールは、最終的なカメラとしての出力画素よりも少なくてよい。多画素化のアルゴリズムにもよるが、最寄の撮像センサの画素のデータを用いるなどのアルゴリズムを用いた場合、カメラ数の０．５６倍以下の多画素化にとどめると生成画像に破綻がない。例えば６Ｍ（メガ、１００万）画素出力のカメラの場合、１６眼を使った場合９倍程度の多画素化は容易である。その場合６Ｍの１／（１６×０．６）=１／９より６Ｍ×１／９＝０．６７Ｍ画素以上の画素数のカメラモジュールであれば良い。

１／８インチの像高の撮像センサのサイズで６Ｍを解像する光学系が必要である。具体的にはナイキスト波長でのＭＴＦは最低１０％以上必要である。ナイキスト波長は、この場合１．１６９μｍとなる。このためレンズのＦナンバーは、１．４以下が必要である。６Ｍ出力のカメラの厚さを５ｍｍにおさえる場合、撮像センサの呼び寸法は１／４インチで可能でレンズのＦナンバーは２．８以下でよい。

ＡＦの有無を上記の３ｍｍ厚さ、５ｍｍ厚さのカードカメラについてレンズの収差を含めて検討したところ、カメラのピント位置を被写体までの距離２ｍ程度に設定しておけば、被写体までの距離１ｍから無限遠までＭＴＦの変化はナイキスト周波数で５０％以下の変化であり、パンフォーカスとみなせることが分かった。また、フォーカス位置に応じてＭＴＦの変化分（同時にＰＳＦも変化する。）を補うようにデコンボリューションすることも可能である。リフォーカス（撮影後に任意の被写体距離にフォーカスすること）する際に、距離に応じてＭＴＦの劣化を補うことが可能である。すなわち、図７に示すように、フォーカス位置ごとのＰＳＦ又はＭＴＦを予め記憶する記憶部４９と、合成開口法によりフォーカス画像を生成する時にフォーカス位置によるＰＳＦ又はＭＴＦの変化を相殺するように画像処理を行う画像処理部４１と、を備えればよい。これら記憶部４９及び画像処理部４１はＣＰＵ４２とともにバス４３で接続されており、ＣＰＵ４２により統括的に制御される。なお、符号４４は、多眼カメラ、スキャナ、及び外部入力部等、複数の画像を取り込むための画像取得部である。このように構成しても本発明によりピントはずれの像はぼけているので、ピントはずれの像が過補正になり、像が不自然になることはない。

カメラモジュールのＡＦ用アクチュエータは、被写体までの距離２ｍにフォーカスを設定する際に用いてもよい。これは１／８インチの撮像センサのサイズの像側の焦点調整がシビアでコンマ数ミクロンレベルの調整と安定性を求めるためである。

ところで、一つの撮影レンズ２３のピントを測距した基準の被写体距離に合わせるとともに、残りの撮影レンズ２３に対しては前記合焦位置を基準にして均一なボケ量になるようピントを順にずらしていくピントずらし制御は難しい。そこで、ＡＦ部２６としては、最短撮影距離から無限遠までの撮影距離域を個眼撮像部４０の数で分割し、各分割位置に応じた撮影距離にピントが各々合うように各合焦ドライバ２７を制御して、各撮影レンズ２３を個別に移動させるのが好適である。なお、フォーカスを撮影事後に行わない場合には、絞りと撮影レンズ２３とでパンフォーカスを構成してもよい。この場合には、ＡＦ部２６等を省略することができる。

ＲＯＭ２８は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ２９は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ２８、ＲＡＭ２９、ＬＣＤドライバ３３、Ｉ／Ｆ３０、及び画像処理部２５はバス３２により接続されている。

なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズ２３を同じに変倍するように構成すればよい。

ＣＰＵ２４には、タブレット３４から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作に応答して焦点の異なる複数の画像データ（多焦点画像データ）を各フレームメモリ２２に同時に取り込む。多焦点画像データは、各フレームメモリ２２に個別に取り込まれた後、画像処理部２５に出力される。

＜３次元シフト・インバリアントな結像＞
光学系による結像の点像ＰＳＦを光軸方向のデフォーカスによるボケも考慮すると、３次元のＰＳＦを考える必要がある。物体も３次元で、アイソプラナティックな範囲ではシフト・インバリアントな結像と見なせ、物体面のどこでも同じＰＳＦで結像を表すことができる。例えば像空間x,y,zに像点ｐ１，ｐ２が存在する場合、これらの点に対して、ＰＳＦがコンボリューションされた状態が結像状態となる。一般に物体は凹凸があり、図８に示すように、結像ではカメラから見える表面上の物点に対応する像点がそれぞれＰＳＦでコンボリューションされた状態となる。同図に示す３次元のＰＳＦは、３次元のボケカーネルと呼んでも良い。このような３次元結像状態を得る場合、通常のレンズの結像の場合、例えば図９に示すように、焦点距離５．３４ｍｍ、Ｆ１．４、対角撮像範囲＝像高×２＝３．１７ｍｍの場合、近距離の５３０ｍｍから無限遠までを結像したとしても像空間ｘ，ｙ，ｚの光軸方向ｚの結像位置は５．３４ｍｍと５．３９ｍｍで高々５０μｍの変化しか起こらず、この範囲をｚ方向にアイソプラナティックな範囲と見なすことができる。

ｘ，ｙについても通常ＰＳＦは大きく変化することはないので、通常のレンズの結像状態で、２次元の撮像素子を像面Ｉに平行に移動、位置させて撮像することにより、３次元結像状態のデータを取得すること可能である。２次元撮像素子の光軸ｚ方向のデータ取得の間隔は、等間隔とすることが信号処理の上で望ましい。なお、z minは、無限遠位置に相当する。z maxは、被写体のレンズから最近の位置を十分に含むことが望ましいが、実用的にはリフォーカスを行う可能性のある範囲で問題ない。またz minも近景のみフォーカスさせる場合は必ずしも無限遠までの２次元撮像素子のデータが必要というわけではなく、リフォーカスする範囲の奥行き方向で最も遠い点をz minとすればよい。特にマクロ撮影では、ｚ方向のデータが増加しがちなので、適当な範囲をz min, z maxに設定することが必要となる。結像倍率は、レンズから被写体までの距離を「Ｚ」、レンズから像点までの距離を「ｂ」とすると、レンズの結像公式「１／ｆ＝１／Ｚ＋１／ｂ」の式から求まる。

＜合成開口法によるフォーカシング（焦点合わせ）について＞
合成開口法でのフォーカス合わせ（焦点合わせ）は、図１０に示すように、距離Ｚにフォーカスする場合、中央のカメラからの距離を「ｓ」とすれば、視差量＝カメラ間隔×結像倍率＝ｓ×ｂ／Ｚだけ像をシフトさせて、中央のカメラの像とフォーカス位置にある像点が重なるように行う。

レンズの代わりにピンホールを使う場合、結像倍率は「ｆ／Ｚ」の式から求まる。パンフォーカスのレンズを使用する場合、レンズのピント位置はＭＴＦの変化を計算し、最短撮影距離と無限遠のＭＴＦの劣化が同程度になるような固定ピント設定距離を決める。例えば最短撮影距離が１ｍの場合、２ｍにピント位置を設定する。ｂの値はレンズの結像公式から求める。（［数８］）

以下の説明では視差の単位をピクセルで表現する場合が多いが、これは本発明では視差量が撮像素子のピクセルピッチの整数倍となる被写体距離での合成開口法でフォーカス画像を合成し、画像処理をおこなうことが効率的で、かつ、処理した結果も画質が良好であるためである。ピクセルピッチは撮像素子の本来の値を用いても良いし、多画素化された後の撮像素子のピッチを用いても良い。また、マクロ撮影時などフォーカス点があまりに多くなる場合は、視差量を１ピクセルずつに対応させて合成開口画像を生成する必要は無く、適宜間引きすることが可能である。間引きの割合は画像を見ながら判断する必要がある。

合成開口法でシフト・インバリアントな３次元結像状態のデータを取得することを考える。そのためには、像空間の光軸方向ｚを視差量で表現することが望ましい。理由は以下の説明による。

物体の座標系をＸ，Ｙ，Ｚのリニア（等間隔）スケールで考える。光軸をＺ軸方向にとる。多眼カメラの合成開口法によるフォーカス合わせ（焦点合わせ）の像空間の座標系(x,y,z)とする。多眼カメラの各カメラはピンホールカメラと同様に焦点深度が深いカメラを用い、リフォーカシング可能にするのが普通である。まず、図１０に示すようにピンホールカメラを考える。

ピンホールカメラは一つ一つはＺ方向の情報を持たず、いずれの距離の物体もピンホールから焦点距離ｆのところに位置する結像面に結像する。ところが合成開口法によって焦点合わせを行うと、カメラ配置に起因する視差＝ボケを発生する。多眼カメラによるピント合わせを、図１０を参照しながら説明する。

カメラは、Ｘ，Ｙ方向に５×５の配置である。ピンホールカメラによる２５眼の画像を撮影し、そこから合成開口法でフォーカシングを行うので、被写体の結像倍率は撮影時に決定し、フォーカシングに依存しない。結像倍率は被写体までの距離をＺとすればピンホールカメラの倍率：ｆ／Ｚである。

図１０は、多眼カメラを複数のピンホールカメラとして表現しており、各カメラの視点つまりピンホールの位置は、カメラ面（瞳共役面）(s−t平面)に位置しており、瞳位置（視点位置、ピンホール位置と等価）(s，t)のカメラをD(s，t)で示す。X軸とｓ軸とｘ軸は平行。Y軸とｔ軸とｙ軸は平行とする。物体面とカメラ面は平行で、合成開口法によりカメラ面から任意の距離Ｚにある、物体面に合焦させる状態を表している。同図ではピンホールカメラのピンホールは３角形の頂点で表されている。また、ピンホールを表す頂点に対向する辺が撮像面を表す。

各カメラの撮像センサの撮像面の座標をｘD(s,t),ｙD(s,t)とする。各カメラのセンサー座標の原点とピンホールは各カメラの光軸上にあり、各カメラの光軸はZ軸に平行とする。カメラ面と撮像面は平行で各カメラの光軸はこれらと直交している。この座標ｘD(s,t),ｙD(s,t)はキャリブレーション済みの誤差なしの値とする。物体面(X，Y)上の点Ｐ(X,Y,Z)はカメラ面からＺの距離にあり、各カメラD(s,t)のｘ’D(s,t),ｙ’D(s,t)に結像する。これは［数４］及び［数５］に記載の式で示される。またZ軸上にcam3があるとすれば、ｘD(0,0)=X×f/Z,yD(0,0)=Y×f/Zとなる。

ここで、［数４］［数５］に記載のfD(s，t)は実測焦点距離、const_xD(s,t)，const_yD(s,t)はキャリブレーション誤差追い込み用の定数である。

撮像面の画像ピクセルの出力をC（x’D(s,t)，y’D(s,t)）とする。距離Ｚにフォーカスが合った合成開口出力I(x,y,Z)は［数６］に示す式から算出することができる。合成開口法によって得られた画像、合成開口像の実質的な視点を合成視点と呼ぶことにする。合成視点は[数４]、[数５]よりs,t座標の原点となる。

ただし、合成開口出力は、任意の選択したカメラの合成出力とする。例えば２５台中の１６台。模式的には合成開口法による画像の合成の状況は、ピント位置に応じて画像を相対的に移動させてピント合わせ（フォーカス合わせ（焦点合わせ））を行う。

[数４]、［数５］、及び［数６]は、ピンホールカメラの例で説明した式である。しかしながら、実際にはカメラレンズ付きの多眼カメラを用いる。その場合の視差量は、［数７］、または［数８］に記載の式で示される。

視差量ｚが等間隔となる物体距離Ｚで画像を取得することが効率的であり、視差量ｚが決まれば被写体までの距離Ｚは、［数７］、または［数８］に記載の式により一義的に決まる。ピンホールカメラの場合の視差量ｚは、カメラ間隔（瞳面上の任意の２視点間の距離）：s0と撮像倍率:b/Zの積に比例し、［数７］に記載の式で示される。従って、カメラ間隔が大きいほど視差の被写体距離に対する変化量は大きくなる。多眼配置のカメラではカメラ間の距離が最も離れた２視点の間隔:s maxで、視差の被写体距離に対する変化量は最大になる。従って、視差量のサンプリングピッチはもっとも細かく取得する場合においては、［数７］でs0=s maxとした視差量が撮像素子のピクセルピッチの整数倍に相当する視差量ｚにて、複数のフォーカス画像をサンプリングまたは合成してゆけばよい。

［数７］
視差量(z)＝カメラ間隔（s0）×結像倍率＝s0×ｂ／Ｚ

＜視差量について＞
以上見たように、視差量は、ピンホールカメラまたは、パンフォーカスレンズの場合、［数７］に記載の式で示される。一方、図９に示すように単眼レンズでピント合わせをする場合を考える。この場合、レンズの入射瞳はある程度面積を持ち、レンズの瞳面（ｓｐ）内の任意の２点間の距離:s0とする。任意の２点間の距離:s0の最大は瞳径Ａｐである。視差量ｚ２は、物点までの距離をＺ、焦点距離をｆとすると［数８］に記載の式になる。また、多眼カメラの構成で各撮影レンズのピント合わせを行う場合も、[数８］に記載の式で示される。

［数８］
視差量(ｚ２)＝結像倍率(ｍ)×瞳面上の任意の２視点間の距離(s0)=ｆ×s0／（Z−ｆ）

なお、図９に示す瞳面と図１０に示すカメラ面は、双方とも入射する光束を規定する入射瞳であって、等価な役割を果している。また、合成開口法の多眼カメラのレンズを被写体のピント位置ごとにレンズを繰り出してピント合わせを行う場合は、結像面とレンズの距離：ｂはＺの関数となるので、視差は、［数８］に記載の式になる。一般的に多眼カメラを用いた合成開口法は、固定フォーカス、パンフォーカスのレンズを用いるので、視差量ｚは［数７］に記載の式から導く。

２つのカメラの間の視差量ｚはレンズを相対的に平行シフトさせたときの像の移動量であるので、ピントの合った状態からの視差量の増大はボケ量と等しい。たとえば、無限遠にピントを合わせた状態では、視差１ピクセルに相当する被写体距離にある被写体は１ピクセルのボケ半径でぼけて撮影されるということになり、視差１ピクセルの距離の被写体にピントを合わせれば無限遠の被写体は１ピクセルのボケ半径でぼけるということになる。合成開口法によるピント合わせをおこなわず、単レンズで撮像面の位置を変化させてピント合わせを行う場合の視差量ｚの計算は、［数８］に記載の式を用いた方が、特に近距離の視差量ｚの計算で誤差が少なくなるが、［数７］に記載の式で代用することができる場合もある。

任意の距離での視差量ｚをゼロにするという行為がピント合わせ（フォーカス合わせ（焦点合わせ））といえる。ピント合わせの行為は通常のレンズでは像面をピント位置に一致させることになる。合成開口法では複数のカメラの画像間の視差量がゼロになるように複数の画像を視差量だけシフトさせてたし合わせるという行為になる。

本発明では、光軸の奥行き方向を視差で置き換えているので、ボケを表す関数は、ボケの大きさが視差量に比例する。例えば円形開口では円錐状（コーン状）となる。

＜データの取得間隔について＞
ｘ、ｙ方向を等間隔に配したカメラから画像を取得する。これは２次元状に等間隔に配置した撮像センサによってサンプリングすることにより達成される。一方、視差量ｚは、２つのカメラ間に生じる視差のピクセルカウント（視差量/ピクセルピッチ（Ｐ））がリニア（等間隔）になるように分割して取得する。いいかえれば、視差量ｚがピクセルピッチの整数倍になるようにフォーカス位置を設定して複数の焦点状態の画像を合成開口法により合成する。これにより、計算誤差を低減することができる。ピクセルピッチは、撮像センサのピクセルピッチでも良いし、各カメラ（個眼撮像部）から出力される出力画像の画素ピッチでも良い。後者の場合、多画素化処理に本来の撮像センサの画素ピッチの整数分の「１」になっている。

＜瞳面上の２点間の距離s0について＞
ここで、合成開口法によるフォーカス合わせを行う回数、つまりフォーカス方向の分解能を決定する。瞳面上の２点間の距離s0を如何に決定するかを説明する。

フォーカス方向のデータ数（合成開口法により合成するフォーカス画像の枚数）を増やすには、[数７]、及び[数８]に記載の式でs0=s maxまたはs0=APとした視差量を計算し、視差量が撮像素子のピクセルピッチの整数倍となる被写体までの距離：Zにおいて得られたフォーカス画像を合成開口法によって合成してゆけばよい。この方法がもっとも多くの異なる被写体距離Zにおいてフォーカス画像を生成する方法である。しかしながら、実用的には数分の１程度に間引きを行っても支障が無いことが分かった。とくに、多眼カメラが等間隔に並んでいる場合（Ｍ系列配置を含む。）、視差量ｚは[数７]に記載の式でs0=隣接カメラ間の間隔とすることで、合成開口法によるフォーカス合わせ（焦点合わせ）の際にサブピクセルの画像の横ずらし（一画素以下のずらし量の横ずらし）をする必要が無くなり、画素ピッチに起因する量子化誤差を発生しないので、画素ピッチに起因するボケの発生を防止することができる。これによりデータ数が間引きされるが、例えばｓ×ｔ＝５×５程度のカメラ数であれば、最大データ数の1/4程度に間引きされるものの、実用上十分であることが分かった。マクロ撮影ではさらにデータ数を半分程度に間引きしてもまったく問題ないことが分かった。

＜単眼レンズにおける視差量について＞
単眼レンズで[数８］に記載の式で視差を決め、複数のフォーカスでの画像データを取得する際も任意の瞳上の２点間の距離：s0をAp/4程度にしてデータの間引きを行っても実用上問題ない。

視差量ｚの値は、距離：Ｚ＝無限遠で視差：ｚ＝０であるので視差の座標は、図１１に示すようにとることが望ましい。x,yは撮像面内の２次元座標、zは視差量である。図１１では２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]に記載の式でs0=隣接カメラ間の間隔とした。図１１に示す４つの斜めの直線は、図１０で説明したカメラD(s，t)がs,t面内で等間隔かつs,t軸に平行に５×５の方眼は位置で並んでいるものとする。s=0のカメラ５つをｃａｍ１〜ｃａｍ５と命名する。s,t面内に５×５の方眼配置で等間隔並んだ内の一列のｃａｍ１〜ｃａｍ５のカメラの中心（s,t座標の原点）にあるｃａｍ３の上下のｃａｍ１、ｃａｍ５、ｃａｍ２、ｃａｍ４の配置によってx,y面内で発生する視差またはボケの大きさ（３次元PSFカーネルのｘ，ｙ断面の大きさ）を示している。視差量ｚ＝４においてピクセル（Ｐ）の±４倍および±８の視差をｘ又はｙに発生することを示している。このように奥行き方向（光軸方向）の分割を視差量ｚが等間隔になるように分割することで、カメラ配置によるボケを表す３次元PSFカーネル（図１２参照）や任意の３次元ボケカーネル（図１３参照）の大きさの変化が視差量にリニアに変化することになり、３次元ボケカーネルの形状が光軸に沿った視差ｚ軸の位置に依存して変化するというような不都合が無くなる。これにより、シフト・インバリアント、つまり、３次元のコンボリューションで表せるような３次元結像状態のデータを取得できることになる（［数１７］に記載の式）。

瞳面（カメラ面）上のs,t方向の任意の２点間の最大距離は、図７に示すように、ｃａｍ１，ｃａｍ５の距離になっており、図１２、及び図１３に示す視差量ｚは、隣接カメラ間の距離の４倍ある。つまり、３次元結像状態のデータは、s0を隣接カメラ間に設定しているので、最大のデータ数から１／４に間引きされた数になる。この数は、実用上十分なデータ数であるので問題はない。

図１２は、図１１の３次元PSFカーネルをｚ＝４でフォーカスがあっている状態で書き直したものである。３次元PSFカーネルはカメラの光学ハードウェアにより決定するボケカーネルで、カメラ入射瞳形状と合成視点位置（カメラ面ｓ-ｔ面（入射瞳面）内の瞳面の配置を含む形状および合成視点配置）により決定する。図１２はボケを表す３次元PSFカーネルの３次元的形状とｘ，ｙ断面でのボケカーネルの大きさを示している。x,yは撮像面内の２次元座標、zは視差量である。図１２では、図１０，図１１同様に２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは、[数７]でs0=隣接カメラ間の間隔とした。ボケカーネルの大きさは、視差量に応じて線形に変化する。同図は、視差ｚ＝４（ピクセル）でフォーカスが合っている物体に３次元PSFカーネルＢｃがコンボリューションされている状態を示している。ボケカーネルのx,y断面は、x,y面内（撮像面）でボケを表す２次元の分布関数のことで、本発明では視差ｚの関数でもある。これを例えば［数９］に記載したように、f(x,y,z)と置けば、［数１０］に記載のように、面積が１で規格化された関数になる。ピント位置でボケないような関数にするには、デルタ関数、つまり大きさゼロで面積１の関数とする。任意のボケカーネルを撮像面（ｘ−ｙ面）の画像にコンボリューションして２次元画像をぼかすことができる。

このように視差ｚに応じて（多くの場合比例）広がりが変化する分布関数を以下では３次元ボケカーネルのｘ、ｙ断面または単にボケカーネル、ボケ関数、３次元PSFカーネルなどと呼ぶ。

図１３は、任意のボケ量のボケカーネルｚ＝４（ピクセル）でフォーカスが合っている物体にボケカーネルＢがコンボリューションされている状態を示す。図１１、図１２との比較から、図１３は入射瞳面での半径がs0の円形開口のレンズによるボケを表す３次元ボケカーネルということが分かる。x,yは撮像面内の２次元座標、zは視差量である。ボケカーネルの半径をゼロにすると全焦点画像が生成される。なお、ボケ生成アルゴリズムの詳しい説明は後述する。

カメラ面内に２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]に記載の式でs0=隣接カメラ間の間隔とし、隣接カメラ間隔１２ｍｍ、焦点距離５．３４ｍｍ、ピクセルピッチＰ＝６μｍのときの視差量ｚと被写体までの距離Ｚと像面とレンズの距離ｂを表１に示す。レンズと像面の距離ｂは、レンズの結像公式１／ｆ＝１／Ｚ＋１／ｂにより求めた。このようにカメラが等間隔の場合、隣接カメラ間隔から視差を求め、視差がピクセルの整数倍となるような間隔で画像処理に用いる視差の値を決定すると、合成開口法によるフォーカス合わせ（焦点合わせ）の際の画像シフト量がいずれのカメラにおいても、ピクセルピッチの整数倍とすることができ、量子化誤差の発生が防止できる。ｂはレンズの結像作用による結像位置を示し、レンズから像までの距離である。ｄｂはｂの変化量を示す。ｄｂは、厳密には等間隔になっていない。そこで、本発明のボケ処理を単眼カメラの画像に対して行う時も、像空間で光軸方向に等間隔に撮像センサを移動させてデータを取得する従来の方法よりも、視差量が等間隔になる被写体距離を［数７］または［数８］の式から求めて撮影することが望ましい。

一方、合成開口によるレンズの結像は、一般に、パンフォーカスレンズを用いた撮影であり、先に述べたように、結像公式と関係なくなる。ピンホールの代わりにレンズを用いると、厳密には像面の位置も被写体の位置に応じて変化する。焦点距離５．３４ｍｍ、F2.8のカメラのレンズのピントを、被写体までの距離を２ｍ程度に設定してその被写体距離に合焦するように調整し、その状態で無限遠から近距離まであまりＭＴＦの変化は大きくない（１０〜２０％程度の変化）。この状態をパンフォーカスとみなして問題ない。またＭＴＦの変化は既知であるので、予め撮影距離ごとのＭＴＦのデータをカメラに記憶し、撮影距離ごとにＭＴＦデータからの像ボケを補正することも可能である。

視差（ｚ）に応じた距離Ｚでのフォーカス画像を合成開口法によってフォーカスする。例えば［表１］に示す２０箇所（視差ｚ＝１〜２０（ピクセル））での合成開口像を生成する。図１１では、視差量ｚは[数７]でs0=隣接カメラ間の間隔とし、視差ｚ＝０〜８ピクセルの９つの視差に相当する被写体距離にフォーカスを合わせた画像を合成開口法によって合成することを表している。ピクセル以下の分解能で視差を分割することはボケ像生成の観点からは意味はない。また、間引きする場合は視差の間隔が等間隔になるように間引くことが重要である。多画素化する場合はそのピクセルピッチを用いる。

合成開口でフォーカスする場合、中央（ｓ,ｔ面の中心）のカメラの画像に対して周囲のカメラの画像を視差量分だけ平行にｘｙ面内でシフトさせる。その量と［表１］の視差の量は一致する。視差がゼロの場合は無限遠であって１ピクセルのときは１０．６８ｍ前方にフォーカスが合っていることになる。カメラが２５個ある場合、２５枚の画像を一度取り込めば、任意の視差を［表１］から選んで任意のフォーカス画像が得られる。そのようにして得られた画像を図１１に示す複数の縦線で模式的に現している。

図１３は、通常レンズの円形瞳によるボケの説明図である。まず、カメラ面内に２次元の方眼状に等間隔に並んだ多眼カメラを想定する。視差量ｚは[数７]でs0=隣接カメラ間の間隔とした。隣接レンズ間隔１２ｍｍで配置された３つのカメラｃａｍ２〜ｃａｍ４によって発生するボケは、例えばｚ＝４(ピクセル)で合成開口によりフォーカスする場合、ｚ＝４（ピクセル）で交わる光軸方向の視差量１の増減に対して、それに直交する方向に横ずれ±１ピクセルを発生する二つの直線で表される。これが３つのカメラ配置に起因する視差＝ボケ量である。カメラがｃａｍ２〜ｃａｍ４を直径とする円内に無数に分布していると仮定すれば、円形の通常のレンズのボケも同様に扱えることになる。すなわち、ｚ＝４(ピクセル)で交わる直線を母線とする円錐（コーン）がレンズ瞳直径２４ｍｍのレンズのボケに相当する。カメラ間隔をレンズ瞳半径に置き換えれば円形瞳のレンズのボケを考えることができる。それより大きなレンズ直径のボケ、小さなレンズ直径のボケも同様にピント位置を頂点とするコーンで与えることができる。ボケのブラーカーネルは、このコーンの各視差での直径の円で与えられる。なお、詳しくは後述するように、円形開口内の重みを均一分布、ガウス分布など任意に変更することができる。

＜カメラ配置のボケ形状＞
図１２は、２次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量ｚは[数７]でs0=隣接カメラ間の間隔としたときの、カメラの配置によるボケカーネルの形状を表している。図１０で表されるような等間隔の５×５の配置の場合の視差に対するボケ形状を表している。フォーカス方向は、視差が等間隔になるようにデータがあればよいので、図の黒丸がぼけ形状、又はボケカーネルを表すことになる。これをｘｙ面内で表すと、図１４に示すようになる。Ｍ系列では、図１５、図１６に示すようになる。これらを３次元PSFカーネルと呼ぶ。矢印は、デルタ関数的な重みを表す。焦点位置では矢印の強度は本数倍に大きくなる。これらのボケカーネルを視差方向（方向は物体の奥行き方向のＺ（ラージゼット）方向と同じ。）で積分すると図１７に示すようになる。これをフォーカススタックPSFカーネルと呼ぶ。

図１８は、画像の取り込みから処理の流れを示す。合成開口法によりえら得られた複数枚のフォーカス像を任意ボケアルゴリズムに渡す。任意ボケアルゴリズムの中身は、図１９に記載されており、複数の画像に対し、視差に比例した半径のボケカーネルをコンボリューションする。これらを加算し、光学系のＰSＦ（カメラ配置のボケ形状）の視差に関する積分。ボケカーネルの視差に関する積分した結果でデコンボリューションを行う。

図１９と式の関係を図２３に示した。図２０と図２１は、ピント（視差）を変えて得られる画像を表している。図２２、図２３は、［数１８］に記載の式を導くための説明図である。図２２は、［数１８］の式のように近似することで計算時間を短縮することが可能であることを説明している。本発明では［数１８］の近似式に基づいた説明を「ボケ生成アルゴリズム」または「ボケアルゴリズム」と称す。

任意のボケを生成するボケアルゴリズムを構成するボケ処理部３６は、図２４に示すように、複数の多焦点画像データに対して、所望のピント位置から視差に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルの２次元断面(ボケを表す２次元分布関数)を用いてコンボリューション処理を行う。ここで、ピント位置から視差に比例するとは、例えば所望のピント位置からの視差に比例してボケカーネルの２次元断面の半径を大きくしてコンボリューション処理を行うということである。これは、図１３に示すような３次元ボケカーネルを用いるということである。

フォーカススタック像算出部３７は、ボケ処理部３６で処理を行った複数の画像データの強度和画像であるフォーカススタック像を求める。なお、強度平均を求めてもよい。ＰＳＦカーネル算出部３８は、合成開口の瞳サンプリング点のフォーカススタックに相当するフォーカススタックＰＳＦカーネルを算出する（図１４〜図１７を参照）。

瞳サンプリング点は、多眼カメラ１０の撮影レンズ２３の配置を表す。ここでは、撮影レンズ２３の配置は、予め決まっているので、フォーカススタックＰＳＦカーネルを算出する必要はない。フォーカススタックＰＳＦカーネルは、ＲＡＭ２９に予め記憶されており、読み出して用いる。１６個の撮影レンズ２３の擬似ランダム配置がＭ系列に従った所定の周期パターンの場合のフォーカススタックＰＳＦカーネルを図１７及び図２５に示す。

画像先鋭化処理部３９は、フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行う。前記デコンボリューション処理としては、フォーカススタック像算出部３７で算出したフォーカススタック像に対して、ＲＡＭ２９から読み出したフォーカススタックＰＳＦカーネルを用いたデコンボリューション処理を行ってインフォーカスの（フォーカスの合った）物体は先鋭な画像を保ったまま、任意のボケをアウトフォーカスの（フォーカスの合わない）物体に付与したボケアルゴリズム画像を生成する。

前記フォーカススタックＰＳＦカーネルを用いたデコンボリューション処理は、個眼撮像部の３次元のボケ関数である３次元ＰＳＦの個眼撮像部の光軸方向の積分結果を表す、２次元分布関数であるフォーカススタックＰＳＦカーネルと、ボケ処理部３６でコンボリューション処理を行う時に用いる任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの２つのカーネルを用いたデコンボリューション処理となっている。

図６のＣＰＵ２４は、任意のボケを付与した画像データを、Ｉ／Ｆ３０を介して記録部３１に記録する。なお、圧縮部を設け、任意のボケを付与した画像データを、例えばＪＰＥＧ方式等の圧縮形式で記録してもよい。また、各フレームメモリ２２から得られる複数の多焦点画像データを記録部３１に記憶してもよい。この場合、複数の多焦点画像データを、ボケ画像を付与して生成した画像データに関連付けして記憶するのが好適である。本実施例の様に多眼構成の場合には各撮像素子２０の出力した画像を保存しておけば合成開口以降の画像処理はいつ行っても良い。つまり、多眼画像の生データを保存しておく機能がカメラとしては最低限必要で、画像処理はオフラインでも可能である。また撮像した画像をクラウドコンピュータに保存してもよく、保存する画像は動画であっても静止画であっても良い。

ここで、図１に示す撮影開口１１を二次元状に配置した多眼カメラ９の構成の作用を、図２６を参照しながら簡単に説明する。電源スイッチ１４をオンすると、いずれか一つの個眼撮像部４０から得られる画像データに基づいてスルー画像を生成してＬＣＤ１５に表示する。（または複数の撮像部４０の画像の合成開口画像をＬＣＤ１５に表示させてこれを見ながら構図とフォーカスを決めるようにしても良いし、ボケアルゴリズム画像の生成の時間が無視できるようであればボケアルゴリズム画像を用いて構図とフォーカスを決めるようにしても良い。）スルー画像を見ながら構図を決めてシャッタボタン１３を半押し操作する。この半押し操作に応答してＣＰＵ２４は、ＡＥ・ＡＦを制御する。ＡＥ制御は、各個眼撮像部４０で同じ露出になるように制御する。ＡＦ制御は、ピントずらし制御である。この制御は、ＣＰＵ２４がＡＦ部２６を制御して、各撮影レンズ２３のピントが全てでずれるよう撮影レンズ２３を合焦位置に各々移動させる。

そのままシャッタボタン１３の全押し操作がなされると、ＣＰＵ２４（図６）は、各個眼撮像部４０を制御して、多眼カメラの複数の画像を撮影し、合成開口法により多焦点画像を生成し、多焦点画像データ群を各フレームメモリ２２に取り込み、取り込んだ複数の多焦点画像データを画像処理部２５に送る。

図６、図２４の画像処理部２５のボケ処理部３６は、多焦点画像データに対して、所望のピント位置から比例したボケ半径の円形開口、又はガウシアン等の任意の３次元ボケカーネルを用いて２次元コンボリューション処理を行う。フォーカススタック像算出部３７は、ボケ処理部３６でボケ処理を行った複数の画像データ毎に画素の強度和画像であるフォーカススタック像を算出する。

フォーカススタックカーネル算出部３８は、ＲＡＭ２９から予め決められているフォーカススタックＰＳＦカーネルとフォーカススタックボケカーネルを読み出す（またはいちいち算出しても良い）。画像先鋭化処理部３９は、ＲＡＭ２９から読み出したフォーカススタックＰＳＦカーネルとフォーカススタックボケカーネルを用いてフォーカススタック像算出部３７で算出したフォーカススタック像をデコンボリューション処理して任意のボケを付与した画像データを生成する（図１９に記載の内容の画像処理）。生成されたボケを付与した画像データは、記録部３１で記録される。

ここで、本発明の画像処理の特徴を簡単に説明する。まず、複数のフォーカス状態の画像に任意のボケ処理を行ってからこれらの画像の強度和（平均）を求め強度和（平均）像とする。この段階では何のノイズの発生も無い。次に、求めた強度和（平均）像に画像先鋭化処理を行い、任意のボケを付与した画像を生成するが、画像先鋭化は合成開口の瞳サンプリング点のフォーカススタックに相当する、「フォーカススタックＰＳＦカーネル」のデコンボリューションにより行う。このデコンボリューションカーネルには、そのフーリエ変換にゼロ点がないものを用い、復元ノイズが発生することを抑制する。これにより、写真画質の良好なボケを付与した画像を形成可能となる。フォーカススタックは、合成開口法、又は撮像素子の光軸方向の移動によりフォーカス状態を変化させながら行ってもよい。

＜ボケアルゴリズム＞
具体的なボケ生成の方法を多眼カメラによる合成開口法を用いる例で説明する。具体的には、撮影対象物体の３次元の強度分布をIo(X,Y,Z)とする。Ｚ軸を撮影レンズ２３の光軸方向、ｘ，ｙ方向を撮像素子２０の横、縦方向とする。ｚ軸は視差量（視差＝カメラ間隔×焦点距離/Ｚ、Ｚはレンズ瞳位置から被写体までの距離。）である。撮像センサの撮像面内の方向ｘｙは、前述のように「ｘ＝Ｘ×ｆ／Ｚ，ｙ＝Ｙ×ｆ／Ｚ」の式から分かるように倍率がかかって撮影される。レンズのボケ具合を表す点像強度分布の３次分布がPSFc(x,y,z)で表されるカメラで、ピント位置をカメラの光軸にそった視差ｚrにピントを合わせて撮影した像Ic(x,y,zr)は［数１１］に記載の式に示すIc(x,y,z,zr)のｘ,ｙ平面への投影で、式としては［数１２］に記載の式で示される。［数１１］の式にあるPSFc(x,y,z)は、例えば円形開口の場合光軸にそって円錐状の関数で円錐の頂点のピント位置が視差ｚr相当に来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は［数６］の式で示される。積分範囲（ｚｍｉｎ〜ｚｍａｘ）は、物体の存在する領域と概ね一致させる。Io(x,y)は、シーンをボケのない理想ピンホールカメラで像面に投影された絵（全焦点画像）と等価である。

［数１１］に記載の式にあるPSFc(x,y,z)は、例えば円形開口の場合、光軸にそって円錐状の関数で円錐の頂点がピント位置zrに来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は［数１３］に記載の式で示される。積分範囲（z min~z max）は物体の存在する領域と概ね一致させる。Io(x,y)はシーンをボケのない理想ピンホールカメラで像面に投影された絵（全焦点画像）と等価である。

［数１３］に記載の式よりIc_pn(x,y)はPSFc_pnとIo(x,y)のコンボリューションであるので、［数１５］に記載の式によりIo(x,y)が求まる（Io(x,y)は本発明のボケ生成には使わないが参考のため算出している）。ここでPSFc_pnは、［数１４］に記載の式で示され、PSFc(x,y,z)の視差ｚ方向の積分されたものである。これをフォーカススタックPSFカーネルと呼ぶ。なお、添え字ｃはカメラの状態を示す。ｐnはパンフォーカスを示す。

［数１４］の式に記載の積分範囲を考える。ＰＳＦｃは、ピントを結ぶ位置をｚ軸の原点とする（例えば図２７参照）。物体の範囲は、無限遠＝ｚｍｉｎ〜至近距離＝ｚ ｍａｘであるので、コンボリューションされたＰＳＦｃは、図２７に示すＰＳＦｃ（ｘ，ｙ，ｚ）〜ＰＳＦｃ（ｘ，ｙ，ｚ−ｚ ｍａｘ）の範囲で存在しうる。フォーカススタックの積分範囲は図から無限遠の物体に対し「−ｚ ｍａｘ〜０」、至近距離の物体に対して「０〜ｚ ｍａｘ」となる。これらの積分の結果は、前ピンと後ピンでＰＳＦの形が非対称な場合、例えば図１５、及び図１６で説明した例の場合は、これらの平均とすることが望ましく、したがって、一般のＰＳＦに対しても［数１４］の式に記載の積分範囲としておけば十分であることが実写映像によって確認された。この積分範囲は、至近距離と無限遠の中間の部分に関しては「−ｚ ｍａｘ／２〜＋ｚ ｍａｘ／２程度が最適となるので、被写体までの距離に応じて積分範囲を可変としてもよい。また前述のように近距離撮影ではz max は被写体のうちリフォーカスの可能性のある範囲内でカメラからもっとも遠い位置としても差し支えない。

［数１１］に記載の式と同様にボケ関数PSFc(x,y,z)をPSFa(x,y,z)に変更して任意のフォーカス位置に相当する視差ｚ1にピントを合わせて撮影した像は、［数１６］に記載の式で示される。［数１７］に記載の式は、ＰＳＦを３次元にコンボリューションして得られる３次元の像であり、ＰＳＦｃの光学条件でピント位置をシフトしながら取得できる輝度分布を示す。これは３次元のデータとなる。

［数１７］の式から［数１８］の式を得る。［数１８］の式のうちPSFc_pn(x,y)によりデコンボリューションされる部分、つまり［数１９］の式の「Ａ」は、視差zrにピントを合わせて得られた画像にPSFa(x,y,z-zr)をコンボリューションし、さらに視差ｚに関して積分することを示している。これは、前述した実施例のボケ処理部３６、フォーカススタック像算出部３７の処理に相当する。

なお、［数１８］に記載の式から［数２０］に記載の式を得ることができる。このため、複数のフォーカス位置の画像Ic_p(x,y,z)を合成開口法などで撮像し、これをPSFc(x,y,z)により３次元デコンボリューションを行うことでIo(x,y,z)物体の強度分布を求め、これに任意のピント位置に相当する視差zrに設定したPSFa(x,y,z-zr)（任意の３次元ボケカーネル）を２次元コンボリューションし、その結果を視差zで積分し、x,y平面に投影することで任意のボケ像、及び任意のフォーカス位置にリフォーカスされた像を得てもよい。
この場合、ボケを付与した画像の生成手段としては、図２８に示すように、３次元デコンボリューション処理部４５、２次元コンボリューション処理部４６、及び画像生成部４７とで構成すればよい。３次元デコンボリューション処理部４５は、画像取得部４８から取得した、視差が等間隔になっている多焦点画像（焦点を複数の位置に合わせて撮影した画像）を３次元データとみなし、３次元デコンボリューション処理を行って物体の強度分布を求める。２次元コンボリューション処理部４６は、３次元デコンボリューション処理済みの画像に対して任意の３次元ボケカーネルによる２次元コンボリューション処理を行う。画像生成部４７は、２次元コンボリューション処理済みの画像に対して平面に投影して任意のボケを付与した画像を生成する。

なお、［数１８］に記載の式の右辺は、計測値Ic_p(x,y,z)と装置固有のフォーカス設定値に相当する視差zrにピントが合ったときの所望の３次元ボケカーネル：PSFa(x,y,z-zr)、フォーカススタックＰＳＦカーネル：PSFc_pn(x,y)となる。添え字のaは、カメラの状態を示す。また以下では、定数は省略している。

［数１８］の式のPSFa_stk(x,y)は、［数２１］の式で示される（図２７参照）。［数２１］記載の式の積分範囲もＰＳＦｃと同様に、図２９に示す関係となり、フォーカススタックの積分範囲は、同図から「−ｚ ｍａｘ〜ｚ ｍａｘ」とする。これも至近距離と無限遠の中間的な距離の物体にフォーカスをあわせる際に「−ｚ ｍａｘ／２〜ｚ ｍａｘ／２」など、最適な範囲に変更させても良いが、一般的には「−ｚｍａｘ〜ｚｍａｘ」で問題ない。

［数２１］の式は、実験的には以下のように確かめられる。ＰＳＦをガウス分布で表す場合、カメラのPSFc(x,y,z)に対して新たにボケを生成するためのPSFa(x,y,z-zr)は、それぞれ［数２２］［数２３］の式で示される。C1(z),c2(z)は、ガウス分布の標準偏差で、［数２４］［数２５］の式で示される。ガウス分布のボケカーネルの半径は、標準偏差に比例する。zrは任意のボケ像を生成する際の設定フォーカス位置を示し、任意の３次元ボケカーネルの光のコーンが収束する場所を示す。つまり、３次元ボケカーネルは、図３０に示すように、ピントを合わせたい距離zrで光のコーン（円錐ボケ形状又はボケカーネル）が最も絞られた（収束した）点になる。

図３１に示すトレース２がPSFc(x,y,z)の標準偏差c1(z)、トレース３がPSFa(x,y,z-zr)の標準偏差c2(z-zr)を示している。ここではデフォーカスに相当する視差は５ピクセルとする（例えばzr=５（ピクセル）とする）。同図に示す横軸は、光軸の方向にとった視差量ｚを示す。縦軸は標準偏差を示す。トレース１は、［数２６］の式にあるPSFca(x,y,z,zr)の標準偏差cca(z,zr)を示す。標準偏差cca(z,zr)は、［数２７］の式で与えられる。この場合、物体はｚ＝０にある。物体は凹凸に応じてｚの任意の値をとるが、［数１７］の式のコンボリューションの結果として観察されるIc_p(x,y,z)では、PSFc(x,y,z)の光のコーンの中心は常に物体表面に位置することになる（図３０参照）。つまり、物体表面に作用するボケ分布は、［数１９］の式のコンボリューションにより、PSFca(x,y,z,zr)となる。

一方、所望のデフォーカス位置でのボケ半径を［数２９］の式のボケ関数PSF3(x,y,z)とし、c3(z)＝k3＝一定とすると、合成ボケ半径PSFca3(x,y,z)の標準偏差は、図３２のトレース４で示される。同図にPSFc(x,y,z)の標準偏差c1(z)、PSFa(x,y,z)の標準偏差c2(z)を記載した。合成ボケ半径PSFca3(x,y,z)は、［数２８］に記載の式で示され、標準偏差は、［数３０］に示す式となる。また、ボケ半径c3(z)=k3をトレース６として示した。

例えば、係数k1=2,k2=1,k3=5とする。図３２に示すように、ｚ＝０でトレース１の値は５となる。図３１のトレース３はk2=1でフォーカス５としたので、ｚ＝０での標準偏差は５である。この条件でのトレース１の最小値は約４．５で、５に対して約１０％小さくなっているが、トレース１はトレース２のｚ方向の平行移動とみなせる。［数１９］の式のｚ方向の積分を行った後はｚ方向の情報はなくなるので、トレース１とトレース２のｚ方向の積分結果は同じものとみなせる。これが、［数１８］の式の近似を意味するものである。

以上は、ＰＳＦを表す関数をガウス関数としたが、これを、円形開口を表す関数、合成開口法の瞳サンプリングポイントを表す関数としてシミュレーションした結果、ほぼ同等の効果が得られることが分かった。つまり、本手法はさまざまなボケ関数を持つハードウェアに対して、さまざまなボケの形状の像を与えることが可能である。

このように本発明では、所望の画像を取得画像から直接得ることができる。本発明では、［数１７］に記載の式で示されるように、物体の３次元輝度分布と３次元ボケ関数に基づく３次元コンボリューションモデルで３次元結像状態を表している。そのため、結局［数１８］の式の２次元画像のデコンボリューション計算で所望の２次元画像を求めることができる。

多眼カメラ１０は、６点法等でカメラキャリブレーションを行う。そして、レンズ中心のカメラ面内での位置（s,t）、及び各撮影レンズ２３の焦点距離等の定数は、計測値を用いる。なお、カメラの光軸の倒れ等の誤差量は、カメラキャリブレーションにより除去する。光軸の倒れはディストーション成分として補正される。

図１０において、撮影レンズの中心はカメラ面（s,t）に位置しており、２５個（５行×５列）の個眼撮像部をD(s,t)で示す。物体面とカメラ面は平行で、合成開口法により結像面から任意の視差ｚに相当する距離Ｚにある、物体面に合焦させる。

本実施例の多眼カメラ１０の撮影レンズ２３の焦点深度は、深く、撮影レンズ２３は、近距離から無限遠までパンフォーカスと考えてよい。撮影レンズ２３が明るく焦点深度が浅く、撮影レンズ２３毎のＡＦ（通常のレンズの前後によるピント合わせ）が必要な場合は、予めピントを合わせたい被写体に撮影レンズ２３毎にＡＦをかけてもよい。その場合にリフォーカスする際は既知のＭＴＦ、ＰＳＦデータから、ＭＴＦの劣化を補うことが望ましい。

合成開口法によらず、通常の単眼の撮影レンズ２３のフォーカス調整（像空間で空間像と撮像素子２０の光軸方向の相対位置を変換させる等での調整）で複数のピント位置の画像を得る場合、多眼カメラの場合に視差量を求める際に用いるレンズ間隔の代わりに瞳半径から、［数７］または［数８］に記載の式からから視差量を求め、視差量が等間隔となるようにフォーカス距離を決める。例えば３５ｍｍフルサイズカメラの場合、ｆ＝５０ｍｍでは例えばＦナンバーを２として、瞳半径は、５０／（２）＝２５ｍｍであるが、先に述べたように、この値「２５」の１／４程度とすればよい。各フォーカス位置での画像を取得し、視差量が等間隔の画像群を得れば、そのあとのボケアルゴリズムの処理は多眼カメラの合成開口法を用いた場合と同様である。（フォーカス調整は、フォーカスごとにレンズを繰り出す以外に、撮像センサの光軸方向での位置を変える、レンズの収差を換えて像面を変化させて各フォーカス位置での画像を取得する等の方法がある。）

＜任意ボケ生成＞
合成開口法のフォーカシングにより、複数のピント位置に合わせた多焦点画像群を用いて処理を行う点について以下に説明する。

［ボケ生成カーネル：円形開口］
ボケ生成カーネルとして円形開口のデフォーカスボケを生じさせる場合、３次元ボケカーネルPSFa(x,y,z)は、［数３１］に記載の式で示される。任意に設定されるボケカーネルの半径ra(z)は、［数３２］に記載の式で与えられる。定数Apaを任意に設定することで所望のボケの大きさが得られる。また、z方向にオフセット、例えばzrを与える（「z」を「z-zr」に置き換える）ことにより、任意のピント位置zrにピントを合わせることができる。

[ボケ生成カーネル：ガウス開口]
ガウスボケの場合は、［数３３］に記載の式の３次元ボケカーネルPSFgss(x,y,z)を用いる。Ｃは定数。ガウスボケの大きさは、［数３４］に記載の式によりσaを任意に設定することにより調整することができる。

[任意視点]
任意視点の３次元PSFカーネルPSFshift(x,y,z)を用いれば、図３１に示すように、任意視点のオールフォーカス像が得られる。ここで、定数axs,aysを任意に設定して視点を任意に設定する。（なお、s,t座標の原点が合成視点になるのでカメラ配置を任意のs,t座標の原点に設定しなおして視差量から３次元PSFカーネルを求めても同等の効果が得られる。図１４、１５、１６の場合はs,t座標の原点が中心のカメラ位置に相当しているケースである。）

また、フォーカススキャンして計測される像Ic_shift_p(x,y,z)は、［数１７］の式に代わって［数３４］に記載の式で示される。

任意のボケを示すＰＳＦ、PSFa(x,y,z)のぼかしを含めた［数３５］の式の視点の視差ｚ１にリフォーカスさせた像は、［数３７］に記載の式で示される。視点をずらしたＰＳＦのフォーカススタックは、［数３８］に記載の式で示される。

多眼カメラ１０のレンズ配置は、瞳サンプリング点を表す。瞳サンプリング点は、フォーカススタックした際に、フォーカススタックPSFカーネルとして作用する。フォーカススタックPSFカーネルは、［数１４］に記載の式のPSFc_pn(x,y)で表される。フォーカススタック前の瞳サンプリング点は、PSFc(x,y,z)である。所望の像を［数１８］に記載の式で得るので、フォーカススタックカーネルPSFc_pn(x.y)のデコンボリューションを正確に行うため、PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。これはPSFc_pn(x,y)のフーリエ変換の逆数をかけてから逆フーリエ変換することでデコンボリューションを行えるようにするためである。［数１８］に記載の式のデコンボリューションは、［数３９］に記載の式で示される。

ところで、PSFa_stk(x,y),PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが望ましい。PSFa(x,y)は、円形開口やガウス関数が望ましい。PSFa(x,y)に円形開口を用いた場合、PSFa_stk(x,y)は［数４１］、そのフーリエ変換は［数４２］で示される。そして、u,vは、［数４３］［数４４］で示される。

PSFc_pn(x,y)のフーリエ変換の振幅にゼロ点が無いことが必要で、撮影レンズ２３の配置は、縦横Ｍ系列擬似ランダム数列を用いた所定パターンを含む多くの配置がある円周配置、矩形配置、方眼配置もこの条件を満たす。Ｍ系列ランダム配置のフォーカススタックカーネルは、前述したように例えば図２５に示したものとなる。このカーネルのフーリエ変換の振幅にゼロ点は無く、［数３９］の式でゼロ割による発散などの不都合は生じない。また振幅の変化も２０倍程度なので特定の周波数のノイズを拾うことも無い。

［数１９］に示す式の計算は、実際にはフーリエ変換を用いて［数４０］に記載の式を用いる。ガウス関数のフーリエ変換は、ガウス関数、円形開口のフーリエ変換は、ベッセル関数で表せられる。

＜第１実施形態＞
［輪帯光学系のボケアルゴリズムへの適用］
以上、撮影開口１１、及び撮影レンズ２３等を二次元状に配置した多眼カメラ９に対してボケアルゴリズムを適用した例を説明したが、以下では、図１で説明したように、撮影開口１１、及び撮影レンズ２３等を円周状に配置した輪帯光学系を有する多眼カメラ１０に対して、前述したボケアルゴリズムを適用する例を説明する。

本実施例では、ボケアルゴリズムで破綻の無いボケ、つまり、円形のボケを得る場合、対物レンズの仮想光軸を中心とした瞳の動径によるスライスが、その偏角の略８０％以上でゼロ以外であれば良いことが実験的に分かった。

図３３、図３４において、ボケアルゴリズムに輪帯瞳のレンズを用いる場合の説明をする。図３３は、二つのガウス分布の差分の強度分布を有する輪帯瞳のＰＳＦ（レンズのボケ具合を表す点像強度分布の３次元分布）を示す。ｚは視差量を示す。x,yはボケの大きさを示す。ｚは瞳上の２点間の距離に結像倍率を乗じた値で、物体までの距離の関数である。ピンホールレンズでは焦点距離f、ピンホールから物体の距離Ｚとする。図３５はガウス分布の差分の強度分布の斜視図である。内側のガウス分布が［数４５］に記載の式で表される。外側のガウス分布が［数４６］に記載の式で表される。これらの差分は、輪帯状のガウス分布を示す［数４７］に記載の式で表される。

このように輪帯をガウス分布と捉えても良い理由として、ボケアルゴリズムでは円形カーネルやガウスカーネルをコンボリューションすることが挙げられる。これらをコンボリューションすることで均一分布の輪帯であってもガウス分布様になるので初めからガウス分布の輪帯として考えても差し支えない。なお、ガウス分布にガウス分布や均一分布をコンボリューションしてもガウス分布と見なせる。

このように二つの分散の異なるガウス分布で輪体は構成されていると考えると、ぼけアルゴリズムの先願の時と同様に、任意のボケカーネルによるコンボリューションを容易に説明できる。

図３３においてトレース（５）がガウス分布の輪体ボケの内側を示す、［数４５］に記載の式に相当するプロファイル。トレース（６）がガウス分布の輪帯ボケの外側を示す、［数４６］に記載の式に相当するプロファイルである。任意のボケ関数を示すプロファイルは、トレース（７）で視差ｚに比例してガウス分布の直径が変化するボケ関数である。任意のガウスボケは、［数３３］［数３４］に記載の式で示される。x,y は、撮像面の２次元座標で、ここでは撮像されるボケの大きさを示す。視差ｚは、相対表示で、光学系のピント位置が視差＝0とする。なお、光学系のピント位置が視差ゼロとは、距離Ｚの物体に視差＝0となるようにフォーカス合わせ（焦点合わせ）を多眼カメラまたは単眼カメラで行ったという意味である。視差量の単位は、例えば撮像素子のピクセルカウントである。

図３３のトレース（５），（６）に、トレース（７）をｘ、ｙ面内で２次元のコンボリューションを行った結果がそれぞれトレース（３），（４）となる。トレース（１）と（２）については、図３４で説明する。図３４でトレース（５）は、ガウス分布の輪体ボケの内側を示す、［数４６］に記載の式に相当するプロファイル。トレース（６）は、ガウス分布の輪帯ボケの外側を示す、［数４６］に相当するプロファイルである。任意のボケ関数を示すプロファイルは、トレース（７）で視差ｚに比例してガウス分布の直径が変化するボケ関数である。この場合、視差量＝５だけずれたところで最小半径となるボケ関数となっている。従ってボケアルゴリズムを用いると視差量＝５に相当するフォーカス位置でピントがあった絵を得られるようなボケ関数である。このトレース（７）とトレース（５）、（６）のx,ｙ面内の２次元コンボリューションがトレース（１），（２）である。

一方トレース（３），（４）は、図３３のトレース（３），（４）に図３４の「ｚ」によらず一定の半径を持つガウスボケを示すトレース（８）をｘ、ｙ面内で２次元コンボリューションした結果である。図３３のトレース（３），（４）はそれぞれトレース（１），（２）をｚ軸に若干シフトさせるとほぼ重なることから、トレース（３），（４）の視差ｚに関する積分結果は、トレース（１），（２）の視差ｚに冠する積分の結果とほぼ同等である。すなわちトレース（７）によるボケ関数の２次元コンボリューションにより、ベストフォーカスのプロファイルである図３２のトレース（３），（４）に半径一定のガウスボケを２次元コンボリューションした結果と同等のボケをフォーカス位置、視差＝０のトレース（１）付近に与えたことになる。

一方、図３４のトレース（７）のボケ関数によるコンボリューションでは、視差＝５の位置にピントを結ぶ距離の物体はボケることが無い。この効果により、任意の視差に相当する被写体位置の物体にフォーカスさせることができる。これは先に説明した、中実のガウスボケの光学系と同様である。なお、図３３、図３４の光学系のプロファイルのピント位置では輪体ボケではなく一点（デルタ関数）であることに注意されたい。このため、図３４のトレース（７），（８）によるコンボリューション後、視差＝０つまり光学系のベストフォーカス（多眼カメラの合成開口によるベストフォーカスを含む）のところでは円盤状のガウスボケが発生することである。もちろん他の、視差ｚがゼロ以外では輪帯ボケのままである（フォーカススタックする前の話。フォーカススタックした後については後述）。

ここでは、輪帯光学系のボケの話であるが、基本的に輪帯のインナーとアウターの半径が二つのガウス分布で決まっていると考えれば中実と同様にボケアルゴリズムが効果を発揮することが分かる。

図３５〜３７は、二つのガウス関数とその差分による輪体強度分布の鳥瞰図である。ボケ関数のある視差zにおけるx,y断面強度を示す。それぞれ外側のガウス分布、内側のガウス分布、輪体ガウス分布を示す。

図３８〜図４４は、輪帯光学系を用いた際のボケアルゴリズムのシミュレーションである。［表２］は焦点距離を「５ｍｍ」、撮像素子のピクセルピッチを「６μｍ」、瞳面上の２点間の距離を「１２ｍｍ」としたときの視差量ｚ(pixel)と被写体までの距離Ｚ(ｍｍ)の関係を示す(ｚ＝ｓ＊ｆ／Ｚ)。

輪帯光学系の瞳の外側の直径を４８ｍｍ、内側の直径を４３．２ｍｍとして、解像力チャートを９７０ｍｍの距離に置き、１０．７ｍにフォーカスさせたときの、光学系単体の光学ボケ画像を左に、ボケアルゴリズムのボケアルゴリズム画像を右に配置している。図３９は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で４８ｍｍ、図４０は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径３６ｍｍ、図４１は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径２４ｍｍ、図４２は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径１２ｍｍ、図４３は、ボケアルゴリズムのボケカーネルのサイズは瞳面上で直径６ｍｍである。図４４は、ボケアルゴリズムのボケカーネルのサイズを瞳面上で直径１．２ｍｍ。図４５は、ボケカーネルのピント位置をチャートの位置としたボケ無しの状態のボケアルゴリズムによる像が右図である。光学系のピント位置(Ｚ＝１０．７ｍ)にチャートを置いたボケアルゴリズム使用無しの状態が左図である。これらを見て明らかなように、ボケアルゴリズムにより、円形開口特有のリングボケが完全に解消されている。ただし、図３９は、ボケアルゴリズムのボケカーネルのサイズが瞳面上でφ４８ｍｍになっており、光学系と等しいのため、若干アーティファクトが出ている。しかし、それ以下であれば問題ない。このことは、光学系の設計に大きな自由度を与える。また、輪帯アパーチャの幅に制約はないので、大きなボケを得つつ、光学系を微小化することが可能となる。具体的な実施例は、後述する。図３９以降の図で光学的またはアルゴリズムにより付与されたボケはシミュレーションにより計算されたボケであるが、これらはアウトフォーカスの物体に付与されたものであり、インフォーカスの物体はぼけていないことに注意されたい。シミュレーションの目的はボケ像のよしあしを判断することであるのでインフォーカスの物体のシミュレーションは省略している。

これらのボケカーネルにより発生するボケ量はｓ＝１２ｍｍに対する瞳面上でのボケカーネルサイズの比で比例させて考えればよい。つまり、ｓ＝１２ｍｍではＺ＝５００００ｍｍとＺ＝１００００ｍｍとで、視差（ｚ）１pixelに対し、１pixelの平行移動のボケとなる。これに対し、瞳面上直径２４ｍｍのボケでは、Ｚ＝５０００ｍｍとＺ＝１００００ｍｍとで、視差（ｚ）１pixelに対し、半径１pixelのボケが発生するコーンで表されるボケカーネルとなる。瞳面上直径４８ｍｍのボケでは、Ｚ＝５０００ｍｍとＺ＝１００００ｍｍとで、視差（ｚ）１pixelに対し、半径２pixelのボケが発生するコーンで表されるボケカーネルとなる。本シミュレーションでは、光学系は輪帯アパーチャとし、アパーチャ内の強度分布は均一とした。また、任意のボケ量のボケカーネルのx,y断面も均一強度とした。光学系のＰＳＦと任意のボケカーネルを２次元コンボリューションした時点で、輪帯状の強度分布は山型になり、ガウシアンと見なせるので、これを視差ｚで積分した関数は、［数４８］に記載の式になる。ここで、外側と内側の半径が近いとした場合の積分結果は、中実ガウンシアン開口の積分結果、フォーカススタックと同じと見なせる。つまり、レファレンスの図６５〜６８の円形開口ボケよりもやわらかい印象のガウスボケとなる。デコンボリューションは従来どおり光学系のPSFのフォーカス・スタック（フォーカススタックPSFカーネル）とボケカーネルのフォーカス・スタック（フォーカススタックボケカーネル）でそれぞれ行えばよい。他のパターンも考えてみる。

［表３］
光学系 ボケカーネル コンボリューション結果
輪帯ガウス分布 均一分布 ≒ガウス分布
輪帯ガウス分布 ガウス分布 ≒ガウス分布
輪帯均一分布 均一分布 ≒ガウス分布
輪帯均一分布 ガウス分布 ≒ガウス分布

［表４］
光学系 ボケカーネル コンボリューション結果
中実ガウス分布 均一分布 ≒ガウス分布
中実ガウス分布 ガウス分布 ≒ガウス分布
中実均一分布 均一分布 ≒ガウス分布〜均一分布
中実均一分布 ガウス分布 ≒ガウス分布〜均一分布

［表４］に示すように、光学系が輪体でなく、中実の場合にも同様に処理しても大きな破綻はない。なお、周波数空間（上記ボケカーネルは中実）では、［数４２］に記載の式を使用することは言うまでもない。

＜環状配置または開口＞
輪帯開口、輪帯カメラ配置は円形に限らず、仮想的な光軸または合成光軸を取り囲むような環状の開口、もしくは環状に配置されたカメラはボケアルゴリズムでボケを２次元コンボリューションした時点で必ず環状のガウス分布様になるという前提があるので、元から（２次元コンボリューション以前に）環状のガウス分布とみなして差し支えない。環状のガウス分布は上で見たように二つの大きさの近い中実のガウス分布の差と捉えられる。環状開口、または環状カメラ配置の光学系のPSFのフォーカススタックは元の中実のガウス分布のPSFのフォーカススタックと本質的には変わらない。中実のガウス分布はボケアルゴリズムで任意のボケを生成可能であることがわかっており、結論として、任意形状の輪帯開口、輪帯カメラ配置にボケアルゴリズムを組み合わせることにより、任意のボケを生成できることがわかった。

＜輪帯光学系のボケ画像のシミュレーション＞
輪帯ボケのシミュレーションは次のように行った。図３８において光学系のＰＳＦはカメラ間隔またはｓｔ面上の２点の距離ｓ＝１２ｍｍとしたときの視差量をピクセルで表示している。輪帯光学系の瞳の大きさは外側直径４８ｍｍ、内側直径４３．２ｍｍであるので、視差量１０pixelで外側輪帯のボケ量の半径はその２倍で２０pixelとなる。これが同図に示す光学系のＰＳＦである。物体のチャートは、Ｚ＝１０．７ｍ、視差量１９pixelの距離にあり、任意のボケカーネルは、円形開口で瞳上の直径３６ｍｍとした。視差量１０pixelで直径ゼロから直径３０pixelとなるボケカーネルとなる。視差量ｚ＝２０pixelから０pixelまでに光学系のＰＳＦのピント位置を位置させて、x,yの２次元コンボリューションを行う。実際には物体はｚ＝１９pixelにしかないので、この位置だけでコンボリューションを行えばよい。このようにして複数のピント位置に合焦した、いわゆるフォーカススイープした画像が２０枚得られる。これらに任意のボケ直径を有する、任意の３次元ボケカーネルを任意のピント位置にフォーカス位置を合わせてx,y２次元コンボリューションを行う。今回は視差量ｚ＝９pixelにフォーカスさせてx,y２次元コンボリューションを行った。そのあとこれらをｚで積分して。(x,y面への投影)いわゆるフォーカススタック画像を得る。フォーカススタック画像をフーリエ変換した、周波数スペクトルに［数４２］に記載の式のフィルターを用いてデコンボリューション処理を行っている（フィルタリング＋逆フーリエ変換）。

＜多眼構成＞
以下に、多眼化の可能性を検討する。図４９〜図６４は、方眼的配置の多眼カメラのボケ画像を示している。各図の左側の画像は、光学系のみの光学ボケ画像、右側の画像は、ボケアルゴリズムによる画像処理後のボケアルゴリズム画像を示す。各図に示すボケアルゴリズム画像を出力するカメラ配置について、以下に記載する。

［正方形の線上に瞳を配置する例］
(1)図４９に示す左側の画像は、図４６（４）に示すように、各光学系の瞳５０を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。瞳５０は、ピッチ（ｐ）が１２ｍｍの方眼配置で、直径（ｋ）１２ｍｍの円形になっている。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。右側の画像ではボケ味に対して問題無し。

(2)図５０に示す左側の画像は、図４６（５）に示すように、各光学系の瞳５２を直径（ｋ）１０．８ｍｍの円形にし、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置（方眼配置）した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。瞳５２となる円形開口は、ピッチ（ｐ）に対して９０％の直径になっている。右側の画像のボケには、やや周期的なアーティファクトが表れている。

(3)図５１に示す左側の画像は、図４６（５）に示すように、各瞳５２を直径（ｋ）９．６ｍｍの円形にし、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、図４６（３）に示すように、同光学系で、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。瞳５２となる円形開口は、ピッチ（ｐ）に対して８０％の直径になっている。右側の画像のボケには、やや周期的なアーティファクトが表れており、限界となっている。

以上、説明したように、正方形の線上に瞳を配置した円形開口では、図４６（５）に示すように粗でなくて、同図（４）に示すように、偏角によらず密でボケ生成半径（ｒ）が１．５ｐ以下であればボケ生成半径が開口にかからないので破綻がない。

次に、図５２〜図５５は、任意のボケ生成半径でのボケ生成の例である。
(4)図５２に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で２４ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。

(5)図５３に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさは瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。

(6)図５４に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１２ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。

(7)図５５に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対しては問題なく、ボケ量変化のシミュレーション画像である。

以下、図５６〜図５８は、正方形の線上に配置した正方開口の大きさの限界を見ている。瞳５３となる矩形開口がピッチ（ｐ）に対して８０％の一辺長さまでは破綻が無い。ボケ生成半径は、矩形開口にかからない１．５ｐの半径（ｒ）としている。瞳面の関係は、図４６の（１）（２）（３）を参照。

(8)図５６に示す左側の画像は、図４６（２）に示すように、一辺の長さ（ｌ）が１０．８ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５４を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。瞳５４となる矩形開口は、ピッチ（ｐ）に対して９０％の一辺長さになっている。右側の画像に対しては問題なし。

(9)図５７に示す左側の画像は、図４６（２）に示すように、一辺の長さ（ｌ）が９．６９ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５４を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。瞳５４となる矩形開口は、ピッチ（ｐ）に対して８０％の一辺長さになっている。右側の画像ではボケ味に対して問題なし。

(10)図５８に示す左側の画像は、図４６（２）に示すように、一辺の長さ（ｌ）が８．４ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５４を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で１８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。瞳５４となる矩形開口は、ピッチ（ｐ）に対して７０％の一辺長さになっている。右側の画像ではボケ味に対して問題有り。

以下、各光学系の瞳を矩形線上に配置した偏りのある多眼カメラの例を説明する。矩形開口にボケ生成半径がかからず、矩形開口が密であれば破綻が無いことがわかる。図４７（２）に示すように粗でなく、同図（１）に示すように密であれば良い。ボケ生成半径は、図４７に示す瞳配置の場合、０．５ｐ以下の半径（r）とする。

［各光学系の瞳を長方形の線上に配置する例］
(11)図５９に示す左側の画像は、図４７（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で縦長矩形線上に配置した各光学系の瞳５５を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で４．８ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(12)図６０に示す左側の画像は、図４７（１）に示すように、一辺の長さ（ｌ）が９．６９ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で縦長矩形線上に配置した各光学系の瞳５５を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(13)図６１に示す左側の画像は、図４７（１）に示すように、一辺の長さ（ｌ）が９．６９ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で縦長矩形線上に配置した各光学系の瞳５５を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で７．２ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

以下、各瞳を方形に対して４５度傾けた菱形の線上に配置した４５度配置（菱形配置）の矩形開口の場合には、図４７（５）に示すように粗ではなく、同図（４）に示すように密であって、ボケ半径が矩形開口にかからない程度であれば破綻は少ないが、０度配置（方形配置）に比べて動径によるスライスした瞳の幅の変動が大きいので、ボケ味にアーティファクトが強めに生じる。

［正方開口、４５度（菱形）配置］
(14)図６２に示す左側の画像は、図４７（４）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で菱形の線上に配置した各光学系の瞳５８を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で５．４ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(15)図６３に示す左側の画像は、図４７（４）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で菱形の線上に配置した各光学系の瞳５９を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

以下で説明する円形開口を４５度配置にした例の場合も図４８（１）に示す配置の例よりもさらに開口を大きくして密に配置することで正方形配置の円形開口と同等の性能が得られる。

［円形開口、４５度（菱形）配置］
(16)図６４に示す左側の画像は、図４８（１）に示すように、直径（ｋ）が１２×（√２）ｍｍの円形で、かつ１２ｍｍピッチ（Ｐ）で菱形の線上に配置した各光学系の瞳６０を有する多眼カメラで撮像した画像から得られる合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４７（３）に示すように、ボケカーネル５６の大きさを瞳面st面上で６×（√２）ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

以上説明した各例のボケアルゴリズム画像から、円形開口の光学ボケ画像と同様なボケ画像を得るには、瞳共役面またはカメラ配置面（s,t平面）上のカメラ瞳形状が、回転方向の対象性が高いほど良く、仮想光軸を中心とした動径によるスライスが、その偏角の８０％以上でゼロ以外であればよいことが分かった。

図６５〜図６８に示す画像は、光学系が円形開口の場合の光学ボケ画像を示す。ボケアルゴリズムの処理は行っていない。物体は、ｚ＝１９pixelに位置させ、ピントはｚ＝９pixelに合わせている。ボケの瞳面上の直径の大きさは、それぞれ４８ｍｍ、３６ｍｍ、２４ｍｍ、１２ｍｍである。いままで説明してきたボケアルゴリズムのボケアルゴリズム画像がそん色無いものであることがこれら画像との比較から分かる。

［リファレンスとなる円形開口ボケ］（理想光学系による円形ボケの例）
(1)図６５に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(2)図６６に示す左側の画像は、図４６（１）に示すように、一辺の長さ（ｌ）が１２ｍｍの正方で、かつ１２ｍｍピッチ（ｐ）で正方形の線上にランダムで配置した各光学系の瞳５３を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(3)図６７に示す左側の画像は、図４６（５）に示すように、直径（ｋ）が６ｍｍの円形で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５２を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

(4)図６８に示す左側の画像は、図４６（４）に示すように、直径（ｋ）が１２ｍｍの円形で、かつ１２ｍｍピッチ（ｐ）で正方形の線上に配置した各光学系の瞳５０を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図４６（３）に示すように、ボケカーネル５１の大きさを瞳面st面上で３６ｍｍの半径（ｒ）にした円形のボケアルゴリズム画像である。

［入射瞳］
図６９に示すように、入射瞳(Ent_p)は、レンズの前方の光学系(FE)による開口絞り(AS)の像である。射出瞳(Ext_p)はレンズの光学系(RE)による開口絞り(AS)の像である。同図で物体OBが像IMとして結像し、光軸OA上にレンズ前方光学系FEと後方光学系REが位置している。光軸はレンズの中心を通る光線とみなすこともでき、レンズの中心を通るため屈折されず直進する光線となる。物点が光軸上にある時、光軸が中心の光線になる。物点が有限の高さを持つときは，入射瞳の中心を通る光線が中心光線になる。これを主光線PL(principal ray またはchief ray) という。入射瞳と射出瞳は共役だから，主光線PLは像側では射出瞳の中心を通って，像面に到達する。瞳が円形である場合、光軸は瞳面の中心を通る。入射瞳の直径PDはFナンバーと焦点距離fよりPD=f/Fで求まる。入射瞳の位置は通常第１面からの距離LPで示される。入射瞳径PDは通常のカメラレンズのテッサータイプの場合、レンズ最大直径ODの80~90%程度になる。入射瞳の第１面からの距離LPは焦点距離45mmのテッサータイプのレンズの場合、LP=10mm程度となる。以下の実施例では複数のカメラレンズを配置するが、その場合カメラ面（または瞳面）に入射瞳を投影する。カメラ面と入射瞳は物体から見て等倍なので設計などに都合が良い。

［カメラレンズの配置］
複数のカメラレンズを配置する場合、カメラ面(s-t平面)に入射瞳を投影する。カメラ面と入射瞳は物体から見て等倍なので設計などに都合が良い。図７０に示す例の場合、合成光軸がs-t平面の原点を通る。s-ｔ面にカメラ１，２の入射瞳Ent_pを位置させる。各カメラの光軸は(s,t)=(0,t0)と(s,t)=(0,-t0)に位置している。原点(s,t)=(0,0)が合成視点である。

［多眼カメラの配置について］
複数のカメラを多眼配置する場合、カメラ面ｓ−ｔ平面の原点(0,0)を通り、s―t平面に垂直な直線を合成開口法の光軸とみなし、合成光軸と呼ぶことにする。また原点(0,0)を合成視点と呼ぶことにする。合成開口法では数式４,５,６によって合成画像を出力する。合成開口法でのボケ量はカメラ面ｓ−ｔ平面の原点(0,0)からのカメラ距離に比例する。したがって、輪帯状にカメラを配置しても、合成開口法によるぼけのでき方はカメラ面ｓ−ｔ平面の原点(0,0)つまり合成視点の選択のしかたに依存する。合わせてカメラ配置に依存して決まるボケカーネルの形状も変わる。合成視点が偏ることによってボケカーネルが変化する例を図７１に示す。なお、図７１に示すように、輪帯状に多眼カメラを配置する場合は、任意の合成視点を選ぶことが可能であるが、以下で説明する例の場合には、基本的な配置として、合成視点が輪帯の中心となる場合を示す。合成視点を輪帯の中心とすると、生成ボケの大きさを大きくできるというメリットがある。それは図４７の(1),(2)のカメラ配置の例で顕著なように、生成ボケの大きさは光学系の輪帯瞳径と同等程度までに限られるためである。生成ボケを光学系の輪帯瞳内に収まるように視点位置と生成ボケ量を調整しても良く、そうすることで輪帯瞳内での任意の視点で見た、ボケアルゴリズム像を生成しても良い。
先に説明した図１０の例ではcam3がs-t平面の原点(0,0)に位置しており、合成視点となっている。

［多眼カメラの輪帯的配置］
輪帯状の瞳形状を多眼カメラによって構成する場合、図７２に示すように、半径ｒの円周上にカメラ配置する。カメラの撮影レンズが配置された面、または入射瞳が並んだ面をｓ，ｔ平面とする。同図で撮影レンズＣ１〜Ｃ１２の円形は入射瞳の大きさを表すとする。それぞれの対物レンズ（撮影レンズ）に２次元の撮像素子が装着されておりそれぞれカメラユニットを構成しており、これらが複数配置され、多眼カメラを構成している。（多眼カメラによる合成開口法によるフォーカス合わせ（焦点合わせ）は図１０を用いて説明したとおり。合成開口出力は[数６]により各カメラの重みを１として計算。）
カメラ配置は、入射瞳が並んだ面をｓ，ｔ平面とすると、図７４に示すように、半径ｒの円周上に輪帯をなすように並置された場合、レンズにより集光される光が半径ｒの円弧の方向に切れ目がない方（角度で２０％以下の切れ目の方）が望ましい。このため、カメラのレンズにより集光される情報がレンズＣの内側いっぱいに取れることが望ましい。図７３に示すように、２重にカメラレンズの入射瞳を同心円方向に配置しても良い。内外でレンズが千鳥状に配列にされている。円弧方向の切れ目が無く、均一性が高いほど良好である（詳細は、後述する図７５で説明する）。実際にボケアルゴリズムによって再現するボケの大きさは任意であるが、瞳上でｒ（＋開口幅の５０％）程度の生成ボケ半径が大きい方が限界である。

図７５は、輪帯瞳の例である。合成視点がst座標の原点(0,0)にあるとする。内側半径を「ｒ２」、外側半径を「ｒ１」とすると、光束の入射する瞳領域を「f(s,t)」とする。原点（0,0）から一方向に発し、s軸にθをなす直線s’(θ)によるスライスを考える（これを動径s’(θ)によるスライスとよぶ）。スライスとは、直線上以外をゼロとすることである。スライスした結果は、線分s”(θ)となる。この線分s”の長さを|s”(θ)|とする（受光領域が複数あり、スライスした結果が複数の線分となる場合には複数の線分合計を考える）。瞳領域内の各点の強度に関する重みが均一である場合、|s”(θ)|がθ＝０〜３６０度の間で一定（５０〜１００％）であることが望ましい。逆に瞳領域内の各点の強度に関する重みが強度フィルターなどで設定可能であれば、線分の長さ（|s”(θ)|）＊強度重みを一定（５０〜１００％）にすることで線分長さ、|s”(θ)|を設定しても良い。実験によれば瞳の断続領域つまり|s”(θ)|＝０となる領域がθの角度範囲で２０％以下（７．２度以下）であれば良いことがわかった。

本実施形態では、ボケアルゴリズムで破綻の無いボケを得るために、円形のボケを得る場合で、かつ、瞳領域内の各点の強度に関する重みが均一である場合、瞳共役面またはカメラ配置面上の瞳領域の形状の、合成視点から発する半径方向の直線によるスライスが、緻密、かつなるべく均一であれば良いことが図３９〜図４５，図４９〜図６８で説明した画像により明らかである。瞳の断続領域は角度で２０％未満であればよい。輪帯や回転対象の多眼カメラ配置では、カメラ配置の外側程度の瞳径に相当するぼけ量でも大きな破綻は無い。しかし、長方形配置など、偏りのあるカメラ配置の場合は、カメラの合成視点を中心に、カメラ群に内接する程度のぼけ量とする必要がある。この点を考慮すると円形配置が最も効率が良いことが明らかである。しかし、本発明の効果を得るためには合成視点を取り囲むようにカメラが配置されていれば、どのようなカメラ配置でも原理的には差し支えない。つまりハードウェアとしては、瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域が、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部を有していれば良い。この瞳共役面は撮像面に位置するマイクロレンズアレーによって作られた複数の瞳共役面であってももちろん良く、いわゆるライトフィールドカメラと組み合わせても良い。そのような実施例を図８１、図８３を用いて後述する。マイクロレンズアレーを用いた場合、瞳分割数をあげることが容易で、それぞれのピンホールカメラのピンホール径が小さくなり、ピンホールカメラの幾何学的焦点深度を深く取れるというメリットがある。

瞳面、もしくはカメラ配置面に効率よくレンズを配置するにはトリプレットタイプ、テッサータイプ、ガウスタイプなど古典的な対称形状のレンズ設計が望ましく、最近の携帯電話用の光学系は後群の径が大きく配置しにくい。これはバックフォーカスを短めに取った設計のためと思われる。しかし、入射瞳を第１面の直後に位置させたレンズ設計を行えば、瞳開口率(=入射瞳径/レンズ外形)を１００％にすることも可能である。後群の直径が大きい場合、後群をミラーで折り返すような設計も可能である。

また、薄型のカメラを構成する場合、ミラーなどで適宜折り曲げて配置することも考えられる。そのほか、ロッドレンズ、イメージファイバー、セルフォックレンズ（登録商標）などを利用して瞳開口率(=入射瞳径/レンズ外形)を上げることも考えられる。多眼カメラのレンズ一つ一つの径が大きくなり、単体での焦点深度が不足する場合、キュービック関数の瞳波面収差を与えて、焦点深度を増やした、ＥＤＯＦ（Extended Depth of Field）レンズとして用いてもよい。しかし、後で述べるマイクロレンズの光学系を用いることが簡便である。合成開口法によりリフォーカス（撮影後に任意物体面にフォーカシングすること）することは重要な機能であるので、個々のカメラレンズは焦点深度が深い、パンフォーカスであることが望ましい。（もしくは単体のライトフィールドカメラ。）そのため個々のレンズの入射瞳を小さくするか、撮影倍率を小さくすることが望ましい。ｆ＝約４ｍｍ、Ｆ２．８、画角約５０度、１／４インチセンサー用レンズの場合、２ｍにフォーカスさせて無限遠から１ｍまで５〜６Ｍピクセル相当のナイキスト周波数でのＭＴＦの変化は２０％程度である。この場合の入射瞳の直径は１．４ｍである。この程度のレンズを複数並べることになる。どちらかというと、ウェハレベルレンズでテッサータイプを構成することがよさそうである。図７５のように合成視点を中心とした直線によりスライスした結果の瞳の幅を一定することが困難である場合には、瞳共役位置に濃度フィルターを設けて、瞳の光強度透過率を調整するようなフィルタリングを行っても良い。
ＭＴＦのピント位置による変化が問題となる場合、多少であれば画像先鋭化処理をピント位置に応じて適宜変えることで対応可能である。別の手段としては瞳を分割する多眼カメラの各々を無限遠から近距離までそれぞれピント位置を徐々に変えていくように初期調整しておいても良い。このように設定すると合成開口処理後の画像の合成PSFの特性がピント位置によりあまり変化しなくなる。

［表５］に示すように、５０ｍｍの瞳サイズとすれば１１２個の対物レンズ（カメラ）の数が必要となる。超解像処理によりおおむねカメラ数を約０．５倍した値に相当する画素数まではレンズの解像力に余裕があれば多画素化が達成可能である。また、対物レンズのピント位置をレンズごとに近距離から遠距離まで徐々に設定を変えておいて、合成開口法によるピント合わせ後のフォーカス像がいずれの場合でも同じようなＰＳＦとなるように設定しておいても良い。

［方形開口の輪帯配置］
図７６に示すように、方形開口を輪帯配置してももちろん構成可能である。この場合撮影レンズはハエの目レンズ状に接近する。Ｃ１〜Ｃ２４がレンズの瞳形状を示している。図７７に示すように、テッサーレンズを四角に切り出した場合、レンズ外形７０に対して８０〜９０％程度の有効領域となる入射瞳７１を得ることができ、少ないレンズで多眼カメラを構成することができる。

＜第２実施形態＞
第２実施形態では、多重輪帯瞳として、同時に複数のフォーカス像を得ようという発明である。光学系は屈折系、反射屈折系、反射系が考えられる。フォーカスごとに撮像センサを用意する。完全に同時に複数フォーカスの画像を取得するには、多眼配置のほか複数輪帯瞳光学系を提案する。そのほか振幅分割して複数のフォーカス位置にそれぞれ撮像センサを配置しても同時に複数のフォーカスの画像が取得可能であることはいうまでも無い。この例を図７８に示す。物体Ｏから発する、撮影レンズＯｂによって集光された光は、ハーフミラーｐ１〜ｐ５で振幅分割され、リレーレンズＯｒ１〜Ｏｒ５で撮像素子を含む撮像センサｓ１〜ｓ５の受光面に結像する。撮像センサｓ１〜ｓ５はそれぞれ所望のフォーカスオフセットが与えられている。このため同時に複数のフォーカス位置での像を取得可能である。なお、非同時であってもほぼ同時に取得するにはフォーカスセンサやレンズの一部を振動的にフォーカス方向に駆動し、撮像センサｓ１〜ｓ５のフォーカス位置を連続的に変化させ、時間差をあけて複数のフォーカス画像をほぼ同時に取得してもよい。

図７９は、輪対瞳光学系で瞳を多重化して分割する別の実施形態である。この場合、瞳共役面近傍のミラーｐ１〜ｐ３により瞳面を径の異なる輪帯で３分割し、それぞれ撮像センサｓ１〜ｓ３で撮像する。この際、撮像センタｓ１〜ｓ３はそれぞれ所定のフォーカスオフセットが与えられており、同時に複数のフォーカスの像を得ることができる。この実施形態では、ボケアルゴリズムでボケを形成できる上限が光学系の多重輪帯の内径ＡＰまでとなる。本実施形態のようにフォーカスごとに像側ＮＡが変わるケースでも、ＰＳＦのフォーカス方向の積分ＩＰＳＦが対象物体の深さの範囲内で事実上変化がないと見なせる範囲であれば問題ない。

ハーフミラーＰ１〜Ｐ５までの瞳分割を振幅分割でなく、波面分割にする際に、輪帯状に分割することが有効であるが、その他の例としてランダムパターンで分割することが考えられる。その時も、先に説明したように、合成視点を中心とした動径によるスライスが３６０度のうち８０％程度占めるように、かつ可能であればスライス後の線分長が均一（５０〜１００％）となるようにランダムパターンを決定する。ランダムパターンの生成には以上の拘束条件のもとに、遺伝的アルゴリズムなどで生成する。

また、波面分割する別の実施例として、図８０に示すように、撮像センサｓ１をひとつにして、ミラーをいわゆるＤＭＤ（デフォーマブル・ミラー・アレイ）等の空間光変調素子ｐ１として、時分割で輪帯の選択領域をスイッチングして変化させ、輪帯の切り替えに同期して画像を取得しても良い。その場合は、撮影レンズＯｂに球面収差等の回転対称収差を与えて、輪帯の径を選択することでフォーカスオフセットも同時に変化可能な構成とする。なお、レンズＯｒ１は、リレーレンズである。符号「ｐ２」はミラーである。収差は、レンズ間隔を変更して収差量を変えられるようにしておくと、球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたり等変化がつけられる。また、液晶等の空間光変調素子で収差量を変更してもよい。また球面収差量を被写体の奥行きに合わせて変化させてもよい。

［マイクロレンズアレイの利用］
次は、マイクロレンズアレイを用いる場合の実施形態を説明する。図８１は、一般に知られているlight ray sensor(LLS)を有する撮像部を示す。ＬＬＳは、撮像センサｓａの前に、マイクロレンズアレイＭを配置している。マイクロレンズアレイＭは、複数のマイクロレンズ（正レンズ）Ｍ１〜Ｍｎを二次元状に並べて一体化したものである。撮像センサｓａは、撮像面に複数の受光素子を有する。受光素子は、マイクロレンズＭ１〜Ｍｎの後側に所定個ずつ配置される。このような構成では、マイクロレンズＭ１〜Ｍｎが通常の撮像素子の一画素に相当する。

なお、ベイヤー配置のＲＧＢＧの４素子で一画素とする。マイクロレンズアレイＭは、撮影レンズ（結像光学系）Ｏｂの瞳面を撮像センサｓａの受光面上に結像させる。すなわち、撮像センサｓａは、マイクロレンズＭ１〜Ｍｎに相当する画素位置ごとの光強度を瞳分割して受光することになる。瞳面で分割して受光するため、これは多眼カメラと同様に、合成開口法によるフォーカスが行え、前述の多眼カメラによるボケアルゴリズムを使用できることは言うまでも無い。同図のマイクロレンズＭ２の画素に対応する受光素子群ｓｅｇ２は、ｓ’，ｔ‘面上でセグメントの中心にｓ’’，Ｔ’’座標とすると、図８１（１）に示すようになる。マイクロレンズの後ろ焦点面に瞳共役面が投影され、瞳分割数に応じた２次元の画素が配置される。つまり一画素に対して複数の瞳分割素子が配置されることになる。通常は撮像素子（＝瞳分割素子）の配列とマイクロレンズの配列はそれぞれ正方方眼配置とし、s,t座標とx,y座標が平行となるように、撮像素子の配列とマイクロレンズの配列も平行とする。このように配置されたカメラシステムを一般的にライトフィールドカメラと呼ぶ。本発明にも応用でき、例えば瞳分割センサーの外周付近の領域のセンサーのみを用いて、合成開口法によりフォーカシングすると、光軸の周囲に輪帯状に配置した多眼カメラで合成開口法でフォーカシングした場合と等価の像を形成できる。ライトフィールドカメラの分割数が例えば８ｘ８の場合、図８２（１）のような瞳分割センサーを形成することになる。この外周２８個の瞳分割センサーを用いれば矩形領域の瞳分割となる。このように中抜けの輪帯または矩形の瞳分割センサーを利用することは特に輪帯瞳を有する反射屈折光学系との相性が良い。
球面収差または像面での段差を用いてフォーカスオフセットをつける場合、瞳分割素子の輪帯光学系に対応する部分（マトリクス状に配した受光素子群ｓｅｇ２のうちの輪帯状になるように選択した受光素子群）は、同心円で分けられた領域の積分で十分なので、同図（２）に示すように、初めから同心円状に配置してもよい。その場合は、複数のフォーカスの像を同時に得るために合成開口法を行えなくなる。同心円状に配した受光素子の受光面に対してフォーカス方向に段差を与えておく。または、撮影レンズＯｂに球面収差等の回転対称収差を与えておいて、この収差によってフォーカスオフセットをつけても良い。収差は、レンズ間隔を変更して収差量を変えられるようにしておくと、球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたりなど変化がつけられる。このように、受光素子をマイクロレンズＭ１〜Ｍｎにより結像する像面に対応するセグメント毎に輪帯状に配置した撮像センサを用いる場合、受光素子の数を低減することが可能である。

また、ボケ処理時に、ボケカーネルをピント位置の前後で非対称（同図（４）参照）とすることで、その非対称ボケカーネルを用いてコンボリューションをして前ボケと後ろボケとの大きさを調整（制御）してもよい。この効果と光学系の効果（球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたりなど変化がつけられる効果）を相補的に最適化しても良い。

図８２（３）に示す例では、同心円状のセグメント数を増やして、ボケアルゴリズムによって付加するボケの大きさに応じて使用するセグメント数を増減させている。その場合、ボケを大きくする場合は「ａｓ１」等外側のセグメント群を用い、ボケが小さい場合は内側の「ａｓ３」を含む「ａｓ１〜ａｓ３」までのセグメントを使用する。そうすることによって感度の向上を図れる。これは、ボケが小さくてよい場合のみ有効である。また、被写体への距離に応じて、使用するセグメントを変えることもできる。その場合は像面の倍率が大きくなり、ボケが大きくなりがちな近距離撮影時に「ａｓ３」等のセグメントを使用することが望ましい。輪帯瞳の光学系は特に焦点距離が長い望遠レンズの場合、反射屈折光学系が適している。

＜第３実施形態＞
第３実施形態は、図８３（２’）に示すように、マイクロレンズ付きの合成開口可能なカメラを複数配置する形態である。同図（１’）は、カメラ面s-t平面状に入射瞳を投影している図である。同図（１’）に示すように、センサーレンズアレイＨを瞳共役位置に有する合成開口によるフォーカシングの可能なカメラＣｎを配置する。

このようにセンサーレンズアレイ付きのカメラを複数配置することでカメラ面ｓ，ｔ面内の瞳分割数を増加させることが可能である。本実施例では、カメラＣｎ毎の瞳分割数Ｈは２４個で、カメラＣｎを１１個とすることで、都合２６４個の瞳分割カメラがあることになる。これらをすべて用いて合成開口法によりフォーカシングを行い、ボケアルゴリズムを用いて任意のボケを付与したボケアルゴリズム画像を生成できる。ボケの大きさは、本実施形態では半径ｒ２程度になる。半径ｒ２は、合成開口可能なカメラを１１個並べた半径程度である。本実施例でも中心（０，０）を合成視点とし、ここを中心とした動径によるスライスが偏角によって途切れることなく、均一となるように瞳分割カメラを選択することが望ましくその場合、半径ｒ２に沿ったカメラを均一の幅、例えば２列分の幅を選択することがのぞましい。瞳分割方法に関してはさらに最適化の余地がある。例えば三角形の瞳分割素子、六角形の瞳分割素子、千鳥配置の瞳分割素子など。
例えば三角形の瞳分割素子、六角形の瞳分割素子、千鳥配置の瞳分割素子など。
同図(1),(2)は瞳分割の仕方を(s,t)座標に応じて変えている。この例では各カメラの撮像素子を(s,t)座標に応じて傾けている。一方マイクロレンズはs,t座標に平行なままとする。この場合は追加で画像処理する必要がある。追加の画像処理は撮像素子を斜めにして撮像した画素から補間処理によりサブピクセルの瞳分割素子出力を生成するといった処理である。
通常の方眼配置のセンサーとマイクロレンズを利用する場合、同図(１’)、(２’)の組み合わせとなる。Ｃ１〜Ｃ１１は市販のライトフィールドカメラを用いても良い。

このようにライトフィールドカメラを応用することも可能で、その場合も瞳分割素子の形状及び配置は、カメラ配置面ｓ-ｔ面上に投影して設計、最適化する。また、焦点合わせは瞳共役位置のセンサーアレイを入射瞳に投影したときのs,t座標を用いて合成開口法により焦点合わせを行う。合成視点、合成光軸は輪帯配置の中心Ｃとする。このような構成とすることで瞳分割カメラによる瞳分割サイズを小さくすることができ、各瞳分割素子の焦点深度を深くすることができる。

［球面収差の利用について］
図８４では、Ｕ，Ｖ座標をカメラ座標とする。同図に示す例は、個眼撮像部を直径ｓ１〜ｓ５の輪帯状に配置した多眼カメラとなっている。これらを予め距離ｚ１，ｚ２，ｚ３，ｚ４，ｚ５にフォーカスさせる。これらは、視差Ｚ＝ｓ１＊ｆ／ｚが等間隔Ｚ１になるように、例えばＺ１＝ｓ１＊ｆ／ｚ１，Ｚ２＝２＊ｓ１＊ｆ／ｚ１、Ｚ３＝３＊ｓ１＊ｆ／ｚ１、Ｚ４＝４＊ｓ１＊ｆ／ｚ１、Ｚ５＝５＊ｓ１＊ｆ／ｚ１の距離にフォーカスさせる。すなわちｚ２＝ｚ１／２，ｚ３＝ｚ１／３、ｚ４＝ｚ１／４，ｚ５＝ｚ１／５とする。

以上は、多眼カメラの例であるが、輪帯ｓ１〜ｓ５のカメラは、ピント位置が異なる輪帯瞳の光学系であれば何でもよい。たとえば図８５に示すように、球面収差等の対称収差を有するレンズや、輪帯状に分割されたフレネルレンズでもよい。このように瞳面を同心円状に分割する場合、分割された輪帯の幅は小さいほど好ましい。これはつまり、輪帯瞳を分割しないタイプに比べ、被写体距離によって、ボケ量が変わるためである。

他の例としては、ボケカーネルは、前ボケと後ボケで効果を変えることが可能で、図８６に示すように、前ボケを大きくしたり、後ボケを小さくすることができる。また、既存のレンズの収差量をもとにボケカーネルを作ることで既存のレンズのボケをエミュレートすることができる。つまり、既存のレンズは球面収差の傾向によって前ボケの大きいレンズや後ぼけの大きいレンズがある。これをまねようというものである。本実施例は、多眼配置のカメラに任意のボケカーネルを併用する際などボケカーネルを用いるケースすべてで利用することができる。

［カメラ分割方法］
図８７は、例えば２２個のカメラｃａｍ１〜ｃａｍ２２を円周上に配置した多眼カメラを示す。図８８は、各カメラｃａｍ１〜ｃａｍ４の要部を示す。各カメラｃａｍ１〜ｃａｍ２２は、対物レンズ（撮影レンズ）の外形を４角形に加工して、ｓ,ｔ座標の中心から発する直線を考え、直線によるスライスした受光領域の幅（線分の長さ）（受光領域が複数あり、同一方向の線分が複数ある場合はその合計の値）の直線の偏角による変動を抑えるため（図７５参照）、レンズ同士の接する辺を動径と平行にならないように分割した形態になっている。この場合、レンズ同士の接する辺と動径の方向は、常に４５度程度の角度をなす。レンズ外形に対して入射瞳は、８０〜９０％の有効領域を有する。内径ｒ１、外径ｒ２の輪帯瞳の光学系に近い瞳形状となっている。図８９は、同様な考えからレンズの外形を三日月状に加工してあり、ｓ,ｔ座標の中心から発する直線によるスライスした受光領域の幅の直線の偏角による変動が抑えられる。このようにレンズを多角形や円以外の形状とすることで受光領域の幅の偏角による変動を抑えることが可能である。また、対物レンズを一枚の光学素子に加工することも可能である。例えば、図９０に示すように、ガラス基板gkに光学素子gm1,gm2を接着しても良い。またgm1,gm2は、樹脂で成型し、ハイブリッドレンズとしても良い。また、これらを一体で射出成型したガラス、又は樹脂レンズとしても良い。

以上、説明したように本実施形態では、大口径レンズと同様のボケを有する画像を、大口径レンズを用いずに小型化したカメラで撮影可能となる。また、撮影後に任意のボケ量に設定できる。さらに、輪帯瞳とマイクロレンズと輪帯状撮像セグメントを組み合わせた場合、従来のこの種のカメラより撮像素子を低減することが可能である。また、球面収差量でフォーカスオフセットをつける場合、前ボケ、後ボケの大きさを調整することが可能となる。さらに、ボケカーネルをピント位置の前後で非対称とすることで前ボケと後ろボケの大きさを調整できる。

上記実施形態では、図１で説明した多眼カメラ１０を用いて一枚のボケが付与された写真の取得に必要な多焦点画像を同時に取得しているが、一般的な一眼のカメラを用いて、ピントをずらしながら時系列的に複数回の撮影を行って複数の多焦点画像を取得してもよい。

また、上記各実施形態では、電子カメラ９，１０として説明しているが、本発明ではこれに限らず、図６で説明した撮影レンズ２３、撮像素子２０、ＡＦＥ２１、及びフレームメモリ２２等を省略し、画像処理部のみを備えた画像処理装置又はその方法としてもよい。この場合には、予め撮像済みの複数の多焦点画像データまたは複数枚の多眼カメラ画像を取り込むための記憶部を設ければよい。

画像処理部が実行するためのプログラムは、本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的、磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。そこで、本発明としては、コンピュータを、前述した画像処理装置として機能させるためのプログラムとしてもよい。また、そのプログラムを記録した記録媒体としてもよい。

次に、アオリ撮影により得られる画像を、合成開口法を利用して仮想的に生成する実施形態について以下に説明する。
（１）[像面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]
図９１では、レンズLの光軸Zの原点がレンズにあるとして、物体空間を(X,Y,Z)で表す。像面ImpとレンズLの距離a0とを任意に設定する。像面Impと物面Obpとは共役関係になる。同図は、アオリ光学系になっており、像面Impが傾いているので物面Obpも傾いている。像面Impを傾けた時のレンズLから距離a0,a1,a2の像点I1,I2,I0を考える。像点I0,I1,I2に共役な物点O0,O1,O2までの距離b0,b1,b2をレンズの結像公式（1/a+1/b=1/f）により像点位置ごとに算出し、物点O0,O1,O2までの距離b0,b1,b2の最大値と最小値を求める。同図に示す例では距離b1が最大値、距離b2が最小値に相当する。物点O0,O1,O2までの距離の最小値b2と最大値b1の間がピントの合う範囲であるので、この間の距離を適当な間隔で分割し、分割した位置を複数のフォーカス距離として定める。なお、フォーカス距離としては、例えば前記ピントの合う範囲を等間隔に分割した位置に設定するのが好適である。次に、複数のフォーカス距離にピントを合わせた画像を、所望のボケ量でボケアルゴリズム処理を施して複数生成する。これらの画像はピントの合ったところに物体があるとボケが発生せず、ピントの合っていないところに物体があるとボケが発生した像になる。複数のフォーカス距離にピントの合った各画像から、前述した像面を傾けた時の像面Impの像点ごとのデータ（RGBの強度値。実際にはR、G、Bに対して同じ処理を別々に行うことはいうまでもない。）に基づいて、物面Obp上の共役な物点O0,O1,O2ごとの距離b0,b1,b2に対応するデータを抽出していく。このようにして一枚のアオリ写真のデータを得ることができる（アオリ撮影の場合、通常は興味の対象の物体はインフォーカス（ピントの合った状態）で撮影される。）

（２）［物面を傾けて撮影をした時に得られる画像を仮想的に生成する場合］
この場合は、傾ける面を物面Obpに設定するが、物面Obpと像面Impは共役関係であるため、どちらの面を先に設定してもその後の処理は、前述した[像面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]と同じ処理を用いることで、一枚のアオリ写真のデータを得ることができる。

以上、本発明の実施形態に係る画像生成方法及び装置について詳細に説明したが、上述した構成は本発明の趣旨を逸脱しない範囲で、適宜変更が可能である。

〔付記〕
上記に詳述した発明の実施形態についての記載から把握されるとおり、本明細書は少なくとも以下に示す発明を含む多様な技術思想の開示を含んでいる。

（発明１）：複数の撮影レンズにより被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記撮影レンズの瞳の仮想光軸を中心とした動径によるスライスが、その偏角の略８０％以上でゼロ以外となるように前記複数の撮影レンズが配置されていることを特徴とする画像生成方法。

（発明２）：発明１に記載の画像生成方法において、前記ボケ処理は、任意のボケカーネルを用いたコンボリューションをする処理を含むとともに、
前記画像先鋭化処理は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。

（発明３）：発明２に記載の画像生成方法において、前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数となっていることを特徴とする画像生成方法。

（発明４）：発明２又は３に記載の画像生成方法において、前記カーネルを用いたデコンボリューション処理は、前記ボケ処理でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。

（発明５）：複数の撮影レンズにより被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記複数の撮影レンズの合成光軸を中心に任意方向に回転する動径による瞳領域のスライスが、その偏角の略８０％以上でゼロ以外となるように前記複数の撮影レンズが配置されていることを特徴とする画像生成方法。

（発明６）：［図７９で説明した輪帯光学系で瞳を分割する発明］
複数の撮影レンズにより結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記多眼撮像部は、前記撮影レンズの瞳の仮想光軸を中心とした動径のスライスが、その偏角の略８０％以上でゼロ以外となるような複数の領域に瞳分割したことを特徴とする画像生成方法。

（発明７）：［図８１で説明したマイクロレンズを用いた発明］
被写体像を所定の結像面に結像させる撮影レンズと、前記結像面の近傍に二次元状に配列されたレンズアレイと、前記レンズアレイの各々に対応して前記レンズアレイの後側に所定個ずつ配置される複数の受光素子とを備え、前記各正レンズにより結像する像面に対応する領域に含まれる受光素子群のうち同心円上または矩形上の複数の受光素子から前記領域毎に取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。

（発明８）：発明７に記載の画像生成方法において、前記撮影レンズは、回転対称収差を有することを特徴とする画像生成方法。

（発明９）：［図８２（４）で説明した前ボケと後ろボケとの大きさを制御する発明］
複数の撮影レンズにより焦点を変えて結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記ボケ処理は、前記ピント位置の前後で非対称にしたボケカーネルを用いてコンボリューションをすることを特徴とする画像生成方法。

９，１０ 多眼カメラ
１１ 撮影開口
２０ 撮像素子
２３ 撮影レンズ
２５ 画像処理部
３６ ボケ処置部
３９ 画像鮮鋭化処理部
４０ 個眼撮像部

Claims (12)

1. 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
2. 請求項１に記載の画像生成方法において、
   前記視点を取り囲むように配置された複数の瞳領域は、二重以上の同心円上に並ぶように配置されていることを特徴とする画像生成方法。
3. 請求項１又は２に記載の画像生成方法において、
   前記光学系は、キュービック関数の瞳波面収差を与えて焦点深度を増やしたＥＤＯＦ（Extended Depth of Field）特性を有することを特徴とする画像生成方法。
4. 請求項１から３のいずれか１項に記載の画像生成方法において、
   前記視点を取り囲むように配置された複数の瞳領域は、全体を表す形状が、円形又は矩形であることを特徴とする画像生成方法。
5. 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部と、
   前記多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成するボケ画像生成部と、
   を備えたことを特徴とする画像生成装置。
6. 請求項５に記載の画像生成装置において、
   前記複数の光学系は、前記各光学瞳が二重以上の同心円上に並ぶように配置されていることを特徴とする画像生成装置。
7. 請求項６に記載の画像生成装置において、
   前記光学系は、キュービック関数の瞳波面収差を与えて焦点深度を増やしたＥＤＯＦ（Extended Depth of Field）特性を有することを特徴とする画像生成装置。
8. 請求項５から７のいずれか１項に記載の画像生成装置において、
   前記視点を取り囲むように配置された複数の瞳領域は、全体を表す形状が、円形又は矩形であることを特徴とする画像生成装置。
9. 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に光電変換するする瞳分割素子アレイから取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
10. 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に光電変換する瞳分割素子アレイを有し、該瞳分割素子アレイから取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成装置。
11. 瞳面もしくはその共役面上で視点を取り囲むように配置された瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、瞳領域を通過する光束を光学系により結像させ被写体像を撮像する撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
12. 瞳面もしくはその共役面上で視点を取り囲むように配置された瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の８０％以上で存在し、瞳領域を通過する光束を光学系により結像させ被写体像を撮像する撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成装置。