JP6571266B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に撮像装置の高機能化に有効な技術に関する。

スマートフォンなどに搭載するデジタルカメラや車載カメラ等は、薄型化・高機能化が必要である。この種のデジタルカメラの薄型化技術としては、例えばレンズを用いることなく物体像を得るものがある（例えば特許文献１参照）。
この技術は、画像センサに特殊な回折格子基板を貼り付け、回折格子基板を透過する光が画像センサ上で生じる射影パターンから、入射光の入射角を逆問題により求めることで、外界の物体の像を得るものである。

米国特許出願公開第２０１４／０２５３７８１号明細書

上述した特許文献１では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンとなっている。そして、その画像センサにて受光される射影パターンから、像を再生するための逆問題を解くことにより、物体の像を得ているが、この逆問題を解く際の演算が複雑になるという問題がある。またデジタルカメラ、車載カメラは高機能なセンシングが求められるが、特許文献１の技術は高機能化を考慮していない。
本発明の目的は、簡単な演算を用いた、撮像装置の高機能化を可能とする技術を提供することにある。

上記課題は、たとえば、特許請求の範囲に記載の発明により解決される。

本発明によれば、撮影後のフォーカス調整（リフォーカス）、オートフォーカス、測距といった高機能な撮像装置を実現することが可能となる。

基本的な実施例を示す図 基本的な実施例の変調器を示す図 基本的な実施例の変調器を示す図 基本的な実施例により外界の物体を撮影する様子を示す図 基本的な実施例の画像処理部の処理フローを示す図 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図 表面格子と裏面格子の軸をずらして配置する場合の模式図 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図 格子パターンの実施例を示す図 格子パターンの実施例を示す図 物体を構成する各点からの光がセンサに対してなす角を説明する図 物体を撮影した場合の空間周波数スペクトルを示す図 物体が無限距離にある場合に表側格子パターンが投影されることを示す図 物体が無限距離にある場合に生成されるモアレ縞の例を示す図 物体が有限距離にある場合に表側格子パターンが拡大されることを示す図 物体が有限距離にある場合に生成されるモアレ縞の例を示す図 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図 裏側格子パターンを画像処理で実現する実施例を示す図 裏側格子パターンを画像処理で実現する実施例の変調器を示す図 裏側格子パターンを画像処理で実現する実施例の画像処理部の処理フローを示す図 リフォーカスを実現する実施例を示す図 リフォーカスを実現する実施例の画像処理部の処理フローを示す図 オートフォーカスを実現する実施例を示す図 オートフォーカスを実現する実施例のフォーカス位置算出部の処理フローを示す図 オートフォーカスを実現する実施例のコントラスト計算領域を示す図 オートフォーカスを実現する実施例の最適フォーカス位置を示す図 測距を実現する実施例を示す図 測距を実現する実施例の距離計測部の処理フローを示す図 測距を実現する実施例のコントラスト計算領域を示す図 測距を実現する実施例の最適フォーカス位置を示す図 測距を実現する実施例のコントラスト計算領域を示す図 格子パターンの実施例を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 １次元方向の測距を実現する実施例の変調器とセンサの構成を示す図 処理を分割する方法の実施例を示す図 処理を分割する方法の実施例を示す図 画像データ容量を圧縮する実施例の画像圧縮部の処理フローを示す図

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
以下、本発明の実施例について図面を用いて説明する。

〈無限遠物体の撮影原理〉
図１は、本実施の形態１による撮像装置１０１における構成の一例を示す説明図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、変調器１０２、画像センサ１０３、および画像処理部１０６から構成されている。

図２に変調器１０２の一例を示す。変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａに第１の格子パターン１０４、第２の格子パターン１０５がそれぞれ形成された構成からなる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この格子パターン１０４、１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン１０４，１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウムなどを蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、格子パターン１０４，１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。

なお、ここでは変調器１０２を実現するために、格子パターン１０４，１０５を格子基板１０２ａに形成する方法について述べたが、図３に示すように格子パターン１０４，１０５を薄膜に形成し、支持部材１０２ｂにより保持する構成などによっても実現できる。
格子パターン１０４，１０５を透過する光は、その格子パターンによって光の強度が変調される。透過した光は、画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。

図４は、図１の撮像装置１０１による撮影の一例を示す説明図である。この図４では、撮像装置１０１によって被写体４０１を撮影して画像表示部１０７に表示している例を示している。図示するように、被写体４０１を撮影する際には、被写体４０１に対して変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１０２ａの面が正対するようにして撮影が行われる。
続いて、画像処理部１０６による画像処理の概略について説明する。図５は、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略を示すフローチャートである。

まず、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとに２次元フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算を行い、周波数スペクトルを求める（ステップＳ５０１）。続いて、ステップＳ５０１の処理による周波数スペクトルの片側周波数のデータを切り出した後（ステップＳ５０２）、該周波数スペクトルの強度計算を行う（ステップＳ５０３）ことによって画像を取得する。そして、得られた画像に対してノイズ除去処理を行い（ステップＳ５０４）、続いてコントラスト強調処理（ステップＳ５０５）などを行う。その後、画像のカラーバランスを調整して（ステップＳ５０６）撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１における撮影原理について説明する。まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。

このような格子パターンが両面に形成された厚さｔの変調器１０２に、図６に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。

この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。但し、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレート
に限定するものではない。

第２項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。
式５から鋭いピークを持つ成分のみを

のように取り出すと、そのフーリエスペクトルは、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

その様子を図７に示す。図７において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図７（ａ）は、垂直入射、図７（ｂ）は、左側から角度θで光線が入射する場合、図７（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。
変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図７（ａ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。

図７（ｂ）および図７（ｃ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７（ｂ）の場合なのか、あるいは図７（ｃ）の場合なのかを判別することができなくなる。

これを避けるためには、例えば図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では

の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、

とするのが妥当である。

図９は、第１の格子パターン１０４と第２の格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図７と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図９（ａ）は、光線が垂直入射の場合であり、図９（ｂ）は、光線が左側から角度θで入射する場合であり、図９（ｃ）は、光線が右側から角度θで入射する場合である。

第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図９（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９（ｂ）では、ずれδがさらに大きくなる方向、図９（ｃ）では、小さくなる方向となっているため、図７と異なり、図９（ｂ）と図９（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。
受光できる平行光の入射角の最大角度をθｍａｘとすると、

より、撮像装置１０１にて受光できる最大画角は、

で与えられる。

一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、

に相当すると考えることができる。
ここで、式１３より画角は変調器１０２の厚さｔ、格子パターン１０４，１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

なお、式２で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図１０に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりでは、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１２を用いて模式的に説明する。図１２は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。被写体３０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１２では格子センサ一体基板１２０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。

式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能であり、これまでの議論から高速フーリエ変換（ＦＦＴ）によって、図１３に示すような像を得ることができる。
〈有限距離物体の撮影原理〉
ここで、これまで述べた無限遠の場合における表面側の第１の格子パターン１０４の裏面への射影の様子を図１４に示す。無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は第１の格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側の格子パターン（図１の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、等間隔な直線状のモアレ縞を得ることができる（図１５）。

一方、有限距離の物体に対する撮像について説明する。図１６は、撮像する物体が有限距離にある場合に表面側の第１の格子パターン１０４の裏面への射影が第１の格子パターン１０４より拡大されることを示す説明図である。図１６に示すように、物体を構成する点１６０１からの球面波が表面側の第１の格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点１６０１までの距離ｆを用いて、

のように算出できる。

そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる（図１７）。しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる（図１８）。このためには、第２の格子パターン１０５の係数βをβ／αとすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を構成していた。この裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１９に示すように、第２の格子パターン１０５を除去した変調器１９０１を使用し、第２の格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。
この時の変調器１９０１の構成の詳細を図２０に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができる。

図２１は、図１９の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図２１におけるフローチャートが図５のフローチャートと異なるところは、ステップＳ２１０１の処理である。ステップＳ２１０１の処理では、前述した強度変調部１９０２により、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、強度変調部１９０３において裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算すればよい。さらに、裏面側の格子パターン１０５が図１０、１１に示すような２値化したパターンであれば、黒に相当する領域の画像センサ１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図２１のステップＳ５０１〜Ｓ５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。

なお、この場合、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチが画素１０３ａのピッチにて再現できる程度に粗い必要である。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。
また、以上は強度変調部１９０３により第２の格子パターン１０５に相当する処理を実現したが、第２の格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。

以上で説明した、裏面側の第２の格子パターン１０５を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図２２に示す。図１９と異なるのは、画像記憶部２２０１、画像処理部２２０２、フォーカス設定部２２０３である。画像記憶部２２０１は、撮影後のフォーカス調整を可能とするため、画像センサ１０３から出力される画像を一時的に格納するために設けられている。また、フォーカス設定部２２０３は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などによってフォーカス距離を設定可能であり、フォーカス距離情報を画像処理部２２０２に出力する。

図２３は、図２２の画像処理部２２０２による画像処理の概略を示すフローチャートである。この図２３におけるフローチャートが図２１のフローチャートと異なるところは、ステップＳ２３０１の処理である。ステップＳ２３０１の処理では、前述したフォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、
裏面側の第２の格子パターン１０５の係数βをβ／αとする計算を行う。その後Ｓ２１０１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図２３のステップＳ５０１〜Ｓ５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。

以上の方法・構成に依れば、高速フーリエ変換（ＦＦＴ）などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本実施例では１度の撮影しか必要としない。
なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

また、本実施例において格子パターン１０４，１０５はフレネルゾーンプレートやガボールゾーンプレートとして説明したが、これに限定されるものではなく、モアレ縞から空間周波数スペクトルを算出できさえすれば、他の実施例の１次元方向のパターンなどを使用してもよい。これらのことは他の実施例においても適用できる。

本実施例が実施例１と異なるのは、フォーカス調整を自動化できる点である。本実施例の構成を図２４に示す。実施例１の図２２と異なるのは、フォーカス位置算出部２４０１である。
図２５は、図２４のフォーカス位置算出部２４０１によるオートフォーカスの概略を示すフローチャートである。本オートフォーカスは、フォーカス位置を分解能Δｆずつシフトさせながら現像処理し、コントラストが最大となる位置を算出することによって実現する。この処理について詳細に説明する。

まず、フォーカス位置の初期値（無限遠もしくは距離０など）を設定（Ｓ２５０１）、フォーカス位置から拡大率αを算出し、第２の格子パターン１０５の係数βを算出する（Ｓ２３０１）。Ｓ２１０１からＳ５０３までは図２３と同様であり、その後、図２６に示すように撮像範囲内の領域２６０１内の任意の領域２６０１ａを切り出す（Ｓ２５０３）。この領域がフォーカス調整に用いる領域であり、ユーザがＧＵＩで設定するか、顔認識技術等により自動的に設定してもよい。次に、領域２６０１ａ内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、

により算出（Ｓ２５０４）、結果をメモリに格納する（Ｓ２５０５）。

この後、フォーカス位置をΔｆずらして設定（Ｓ２５０２）、以降のＳ２５０２からＳ２５０５までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２５０６）。探索完了後、メモリ内のコントラスト情報を読み出すと、図２７に示したように、コントラストとフォーカス位置の関係が得られるので（Ｓ２５０７）、コントラストが最大となるフォーカス位置を探索し（Ｓ２５０８）、出力する（Ｓ２５０９）。
このフォーカス位置算出部２４０１において得られたフォーカス位置情報に基づき、画像処理部２２０２で画像処理を行えば、最適なフォーカスでの撮影が可能となる。

以上の方法・構成に依れば、フォーカス調整を自動化でき、さらに従来のカメラと異なり、再撮影を行うことなく最適なフォーカスでの撮影が可能となる。

なお、本実施例においてコントラストが最大となる探索を行ったが、これに限定するものではなく、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ−Ｐａｓｓ Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス位置を決定できる方法であればよい。
また、フォーカス位置の走査範囲はユーザが予め設定することも可能である。
また、フォーカス位置をΔｆずつシフトする方法について説明したが、これに限定するものではない。フォーカス位置が変わることによる像のボケ方は、遠方ほど位置に対する感度が低くなるため、撮像装置１０１近傍は細かく、遠方は粗くシフトさせることでより高精度・高速な探索が可能となる。
これらのことは他の実施例においても適用できる。

本実施例が実施例１と異なるのは、画像のみならず２次元方向（水平ならびに垂直方向）の距離情報を取得できる点である。本実施例の構成を図２８に示す。実施例１の図２２と異なるのは、距離計測部２８０１ならびに距離情報表示部２８０２である。
図２９は、図２８の距離計測部２８０１による距離計測の概略を示すフローチャートである。本距離計測は、実施例２のオートフォーカスの原理を領域毎に実施することで、最適なフォーカス位置（＝物体が存在する位置）を計測することによって実現する。この処理について詳細に説明する。

まず、Ｓ２５０１からＳ５０３までは実施例２の図２５と同様である。その後、図３０に示すように撮像範囲内の領域２６０１を分割する（Ｓ２９０１）。この分割サイズが距離計測における２次元方向の分解能に対応するためサイズが細かい方が好ましいが、細かくし過ぎると測定誤差が増大する問題がある。よって、環境に応じてユーザが分割サイズを変更できることも有用である。この分割した領域３００１の例として領域３００１ａと３００１ｂを図３０に示している。次に、領域毎に領域内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、

により算出（Ｓ２９０２）、結果をメモリに格納する（Ｓ２９０３）。

この後、フォーカス位置をΔｆずらして設定（Ｓ２５０２）、以降のＳ２５０２からＳ２９０３までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２９０４）。探索完了後、メモリ内のコントラスト情報を読み出すと、図３１に示したように、コントラストとフォーカス位置の関係が得られる（Ｓ２９０５）。この例のように、遠方の山が領域内に含まれる領域３００１ａは遠方でコントラストが最大となり、近傍の人が領域内に含まれる領域３００１ｂは比較的近傍でコントラストが最大となっている様子が判る。例では２つの領域の変化のみ図３１に示しているが、実際には図３０における領域３００１の分割数の数だけメモリに格納されていることになる。このように、領域毎にコントラストが最大となるフォーカス位置を探索し（Ｓ２９０６）、距離情報の２次元マップを作成し出力する（Ｓ２９０７）。

この距離情報を距離情報表示部２８０２により表示することで、２次元方向の距離情報を確認可能となる。ここでは、距離情報表示部２８０２を使用したが、距離計測部２８０１出力を直接用いることにより、自動車やドローンのような機器における、障害物認識、自動運転に適用することもできる。

以上の方法・構成に依れば、画像のみならず２次元方向（水平ならびに垂直方向）の距離情報を取得することが可能となる。

なお、本実施例においてコントラストが最大となる探索を行ったが、これに限定するものではなく、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）や、ＨＰＦ（Ｈｉｇｈ−Ｐａｓｓ Ｆｉｌｔｅｒ）結果の加算値など、鮮明な画像となるフォーカス位置を決定できる方法であればよい。
また、２次元の距離測定が不要な場合、図３２に示すように撮像範囲内の領域２６０１を横方向に分割し、分割領域３００１単位で距離測定することもできる。これにより、水平方向のみの距離測定しか行えないが、縦方向の情報を使うことにより距離情報のＳＮＲを向上可能である。もちろん、撮像範囲内の領域２６０１の分割を縦方向に行うことにより、垂直方向のみの距離測定とすることも可能である。

また、本実施例では単一フレームから距離情報を算出する例について述べたが、複数フレームの画像を平均化して使用する、または複数フレームの距離情報を平均化して使用することによってＳＮＲを向上し、距離精度を向上したり、２次元方向の分解能を向上したりすることが可能である。

また、フレーム間での距離情報の差分を求めることによって、２次元方向または１次元方向の速度情報を算出することも可能である。
これらのことは他の実施例においても適用できる。

実施例３では図３２の例のように１次元方向の測距を行う際にも、図２８のように２次元の画像センサ１０３を使用していることから、図２９のＳ５０１を２次元フーリエ変換により行わなければならず、計算コスト、画像センサコストが増大することになる。
そこで、本実施例では１次元方向の測距に特化した構成について説明する。本実施例の構成は実施例３における図２８と同一でよいが、変調器１９０１の第１の格子パターン１０４を図３３に示すように１次元方向のパターンとする。このパターンにおける複数の直線は、基準座標に対して直線間距離が反比例して狭くなっている。このパターンは、

により定義できる。このように、垂直方向に同一パターンが連続する格子パターンを使用することによって、水平方向にのみの検出を可能とする。

この格子パターンを用いた例を図３４に示す。変調器３４０１とラインセンサ３４０２から構成されている。また、変調器３４０１の表面は式２０に基づく格子パターン３４０３により透過率が変調されている。本構成に依れば、１次元のラインセンサを用いることでセンサコストを抑圧し、さらにフーリエ変換を１次元フーリエ変換とすることで演算量を大幅に低減することが可能である。なお、この例ではセンサ側（裏面）の格子パターンを省略した構成を示しているが、もちろん裏面の格子パターンがある構成で実現してもよく、このことは全ての議論でも同様である。

別の例を図３５に示す。シリンドリカルレンズ３５０１、変調器３５０２、ラインセンサ３４０２から構成されている。また、変調器３５０２の表面は式２０に基づく格子パターン３５０３により透過率が変調されている。さらに、シリンドリカルレンズ３５０１の焦点位置がラインセンサ３４０２上となるように配置されている。本構成に依れば、図３４よりも多くの光を用いて検出することができるため、距離情報のＳＮＲを向上することが可能である。

さらに別の例を図３６に示す。変調器３５０２、画像センサ１０３、垂直方向加算部３６０１から構成されている。垂直方向加算部３６０１では、画像センサ１０３垂直方向の輝度を加算する演算を行う。本構成に依れば、図３５のようにシリンドリカルレンズ３５０１を用いなくても、よりも多くの光を用いて検出することができるため、距離情報のＳＮＲを向上することが可能である。

なお、本実施例では図３３の１次元方向のパターンを測距に使用する例について述べたが、他の実施例の格子パターン１０４，１０５として使用することで、１次元方向に限定した撮影、リフォーカス、オートフォーカスなどの処理が可能であり、周波数スペクトルに必要な演算量を大幅に低減することが可能である。

また、以上の例では水平方向の測距に特化した構成について説明したが、これに限定するものではなく、図３３に示した格子パターンを、

のように、水平方向に同一パターンが連続する格子パターンを使用することによって、垂直方向にのみの検出を可能としたり、任意の角度方向の検出を行ったりすることも可能である。
これらのことは他の実施例においても適用できる。

これまでの実施例では、画像処理部２００２や距離計測部２２０１などの演算のため、撮像装置１０１サイズが大きくなってしまう可能性がある。そこで、本実施例では撮像装置１０１サイズを小さくするための処理分割方法について説明する。

本実施例の構成を図３７に示す。実施例３の図２８と異なり、撮像装置１０１に含まれるのは主に変調器１９０１、画像センサ１０３であり、信号処理部３７０１に画像記憶部２２０１、画像処理部２２０２、距離計測部２８０１が含まれている。
本構成において、撮像装置１０１出力を有線もしくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してインターネットに接続するなどすれば、信号処理部３７０１はサーバなどで行っても良く、撮像装置１０１の大きさを制限することが無くなる。
しかし、図３７の構成では画像センサ１０３出力のデータ容量が大きいことが問題になると考えられる。そこで、実施例２などのように、フォーカス位置が決まっている場合に画像を圧縮する方法について図３８で説明する。

図３８は、実施例２の図２２と異なり、撮像装置１０１に含まれるのは主に変調器１９０１、画像センサ１０３、画像圧縮部３８０１、フォーカス設定部２２０３であり、信号処理部３８０２に画像処理部１０６が含まれている。

図３９は、図３８の画像圧縮部３８０１による画像圧縮の概略を示すフローチャートである。フォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、裏面側の第２の格子パターン１０５の係数βをβ／αとする計算を行う（Ｓ３９０１）。その後、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する（Ｓ３９０２）。ここで、画像センサ１０３が有する画素１０３ａのピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいためにデータ容量が増大している。よって、モアレ像が解像できるだけの空間周波数を通過するＬＰＦ（Ｌｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒ）を作用させた後に（Ｓ３９０３）、ダウンサンプリングを行い（Ｓ３９０４）、データ容量を圧縮する。なお、このダウンサンプルの際のサンプリング周波数がＬＰＦ通過帯域の倍以上であればサンプリング定理上元の信号を復元することが可能であるため望ましいが、限定するものではない。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１・・・撮像装置、１０２・・・変調器、１０２ａ・・・格子基板、１０２ｂ・・・支持部材、１０３・・・画像センサ、１０３ａ・・・画素、１０６・・・画像処理部、１０７・・・画像表示部、１０４・・・格子パターン（表側）、１０５・・・格子パターン（裏側）、４０１・・・被写体、１２０１・・・格子センサ一体基板、１４０１・・・点、１４０２・・・投影像、１６０１・・・点、１６０２・・・投影像、１９０１・・・変調器、１９０２・・・画像処理部、１９０３・・・強度変調部、２２０１・・・画像記憶部、２２０２・・・画像処理部、２２０３・・・フォーカス設定部、２４０１・・・フォーカス位置算出部、２６０１・・・領域、２６０１ａ・・・領域、２８０１・・・距離計測部、２８０２・・・距離情報表示部、３００１・・・領域、３００１ａ・・・領域、３００１ｂ・・・領域、３２０１・・・領域、３４０１・・・変調器、３４０２・・・ラインセンサ、３４０３・・・格子パターン、３５０１・・・シリンドリカルレンズ、３５０２・・・変調器、３５０３・・・格子パターン、３６０１・・・垂直方向加算部、３７０１・・・信号処理部、３８０１・・・画像圧縮部、３８０２・・・信号処理

Claims (14)

1. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
   前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、
   前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、
   を具備し、
   前記変調器は、複数の同心円から構成される第１の格子パターンを有し、
   前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   適切なフォーカス位置を推定するフォーカス位置算出部を具備し、
   前記フォーカス位置算出部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を算出し、前記評価指標のピークを検出することにより適切なフォーカス位置を推定することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記信号処理部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を分割した領域毎に算出し、前記領域毎に前記評価指標のピークを検出することにより前記領域毎に被写体までの距離を推定することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記領域は、撮影範囲の水平方向にのみ分割されていることを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記領域は、撮影範囲の垂直方向にのみ分割されていることを特徴とする撮像装置。
6. 請求項１乃至５のいずれかに記載の撮像装置において、
   前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなることを特徴とする撮像装置。
7. 請求項１乃至５のいずれかに記載の撮像装置において、
   前記信号処理部は、生成した前記モアレ縞画像を２次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。
8. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
   前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、
   前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、
   を具備し、
   前記変調器は、複数の直線から構成される第１の格子パターンを有し、
   前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の直線から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、
   前記信号処理部は、フォーカス位置に応じて前記第２の格子パターンの直線間距離を変更することを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   適切なフォーカス位置を推定するフォーカス位置算出部を具備し、
   前記フォーカス位置算出部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を算出し、前記評価指標のピークを検出することにより適切なフォーカス位置を推定することを特徴とする撮像装置。
10. 請求項８に記載の撮像装置において、
    被写体までの距離を推定する距離計測部を具備し、
    前記距離計測部は、フォーカス位置を変化させながら、モアレ縞画像に基づいて得られる画像の評価指標を分割した領域毎に算出し、前記複数の領域毎に前記評価指標のピークを検出することにより複数の領域毎に被写体までの距離を推定することを特徴とする撮像装置。
11. 請求項８乃至１０のいずれかに記載の撮像装置において、
    前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
12. 請求項８乃至１０のいずれかに記載の撮像装置において、
    前記信号処理部は、生成した前記モアレ縞画像を１次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。
13. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    前記画像センサから出力される画像信号の画像処理を行う信号処理部と、
    を具備し、
    前記変調器は、複数の直線から構成される第１の格子パターンと第２の格子パターンを有し、
    前記変調器は、前記第１の格子パターンを透過する光を前記第２の格子パターンにて強度変調することでモアレ縞画像を生成するものであって、
    前記第１の格子パターン及び前記第２の格子パターンにおける前記複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置において、
    前記信号処理部は、前記画像信号を１次元フーリエ変換して周波数スペクトルを算出することを特徴とする撮像装置。

Images