JP6824757B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、可視光および赤外光に感度を有する固体撮像素子を用いた撮像装置に関する。

一般に、監視カメラなどの撮像装置では、夜間などの低照度時においても鮮明な被写体像を取得することが要求される。低照度時においても鮮明な被写体像を取得可能な撮像装置として、例えば、可視光のみでなく、赤外光に感度を有する固体撮像素子（以下単に撮像素子と呼ぶ）を用いるようにした撮像装置が知られている（特許文献１参照）。

さらに、撮像素子を用いた撮像装置において、折り返し成分に起因するモアレを抑制するため、撮像素子よりも光入射側に光学ローパスフィルタを配置した撮像装置が知られている。そして、特許文献１に記載の撮像装置においても、撮像素子よりも光入射側に光学ローパスフィルタを配置して、モアレを抑制した画像を得るようにしている。

特開２００５−９９２０８号公報

ところで、特許文献１に記載の撮像装置では、可視光による撮影画像を取得する撮影モードと赤外光による撮影画像を取得する撮影モードとの双方において、同一の光学ローパスフィルタを挿入して画像を得ている。

ところが、撮影モードに拘わらず同一の光学ローパスフィルタを用いた場合には、結像光学系および撮像素子によっては、全ての撮影モードにおいて品質の高い画像を得ることが困難となる。

従って、本発明の目的は、全ての撮影モードにおいて品質の高い画像を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、結像光学系を介して光学像が結像され、前記光学像に応じた画像信号を出力する撮像素子と、前記結像光学系と前記撮像素子との間に配置された光学フィルタユニットとを備える撮像装置であって、前記光学フィルタユニットは、前記結像光学系の側から順に配置された第１の複屈折部材、赤外カットフィルタ、第１の位相部材、および第２の複屈折部材を有し、可視光によって前記画像信号を得る第１の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路に挿入し、可視光および赤外光によって前記画像信号を得る第２の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路から抜去する駆動手段を制御する制御手段を有することを特徴とする。

本発明によれば、可視光によって撮影を取得する撮影モードおよび赤外光によって画像を取得する撮影モードなど全ての撮影モードにおいて、品質の高い画像を得ることができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す光学フィルタユニットの構成を説明するための図である。 図２に示す光学フィルタユニットにおいて第２の撮影モードにおける光学ローパスフィルタの作用を説明するための図である。 図２に示す光学フィルタユニットから出射された光の点像強度分布を説明するための図である。 図２に示す光学フィルタユニットにおいて位相差を０度から３６０度まで変化させた場合の点像強度分布を示す図である。 図１に示す撮像素子におけるサンプリング位置を説明するための図である。 図１に示す撮像素子におけるサンプリング位置の他の例を説明するための図である。 本発明の実施の形態による撮像装置の他の例を説明するための図である。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

＜撮像装置＞
図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置１００は、例えば、監視カメラであり、結像光学系１０１、固体撮像素子（以下単に撮像素子と呼ぶ）１０２、制御部１０３、および光学フィルタユニット１０４を有している。撮像素子１０２には結像光学系１０１を介して光学像が結像され、撮像素子１０２は光学像に応じた画像信号を出力する。なお、光学フィルタユニット１０４は撮像素子１０２よりも光入射側に配置されている。

撮像素子１０２は、可視光および赤外光の双方に感度を有するＳｉ、ＩｎＧａＡｓ、又は有機半導体などで形成されている。撮像装置１００は、可視光によって撮影画像を取得する第１の撮影モードと、可視光および赤外光によって撮影画像を取得する第２の撮影モードを備えている。

制御部１０３は撮像素子１０２の駆動および撮像素子１０２からの信号読み出し、そして、撮像素子１０２の出力に応じて画像（撮影画像）の生成を行うとともに、光学フィルタ１０４の動作を制御する。

＜光学フィルタユニット＞
図２は、図１に示す光学フィルタユニットの構成を説明するための図である。そして、図２（ａ）は光学フィルタユニットの構成を示す図であり、図２（ｂ）は図２（ａ）に示す第１の位相部材の光学軸を示す図である。また、図２（ｃ）は図２（ａ）に示す第２の位相部材の光学軸を示す図である。

光学フィルタユニット１０４は、結像光学系１０１の側（−Ｚ側）から順に第１の複屈折部材１０５、第１の部材１０６、第２の位相部材１０７、および第２の複屈折部材１０８を有している。さらに、光学フィルタユニット１０４は駆動機構１０９を備え、駆動機構１０９は制御部１０３の制御下で第１の部材１０６をＹ軸に沿って挿抜する。

第１の複屈折部材１０５の光学軸は、ＺＸ平面内において＋Ｚ方向から＋Ｘ方向に向かって４５度回転した方向であり、第２の複屈折部材１０８の光学軸は、ＺＸ平面内において＋Ｚ方向から−Ｘ方向に向かって４５度回転した方向である。

図２（ａ）に示すように、第１の部材１０６は、赤外カットフィルタ１１０および第１の位相部材１１１を備え、これら赤外カットフィルタ１１０および第１の位相部材１１１は互いに貼り合わされている。そして、第１の撮影モード（可視光撮影モードともいう）においては、駆動機構１０９によって第１の部材１０６は結像光学系１０１の光路に挿入される。一方、第２の撮影モード（赤外光撮影モードともいう）においては、駆動機構１０９によって第１の部材１０６は結像光学系１０１の光路から抜去される。

図２（ｂ）および図２（ｃ）に示すように、第１の位相部材１１１および第２の位相部材１０７の光学軸はともにＸＹ平面内において＋Ｘ方向から＋Ｙ方向に向かって４５度回転した方向である。また、赤外カットフィルタ１１０は、可視光を選択的に透過し赤外光を選択的に吸収する樹脂などで成形されている。

上述の構成によって、第１の撮影モードでは、第１の複屈折部材１０５、第１の位相部材１１１、第２の位相部材１０７、および第２の複屈折部材１０８によって光学ローパスフィルタが形成される。一方、第２の撮影モードでは、第１の複屈折部材１０５、第２の位相部材１０７、および第２の複屈折部材１０８によって光学ローパスフィルタが形成される。

ところで、光学ローパスフィルタの特性は、複屈折部材に挟まれた位相部材によって付加される位相差によって決定される。よって、光学ローパスフィルタの特性を第１の撮影モードおよび第２の撮影モードで変えることができる。その結果、後述するように、撮影モードに拘わらず品質の高い画像が取得することができる。

＜第２の撮影モードにおける位相差と光学ローパスフィルタの特性＞
図３は、図２に示す光学フィルタユニットにおいて第２の撮影モードにおける光学ローパスフィルタの作用を説明するための図である。そして、図３（ａ）は第２の位相部材による位相差が１８０度の場合の作用を示す図であり、図３（ｂ）は第２の位相部材による位相差が９０度の場合の作用を示す図である。また、図３（ｃ）は第２の位相部材による位相差が０度の場合の作用を示す図である。

なお、図３においては、第１の複屈折部材１０５および第２の複屈折部材１０８について、その材料（ここでは複屈折性の大きさ）および厚みが互いに等しいものとする。

いま、自然光Ｌ１が第１の複屈折部材１０５に入射すると、第１の複屈折部材１０５の複屈折性によって、自然光Ｌ１は次のように２つの偏光成分に分離される。第１の複屈折部材１０５の光学軸に垂直な方向（Ｙ軸方向）に電場が振動する光（以下Ｙ偏光と呼ぶ）は、第１の複屈折部材１０５を直進する。一方、Ｙ偏光とは垂直な方向（Ｘ軸方向）に電場が振動する光（以下Ｘ偏光と呼ぶ）は、複屈折の影響を受けて斜めに進み、第１の複屈折部材１０５の裏面から出射される。

Ｙ偏光とＸ偏光との間の分離幅ｄ１は複屈折性の大きさと複屈折部材の厚みとによって決定される。つまり、第１の複屈折部材１０５は、自然光Ｌ１を分離幅ｄ１で、Ｙ偏光の透過光Ｌｐ２とＸ偏光の透過光Ｌｓ２とに分離する。

第１の複屈折部材１０５から出射された光は第２の位相部材１０７に入射する。この際、第２の位相部材１０７による位相差に応じて偏光成分が変化する。図３（ａ）に示すように位相差が１８０度の場合には、Ｙ偏光の光Ｌｐ２がＸ偏光に変化してＬｐｓ３となり、Ｘ偏光の光Ｌｓ２はＹ偏光に変化してＬｓｐ３となって第１の位相部材１０７から出射される。

図３（ｂ）に示すように、第２の位相部材１０７の位相差が９０度の場合には、Ｙ偏光の光Ｌｐ２およびＸ偏光の光Ｌｓ２はともに円偏光に変化する（ここでは、それぞれＬｐｒ３およびＬｓｒ３と呼ぶ）。図３（ｃ）に示すように、第２の位相部材１０７の位相差が０度の場合には、Ｙ偏光の光Ｌｐ２はＹ偏光のまま（Ｌｐｐ３）であり、Ｘ偏光の光Ｌｓ２はＸ偏光のまま（Ｌｓｓ３）である。

第２の位相部材１０７から出射された光は、第２の複屈折部材１０８の複屈折性によって偏光毎に異なる方向に伝搬する。第１の複屈折部材１０５と同様に、Ｙ偏光の光は第２の複屈折部材１０８を直進し、Ｘ偏光の光は第２の複屈折部材１０８を斜めに進み、裏面から出射される。

図３（ａ）に示す例の場合、第２の複屈折部材１０８は、分離幅ｄ１で入射した光Ｌｐｓ３およびＬｓｐ３を、さらに分離幅ｄ１で分離して、Ｙ偏光の光Ｌｐｓｓ４およびＸ偏光の光Ｌｓｐｐ４として出射する。つまり、光Ｌｐｓ３およびＬｓｐ３の間隔はｄ１の２倍となる。

図３（ｂ）に示す例の場合、第２の複屈折部材１０８は、光Ｌｐｒ３を分離幅ｄ１でＹ偏光の光Ｌｐｒｐ４およびＸ偏光の光Ｌｐｒｓ４に分離し、光Ｌｓｒ３を分離幅ｄ１でＹ偏光の光Ｌｓｒｐ４およびＸ偏光の光Ｌｓｒｓ４に分離して出射する。つまり、光Ｌｐｒｓ４およびＬｓｒｐ４の間隔はｄ１の２倍となり、その中間に光Ｌｐｒｐ４およびＬｓｒｓ４が重なって出射される。

図３（ｃ）に示す例の場合、第２の複屈折部材１０８は、分離幅ｄ１で入射した光Ｌｐｐ３およびＬｐｐ３を重なった光Ｌｐｐｐ４およびＬｓｓｓ４として出射する。

＜点像強度分布＞
図４は、図２に示す光学フィルタユニットから出射された光の点像強度分布を説明するための図である。そして、図４（ａ）、図４（ｂ）、および図４（ｃ）はそれぞれ図３（ａ）、図３（ｂ）、および図３（ｃ）に示す状態である場合の点像強度分布の一例を示す図である。また、図４（ｄ）は第１の複屈折部材および第２の複屈折部材の分離幅が異なる場合の点像強度分布の一例を示す図である。

第２の位相部材１０７による位相差が１８０度の場合には、図４（ａ）に示すように、光Ｌｐｓｓ４およびＬｓｐｐ４によって点像強度分布に２つのピークｐ２およびｐ３が生じる。

第２の位相部材１０７による位相差が９０度の場合には、図４（ｂ）に示すように、点像強度分布には光Ｌｐｒｓ４によるピークｐ２とＬｓｒｐ４によるピークｐ３とが生じる。さらに、点像強度分布には、重なって射出された光Ｌｐｒｐ４およびＬｓｒｓ４によるピークｐ１が生じる。つまり、点像強度分布には３つのピークが生じる。

第２の位相部材１０７による位相差が０度の場合には、図４（ｃ）に示すように、重なって射出された光Ｌｐｐｐ４およびＬｓｓｓ４によって点像強度分布に１つのピークｐ１が生じる。

このように、第２の位相部材１０７によって与えられる位相差によって、透過光による点像強度分布を変化させることができる。

一般に、点像強度分布の拡がりが大きい程、光ローパスフィルタのカットオフ周波数は小さく、点像強度分布の拡がりが小さい程、光ローパスカットフィルタのカットオフ周波数は大きい。

なお、ここで、点像強度分布の拡がりとは、結像光学系１０１とローパスフィルタとを合わせた系における点像強度分布の拡がりをいう。つまり、図４（ａ）および図４（ｂ）に示すように、入射した光が複数に分割されて出射される場合には、分割して出射された複数の光によって形成された点像全体の拡がりをいう。

従って、図４（ａ）に示すように、位相差が１８０度の場合が最もカットオフ周波数が小さく、図４（ｃ）に示すように、位相差が０度の場合が最もカットオフ周波数が大きい。図４（ｂ）に示すピークｐ２およびｐ３の間隔は、図４（ａ）に示すピークｐ２およびｐ３の間隔と等しい。一方、図４（ａ）においては、ピークｐ２およびｐ３の間に、ピークｐ２およびｐ３の倍の強度のピークｐ１が存在する。このため、位相差が９０度の場合の方が位相差が１８０度の場合よりもカットオフ周波数が大きい。

＜中間の位相時について＞
上述の説明では、位相差が１８０度、９０度、および０度の場合について説明したが、他の位相差を与えた場合においても、光学ローパスフィルタの特性を変化させることができる。

図５は、図２に示す光学フィルタユニットにおいて位相差を０度から３６０度まで変化させた場合の点像強度分布を示す図である。

図５から容易に理解できるように、第２の位相部材１０７による位相差が１８０度に近い程、点像強度分布の拡がりが大きく、位相差が０度に近い程、点像強度分布の拡がりが小さい。従って、第２の位相部材１０７による位相差が１８０度に近い程、光学ローパスフィルタのカットオフ周波数を小さく、位相差が０度に近い程、光学ローパスフィルタのカットオフ周波数を大きくすることができる。

＜第１の撮影モードにおける位相差および光学ローパスフィルタの特性＞
上述のように、複屈折部材間に配置された第２の位相部材１０７によって与えられる位相差によって、第２の撮影モード（赤外光撮影モード）における光学ローパスフィルタの特性が決定される。一方、第１の撮影モード（可視光撮影モード）では、第１の位相部材１１１および第２の位相部材１０７の２つの位相部材が配置される。よって、第１の撮影モードでは、第１の位相部材１１１による位相差と第２の位相部材１０７による位相差との合計によって光学ローパスフィルタの特性が決定される。

＜第１の撮影モードと第２の撮影モードにおける特性比較＞
前述のように、位相差が１８０度に近い程、光学ローパスフィルタのカットオフ周波数が小さく（低く）、位相差が０度に近い程、光学ローパスフィルタのカットオフ周波数が大きい（高い）。ここで、第１の位相部材１１１による位相差をα度、第２の位相部材１０７による位相差をβ度とする。この際、（α＋β）度およびβ度のどちらが０度に近いかに応じて、第１の撮影モードと第２の撮影モードにおけるカットオフ周波数の大小関係が規定される。

次の式（１）を満たす場合には、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数よりも大きくすることができる。特に、式（１）において左辺が０に近く、右辺が１８０に近い程、第１の撮影モードにおける光学ローパスフィルタのカットオフ周波数と第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数との差が大きくなる。例えば、第１の位相部材１１１による位相差が１８０度であって、第２の位相部材１０７による位相差が０度である場合が最も好ましい。
｜（α＋β）（ｍｏｄ ３６０）―１８０｜＜｜β（ｍｏｄ ３６０）―１８０｜ （１）

一方、次の式（２）を満たす場合には、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を、第１の撮影モードにおける光学ローパスフィルタのカットオフ周波数よりも小さくすることができる。特に、式（２）において左辺が１８０に近く、右辺が０に近い程、第１の撮影モードにおける光学ローパスフィルタのカットオフ周波数と第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数の差が大きくなる。例えば、第１の位相部材１１１による位相差と第２の位相部材１０７による位相差がともに１８０度である場合が最も好ましい。
｜（α＋β）（ｍｏｄ ３６０）―１８０｜＞｜β（ｍｏｄ ３６０）―１８０｜ （２）

＜本発明と従来例との比較＞
前述の特許文献１に示す撮像装置（従来例）においても、第１の撮影モード（可視光撮影モード）においては赤外カットフィルタを挿入し、第２の撮影モード（赤外光撮影モード）においては赤外カットフィルタを抜去している。但し、第１の撮影モードおよび第２の撮影モードの双方において同一の光学ローパスフィルタを用いている。

一方、図１に示す撮像装置１００（本発明）では、赤外カットフィルタおよび位相部材を一体化して挿抜している。これによって、本発明では、従来例に対して挿抜機構を追加することなく、撮影モードに応じて光学ローパスフィルタの特性を変化させることができる。

＜第１の部材の構成＞
前述の図２に示す第１の部材１０６では、光入射側から順に赤外カットフィルタ１１０および第１の位相部材１１１が貼り合わされているが、赤外カットフィルタ１１０と第１の位相部材１１１の順は逆でもよい。また、赤外カットフィルタ１１０と第１の位相部材１１１は必ずしも貼り合されていなくてもよい。

＜第２の位相部材および複屈折部材の貼り合わせ＞
前述の図２では、第２の位相部材１０７と第２の複屈折部材１０８とは分離して配置されている。一方、第２の位相部材１０７と第２の複屈折部材１０８とを貼り合わせて一体化させればその構成が単純となるので好ましい。

＜第２の位相部材の有無＞
第２の位相部材１０７は必ずしも設ける必要はない。第２の位相部材１０７を設けない場合には、次のように複屈折部材および位相部材を設計すればよい。まず、第２の撮影モードにおいて、所望のカットオフ周波数が得られるように、第１の複屈折部材および第２の複屈折部材を設計する。そして、第１の撮影モードにおいて所望のカットオフ周波数が得られるように、第１の位相部材を設計する。このような構成をとれば、第２の位相部材が不要となるので構造上好ましい。

＜第１の部材と第２の位相部材との位置関係＞
図２においては、第１の部材１０６は第２の位相部材１０７よりも光入射側に位置しているが、第２の位相部材１０７を第１の部材１０６よりも光入射側に配置するようにしてもよい。第２の位相部材１０７が第１の部材１０６よりも光入射側に位置している場合、第２の位相部材１０７と第１の複屈折部材１０５とを貼り合わせて一体化すれば、構成が単純する。

＜複屈折部材の光学軸＞
第１の複屈折部材１０５の光学軸方向および第２の複屈折部材１０８の光学軸方向は、図２に示す例に限定されない。この場合、第１の複屈折部材１０５による分離方向と第２の複屈折部材１０８による分離方向とは逆方向であることが必要である。このため、第１の複屈折部材１０５の光学軸を光入射方向に垂直な平面（ＸＹ平面）に射影した方向と第２の複屈折部材１０８の光学軸を光入射方向に垂直な平面（ＸＹ平面）に射影した方向は平行であることが必要である。

さらに、第１の複屈折部材１０５の光学軸と第２の複屈折部材の光学軸１０８とは、光入射方向に垂直な平面（ＸＹ平面）に対して互いに逆方向であることが必要である。例えば、図２に示す例では、第１の複屈折部材１０５の光学軸は＋Ｚ方向から＋Ｘ方向に向かって回転した方向であり、第２の複屈折部材１０８の光学軸は＋Ｚ方向から−Ｘ方向に向かって回転した方向である。よって、ＸＹ平面に対して逆方向となる。

＜位相部材の光学軸＞
図２においては、第１の位相部材１１１および第２の位相部材１０７の光学軸はともに、ＸＹ平面内において＋Ｘ方向から＋Ｙ方向に向かって４５度回転した方向であるが、必ずしもこの方向に限定されない。但し、偏光方向を回転する必要があるので、第１の位相部材１１１および第２の位相部材１０７の光学軸はともに、光入射方向（Ｚ方向）に対して垂直であることが必要である。さらに、双方の光学軸は、第１の複屈折部材１０５の光学軸を光入射方向に垂直な平面（ＸＹ平面）に射影した方向に対して平行でない方向であることが必要である。

＜複屈折部材の材料および厚み＞
図３においては、第１の複屈折部材１０５および第２の複屈折部材１０８に用いる材料（つまり、複屈折性の大きさ）および厚みは互いに等しいとしたが、材料および厚みが互いに異なっていてもよい。但し、第１の複屈折部材１０５および第２の複屈折部材１０８の複屈折性の大きさが等しければ、光学ローパスフィルタの特性の自由度が向上するので好ましい。

いま、第１の複屈折部材１０５による分離幅をｄ１、第２の複屈折部材１０８による分離幅をｄ２とする。この場合、第１の複屈折部材１０５を通過して、分離幅ｄ１で分離された光Ｌｐ２およびＬｓ２は、第２の複屈折部材１０８を通過して分離幅ｄ２で分離される。このため、位相部材による位相差が０度の場合であっても、光ＬｐｐｐおよびＬｓｓｓ４は重ならず、その結果、点像強度分布は図４（ｄ）に示すように、複数のピークを有する。よって、図４（ｄ）においては、図４（ｃ）に比べて、光学ローパスフィルタのカットオフ周波数が小さくなってしまう。

前述のように、位相部材による位相差が０度である場合、最も光学ローパスフィルタのカットオフ周波数が大きい。よって、第１の複屈折部材１０５と第２の複屈折部材１０８の複屈折性の大きさが異なると、位相差の調整によって得られるカットオフ周波数の下限値は、複屈折性の大きさが等しい場合に比べて上がることになる。つまり、位相差の調整によって得られる光学ローパスフィルタの特性の自由度が低減してしまうことになる。

＜反射防止膜＞
前述の複屈折部材の各々および位相部材にはその表面に反射防止膜を形成するようにしてもよい。第１の複屈折部材１０５、第２の位相部材１０７、および第２の複屈折部材１０８は、第１の撮影モードおよび第２の撮影モードの双方において光路内に位置している。このため、第１の複屈折部材１０５、第２の位相部材１０７、および第２の複屈折部材１０８は、可視光および赤外光の双方の波長帯域において機能する反射防止膜を備えていることが好ましい。

一方、第１の部材１０６は第１の撮影モードのみで用いられるので、第１の部材１０６は可視光の波長帯域で機能する反射防止膜を備えていればよい。

反射防止の機能が必要な波長帯域が広い程、反射防止膜の構成は複雑になる。第１の部材１０６は、赤外光の波長帯域では機能せず、可視光の波長帯域で機能する反射防止膜を備えていることが好ましい。なお、赤外カットフィルタ１１０および第１の位相部材１１１が貼り合されていない際には、赤外カットフィルタ１１０および第１の位相部材１１１は赤外光の波長帯域で機能せず、可視光の波長帯域で機能する反射防止膜を備えていることが好ましい。

＜第１の位相部材による位相差の波長依存性＞
上述の説明では、第２の位相部材１０７による位相差は第１の撮影モードおよび第２の撮影モードにおいて等しいとした。ところで、位相部材を構成する材料および製造方法によっては、位相差は波長依存性を有する。特に、位相部材を低コストで製造する場合には、位相差の波長依存性が大きい。

図１に示す撮像装置は、第２の位相部材１０７による位相差が波長依存性を有している場合においても、次のように第１の撮影モードおよび第２の撮影モードの双方で所望の位相差を得ることができる。

第１の撮影モードにおいて必要な光学ローパスフィルタの特性から、第１の位相部材１１１および第２の位相部材１０７に必要となる可視光における合計の位相差γが求められる。同様に、第２の撮影モードにおいて必要な光学ローパスフィルタの特性から、第２の位相部材１０７に必要となる赤外光における位相差βが求められる。

そこで、赤外光の波長帯域において所望の位相差βを与えるように第２の位相部材１０７を設計する。この際、可視光の波長帯域における第２の位相部材１０７による位相差はβ´（≠β）となる。従って、可視光の波長帯域における第１の位相部材１１１による位相差をγ―β´とすれば、第１の撮影モードおよび第２の撮影モードにおいて所望の位相差を得ることができる。

特許文献１に記載の撮像装置では、第１の撮影モードおよび第２の撮影モードにおいて同一の光学ローパスフィルタを用いている。従って、光学ローパスフィルタ中の位相部材が波長依存性を有する場合には、第１の撮影モードおよび第２の撮影モードにおいて光学ローパスフィルタの特性が変化する。

一方、図１に示す撮像装置では、第２の位相部材１０７が有する波長依存性を、第１の撮影モードのみで用いる第１の位相部材１１１で補償することによって、第一の撮影モードおよび第２の撮影モードにおいて所望の位相差を得ることができる。

第１の位相部材１１１による位相補償を適用するか否かについては、光学ローパスフィルタのカットオフ周波数に求められる精度によって決定すればよい。光学ローパスフィルタのカットオフ周波数が高い程、位相差βおよびβ´の差が小さい場合であっても位相補償を行うことが望ましい。具体的には、位相差βおよびβ´の差が３０度以上の場合に位相補償を行うことが望ましい。

＜縦方向の分離＞
図１に示す撮像装置では、単一の光学フィルタユニット１０４を備えて、光学ローパスフィルタによる光の分離方向が一方向（図２に示す例ではＸ方向）のみである。一方、光学フィルタユニット１０４を複数備えて、光を複数の方向に分離するようにしてもよい。光を複数の方向に分離すれば、点像強度分布が２次元的に拡がるので、被写体のテクスチャ方向に拘わらず、モアレを抑制できる。

特に、光学フィルタユニットを２つ備えて、各光学フィルタユニットによる光の分離方向を直交させれば、点像強度分布の拡がりが円形に近づくので好ましい。例えば、２つの光学フィルタユニット間において、複屈折部材の光軸を光入射方向に垂直な平面（ＸＹ平面）に射影した方向が直交していることが好ましい。

続いて、第１の撮影モードおよび第２の撮影モードにおいて、光学ローパスフィルタの特性を変化させる例について説明する。

＜赤外のサンプリングピッチが可視よりも小さい場合＞
ここでは、第２の撮影モードにおける画像生成の際のサンプリングピッチが第１の撮影モードにおける画像生成の際のサンプリングピッチよりも小さい場合について説明する。

図６は、図１に示す撮像素子におけるサンプリング位置の一例を説明するための図である。そして、図６（ａ）は第１の撮影モードにおけるサンプリング位置を示す図であり、図６（ｂ）は第２の撮影モードにおけるサンプリング位置を示す図である。なお、図６において、サンプリング位置は斜線のハッチングで示されている。

第１の撮影モードにおいて、被写体の色情報を取得するため、撮像素子１０４における画素配列はベイヤー配列となっている。第１の撮影モードにおいては、緑画素（Ｇ画素）がサンプリング位置となる。一方、第２の撮影モードにおいては、被写体の色情報を必要としないので、全ての画素がサンプリング位置となる。

サンプリングピッチが大きい場合にはナイキスト周波数が小さくなるので、折り返し成分によるモアレを抑制するため、光学ローパスフィルタのカットオフ周波数を小さくした方がよい。一方、サンプリングピッチが小さい場合にはナイキスト周波数が大きくなるので、解像度の高い画像を得るため、光学ローパスフィルタのカットオフ周波数を大きくした方がよい。

よって、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を第２の撮影モードのそれよりも大きくすれば、第１の撮影モードおよび第２の撮影モードにおいて品質の高い画像を得ることができる。

第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を、第１の撮影モードにおけるカットオフ周波数よりも大きくするためには、第１の位相部材よる位相差と第２の位相部材による位相差とが前述の式（１）を満たしていればよい。

＜赤外のサンプリングピッチが可視よりも大きい場合＞
ここでは、第２の撮影モードにおける画像生成の際のサンプリングピッチが第１の撮影モードにおける画像生成の際のサンプリングピッチよりも大きい場合について説明する。

図７は、図１に示す撮像素子におけるサンプリング位置の他の例を説明するための図である。そして、図７（ａ）は第１の撮影モードにおけるサンプリング位置を示す図であり、図７（ｂ）は第２の撮影モードにおけるサンプリング位置を示す図である。なお、図７において、サンプリング位置は斜線のハッチングで示されている。

＜画素が異なる場合＞
図７に示すように、撮像素子は、赤色の光を受光する画素（Ｒ画素）、緑色の光を受光する画素（Ｇ画素）、青色の光を受光する画素（Ｂ画素）、および赤外光を受光する画素（ＩＲ画素）を有している。Ｇ画素については通常のベイヤー配列と同一の画素配置で配列され、ＩＲ画素はベイヤー配列におけるＲ画素およびＢ画素の一部を置き換えて配置されている。そして、第１の撮影モードにおいては、Ｇ画素がサンプリング位置となり、第２の撮影モードにおいては、ＩＲ画素がサンプリング位置となる。このため、第１の撮影モードよりも第２の撮影モードの方がサンプリングピッチが大きくなる。

従って、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を、第１の撮影モードのそれよりも小さくした方が第１の撮影モードおよび第２の撮影モードにおいて品質の高い画像を得ることができる。

第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を、第１の撮影モードにおけるカットオフ周波数よりも小さくするためには、第１の位相部材による位相差と第２の位相部材による位相差とが前述の式（２）を満たしていればよい。

なお、Ｒ画素、Ｇ画素、Ｂ画素、およびＩＲ画素の配置は、図７に示す配置に限るものではなく、Ｇ画素のサンプリングピッチがＩＲ画素のサンプリングピッチよりも小さくなっていればよい。

＜加算読みを行う場合＞
さらに、撮像素子１０２の画素配列がベイヤー配列であって、第１の撮影モードおよび第２の撮影モードにおいてサンプリングピッチが異なっていてもよい。例えば、赤外光を取得する第２の撮影モードは、主に低照度の環境で用いられるので、第１の撮影モードに比べて画像のＳＮ比が低下し易い。よって、第２の撮影モードにおいては、複数の画素信号を加算平均して読み出す所謂加算読みを行って、ＳＮ比を向上させる。

言い替えると、第１の撮影モードにおいては加算読みを行わず、第２の撮影モードにおいては加算読みを行う。または、第１の撮影モードおよび第２の撮影モードともに加算読みを行い、この際、第２の撮影モードの方を第１の撮影モードよりも加算する画素数を多くする。

このような読み出しを行えば、第２の撮影モードにおけるサンプリングピッチは、第一の撮影モードのサンプリングピッチよりも大きくなる。

＜結像光学系の性能が異なる場合＞
ここでは、波長によって結像光学系１０１の結像性能が異なる場合について説明する。一般に、結像光学系１０１の結像性能において波長依存性を抑制しようとすると、結像光学系１０１が大型化して、さらに製造コストが増大する。このため、特に、小型化、そして、低コスト化を重視すると、結像性能の波長依存性を抑えることが難しくなる。

結像光学系１０１の結像性能が低い程、空間周波数の大きい被写体像のコントラストは低下する。このため、光学ローパスフィルタのカットオフ周波数が大きくても、折り返し成分によるモアレは目立ちにくい。

一方、結像光学系１０１の結像性能が低い場合に、光学ローパスフィルタのカットオフ周波数を小さくすると、空間周波数が大きい被写体像のコントラストも低下してしまう。このため、被写体像の品質が低下してしまう。よって、結像光学系１０１の結像性能が低い場合には、光学ローパスフィルタのカットオフ周波数を大きくすることが望ましい。

例えば、結像光学系１０１の赤外光に対する結像性能が、可視光に対する結像性能よりも低い場合、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を第１の撮影モードのそれよりも大きくすることが望ましい。このためには、第１の位相部材１０７による位相差と第２の位相部材１１１による位相差が前述の式（１）を満たしていればよい。

＜要求される画質が異なる場合＞
ここでは、第１の撮影モードおよび第２の撮影モードにおいて、要求される画質が異なる場合について説明する。

可視光を取得する第1の撮影モードでは、カラー画像を取得している。一方、可視光と赤外光を同時に取得する第2の撮影モードではモノクロ画像を所得している。ここで、一般に輝度成分によるモアレよりも色成分によるモアレの方が目立ちやすいことが知られている。従って、カラー画像を取得する第1の撮影モードではモアレの抑制を重視し、モノクロ画像を取得する第2の撮影モードでは解像感を重視する場合がある。この際、第２の撮影モードによる光学ローパスフィルタのカットオフ周波数を第１の撮影モードのそれよりも大きくする。これによって、第２の撮影モードにおいては解像感を重視した画像を取得でき、第１の撮影モードにおいてはモアレの抑制を重視した画像を取得することができる。

第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を第１の撮影モードのそれよりも大きくするためには、第１の位相部材１０７による位相差と第２の位相部材１１１による位相差が前述の式（１）を満たしていればよい。

＜赤外光のみのモード＞
ここでは、第１の撮影モードおよび第２の撮影モードに加えて、赤外光のみによって画像を取得する第３の撮影モードを備える撮像装置について説明する。

可視光よりも波長の長い赤外光は大気中の煙および霧による散乱が小さいので、赤外光のみによる撮影画像においては、遠くの被写体が鮮明となる。このため、第３の撮影モードは、例えば、霧および煙が濃い場合に遠くの被写体を鮮明に撮影する際に用いられる。

図８は、本発明の実施の形態による撮像装置の他の例を説明するための図である。そして、図８（ａ）は撮像装置の構成を示すブロック図であり、図８（ｂ）は図８（ａ）に示す光学フィルタユニットの構成を示す図である。

なお、図８において、図１および図２に示す構成要素と同一の構成要素については、同一の参照番号を付して説明を省略する。

図８（ａ）に示す撮像装置２００は、結像光学系１０１と撮像素子１０２との間に配置された光学フィルタユニット２０４を有している。光学フィルタユニット２０４においては、第２の位相部材１０７に可視カットフィルタ２１２が貼り合わされて第２の部材２１３とされる。そして、第１の部材１０６および第２の部材２１３は、制御部１０３によって駆動制御される駆動機構２０９によって光路に対して挿抜される。なお、可視カットフィルタ２１２は可視光を選択的に吸収し、赤外光を選択的に透過する樹脂などの材料から成形される。

図示の撮像装置２００においては、第１の撮影モードにおいて第１の部材１０６を光路に挿入し、第２の部材２１３を光路から抜去する。一方、第２の撮影モードにおいて第１の部材１０６および第２の部材２１３を共に光路から抜去する。また、第３の撮影モードにおいては第１の部材１０６を抜去し、第２の部材２１３を光路に挿入する。

このような制御を行うことによって、第１の撮影モードにおいては、第１の複屈折部材１０５、第１の位相部材１１１、および第２の複屈折部材１０８によって光学ローパスフィルタが形成される。一方、第２の撮影モードにおいては、第１の複屈折部材１０５および第２の複屈折部材１０８によって光学ローパスフィルタが形成される。そして、第３の撮影モードにおいては、第１の複屈折部材１０５、第２の位相部材１０７、第２のおよび複屈折部材１０８によって光学ローパスフィルタが形成される。つまり、第１の撮影モード、第２の撮影モード、および第３の撮影モードの３つの撮影モードにおいて、それぞれ光学ローパスフィルタの特性を変化させることができる。

続いて、各複屈折部材および位相部材の設計について説明する。

第２の撮影モードにおいては、第１の複屈折部材１０５および第２の複屈折部材１０８の間に位相部材が存在しない。よって、前述の図４（ａ）で説明したように、ピーク間の距離がｄ１の２倍である２つのピークを有する点像強度分布が得られる。前述のように、ｄ１は、第１の複屈折部材１０５および第２の複屈折部材１０８の厚みおよび複屈折性の大きさによって決定される。従って、第２の撮影モードにおいて、所望のカットオフ周波数が得られるように、第１の複屈折部材１０５および第２の複屈折部材１０８を設計すればよい。

複屈折部材の特性に加えて、第１の撮影モードおよび第３の撮影モードにおいては、それぞれ第１の位相部材１１１および第２の位相部材１０７による位相差によって、光学ローパスフィルタの特性が決定される。従って、第１の撮影モードおよび第３の撮影モードにおいてそれぞれ所望のカットオフ周波数が得られるように、第１の位相部材１１１および第２の位相部材１０７を設計すればよい。

第３の撮影モードは、遠くの被写体を鮮明に撮影する際に用いられるので、解像感を重視した画像を得にくい。このため、第２の位相部材１０７による位相差は１８０度に近いことが好ましい。一方、第１の撮影モードおよび第２の撮影モードにおいては、前述のように、画像生成の際のサンプリングピッチ、結像光学系１０１の特性、および所望する画質に応じてカットオフ周波数が決定される。

例えば、前述のように、第２の撮影モードにおける光学ローパスフィルタのカットオフ周波数を第２の撮影モードのそれよりも大きくしたいとする。この場合には、第１の位相部材１１１による位相差を９０度、そして、第２の位相部材１０７による位相差を１８０度とすればよい。

これによって、第１の撮影モードにおいては、図４（ｂ）に示す点像強度分布が得られ、第２の撮影モードにおいては、図４（ａ）に示す点像強度分布が得られる。そして、第３の撮影モードにおいては、図４（ｃ）に示す点像強度分布が得られる。つまり、光ローパスフィルタのカットオフ周波数は、第２の撮影モードにおいて最も小さくなり、続いて、第１の撮影モード、そして、第３の撮影モードにおいて最も大きくなる。この結果、撮影モードに拘わらず品質の高い画像を得ることができる。

このように、本発明の実施の形態では、可視光によって画像を得る撮影モードおよび赤外光によって画像を得る撮影モードにおいても、品質の高い画像を取得することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，２００ 撮像装置
１０１ 結像光学系
１０２ 撮像素子
１０３ 制御部
１０４，２０４ 光学フィルタユニット
１０５，１０８ 複屈折部材
１０７，１１１ 位相部材
１０９，２０９ 駆動機構
１１０ 赤外カットフィルタ
２１２ 可視カットフィルタ

Claims (23)

1. 結像光学系を介して光学像が結像され、前記光学像に応じた画像信号を出力する撮像素子と、前記結像光学系と前記撮像素子との間に配置された光学フィルタユニットとを備える撮像装置であって、
   前記光学フィルタユニットは、前記結像光学系の側から順に配置された第１の複屈折部材、赤外カットフィルタ、第１の位相部材、および第２の複屈折部材を有し、
   可視光によって前記画像信号を得る第１の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路に挿入し、可視光および赤外光によって前記画像信号を得る第２の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路から抜去する駆動手段を制御する制御手段を有することを特徴とする撮像装置。
2. 前記赤外カットフィルタおよび前記第１の位相部材は一体化されていることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の複屈折部材の光学軸を、前記結像光学系の光入射方向に垂直な平面に射影した方向と、前記第２の複屈折部材の光学軸を前記光入射方向に垂直な平面に射影した方向とが平行であり、
   前記第１の複屈折部材の光学軸と前記第２の複屈折部材の光学軸とが前記光入射方向に垂直な平面に対して互いに逆方向であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の位相部材の光学軸は前記結像光学系の光入射方向に対して垂直であり、かつ前記第１の複屈折部材の光学軸を前記光入射方向に垂直な平面に射影した方向に対して平行ではないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の複屈折部材の複屈折性の大きさと前記第２の複屈折部材の複屈折性の大きさとは互いに等しいことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記赤外カットフィルタおよび前記第１の位相部材は、赤外光の波長帯域において機能せず可視光の波長帯域で機能する反射防止膜を備えていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記光学フィルタユニットは、さらに、前記第１の複屈折部材と前記第２の複屈折部材との間に配置された第２の位相部材を備えていることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の位相部材と前記第１の複屈折部材とが一体化されているか又は前記第２の位相部材と前記第２の複屈折部材とが一体化されていることを特徴とする請求項７に記載の撮像装置。
9. 前記第１の位相部材による位相差をα度、前記第２の位相部材による位相差をβ度とした場合に、次の式を満たすことを特徴とする請求項７又は８に記載の撮像装置。
   ｜（α＋β）（ｍｏｄ ３６０）―１８０｜＜｜β（ｍｏｄ ３６０）―１８０｜
10. 前記第１の位相部材による位相差が１８０度であって、前記第２の位相部材による位相差が０度であることを特徴とする請求項９に記載の撮像装置。
11. 前記第２の撮影モードにおける前記撮像素子のサンプリングピッチは前記第１の撮影モードにおける前記撮像素子のサンプリングピッチよりも小さいことを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記第２の撮影モードにおける前記結像光学系の結像性能は前記第１の撮影モードにおける前記結像光学系の結像性能よりも低いことを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
13. 前記第２の撮影モードで得られた画像信号の解像度は前記第１の撮影モードで得られた画像信号の解像度よりも高いことを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
14. 前記第１の位相部材による位相差をα度、前記第２の位相部材による位相差をβ度とした場合、次の式を満たすことを特徴とする請求項７又は８に記載の撮像装置。
    ｜（α＋β）（ｍｏｄ ３６０）―１８０｜＞｜β（ｍｏｄ ３６０）―１８０｜
15. 前記第１の位相部材による位相差と前記第２の位相部材による位相差とはともに１８０度であることを特徴とする請求項１４に記載の撮像装置。
16. 前記第２の撮影モードにおける前記撮像素子のサンプリングピッチは前記第１の撮影モードにおける前記撮像素子のサンプリングピッチよりも大きいことを特徴とする、請求項１４又は１５に記載の撮像装置。
17. 前記撮像素子は、赤色の光を取得する画素、緑色の光を取得する画素、青色の光を取得する画素、および赤外光を取得する画素を有しており、
    前記赤外光を取得する画素のサンプリングピッチは前記緑色の光を取得する画素のサンプリングピッチよりも大きいことを特徴とする請求項１６に記載の撮像装置。
18. 前記第１の撮影モードにおいては前記撮像素子に備えられた画素の出力を加算する加算読みが行われず、前記第２の撮影モードにおいては前記加算読みを行うことを特徴とする請求項１４又は１６に記載の撮像装置。
19. 前記第１の撮影モードおよび前記第２の撮影モードともに前記撮像素子に備えられた画素の出力を加算する加算読みが行われ、前記第２の撮影モードにおける前記加算読みの画素数は前記第１の撮影モードにおける加算読みの画素数よりも多いことを特徴とする請求項１４又は１６に記載の撮像装置。
20. 前記第２の位相部材による位相差は可視光の波長帯域と赤外光の波長帯域とにおいて異なることを特徴とする請求項７から１９のいずれか１項に記載の撮像装置。
21. 前記光学フィルタユニットは、さらに、前記第１の複屈折部材と前記第２の複屈折部材との間に配置された可視カットフィルタを備えており、
    前記駆動手段は、前記可視カットフィルタおよび前記第２の位相部材を前記光路に対して選択的に挿抜し、
    前記制御手段は、前記第１の撮影モードおよび前記第２の撮影モードにおいて前記駆動手段を制御して前記可視カットフィルタおよび前記第２の位相部材を前記光路から抜去し、赤外光によって前記画像信号を取得する第３の撮影モードにおいて前記駆動手段を制御して前記可視カットフィルタおよび前記第２の位相部材を前記光路に挿入することを特徴とする請求項７乃至２０のいずれか１項に記載の撮像装置。
22. 結像光学系を介して光学像が結像され、前記光学像に応じた画像信号を出力する撮像素子と、前記結像光学系と前記撮像素子との間に配置された光学フィルタユニットとを備える撮像装置の制御方法であって、
    前記光学フィルタユニットには、前記結像光学系の側から順に配置された第１の複屈折部材、赤外カットフィルタ、第１の位相部材、および第２の複屈折部材が備えられており、
    可視光によって前記画像信号を得る第１の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路に挿入する第１のステップと、
    可視光および赤外光によって前記画像信号を得る第２の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路から抜去する第２のステップと、
    を有することを特徴とする制御方法。
23. 結像光学系を介して光学像が結像され、前記光学像に応じた画像信号を出力する撮像素子と、前記結像光学系と前記撮像素子との間に配置された光学フィルタユニットとを備える撮像装置で用いられる制御プログラムであって、
    前記光学フィルタユニットには、前記結像光学系の側から順に配置された第１の複屈折部材、赤外カットフィルタ、第１の位相部材、および第２の複屈折部材が備えられており、
    前記撮像装置に備えられたコンピュータに、
    可視光によって前記画像信号を得る第１の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路に挿入する第１のステップと、
    可視光および赤外光によって前記画像信号を得る第２の撮影モードにおいて前記赤外カットフィルタおよび前記第１の位相部材を前記結像光学系の光路から抜去する第２のステップと、
    を実行させることを特徴とする制御プログラム。