JP6380843B2 - 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム - Google Patents

Description

本発明は、フロントガラス等の光透過性部材上に付着する雨滴等の付着物や、移動体周囲等の撮像領域内に存在する検出対象物を検出する物体検出装置、及び、これを備えた移動体機器制御システム、並びに、物体検出用プログラムに関するものである。

特許文献１には、車両の周辺情報を取得するための車両周辺情報検出用のカメラ（撮像手段）を利用して、車両のフロントガラスに付着した雨滴の検出も行う装置が開示されている。この装置では、撮像フレームの領域を車両周辺情報検出用の画像領域（撮像領域画像）と雨滴検出用の画像領域（付着物観測画像）とに分割し、車両周辺情報検出処理には車両周辺情報検出用画像領域の撮像画像データを用いるとともに、雨滴検出処理には雨滴検出用画像領域の撮像画像データを用いる。雨滴検出処理には、専用の光源からの照明光でフロントガラスの付着物観測部分を照明した撮像画像データを用いる。

前記特許文献１に開示の装置では、車両周辺情報検出処理に用いる撮像画像データには、車両周辺情報検出に適した露光量で撮像した撮像フレームの画像データを用い、雨滴検出処理に用いる撮像画像データには、雨滴検出に適した露光量で撮像した撮像フレームの画像データを用いる。具体的には、車両周辺情報検出に適した露光量で車両周辺情報検出用の撮像フレームを所定回数連続して撮像したら、露光量を雨滴検出に適した露光量に切り替えて雨滴検出用の撮像フレームを１回だけ撮像するという規則に従って、繰り返し撮像処理を行う。これにより、車両周辺情報検出処理と雨滴検出処理の両方の処理で、高い検出精度を確保している。

通常、付着物（雨滴等）の検出処理の検出精度を高めるよりも、撮像領域内（車両周辺）に存在する検出対象物の検出処理の検出精度を高める方が優先される。そのため、同じ撮像フレームを用いて両処理に行う場合には、その撮像フレームを撮像するときの露光量は、検出対象物の検出処理に適した露光量に設定される。付着物の検出処理に適した露光量は、一般に、レンズのフレアゴーストや光源からの照明光以外の外乱光の影響を小さくするために、なるべく露光量が少なくなる設定とするのが好ましい。これに対し、車両周辺情報検出処理に適した露光量は、車両周辺からの比較的弱い光も検出して検出対象物の検出漏れを防ぐことが重要であることから、露光量が比較的多くなるように設定するのが好ましい。そのため、車両周辺情報検出処理に適した露光量で撮像した撮像フレームでは、雨滴検出処理にとって露光量が多すぎて、光源からの光に対する外乱光が大きく影響し、雨滴の検出精度を高めることができない。

本発明者は、車両周辺情報検出と雨滴検出との間のみならず、車両周辺情報検出自体においても、車両周辺情報検出処理で検出する複数の検出対象物間において異なる露光量でそれぞれ撮像した撮像フレームを用いることが、それぞれの検出精度を高めるのに有効であることを見出した。これによれば、複数の検出対象物をそれぞれに適した露光量で個別に撮像した撮像フレームからこれらの検出対象物を別途検出することができるので、それぞれの検出対象物の検出精度を高めることが可能となる。そして、これらの検出対象物の中には、露光量が少ない方が高い検出精度を得られるというものも存在する。例えば、先行車両のテールランプや対向車両のヘッドランプなどは高輝度な検出対象物であるため、路上の白線や路端などの低輝度な検出対象物と比較して、露光量が少ない方が高い検出精度を得やすい。

このように、複数の検出対象物をそれぞれに適した露光量で個別に撮像した撮像フレームからこれらの検出対象物を検出する構成においては、露光量が少ない撮像フレームが存在する。このような撮像フレームであれば、その撮像フレームを用いて雨滴検出処理を行っても、付着物の検出精度を十分に確保することが可能である。そして、このように検出対象物の検出処理に用いられるものと同じ撮像フレームで付着物の検出処理を行えば、付着物検出のための専用の撮像フレームを別途挿入する場合と比べて、検出対象物についての撮像フレームのフレームレートを下げることはない。このフレームレートが下がると検出対象物の検出精度を下げる要因となることから、検出対象物についての撮像フレームのフレームレートを下げないようにすることは重要である。

以上の説明は、複数の検出対象物をそれぞれに適した露光量で個別に撮像する２以上の撮像フレームを用いて検出する構成において、当該２以上の撮像フレームの中から相対的に露光量が少ない撮像フレームを選択して付着物の検出処理に用いる場合である。
一方で、単一の検出対象物を互いに異なる露光量で個別に撮像された２以上の撮像フレームを用いて検出する構成も、単一の露光量で撮像された撮像フレームのみを用いて検出する構成よりも、高い検出精度が得られることが多い。そして、このような構成においても、当該２以上の撮像フレームの中から相対的に露光量が少ない露光条件の撮像フレームを選択して付着物の検出処理に用いれば、付着物の検出精度を十分に確保することが可能である。
いずれにしても、検出対象物の検出処理において互いに露光量が異なる２以上の撮像フレームを用いる構成においては、その撮像フレームのうち相対的に露光量が少ない撮像フレームを付着物の検出処理に用いれば、付着物の検出精度を十分に確保することが可能である。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、付着物検出のための専用の撮像フレームを別途挿入することなく、検出対象物の検出処理と付着物の検出処理の両処理で高い検出精度を実現できる物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラムを提供することである。

前記目的を達成するために、本発明は、光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過性部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過性部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置において、前記撮像手段の露光量を撮像フレーム単位で変更する露光量変更手段を有し、前記対象物検出処理手段は、露光量が異なる２以上の撮像フレーム中の撮像領域画像を用いて前記検出対象物の検出処理を行うものであり、前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム中の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする。

本発明によれば、付着物検出のための専用の撮像フレームを別途挿入することなく、検出対象物の検出処理と付着物の検出処理の両処理で高い検出精度を実現できるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。 自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像装置の光学フィルタに設けられる前段フィルタの正面図である。 同撮像装置の撮像画像データの画像例を示す説明図である。 実施形態における物体検出装置の詳細を示す説明図である。 同撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。 構成例１における光学フィルタの層構成を模式的に示す断面図である。 同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。 同光学フィルタの雨滴検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。 雨滴検出に関わる各種光線についての説明図である。 光学フィルタの雨滴検出用フィルタ部における偏光フィルタ層の各地点でワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。 構成例２における光学フィルタを透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図２０に示す符号Ａ−Ａで切断した光学フィルタ及び画像センサを模式的に表した断面図である。（ｂ）は、図２０に示す符号Ｂ−Ｂで切断した光学フィルタ及び画像センサを模式的に表した断面図である。 構成例３における光学フィルタを透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図２２に示す符号Ａ−Ａで切断した光学フィルタ及び画像センサを模式的に表した断面図である。（ｂ）は、図２２に示す符号Ｂ−Ｂで切断した光学フィルタ及び画像センサを模式的に表した断面図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の一例を示す説明図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の他の例を示す説明図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の更に他の例を示す説明図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の更に他の例を示す説明図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の更に他の例を示す説明図である。 同光学フィルタの分光フィルタ層の非分光領域を透過する光の受光量を制限する構成の更に他の例を示す説明図である。 構成例４における光学フィルタの偏光フィルタ層におけるワイヤーグリッド構造の金属ワイヤーの長手方向を示す説明図である。 偏光フィルタ層を構成するワイヤーグリッド構造の拡大図である。 分光フィルタ層に適用可能なカットフィルタのフィルタ特性を示すグラフである。 分光フィルタ層に適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像装置を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度を算出したときのヒストグラムである。 雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を同撮像装置で撮像した場合の一例を示す模式図である。 実施形態における車両検出処理の流れを示すフローチャートである。 （ａ）は、雨天時において白線を含む撮像領域を撮像したモノクロ輝度画像（非分光・非偏光）と非分光の差分偏光度画像とを示す画像例である。（ｂ）は、雨天時において同じ撮像領域を撮像した非分光の差分偏光度画像を示す画像例である。 ブリュースタ角での反射光の偏光状態を示す説明図である。 （ａ）は、フロントガラスの外壁面に雨滴が付着しているときの撮像画像を示す説明図である。（ｂ）は、フロントガラスの外壁面に雨滴が付着していないときの撮像画像を示す説明図である。 撮像動作例１における撮像装置の撮像動作を簡易的に示したタイミングチャートである。 撮像動作例２における撮像装置の撮像動作を簡易的に示したタイミングチャートである。

以下、本発明に係る物体検出装置を、移動体機器制御システムである車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る物体検出装置は、撮像画像に基づき、光透過性部材を通して撮像領域内の検出対象物を検出するとともに、当該光透過性部材上に付着する付着物の検出も行うものであれば、移動体機器制御システムに限らず、他のシステムの物体検出装置としても利用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像装置により、自車両周囲（特に進行方向前方領域）を撮像領域として撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。

本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置（方角や距離）を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の位置データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した他車両の位置データに基づいて、先行車両との距離が近接した場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像装置２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像手段としての撮像装置２００と、光照射手段としての光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて赤外光を含む光を照射し、その光がフロントガラス１０５の外壁面に付着する雨滴と空気との界面で反射したときにその反射光が撮像装置２００へ入射するように配置されている。また、フロントガラス１０５の外壁面に付着する付着物が非光透過性の異物である場合には、光源２０２からの光が異物とフロントガラス１０５の外壁面との界面で反射したときにその反射光が撮像装置２００へ入射する。

本実施形態において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２から照射された光は、その多くがフロントガラス１０５の外壁面を透過するので、撮像装置２００へはほとんど入射されない。一方、図２に示すように、フロントガラス１０５の外壁面に雨滴２０３が付着している場合には、フロントガラス１０５の外壁面を透過した後に雨滴２０３と空気との界面で反射し、その反射光が再びフロントガラス１０５の外壁面を透過することで、撮像装置２００に入射する。この違いにより、撮像装置２００の撮像画像データにはコントラスト（輝度差）が生じ、フロントガラス１０５に付着する雨滴２０３の検出が可能となる。

また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像装置２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。

ただし、フロントガラス１０５の曇りを撮像装置２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像装置２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。

ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２００の撮像画像データから適切な情報を取得することができる。

例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。

図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。

これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。

撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。

ここで、フロントガラス１０５上の雨滴２０３で反射した光源２０２からの赤外波長光を撮像装置２００で撮像する際、撮像装置２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。

そこで、本実施形態においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱光と区別することが可能となる。

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。

図８は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図９は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２０５は、図３に示したように、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図８に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。

対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像中央部から上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。

なお、本実施形態では、撮像画像中における車両検出用画像領域２１３の下部に雨滴検出用画像領域２１４を設けた例であるが、車両検出用画像領域２１３の上部に雨滴検出用画像領域２１４を設けたり、車両検出用画像領域２１３の上部と下部の両方に雨滴検出用画像領域２１４を設けたりしてもよい。

撮像装置２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図６に示したカットフィルタや図７に示したバンドパスフィルタで構成することになる。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。

ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。

図１０は、本実施形態における物体検出装置の詳細を示す説明図である。
本実施形態における物体検出装置を構成する撮像装置２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。また、信号処理部２０８は、画像センサ２０６の露光制御を行う露光量変更手段あるいは露光条件変更手段としても機能するため、露光量変更部を備えている。また、本実施形態の物体検出装置は、画像形成ユニット１０２に対象物検出処理部及び雨滴検出処理部を備え、物体検出装置における対象物検出処理手段や付着物検出処理手段の機能が画像形成ユニット１０２に設けられている例であるが、これらの機能の少なくとも一部を撮像装置２００に設けてもよい。

図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、全撮像画素を同時露光（グローバルシャッタ）して各撮像画素の信号を読み出すＣＣＤ（Charge Coupled Device）や、ライン露光（ローリングシャッタ）で露光された各撮像画素の信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。

画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５の後段フィルタ２２０は、図１１に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。

光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図１２は、本実施形態に係る光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。

なお、本実施形態では、画像センサ２０６はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ２０６をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層２２２と分光フィルタ層２２３の各領域の光透過特性を調整してやればよい。

〔光学フィルタの構成例１〕
ここで、本実施形態における光学フィルタ２０５の一構成例（以下、本構成例を「構成例１」という。）について説明する。
図１３は、本構成例１における光学フィルタ２０５の層構成を模式的に示す断面図である。
本構成例１における光学フィルタ２０５の後段フィルタ２２０は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２２０Ａと、雨滴検出用画像領域２１４に対応する雨滴検出用フィルタ部２２０Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２２０Ａは分光フィルタ層２２３を備えているのに対し、雨滴検出用フィルタ部２２０Ｂは分光フィルタ層２２３を備えていない。また、車両検出用フィルタ部２２０Ａと雨滴検出用フィルタ部２２０Ｂとでは、その偏光フィルタ層２２２，２２５の構成が異なっている。

図１４は、本構成例１における光学フィルタ２０５の車両検出用フィルタ部２２０Ａを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１５（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
図１５（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。

本構成例１における光学フィルタ２０５の車両検出用フィルタ部２２０Ａは、図１５（ａ）及び（ｂ）に示すように、透明なフィルタ基板２２１の上に偏光フィルタ層２２２を形成した後、その上に分光フィルタ層２２３を形成して積層構造としたものである。そして、偏光フィルタ層２２２は、ワイヤーグリッド構造を有するものであり、その積層方向上面（図１５中下側面）は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層２２３を形成しようとすると、分光フィルタ層２２３がその凹凸面に沿って形成され、分光フィルタ層２２３の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ２０５は、偏光フィルタ層２２２の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層２２３を形成している。

充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層２２２の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。

本構成例１において、偏光フィルタ層２２２の第１領域は、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層２２２の第２領域は、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層２２３の第１領域は、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれる赤色波長帯（特定波長帯）の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層２２３の第２領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本構成例１においては、図１４に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの撮像画素（符号ａ、ｂ、ｅ、ｆの４撮像画素）によって撮像画像データの１画像画素が構成される。

図１４に示す撮像画素ａでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ａは、鉛直偏光成分（図１４中符号Ｐで示す。）の赤色波長帯（図１４中符号Ｒで示す。）の光Ｐ／Ｒを受光することになる。
また、図１４に示す撮像画素ｂでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｂは、鉛直偏光成分Ｐにおける非分光（図１４中符号Ｃで示す。）の光Ｐ／Ｃを受光することになる。
また、図１４に示す撮像画素ｅでは、光学フィルタ２０５の偏光フィルタ層２２２における水平偏光領域（第２領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｅは、水平偏光成分（図１４中符号Ｓで示す。）における非分光Ｃの光Ｓ／Ｃを受光することになる。
図１４に示す撮像画素ｆでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ｆは、撮像画素ａと同様、鉛直偏光成分Ｐにおける赤色波長帯Ｒの光Ｐ／Ｒを受光することになる。

以上の構成により、本構成例１によれば、撮像画素ａおよび撮像画素ｆの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本構成例１によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。

なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素ａと撮像画素ｆに対応する画像画素についてはこれらの撮像画素ａ，ｆで受光した赤色光の鉛直偏光成分Ｐの情報をそのまま使用し、撮像画素ｂに対応する画像画素については、例えばその周囲を取り囲む撮像画素ａ，ｃ，ｆ，ｊの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素ｅに対応する画像画素についてはこの撮像画素ｅで受光した非分光の水平偏光成分Ｓの情報をそのまま使用し、撮像画素ａ，ｂ，ｆに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素ｅや撮像画素ｇなどの平均値を使用したり、撮像画素ｅと同じ値を使用したりしてもよい。

このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。

また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。

また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。

図１６は、本構成例１における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１７（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
図１７（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。

本構成例１における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂは、図１７（ａ）及び（ｂ）に示すように、前記車両検出用フィルタ部２２０Ａと共通のフィルタ基板２２１の上にワイヤーグリッド構造の偏光フィルタ層２２５が形成されている。この偏光フィルタ層２２５は、前記車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２とともに、積層方向上面側が充填材によって充填されて平坦化されている。ただし、雨滴検出用フィルタ部２２０Ｂは、前記車両検出用フィルタ部２２０Ａとは異なり、分光フィルタ層２２３は積層されていない。

本実施形態においては、自車両１００の室内側の風景がフロントガラス１０５の内壁面に映り込むことがある。この映り込みは、フロントガラス１０５の内壁面で正反射した光によるものである。この映り込みは、正反射光であるのでその光強度が比較的大きい外乱光である。よって、この映り込みが雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、雨滴の検出精度が低下する。また、光源２０２からの光がフロントガラス１０５の内壁面で正反射した正反射光も、雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、外乱光となって雨滴の検出精度を低下させる。

このような雨滴の検出精度を低下させる外乱光は、フロントガラス１０５の内壁面で正反射した正反射光であるので、その偏光成分のほとんどは光源入射面に対して偏光方向が垂直な偏光成分、すなわち、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分Ｓである。そこで、本構成例１の光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５は、フロントガラス１０５に向かう光源２０２からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面（光源入射面）に対して偏光方向が平行である偏光成分、すなわち、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分Ｐのみを透過するように透過軸が設定されている。

これにより、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５を透過する光は、鉛直偏光成分Ｐのみとなり、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源２０２からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓをカットすることができる。その結果、雨滴検出用画像領域２１４は、外乱光による影響の少ない鉛直偏光成分Ｐによる鉛直偏光画像となり、その雨滴検出用画像領域２１４の撮像画像データに基づく雨滴の検出精度が向上する。

本構成例１では、前段フィルタ２１０を構成する赤外光カットフィルタ領域２１１と赤外光透過フィルタ領域２１２とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ２１０の製造方法としては、赤外光カットフィルタ領域２１１の部分をマスクで隠しながら赤外光透過フィルタ領域２１２の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域２１２の部分をマスクで隠しながら赤外光カットフィルタ領域２１１の部分を真空蒸着などにより成膜するという方法が挙げられる。

また、本構成例１において、車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２と、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５とは、いずれも、２次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層２２２は透過軸が互いに直交する２種類の領域（鉛直偏光領域及び水平偏光領域）が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層２２５は鉛直偏光成分Ｐのみを透過させる透過軸をもつ１種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層２２２，２２５を同一のフィルタ基板２２１上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート（型に相当するもの）の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。

なお、本構成例１では、赤外光カットフィルタ領域２１１を光学フィルタ２０５に設けず、例えば、撮像レンズ２０４に赤外光カットフィルタ領域２１１を設けてもよい。この場合、光学フィルタ２０５の作製が容易となる。
また、赤外光カットフィルタ領域２１１に代えて、後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂに鉛直偏光成分Ｐのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ２１０には赤外光カットフィルタ領域２１１を形成する必要はない。
また、偏光フィルタ層は、必ずしも設ける必要はない。

図１８は、雨滴検出に関わる各種光線についての説明図である。
光源２０２は、フロントガラス１０５の外壁面での正反射光が撮像レンズ２０４の光軸と略一致するように配置されている。

図１８中の光線Ａは、光源２０２から出射してフロントガラス１０５を通過する光線である。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２からフロントガラス１０５に向けて照射された光は、光線Ａのように、フロントガラス１０５を透過してそのまま自車両１００の外部に漏れ出る。そのため、光源２０２としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図１８に示すように、光源２０２からフロントガラス１０５に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。

図１８中の光線Ｂは、光源２０２からの出射光がフロントガラス１０５の内壁面で正反射して撮像装置２００へ入射する光線である。光源２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図１８の紙面に対して垂直な方向）に振動するＳ偏光成分（水平偏光成分Ｓ）が支配的であることが知られている。光源２０２から照射されてフロントガラス１０５の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０５の外壁面に付着する雨滴２０３の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本構成例１では、光線Ｂ（水平偏光成分Ｓ）が雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。

図１８中の光線Ｃは、光源２０２からの出射光がフロントガラス１０５の内壁面を透過し、その後、フロントガラス１０５の外壁面に付着する雨滴で反射して撮像装置２００へ入射する光線である。光源２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面を透過するが、その透過光は水平偏光成分Ｓよりも鉛直偏光成分Ｐの方が多い。そして、フロントガラス１０５の外壁面上に雨滴２０３が付着している場合、フロントガラス１０５の内壁面を透過した光は、前記光線Ａのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像装置２００側に向けて再度フロントガラス１０５内を透過し、撮像装置２００に入射する。このとき、撮像装置２００の光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２は、光源２０２の発光波長（赤外光）を透過させるように構成されているので、光線Ｃは赤外光透過フィルタ領域２１２を通過する。また、続く後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、鉛直偏光成分Ｐを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Ｃは偏光フィルタ層２２５も透過する。よって、光線Ｃは、画像センサ２０６に到達し、その受光量によって雨滴の検出が行われる。

図１８中の光線Ｄは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像装置２００の雨滴検出用フィルタ部２２０Ｂに向かって入射してくる光線である。この光線Ｄも雨滴検出時の外乱光となり得るが、本構成例１では、その光線Ｄの大部分が、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によってカットされる。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。

図１８中の光線Ｅは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像装置２００の車両検出用フィルタ部２２０Ａに向かって入射してくる光線である。この光線Ｅは、光学フィルタ２０５における前段フィルタ２１０の赤外光カットフィルタ領域２１１によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。

なお、本構成例１では、光源２０２が１つである場合について説明したが、光源２０２は複数配置してもよい。その場合、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、その透過軸方向が互いに異なる複数の偏光フィルタ領域を、撮像素子単位で、撮像画素の２次元配列方向へ繰り返されるように領域分割したものを用いる。そして、各偏光フィルタ領域は、複数の光源２０２のうち当該偏光フィルタ領域への入射光量が最も多い光源からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面に対して偏光方向が平行である偏光成分のみを透過するように透過軸を設定する。

また、光源２０２が１つである場合でも複数である場合でも、フロントガラス１０５の内壁面で正反射した外乱光を適切に除去できる偏光フィルタ層２２５の透過軸方向は、偏光フィルタ層２２５の各地点に入射してくる外乱光のフロントガラス内壁面上の反射地点に応じて変わる。自動車のフロントガラス１０５は、空力特性向上のために、前方に向かって下方へ傾斜しているだけでなく、左右方向において中央部から両端部に向けて後方へ大きく湾曲しているためである。このような場合、撮像画像の雨滴検出用画像領域２１４において、画像中央部では外乱光を適切にカットできても、画像端部では外乱光を適切にカットできないという事態が起こり得る。

図１９は、偏光フィルタ層２２５の各地点（ポイント１〜３）で、ワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。
このような構成とすることにより、撮像画像の雨滴検出用画像領域２１４の全域で外乱光を適切にカットすることが可能となる。

なお、本実施形態の光学フィルタ２０５は、図１４に示したように領域分割された偏光フィルタ層２２２及び分光フィルタ層２２３を有する後段フィルタ２２０が、前段フィルタ２１０よりも画像センサ２０６側に設けられているが、前段フィルタ２１０を後段フィルタ２２０よりも画像センサ２０６側に設けてもよい。

〔光学フィルタの構成例２〕
次に、本実施形態における光学フィルタ２０５の他の構成例（以下、本構成例を「構成例２」という。）について説明する。なお、以下の光学フィルタ２０５の説明では、前段フィルタ２１０及び後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂの構成についてはは前記構成例１の場合と同様であるので、これらの説明は省略し、後段フィルタ２２０の車両検出用フィルタ部２２０Ａについてのみ説明する。

図２０は、本構成例２における光学フィルタ２０５を透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図２１（ａ）は、図２０に示す符号Ａ−Ａで切断した光学フィルタ２０５及び画像センサ２０６を模式的に表した断面図である。
図２１（ｂ）は、図２０に示す符号Ｂ−Ｂで切断した光学フィルタ２０５及び画像センサ２０６を模式的に表した断面図である。

前記構成例１では、分光フィルタ層２２３の第１領域が、赤色波長帯の光のみを選択して透過させる赤色分光領域であったが、本構成例２では、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれるシアン色波長帯（図２０中符号Ｃｙで示す。）の光のみを選択して透過させるシアン分光領域である。その他の構成は前記構成例１と同様である。

本構成例２によれば、撮像画素ａおよび撮像画素ｆの出力信号からシアン光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本構成例２によれば、一度の撮像動作により、シアン光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。

本構成例２では、このようにして得られる３種類の撮像画像データにより、前記構成例１の場合と同様に、各種識別対象（テールランプ、ヘッドランプ、白線等）の認識率が向上する。
更に、本構成例２によれば、シアン光の鉛直偏光成分画像と非分光の鉛直偏光成分画像との比較画像を用いることが可能となり、このような比較画像を用いることでテールランプの高精度な識別が可能となる。すなわち、テールランプの光は、シアン分光領域を透過した撮像画素では受光量が少なく、非分光領域を透過した撮像画素では受光量が多い。よって、この違いが反映されるように、シアン光の鉛直偏光成分画像と非分光の鉛直偏光成分画像との比較画像を生成すれば、テールランプとその周囲の背景部分とのコントラストを大きくでき、テールランプの認識率が向上する。

また、本構成例２では、前記構成例１の赤色フィルタを用いた赤色分光領域に代えて、シアン色の光のみを透過させるシアンフィルタを用いたシアン分光領域を用いているので、前記構成例１の場合よりも、先行車両が自車両に近いときのテールランプと対向車両のヘッドランプとの識別能力が高い。前記構成例１のように赤色分光領域を用いた場合、自車両に近い先行車両のテールランプについては、その赤色分光領域を通じた受光量が受光感度が無くなるほど大きくなって飽和する場合がある。そのため、自車両に近い先行車両のテールランプの認識率が低下するおそれがある。これに対し、本構成例２のようにシアン分光領域を用いた場合、自車両に近い先行車両のテールランプについて、そのシアン分光領域を通じた受光量が飽和することなく、自車両に近い先行車両のテールランプの認識率が低下するのを抑制できる。

〔光学フィルタの構成例３〕
次に、本実施形態における光学フィルタ２０５の更に他の構成例（以下、本構成例を「構成例３」という。）について説明する。
図２２は、本構成例３における光学フィルタ２０５を透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図２３（ａ）は、図２２に示す符号Ａ−Ａで切断した光学フィルタ２０５及び画像センサ２０６を模式的に表した断面図である。
図２３（ｂ）は、図２２に示す符号Ｂ−Ｂで切断した光学フィルタ２０５及び画像センサ２０６を模式的に表した断面図である。

本構成例３の偏光フィルタ層２２２及び分光フィルタ層２２３の領域分割構成は、前記構成例１の場合と同じであるが、本構成例３では、分光フィルタ層２２３の非分光領域に対応して、受光量を制限するための開口制限部が設けられている。したがって、本構成例３においては、前記構成例１と同様に、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができるが、これらのうち、非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像については、前記構成例１よりも少ない受光量によって生成されたものとなる。

分光フィルタ層２２３の非分光領域を透過する光の受光量を制限する構成としては、分光フィルタ層２２３の非分光領域に対応して、図２４に示すように、偏光フィルタ層２２２の撮像画素中央部に円形状のワイヤーグリッド構造を形成し、その周辺部をアルミニウムのベタ膜とする構成が挙げられる。この構成によれば、アルミニウムのベタ膜では遮光されるので、ワイヤーグリッド構造を形成する領域の広狭（開口率）によって、分光フィルタ層２２３の非分光領域を透過する光の受光量を制限することができる。なお、ワイヤーグリッド構造を形成する領域形状は、図２４に示した円形状に限らず、例えば、図２５に示すような略四角形状であってもよい。図２５に示すように角部を有する形状とする場合、その角部にＲを持たせた方がエッチング加工などで形状寸法を出しやすい。

ワイヤーグリッド構造の偏光フィルタ層２２２は、例えば、フィルタ基板２２１上にアルミニウム膜を均一に形成した後にエッチング加工等によりアルミニウム膜を部分的に除去してワイヤーグリッド構造を得るという製造方法が一般的である。本構成例３のように、ワイヤーグリッド構造の周辺部にアルミニウムの遮光領域を設けて開口制限を行う場合には、ワイヤーグリッド構造の形成時にその周辺部のアルミニウム膜を残すように加工することで開口制限することができる。よって、偏光フィルタ層２２２とは別個に開口制限用の加工を行う場合よりも、製造工程を簡略化できる。

もちろん、偏光フィルタ層２２２とは別個に、図２６に示すような開口制限層を設けてもよい。この場合、その開口制限層の撮像画素中央部にはワイヤーグリッド構造が形成されず、そのまま光を透過する開口部となる。
また、開口制限を行う遮光領域は、上述したようなアルミニウム膜等の反射膜に限定されるものではなく、例えば光を吸収する膜で形成してもよい。例えば、図２７に示すように、ブラックレジストのベタ膜によって遮光領域を形成したものでもよい。この場合も、開口部は、図２７に示した円形状に限らず、例えば、図２８に示すような略四角形状であってもよい。図２８に示すように角部を有する形状とする場合、その角部にＲを持たせた方がエッチング加工などで形状寸法を出しやすい。
また、光を透過する開口部は１つの撮像画素に１つである必要はなく、１つの撮像画素に対して複数の開口部あるいはワイヤーグリッド構造領域を形成してもよい。また、遮光領域も、１つの撮像画素に１つである必要はなく、１つの撮像画素に対して複数の遮光部を形成してもよい。特に、遮光領域は、撮像画素の周辺部に設ける必要はなく、例えば、図２９に示すように、ワイヤーグリッド構造の中にアルミニウムのベタ膜を離散的に配置した構成としてもよい。

本構成例３では、前記構成例１と同じ赤色光の鉛直偏光成分画像、前記構成例１と比較して受光量が制限された非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。本構成例３において、赤色光の鉛直偏光成分画像を用いてテールランプを識別した結果から先行車両を検出するとともに、非分光の鉛直偏光成分画像や非分光の水平偏光成分画像を用いてヘッドランプを識別した結果から対向車両を検出する。テールランプやヘッドランプは、通常、水平方向に一定距離だけ離れた２つで１組のものである。よって、先行車両や対向車両の検出に際しては、これを利用して、撮像画像中における２つのテールランプ又は２つのヘッドランプの画像部分が一定距離離れている場合に、その１組のテールランプ又は１組のヘッドランプを先行車両又は対向車両のものとして認識する。このとき、ヘッドランプの光は、テールランプの光よりも光量が大きいので、テールランプの光を適切に受光できる受光感度に設定すると、ヘッドランプの受光量が飽和してしまい、１つのヘッドランプとして認識される画像領域が拡大し、本来は離間して認識される２つのヘッドランプ画像領域が一体の画像領域となってしまい、ヘッドランプの画像領域を適切に認識できず、対向車両の認識率が低下する。逆に、ヘッドランプの光を適切に受光できる受光感度に設定すると、テールランプの受光量が不足して、テールランプの画像領域を適切に認識できず、今度は先行車両の認識率が低下する。

本構成例３によれば、ヘッドランプの識別に用いる非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像は、上述した開口制限により受光量が制限されたものである。よって、受光量が制限されていない赤色光の鉛直偏光成分画像を用いて識別されるテールランプに合わせて受光感度を設定しても、ヘッドランプの受光量が飽和する事態が抑制され、個々のヘッドランプの画像領域を個別に識別できるようになり、対向車両の認識率の低下が抑制される。

なお、例えば受光感度を切り替えて別々に撮像した撮像画像からヘッドランプの識別とテールランプの識別とを行うことにより、ヘッドランプとテールランプの識別を両立させることもできる。しかしながら、この場合には、受光感度を切り替えるなどの制御機構が必要となる上、撮像画像データのフレームレートが半分に落ち込むという不具合がある。これに対し、本構成例３によれば、このような不具合なく、ヘッドランプとテールランプの識別を両立させることができる。

〔光学フィルタの構成例４〕
次に、本実施形態における光学フィルタ２０５の更に他の構成例（以下、本構成例を「構成例４」という。）について説明する。
光学フィルタ２０５の後段フィルタ２２０に設けられる偏光フィルタ層２２２は、上述したように、鉛直偏光成分Ｐのみを選択して透過させる鉛直偏光領域（第１領域）と、水平偏光成分Ｓのみを選択して透過させる水平偏光領域（第２領域）とに、撮像画素単位で領域分割されている。これにより、鉛直偏光領域を透過した光を受光する撮像画素の画像データに基づいて、水平偏光成分Ｓがカットされた鉛直偏光成分画像を得ることができる。また、水平偏光領域を透過した光を受光する撮像画素の画像データからは、鉛直偏光成分Ｐがカットされた水平偏光成分画像を得ることができる。

フロントガラス１０５の面が平坦な面であれば、フロントガラス１０５の面に対して鉛直偏光領域や水平偏光領域の偏光方向（透過軸）を適切に設定することにより、フロントガラス１０５への映り込みを適切にカットした鉛直偏光成分画像や水平偏光成分画像を得ることができる。しかしながら、一般に、自動車のフロントガラス１０５は、空力特性向上のために、前方に向かって下方へ傾斜しているだけでなく、左右方向において中央部から両端部に向けて後方へ大きく湾曲している。そのため、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域や水平偏光領域の偏光方向（透過軸）がどの位置の領域でも一様であると、例えば、撮像画像中央部ではフロントガラス１０５からの映り込みが適切にカットできていても、撮像画像端部ではフロントガラス１０５からの映り込みが適切にカットできないことがある。

図３０は、本構成例４における光学フィルタ２０５の偏光フィルタ層２２２におけるワイヤーグリッド構造の金属ワイヤーの長手方向を示す説明図である。
本構成例４の偏光フィルタ層２２２及び分光フィルタ層２２３の領域分割構成は、前記構成例１の場合と同じであるが、本構成例４では、偏光フィルタ層２２２の鉛直偏光領域の偏光方向（透過軸）が一様ではない。具体的には、図３０に示すように、フロントガラス１０５の湾曲に合わせて、偏光フィルタ層２２２の水平方向端部へ近い鉛直偏光領域ほど、その偏光方向（透過軸）と鉛直方向との角度が大きくなるように、偏光フィルタ層２２２の鉛直偏光領域が形成されている。すなわち、本構成例４の偏光フィルタ層２２２は、水平方向端部へ近い鉛直偏光領域ほど、そのワイヤーグリッド構造の金属ワイヤーの長手方向と水平方向との角度が大きくなるように構成されている。本実施形態では、鉛直偏光領域をワイヤーグリッド構造で形成しているので、このように撮像画素という微小な単位で偏光方向が異なる多数の領域を形成することが可能である。

〔光学フィルタの各部詳細〕
次に、光学フィルタ２０５における後段フィルタ２２０の各部詳細について説明する。
フィルタ基板２２１は、使用帯域（本実施形態では可視光域と赤外域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）が好適に用いることができる。

フィルタ基板２２１上に形成される偏光フィルタ層２２２は、図３１に示すようなワイヤーグリッド構造で形成された偏光子で構成される。ワイヤーグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤー（導電体線）を特定のピッチで配列した構造である。ワイヤーグリッド構造のワイヤーピッチを、入射光の波長帯に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。

ワイヤーグリッド構造の偏光子は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。

本実施形態では、偏光フィルタ層２２２をワイヤーグリッド構造で形成していることにより、以下のような効果を有する。
ワイヤーグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、フィルタ基板２２１上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤーグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤーの長手方向すなわち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤーの長手方向すなわち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２２を作成することができる。
また、ワイヤーグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。

偏光フィルタ層２２２の積層方向上面を平坦化するために用いられる充填材２２４は、偏光フィルタ層２２２の金属ワイヤー間の凹部に充填される。この充填材２２４は、フィルタ基板２２１よりも屈折率の低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２２の金属ワイヤー部分の積層方向上面も覆うように形成される。

充填材２２４の具体的な材料としては、偏光フィルタ層２２２の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ₂）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ₂Ｏ₃）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。フィルタ基板２２１の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。

充填材２２４の形成方法は、ＳＯＧ（Ｓpin Ｏn Ｇlass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）₄）をアルコールに溶かした溶剤を、フィルタ基板２２１上に形成された偏光フィルタ層２２２上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。

偏光フィルタ層２２２はサブ波長サイズのワイヤーグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本実施形態の光学フィルタ２０５は、画像センサ２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と画像センサ２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２２の積層方向上面すなわち画像センサ２０６側の面が充填材２２４によって覆われているので、画像センサ２０６と接触した際にワイヤーグリッド構造が損傷する事態が抑制される。
また、本実施形態のように充填材２２４を偏光フィルタ層２２２のワイヤーグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止することができる。

なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２３については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、画像センサ２０６に分光フィルタ層２２３が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層２２２の金属ワイヤー（凸部）の高さは使用波長の半分以下と低い一方、分光フィルタ層２２３の赤色分光領域又はシアン分光領域を形成するフィルタ層部分（凸部）の高さは、使用波長と同等から数倍程度の高さとなる。充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２３を充填材で覆っていない。

本実施形態の分光フィルタ層２２３における赤色分光領域又はシアン分光領域を形成するフィルタ層部分は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。本実施形態においては、撮像画像データの使用波長範囲が略可視光波長帯（可視光と赤外光の波長帯）であるため、当該使用波長範囲に感度を有する画像センサ２０６を選択するとともに、多層膜部分の透過波長範囲を例えば６００ｎｍ以上に設定し、それ以外の波長帯は反射する図３２に示すようなカットフィルタを形成すればよい。

このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ₂）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、したがって「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ₂）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、したがって「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは画像センサ２０６との密着接合のための樹脂や接着剤を意図するものである。また、

また、分光フィルタ層２２３における赤色分光領域又はシアン分光領域を形成するフィルタ層部分としては、透過波長範囲が６００〜７００ｎｍの範囲である、図３３に示すようなフィルタ特性を有するバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ/媒質Ａ」のような構成の多層膜を作製することで得ることができる。なお、前記の通り、高屈折率材料として二酸化チタン（ＴｉＯ₂）、低屈折率材料として二酸化珪素（ＳｉＯ₂）などを使用すれば、対候性の高い分光フィルタ層２２３を実現できる。

本実施形態の分光フィルタ層２２３の作製方法の一例について説明すると、まず、フィルタ基板２２１及び偏光フィルタ層２２２上に形成された充填材２２４の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。

本実施形態では、分光フィルタ層２２３として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層２２３として多層膜構造を採用しているので、テールランプの波長に最適化された分光フィルタ層２２３を形成することが可能となる。

〔ヘッドランプの配光制御〕
以下、本実施形態におけるヘッドランプの配光制御について説明する。
本実施形態におけるヘッドランプの配光制御は、撮像装置２００で撮像された撮像画像データを解析して車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
なお、以下の説明では、光学フィルタ２０５の後段フィルタ２２０として前記構成例１のものを用いる場合について説明する。

本実施形態のヘッドランプ配光制御では、撮像ユニット１０１から取得することができる情報のうち、撮像領域内の各地点（光源体）から発せられる光の強さ（明るさ情報）、ヘッドランプやテールランプなどの光源体（他車両）と自車両との距離（距離情報）、各光源体から発せられる光の赤色成分と白色成分（非分光）との比較による分光情報、白色成分の水平偏光成分と鉛直偏光成分との比較による偏光情報、水平偏光成分がカットされた白色成分の鉛直偏光成分情報、水平偏光成分がカットされた赤色成分の鉛直偏光成分情報を用いる。

明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像装置２００によってそれらの先行車両及び対向車両を撮像すると、撮像画像データ上では検出対象物の１つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の１つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ２０６上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ（輝度情報）を用いることで ２種類の検出対象物（ヘッドランプとテールランプ）及びリフレクタの一次的な識別が可能である。

また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ（すなわち他車両）と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像装置２００が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。

このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像装置２００における撮像レンズ２０４の焦点距離ｆは既知であるため、撮像装置２００の画像センサ２０６上における左右ランプにそれぞれ対応した２つのランプ画像領域間の距離ｗ１を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離ｘは、単純な比例計算（ｘ＝ｆ×ｗ０／ｗ１）により求めることができる。また、このようにして算出される距離ｘが適正範囲であれば、その算出に用いた２つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。

また、分光情報について説明すると、本実施形態では、上述したとおり、撮像装置２００で撮像した撮像画像データから、赤色光（鉛直偏光成分）Ｐ／Ｒを受光する画像センサ２０６上の撮像画素ａ，ｃ，ｆ，ｈ等に対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した赤色画像を生成することができる。よって、赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することが可能である。

また、撮像装置２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データのみを抽出することで、撮像領域内のモノクロ輝度画像（鉛直偏光成分）を生成することができる。よって、赤色画像上の画像領域と、この画像領域に対応したモノクロ輝度画像上の画像領域との間の輝度比率（赤色輝度比率）を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体（光源体）からの光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。

また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像装置２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データと、白色光（非分光）の水平偏光成分Ｓ／Ｃとを受光する画像センサ２０６上の撮像画素ｅ，ｇ等に対応した画素データとを抽出し、画像画素ごとに、これらの画像データ間の画素値（輝度）を比較した比較画像を得ることができる。具体的には、例えば、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの差分値（Ｓ−Ｐ）を画素値とした差分画像を、比較画像として得ることができる。このような比較画像によれば、ヘッドランプから撮像装置２００へ直接入射する直接光の画像領域（ヘッドランプ画像領域）と、ヘッドランプから雨路の水面で反射してから撮像装置２００へ入射する間接光の画像領域とのコントラストを大きくとることができ、ヘッドランプの識別精度が向上する。

特に、比較画像としては、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの比率（Ｓ／Ｐ）を画素値とした比率画像や、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を画素値とした差分偏光度画像などが好適に使用できる。一般に、水面などの水平な鏡面で反射した光は、水平偏光成分が常に強くなることが知られており、とくに水平偏光成分Ｓと鉛直偏光成分Ｐとの比率（Ｓ／Ｐ）や差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとった場合、その比率や差分偏光度は特定角度（ブリュースター角度）において最大となることが知られている。雨路では、散乱面であるアスファルト面に水が張られて鏡面に近い状態となるため、路面からのヘッドランプ反射光は水平偏光成分Ｓの方が強くなる。よって、路面からのヘッドランプ反射光の画像領域は、比率画像や差分偏光度画像においては、その画素値（輝度）が大きいものとなる。一方、ヘッドランプからの直接光は基本的には無偏光なので、比率画像や差分偏光度画像においては、その画素値（輝度）が小さいものとなる。この違いにより、ヘッドランプからの直接光と同じ程度の光量をもつ雨路面からのヘッドランプ反射光を適切に除外でき、ヘッドランプからの直接光をこのようなヘッドランプ反射光と区別して識別することができる。

図３４は、撮像装置２００を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出したときのヒストグラムである。図３４中の縦軸は、頻度を示しており、ここでは１に規格化してある。図３４中の横軸は、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとったものである。図３４からわかるように、ヘッドランプの雨路面で反射光は、ヘッドランプの直接光と比較して、水平偏光成分Ｓが相対的に大きい側（図中右側）に分布がシフトしていることがわかる。

図３５は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置２００で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。

本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値（輝度値）あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。

また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述した水平偏光成分Ｓの赤色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述した水平偏光成分の白色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。

次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図３６は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置２００が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。

まず、ステップＳ１では、撮像装置２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。

ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のベッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。

高輝度画像領域抽出処理では、まず、ステップＳ３１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、ステップＳ３２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。

上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。

まず、ペアランプ距離算出処理のために、ステップＳ４１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップＳ４２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像装置２００における焦点距離ｆは既知であるため、撮像装置２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。

ステップＳ５では、鉛直偏光成分Ｐの赤色画像と鉛直偏光成分Ｐの白色画像との比率（赤色輝度比率）を分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップＳ５１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａ，ｆに対応した画素データと画像センサ２０６上の撮像画素ｂに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップＳ５２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。

続いて、ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップＳ６１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップＳ６２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。

なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバー）がワイパーを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。

以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。

〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。

本実施形態における白線検出処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の鉛直偏光成分Ｐの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、前記構成例２における光学フィルタ２０５を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。

本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分（非分光）の鉛直偏光成分Ｐの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分（非分光）の鉛直偏光成分Ｐの画像は、水平偏光成分Ｓがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。

また、本実施形態における白線検出処理において、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐとの比較による偏光情報、例えば、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Ｐと水平偏光成分Ｓとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。

図３７（ａ）及び（ｂ）は、雨天時において同じ撮像領域を撮像したモノクロ輝度画像（非分光・非偏光）と非分光の差分偏光度画像とを示す画像例である。
この画像例は、雨天時に撮影したものであるため、撮像領域が比較的暗く、また、路面は湿潤状態となっている。そのため、図３７（ａ）に示すモノクロ輝度画像では、白線と路面とのコントラストが小さい。これに対し、図３７（ｂ）に示す差分偏光度画像では、白線と路面とのコントラストが十分に大きい。よって、モノクロ輝度画像では白線を識別することが困難な状況下であっても、差分偏光度画像を用いれば白線を高精度に識別することが可能である。
また、画像例の右側部分の白線は、陰に重なっているため、図３７（ａ）に示すモノクロ輝度画像では、この右側の白線と路面とのコントラストが特に小さい。これに対し、図３７（ｂ）に示す差分偏光度画像では、この右側の白線と路面とのコントラストも十分に大きい。よって、モノクロ輝度画像では識別困難な白線についても、差分偏光度画像を用いれば高精度に識別することが可能である。

〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う目的で、付着物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。

本実施形態における雨滴検出処理では、撮像ユニット１０１から取得することができる情報のうち、前段フィルタ２１０の赤外光透過フィルタ領域２１２及び後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５を透過した光を受光する雨滴検出用画像領域２１４の鉛直偏光成分Ｐの偏光情報を用いる。

図３８は、ブリュースタ角での反射光の偏光状態を示す説明図である。
一般に、ガラスなどで平坦面に光が入射するとき、水平偏光成分Ｓの反射率は入射角に対して単調増加するのに対し、鉛直偏光成分Ｐの反射率は特定角度（ブリュースタ角θＢ）でゼロとなり、鉛直偏光成分Ｐは、図３８に示すように反射せずに透過光のみとなる。したがって、光源２０２が、鉛直偏光成分Ｐの光のみをブリュースタ角θＢの入射角をもって車両室内側からフロントガラス１０５に向けて照射するように構成することで、フロントガラス１０５の内壁面（室内側の面）での反射光は発生せず、フロントガラス１０５の外壁面（車外側の面）に鉛直偏光成分Ｐの光が照射される。フロントガラス１０５の内壁面での反射光が存在すると、その反射光が撮像装置２００への外乱光となり、雨滴検出率の低減要因となる。

光源２０２からフロントガラス１０５へ入射させる光を鉛直偏光成分Ｐのみとするためには、光源２０２として例えば発光ダイオード（ＬＥＤ）を用いる場合、その光源２０２とフロントガラス１０５との間に、鉛直偏光成分Ｐのみを透過させる偏光子を配置するのがよい。また、光源２０２として半導体レーザ（ＬＤ）を用いる場合、ＬＤは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Ｐのみの光がフロントガラス１０５に入射するようにＬＤの軸を合わせてもよい。

図３９（ａ）は、フロントガラス１０５の外壁面に雨滴が付着しているときの撮像画像を示す説明図である。
図３９（ｂ）は、フロントガラス１０５の外壁面に雨滴が付着していないときの撮像画像を示す説明図である。
図３９（ａ）及び（ｂ）の撮像画像は、図中「ｄｅｔｅｃｔｅｄ ａｒｅａ」と記載された下部領域が雨滴検出用画像領域２１４であり、残りが車両検出用画像領域２１３である。雨滴検出用画像領域２１４には、雨滴が付着しているときは図３９（ａ）に示すように光源２０２からの光が映し出され、雨滴が付着していないときは図３９（ｂ）に示すように光源２０２からの光が映し出されない。したがって、この雨滴検出用画像領域２１４における雨滴画像の認識処理は、光源２０２からの光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置２００が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。

本実施形態では、雨滴の検出結果に基づいて、ワイパー制御ユニット１０６は、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。

次に、本実施形態で行われる各種車載機器の制御について、更に詳しく説明する。
本実施形態において、ヘッドランプ制御ユニット１０３では、撮像装置２００で撮像した車両検出用画像領域の撮像画像データに基づいて検出されるテールランプやヘッドランプ（夜間の他車両）の検出結果を用いて、ヘッドランプの配光制御を行う。
また、車両走行制御ユニット１０８では、撮像装置２００で撮像した車両検出用画像領域の撮像画像データに基づいて検出される白線の検出結果を用いて、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする車線維持制御を行う。
また、車両走行制御ユニット１０８では、撮像装置２００で撮像した車両検出用画像領域の撮像画像データに基づいて検出される先行車両（昼間又は夜間の他車両）の検出結果を用いて、先行車両との距離が近接したことを検知したら、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする衝突回避制御を行う。

これらの制御に用いる各検出対象物は、それぞれの検出にとって最適な露光条件が異なる。例えば、ヘッドランプの配光制御に用いる撮像画像データは、高輝度なテールランプやヘッドランプを識別して夜間の他車両を検出するのに用いられる。そのため、露光量が少ない露光条件で撮像したものが好適であり、また、撮像環境が夜間であることから露光条件が固定であっても、高い検出精度を安定して得ることが可能である。
また、例えば、車線維持制御に用いられる撮像画像データは、テールランプやヘッドランプに比べると低輝度な白線の検出に用いられる。そのため、露光量が多い露光条件で撮像したものが好適である。また、夜間や昼間の違いなど撮像環境の違いから最適な露光条件が変化することから、必要に応じて、露光条件を撮像環境に応じて調整するのが好適である。
また、例えば、衝突回避制御に用いられる撮像画像データは、夜間であれば高輝度なテールランプの検出、昼間ではれば低輝度な車体の検出に用いられる。そのため、撮像環境に応じて最適な露光条件が大きく変わるので、撮像環境に応じて露光条件を調整するのが好適である。

このように各制御に用いる撮像画像データの最適な露光条件が異なるため、同じ露光条件で撮像した撮像画像データを用いてすべての制御を行おうとすると、すべての制御に利用する検出対象物の検出結果をいずれも高い精度を得るということは困難である。そのため、すべての制御で適切な制御を実現することができない。

そこで、本実施形態においては、すべての制御で適切な制御を実現するため、これらの制御にそれぞれ適した露光条件で撮像した撮像撮像データを用いることとしている。具体的には、撮像装置２００の露光条件を撮像フレーム単位で変更し、それぞれ対応する露光条件で撮像された撮像フレームの撮像画像データを用いてそれぞれの制御を行う。

〔撮像動作例１〕
図４０は、本実施形態に適用可能な撮像装置２００の撮像動作の一例（以下、「撮像動作例１」という。）を簡易的に示したタイミングチャートである。このタイミングチャートは、撮像動作の概要を把握するためのものであり、正確な制御タイミングを示すものではないので、例えば矢印の長さは時間の長さを正確に示すものではない。

本撮像動作例１における撮像装置２００は、画像センサ２０６としてＣＣＤイメージセンサを用い、画像センサの全撮像画素を同時露光して撮像フレームを生成するグローバルシャッター方式を採用したものである。よって、本撮像動作例１においては、図４０に示すように、前フレーム周期Ｔ_ｎ−１に全撮像画素同時露光がなされた画像センサ２０６の各撮像画素の信号が、その次のフレーム周期Ｔ_ｎに読み出されることになる。

本撮像動作例１において、以下の３種類の撮像フレームを順次撮像するという撮像動作を繰り返す。
第１フレーム目の撮像フレームは、車線維持制御（ＬＤＷ：Lane Departure Warning）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＬＤＷが、例えば２０μｓ〜３３ｍｓの範囲内で自動露光制御される。したがって、例えば、昼間であれば２０μｓに近い露光時間ＦＥ_ＬＤＷが設定され、夜間であれば３３ｍｓに近い露光時間ＦＥ_ＬＤＷが設定される。
第２フレーム目の撮像フレームは、ヘッドランプの配光制御（ＡＨＢ：Auto High Beam）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＡＨＢが固定であり、昼夜を問わず、例えば４０μｓに設定される。
第３フレーム目の撮像フレームは、衝突回避制御（ＦＣＷ：Front Collision Warning）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＦＣＷが、例えば２０μｓ〜３３ｍｓの範囲内で自動露光制御される。したがって、例えば、昼間であれば２０μｓに近い露光時間ＦＥ_ＦＣＷが設定され、夜間であれば３３ｍｓに近い露光時間ＦＥ_ＦＣＷが設定される。

ここで、本実施形態においては、上述したとおり、フロントガラスに付着する雨滴（付着物）を検出する雨滴検出処理を行い、その雨滴検出結果を用いてワイパー駆動制御等を行う。この雨滴検出処理に用いる撮像画像データに適した露光条件は、レンズのフレアゴーストや光源２０２からの照明光以外の外乱光の影響を小さくするために、なるべく露光量が少なくなる、すなわち露光時間を短く設定するのが好ましい。このような雨滴検出処理に適した撮像画像データを得る方法としては、雨滴検出処理に適した露光条件で撮像される新たな種類の雨滴検出専用撮像フレームを、追加、挿入するという方法が考えられる。しかしながら、この方法では、雨滴検出専用撮像フレームの追加、挿入により、上述した３種類の撮像フレームのフレームレートを下げる結果を招き、これらの３種類の撮像フレームを用いた各制御の精度を落とすおそれがある。

そこで、本撮像動作例１においては、雨滴検出専用撮像フレームの追加、挿入するのではなく、上述した３種類の撮像フレームの中で、雨滴検出処理に適した露光条件に近い露光条件で撮像される撮像フレームを、雨滴検出処理に用いることとしている。具体的には、上述した３種類の撮像フレームのうち、ヘッドランプの配光制御ＡＨＢに用いる撮像フレームを雨滴検出処理に用いる。

特に、本実施形態においては、雨滴検出処理に用いる撮像画像データである雨滴検出用画像領域２１４に対応した雨滴検出用フィルタ部２２０Ｂには、光源２０２が射出する赤外波長帯の赤外光に制限して透過させる赤外光透過フィルタ領域２１２等の波長制限手段としての光学フィルタ２０５が設けられている。このような光学フィルタ２０５は、その機能上、光透過損失が存在するため、光学フィルタ２０５を設けない場合と比較して、光源２０２からの照明光が画像センサ２０６に受光される受光量が落ちる。そのため、光学フィルタ２０５を設けることで、光学フィルタ２０５を設けない場合と比較して、雨滴検出処理に用いる撮像画像データに適した露光時間を延ばすことができる。例えば、雨滴検出処理に用いる撮像画像データに適した露光時間が、光学フィルタ２０５を設けない場合には４μｓであるところ、光学フィルタ２０５を設けることで４０μｓとすることができる。その結果、雨滴検出処理の検出精度を落とすことなく、露光時間が４０μｓであるヘッドランプの配光制御ＡＨＢの撮像フレームを雨滴検出処理に利用することが可能となっている。

しかも、本撮像動作例１においては、雨滴検出処理に利用するヘッドランプの配光制御ＡＨＢに用いる撮像フレームは、固定された露光時間で撮像されるものである。雨滴検出処理は、ほぼ一定の光量で照射される光源２０２の照明光のうち雨滴で反射した照明光を受光して雨滴を検出するため、その受光量はほぼ一定である。そのため、露光時間が固定されていれば、露光時間に応じて閾値を変更する必要がなくなり、雨滴検出処理を簡素化できる。よって、より迅速な雨滴検出処理が可能となる。

もちろん、雨滴検出処理に利用する撮像フレームの種類は、露光時間が固定された撮像フレームに限られず、また、ヘッドランプの配光制御ＡＨＢの用途に利用される撮像フレームにも限られるものではない。ただし、雨滴検出処理に利用する撮像フレームは、露光量が最も多い撮像フレームを除いた他のフレームのいずれかが好ましく、特に、露光量が最も少ない撮像フレームが好ましい。

なお、雨滴検出処理の検出精度を更に高めるために、光源２０２から照明光が照射されているときに撮像された照明時撮像画像データと、光源２０２から照明光が照射されていないときに撮像された非照明時撮像画像データとの差分情報に基づいて雨滴検出処理を行ってもよい。

例えば、上述した３種類の撮像フレームの繰り返し周期において、ある繰り返し周期におけるヘッドランプ配光制御ＡＨＢの撮像フレームの露光時には光源２０２をＯＮにして照明時撮像画像データを撮像し、その次の繰り返し周期におけるヘッドランプ配光制御ＡＨＢの撮像フレームの露光時には光源２０２をＯＦＦにして非照明時撮像画像データを撮像するという動作を繰り返す。
あるいは、上述した３種類の撮像フレームの繰り返し周期に、光源２０２をＯＦＦにして撮像されるヘッドランプ配光制御ＡＨＢの撮像フレームを追加してもよい。例えば、第１フレーム目を、車線維持制御ＬＤＷ用の撮像フレームとし、第２フレーム目を、光源２０２をＯＮにしたヘッドランプ配光制御ＡＨＢ用の撮像フレームとし、第３フレーム目を、衝突回避制御ＦＣＷ用の撮像フレームとし、第４フレーム目を、光源２０２をＯＦＦにしたヘッドランプ配光制御ＡＨＢ用の撮像フレームとする。

このようにして得られる照明時撮像画像データと非照明時撮像画像データとの間における雨滴検出用画像領域２１４の差分情報は、光源２０２からの照明光と外乱光の両方を含む照明時撮像画像データから、外乱光のみを含む非照明時撮像画像データを差し引いた情報である。そのため、この差分情報によって、外乱光が除去された光源２０２からの照明光のみからなる雨滴検出用画像領域２１４の撮像画像データを得ることができる。よって、雨滴検出処理では、外乱光の影響が抑制され、より高精度な雨滴検出を実現できる。

また、本撮像動作例１においては、図４０に示すように、雨滴検出処理に用いる撮像フレームの露光期間以外の期間では、光源２０２をＯＦＦにしている。これにより、光源２０２を常時ＯＮにする場合よりも、消費電力を抑制できる。また、光源２０２からの照明光は、その一部が車両検出用画像領域２１３にも映し出されることがあり、車両検出用画像領域２１３の外乱光となるおそれがある。そのため、雨滴検出処理には用いない車線維持制御ＬＤＷ用の撮像フレームや衝突回避制御ＦＣＷ用の撮像フレームについては、光源２０２をＯＦＦにしておくことで、光源２０２の照明光による外乱光を抑制し、これらの制御の高精度化を実現できる。

〔撮像動作例２〕
図４１は、本実施形態に適用可能な撮像装置２００の撮像動作の他の例（以下、「撮像動作例２」という。）を簡易的に示したタイミングチャートである。このタイミングチャートは、撮像動作の概要を把握するためのものであり、正確な制御タイミングを示すものではないので、例えば矢印の長さは時間の長さを正確に示すものではない。

本撮像動作例２における撮像装置２００は、画像センサ２０６としてＣＭＯＳイメージセンサを用い、画像センサの撮像画素を部分的に順次露光して撮像フレームを生成するローリングシャッター方式を採用したものである。本撮像動作例２では、画像センサ２０６上に配列される撮像画素を一ラインごとに露光し、各ライン１〜Ｘの撮像画素の信号を順次読み出す。

本撮像動作例２においても、上述した撮像動作例１と同様、以下の３種類の撮像フレームを順次撮像するという撮像動作を繰り返す。また、本撮像動作例２においても、雨滴検出専用撮像フレームの追加、挿入するのではなく、上述した３種類の撮像フレームのうちのヘッドランプ配光制御ＡＨＢに用いる撮像フレームを雨滴検出処理に用いる。

ところで、上述した撮像動作例１においては、雨滴検出処理に用いるヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光時には、光源２０２がＯＮになっている。そのため、光源２０２からの照明光の一部が、ヘッドランプ配光制御ＡＨＢ用の撮像フレームにおける車両検出用画像領域２１３にも映し出され、車両検出用画像領域２１３の外乱光となるおそれがある。この場合、その外乱光によってヘッドランプ配光制御ＡＨＢにおけるテールランプやヘッドランプの検出精度が落ち、ヘッドランプ配光制御ＡＨＢの精度が低下するおそれがある。

そこで、本撮像動作例２においては、図４１に示すように、ヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光期間において、車両検出用画像領域２１３に対応するラインの露光時には光源２０２をＯＦＦにし、雨滴検出用画像領域２１４に対応するラインの露光時には光源２０２をＯＮにするという光源制御を行っている。これにより、ヘッドランプ配光制御ＡＨＢ用の撮像フレーム中の車両検出用画像領域２１３については、光源２０２の照明光による外乱の影響を抑制しつつ、その撮像フレーム中の雨滴検出用画像領域２１４については、光源２０２の照明光による雨滴検出が可能となる。しかも、ヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光期間中ずっと光源２０２をＯＮにする場合よりも、消費電力を抑制することもできる。

また、本撮像動作例２においても、上述した撮像動作例１と同様、雨滴検出処理の検出精度を更に高めるために、光源２０２のＯＮ時における照明時撮像画像データと、光源２０２のＯＦＦ時における非照明時撮像画像データとの差分情報に基づいて雨滴検出処理を行ってもよい。

特に、本撮像動作例２のようなローリングシャッター方式の場合、例えば、ヘッドランプ配光制御ＡＨＢの撮像フレームにおける雨滴検出用画像領域２１４に対応するラインの露光時に、１又は２以上のライン単位で光源２０２のＯＮ／ＯＦＦを繰り返すという光源制御を行うことができる。このような光源制御によれば、１つの撮像フレーム内における雨滴検出用画像領域２１４についての照明時撮像画像データと非照明時撮像画像データとの差分情報を得ることができる。この差分情報は、時間ずれのない差分情報であるため、より高精度な雨滴検出を実現できる。しかも、差分情報を得るための新たな撮像フレームを追加する必要がないので、フレームレートを下げることもない。

本実施形態においては、雨滴によって反射される光源からの光を検出する構成としているが、他の形態も利用可能である。例えば、特開２０１４−３２１７４号公報で開示された態様が利用できる。この態様では、車両のフロントガラスにプリズムを接触配置させ、光源からの光がフロントガラスで全反射するような条件に設定し、フロントガラス上の雨滴未付着箇所については光源からの全反射光が撮像素子により受光され、フロントガラス上の雨滴付着箇所については光源からの反射光が撮像素子で受光されない又は撮像素子の受光量が減少するような構成が実現される。この態様によれば、光利用効率をより高めることができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
フロントガラス１０５等の光透過性部材の付着物観測部分を照明する照明光を照射する光源２０２等の光照射手段と、フォトダイオード２０６Ａ等の受光素子が二次元配列された画像センサ２０６を備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域（車両検出用画像領域２１３に対応するセンサ部分）で受光して車両検出用画像領域２１３等の撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域（雨滴検出用画像領域２１４に対応するセンサ部分）で受光して雨滴検出用画像領域２１４等の付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像装置２００等の撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内のテールランプ、ヘッドランプ、白線、他車両（ボディ）などの検出対象物の検出処理を行う画像解析ユニット１０２等の対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過部材上の付着物観測部分に付着する雨滴等の付着物の検出処理を行う画像解析ユニット１０２等の付着物検出処理手段とを有する物体検出装置において、前記撮像手段の露光量を撮像フレーム単位で変更する信号処理部２０８等の露光量変更手段を有し、前記対象物検出処理手段は、露光量が異なる車線維持制御ＬＤＷ用の撮像フレーム、ヘッドランプ配光制御ＡＨＢ用の撮像フレーム、衝突回避制御ＦＣＷ用の撮像フレーム等の２以上の撮像フレーム中の撮像領域画像を用いて前記検出対象物の検出処理を行うものであり、前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム（ヘッドランプ配光制御ＡＨＢ用の撮像フレーム等）中の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする。
本態様では、露光量変更手段により撮像手段の露光量を撮像フレーム単位で変更しながら、露光量が互いに異なる２以上の撮像フレームが撮像手段によって生成される。このような露光量の変更は、例えば、撮像環境に応じて露光量を自動調整するものや、複数種類の検出対象物に対してそれぞれ適切な露光量に切り替えながら撮像フレームを順次生成するものなどが挙げられる。本態様においては、撮像領域内に存在する検出対象物の検出処理では、このように露光量が異なる２以上の撮像フレーム中の撮像領域画像に基づいて検出対象物の検出処理を行う。そのため、単一の露光量の撮像フレームだけで検出対象物を検出する場合よりも、検出対象物を高精度に検出することが可能である。
また、本態様によれば、このような検出対象物の検出処理に用いられる２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム中の付着物観測画像を用いて、付着物の検出処理を行う。そのため、付着物の検出処理には、検出対象物の検出処理に用いられる２以上の撮像フレームの中でも比較的露光量の少ない撮像フレームが用いられる。よって、光照射手段からの照明光に対する外乱光の影響が抑制された状態で、付着物の検出処理を行うことができ、付着物の検出処理についても高い検出精度を得ることが可能である。
しかも、本態様によれば、付着物検出のための専用の撮像フレームを別途挿入することなく、高精度な付着物検出処理を行うことができるので、検出対象物についての撮像フレームのフレームレートを下げることがなく、検出対象物について高い検出精度を確保できる。

（態様Ｂ）
前記態様Ａにおいて、前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も少ない撮像フレーム中の付着物観測画像を用いて、前記付着物の検出処理を行うことを特徴とする。
これによれば、より精度の高い付着物の検出処理を実現できる。

（態様Ｃ）
フロントガラス１０５等の光透過性部材の付着物観測部分を照明する照明光を照射する光源２０２等の光照射手段と、フォトダイオード２０６Ａ等の受光素子が二次元配列された画像センサ２０６を備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域（車両検出用画像領域２１３に対応するセンサ部分）で受光して車両検出用画像領域２１３等の撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域（雨滴検出用画像領域２１４に対応するセンサ部分）で受光して雨滴検出用画像領域２１４等の付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像装置２００等の撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内のテールランプ、ヘッドランプ、白線、他車両（ボディ）などの検出対象物の検出処理を行う画像解析ユニット１０２等の対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過部材上の付着物観測部分に付着する雨滴等の付着物の検出処理を行う画像解析ユニット１０２等の付着物検出処理手段とを有する物体検出装置において、前記撮像手段の露光条件を撮像フレーム単位で変更する信号処理部２０８等の露光条件変更手段を有し、前記対象物検出処理手段は、テールランプ又はヘッドランプ、白線、他車両（ボディ）などの複数種類の検出対象物それぞれに対応する露光条件（自動露光調整か固定露光か、又は、固定露光であれば露光時間の違い）で撮像される車線維持制御ＬＤＷ用の撮像フレーム群、ヘッドランプ配光制御ＡＨＢ用の撮像フレーム群、衝突回避制御ＦＣＷ用の撮像フレーム群等の各撮像フレーム群の撮像領域画像に基づいて、当該撮像フレーム群に対応する種類の検出対象物の検出処理を行うものであり、前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も多い露光条件に対応する撮像フレーム群を除いた他の撮像フレーム群（ヘッドランプ配光制御ＡＨＢ用の撮像フレーム群等）の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする。
本態様では、露光条件変更手段により撮像手段の露光条件を撮像フレーム単位で変更しながら、露光条件が異なる２以上の撮像フレーム群を撮像手段によって生成する。撮像領域内に存在する検出対象物の検出処理では、このように露光条件が異なる２以上の撮像フレーム群の撮像領域画像に基づいてそれぞれ対応する検出対象物の検出処理を行う。そのため、それぞれの検出対象物に適した露光条件で撮像された撮像フレーム群を用いて、それぞれの検出対象物の検出処理を行うことができる。よって、これらの検出対象物を同じ露光条件で撮像された撮像フレームから検出する場合と比較して、各検出対象物について高い検出精度を得ることができる。
また、本態様によれば、このような検出対象物の検出処理に用いられる２以上の撮像フレーム群の中で、露光量が最も多い露光条件に対応する撮像フレーム群を除いた他の撮像フレーム群の付着物観測画像を用いて、付着物の検出処理を行う。そのため、付着物の検出処理には、検出対象物の検出処理に用いられる２以上の撮像フレーム群の中でも比較的露光量の少ない露光条件の撮像フレーム群が用いられるため、光照射手段からの照明光に対する外乱光の影響が抑制された状態で、付着物の検出処理を行うことができる。よって、付着物の検出処理についても高い検出精度を得ることが可能である。
しかも、本態様によれば、付着物検出のための専用の撮像フレームを別途挿入することなく、高精度な付着物検出処理を行うことができるので、検出対象物についての撮像フレームのフレームレートを下げることがなく、検出対象物について高い検出精度を確保できる。

（態様Ｄ）
前記態様Ｃにおいて、前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も少ない露光条件に対応する撮像フレーム群の付着物観測画像を用いて、前記付着物の検出処理を行うことを特徴とする。
これによれば、より精度の高い付着物の検出処理を実現できる。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記付着物検出処理手段が用いる付着物観測画像の撮像フレームは、固定された露光量で撮像されたものであることを特徴とする。
付着物の検出処理は、ほぼ一定の光量で照明光を照射可能な光照射手段からの照明光によって映し出される付着物の撮像画像から付着物を検出するため、撮像環境にかかわらず露光量が固定されていても、十分な検出精度を得ることができる。むしろ、撮像環境等に応じて露光量を変更する場合には、露光量の変化に対応した処理（閾値を変更する処理など）が必要となるので、付着物検出処理が複雑化し、迅速な付着物検出処理が困難となるという不具合が生じる。本態様によれば、付着物の検出処理に用いられる撮像フレームは、固定された露光量で撮像されたものであるため、付着物の検出精度を確保しつつ、迅速な検出処理を実現できる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記画像センサ上の第２受光領域に受光される光を透過して所定波長帯に限定する光学フィルタ２０５等の波長制限手段を有することを特徴とする。
このような波長制限手段は、通常、光を透過する際に光量の損失が出る。そのため、波長制限手段を有しない場合と比較して、光照射手段からの照明光が画像センサに受光される受光量が落ちる。よって、波長制限手段を有することで、波長制限手段を有しない場合と比較して、付着物検出処理に用いる撮像フレームに適した露光量を増やすことができる。その結果、検出対象物の検出処理に用いる比較的露光量の多い撮像フレームを付着物の検出処理に用いても、付着物の検出処理の検出精度を確保することができる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記撮像手段は、ローリングシャッター等のように、前記画像センサを部分的に順次露光して撮像フレームを生成するものであり、前記付着物検出処理手段が用いる付着物観測画像の撮像フレームを撮像する際、前記画像センサ上の第１受光領域を露光している期間は照明光が照射されず、かつ、該画像センサ上の第２受光領域を露光している期間は照明光が照射されるように、前記光照射手段を制御する照明光制御手段（光源２０２の内部に存在する制御部）を有することを特徴とする。
これによれば、付着物の検出処理に用いられる撮像フレームの撮像領域画像に対する光照射手段からの照明光による外乱の影響を抑制することができるので、その撮像フレームを用いた検出対象物の検出処理が光照射手段からの照明光による外乱で検出精度を落とすことがなくなる。

（態様Ｈ）
自車両１００等の移動体におけるフロントガラス１０５等の光透過部材の付着物観測部分に付着する雨滴等の付着物及び移動体周囲の撮像領域内に存在する白線、テールランプ、ヘッドランプ、他車両（ボディ）等の検出対象物を検出する物体検出手段と、前記物体検出手段による前記付着物の検出結果及び前記検出対象物の検出結果に基づいて、前記移動体に搭載されたワイパー、ヘッドランプ、ハンドルやブレーキ等の所定の機器を制御するワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３、車両走行制御ユニット１０８等の移動体機器制御手段とを備えた車載機器制御システム等の移動体機器制御システムにおいて、前記物体検出手段として、前記態様Ａ〜Ｇのいずれかの態様に係る物体検出装置を用いたことを特徴とする。
これによれば、付着物の検出結果を用いる機器制御、検出対象物の検出結果を用いる機器制御のいずれの制御も、高精度に行うことが可能となる。

（態様Ｉ）
光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、前記対象物検出処理手段、前記付着物検出処理手段、及び、前記撮像手段の露光量を撮像フレーム単位で変更する露光量変更手段として、前記コンピュータを機能させるものであり、前記対象物検出処理手段は、露光量が異なる２以上の撮像フレーム中の撮像領域画像を用いて前記検出対象物の検出処理を行い、前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム中の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする。
これによれば、付着物検出のための専用の撮像フレームを別途挿入することなく、検出対象物の検出処理と付着物の検出処理の両処理で高い検出精度を実現できる。

（態様Ｊ）
光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、前記対象物検出処理手段、前記付着物検出処理手段、及び、前記撮像手段の露光条件を撮像フレーム単位で変更する露光条件変更手段として、前記コンピュータを機能させるものであり、前記対象物検出処理手段は、複数種類の検出対象物それぞれに対応する露光条件で撮像される各撮像フレーム群の撮像領域画像に基づいて、当該撮像フレーム群に対応する種類の検出対象物の検出処理を行うものであり、前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も多い露光条件に対応する撮像フレーム群を除いた他の撮像フレーム群の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする。
これによれば、付着物検出のための専用の撮像フレームを別途挿入することなく、検出対象物の検出処理と付着物の検出処理の両処理で高い検出精度を実現できる。

なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０８ 車両走行制御ユニット
２００ 撮像装置
２０２ 光源
２０３ 雨滴
２０４ 撮像レンズ
２０５ 光学フィルタ
２０６ 画像センサ

特開２０１３−１１５６２５号公報

Claims (10)

1. 光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、
   受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過性部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、
   前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、
   前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過性部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置において、
   前記撮像手段の露光量を撮像フレーム単位で変更する露光量変更手段を有し、
   前記対象物検出処理手段は、露光量が異なる２以上の撮像フレーム中の撮像領域画像を用いて前記検出対象物の検出処理を行うものであり、
   前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム中の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする物体検出装置。
2. 請求項１の物体検出装置において、
   前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も少ない撮像フレーム中の付着物観測画像を用いて、前記付着物の検出処理を行うことを特徴とする物体検出装置。
3. 光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、
   受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過性部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、
   前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、
   前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過性部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置において、
   前記撮像手段の露光条件を撮像フレーム単位で変更する露光条件変更手段を有し、
   前記対象物検出処理手段は、複数種類の検出対象物それぞれに対応する露光条件で撮像される各撮像フレーム群の撮像領域画像に基づいて、当該撮像フレーム群に対応する種類の検出対象物の検出処理を行うものであり、
   前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も多い露光条件に対応する撮像フレーム群を除いた他の撮像フレーム群の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする物体検出装置。
4. 請求項３の物体検出装置において、
   前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も少ない露光条件に対応する撮像フレーム群の付着物観測画像を用いて、前記付着物の検出処理を行うことを特徴とする物体検出装置。
5. 請求項１乃至４のいずれか１項に記載の物体検出装置において、
   前記付着物検出処理手段が用いる付着物観測画像の撮像フレームは、固定された露光量で撮像されたものであることを特徴とする物体検出装置。
6. 請求項１乃至５のいずれか１項に記載の物体検出装置において、
   前記画像センサ上の第２受光領域に受光される光を透過して所定波長帯に限定する波長制限手段を有することを特徴とする物体検出装置。
7. 請求項１乃至６のいずれか１項に記載の物体検出装置において、
   前記撮像手段は、前記画像センサを部分的に順次露光して撮像フレームを生成するものであり、
   前記付着物検出処理手段が用いる付着物観測画像の撮像フレームを撮像する際、前記画像センサ上の第１受光領域を露光している期間は照明光が照射されず、かつ、該画像センサ上の第２受光領域を露光している期間は照明光が照射されるように、前記光照射手段を制御する照明光制御手段を有することを特徴とする物体検出装置。
8. 移動体における光透過性部材の付着物観測部分に付着する付着物及び移動体周囲の撮像領域内に存在する検出対象物を検出する物体検出手段と、
   前記物体検出手段による前記付着物の検出結果及び前記検出対象物の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   前記物体検出手段として、請求項１乃至７のいずれか１項に記載の物体検出装置を用いたことを特徴とする移動体機器制御システム。
9. 光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過性部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過性部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、
   前記対象物検出処理手段、前記付着物検出処理手段、及び、前記撮像手段の露光量を撮像フレーム単位で変更する露光量変更手段として、前記コンピュータを機能させるものであり、
   前記対象物検出処理手段は、露光量が異なる２以上の撮像フレーム中の撮像領域画像を用いて前記検出対象物の検出処理を行い、
   前記付着物検出処理手段は、前記２以上の撮像フレームの中で露光量が最も多い撮像フレームを除いた他の撮像フレーム中の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする物体検出用プログラム。
10. 光透過性部材の付着物観測部分を照明する照明光を照射する光照射手段と、受光素子が二次元配列された画像センサを備え、撮像領域から前記光透過性部材の外壁面へ入射して該光透過性部材を透過した透過光を該画像センサ上の第１受光領域で受光して撮像領域画像を撮像するとともに、前記光照射手段から照射されて前記光透過性部材上の付着物観測部分を経由した照明光を、該画像センサ上の第２受光領域で受光して付着物観測画像を撮像することにより、該撮像領域画像及び該付着物観測画像を含む撮像フレームを生成する撮像手段と、前記撮像手段が生成した撮像フレーム中の撮像領域画像に基づいて、前記撮像領域内の検出対象物の検出処理を行う対象物検出処理手段と、前記撮像手段が生成した撮像フレーム中の付着物観測画像に基づいて、前記光透過性部材上の付着物観測部分に付着する付着物の検出処理を行う付着物検出処理手段とを有する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、
    前記対象物検出処理手段、前記付着物検出処理手段、及び、前記撮像手段の露光条件を撮像フレーム単位で変更する露光条件変更手段として、前記コンピュータを機能させるものであり、
    前記対象物検出処理手段は、複数種類の検出対象物それぞれに対応する露光条件で撮像される各撮像フレーム群の撮像領域画像に基づいて、当該撮像フレーム群に対応する種類の検出対象物の検出処理を行うものであり、
    前記付着物検出処理手段は、前記撮像フレーム群の中で露光量が最も多い露光条件に対応する撮像フレーム群を除いた他の撮像フレーム群の付着物観測画像を用いて前記付着物の検出処理を行うことを特徴とする物体検出用プログラム。