JP4426535B2 - 車両の周辺監視装置 - Google Patents

Description

本発明は、車両に搭載された複数のカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する対象物を検出する車両の周辺監視装置に関する。

近年、車両に複数のＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、複数の撮像手段から得られる画像のずれ（視差）に基づいて、車両の周辺に存在する歩行者等の対象物と車両との距離を検出し、検出した結果に基づいて衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。

特許文献１の車両の周辺監視装置においては、２つの赤外線カメラで構成されたステレオカメラが車両に搭載され、ステレオカメラの右カメラから得られた画像（右画像）が基準画像とされる。前記車両の周辺監視装置は、この基準画像に対して、輝度が所定閾値以上の領域を「１」（白）、所定閾値未満の領域を「０」（黒）とする２値化処理を行い、２値化画像にラベリング処理等を施して、車両の周辺に存在する対象物を抽出する。そして、前記車両の周辺監視装置は、左カメラから得られた画像（左画像）中から、基準画像で抽出された各対象物に対応する対象物を探索し、基準画像中の対象物と左画像中の該対象物に対応する対象物との視差から、該対象物の車両に対する位置を検出する。

しかしながら、車両の周辺には、歩行者等の検出の目的である対象物（検出対象物）の他に、例えば建物や塀等のような、検出対象物以外のもの（背景対象物）が存在する場合がある。この場合に、車両に搭載された撮像手段から周辺を撮像すると、検出対象物と共に、これらの背景対象物が背景として撮像される。このため、撮像された画像に２値化処理を行い対象物を抽出した際には、検出対象物に相当する領域の他に、背景対象物に相当する領域も抽出される。

そして、特許文献１の車両の周辺監視装置において、例えば、右カメラから見て検出対象物と背景対象物とが直線上に位置する場合には、検出対象物と背景対象物とが基準画像上で重なった状態で抽出される。このため、検出対象物に相当する領域と背景対象物に相当する領域とを基準画像上で分離できず、対象物を適切に抽出することができないこととなる。よって、このような場合には、抽出された対象物に対応する対象物が探索できなかったり、視差が正しく得られなかったりして、対象物の車両に対する位置が適切に検出できないという不都合があった。
特開２００１−６０９６号公報

本発明は、かかる不都合を解消し、複数の撮像手段を介して取得される画像から車両周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減して、対象物を精度良く検出することができる車両の周辺監視装置を提供することを目的とする。

本発明は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
前記複数の撮像手段を介して取得された画像のうち所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
前記車両の走行環境を検出する走行環境検出手段と、
前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備え、
前記複数の撮像手段は、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する２つの撮像手段であり、
前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうち前記対象物がより多い範囲を検出し、
前記基準画像選択手段は、前記２つの撮像手段のうち前記走行環境検出手段により検出された前記対象物がより多い範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする。

本発明の車両の周辺監視装置において、前記対象物抽出手段は、車両に搭載された複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する。なお、この処理により抽出された対象物に基づいて、車両の周辺に存在する対象物が検出される。ここで、車両に搭載された複数の撮像手段を介して取得した画像には、歩行者等の検出対象物の他に、例えば道路周辺の建物や塀等の背景対象物が撮像される場合がある。この場合に、撮像された背景対象物は、画像に対して例えば２値化処理等の対象物を抽出する処理を実行した際に、検出対象物と共に抽出される。

このとき、画像上での検出対象物と背景対象物との位置関係は、実空間上での各撮像手段に対する検出対象物と背景対象物との位置関係に応じて定まる。特に、実空間で撮像手段と検出対象物と背景対象物とが直線上に位置する場合には、該撮像手段を介して取得された画像上で、検出対象物と背景対象物とが重なって撮像される。そして、画像上で検出対象物と背景対象物とが重なって撮像されていると、該画像に対して対象物を抽出する処理を実行した際に、検出対象物と背景対象物とを該画像上で分離し難くなる。

そこで、前記走行環境検出手段は、前記車両の走行環境を検出する。ここで、車両の走行環境とは、車両に搭載された撮像手段を介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。この検出された車両の走行環境により、車両周辺における背景対象物の分布が推測できるので、各撮像手段を介して取得された画像内で検出対象物と背景対象物とが重なる可能性が判る。よって、前記基準画像選択手段は、前記複数の撮像手段を介して取得された画像のうち検出対象物と背景対象物とが重なる可能性の低い画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。

このように、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段により、所定の基準画像に対して前記対象物を抽出する処理を実行する際に、検出対象物と背景対象物とが基準画像上で分離され、対象物の抽出精度が向上する。よって、本発明によれば、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。

さらに、前記本発明の第１態様の車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する位置検出手段を備えることが好ましい。

これによれば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する。具体的には、例えば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像のうちの、前記基準画像以外の画像（参照画像）上で、該基準画像から前記対象物抽出手段により抽出された対象物に対応する対象物を探索する。そして、前記位置検出手段は、前記基準画像内での前記対象物の位置と、前記参照画像内での該対象物の位置とのずれである視差を算出し、算出した視差に基づいて該対象物の前記車両に対する位置を検出する。このとき、本発明によれば、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上しており、前記位置検出手段により、対象物の位置を精度良く検出することができる。

また、前記本発明の第１態様の車両の周辺監視装置において、前記車両が存在する道路に、複数の車線が設けられている場合に、前記走行環境検出手段は、前記走行環境として、前記車両が存在する道路の路側を検出し、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することが好ましい。

これによれば、前記走行環境検出手段により、前記走行環境として、前記車両が存在する道路の路側が検出される。例えば、日本のように交通法規上で通行区分が左側通行であるときに、１方向に１車線ずつ設けられた２車線の道路の場合には、車両の右側が対向車線であり、車両の左側が道路の路側であるというような、路側の車両に対する位置関係が検出される。なお、道路の路側には、一般的に、歩行者が通行する歩道や路側帯等が設けられている。

このとき、画像上の路側が撮像されている領域には、路側周辺の建物や塀等の背景対象物が撮像される。よって、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合には、画像上の対向車線が撮像されている領域に、検出対象物が撮像されている場合よりも、検出対象物と背景対象物とが画像上で重なる可能性が高くなると考えられる。

そして、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、路側周辺の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物が、検出対象物の背景として重なって撮像される。このとき、路側に近い側に配置された撮像手段と検出対象物とを結ぶ直線の方が、路側に遠い側に配置された撮像手段と検出対象物とを結ぶ直線より、撮像手段の光軸との成す角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、路側周辺のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、さらに、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、路側から遠い撮像手段から撮像された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が高いと想定される。

そこで、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。

さらに、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第１態様の車両の周辺監視装置において、前記車両の乗員から道路の路側に関する情報が入力される入力手段を備え、前記走行環境検出手段は、前記入力手段に入力された道路の路側に関する情報に基づいて、前記車両が存在する道路の路側を検出することが好ましい。

これによれば、車両の乗員から、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が入力されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。

または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第１態様の車両の周辺監視装置において、前記車両は車両用ナビゲーション装置を備え、前記走行環境検出手段は、前記車両用ナビゲーション装置を介して取得した道路の路側に関する情報に基づいて、該車両が存在する道路の路側を検出することが好ましい。

これによれば、前記車両用ナビゲーション装置を介して、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が取得されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。

または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第１態様の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する相対速度算出手段を備え、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から前記車両に対向して走行する他車両（車両と逆向きに走行する他車両）を選定し、選定した該他車両の位置に基づいて、該車両が存在する道路の路側を検出することが好ましい。

これによれば、前記相対速度算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する。前記対象物を抽出する処理は、例えば２値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。

このとき、車両に対向して走行する他車両（対向車）は、一般的に、歩行者や道路周辺の静止物（建物や塀等）よりも、車両に接近する速度が大きい。よって、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から対向車を選定することができる。そして、選定された対向車の位置から対向車線の車両に対する位置関係が判るので、前記走行環境検出手段は、選定した対向車の位置に基づいて該対向車線の反対側である路側を検出することができる。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。

また、本発明の車両の周辺監視装置においては、複数の撮像手段が、車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する２つの撮像手段である場合に、走行環境検出手段は、車両の走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物がより多い範囲を検出し、基準画像選択手段は、前記２つの撮像手段のうち前記走行環境検出手段により検出された前記対象物がより多い範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。

これによれば、前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうち前記対象物がより多い範囲を検出する。このとき、画像上の前記対象物がより多い範囲が撮像されている領域に検出対象物が撮像されている場合には、検出対象物と背景対象物とが画像上で重なる可能性が低くなる。

そして、画像上の前記範囲が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、前記範囲内の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物（背景対象物）が、検出対象物の背景として重なって撮像される。このとき、前記範囲の側に配置された撮像手段と検出対象物とを結ぶ直線の方が、該範囲の反対側に配置された撮像手段と検出対象物とを結ぶ直線よりも、撮像手段の光軸となす角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、前記範囲内のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、前記範囲の側に配置された撮像手段を介して取得された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が低いと想定される。

そこで、前記基準画像選択手段は、前記２つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。

なお、例えば、前記車両が存在する道路に複数の車線が設けられている場合に、前記車両の前方の左側及び右側の範囲のうち前記対象物がより多い範囲は、道路周辺の建物や塀等が含まれる、道路の路側が位置する側の範囲であり、前記対象物が少ない範囲は、そのほとんどが路面で占められる対向車線が位置する側の範囲であると考えられる。よって、この場合には、前記２つの撮像手段のうち前記走行環境検出手段により検出された前記範囲の側の撮像手段は、より路側に近い撮像手段となる。

さらに、本発明の車両の周辺監視装置において、前記２つの撮像手段のうちの少なくとも１つの撮像手段を介して取得した画像に２値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することが好ましい。

これによれば、前記領域抽出手段は、前記２つの撮像手段のうちの少なくとも１つの撮像手段を介して取得した画像に２値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する。ここで、前記抽出される領域は、前記対象物に相当する領域である。前記対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。

このとき、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定する。この決定された領域は、画像上で前記対象物がより多い領域であるので、この領域に対応する車両前方の範囲は、前記対象物がより多い範囲であると考えられる。よって、前記走行環境検出手段により、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出し、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。

または、本発明の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する距離算出手段を備え、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することが好ましい。

これによれば、前記距離算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する。前記対象物を抽出する処理は、例えば２値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。

このとき、車両前方の所定距離内に含まれる前記抽出された対象物が多い場合には、検出対象物と重なって撮像される可能性の高い背景対象物が多いと想定される。そこで、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出する。そして、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。

一方、車両が走行される国の交通法規上の通行区分により、路側の車両に対する位置関係は予め判るので、道路の路側に最も近い撮像手段を、所定の撮像手段として予め設定することが可能である。そこで、本発明の第２態様の車両の周辺監視装置は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、前記複数の撮像手段のうちの、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する基準画像選択手段とを備えることを特徴とする。

これによれば、前記基準画像選択手段により、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、本発明の第１態様の車両の周辺監視装置と同様に、基準画像上で検出対象物と背景対象物とが重なる可能性が低減される。よって、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上されるので、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。

本発明の一実施形態を添付の図面を参照して説明する。まず、本発明の第１実施形態を図１〜図１１を参照して説明する。図１は、本発明の第１実施形態による車両の周辺監視装置の機能ブロック図であり、図２は、車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図であり、図３は、図１の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャートである。また、図４〜図６は、図３の対象物検出・警報動作における処理画像の例示図であり、図７〜８は、図３の対象物検出・警報動作における対応画像を探索する処理に関する説明図であり、図９は、図３の対象物検出・警報動作における視差を算出する処理に関する説明図である。また、図１０〜図１１は、図３の対象物検出・警報動作における基準画像を選択する処理に関する説明図である。なお、本実施形態は、本発明の第１態様の車両の周辺監視装置に相当する。

図１，２を参照して、本実施形態の車両の周辺監視装置は、該周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、車両１０に搭載された、２つの赤外線カメラ２Ｒ，２Ｌと、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキの操作を検出するためのブレーキセンサ５とが接続されている。

また、画像処理ユニット１には、周辺監視装置に備えられた、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための画像表示装置７とが接続されている。画像表示装置７には、例えば、車両１０の走行状態を数字で表すメータと一体化されたメータ一体ディスプレイや、車両１０のコンソールに設置されるナビゲーション用ディスプレイや、車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（ヘッドアップディスプレイ、Head Up Display）７ａ等が含まれる。

また、画像処理ユニット１には、周辺監視装置に備えられた、車両１０の乗員から道路の路側に関する情報が入力される入力手段（図示せず）が接続されている。入力手段に入力される道路の路側に関する情報は、例えば、車両１０の存在する道路での通行区分が左側通行であるというような情報である。

画像処理ユニット１は、詳細の図示は省略するが、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラム、テーブル、マップ等を記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号等を出力する出力回路とを備えている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の複数の（本実施形態においては２つの）撮像手段に相当する。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部の右側及び左側に、車両１０の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ２Ｒ，２Ｌは、２つの２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように車両１０に固定されている。また、ＨＵＤ７ａは、車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

さらに、画像処理ユニット１は、その機能として、取得された画像のうちの所定の基準画像に対して対象物を抽出する処理を実行する対象物抽出手段と、抽出された対象物の車両１０に対する位置を検出する位置検出手段と、車両１０の走行環境を検出する走行環境検出手段と、検出された走行環境に応じて該基準画像を選択する基準画像選択手段とを備えている。

対象物抽出手段は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理を実行する。そして、位置検出手段は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて、対象物の車両１０に対する位置を検出する。なお、対象物を抽出して位置を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。

走行環境検出手段は、車両１０の乗員から入力手段に入力された道路の路側に関する情報に基づいて、車両１０の走行環境として、車両１０が存在する道路の路側を検出する。なお、ここで、車両の走行環境とは、車両１０に搭載された赤外線カメラ２Ｒ，２Ｌを介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。また、本実施形態の説明では、車両１０が存在する道路には、複数の車線が設けられているものとする。

基準画像選択手段は、走行環境検出手段により検出された走行環境に応じて、赤外線カメラ２Ｒ，２Ｌを介して取得された画像（グレースケール画像）のうちから、対象物抽出手段の処理に使用する基準画像を新たに選択する。このとき、基準画像選択手段は、赤外線カメラ２Ｒ，２Ｌのうちの、走行環境検出手段により検出された道路の路側に最も近い赤外線カメラを介して取得された画像を、基準画像として選択する。

なお、本実施形態において、検出対象物（検出の目的である対象物）は、例えば、歩行者、大型動物、他車両等の、車両１０の周辺に存在する動く物体である。また、背景対象物（検出対象物以外のもの）は、例えば、道路の路側の脇に存在する建物、塀、電柱等の、車両１０から検出対象物を撮像した際に、検出対象物の背景として重なって撮像される可能性を有するような、車両１０の走行する道路の周辺の静止物である。

次に、本実施形態の車両の周辺監視装置の全体的な作動（対象物検出・警報動作）を、図３に示したフローチャートに従って説明する。図３を参照して、まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。

ここで、図４（ａ），（ｂ）は、それぞれ、赤外線カメラ２Ｒ，２Ｌによって得られる右画像と左画像とを模式的に説明するための図である。図４（ａ），（ｂ）において、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。このように、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

次に、右画像と左画像とのうちから、基準画像を選択する処理が行われる（ＳＴＥＰ００４）。なお、この処理の詳細については後述する。

次に、基準画像に対して、その画像信号を２値化する処理が行われる（ＳＴＥＰ００５）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。図５に、図４（ａ）の画像を２値化した画像を示す。図５において、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。

次に、２値化した画像データをランレングスデータに変換する処理が行われる（ＳＴＥＰ００６）。ランレングスデータにより表されるラインは、２値化により白となった高輝度領域を１次元の連結画素で示したもので、いずれもｙ方向（縦方向）には１画素の幅を有しており、またｘ方向（横方向）にはそれぞれランレングスデータを構成する画素の長さを有している。

次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ＳＴＥＰ００７）ことにより、対象物を抽出する処理が行われる（ＳＴＥＰ００８）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、画像内の連結した領域が対象物として把握される。例えば、図４（ａ）に示す高輝度領域が、図６に示すように、それぞれ枠Ｐ１，Ｐ２で囲われた対象物（２値化対象物）Ｔ１，Ｔ２として把握される。

次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴが算出される（ＳＴＥＰ００９）。ここで、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）とすると（ただし、ｉ＝０，１，２，．．．，Ｎ−１）、対象物Ａの面積Ｓは、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの中心の座標ｘ［ｉ］又はｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物（Ｎ個のランレングスデータ）について積算したものを、面積Ｓで割ることにより算出する。また、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの座標は、対象物の外接四角形の重心の座標で代用してもよい。

次に、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物を認識する処理が行われる（ＳＴＥＰ０１０）。時刻間追跡では、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ，Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ，Ｄと対象物Ａ，Ｂとの同一性判定を行う。同一性判定は、対象物の重心Ｇ、面積Ｓ、縦横比ＡＳＰＥＣＴ等に基づいて行われる。そして、対象物Ａ，Ｂと対象物Ｃ，Ｄとがそれぞれ同一であると判定されたら、対象物Ｃ，Ｄをそれぞれ対象物Ａ，Ｂというラベルに変更することにより、時刻間追跡が行われる（同一対象物が認識される）。また、認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。

なお、以上説明したＳＴＥＰ００５〜０１０の処理は、２値化した基準画像について実行される。

次に、車速センサ４により検出される車速ＶＣＡＲと、ヨーレートセンサ３により検出されるヨーレートＹＲとを読み込み、ヨーレートＹＲを時間積分することにより、車両１０の回頭角θｒが算出される（ＳＴＥＰ０１１）。

一方、ＳＴＥＰ０１０，０１１の処理に平行して、ＳＴＥＰ０１２〜０１５では、対象物と車両１０との距離ｚを算出する処理が行われる。この演算はＳＴＥＰ０１０，０１１より長い時間を要するため、ＳＴＥＰ０１０，０１１より長い周期（例えばＳＴＥＰ００１〜０１１の実行周期の３倍程度の周期）で実行される。

まず、基準画像の２値化画像によって追跡される対象物の中の１つを選択することにより、基準画像から図７（ａ）に示すように探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１２）。

次に、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１３）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に図７（ｂ）に示すように探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。

ここで、ＩＲ（ｍ，ｎ）は、図８に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、図８に示す探索領域Ｒ２内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。

なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また、同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図７（ｂ）に破線で示す）を探索領域として設定する。ＳＴＥＰ０１２〜０１３の処理により、図９（ａ）に示すような基準画像中の探索画像Ｒ１と、図９（ｂ）に示すような参照画像中での対応画像Ｒ４とが抽出される。

次に、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）が算出される（ＳＴＥＰ０１４）。具体的には、図９（ａ）に示すように、探索画像Ｒ１の重心位置と画像中心線ＬＣＴＲとの距離ｄＲ（画素数）が算出される。また、図９（ｂ）に示すように、対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）が算出される。そして、視差Δｄが、Δｄ＝ｄＬ＋ｄＲより算出される。

次に、算出した視差Δｄを下記式（２）に適用して、車両１０と対象物との距離ｚが算出される（ＳＴＥＰ０１５）。

ここで、Ｂは基線長、すなわち赤外線カメラ２Ｒの撮像素子の中心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との水平方向（Ｘ方向）の距離（両カメラの光軸の間隔）、ｆは赤外線カメラ２Ｒ，２Ｌのレンズの焦点距離、ｐは赤外線カメラ２Ｒ，２Ｌの撮像素子内の画素間隔である。

次に、ＳＴＥＰ０１１における回頭角θｒの算出と、ＳＴＥＰ０１５における対象物と車両１０との距離ｚの算出とが完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ＳＴＥＰ０１６）。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置（車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像中心を原点として水平方向をｘ、垂直方向をｙと定めている。

次に、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正がを行われる（ＳＴＥＰ０１７）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。

次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と車両１０との相対移動ベクトルに対応する近似値ＬＭＶを求める（ＳＴＥＰ０１８）。そして、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の一座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））とを近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））、及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。

次に、検出した対象物との衝突の可能性を判定する警報判定処理が行われる（ＳＴＥＰ０１９）。警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、及び進入衝突判定処理により、車両１０と検出した対象物との衝突の可能性を判定する処理である。なお、接近判定領域内か否かの判定処理は、衝突判定処理において、車両１０と検出した対象物との衝突の可能性があると判定された場合に実行される。さらに、進入衝突判定処理は、接近判定領域内か否かの判定処理において、車両１０と検出した対象物との衝突の可能性がないと判定された場合に実行される。

まず、衝突判定処理は、対象物と車両１０とのＺ方向の相対速度Ｖｓを求め、両者が相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。

また、接近判定領域内か否かの判定処理は、赤外線カメラ２Ｒ，２Ｌで監視可能な領域ＡＲ０内の、対象物が車両１０の車幅αの両側に余裕βを加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ車両１０との衝突の可能性が極めて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。

さらに、進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２，ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に車両１０と衝突するか否かを判定する処理である。

ＳＴＥＰ０１９で車両１０と検出した対象物との衝突の可能性が判定された場合（ＳＴＥＰ０１９の判定結果がＮＯ）には、警報判定処理を終了し、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１９で車両１０と検出した対象物との衝突の可能性があると判定された場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、ＳＴＥＰ０２０の警報出力判定処理へ進む。

ＳＴＥＰ０２０では、ブレーキセンサ５の出力ＢＲから車両１０の運転者がブレーキ操作を行っているかを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う。ＳＴＥＰ０２０で、車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値Ｇthより大きいときには、ブレーキ操作により衝突が回避されると判定し、警報出力判定処理を終了し（ＳＴＥＰ０２０の判定結果がＮＯ）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。なお、所定閾値Ｇthは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と車両１０との距離Ｚｖ（０）以下の走行距離で車両１０が停止する条件に対応する値である。

一方、車両１０の運転者がブレーキ操作を行っている場合において加速度Ｇｓが所定閾値Ｇth以下であるとき、又は、車両１０の運転者がブレーキ操作を行っていない場合には、ＳＴＥＰ０２０の判定結果はＹＥＳとなる。この場合は、対象物と接触する可能性が高いので、ＳＴＥＰ０２１へ進み、スピーカ３を介して音声による警報を発する。そして、ＳＴＥＰ０２２へ進み、画像表示装置７に対して、例えば赤外線カメラ２Ｌにより得られる画像を出力し、接近してくる対象物を強調して車両１０の運転者に表示する。

なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、本発明の走行環境検出手段と、基準画像選択手段と、対象物抽出手段と、位置検出手段とを含んでいる。より具体的には、図３のＳＴＥＰ００４が走行環境検出手段、基準画像選択手段に相当し、図３のＳＴＥＰ００５〜ＳＴＥＰ００８が対象物抽出手段に相当し、図３のＳＴＥＰ００９〜ＳＴＥＰ０１７が位置検出手段に相当する。

以上が、本実施形態の車両の周辺監視装置の画像処理ユニット１における対象物検出・警報動作である。これにより、車両１０の周辺の赤外線画像と、車両１０の走行状態を示す信号とから、車両１０の前方の歩行者や動物等の対象物が検出され、衝突の可能性が高いと判断したときに警報が発せられる。

次に、図３に示したフローチャートのＳＴＥＰ００４における基準画像を選択する処理について詳細に説明する。

まず、画像処理ユニット１の走行環境検出手段により、車両１０の乗員から入力手段に入力された路側に関する情報が読み込まれる。これにより、例えば、車両１０の存在する道路での通行区分が左側通行であるというような情報が読み込まれる。次に、走行環境検出手段は、走行環境として、路側の車両１０に対する位置関係を検出する。例えば、車両１０の走行している道路での通行区分は左側通行である場合には、車両１０の左側が路側であると検出される。この走行環境により、車両１０の周辺での背景対象物の分布が推測される。

次に、画像処理ユニット１の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、路側が車両１０の左側であるので、赤外線カメラ２Ｒ，２Ｌのうち、路側に最も近い赤外線カメラは、車両１０の左側に配置された赤外線カメラ２Ｌである。よって、赤外線カメラ２Ｌを介して取得された左画像が、基準画像として選択される。

ここで、基準画像を選択する処理について、図１０を参照して説明する。図１０には、車両１０とその周辺の道路を、車両１０の上方側から見た図が模式的に示されている。図１０を参照して、車両１０は、車線Ａ０を矢示方向に走行している。車両１０の右側のセンターラインＣＬを越えた領域が対向車線Ａ１であり、車両１０の左側の領域が路側Ａ２である。車両１０の前部に、赤外線カメラ２Ｒ，２Ｌが配置されている。車両１０の前方に検出対象物Ｔ０が所在し、路側Ａ２には、背景対象物Ｂ１，Ｂ２が所在する。

図１０では、実空間座標は図２と同様にとり、検出対象物Ｔ０の赤外線カメラ２ＲからのＸ軸方向及びＺ軸方向の距離は（Ｘ０，Ｚ０）である。背景対象物Ｂ１の赤外線カメラ２ＲからのＸ軸方向及びＺ軸方向の距離は（Ｘ１，Ｚ１）、背景対象物Ｂ２の赤外線カメラ２ＲからのＸ軸方向及びＺ軸方向の距離は（Ｘ２＝Ｘ１，Ｚ２）である。Ｂは基線長、すなわち赤外線カメラ２Ｒの撮像素子の中心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との水平方向（Ｘ方向）の距離（両カメラの光軸の間隔）である。また、図１０の例において、Ｘ１＞Ｘ０＞Ｂとなっている。

図１０において、赤外線カメラ２Ｒから検出対象物Ｔ０を撮像すると、路側Ａ２上の赤外線カメラ２Ｒと検出対象物Ｔ０とを結ぶ直線の延長にある背景対象物Ｂ１が、その撮像した画像（右画像）内で、検出対象物Ｔ０の背景として撮像される。このとき、検出対象物Ｔ０と背景対象物Ｂ１とが重なる条件は、Ｘ０：Ｘ１＝Ｚ０：Ｚ１である。また、赤外線カメラ２Ｌから検出対象物Ｔ０を撮像すると、路側Ａ２上の赤外線カメラ２Ｌと検出対象物Ｔ０とを結ぶ直線の延長上にある背景対象物Ｂ２が、その撮像した画像（左画像）内で、検出対象物Ｔ０の背景として撮像される。このとき、検出対象物Ｔ０と背景対象物Ｂ２とが重なる条件は、Ｘ０−Ｂ：Ｘ１−Ｂ＝Ｚ０：Ｚ２である。

このとき、赤外線カメラ２Ｌ及び検出対象物Ｔ０を結ぶ直線とＺ軸との成す角θＬの方が、赤外線カメラ２Ｒ及び検出対象物Ｔ０を結ぶ直線とＺ軸との成す角θＲより小さいので、図１０に示すように、背景対象物Ｂ２の方が、常に背景対象物Ｂ１よりも遠方に存在する。すなわちＺ２−Ｚ１＞０が常に成立する。そして、遠方に位置する背景対象物Ｂ２は画像内で小さく撮像されると共に、物体からの赤外線放射は距離に応じて減衰するため、遠方に位置する背景対象物Ｂ２は画像上で撮像され難い。このため、近傍に位置する背景対象物Ｂ１の方が、画像上で検出対象物Ｔ０と重なって撮像される可能性が高くなる。よって、路側から近い赤外線カメラ２Ｌから得られた左画像を基準画像として選択することで、基準画像上で検出対象物Ｔ０が背景対象物と重なる可能性を低くすることができる。

そして、このように基準画像を選択することで、ＳＴＥＰ００５〜００８で基準画像から対象物を抽出した際に、対象物の検出精度を向上することができる。例えば、図１０で示したように、車両１０の前方に検出対象物Ｔ０が所在し、路側Ａ２には背景対象物Ｂ１，Ｂ２が所在している場合に、赤外線カメラ２Ｒ，２Ｌにより撮像した画像を２値化処理（ＳＴＥＰ００５）して得られた画像を、図１１（ａ）（ｂ）に示す。なお、図１１（ａ）に、赤外線カメラ２Ｌから得られた左画像を２値化した画像を例示し、図１１（ｂ）に、赤外線カメラ２Ｒから得られた右画像を２値化した画像を例示する。

図１１（ａ）（ｂ）に例示した画像上には、それぞれ、検出対象物Ｔ０（歩行者）と背景対象物Ｂ１（電柱）とが高輝度領域として抽出されている。一方、背景対象物Ｂ２は、遠方に所在するので検出対象物Ｔ０、背景対象物Ｂ１より輝度が低いため、２値化処理の際に高輝度領域として抽出されていない。このとき、図１１（ｂ）においては、検出対象物Ｔ０と背景対象物Ｂ１とが重なっており、検出対象物Ｔ０を分離して抽出できていないが、図１１（ａ）においては、検出対象物Ｔ０が独立して抽出できている。よって、図１１（ａ）から対象物を抽出する（ＳＴＥＰ００６〜００８）ことで、検出対象物Ｔ０が精度良く抽出される。

以上の処理により、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から車両１０周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。

なお、本実施形態では、入力手段を備え、走行環境検出手段は、入力手段に入力された情報に基づいて走行環境を検出し、基準画像選択手段は、走行環境検出手段により検出された走行環境に基づいて基準画像を選択するものとしている。一方、車両１０が走行される国の交通法規上の通行区分により、路側の車両１０に対する位置関係は予め判るので、道路の路側に最も近い赤外線カメラを、所定の赤外線カメラとして予め設定することが可能である。そこで、他の実施形態として、入力手段を備えず、基準画像選択手段は、車両１０が存在する道路の路側に最も近い所定の赤外線カメラを介して取得された画像を基準画像として選択するものとしてもよい（本発明の第２態様の車両の周辺監視装置に相当する）。

また、本実施形態では、画像処理ユニット１の機能として、位置検出手段を備え、対象物抽出手段により抽出された対象物に基づいて、車両１０の周辺の対象物の位置が検出され、衝突の可能性が高いと判断したときに警報が発せられるものとしたが、他の実施形態として、位置検出手段を備えず、例えば、画像表示装置７に対して基準画像を出力し、抽出された対象物を強調して車両１０の運転者に表示するようにしてもよい。このような場合でも、対象物の抽出精度が向上しているので、車両１０の周辺の歩行者等の対象物が適切に強調表示されて運転者に認識される。

次に、本発明の第２実施形態を説明する。なお、本実施形態は、第１実施形態において、入力手段を備えず、車両１０にナビゲーション装置が搭載されているものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

本実施形態では、画像処理ユニット１に、車両１０に搭載されたナビゲーション装置が接続されている。そして、画像処理ユニット１の機能である走行環境検出手段は、ナビゲーション装置を介して取得された道路の路側に関する情報に基づいて、走行環境として、車両１０が存在する道路の路側を検出する。ナビゲーション装置を介して取得される道路の路側に関する情報は、例えば、車両１０の存在する道路での通行区分が左側通行であるというような情報である。なお、第１実施形態と同様に、車両１０が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第１実施形態と同じである。

次に、本実施形態の車両の周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における対象物検出処理・警報作動は、第１実施形態と、基準画像を選択する処理（図３のＳＴＥＰ００４）における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図２と同じであるので、以下の説明では、図２に示したフローチャートを参照して説明する。

図３を参照して、本実施形態のＳＴＥＰ００４では、まず、画像処理ユニット１の走行環境検出手段により、ナビゲーション装置を介して路側に関する情報が取得される。これにより、例えば、車両１０の存在する道路での通行区分が左側通行であるというような情報が取得される。次に、走行環境検出手段は、走行環境として、路側の車両１０に対する位置関係を検出する。例えば、車両１０の存在する道路での通行区分が左側通行である場合には、車両１０の左側が路側であると検出される。この走行環境により、車両１０の周辺での背景対象物の分布が推測される。以上説明した以外の作動は、第1実施形態と同じである。

本実施形態によれば、第１実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から車両１０周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。

次に、本発明の第３実施形態を説明する。なお、本実施形態は、第１実施形態において、入力手段を備えず、画像処理ユニット１の機能として相対速度算出手段が備えられているものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

本実施形態の車両の周辺監視装置において、画像処理ユニット１は、その機能として、対象物抽出手段により抽出された対象物の、車両１０に対する相対速度を算出する相対速度算出手段を備えている。なお、相対速度算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両１０に対する相対速度を算出する。

そして、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物から車両１０に対向して走行する他車両を選定し、選定した該他車両の位置に基づいて、車両１０が存在する道路の路側を検出する。なお、第１実施形態と同様に、車両１０が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第１実施形態と同じである。

次に、本実施形態の車両の周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における周辺監視処理は、第１実施形態と、走行環境を検出する処理（図３のＳＴＥＰ００４）における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図２と同じであるので、以下の説明では、図２に示したフローチャートを参照して説明する。

図３を参照して、本実施形態のＳＴＥＰ００４では、まず、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、ＳＴＥＰ００５〜００８の処理と同様の処理が施され、対象物が抽出される。この処理は、ＳＴＥＰ００５〜００８の処理と同様に、本発明の対象物抽出手段に相当する。なお、ＳＴＥＰ００４での所定の基準画像としては、例えば、予め定められた赤外線カメラ（例えば赤外線カメラ２Ｒ）から得られた画像（右画像）を用いる。または、ＳＴＥＰ００４での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。

次に、相対速度算出手段により、抽出された対象物の車両１０からの相対速度が算出される。具体的には、抽出された対象物について、ＳＴＥＰ００９〜０１７の処理と同様の処理が施され、対象物の位置（実空間位置データ）が検出される。この処理は、ＳＴＥＰ００９〜０１７の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両１０からの距離が算出され、サンプリング周期毎に算出された距離から、抽出された対象物の車両１０に対する相対速度が算出される。

次に、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物のうちから、車両１０に対向して走行する他車両（対向車）を選定する。具体的には、相対速度が車両１０に接近する向きの速度で、且つその大きさが所定値以上の対象物を、対向車として選定する。そして、走行環境検出手段は、選定した対向車の位置に基づいて、走行環境として、路側の車両１０に対する位置関係を検出する。例えば、選定した対向車が車両１０の右側を走行している場合には、その反対側の、車両１０の左側が路側であると検出される。この走行環境により、車両１０の周辺での背景対象物の分布が推測される。

そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理（ＳＴＥＰ００５〜００８の処理）で使用する基準画像が新たに選択される。なお、本実施形態では、ＳＴＥＰ００４において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、ＳＴＥＰ００５〜０１７の処理を省略し、ＳＴＥＰ００４で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置（実空間位置データ）を用いて、ＳＴＥＰ０１８以降の処理を行うことができる。以上説明した以外の作動は、第１実施形態と同じである。

本実施形態によれば、第１実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から車両１０周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。

なお、本実施形態において、相対速度算出手段は、対象物の車両１０に対する相対速度を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、相対速度算出手段は、対象物の車両１０に対する相対速度を、位置検出手段による検出結果を用いずに、赤外線カメラ２Ｒ，２Ｌを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、相対速度算出手段は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両１０に対する相対速度を算出するものとしてもよい。

次に、本発明の第４実施形態を、図１２を参照して説明する。図１２は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第１実施形態において、入力手段を備えず、画像処理ユニット１の機能として領域抽出手段が備えられているものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

本実施形態の車両の周辺監視装置において、画像処理ユニット１は、その機能として、２つの赤外線カメラ２Ｒ，２Ｌのうちの少なくとも１つの赤外線カメラを介して取得した画像に２値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備えている。

そして、走行環境検出手段は、走行環境として、車両１０の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、領域抽出手段により２値化処理を施された画像内の左側及び右側の領域のうちの、領域抽出手段により抽出された領域がより多く含まれる領域を決定する。そして、走行環境検出手段は、車両１０の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、前記範囲として検出する。なお、本実施形態では、車両１０が存在する道路は、車線が一つでもよい。

また、基準画像選択手段は、２つの赤外線カメラ２Ｒ，２Ｌのうちの、走行環境検出手段により検出された範囲の側の赤外線カメラを介して取得した画像を、対象物抽出手段の処理で使用する基準画像として新たに選択する。以上説明した以外の構成は、第１実施形態と同じである。

次に、本実施形態の車両の周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における周辺監視処理は、第１実施形態と、基準画像を選択する処理（図３のＳＴＥＰ００４）のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図２と同じであるので、以下の説明では、図２に示したフローチャートを参照して説明する。

図３を参照して、本実施形態のＳＴＥＰ００４では、まず、画像処理ユニット１の領域抽出手段により、予め定められた赤外線カメラ（例えば赤外線カメラ２Ｒ）を介して取得した画像（右画像）に２値化処理を施して、該画像内の画素データが所定閾値以上である領域が抽出される。具体的には、右画像に対して、ＳＴＥＰ００５と同様に２値化処理が施される。なお、このとき、ＳＴＥＰ００６〜００７と同様にランレングスデータ化してラベリングし、面積が所定値以上の領域のみを抽出するような、ノイズ除去処理を行ってもよい。

次に、走行環境検出手段により、走行環境として、車両１０の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両１０の周辺での背景対象物の分布が推測される。

ここで、走行環境を検出する処理について、図１２を参照して説明する。図１２には、右画像に対して２値化処理を施して領域を抽出した画像が例示されている。なお、図１２に示した画像には、上述したようなノイズ除去処理が施されている。走行環境検出手段は、この画像に、右側の領域ＡＲと左側の領域ＡＬを設定する。そして、各領域について、図中の白で示された高輝度領域の面積の総和を算出し、算出された値が大きい方の領域を決定する。さらに、走行環境検出手段は、車両１０の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、対象物がより多い範囲として検出する。図１２の例では、画像内の左側の領域ＡＬが決定され、車両１０の前方の左側の範囲が、対象物がより多い範囲として検出される。これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が背景対象物が多いと想定されるので、路側の存在する側の範囲が検出される。なお、例えば、車両１０が走行する道路が１車線の山道の場合には、車両１０の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、山側の範囲が検出される。次に、画像処理ユニット１の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、検出された範囲が車両１０の前方の左側の範囲であるので、赤外線カメラ２Ｒ，２Ｌのうち、車両１０の左側に配置された赤外線カメラ２Ｌを介して取得された左画像が、基準画像として選択される。

これにより、第１実施形態で図１０を用いて説明した例と同様に、路側のような背景対象物がより多い側に対して、路側に近い側の赤外線カメラを介して取得された画像を基準画像として選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性を低くすることができる。そして、このように基準画像を選択することで、第１実施形態で図１１を用いて説明した例と同様に、ＳＴＥＰ００５〜００８で基準画像から対象物を抽出した際に、対象物の抽出精度を向上することができる。以上説明した以外の作動は、第1実施形態と同じである。

本実施形態によれば、第１実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から車両１０周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。

次に、本発明の第５実施形態を、図１３を参照して説明する。図１３は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第４実施形態において、領域抽出手段の代わりに、距離算出手段を備えるものである。以下の説明では、第４実施形態と同一の構成については、第４実施形態と同一の参照符号を用いて説明を省略する。

本実施形態の車両の周辺監視装置において、画像処理ユニット１は、その機能として、対象物抽出手段により抽出された対象物の、車両１０に対する距離を算出する距離算出手段を備えている。なお、距離算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両１０に対する距離を算出する。

そして、走行環境検出手段は、走行環境として、車両１０の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、車両１０の前方の左側及び右側の範囲のうちの、車両１０から所定距離内の抽出された対象物がより多く含まれる範囲を、前記範囲として検出する。なお、本実施形態では、第４実施形態と同様に、車両１０が存在する道路は、車線が一つでもよい。以上説明した以外の構成は、第４実施形態と同じである。

次に、本実施形態の車両の周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における周辺監視処理は、第４実施形態と、基準画像を選択する処理（図３のＳＴＥＰ００４）における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図２と同じであるので、以下の説明では、図２に示したフローチャートを参照して説明する。

図３を参照して、本実施形態のＳＴＥＰ００４では、まず、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、ＳＴＥＰ００５〜００８の処理と同様の処理が施され、対象物が抽出される。この処理は、ＳＴＥＰ００５〜００８の処理と同様に、本発明の対象物抽出手段に相当する。なお、ＳＴＥＰ００４での所定の基準画像としては、例えば、予め定められた赤外線カメラ（例えば赤外線カメラ２Ｒ）から得られた画像（右画像）を用いる。または、ＳＴＥＰ００４での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。

次に、距離算出手段により、抽出された対象物の車両１０からの距離が算出される。具体的には、抽出された対象物について、ＳＴＥＰ００９〜０１７の処理と同様の処理が施され、対象物の位置（実空間位置データ）が検出される。この処理は、ＳＴＥＰ００９〜０１７の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両１０からの距離が算出される。

次に、走行環境検出手段により、走行環境として、車両１０の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両１０の周辺での背景対象物の分布が推測される。

そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理（ＳＴＥＰ００５〜００８の処理）で使用する基準画像が新たに選択される。なお、本実施形態では、ＳＴＥＰ００４において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、ＳＴＥＰ００５〜０１７の処理を省略し、ＳＴＥＰ００４で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置（実空間位置データ）を用いて、ＳＴＥＰ０１８以降の処理を行うことができる。

ここで、走行環境を検出する処理について、図１３を参照して説明する。図１３には、右画像から暫定的に抽出された対象物Ｂ３〜Ｂ９の車両１０に対する位置が、車両１０の上方から見た図に示されている。車両１０の左側のラインＬ２を越えた部分には、道路脇の背景対象物Ｂ３〜Ｂ６が位置し、車両１０の右側のラインＬ３を越えた部分には、道路脇の背景対象物Ｂ７〜Ｂ８が位置する。

走行環境検出手段は、車両１０の前方の左側の範囲のうちの車両１０から所定距離内の範囲（実線αＬで囲まれる範囲ＡＬ）と、車両１０の前方の右側の範囲のうちの車両１０から所定距離内の範囲（実線αＲで囲まれる範囲ＡＲ）とを設定する。なお、範囲ＡＬ，ＡＲとしては、車両１０の前方の左側及び右側の範囲のうちの車両１０から所定距離内の範囲のうち、さらに所定の部分範囲を設定してもよい。

そして、走行環境検出手段は、範囲ＡＬと範囲ＡＲとのうちのどちらに背景対象物が多く含まれるかを検出する。図１３の例においては、範囲ＡＬの方が範囲ＡＲより背景対象物が多く含まれるので、走行環境検出手段は、走行環境として、車両１０の前方の左側の範囲が、対象物がより多い範囲であると検出する。

これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が対向車線方向よりも背景対象物が多いと想定されるので、第４実施形態と同様に、路側の存在する側の範囲が検出される。なお、例えば、車両１０が走行する道路が１車線の山道の場合には、車両１０の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、第４実施形態と同様に、山側の範囲が検出される。以上説明した以外の作動は、第４実施形態と同じである。

本実施形態によれば、第４実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から車両１０周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。

なお、本実施形態において、距離算出手段は、対象物の車両１０に対する距離を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、距離算出手段は、対象物の車両１０に対する距離を、位置検出手段による検出結果を用いずに、赤外線カメラ２Ｒ，２Ｌを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、距離算出手段は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両１０に対する距離を算出するものとしてもよい。

また、上述の第１〜第５実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。

本発明の第１実施形態による車両の周辺監視装置の機能ブロック図。 図１の車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図。 図１の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャート。 図３の対象物検出・警報動作における取得画像の例示図。 図３の対象物検出・警報動作における２値化画像の例示図。 図３の対象物検出・警報動作における対象物抽出画像の例示図。 図３の対象物検出・警報動作における対応画像を探索する処理に関する説明図。 図３の対象物検出・警報動作における対応画像を探索する処理に関する説明図。 図３の対象物検出・警報動作における視差を算出する処理に関する説明図。 図３の対象物検出・警報動作における基準画像を選択する処理に関する説明図。 図３の対象物検出・警報動作における基準画像を選択する処理に関する説明図。 本発明の第４実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。 本発明の第５実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。

符号の説明

１…画像処理ユニット（走行環境検出手段、基準画像選択手段、対象物抽出手段、位置検出手段、相対速度算出手段、領域抽出手段、距離算出手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両。

Claims (3)

1. 車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
   前記複数の撮像手段を介して取得された画像のうち所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
   前記車両の走行環境を検出する走行環境検出手段と、
   前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備え、
   前記複数の撮像手段は、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する２つの撮像手段であり、
   前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうち前記対象物がより多い範囲を検出し、
   前記基準画像選択手段は、前記２つの撮像手段のうち前記走行環境検出手段により検出された前記対象物がより多い範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする車両の周辺監視装置。
2. 前記２つの撮像手段のうち少なくとも１つの撮像手段を介して取得した画像に２値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、
   前記走行環境検出手段は、前記画像内の左側及び右側の領域のうち前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうち前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することを特徴とする請求項１記載の車両の周辺監視装置。
3. 前記対象物抽出手段により抽出された対象物の前記車両に対する距離を算出する距離算出手段を備え、
   前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうち、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することを特徴とする請求項１記載の車両の周辺監視装置。

Images