WO2007015446A1 - 車両周囲監視装置及び車両周囲監視方法 - Google Patents

Abstract

  自車両に設置され、自車両周囲の映像を撮像する少なくとも１台のカメラ２と、カメラ２の撮像範囲における障害物を検出する障害物センサ３と、カメラ２で撮像したカメラ画像を入力し、当該カメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換する画素合成部１３と、画素合成部１３で変換した視点変換画像を表示させる表示装置４とを備え、障害物センサ３の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、カメラ２で撮影して視点変換画像に含まれる障害物画像に、障害物検出範囲の画像が接触するように画像合成する。

Description

明 細 書

車両周囲監視装置及び車両周囲監視方法

技術分野

[0001] 本発明は、車両周囲に存在する障害物等を運転者に認識させる車両周囲監視装 置及び車両周囲監視方法に関する。

背景技術

[0002] 従来より、カメラを用いて自車両の周囲を監視し、運転者が直接視で確認できない 自車両周囲の死角を容易に確認できるようにすることで、後退時や駐車時等の低速 走行時に障害物や歩行者などと接触する可能性を認識させる運転支援装置が知ら れている。

[0003] この運転支援装置としては、様々な技術が提案されている力 例えば、カメラをリア トランク部等の車体後部に配設して、車両後方を撮像方向とし、当該カメラで撮像し たカメラ映像を、運転者が目視できるダッシュボード上の表示モニタに表示させるリア ビューカメラ装置が挙げられる。このリアビューカメラ装置は、自車両の進行方向と障 害物との位置関係をカメラ映像によってより簡単に判断できるように、自車両前輪の 操舵角に応じた予測軌跡をカメラ映像にオーバーレイ表示するものがある。また、従 来より、カメラ映像を表示して視覚的に運転支援を行うシステムとは別に、車両の周 囲に存在する障害物を、超音波の反射により検出する超音波センサ等を用いて、障 害物の有無、自車両と障害物との位置関係、自車両との距離を警告音や LED (Ligh t Emitting Diode)等によって警告するものも知られている。

[0004] また、近年においては、特開 2001— 315603号公報に開示されているように、画 像合成技術を利用して、あたかも自車両の上空にある仮想的なカメラから自車両を 見下ろしたような俯瞰画像を表示し、且つこの俯瞰画像に障害物検出センサの検出 範囲や、障害物との距離に応じた障害物が存在しない安全領域や、障害物の路面 境界上に仮想オブジェクトを表示するものが提案されている。また、特開 2001— 31 5603号公報には、障害物検出センサによって障害物を検出した場合に、警報音を 出力している。 [0005] し力しながら、上述したように、俯瞰映像に障害物検出センサの検出範囲を俯瞰画 像に合成して表示すると同時に警報を行う場合に、障害物検出センサで検出された 障害物が地表面から離れた空間上に存在するものであると、実際には障害物が障害 物検出センサの検出範囲内に存在するにも拘わらず、俯瞰画像上では障害物検出 センサの検出範囲内に障害物が存在しな 、ように表示させてしま 、、違和感を与え てしまう。

[0006] そこで、本発明は、上述した実情に鑑みて提案されたものであり、視点変換画像内 に障害物検出範囲を表示させる場合に、当該障害物検出範囲と障害物との位置関 係に違和感を生じさせない表示を行う車両周囲監視装置及び車両周囲監視方法を 提供することを目的とする。

発明の開示

[0007] 本発明に係る車両周囲監視装置は、自車両に設置され、自車両周囲の映像を撮 像する少なくとも 1台のカメラと、自車両に設置され、障害物検知エリア内における障 害物を検出する障害物検出手段と、前記カメラで撮像したカメラ画像を、自車両の上 空の仮想視点から見た視点変換画像に変換する画像処理手段と、前記画像処理手 段で変換した視点変換画像を表示させる表示手段とを備え、上述の課題を解決する ために、前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告 音により警報を行うと同時に、前記画像処理手段は、前記カメラで撮影して前記視点 変換画像に含まれる障害物に、前記障害物検出手段の障害物検出範囲を示す画 像が接触するように画像合成する。

[0008] 本発明に係る車両周囲監視方法は、自車両に設置されたカメラによって、自車両 周囲の映像を撮像すると共に、前記カメラの撮像範囲における障害物を検出し、上 述の課題を解決するために、前記障害物の存在が検出された場合には、前記障害 物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行 うと同時に、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障 害物検出手段の障害物検出範囲を示す画像が接触するように画像合成する。 図面の簡単な説明

[0009] [図 1]図 1は、本発明を適用した車両周囲監視装置の構成を示すブロック図である。 [図 2]図 2は、自車両に取り付けられたカメラ及び障害物センサの配設位置について 説明する上面図である。

[図 3]図 3は、画像処理部によって作成する俯瞰画像を示す図である。

[図 4]図 4は、自車両の右後方に柱が存在した時の俯瞰画像について説明するため の図であり、（a)は自車両の背面図、（b)は自車両の上面図、（c)は俯瞰画像である

[図 5]図 5は、自車両が柱に近づいた時の他の俯瞰画像について説明するための図 であり、（a)は自車両の背面図、（b)は自車両の上面図、（c)は俯瞰画像である。

[図 6]図 6は、自車両の右後方に他車両が存在した時の俯瞰画像について説明する ための図であり、（a)は自車両の背面図、（b)は自車両の上面図、（c)は俯瞰画像で ある。

[図 7]図 7は、自車両が他車両に近づいた時の俯瞰画像について説明するための図 であり、（a)は自車両の背面図、（b)は自車両の上面図、（c)は俯瞰画像である。

[図 8]図 8は、俯瞰画像内における障害物の位置ズレが発生する原因について説明 するための図である。

[図 9]図 9 (a)は、自車両の障害物検出センサの障害物検出範囲内に、他車両が存 在している実際の状態を示す上面図、図 9 (b)は、自車両の障害物検出センサの障 害物検出範囲内に、他車両が存在している実際の状態を示す斜視図である。

[図 10]図 10は、障害物検出センサの障害物検出範囲を、カメラの視点力 地面上に 投影した領域を説明する斜視図である。

[図 11]図 11 (a)は自車両の障害物検出範囲に他車両が存在しな 1、時の俯瞰画像を 示す図であり、図 11 (b)は自車両の障害物検出範囲に他車両が存在しているにも拘 わらず自車両の障害物検出範囲に他車両が接触していない俯瞰画像を示す図であ る。

[図 12]図 12は、本発明を適用した車両周囲監視装置によって、障害物検出センサの 障害物検出範囲をカメラの視点力 地面上に投影した領域を、障害物検出範囲画 像として合成した俯瞰画像を示す図である。

[図 13]図 13は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を 立体的に合成した俯瞰画像を示す図である。

[図 14]図 14は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を 地面上に投影した障害物検出範囲画像と、他車両を地面上に投影した位置を示す ガイド線とを合成した俯瞰画像を示す図である。

[図 15]図 15は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。

[図 16]図 16は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。

[図 17]図 17は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させ た俯瞰画像を示す他の図である。

発明を実施するための最良の形態

[0010] 以下、本発明の実施の形態について図面を参照して説明する。

[0011] 本発明は、例えば図 1に示すように構成された車両周囲監視装置に適用される。こ の車両周囲監視装置は、画像処理部 (画像処理手段） 1に、少なくとも 1台以上の複 数のカメラ 2—1, 2- 2, · · · , 2—N (以下、総称する場合には単に「カメラ 2」と呼ぶ。 )と、地面から離間した空間上の障害物を検知する複数の障害物センサ (障害物検 出手段） 3— 1, 3- 2, · · · , 3— 3 (以下、総称する場合には単に「障害物センサ 3」と 呼ぶ。）と、表示装置 4が接続されている。カメラ 2—1, 2- 2, · · · , 2—Nは、それぞ れが自車両の異なる位置に配設され、それぞれによって異なる撮像方向とされてい る。また、障害物センサ 3— 1, 3- 2, · · · , 3— 3は、カメラ 2と同様に、それぞれが自 車両の異なる位置に配設され、それぞれによって異なる障害物検出範囲とされてい る。

[0012] 具体的には、図 2に示すように、カメラ 2—1, 2- 2, · · · , 2—Nは、例えば画角が 水平 180度の超広角カメラであり、自車両の前方を撮像するカメラ 2F、後方を撮像 するカメラ 2B、右側方を撮像する 2R、左側方を撮像する 2Lの 4台のカメラカゝらなる。 これにより、カメラ 2F, 2B, 2R, 2Lは、後述の画像処理部 1によって、図 3に表示装 置 4に表示させる画像合成処理 (視点変換処理)が施された俯瞰画像 (視点変換画 像） 100を示すように、 4台のカメラによって撮像したフロントカメラ表示領域 101F、リ ァカメラ表示領域 101B、右側方カメラ表示領域 101R、左側方カメラ表示領域 101L からなり、自車両の全周囲を把握させる画像を作成させることができる。

[0013] なお、俯瞰画像 100は、図 2に示すカメラ 2F, 2B, 2R, 2Lによって撮像したカメラ 画像データを用いて、あた力も自車両を上空力も見たように視点変換処理を施した 画像である。また、俯瞰画像 100の略中央に描画された画像は、予め図示しないォ 一バーレイ画像記憶部に記憶された自車両の床面積に相当するサイズを有する自 車両オーバーレイ画像 102である。更に、俯瞰画像 100における各表示領域間には 、黒い帯状の仕切り線が配設されている。なお、各表示領域は、実際の撮像領域に 応じて、この例とは異なるように割り当てることも可能である。

[0014] また、障害物センサ 3— 1, 3- 2, · · · , 3— 3は、設置位置力も扇状に 90度〜 140 度程度の幅であって、自車両から lm程度の距離に存在する障害物を検出する範囲 (障害物検出範囲）が設定されている。この障害物センサ 3— 1, 3- 2, · · · , 3— 3は 、図 2に示すように、右前方方向の障害物を検出する障害物センサ 3FR、左前方方 向の障害物を検出する障害物センサ 3FL、右後方方向の障害物を検出する障害物 センサ 3BR、左後方方向の障害物を検出する障害物センサ 3BLの 4台の障害物セ ンサからなる。これらの障害物センサ 3FR, 3FL, 3BR, 3BLは、図 3におけるフロン トカメラ表示領域 101Fに存在する障害物を障害物センサ 3FR, 3FLで検出し、リア カメラ表示領域 101Bに存在する障害物を障害物センサ 3BR, 3BLで検出し、右側 方カメラ表示領域 101Rに存在する障害物を障害物センサ 3FR, BRで検出し、左側 方カメラ表示領域 101Lに存在する障害物を障害物センサ 3FL, 3BLで検出できる ようになっている。

[0015] 以下、図 2に示すように、カメラ 2—1, 2- 2, · · · , 2—Nがカメラ 2F, 2B, 2R, 2L で構成され、障害物センサ 3— 1, 3- 2, · · · , 3— 3が障害物センサ 3FR, 3FL, 3B R, 3BLで構成された場合について説明する。

[0016] 画像処理部 1は、図 1に示すように、カメラ 2F, 2B, 2R, 2Lで撮像した車両周囲の カメラ画像データを、それぞれのカメラ 2F, 2B, 2R, 2Lに対応した入力バッファであ るフレームバッファ 11— 1, 11 - 2, · · · , 11— N (以下、総称する場合には単に「フレ ームバッファ 11」と呼ぶ。）で入力して一時記憶する。このフレームバッファ 11に記憶 された複数のカメラ画像データは、画素合成部 13による画像合成処理によって俯瞰 画像 100を作成するために使用される。

[0017] また、画像処理部 1は、障害物センサ 3FR, 3FL, 3BR, 3BLからのセンサ信号を 単一の障害物判定部 12で入力する。障害物判定部 12は、入力した各センサ信号か ら、自車両周囲における障害物の有無、障害物が存在する時の位置及び距離を算 出する。そして、障害物判定部 12は、当該算出した障害物の有無、障害物の位置及 び距離をテーブル切換部 14に出力する。

[0018] テーブル切換部 14は、障害物判定部 12からの障害物の有無、障害物の位置及び 距離を示す情報に応じて、画素合成部 13による画像合成処理で参照するテーブル (アドレス変換テーブル)を、テーブル記憶部 15に記憶されている複数のアドレス変 換テーブルのうち、何れかのアドレス変換テーブルに切り換える。

[0019] このテーブル記憶部 15に記憶されているアドレス変換テーブルには、表示装置 4 に出力する出力画像である俯瞰画像 100の各ピクセルと、当該ピクセルに格納する 画素データを特定する情報との対応関係が記述されている。具体的には、アドレス変 換テーブルには、出力画像である俯瞰画像 100を構成する各ピクセルにカメラ画像 データを格納する力、自車両や障害物を表すオーバーレイ画像を格納する力、カメ ラ画像データを格納する場合においてどのフレームバッファ 11内のどのアドレスから 画素データを取り出すか、オーバーレイ画像を格納する場合にぉ 、てどの色情報を 格納するかを記述している。すなわち、アドレス変換テーブルは、画素合成部 13によ つて、俯瞰画像 100を作成するためのカメラ画像データをフレームバッファ 11又は図 示しな ヽオーバーレイ画像記憶部の何れかから取り出させるカゝ、当該取り出された力 メラ画像データ又はオーバーレイ画像を映像信号生成部 16内の出力バッファのどの アドレスに格納させるかと 、う画像合成処理の内容を記述して 、る。

[0020] 画素合成部 13は、映像信号生成部 16で選択されたアドレス変換テーブルを参照 して、フレームバッファ 11に記憶されたカメラ画像データ、又は、自車両や障害物等 を表すオーバーレイ画像を取り出して、映像信号生成部 16内の出力バッファに格納 させる。これにより、画素合成部 13は、各カメラ 2F, 2B, 2R, 2Lで撮像した複数の力 メラ画像データを合成した俯瞰画像 100を映像信号生成部 16内に格納させる。 [0021] 映像信号生成部 16は、画素合成部 13によって 1フレーム分の俯瞰画像 100が出 力バッファに格納されると、当該俯瞰画像 100を表示装置 4に出力して、表示装置 4 に表示させる。この映像信号生成部 16の出力バッファ力 表示装置 4への俯瞰画像 100の出力タイミングは、画素合成部 13による画像合成処理のタイミングと共に、予 め設定されている。

[0022] また、障害物判定部 12には、当該障害物判定部 12によって障害物センサ 3の障害 物検出範囲に障害物が存在することを検出した場合に、その旨の警報音を出力する 警報出力部 17が接続されている。この警報出力部 17は、運転者に対して所定の警 報音を出力するスピーカなど力もなる。

[0023] つぎに、上述したように構成された車両周囲監視装置によって、俯瞰画像 100を表 示装置 4に表示させる具体的な例について説明する。

[0024] 例えば図 4 (a)、（b)に示すように、自車両の右後方に障害物としての柱 110が存在 する場合、俯瞰画像 100は、図 4 (c)に示すように、自車両オーバーレイ画像 102の 右下であってリアカメラ表示領域 101B内に障害物画像 120を含む。この柱 110のよ うに、地面に接して垂直に立っている障害物である場合、俯瞰画像 100において柱 1 10と地面との接触面が自車両に対して正しい位置に表示でき、図 4 (a)の状態で真 つ直ぐ後退すると、図 5 (a)、（b)に示すように、自車両が柱 110に接触することを把 握させることができる。これに対し、画像処理部 1は、図 5 (c)に示すように、リアカメラ 表示領域 101Bにおける柱 110が歪んで表示される障害物画像 120'を作成し、当 該障害物画像 120'を自車両オーバーレイ画像 102に接触して 、るように表示できる

[0025] また、図 6及び図 7に示すように、図 4及び図 5における柱 110の位置に、停車した 他車両 130が存在する場合、自車両に最も近い位置に存在する障害物は、当該他 車両 130のバンパーであり、柱 110とは異なって地面から所定の高さに存在するもの である。

[0026] このような地面力 空中に存在する場合には、カメラ 2F, 2B, 2R, 2Lの取付高さと の位置関係によって、自車両と他車両 130との位置関係が俯瞰画像 100内でずれ てしまうという位置ズレという現象が発生する。すなわち、図 6 (a)及び図 6 (b)に示す ように、自車両が真っ直ぐに後退した時には、他車両 130と接触してしまう位置関係 であるにも拘わらず、図 6 (c)に示すように、自車両と他車両 130とが接触しないよう な俯瞰画像 100となってしまう可能性がある。また、図 6 (a)、図 6 (b)に示す状態から 、自車両が真っ直ぐに後退して、図 7 (a)、図 7 (b)のように、実際には自車両と他車 両 130とが接触して 、る状態となっても、図 7 (c)のように接触して 、な 、ような他車 両画像 140'を含む俯瞰画像 100となる可能性がある。

[0027] このように、俯瞰画像 100において自車両と他車両 130との位置関係がずれる現 象は、図 8に示すように、カメラ 2の地上高さ HIと障害物の地上高さ H2との関係によ つて、カメラ 2から障害物までの距離が、空中にある障害物に関しては実際よりもカメ ラ 2から離れて 、る位置にあるように撮像されると!/、う、俯瞰画像 100を生成する原理 そのものに起因する。すなわち、実際であれば、カメラ 2から距離 D1だけしか障害物 との距離がないにも拘わらず、カメラ撮像範囲における距離 D2に障害物が撮像され るために、俯瞰画像 100には、カメラ 2から、距離 D1よりも遠くの距離 D2の位置に障 害物が含まれてしまう。

[0028] 更に具体的には、図 9 (a)に上空から見た図、図 9 (b)に自車両の斜め後方から見 た図を示すように、実際に、障害物センサ 3BRの障害物検出範囲 3a内に障害物で ある他車両 130が存在する場合を考える。この場合、カメラ 2の設置位置が障害物セ ンサ 3の設置位置よりも上方に存在する場合、カメラ 2が撮像する障害物検出範囲 3a は、図 10に示すように、障害物検出範囲 3aを地面に投影した領域 3bのみならず、力 メラ 2の設置位置力 障害物検出範囲 3aの端部を通過して地面に投影した範囲の領 域 3cとなる。

[0029] したがって、実際には、障害物検出範囲 3a内に他車両 130が存在していても、図 1 1 (a)に示すような俯瞰画像 100に、障害物検出範囲 3aを垂直に地面に投影した領 域 3bを示す障害物検出範囲画像 150を合成させても、図 11 (b)に示すように、カメラ 2で撮像して視点変換された俯瞰画像 100では、障害物検出範囲 3a内に他車両画 像 140が接触して 、ることを提示できな!/、。

[0030] これに対し、本発明を適用した車両周囲監視装置では、障害物センサ 3の障害物 検出範囲 3a内に障害物が侵入した場合に、警報出力部 17によって警告音を出力さ せて警報を行うと同時に、画素合成部 13によって、カメラ 2で撮影して俯瞰画像 100 に含まれる障害物の画像に障害物センサ 3の障害物検出範囲 3aの画像が接触する ように画像合成して、当該俯瞰画像 100を表示装置 4に表示させる。

[0031] この障害物センサ 3の障害物検出範囲 3aの画像は、図 10に示すように、カメラ 2が 障害物検出範囲 3aを撮像した時に、当該カメラ 2の取り付け位置を視点にして障害 物検出範囲 3aを地面に投影した範囲の領域 3cを示すオーバーレイ画像 (以下、障 害物検出範囲画像と呼ぶ。）である。

[0032] このような車両周囲監視装置は、障害物判定部 12によって障害物を検出していな い通常時には、画素合成部 13で処理したそのままの俯瞰画像 100を表示させ、障 害物判定部 12によって障害物を検出した場合には、俯瞰画像 100上に、障害物検 出範囲画像を合成して表示させる。これにより、車両周囲監視装置は、障害物を検 出した場合には、地面に接触していない空中の障害物が存在した場合に、視点変換 画像を行った俯瞰画像 100において障害物センサ 3の障害物検出範囲 3a内に障害 物が存在することを認識させる。

[0033] 具体的には、図 9に示すような自車両と他車両 130との位置関係である時に、自車 両の右後方に障害物判定部 12によって障害物の存在を検出した場合には、図 11に 示すような俯瞰画像 100を、図 12乃至図 14の何れかのような表示に切り換え、障害 物判定部 12によって障害物が検出されなくなったら、図 11の俯瞰画像 100に表示を 戻す。

[0034] 図 12に示す俯瞰画像 100は、リアカメラ表示領域 101B内に、自車両の右後方で 検出された障害物である他車両画像 140を表示させると共に、自車両後方の所定の 領域に、半透明で、カメラ 2の設置位置力 障害物検出範囲 3aの端部を通過して地 面に投影した範囲の領域 3cを示す障害物検出範囲画像 151を合成した画像である

[0035] このような表示を行う場合、障害物判定部 12では、自車両の右後方で障害物を検 出したことをテーブル切換部 14に通知し、テーブル切換部 14では、障害物検出範 囲画像 151を自車両オーバーレイ画像 102の後方側に表示させるようなアドレス変 換テーブルを選択する。これによつて、画素合成部 13では、自車両オーバーレイ画 像 102の後方に、カメラ画像データではなく障害物検出範囲画像 151を表示させた 俯瞰画像 100を作成できる。同時に、障害物判定部 12は、警報出力部 17を動作さ せて、障害物検出範囲 3a内に他車両 130が存在することを警報する。

[0036] また、図 13に示す俯瞰画像 100は、他車両 130を検出した障害物センサ 3BRの障 害物検出範囲 3aを立体的な障害物検出範囲画像 152を合成した画像である。この 障害物検出範囲画像 152は、障害物検出範囲 3aを上空力 見て地面上に投影した 領域 a (図 10の領域 3b)を底面とし、当該底面の領域 aに図 10に示す領域 3cに相当 する平面 b, cを接続して構成されている。この平面 b, cは、カメラ 2の取り付け位置を 視点にして障害物センサ 3の障害物検出範囲 3aを地面に投影した領域の境界から 垂直方向に伸びる平面である。

[0037] この障害物検出範囲画像 152の端点 dは、図 10に示すように、カメラ 2の設置位置 力 障害物検出範囲 3aの一方の上方端部を通過して地面に投影した点であり、障 害物検出範囲画像 152の端点 eは、図 10に示すように、カメラ 2の設置位置力も障害 物検出範囲 3aの他方の上方端部を通過して地面に投影した点を示している。このと き、テーブル切換部 14は、立体的な障害物検出範囲画像 152を自車両オーバーレ ィ画像 102の後方側に表示させるアドレス変換テーブルを選択することになる。また 、この立体的な障害物検出範囲画像 152の立体面 bと立体面 cとは、当該立体的 b, cとの区別を容易とするために、異なる表示色とすることが望ま 、。

[0038] このように、障害物検出範囲 3aの画像として、立体的な障害物検出範囲画像 152 を表示させることによって、他車両 130が地面から離れた状態で障害物センサ 3の障 害物検出範囲 3a内に存在していることを提示することができる。

[0039] 更に、図 14に示す俯瞰画像 100は、障害物検出範囲 3aを地面上に投影した領域

(図 10の領域 3b)の障害物検出範囲画像 150と、地面力も離間した空間に存在する 他車両画像 140を地面上に投影した位置のガイド線 153とを合成した画像である。 ガイド線 153は、他車両 130の端部である車体部分およびバンパー部分を地面上に 投影した線を示し、障害物検出範囲画像 150と接触して表示されている。

[0040] このとき、テーブル切換部 14は、障害物検出範囲画像 150を自車両オーバーレイ 画像 102の後方側に表示させるアドレス変換テーブルを選択し、画素合成部 13は、 障害物判定部 12によって算出した地面力も離間した他車両 130の一部が存在する 距離の位置にガイド線 153を合成させた俯瞰画像 100を作成する。この画素合成部 13は、予め、俯瞰画像 100内において障害物センサ 3からの距離座標を記憶してお り、障害物判定部 12で算出された他車両 130までの距離の俯瞰画像 100内の位置 にガイド線 153を合成する。これによつて、ガイド線 153は、他車両画像 140を地面 上に投影される形態で表示される。

[0041] これによつて、ガイド線 153は、障害物検出範囲画像 150と重なる形態で俯瞰画像 100に合成され、障害物検出範囲 3a内に他車両 130が存在していることを運転者に 提示できる。

[0042] 更にまた、俯瞰画像 100における自車両オーバーレイ画像 102と他車両画像 140 との位置関係力 実際の自車両と他車両 130との位置関係とずれていることを把握さ せる他の手法としては、図 15乃至図 17に示すように、俯瞰画像 100の略中心に描 画させている自車両オーバーレイ画像 102の表示形態を変更させても良い。

[0043] 図 15に示す俯瞰画像 100は、右後方に他車両画像 140を表示させると共に、自車 両オーバーレイ画像 102の左右側方に設けられたオーバーレイ画像 160A、 160B を設け、他車両画像 140が存在する方向におけるオーバーレイ画像 160Bを警報色 で表示させる。このとき、テーブル切換部 14は、自車両オーバーレイ画像 102の側 方に、半透明のオーバーレイ画像 160Aと警報色のオーバーレイ画像 160Bとを、自 車両オーバーレイ画像 102の両側方にそれぞれ表示させるアドレス変換テーブルを 選択することになる。これによつて、自車両の床面積よりも、自車両オーバーレイ画像 102の面積を大きくする。

[0044] また、図 16に示す俯瞰画像 100は、自車両オーバーレイ画像 102を、横方向に拡 大させた仮想的な自車両オーバーレイ画像 102'に変更する。このとき、テーブル切 換部 14は、自車両オーバーレイ画像 102の幅を大きくした自車両オーバーレイ画像 102'を表示させるアドレス変換テーブルを選択することになる。

[0045] 更に、図 17に示すように、自車両オーバーレイ画像 102を、横方向に拡大させると 共に立体的に拡大させて、仮想的な自車両オーバーレイ画像 102'に変更する。こ のとき、テーブル切換部 14は、自車両オーバーレイ画像 102の幅を大きくし、且つ、 立体的な自車両オーバーレイ画像 102'を表示させるアドレス変換テーブルを選択 すること〖こなる。

[0046] このように、障害物が検出された場合に、自車両の床面積相当のサイズの自車両 オーバーレイ画像 102から、幅方向に拡大させることによって、自車両が真っ直ぐに 後退すると、自車両と他車両画像 140とが接触するような位置関係を運転者に把握 させることがでさる。

[0047] また、図 15乃至図 17のように、自車両オーバーレイ画像 102を拡大させて表示さ せる時に、警報出力部 17によって、他車両 130が障害物検出範囲 3a内に存在する ことを警報音で把握させてもよい。これにより、実際には障害物センサ 3で検出した障 害物と自車両とが接触する可能性があり、その旨を確実に運転者に提示できる。

[0048] なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実 施形態に限定されることはなぐこの実施の形態以外であっても、本発明に係る技術 的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは 勿論である。

[0049] すなわち、上述した俯瞰画像 100の表示例では、障害物検出範囲画像を半透明で 表示させることを説明したが、これに限らず、障害物検出範囲画像を点滅させても良 い。

産業上の利用可能性

[0050] 本発明によれば、障害物が検出された場合には、警報を発すると共に障害物の画 像と障害物検出範囲とが接触するように画像合成をするので、障害物が地面から離 れて存在している場合であって視点変換画像における障害物の位置ズレが発生して も、障害物検出範囲と障害物との位置関係に違和感を生じさせない表示を行うことが できる。

Claims

請求の範囲

[1] 自車両に設置され、自車両周囲の映像を撮像する少なくとも 1台のカメラと、

自車両に設置され、障害物検知エリア内における障害物を検出する障害物検出手 段と、

前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画 像に変換する画像処理手段と、

前記画像処理手段で変換した視点変換画像を表示させる表示手段とを備え、 前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音によ り警報を行うと同時に、前記画像処理手段は、前記カメラで撮影して前記視点変換 画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が 接触するように画像合成することを特徴とする車両周囲監視装置。

[2] 前記画像処理手段は、前記カメラの取り付け位置を視点にして前記障害物検出手 段の障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、 前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画 像に合成することを特徴とする請求項 1に記載の車両周囲監視装置。

[3] 前記画像処理手段は、前記障害物検出手段の障害物検出範囲の画像を、前記視 点変換画像に立体的に合成することを特徴とする請求項 1に記載の車両周囲監視 装置。

[4] 前記障害物検出範囲の画像を、前記障害物検出範囲を地面上に投影した領域の 画像と、前記カメラの取り付け位置を視点にして前記障害物検出手段の障害物検出 範囲を地面に投影した領域の境界力 垂直方向に伸びる平面とからなる立体的な画 像として前記視点変換画像に合成して表示させることを特徴とする請求項 3に記載の 車両周囲監視装置。

[5] 前記障害物検出手段は、地面から離間した空間上の障害物を検知するものであり 前記障害物検出範囲を地面上に投影した領域の画像と、前記障害物検知手段に より検知した空間上の障害物を地面上に投影した位置に表示され、前記障害物検出 範囲を地面上に投影した領域の画像と接触する画像とを、前記視点変換画像に合 成して表示させることを特徴とする請求項 1に記載の車両周囲監視装置。

[6] 前記画像処理手段は、前記障害物検出範囲の画像を、半透明で表示させることを 特徴とする請求項 1に記載の車両周囲監視装置。

[7] 自車両に設置されたカメラによって、自車両周囲の映像を撮像すると共に、前記力 メラの撮像範囲における障害物を障害物検出センサによって検出し、

前記障害物検出センサによって障害物の存在が検出された場合には、警告音によ り警報を行うと同時に、前記カメラで撮影して前記視点変換画像に含まれる障害物に

、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成するこ とを特徴とする車両周囲監視方法。