JP2002036954A - 車両周辺監視装置および車両周辺監視システム - Google Patents

Abstract

(57)【要約】 【課題】 死角のない車両周辺監視装置を提供する。 【解決手段】 車両周辺監視装置は、車両の右前方に設
けられた全方位視覚センサ２と、車両の左後方に設けら
れた全方位視覚センサ３と、全方位視覚センサ２および
３に接続され、全方位視覚センサ２および３より出力さ
れた画像データを加工して新たな画像データを生成する
画像生成部６と、画像生成部６に接続され、画像生成部
６で生成された画像データを表示する画像表示部７と、
画像生成部６で生成される画像のモードを切換えるため
に運転者が操作するモード切換部５とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両周辺監視装置
および車両周辺監視システムに関し、特に、死角のない
車両周辺監視装置および車両周辺監視システムに関す
る。

【０００２】

【従来の技術】図１７を参照して、従来の車両周辺監視
装置は、車両の後方に設置されたカメラ１００と、カメ
ラ１００に接続されたモニタ装置（図示せず）とを含
む。モニタ装置は、運転者が視認しやすい位置に設けら
れ、カメラ１００で撮像された映像を表示する。運転者
は、モニタ装置を見ることにより、後方の確認を行ない
ながら車両の運転を行なうことができる。

【０００３】

【発明が解決しようとする課題】しかし、この車両周辺
監視装置は、図１７の斜線が施された領域内に視界が制
限されている。このため、死角が存在し、安全運転を行
なうことが困難であった。

【０００４】また、車両周辺監視装置で撮像された映像
を記録することができない。このため、事故が発生した
場合であっても事故原因の究明を容易に行なうことがで
きない。

【０００５】さらに、障害物や不審者が接近した場合に
警告を発生したりすることができない。

【０００６】本発明は、上述の課題を解決するためにな
されたもので、その目的は、死角のない車両周辺監視装
置および車両周辺監視システムを提供することである。

【０００７】本発明の他の目的は、事故原因を容易に究
明可能な車両周辺監視システムを提供することである。

【０００８】本発明のさらに他の目的は、近づく不審者
に対して警告を発生することができる車両周辺監視シス
テムを提供することである。

【０００９】

【課題を解決するための手段】本発明のある局面に従う
車両周辺監視装置は、車両の対角線上の両端にそれぞれ
配置される２つの全方位視覚センサと、画像を表示する
画像表示部と、２つの全方位視覚センサおよび画像表示
部に接続され、２つの全方位視覚センサの出力を予め定
められた画像変換方法に従い変換し、作成された画像を
画像表示部に表示する画像生成部とを含み、２つの全方
位視覚センサの各々は、カメラと、カメラと所定の関係
を有する位置に配置され、全方位の映像をカメラに集光
するための集光手段を含む。

【００１０】２つの全方位視覚センサは、車両の対角線
上の両端に配置される。このため、２つの全方位視覚セ
ンサを同時に使用することにより、周囲３６０度を同時
に監視することができ、車両の死角がなくなる。このた
め、運転者は安全に運転を行なうことができる。

【００１１】好ましくは、車両周辺監視装置は、さら
に、画像生成部に接続され、画像生成部における画像変
換方法を切換えるモード切替部を含む。

【００１２】画像生成部での画像作成方法を切換えるこ
とができる。このため、ユーザが所望する画像を様々な
態様で画像表示部に表示することができる。

【００１３】さらに好ましくは、画像生成部は、２つの
全方位視覚センサの出力を予め定められた方法に従い変
換するための変換手段と、変換手段に接続され、変換手
段の出力より画像を切出すための画像切出手段と、画像
切出手段に接続され、切出された画像を組合わせて画像
を作成するための画像作成手段と、画像作成手段に接続
され、画像作成手段の出力を画像表示部に表示するため
の表示制御手段とを含む。

【００１４】たとえば、多視点から見た画像を作成し、
それらの画像を組合わせて表示することができる。

【００１５】本発明の他の局面に係る車両周辺監視装置
は、車両の対角線上の両端にそれぞれ配置される２つの
全方位視覚センサと、２つの全方位視覚センサに接続さ
れ、２つの全方位視覚センサの出力を予め定められた画
像変換方法に従い変換する画像加工部と、データを記憶
する情報記憶部と、画像加工部および情報記憶部に接続
され、画像加工部で作成された画像を情報記憶部に記憶
する記憶制御部とを含む。２つの全方位視覚センサの各
々は、カメラと、カメラと所定の関係を有する位置に配
置され、全方位の映像をカメラに集光するための集光手
段とを含む。

【００１６】全方位視覚センサで撮像された画像は情報
記憶部に記憶される。このため、交通事故等が発生した
場合であっても、事故原因の究明を容易に行なうことが
できるようになる。

【００１７】本発明のさらに他の局面に係る車両周辺監
視装置は、車両の対角線上の両端にそれぞれ配置される
２つの全方位視覚センサと、２つの全方位視覚センサに
接続され、２つの全方位視覚センサの出力を予め定めら
れた画像変換方法に従い変換する画像加工部と、画像加
工部に接続され、車両の周辺で異常が発生しているか否
かを判断する判断部と、判断部に接続され、判断部の出
力に基づいて警報を発生する警報発生部とを含む。２つ
の全方位視覚センサの各々は、カメラと、カメラと所定
の関係を有する位置に配置され、全方位の映像をカメラ
に集光するための集光手段とを含む。

【００１８】異常が検知された際に、警報が発生され
る。このため、運転途中の無理な追越しを防止したり、
障害物を避けたりすることができるなど、安全運転を支
援することが可能となる。また、近づく不審者に対して
警告を発することもできる。

【００１９】本発明のさらに他の局面に係る画像周辺監
視システムは、車両周辺の状況を監視する車両周辺監視
装置と、通信回線を通じ車両周辺監視装置に接続され、
車両周辺監視装置を遠隔操作する遠隔監視装置とを含
む。車両周辺監視装置は、車両の対角線上の両端にそれ
ぞれ配置される２つの全方位視覚センサと、２つの全方
位視覚センサで撮像された画像を遠隔監視装置に送信す
る送信部とを含む。２つの全方位視覚センサの各々は、
カメラと、カメラと所定の関係を有する位置に配置さ
れ、全方位の映像をカメラに集光するための集光手段と
を含む。遠隔監視装置は、データを記憶する情報記憶部
と、送信部より通信回線を通じ画像を受け、情報記憶部
に記憶する記憶制御部とを含む。

【００２０】全方位視覚センサで撮像された画像は情報
記憶部に記憶される。このため、交通事故等が発生した
場合であっても、事故原因の究明を容易に行なうことが
できるようになる。

【００２１】本発明のさらに他の局面に係る画像周辺監
視システムは、車両周辺の状況を監視する車両周辺監視
装置と、通信回線を通じ車両周辺監視装置に接続され、
車両周辺監視装置を遠隔操作する遠隔監視装置とを含
む。遠隔監視装置は、車両周辺監視装置における監視領
域を設定する監視領域設定部と、監視領域設定部に接続
され、監視領域を車両周辺監視装置に送信する送信部と
を含む。車両周辺監視装置は、送信部より監視領域を受
信する監視領域受信部と、車両の対角線上の両端にそれ
ぞれ配置される２つの全方位視覚センサと、２つの全方
位視覚センサに接続され、２つの全方位視覚センサの出
力を予め定められた画像変換方法に従い変換する画像加
工部と、画像加工部および監視領域受信部に接続され、
監視領域内で異常が発生しているか否かを判断する判断
部と、判断部に接続され、判断部の出力に基づいて警報
を発生する警報発生部とを含む。２つの全方位視覚セン
サの各々は、カメラと、カメラと所定の関係を有する位
置に配置され、全方位の映像をカメラに集光するための
集光手段とを含む。

【００２２】遠隔監視装置より監視領域が設定され、設
定された監視領域内で異常が検知された際に、警報が発
生される。このため、運転途中の無理な追越しを防止し
たり、障害物を避けたりすることができるなど、安全運
転を支援することが可能となる。また、近づく不審者に
対して警告を発することもできる。

【００２３】

【発明の実施の形態】［実施の形態１］図１および図２
を参照して、本発明の実施の形態１に係る車両周辺監視
装置は、車両の右前方に設けられる全方位視覚センサ２
と、車両の左後方に設けられる全方位視覚センサ３と、
全方位視覚センサ２および３に接続され、全方位視覚セ
ンサ２および３より出力された画像データを加工して新
たな画像データを生成する画像生成部６と、画像生成部
６に接続され、画像生成部６で生成された画像データを
表示する画像表示部７と、画像生成部６で生成される画
像のモードを切換えるために運転者が操作するモード切
換部５とを含む。

【００２４】画像表示部７は、カーナビゲーションシス
テムのモニタ装置などからなり、運転者が視認しやすい
位置に設けられる。

【００２５】図３を参照して、全方位視覚センサ２は、
車両前部のバンパ１４の右端のポール１２の先端に設け
られ、鉛直下向きに設置された双曲面ミラー８と、双曲
面ミラー８の下方の双曲面ミラー８と同軸となるように
鉛直上向きに設けられたカメラ４と、双曲面ミラー８お
よびカメラ４を覆う円筒形の透明カバー１０とを含む。

【００２６】全方位視覚センサに関しては、「山澤一誠
他：“移動ロボットのナビゲーションのための全方位視
覚センサ”，電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．
Ｊ７９−Ｄ−ＩＩＮｏ．５ｐｐ．６９８−７０７（１９
９６年５月）」などに詳しく開示されている。

【００２７】以下、全方位視覚センサ２の概略構成を説
明する。図４を参照して、双曲面ミラー８は、２葉双曲
面のうちＺ＞０の領域にある双曲面をミラーとして用い
たものである。２葉双曲面とは双曲線を実軸（Ｚ軸）周
りに回転することで得られる曲面である。２葉双曲面
は、（０，０，＋ｃ）と（０，０，−ｃ）との２つの焦
点を持つ。ただし、

【００２８】

【数１】

【００２９】である。なお、定数ａおよびｂは、双曲線
の形状を定義するものであり、ｂは双曲面とＺ軸との交
点のＺ座標の絶対値、ａはこの双曲面の漸近面から双曲
面の頂点に下ろした垂線の長さである。

【００３０】ここで、図４に示すようにＺ軸を鉛直軸と
する３次元座標系Ｏ−ＸＹＺを考える。この時２葉双曲
面は次式（１）で表わされる。

【００３１】

【数２】

【００３２】図５を参照して、全方位視覚センサ２は、
鉛直下向きに設置されたＺ＞０の領域にある双曲面ミラ
ー８とその下に鉛直上向きに設置されたカメラ（図示せ
ず）とから構成される。この時、双曲面ミラー８の焦点
ＯＭおよびカメラのレンズ中心ＯＣは、それぞれ２葉双
曲面の２つの焦点（０，０，＋ｃ）および（０，０，−
ｃ）に位置するように双曲面ミラー８およびカメラが配
置される。画像面ｘｙを、ＸＹ平面に平行で、かつカメ
ラのレンズ中心ＯＣからカメラの焦点距離ｆだけ離れた
平面とする。双曲面ミラー８の反射面、双曲面ミラー８
の焦点ＯＭおよびカメラのレンズ中心ＯＣは次式（２）
で表わされる。

【００３３】

【数３】

【００３４】図６を参照して、空間中の任意の点Ｐ
（Ｘ，Ｙ，Ｚ）に対する画像上での写像点をｐ（ｘ，
ｙ）とした時、点Ｐの方位角θは次式（３）で表わされ
る。

【００３５】 ｔａｎθ＝Ｙ／Ｘ＝ｙ／ｘ …（３） すなわちＹ／Ｘで定められる点Ｐの方位角θは、ｙ／ｘ
で定められる写像点ｐの方位角θを算出することにより
得られる。このように３６０度パノラマ状の領域内にあ
る対象物体の方位角θが、その物体の画像面上の写像の
方位として直接現れる。

【００３６】また、図７を参照して、点ＰとＺ軸とを含
む鉛直断面を想定すると、点Ｐと写像点ｐとの間には、
次式（４）の関係が成立つ。

【００３７】

【数４】

【００３８】すなわち双曲面ミラー８の焦点ＯＭからの
点Ｐの方位角θおよび俯角αは、カメラのレンズ中心Ｏ
Ｃを双曲面の焦点位置に設けることで、写像点ｐ（ｘ，
ｙ）より、一意に求められる。この時、双曲面ミラー８
の焦点ＯＭは固定されているため、入力画像を双曲面ミ
ラー８の焦点ＯＭからみたカメラを鉛直軸周りに回転し
て得られる画像または通常のカメラの画像に変換でき
る。

【００３９】たとえば、全方位視覚センサ２で図８に示
すような画像が撮像されたとする。この画像データをパ
ノラマ状の画像に変換すると、図９に示すような画像が
得られ、周囲３６０度を一望することができる。また、
上述の手法を用い、通常のカメラの画像に変換すると、
図１０に示すような画像が得られる。図１０（Ａ）は車
両の左前方の画像、図１０（Ｂ）は車両の正面の画像、
図１０（Ｃ）は車両の右前方の画像である。これらの画
像変換処理は、図２の画像生成部６が行なう。

【００４０】全方位視覚センサ３は、車両後部のバンパ
の左端のポールの先端に設けられる。全方位視覚センサ
３は全方位視覚センサ２と同様のハードウェア構成を有
する。このため、その詳細な説明はここでは繰返さな
い。

【００４１】全方位視覚センサ３についても、全方位視
覚センサ２と同様の画像変換を行なうことにより、通常
のカメラの画像を得ることができる。図１１は、全方位
視覚センサ３で撮像された画像の一例である。この画像
データをパノラマ状の画像に変換すると図１２に示すよ
うな画像が得られ、周囲３６０度を一望することができ
る。また、上述の手法を用い、通常のカメラの画像に変
換すると図１３に示すような画像が得られる。図１３
（Ａ）は車両の進行方向に対して右後方の画像、図１３
（Ｂ）は車両の真後ろの画像、図１３（Ｃ）は、車両の
進行方向に対して左後方の画像である。これらの画像変
換処理は、図２の画像生成部６が行なう。

【００４２】図１を再度参照し、全方位視覚センサ２
は、車両の右前方に設けられている。このため、全方位
視覚センサ２は、車両自身が写っている領域を除き、車
両の左前方、正面方向、右前方および右後方を監視する
ことができる。全方位視覚センサ２は、おおよそ２７０
度の領域を監視することができる。

【００４３】全方位視覚センサ３は、車両の左後方に設
けられている。このため、全方位視覚センサ３は、車両
自身が写っている領域を除き、車両の右後方、真後ろ方
向、左後方および左前方を監視することができる。全方
位視覚センサ３は、おおよそ２７０度の領域を監視する
ことができる。

【００４４】全方位視覚センサ２および３は、車両の対
角線上に配置される。このため、全方位視覚センサ２お
よび３を合わせることにより、車両の周囲３６０度を監
視することができる。

【００４５】図２の画像生成部６は、変換後のパノラマ
状の画像または通常のカメラから見た画像を組合わせ
て、様々な画像を生成し、画像表示部７に表示する。

【００４６】たとえば、図１４を参照して、画像生成部
６は、上面３０Ａに車両前方のパノラマ画像を、左下面
３０Ｂに左前方の画像を、右下面３０Ｃに右前方の画像
をそれぞれ配置した画像を作成し、画像表示部７に表示
する。車両前方のパノラマ画像は、図９に示したパノラ
マ画像の一部を切出すことにより作成される。

【００４７】また、図１５を参照して、画像生成部６
は、上面３２Ａに車両後方のパノラマ画像を、左下面３
２Ｂに左後方の画像を、右下面３２Ｃに右後方の画像を
それぞれ配置した画像を作成し、画像表示部７に表示す
るようにしてもよい。車両後方のパノラマ画像は、図１
２に示したパノラマ画像の一部を切出すことにより作成
される。

【００４８】さらに、図１６を参照して、画像生成部６
は、左上面３４Ａに左前方の画像を、右上面３４Ｂに右
前方の画像を、左下面３４Ｃに左後方の画像を、右下面
３４Ｄに右後方の画像をそれぞれ配置した画像を作成
し、画像表示部７に表示するようにしてもよい。

【００４９】これらの画像の配置方法はモード切換部５
を操作することにより、切換えることができる。

【００５０】画像の配置の仕方はこれらに限定されるも
のではなく、それ以外の組合わせであってもよいのはい
うまでもない。

【００５１】また、図３の例では、全方位視覚センサ３
をポール１２の先端に取付けるようにしたが、カメラ４
をバンパ１４の内部に埋込み、バンパ１４上に全方位視
覚センサ３を載置するような構成であってもよい。

【００５２】さらに、夜間の撮影を可能にするため、カ
メラ４として、赤外線カメラや高感度カメラを用いても
よい。

【００５３】以上説明したように、本発明の実施の形態
によれば全方位視覚センサ２および３を、車両の対角線
上に配置するようにした。このため、全方位視覚センサ
２および３を同時に使用することにより、周囲３６０度
を同時に監視することができ、車両の死角がなくなる。
このため、運転者は安全に運転を行なうことができる。

【００５４】また、多視点から見た画像を作成し、それ
らの画像を組合わせて表示することができる。このた
め、運転者は安全に運転を行なうことができる。

【００５５】特に、大型トラックや大型バスなどの死角
が多い車両を運転する際には、本発明は有効である。

【００５６】［実施の形態２］図１８を参照して、本発
明の実施の形態２による車両周辺監視システムは、車両
に設置され、車両の周辺を監視する車両周辺監視装置２
２と、車両周辺監視装置２２に通信回線を通じて接続さ
れ、車両周辺監視装置２２を遠隔操作したり、車両周辺
監視装置２２で撮像された画像を記録したりする遠隔監
視装置２４とを含む。

【００５７】車両周辺監視装置２２は、車両周辺の全方
位の画像を撮像する全方位撮像部３２と、全方位撮像部
３２に接続され、全方位撮像部３２より出力されるアナ
ログ映像信号を受けるＡ／Ｄ（Analog to Digital）変
換部３４と、Ａ／Ｄ変換部３４に接続され、Ａ／Ｄ変換
部３４より出力される画像データを加工する画像加工部
３６と、音や光などにより警報を発生する警報発生部４
０とを含む。

【００５８】車両周辺監視装置２２は、さらに、コマン
ドやパラメータ等を入力するためにユーザが使用する入
力部４４と、カーナビゲーションシステムのモニタ装置
などからなり、運転者が視認しやすい位置に設けられた
画像データを表示する画像表示部７と、画像データ、な
らびに、画像撮像時刻および警報を発生したか否かに関
する情報などの各種情報を記録するための情報記録部４
８と、遠隔監視装置２４との間でデータの送受信を行な
う送受信部４２と、画像加工部３６、入力部４４、画像
表示部７、警報発生部４０、情報記録部４８および送受
信部４２に接続され、画像加工部３６および情報記録部
４８の出力に基づいて車両周辺に異常が発生したか否か
を判断し、接続された機器を制御する判断部３８とを含
む。

【００５９】全方位撮像部３２は、実施の形態１で説明
した車両の右前方に設けられる全方位視覚センサ２と、
車両の左後方に設けられる全方位視覚センサ３とを含
む。

【００６０】遠隔監視装置２４は、車両周辺監視装置２
２との間でデータの送受信を行なう送受信部５４と、画
像データを加工する画像加工部５０と、コマンドやパラ
メータ等を入力するためにユーザが使用する入力部５６
と、画像データを表示する画像表示部５８と、画像デー
タ、ならびに、画像撮像時刻および警報を発生したか否
かに関する情報などの各種情報を記録するための情報記
録部６０と、画像加工部５０、入力部５６、画像表示部
５８、情報記録部６０および送受信部５４に接続され、
送受信部５４で受信するデータ、情報記録部に記録され
るデータおよび画像加工部５０で加工される画像などに
基づいて各種判断および接続された機器の制御を行なう
判断部５２とを含む。

【００６１】図１９を参照して、遠隔監視装置２４の各
部は以下のように動作する。ユーザは、入力部５６を操
作し、車両周辺監視装置２２における遠隔監視条件の設
定を行なう（Ｓ２）。Ｓ２の処理については、後に詳述
する。

【００６２】判断部５２は、送受信部５４を介してＳ２
で設定された監視条件を車両周辺監視装置２２に送信す
る（Ｓ４）。判断部５２は、Ｓ２の処理において、車両
周辺監視装置２２より警告情報送信要求が設定されてい
るか否かを判断する（Ｓ６）。警告情報送信要求とは、
車両周辺監視装置２２にて異常が発生した際に、画像お
よび各種情報（異常発生時刻、異常発生位置、外部セン
サ情報など）を遠隔監視装置２４に送信するか否かに関
する情報である。

【００６３】警告情報送信要求が設定されていなければ
（Ｓ６でＮＯ）、判断部５２は、何もせずにすべての処
理を終了する。警告情報送信要求が設定されていれば
（Ｓ６でＹＥＳ）、送受信部５４は、車両周辺監視装置
２２より異常発生時の画像データおよび各種情報を受信
する（Ｓ８）。画像加工部５０は、受信した画像データ
を実施の形態１で説明した方法に従い通常のカメラから
見た画像に変換し、画像表示部５８に表示する（Ｓ１
０）。

【００６４】判断部５２は、Ｓ２の処理において、画像
および各種情報の記憶要求が設定されているか否かを判
断する（Ｓ１２）。記憶要求が設定されていなければ
（Ｓ１２でＮＯ）、判断部５２は、何もせずにすべての
処理を終了する。記憶要求が設定されていれば（Ｓ１２
でＹＥＳ）、判断部５２は、送受信部５４より受信した
画像および各種情報を情報記録部６０に記憶する（Ｓ１
４）。

【００６５】図２０を参照して、図１９のＳ２の処理に
ついて詳細に説明する。ユーザは、画像および各種情報
を車両周辺監視装置２２の情報記録部４８および遠隔監
視装置２４の情報記録部６０に記憶するか否かの設定を
行なう（Ｓ２２）。ユーザは、全方位撮像部３２におけ
る監視領域の設定を行なう（Ｓ２４）。監視領域の設定
方法については、後に詳述する。

【００６６】ユーザは、車両周辺監視装置２２で異常が
発生した際に、警報発生部４０を用いて警報を発生する
か否かの設定を行なう（Ｓ２６）。ユーザは、全方位撮
像部３２で撮像された画像および警報内容を車内の画像
表示部７に表示するか否かの設定を行なう（Ｓ２８）。
ユーザは、上述した警告情報を車両周辺監視装置２２か
ら遠隔監視装置２４へ送信すること（警告情報送信）を
要求するか否かの設定を行なう（Ｓ３０）。

【００６７】ユーザは、車両周辺監視装置２２から遠隔
監視装置２４へ画像を送信する際の画像圧縮率（画質お
よびコマ数）の設定を行なう（Ｓ３２）。ユーザは、異
常の発生を検知するための警告発生条件（しきい値）の
設定を行なう。異常発生の検知方法については後に説明
する。

【００６８】図２１を参照して、車両周辺監視装置２２
は以下のように動作する。判断部３８は、送受信部４２
を介して、図１９のＳ２で設定された監視条件を遠隔監
視装置２４より受信する（Ｓ４２）。判断部３８は、受
信した監視条件を接続された各機器に設定する（Ｓ４
４）。

【００６９】全方位撮像部３２は、設定された監視領域
部分の全方位画像を撮影する（Ｓ４６）。画像加工部３
６は、全方位撮像部３２にて撮影された全方位画像をＡ
／Ｄ変換部３４を介して受信するとともに、実施の形態
１で説明した方法に従い通常のカメラの画像に変換する
（Ｓ４８）。

【００７０】判断部３８は、車両の周辺に異常が発生し
ているか否かを判断する（Ｓ５０）。異常発生の検知方
法は、従来知られている手法を用いる。たとえば、車両
が静止している際には、全方位撮像部３２で撮像された
画像を時間ごとに蓄積しておき、時間的に前後する画像
間で差分を取る。差分画像を２値化し、変化領域の面積
が所定のしきい値よりも大きい場合には、車両に不審者
が接近しており、異常が発生していると検知することが
できる。

【００７１】車両が移動している場合には、連続撮影さ
れた際の全方位撮像部３２の位置関係は車両のステアリ
ング方向および時速などから知ることができる。このた
め、位置関係が既知の連続する２枚の画像間でステレオ
計測を行ない、障害物の位置検出を行なう。障害物が所
定のしきい値よりも近くに接近した場合に、異常が発生
していると検知することができる。これにより、車間距
離が近すぎるような場合に異常を検知したり、車両前方
の落下物に接近した際に異常を検知したりすることがで
きるようになる。

【００７２】また、２枚の画像間でステレオ計測を行な
わずとも、全方位撮像部３２で撮像された画像の位置補
正を行ない、連続する画像の対応する画素間で差分を取
り、差分画像を２値化し、変化領域の面積より異常の発
生の有無を検知するようにしてもよい。

【００７３】異常発生の有無を判断するためのしきい値
は、図２０のＳ３４の処理で設定されている。

【００７４】車両の周辺に異常が発生していなければ
（Ｓ５０でＮＯ）、Ｓ４６に戻る。車両の周辺に異常が
発生していれば（Ｓ５０でＹＥＳ）、判断部３８は、図
２０のＳ２６の処理で、警報発生の要求が設定されてい
るか否か判断する（Ｓ５２）。警報発生要求が設定され
ていれば（Ｓ５２でＹＥＳ）、接近者（不審者）および
接近物体（障害物）に対して、警報発生部４０より音お
よび光により警告が発生する（Ｓ５４）。

【００７５】警報発生要求が設定されていなければ（Ｓ
５２でＮＯ）またはＳ５４の処理の後、判断部３８は、
図２０のＳ３０の処理で、警告情報送信要求が設定され
ているか否か判断する（Ｓ５６）。

【００７６】警告情報送信要求が設定されていれば（Ｓ
５６でＹＥＳ）、判断部３８は、送受信部４２を介し
て、遠隔監視装置２４に異常発生時の画像と、上述した
各種情報（異常発生時刻、異常発生位置、外部センサ情
報など）とを送信する（Ｓ５８）。

【００７７】警告情報送信要求が設定されていなければ
（Ｓ５６でＮＯ）またはＳ５８の処理の後、判断部３８
は、図２０のＳ２８の処理で画像表示部７への画像等の
表示要求が設定されているか否かを判断する（Ｓ６
０）。

【００７８】表示要求が設定されている場合には（Ｓ６
０でＹＥＳ）、実施の形態１で説明したように、車内の
画像表示部７に車両周辺の画像が表示される（Ｓ６
２）。

【００７９】表示要求が設定されていなければ（Ｓ６０
でＮＯ）またはＳ５２の処理の後、判断部３８は、図２
０のＳ２２の処理において、画像および各種情報の記憶
要求が設定されているか否かを判断する（Ｓ６４）。

【００８０】記憶要求が設定されていれば（Ｓ６４でＹ
ＥＳ），Ｓ５８で送信した画像および各種情報を情報記
録部４８に記憶する（Ｓ６６）。その後、Ｓ４４に戻
る。記憶要求が設定されていなければ（Ｓ６４でＮ
Ｏ）、Ｓ４４に戻る。

【００８１】次に、図２０のＳ２４における監視領域の
設定方法について説明する。図２２は、３次元空間中に
おける全方位視覚センサ２と監視領域との関係を説明す
る図である。図２３は、全方位視覚センサ２により撮像
された入力画像と監視領域との関係を説明する図であ
る。全方位視覚センサ３と監視領域との関係も同様であ
る。このため、以下の説明では全方位視覚センサ３と監
視領域との関係についての詳細は繰返さない。

【００８２】図２２を参照して、Ｐ（Ｘ，Ｙ，Ｚ）は、
双曲面ミラー８の焦点ＯＭを原点とした際の３次元空間
中の座標を表わしている。また、監視領域には図中斜線
を施している。設定する監視領域を入力画像上に投影す
ると、図２３に示す様に扇形の監視領域になるものとす
る。監視領域の３次元空間中での四隅の座標をＥ１１、
Ｅ１２、Ｅ２１およびＥ２２とする。これら四隅の座標
を入力画像に投影すると図２３のようになる。扇形領域
のｘ軸からの角度はθ１およびθ２の間に挟まれる。

【００８３】Ｅ１１の三次元空間中での座標を（Ｘ１
１、Ｙ１１、Ｚ１）、Ｅ１２の三次元空間中での座標を
（Ｘ１２、Ｙ１２、Ｚ１）、Ｅ２１の三次元空間中での
座標を（Ｘ２１、Ｙ２１、Ｚ１）、Ｅ２２の三次元空間
中での座標を（Ｘ２２、Ｙ２２、Ｚ１）とそれぞれす
る。

【００８４】焦点ＯＭを通る地面との水平面と直線ＯＭ
Ｅ１１とのなす角度をα１とすると、式（５）の関係が
成立つ。式（５）より式（６）が導かれる。焦点ＯＭを
通る地面との水平面と直線ＯＭＥ１２とのなす角度をα
２とすると、式（７）の関係が成立つ。式（７）より式
（８）が導かれる。

【００８５】なお、図２２に示す角度αと角度βとは、
式（９）および式（１０）でそれぞれ表わすことができ
る。

【００８６】

【数５】

【００８７】図２３を参照して、Ｅ１１の入力画像への
投影点の座標を（Ｅ１１ｘ、Ｅ１１ｙ）、Ｅ１２の入力
画像への投影点の座標を（Ｅ１２ｘ、Ｅ１２ｙ）、Ｅ２
１の入力画像への投影点の座標を（Ｅ２１ｘ、Ｅ２１
ｙ）、Ｅ２２の入力画像への投影点の座標を（Ｅ２２
ｘ、Ｅ２２ｙ）とそれぞれする。

【００８８】上述の関係より、Ｅ１１ｘおよびＥ１１ｙ
は式（１１）および式（１２）でそれぞれ表わされる。
また、Ｅ１２ｘおよびＥ１２ｙは式（１３）および式
（１４）でそれぞれ表わされる。同様にＥ２１ｘ、Ｅ２
１ｙ、Ｅ２２ｘおよびＥ２２ｙも求めることができる。

【００８９】よって、入力画像上のｘ軸からの方位角を
θとすると、扇形の監視領域は、式（１５）〜式（１
７）で表わすことができる。よって、ユーザが扇形の監
視領域を設定するには、方位角θ１、θ２、および扇形
領域の四隅の三次元空間中での座標Ｅ１１、Ｅ１２、Ｅ
２１、Ｅ２２を入力すればよい。

【００９０】

【数６】

【００９１】次に、より複雑な形状の監視領域の設定方
法について説明する。図２４に示す様に、複雑な形状の
監視領域の場合であっても、扇形領域の集合としてとら
えることが可能である。このため、各扇形領域に対し
て、上述したような方法で方位角および三次元空間中で
の四隅の座標を入力することにより、複雑な監視領域の
設定が可能となる。

【００９２】図２５に示すように、車両の対角線上に全
方位視覚センサ２および３が設置されている。このた
め、監視領域の設定の仕方によっては、両方の全方位視
覚センサにより監視することも可能となるし、一方の全
方位視覚センサのみにより監視することも可能となる。

【００９３】上述の説明では、遠隔監視装置２４で各種
設定をするようにしたが、車両周辺監視装置２２で各種
設定をするようにしてもよい。

【００９４】本実施の形態によれば、予め監視領域を設
定し、監視領域内で異常が検知された場合には、そのと
きの映像や各種情報を記録することができる。このた
め、交通事故等が発生した場合であっても、事故原因の
究明を容易に行なうことができる。

【００９５】また、異常が検知された際に、警報が発生
される。このため、運転途中の無理な追越しを防止した
り、障害物を避けたりすることができるなど、安全運転
を支援することが可能となる。また、近づく不審者に対
して警告を発することもできる。

【００９６】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００９７】

【発明の効果】車両の周囲３６０度を同時に監視するこ
とができ、運転者は安全に車両を運転することができ
る。

【図面の簡単な説明】

【図１】 本発明の実施の形態１に係る車両周辺監視装
置の配置位置および監視可能領域を説明するための図で
ある。

【図２】 車両周辺監視装置のハードウェア構成を示す
ブロック図である。

【図３】 車両の右前方に設けられる全方位視覚センサ
の外観図である。

【図４】 ２葉双曲面を説明するための図である。

【図５】 全方位視覚センサの配置位置を示す図であ
る。

【図６】 空間中の任意の点と画像上での写像点との関
係を説明するための第１の図である。

【図７】 空間中の任意の点と画像上での写像点との関
係を説明するための第２の図である。

【図８】 車両の右前方の全方位視覚センサで撮像され
た画像の一例を示す図である。

【図９】 車両の右前方の全方位視覚センサで撮像され
た画像を変換することにより得られるパノラマ画像の一
例を示す図である。

【図１０】 車両の右前方の全方位視覚センサで撮像さ
れた画像を変換することにより得られる通常のカメラの
画像の一例を示す図である。

【図１１】 車両の左後方の全方位視覚センサで撮像さ
れた画像の一例を示す図である。

【図１２】 車両の左後方の全方位視覚センサで撮像さ
れた画像を変換することにより得られるパノラマ画像の
一例を示す図である。

【図１３】 車両の左後方の全方位視覚センサで撮像さ
れた画像を変換することにより得られる通常のカメラの
画像の一例を示す図である。

【図１４】 画像生成部６が生成する画像の一例を示す
図である。

【図１５】 画像生成部６が生成する画像の一例を示す
図である。

【図１６】 画像生成部６が生成する画像の一例を示す
図である。

【図１７】 従来の車両周辺監視装置の配置位置および
監視可能領域を説明するための図である。

【図１８】 本発明の実施の形態２による車両周辺監視
システムのハードウェア構成を示すブロック図である。

【図１９】 遠隔監視装置により実行される処理のフロ
ーチャートである。

【図２０】 遠隔監視条件設定処理のフローチャートで
ある。

【図２１】 車両周辺監視装置により実行される処理の
フローチャートである。

【図２２】 ３次元空間中における全方位視覚センサと
監視領域との関係を説明する図である。

【図２３】 入力画像中における監視領域を示す図であ
る。

【図２４】 入力画像中における監視領域を示す図であ
る。

【図２５】 全方位視覚センサの監視領域と撮像位置と
の関係を示す図である。

【符号の説明】

２，３ 全方位視覚センサ、４，１００ カメラ、５
モード切換部、６ 画像生成部、７ 画像表示部、８
双曲面ミラー、１０ 透明カバー、１２ ポール、１４
バンパ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２２ Ｂ６０Ｒ 21/00 ６２２Ｆ ６２４ ６２４Ｃ ６２６ ６２６Ｇ ６２６Ａ ６３０ ６３０Ｆ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｚ ４００ ４００Ｚ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 7/18 7/18 Ｊ Ｆターム(参考） 5B047 AA19 BC09 5B057 AA16 BA02 CA12 CA16 CB12 CB16 CD11 CE08 CE09 DA04 DA15 DA16 5C022 AA04 AB61 AC01 AC18 AC42 AC51 AC54 AC69 5C054 AA01 AA05 CA04 CC03 EA01 EA05 EA07 FA00 FC11 FF07 HA30

Claims (14)

【特許請求の範囲】
1. 【請求項１】 車両の対角線上の両端にそれぞれ配置さ
   れる２つの全方位視覚センサと、 画像を表示する画像表示部と、 前記２つの全方位視覚センサおよび前記画像表示部に接
   続され、前記２つの全方位視覚センサの出力を予め定め
   られた画像変換方法に従い変換し、作成された画像を前
   記画像表示部に表示する画像生成部とを含み、 前記２つの全方位視覚センサの各々は、 カメラと、 前記カメラと所定の関係を有する位置に配置され、全方
   位の映像を前記カメラに集光するための集光手段とを含
   む、車両周辺監視装置。
2. 【請求項２】 さらに、前記画像生成部に接続され、前
   記画像生成部における画像変換方法を切換えるモード切
   替部を含む、請求項１に記載の車両周辺監視装置。
3. 【請求項３】 前記画像生成部は、 前記２つの全方位視覚センサの出力を予め定められた方
   法に従い変換するための変換手段と、 前記変換手段に接続され、前記変換手段の出力より画像
   を切出すための画像切出手段と、 前記画像切出手段に接続され、切出された画像を組合わ
   せて画像を作成するための画像作成手段と、 前記画像作成手段に接続され、前記画像作成手段の出力
   を前記画像表示部に表示するための表示制御手段とを含
   む、請求項１または２に記載の車両周辺監視装置。
4. 【請求項４】 車両の対角線上の両端にそれぞれ配置さ
   れる２つの全方位視覚センサと、 前記２つの全方位視覚センサに接続され、前記２つの全
   方位視覚センサの出力を予め定められた画像変換方法に
   従い変換する画像加工部と、 データを記憶する情報記憶部と、 前記画像加工部および前記情報記憶部に接続され、前記
   画像加工部で作成された画像を前記情報記憶部に記憶す
   る記憶制御部とを含み、 前記２つの全方位視覚センサの各々は、 カメラと、 前記カメラと所定の関係を有する位置に配置され、全方
   位の映像を前記カメラに集光するための集光手段とを含
   む、車両周辺監視装置。
5. 【請求項５】 前記記憶制御部は、前記画像加工部で作
   成された画像および、前記画像が撮影された時刻を前記
   記憶制御部に記憶するための手段を含む、請求項４に記
   載の車両周辺監視装置。
6. 【請求項６】 車両の対角線上の両端にそれぞれ配置さ
   れる２つの全方位視覚センサと、 前記２つの全方位視覚センサに接続され、前記２つの全
   方位視覚センサの出力を予め定められた画像変換方法に
   従い変換する画像加工部と、 前記画像加工部に接続され、前記車両の周辺で異常が発
   生しているか否かを判断する判断部と、 前記判断部に接続され、前記判断部の出力に基づいて警
   報を発生する警報発生部とを含み、 前記２つの全方位視覚センサの各々は、 カメラと、 前記カメラと所定の関係を有する位置に配置され、全方
   位の映像を前記カメラに集光するための集光手段とを含
   む、車両周辺監視装置。
7. 【請求項７】 前記判断部は、 車両周辺の監視領域を設定するための監視領域設定手段
   と、 前記監視領域内で異常が発生したか否かを判断する異常
   発生判断手段とを含み、 前記警報発生部は、前記異常発生判断手段に接続され、
   前記異常発生判断手段の出力に基づいて警報を発生する
   ための手段を含む、請求項６に記載の車両周辺監視装
   置。
8. 【請求項８】 前記２つの全方位視覚センサは、 運転席と同じ側の車両前方に設けられる全方位視覚セン
   サと、 運転席と反対側の車両後方に設けられる全方位視覚セン
   サとを含む、請求項１〜７のいずれかに記載の車両周辺
   監視装置。
9. 【請求項９】 前記集光手段は、双曲面ミラーである、
   請求項１〜８のいずれかに記載の車両周辺監視装置。
10. 【請求項１０】 車両周辺の状況を監視する車両周辺監
    視装置と、 通信回線を通じ前記車両周辺監視装置に接続され、前記
    車両周辺監視装置を遠隔操作する遠隔監視装置とを含
    み、 前記車両周辺監視装置は、 車両の対角線上の両端にそれぞれ配置される２つの全方
    位視覚センサと、 前記２つの全方位視覚センサで撮像された画像を前記遠
    隔監視装置に送信する送信部とを含み、 前記２つの全方位視覚センサの各々は、 カメラと、 前記カメラと所定の関係を有する位置に配置され、全方
    位の映像を前記カメラに集光するための集光手段とを含
    み、 前記遠隔監視装置は、 データを記憶する情報記憶部と、 前記送信部より前記通信回線を通じ前記画像を受け、前
    記情報記憶部に記憶する記憶制御部とを含む、車両周辺
    監視システム。
11. 【請求項１１】 前記者両側送信部は、前記画像および
    前記画像が撮影された時刻を前記遠隔監視装置に送信す
    るための手段を含み、 前記記憶制御部は、前記送信部より前記通信回線を通じ
    前記画像および前記画像が撮影された時刻を受け、前記
    情報記憶部に記憶するための手段を含む、請求項１０に
    記載の車両周辺監視システム。
12. 【請求項１２】 車両周辺の状況を監視する車両周辺監
    視装置と、 通信回線を通じ前記車両周辺監視装置に接続され、前記
    車両周辺監視装置を遠隔操作する遠隔監視装置とを含
    み、 前記遠隔監視装置は、 前記車両周辺監視装置における監視領域を設定する監視
    領域設定部と、 前記監視領域設定部に接続され、前記監視領域を前記車
    両周辺監視装置に送信する送信部とを含み、 前記車両周辺監視装置は、 前記送信部より前記監視領域を受信する監視領域受信部
    と、 車両の対角線上の両端にそれぞれ配置される２つの全方
    位視覚センサと、 前記２つの全方位視覚センサに接続され、前記２つの全
    方位視覚センサの出力を予め定められた画像変換方法に
    従い変換する画像加工部と、 前記画像加工部および前記監視領域受信部に接続され、
    前記監視領域内で異常が発生しているか否かを判断する
    判断部と、 前記判断部に接続され、前記判断部の出力に基づいて警
    報を発生する警報発生部とを含み、 前記２つの全方位視覚センサの各々は、 カメラと、 前記カメラと所定の関係を有する位置に配置され、全方
    位の映像を前記カメラに集光するための集光手段とを含
    む、車両周辺監視システム。
13. 【請求項１３】 前記２つの全方位視覚センサは、 運転席と同じ側の車両前方に設けられる全方位視覚セン
    サと、 運転席と反対側の車両後方に設けられる全方位視覚セン
    サとを含む、請求項１０〜１２のいずれかに記載の車両
    周辺監視システム。
14. 【請求項１４】 前記集光手段は、双曲面ミラーであ
    る、請求項１０〜１３のいずれかに記載の車両周辺監視
    システム。